JP2018133826A - 撮像装置、その制御方法、および制御プログラム - Google Patents

Abstract

【課題】撮影開始の遅延を抑えながらフリッカーの影響を低減することができるようにする。
【解決手段】ＣＰＵ１０１は所定の周期よりも短い周期で得られた複数の測光値に基づいてフリッカーの光量変化特性を検出し、複数の測光値を取得する際に必要な期間よりも長い期間で撮像素子１０３のライン毎に電荷蓄積の開始タイミングを異ならせて得られた参照画像における輝度変化に関する情報に基づいてフリッカーの光量変化特性を検出して、フリッカーの光量変化特性に関する特性情報をメモリに記録する。ＣＰＵは動画に対してフリッカーの影響を抑制する処理を施す際、特性情報がメモリに記録されていると参照画像を取得せずに特性情報に基づいてフリッカーの影響を抑制する処理を行う。
【選択図】図１

Description

本発明は、デジタルカメラなどの撮像装置、その制御方法、および制御プログラムに関し、特に、蛍光灯などの人工光源下において撮影を行う際にフリッカーを検出してその影響を軽減することのできる撮像装置に関する。

一般に、デジタルカメラなどの撮像装置においては、ＣＣＤ又はＣＭＯＳイメージセンサーなどの固体撮像素子で得られた画像信号をＡ／Ｄ変換処理した画像データを記録媒体に記録している。このような撮像装置において、静止画撮影機能に加えて動画撮影機能を備えたものがある。

ところで、この種の撮像装置によって、商用電源で点灯駆動されている蛍光灯下で動画撮影を行うと、フレーム毎に明るさが変動することがある。さらには、同一フレームにおいて明暗の横縞が発生することが知られている。

このような明暗の変動はフリッカーと呼ばれており、商用電源周波数５０Ｈｚで生じるフリッカーについては、ｎ／１００秒（ｎは自然数）のシャッタースピードで電子シャッターを制御すれば、フリッカーを低減することができる。また、商用電源周波数６０Ｈｚフリッカーについては、ｎ／１２０秒のシャッタースピードで電子シャッターを制御すれば、フリッカーを低減することができる。

フリッカーを低減するためのシャッター秒時を求める際には、フリッカーの周期を求める必要がある。例えば、ＣＭＯＳイメージセンサーで得られた画像信号を、１水平周期以上の時間に渡って積分して、前後のフレーム積分値を比較してフリッカー検知を行う手法がある（特許文献１参照）。

さらに、フリッカー光源下において静止画撮影を行う際、高速シャッターで撮影を行うと、フリッカーの影響によってフレーム毎に画像の露出および色温度にばらつきが発生することがある。そして、静止画撮影の場合においても１フレームにおいて露出ムラおよび色ムラが発生することがある。

このような露出ムラおよび色ムラに対処するため、例えば、フリッカーの周期および位相を検出して、明暗の変化が少ないフリッカー光量のピークにタイミングに合わせて露光を行ってフリッカーを低減するようにした撮像装置がある（特許文献２参照）。

一方、フリッカーを検知するため撮像素子を読み出し制御するとなると、撮像装置において撮影開始までに時間遅延が生じてしまう。このため、撮像装置が複数の撮像ユニット（例えば、撮像素子）、撮像装置が動作した際に１つの撮像ユニットで得られた画像信号に応じてフリッカー補正情報を得て、当該フリッカー補正情報を保存するようにしたものがある（特許文献３参照）。

ここでは、保存したフリッカー補正情報を用いることによって、撮像ユニットの切り換えを行った際又は次回の撮影開始の際に、改めてフリッカー検出処理を行うことなく、直ちに撮影を開始してフリッカー補正を行うようにしている。

特開２００７−６０５８５号公報 特開２００４−１９３９２２号公報 特開２００７−２４３８３３号公報

ところで、特許文献３に記載の撮像装置においては、複数の撮像ユニットにおいてフリッカー補正情報を共通して用いることができれば、フリッカーの補正を行うことが可能である。しかしながら、複数の撮像ユニットにおいてフリッカー補正情報を共通して用いることができないと、少なくとも一つの撮像ユニットにおいて改めてフリッカー補正情報を得なければならず、撮影開始までに時間遅延が生じてしまう。

そこで、本発明の目的は、撮影開始の遅延を抑えながらフリッカーの影響を低減することができる撮像装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による撮像装置は、撮像素子と、所定の周期よりも短い周期で得られた複数の測光値に基づいて、フリッカーの光量変化特性を検出する第１の検出手段と、前記複数の測光値を取得する際に必要な期間よりも長い期間で前記撮像素子のライン毎に電荷蓄積の開始タイミングを異ならせて得られた参照画像における輝度変化に関する情報に基づいて、前記フリッカーの光量変化特性を検出する第２の検出手段と、前記複数の測光値に基づいて前記第１の検出手段が検出した前記フリッカーの光量変化特性に関する情報をメモリに記録する記録手段と、前記撮像素子によって得られる動画に対して、前記フリッカーの影響を抑制する処理を施す処理手段と、前記フリッカーの光量変化に関する情報が前記メモリに記録されている場合には、前記参照画像を取得せずに、前記メモリに記録された前記フリッカーの光量変化に関する情報に基づいて、前記処理手段に前記フリッカーの影響を抑制する処理を実行させる第１の制御を行う制御手段と、を有することを特徴とする。

本発明による制御方法は、撮像素子を備える撮像装置の制御方法であって、所定の周期よりも短い周期で得られた複数の測光値に基づいて、フリッカーの光量変化特性を検出する第１の検出ステップと、前記複数の測光値を取得する際に必要な期間よりも長い期間で前記撮像素子のライン毎に電荷蓄積の開始タイミングを異ならせて得られた参照画像における輝度変化に関する情報に基づいて、前記フリッカーの光量変化特性を検出する第２の検出ステップと、前記複数の測光値に基づいて前記第１の検出ステップで検出した前記フリッカーの光量変化特性に関する情報をメモリに記録する記録ステップと、前記撮像素子によって得られる動画に対して、前記フリッカーの影響を抑制する処理を施す処理ステップと、前記フリッカーの光量変化に関する情報が前記メモリに記録されている場合には、前記参照画像を取得せずに、前記メモリに記録された前記フリッカーの光量変化に関する情報に基づいて、前記処理ステップにおいて前記フリッカーの影響を抑制する処理を実行する第１の制御を行う制御ステップと、を有することを特徴とする。

本発明による制御プログラムは、撮像素子を備える撮像装置で用いられる制御プログラムであって、前記撮像装置が備えるコンピュータに、所定の周期よりも短い周期で得られた複数の測光値に基づいて、フリッカーの光量変化特性を検出する第１の検出ステップと、前記複数の測光値を取得する際に必要な期間よりも長い期間で前記撮像素子のライン毎に電荷蓄積の開始タイミングを異ならせて得られた参照画像における輝度変化に関する情報に基づいて、前記フリッカーの光量変化特性を検出する第２の検出ステップと、前記複数の測光値に基づいて前記第１の検出ステップで検出した前記フリッカーの光量変化特性に関する情報をメモリに記録する記録ステップと、前記撮像素子によって得られる動画に対して、前記フリッカーの影響を抑制する処理を施す処理ステップと、前記フリッカーの光量変化に関する情報が前記メモリに記録されている場合には、前記参照画像を取得せずに、前記メモリに記録された前記フリッカーの光量変化に関する情報に基づいて、前記処理ステップにおいて前記フリッカーの影響を抑制する処理を実行する第１の制御を行う制御ステップと、を実行させることを特徴とする。

本発明によれば、撮影開始の遅延を抑えながらフリッカーの影響を低減することができる。

本発明の実施の形態による撮像装置の一例についてその構成を示す図である。 図１に示すカメラで行われる撮影動作の一例を説明するためのフローチャートである（その１）。 図１に示すカメラで行われる撮影動作の一例を説明するためのフローチャートである（その２）。 動画におけるラインフリッカーの影響を説明するための図であり、（ａ）はラインフリッカーに起因する縞模様の一例を示す図、（ｂ）はラインフリッカーに起因する縞模様の他の例を示す図である。 図１に示すカメラで行われる動画のフリッカー周期の検出を説明するための図であり、（ａ）は水平射影に応じて得られた波形の一例を示す図、（ｂ）は（ａ）に示す波形について自己相関処理を行った後の波形の一例を示す図である。 図１に示すＩＣＰＵで行われるフリッカー検出においてフリッカーが存在する際の電荷蓄積制御および測光値の一例を示す図である。 図１に示すＩＣＰＵで行われるフリッカー検出においてフリッカーが存在する際の電荷蓄積制御および測光値の他の例を示す図である。 図１に示すＩＣＰＵで行われるフリッカーのピーク値のタイミングの算出を説明するための図である。 図１に示すカメラで生成されるシャッター開始信号を説明するための図である。 図１に示すカメラにおいて動画ライブビューから静止画フリッカーレス撮影までの処理を説明するための図であり、（ａ）はフリッカー情報が有効でかつフリッカーが存在しない場合の処理を示す図、（ｂ）はフリッカー情報が有効でかつフリッカーが存在する場合の処理を示す図、（ｃ）はフリッカー情報が有効でない場合の処理を示す図である。 図１に示すカメラにおいて動画撮影を行う際のフリッカー低減処理を説明するための図であり、（ａ）は動画において得たフリッカー情報を用いて動画のフリッカー低減を行う際の処理を示す図、（ｂ）は静止画において得たフリッカー情報を用いて動画のフリッカー低減を行う際の処理を示す図である。

以下に、本発明の実施の形態による撮像装置の一例について、図面を参照して説明する。

図１は、本発明の実施の形態による撮像装置の一例についてその構成を示す図である。

図示の撮像装置は、例えば、一眼レフデジタルカメラ（以下単にカメラと呼ぶ）であり、例えば、フリッカー光源下における撮影に用いられる。カメラは、後述するように、複数の撮像ユニットを有している。

カメラはカメラ本体１００および撮影レンズユニット（以下単に撮影レンズと呼ぶ）２００を有している。カメラ本体１００にはカメラマイコン（以下ＣＰＵという）１０１が備えられており、ＣＰＵ１０１はカメラ全体の制御を司る。

メモリ１０２は、例えば、ＲＡＭおよびＲＯＭであり、ＣＰＵ１０１で動作するプログラムが格納され、さらに、ＣＰＵ１０１の作業領域としても用いられる。撮像素子１０３（撮像ユニット）は、例えば、ＣＣＤ又はＣＭＯＳイメージセンサーであり、赤外線カットフィルタおよびローパスフィルタなどを有している。そして、撮影の際には、撮像素子１０３には撮影レンズ２００を介して光学像（被写体像）が結像される。

なお、図示の例においては、撮像素子１０３では、静止画又は動画を記録するため画像信号読み出し制御とフリッカー検出用画像信号の読み出し制御とが選択的に行われる。

撮像素子１０３の前段にはシャッター１０４が配置されている。シャッター１０４は非撮影時においては撮像素子１０３を遮光する。撮影時においては、シャッター１０４が開かれて光学像が撮像素子１０３に達する。

シャッター１０４の前側にはハーフミラー１０５が配置されている。ハーフミラー１０５は、非撮影時において撮影レンズ２００を介して入射する光の一部を反射してピント板１０６に結像させる。ピント板１０４の後側には表示素子１０７が配置されている。

この表示素子１０７はＰＮ液晶で構成され、例えば、表示素子１０７にはＡＦ測距枠が表示される。これによって、ユーザーが光学ファインダー（図示せず）を覗いた際にはいずれの位置でＡＦが行われているかをしているか確認することができる。

ペンタプリズム１０９はピント板１０６に結像した光学像を測光センサー（ＡＥ）１０８および光学ファインダーに導く。測光センサー１０８（撮像ユニット）として、例えば、ＣＣＤ又はＣＯＭＳイメージセンサーなどの撮像素子が用いられている。これによって、後述するように、測光のみではなく、顔検出、被写体追尾、および電源周波数によって周期的に照明光が揺らぐフリッカー現象に起因する被写体からの光の光量変化特性の検出（以下、フリッカー検出とする）が行われる。

なお、以下の説明では、動画についてフリッカー検出を行う際には撮像素子１０３が用いられ、静止画についてフリッカー検出を行う際には測光センサー１０８が用いられる。すなわち、動画用と静止画用とでフリッカー検出に用いるセンサーが異なる。

シャッター１０４とハーフミラー１０５との間において、光軸上にはＡＦミラー１１１が配置されている。ＡＦミラー１１１は撮影レンズ２００から入射してハーフミラー１−５を通過した光学像を焦点検出回路１１０に導く。焦点検出回路１１０はＡＦセンサーが備えられており、ＡＦミラー１１１を介して入射した光学像に応じて測距を行う。

ＩＣＰＵ１１２は測光センサー１０８を駆動制御するとともに、測光センサー１０８から得られた画像について所定の画像処理および演算を行う。例えば、ＩＣＰＵ１１２は、測光センサー１０８から得られた画像について顔検出処理、被写体追尾処理、測光処理、およびフリッカー検出処理を行う。ＩＣＰＵ１１２にはメモリ１１３が接続され、このメモリ１１３は、例えば、ＲＡＭおよびＲＯＭを有している。

なお、図１に示す例では、測光センサー１０８用のＩＣＰＵ１１２を備えているが、ＩＣＰＵ１１２で行う処理をＣＰＵ１０１で行うようにしてもよい。

撮影レンズ２００にはレンズＣＰＵ（以下ＬＰＵと呼ぶ）２０１が備えられており、ＬＰＵ２０１は、カメラと被写体との距離を示す距離情報などをＣＰＵ１０１に送る。

図２Ａおよび図２Ｂは、図１に示すカメラで行われる撮影動作の一例を説明するためのフローチャートである。なお、図示のフローチャートに係る処理はＣＰＵ１０１の制御下で行われる。

カメラを起動すると、カメラは動画ライブビュー動作を開始する。まず、ＣＰＵ１０１は撮像素子１０３を駆動制御して動画におけるフリッカー検出のため撮像素子１０３において電荷蓄積とその読み出しを行う（ステップＳ２０１）。

ここで、撮像素子１０３から読み出される動画に生じるラインフリッカーについて説明する。なお、ここでは、撮像素子１０３としてＣＭＯＳイメージセンサーが用いられている。

いま、蛍光灯の光量が所定の周期で変動して、撮像素子１０３における電荷蓄積のタイミングが垂直読み出しライン毎に順次変化する。この場合、垂直読み出しラインの各々において電荷蓄積のタイミングにおける蛍光灯の光量に応じて撮像素子１０３から読み出される撮像信号（画像信号）が変動する。

図３は、動画におけるラインフリッカーの影響を説明するための図である。そして、図３（ａ）はラインフリッカーに起因する縞模様の一例を示す図であり、図３（ｂ）はラインフリッカーに起因する縞模様の他の例を示す図である。

撮像信号の変動によって、つまり、ラインフリッカーによって、例えば、図３に示す縞模様が動画に発生する。縞模様における縞の間隔は、蛍光灯の発光周期に対応するので、縞の間隔を求めれば、ラインフリッカーの周期を求めることができる。

実際に被写体を撮影した際には、画面には多種の反射率が存在する。このため、画像信号の水平射影も被写体の反射率の影響を受けたものとなる。つまり、画像信号の水平射影は、蛍光灯の光量変化周期、つまり、ラインに応じて変化する光量に被写体のライン毎に対応する反射率を乗じたものとなる。

ここで、被写体が同一で、ラインフリッカーに起因する縞模様の位相が互いに１８０°ずれた２枚の画像Ａおよび画像Ｂを得たものとする（図３（ａ）および図３（ｂ）参照）。画像Ａおよび画像Ｂの各々について水平射影ＡｈおよびＢｈを求めて、これら水平射影ＡｈおよびＢｈを用いて比Ａｈ／Ｂｈを求める。

被写体の反射率による成分については水平射影ＡｈおよびＢｈの比の値が１となるので、比Ａｈ／Ｂｈを用いて被写体の反射率の影響を取り除きフリッカー成分のみを取り出すことができる。

ところで、日本においては、商用電源周波数は、５０Ｈｚ又は６０Ｈｚである。撮像素子１０３の読み出し制御を、例えば、４５ｍｓｅｃ周期、つまり、２２．２２・・・ｆｐｓのフレームレートで行う（つまり、所定の間隔で複数回の電荷蓄積および電荷読み出し行う）。これによって、周波数が５０Ｈｚおよび６０Ｈｚのいずれであっても、連続的に読み出された２枚の画像においてラインフリッカーによる縞模様の位相が略１８０°ずれることになる。

商用電源周波数が５０Ｈｚの場合、その周期（電源周期）は２０ｍｓｅｃであり、蛍光灯の光量変化周期は、電源周期の１／２で１０ｍｓｅｃとなる。したがって、蛍光灯の光量変化周期に対して半周期ずれた信号を得る際には、ｎを正の整数として、例えば、１０ｍｓｅｃ×ｎ＋１０／２ｍｓｅｃ後のタイミングで、撮像素子１０３の読み出し制御を行うようにすればよい。

また、商用電源周波数が６０Ｈｚの場合、電源周期は１６．６６・・・ｍｓｅｃ（＝１０００／６０ｍｓｅｃ）であり、蛍光灯の光量変化周期は、電源周期の１／２で８．３３・・・ｍｓｅｃ（＝１０００／１２０ｍｓｅｃ）となる。したがって、蛍光灯の光量変化周期に対して半周期ずれた信号を得る際には、ｍを正の整数として、例えば、８．３３・・・ｍｓｅｃ×ｍ＋８．３３・・・／２ｍｓｅｃ後のタイミングで、撮像素子１０３の読み出し制御をおこなうようにすればよい。

例えば、ｎ＝４とすると、電源周波数が５０Ｈｚの場合には、１画面分の読み出しを行った後、４５ｍｓｅｃ後に次の読み出しが行われて、ラインフリッカーによる縞模様が互いに１８０°ずれた２枚の画像を得ることができる。また、ｍ＝５とすると、電源の周波数が６０Ｈｚの場合には、１画面分の読み出しを行った後、４５．８３３・・・ｍｓｅｃ後に次の読み出しが行われて、ラインフリッカーによる縞模様が互いに略１８０°ずれた２枚の画面を得ることができる。

再び図２Ａおよび図２Ｂを参照して、続いて、ＣＰＵ１０１は撮像素子１０１の出力である動画についてそのフリッカー周期（つまり、フリッカー周波数）を検出して、後述するフリッカー情報を得る（ステップＳ２０２）。

図４は、図１に示すカメラで行われる動画のフリッカー周期の検出を説明するための図である。そして、図４（ａ）は水平射影に応じて得られた波形の一例を示す図であり、図４（ｂ）は図４（ａ）に示す波形について自己相関処理を行った後の波形の一例を示す図である。

図４（ａ）に示す例では、ラインフリッカーによる縞模様が互いに１８０°ずれた画像Ａおよび画像Ｂの水平射影ＡｈおよびＢｈから求めた比Ａｈ／Ｂｈによる波形が示されている。図４（ａ）において、横軸は撮像素子１０３の垂直ライン数を示し、１水平ラインの走査時間との積を求めれば時間となる。また、縦軸は、輝度値である。

ここでは、波形の振幅が所定の振幅よりも大きければ、ラインフリッカーが発生していると判断することができる。実際には、画像の照度ムラなどによって誤検出することがある。そこで、図４（ａ）に示す例では、波形に対してウィンドウ＃１およびウィンドウ＃２などのように、観察領域を決定するウィンドウを２つ設定する。そして、これらウィンドウ＃１およびウィンドウ＃２内の波形について、自己相関を求めて、自己相関の演算結果による波形（図４（ｂ））を得る。

図４（ｂ）において、横軸はライン数又は時間、縦軸は相関値である。なお、ここでは、自己相関の演算に当たっては、ウィンドウ＃１内の波形に対してウィンドウ＃２内の波形をずらして自己相関値を求める。さらに、ウィンドウ＃１内の波形のピークとウィンドウ＃２内の波形のピークとが重なった際の相関値を”１００”とする。そして、ウィンドウ＃１内の波形のピークとウィンドウ＃２内の波形のボトムとが重なった際の相関値を”０”とする。

図４（ｂ）に示す波形の周期がラインフリッカーの周期となる。また、ラインフリッカーが発生してない場合には、図４（ｂ）に示す波形の振幅が小さくなるので、当該波形の相関値に対して閾値を設定して、閾値判定を行えばラインフリッカーの発生の有無を判断することができる。

例えば、第１の閾値と第１の閾値よりも小さい第２の閾値とを設定して、波形のピーク値が第１の閾値よりも大きいか又は波形のボトム値が第２の閾値よりも小さい場合に、ラインフリッカーが発生しているとする。なお、この例に限らず、波形のピーク値のみ又は波形のボトム値のみを用いてラインフリッカーの発生の有無を判定するようにしてもよい。

以上のように、ステップＳ２０１では、フリッカー光源の光量変化周期（１０ｍｓや８、３３ｍｓ）よりも長く、かつ、フリッカー光源の光量変化周期の整数倍とは異なる電荷蓄積時間及び読み出し周期で複数の画像を得る。そして、ステップＳ２０２では、ステップＳ２０１で得られた複数の画像に基づいてフリッカー検出を行う。

再び図２Ａおよび図２Ｂを参照して、ＣＰＵ１０１は、ステップＳ２０２で得たフリッカー情報（第１のフリッカー情報）をメモリ１０２に保存する（ステップＳ２０３）。なお、フリッカー情報には、例えば、フリッカー周期、フリッカー位相（光量変化のピークタイミングやボトムタイミングなど）、フリッカーを検出した時刻、およびフリッカー検出の際の周囲の明るさを示す測光値が含まれている。

続いて、ＣＰＵ１０１はフリッカー情報に基づいて撮影環境がフリッカー環境下にあるか否かを判定する（ステップＳ２０４）。フリッカーが存在すると判定した場合（ステップＳ２０４において、ＹＥＳ）、ＣＰＵ１０１はフリッカーの影響を低減するため、シャッター秒時ＴＶをフリッカー周期の整数倍に固定して、絞り値ＡＶおよびＩＳＯ感度によって露出制御を行う（ステップＳ２０５）。

一方、フリッカーが存在しないと判定した場合（ステップＳ２０４において、ＮＯ）、ＣＰＵ１０１は通常の動画用プログラム線図を用いて絞り値ＡＶ、シャッター秒時ＴＶ、およびＩＳＯ感度に応じて露出制御を行う（ステップＳ２０６）。ステップＳ２０５又はＳ２０６の処理の後、ＣＰＵ１０１は表示部（図示せず）に動画ライブビュー表示を行う（ステップＳ２０７）。

続いて、ＣＰＵ１０１は静止画撮影開始（撮影開始）の操作があったか否かを判定する（ステップＳ２０８）。静止画撮影開始の操作がないと（ステップＳ２０８において、ＮＯ）、ＣＰＵ１０１はステップＳ２０７の処理に戻って動画ライブビュー表示を継続する。

静止画撮影開始の操作があると（ステップＳ２０８において、ＹＥＳ）、ＣＰＵ１０１は、静止画におけるフリッカーを軽減する静止画フリッカーレス撮影モードが設定されているか否かを判定する（ステップＳ２０９）。静止画フリッカーレス撮影モードが設定されていると（ステップＳ２０９において、ＹＥＳ）、ＣＰＵ１０１はメモリ１０２に保存したフリッカー情報が有効であるか否かを判定する（ステップＳ２１０）。

ステップＳ２１０の処理においては、ＣＰＵ１０１は予め定められた判定条件に応じてフリッカー情報が有効であるか否かを判定する。例えば、メモリ１０２にフリッカー情報が存在すれば、ＣＰＵ１０１はフリッカー情報が有効であると判定する。さらには、フリッカー情報が保存された際の時刻と現在時刻との時間差が所定の時間閾値以下である場合に、ＣＰＵ１０１はフリッカー情報が有効であると判定するようにしてもよい。また、フリッカー情報が保存された際の測光値と現在の測光値の測光差分が所定の測光閾値以下である場合に、ＣＰＵ１０１はフリッカー情報が有効であると判定するようにしてもよい。

メモリ１０２に保存したフリッカー情報が有効でない場合（ステップＳ２１０において、ＮＯ）、ＣＰＵ１０１はＩＣＰＵ１１２を制御して測光センサー１０８による静止画フリッカー検出のための電荷蓄積および電荷読み出しを行う（ステップＳ２１１）。

ここでは、例えば、静止画フリッカーを検出するため、フレームレート６００ｆｐｓ、約１．６６７ｍｓの周期で電荷蓄積および読み出しを連続して１２回行う。フレームレート６００ｆｐｓは予め予測されるフリッカー光源の周波数（１００Ｈｚ又は１２０Ｈｚ）の公倍数となる。

ここで、測光センサー１０８をフレームレート約６００ｆｐｓ（約１．６６７ｍｓ周期）で駆動させる手法について説明する。

近年、一眼レフカメラにおいては、撮影の直前に測光センサー１０８によって得られた画像信号に対して所定の処理を行って顔検出および被写体追尾を行っている。さらには、測光センサー１０８で得られた画像信号に応じて測光を行っている。

顔検出などを行う際には、少なくともＱＶＧＡ程度の画素数を有するＣＣＤ又はＣＭＯＳイメージセンサーなどのリニア出力型の測光センサーを用いる必要がある。ＱＶＧＡ以上の画素数を有する測光センサーにおいて全画素について約６００ｆｐｓ以上のフレームレートで読み出し制御を行うためには、「駆動周波数を高くする」か又は「Ａ／Ｄ変換器を多数配置する」などの手法があるものの、回路構成が複雑になって、しかもコストアップとなってしまう。

そこで、顔検出又は被写体追尾を行う際には、測光センサーの全画素について時間をかけて読み出し制御を行い、フリッカー検出の際には、測光センサーにおいて画素加算読み出し又は間引き読み出し制御を行ってフレームレートを約６００ｆｐｓ（約１．６６７ｍｓ周期）に調整する。

静止画フリッカー検出のための電荷蓄積および電荷読み出しを行った後、ＩＣＰＵ１１２はフリッカー周期を検出する（ステップＳ２１２）。

図５Ａは、図１に示すＩＣＰＵ１１２で行われるフリッカー検出においてフリッカーが存在する際の電荷蓄積制御および測光値の一例を示す図である。また、図５Ｂは、図１に示すＩＣＰＵ１１２で行われるフリッカー検出においてフリッカーが存在する際の電荷蓄積制御および測光値の他の例を示す図である。

図５Ａにおいては、商用電源周波数が５０Ｈｚである場合にフリッカーが存在する際の電荷蓄積制御および測光値が示されている。図示の例では、電荷蓄積が有限の時間で行われている関係上、測光値は蓄積期間の中央値で代表し、ｎ回目の蓄積を「蓄積ｎ」、蓄積ｎの読み出しを「読み出しｎ」、読み出しｎの結果から得られる測光値を「ＡＥ（ｎ）」とする（ｎは正の整数である）。

ここでは、フリッカー発光周期は約１０ｍｓであって、１０÷１．６６７≒６である。よって、電荷蓄積のタイミングに拘わらず、６回周期で同一の測光値が得られることになる。つまり、ＡＥ（ｎ）＝ＡＥ（ｎ＋６）の関係となる。

図５Ｂにおいては、商用電源周波数が６０Ｈｚである場合にフリッカーが存在する際の電荷蓄積制御および測光値が示されている。商用電源周波数が６０Ｈｚである場合のフリッカー発光周期は約８．３３ｍｓであって、８．３３／１．６６７≒５となる。よって、ここでは、５回周期で同一の測光値が得られることになって、ＡＥ（ｎ）＝ＡＥ（ｎ＋５）の関係となる。

なお、フリッカーが存在しない撮影環境下においては、蓄積回数ｎに拘わらずＡＥ（ｎ）は略一定となる。

ここで、上述の商用電源周波数が５０Ｈｚの際のフリッカー評価値（以下単に評価値）をＦ５０、上述の商用電源周波数が６０Ｈｚの際の評価値をＦ６０とすると、評価値Ｆ５０および６０はそれぞれ次の式（１）および式（２）で表される。

所定のフリッカー検出閾値（以下単に閾値という）をＦ＿ｔｈとすると、Ｆ５０＜Ｆ＿ｔｈで、かつＦ６０＜Ｆ＿ｔｈの場合、フリッカー検出無となる。また、Ｆ５０＜Ｆ＿ｔｈで、かつＦ６０≧Ｆ＿ｔｈの場合、発光周期Ｔ＝１０ｍｓ（商用電源周波数５０Ｈｚ）のフリッカー検出（つまり、フリッカー環境下）となる。

さらに、Ｆ５０≧Ｆ＿ｔｈで、かつＦ６０＜Ｆ＿ｔｈの場合、発光周期Ｔ＝８．３３ｍｓ（商用電源周波数６０Ｈｚ）のフリッカー環境下となる。

ところで、パンニング又は被写体の動きなどによって、評価値Ｆ５０およびＦ６０の双方が閾値Ｆ＿ｔｈ以上となることもある。従って、評価値Ｆ５０およびＦ６０の双方が閾値Ｆ＿ｔｈ以上の場合には、評価値Ｆ５０およびＦ６０の大きさを比較する。そして、評価値Ｆ５０が評価値Ｆ６０以下の場合には、光量変化周期Ｔ＝１０ｍｓ（商用電源周波数５０Ｈｚ）のフリッカー環境下であると判定する。

一方、評価値Ｆ５０が評価値Ｆ６０よりも大きい場合には、光量変化周期Ｔ＝８．３３ｍｓ（商用電源周波数６０Ｈｚ）のフリッカー環境下と判定する。つまり、Ｆ５０≧Ｆ＿ｔｈで、かつＦ６０≧Ｆ＿ｔｈの場合に、Ｆ５０≦Ｆ６０であると、光量変化周期Ｔ＝１０ｍｓ（商用電源周波数５０Ｈｚ）のフリッカー環境下であるとする。また、Ｆ５０＞Ｆ６０であると、光量変化周期Ｔ＝８．３３ｍｓ（商用電源周波数６０Ｈｚ）のフリッカー環境下であるとする。

なお、Ｆ５０≧Ｆ＿ｔｈで、かつＦ６０≧Ｆ＿ｔｈの場合には、フリッカー検出結果の信頼性が低いとし、フリッカー検出をやり直すようにしてもよい。

続いて、ＩＣＰＵ１１２は、フリッカーが存在する場合にはフリッカーの位相（フリッカー位相）を検出する（ステップＳ２１３）。フリッカーの位相を求める際には、ＩＣＰＵ１１２は、例えば、連続１２回の電荷蓄積および読み出しによって得られた測光値を補間して、フリッカーの光量が最も高くなるピークタイミングを求めて、フリッカーの位相とする。

図６は、図１に示すＩＣＰＵ１１２で行われるフリッカーのピークタイミングの算出を説明するための図である。

まず、測光値ＡＥ（１）〜ＡＥ（１２）のうちで最大の出力（測光値）を得た点をＰ２（ｔ（ｍ），ＡＥ（ｍ））とする。そして、当該点Ｐ２（ｔ（ｍ），ＡＥ（ｍ））の１つ前において測光値を得た点をＰ１（ｔ（ｍ−１），ＡＥ（ｍ−１））とする。また、点Ｐ２（ｔ（ｍ），ＡＥ（ｍ））の１つ後において測光値を得た点をＰ３（ｔ（ｍ＋１），ＡＥ（ｍ＋１））とする。

ここで、測光値ＡＥ（ｍ−１）および測光値ＡＥ（ｍ＋１）のうち小さい方を有する点（図６に示す例では点Ｐ１）と点Ｐ２とを通る直線をＬ１＝ａｔ＋ｂとして求める。さらに、測光値ＡＥ（ｍ−１）およびＡＥ（ｍ＋１）のうち大きい方を有する点（図６に示す例ではＰ３）を通り、傾きが”−ａ”の直線をＬ２とする。そして、直線Ｌ１およびＬ２の交点を求めると、フリッカー検出開始時を０ｍｓとした際のフリッカー光量のピークタイミングｔ＿ｐｅａｋと、ピークタイミングにおける測光値ＡＥ＿ｐｅａｋを求めることができる。

なお、上述の例では、フリッカー光量のピークタイミングを求めるようにしたが、フリッカー光量のボトムタイミングを求めるようにしてもよい。

以上のように、ステップＳ２１１では、フリッカー光源の光量変化周期（１０ｍｓや８、３３ｍｓ）よりも短い電荷蓄積時間及び読み出し周期で複数の測光値を得る。そして、ステップＳ２１２及び２１３では、ステップＳ２１１で得られた複数の測光値に基づいてフリッカー検出を行う。

ステップＳ２１３の処理の後、ＩＣＰＵ１１２はフリッカー周期（つまり、フリッカー周波数）およびフリッカー位相をフリッカー情報（第２のフリッカー情報）としてメモリ１１３に保存する（ステップＳ２１４）。ＩＣＰＵ１１２はステップＳ２１４で保存されたフリッカー周期およびフリッカー位相（つまり、ピークタイミング）に応じてフリッカー同期信号を生成する。そして、ＣＰＵ１０１はフリッカー同期信号を基準にして生成されるシャッター開始信号によって露光タイミングを制御して露光を開始する（ステップＳ２１５）。

図７は、図１に示すカメラで生成されるシャッター開始信号を説明するための図である。

図７において、ＩＣＰＵ１１２はフリッカー同期信号を、フリッカーの周期毎に生成する。このフリッカー同期信号はフリッカーの所定のタイミングに同期する信号である。いま、フリッカー同期信号からシャッター開始信号が出力されるまでのウェイト時間をＴ＿ＳｈｕｔｔｅｒＷａｉｔする。また、シャッター開始信号の出力からシャッター走行までのタイムラグをＴ＿ＳｈｕｔｔｅｒＲｅｓｐｏｎｓｅとする。そして、シャッターが撮像素子１１０３の一端から他端まで走行する時間をＴ＿Ｒｕｎとする。

ここでは、ＣＰＵ１０１はウェイト時間Ｔ＿ＳｈｕｔｔｅｒＷａｉｔをシャッタースピードに応じて変更する。これによって、ＣＰＵ１０１は、フリッカーの光量変化が少ないピークのタイミングがシャッター先幕走行開始から後幕走行終了までの時間の中心にくるようにシャッター開始信号を出力する。

ここで、フリッカーの周期Ｔと位相（ピークタイミング）ｔ＿ｐｅａｋが分かっているので、フリッカー同期信号の生成タイミングｔ＿Ｆｌｉｃｋｅｒは、フリッカー検出開始時を０ｍｓとした際、次の式（３）で表すことができる。

ｔ＿Ｆｌｉｃｋｅｒ＝ｔ＿ｐｅａｋ−Ｔ＿ＳｈｕｔｔｅｒＲｅｓｐｏｎｓｅ−（Ｔ＿Ｒｕｎ＋ＴＶｍａｘ）／２＋Ｔ×ｎ （３）
ここでは、ｎは自然数であり、ＴＶｍａｘはフリッカー対策をするかしないかの境目におけるシャッタースピードである。

ところで、シャッタースピードＴＶが１／１００より遅い場合には、フリッカーの１周期分以上を含む露光が行われることになる。このため、フリッカーに起因する露出ばらつきの影響は少なくなる。よって、ここでは、シャッタースピードＴＶが１／１００より速い場合にフリッカー対策を講じることにする。

また、シャッタースピードが９ｍｓ前後である場合には、ほぼフリッカーの１周期分を蓄積することになる。よって、フリッカー環境下においても、安定して露光を行うことができる。よって、ここでは、シャッタースピードが８ｍｓよりも速い場合にフリッカー対策を講じることにする。つまり、ＴＶｍａｘ＝１／１２５（８ｍｓ）とする。

さらに、Ｔ＿ＳｈｕｔｔｅｒＷａｉｔを、Ｔ＿ＳｈｕｔｔｅｒＷａｉｔ＝（ＴＶｍａｘ−ＴＶ）／２（ＴＶ＜１／１２５）とすると、フリッカーのピークタイミングがシャッター先幕走行開始から後幕走行終了までの時間の中心にくるように設定することができる。

ＣＰＵ１０１はフリッカー同期信号を受けると、シャッタースピードに応じたウェイト時間Ｔ＿ＳｈｕｔｔｅｒＷａｉｔを待ってシャッター開始信号を出力する。このシャッター開始信号によって、シャッター１０４が駆動して露光が開始される。

ここでは、フリッカー同期信号を受けると、シャッタースピードに応じてウェイト時間Ｔ＿ＳｈｕｔｔｅｒＷａｉｔを待ってシャッター開始信号を出力する。よって、図７に示すように、シャッタースピードが１／１０００又は１／２００であってもフリッカーのピークタイミングがシャッター先幕走行開始から後幕走行終了までの時間の中心となる。

ステップＳ２１５の処理に続いて、ＣＰＵ１０１は静止画撮影動作を行って（ステップＳ２１６）、撮影動作を終了する。

メモリ１０２に保存したフリッカー情報が有効である場合（ステップＳ２１０において、ＹＥＳ）、ＣＰＵ１０１は当該フリッカー情報に基づいて撮影環境がフリッカー環境であるか否かを判定する（ステップＳ２１７）。撮影環境がフリッカー環境でないと（ステップＳ２１７において、ＮＯ）、ＣＰＵ１０１はステップＳ２１６の処理に進んで、予め設定された露出条件（露光条件ともいう）である絞り値ＡＶ、シャッター秒時ＴＶ、およびＩＳＯ感度に応じて通常の露出で静止画撮影動作を行う。

一方、撮影環境がフリッカー環境であると（ステップＳ２１７において、ＹＥＳ）、ＣＰＵ１０１は、ＩＣＰＵ１１２を制御して測光センサー１０８による静止画フリッカー検出の電荷蓄積および読み出しを行う（ステップＳ２１８）。そして、ＣＰＵ１０１の制御下で、ＩＣＰＵ１１２は測光センサーの出力に応じて、前述したようにして、フリッカー位相を検出する（ステップＳ２１９）。その後、ＩＣＰＵ１１２はステップＳ２１４の処理に進む。なお、ここでは、既にメモリ１０２に保存したフリッカー情報によってフリッカー周期が分かるので、改めてフリッカー周期の検出は行われない。

静止画フリッカーレス撮影モードが設定されていないと（ステップＳ２０９において、ＮＯ）、ＣＰＵ１０１はステップＳ２１６の処理に進んで、通常の露出で静止画撮影動作を行う。

図８は、図１に示すカメラにおいて動画ライブビューから静止画フリッカーレス撮影までの処理を説明するための図である。そして、図８（ａ）はフリッカー情報が有効でかつフリッカーが存在しない場合の処理を示す図であり、図８（ｂ）はフリッカー情報が有効でかつフリッカーが存在する場合の処理を示す図である。また、図８（ｃ）はフリッカー情報が有効でない場合の処理を示す図である。

図８（ａ）においては、動画のフリッカー周期検出が動画ライブビューの開始前に行われる。そして、メモリ１０２に保存したフリッカー情報が有効であってフリッカーが存在しないので、静止画（つまり、測光センサーの出力）におけるフリッカー検出を行うことなく、静止画フリッカーレス撮影が開始される。

図８（ｂ）においては、メモリ１０２に保存したフリッカー情報が有効であって、フリッカー存在する。この際には、静止画撮影直前にフリッカー位相の検出のみが行われて、静止画フリッカーレス撮影が開始される。

図８（ｃ）においては、メモリ１０２に保存したフリッカー情報が有効でないので、静止画撮影直前にフリッカー周期および位相の検出がともに行われて、静止画フリッカーレス撮影が開始される。

このように、本発明の実施の形態では、動画ライブビューの際に得たフリッカー情報を静止画撮影の際に引き継いで用いるようにしたので、静止画フリッカーレス撮影を開始するまでの時間を短縮することができる。

上述の例では、動画ライブビューの際に得たフリッカー情報を静止画撮影の際に引き継いで用いるようにしたが、静止画において得たフリッカー情報を動画撮影の際のフリッカー補正に用いるようにしてもよい。

図９は、図１に示すカメラにおいて動画撮影を行う際のフリッカー低減処理を説明するための図である。そして、図９（ａ）は動画において得たフリッカー情報を用いて動画のフリッカー低減を行う際の処理を示す図であり、図９（ｂ）は静止画において得たフリッカー情報を用いて動画のフリッカー低減を行う際の処理を示す図である。

図９（ａ）において、初回の動画ライブビューが起動された際には、メモリ１０２にフリッカー情報は存在しない。このため、ＣＰＵ１０１は必ずフリッカー検出を行う必要がある。そして、当該フリッカー検出で得たフリッカー情報は第１回目（初回）および第２回目以降の動画の露出補正に用いられることになる。

図９（ｂ）において、初回の動画ライブビューを開始した際、静止画で得たフリッカー情報が存在すれば、動画においてフリッカー検出処理を行う必要がない。このため、動画ライブビュー起動までの時間を短縮することができる。さらに、２回目以降の動画ライブビューを開始した際においても、その前に検出した最新のフリッカー情報を用いることができるので、信用性の高い露出制御を行うことができることになる。

このようにして、静止画において得たフリッカー情報を引き継いで動画におけるフリッカー低減処理に用いるようにすれば、動画ライブビューが起動されるまでの時間を短縮してしかも精度の高い露出制御を行うことができる。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

１００ カメラ本体
１０１ カメラマイコン（ＣＰＵ）
１０３ 撮像素子
１０５ ハーフミラー
１０７ 表示素子
１０８ 測光センサー（ＡＥ）
１１０ 焦点検出回路（ＡＦ）
１１２ 画像処理・演算用ＣＰＵ（ＩＣＰＵ）
２００ 撮影レンズ
２０１ レンズＣＰＵ（ＬＰＵ）

Claims (10)

1. 撮像素子と、
   所定の周期よりも短い周期で得られた複数の測光値に基づいて、フリッカーの光量変化特性を検出する第１の検出手段と、
   前記複数の測光値を取得する際に必要な期間よりも長い期間で前記撮像素子のライン毎に電荷蓄積の開始タイミングを異ならせて得られた参照画像における輝度変化に関する情報に基づいて、前記フリッカーの光量変化特性を検出する第２の検出手段と、
   前記複数の測光値に基づいて前記第１の検出手段が検出した前記フリッカーの光量変化特性に関する情報をメモリに記録する記録手段と、
   前記撮像素子によって得られる動画に対して、前記フリッカーの影響を抑制する処理を施す処理手段と、
   前記フリッカーの光量変化に関する情報が前記メモリに記録されている場合には、前記参照画像を取得せずに、前記メモリに記録された前記フリッカーの光量変化に関する情報に基づいて、前記処理手段に前記フリッカーの影響を抑制する処理を実行させる第１の制御を行う制御手段と、
   を有することを特徴とする撮像装置。
2. 前記制御手段は、前記フリッカーの光量変化に関する情報が前記メモリに記録されていない場合には、前記参照画像を取得して当該参照画像に基づいて前記第２の検出手段によって前記フリッカーの光量変化特性を検出させ、当該検出されたフリッカーの光量変化特性に基づいて前記処理手段に前記フリッカーの影響を抑制する処理を実行させる第２の制御を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記フリッカーの光量変化に関する情報が前記メモリに記録されている場合であって、前記メモリに当該フリッカーの光量変化に関する情報が記録されてから経過した時間が所定の閾値以下の場合には、前記第１の制御を行い、前記フリッカーの光量変化に関する情報が前記メモリに記録されている場合であって、前記メモリに当該フリッカーの光量変化に関する情報が記録されてから経過した時間が前記所定の閾値よりも長い場合には、前記第２の制御を行うことを特徴とする請求項２に記載の撮像装置。
4. 前記制御手段は、前記メモリに記録されている前記フリッカーの光量変化に関する情報に基づいてフリッカーが発生していないと判定した場合には、前記処理手段によって前記フリッカーの影響を抑制する処理を実行させないように制御することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記制御手段は、前記フリッカーの影響を抑制する処理として、動画を得るための前記撮像素子における電荷の蓄積時間を制御することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記処理手段は、前記第１の検出手段が検出した前記フリッカーの光量変化特性に基づいて、前記撮像素子によって得られた静止画に対して前記フリッカーの影響を抑制する処理を実行することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記処理手段は、前記第１の検出手段が検出した前記フリッカーの光量変化特性に基づいて、静止画を取得するための前記撮像素子の電荷の蓄積タイミングを制御することを特徴とする請求項６に記載の撮像装置。
8. 前記所定の周期は、１／１２０秒であることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 撮像素子を備える撮像装置の制御方法であって、
   所定の周期よりも短い周期で得られた複数の測光値に基づいて、フリッカーの光量変化特性を検出する第１の検出ステップと、
   前記複数の測光値を取得する際に必要な期間よりも長い期間で前記撮像素子のライン毎に電荷蓄積の開始タイミングを異ならせて得られた参照画像における輝度変化に関する情報に基づいて、前記フリッカーの光量変化特性を検出する第２の検出ステップと、
   前記複数の測光値に基づいて前記第１の検出ステップで検出した前記フリッカーの光量変化特性に関する情報をメモリに記録する記録ステップと、
   前記撮像素子によって得られる動画に対して、前記フリッカーの影響を抑制する処理を施す処理ステップと、
   前記フリッカーの光量変化に関する情報が前記メモリに記録されている場合には、前記参照画像を取得せずに、前記メモリに記録された前記フリッカーの光量変化に関する情報に基づいて、前記処理ステップにおいて前記フリッカーの影響を抑制する処理を実行する第１の制御を行う制御ステップと、
   を有することを特徴とする制御方法。
10. 撮像素子を備える撮像装置で用いられる制御プログラムであって、
    前記撮像装置が備えるコンピュータに、
    所定の周期よりも短い周期で得られた複数の測光値に基づいて、フリッカーの光量変化特性を検出する第１の検出ステップと、
    前記複数の測光値を取得する際に必要な期間よりも長い期間で前記撮像素子のライン毎に電荷蓄積の開始タイミングを異ならせて得られた参照画像における輝度変化に関する情報に基づいて、前記フリッカーの光量変化特性を検出する第２の検出ステップと、
    前記複数の測光値に基づいて前記第１の検出ステップで検出した前記フリッカーの光量変化特性に関する情報をメモリに記録する記録ステップと、
    前記撮像素子によって得られる動画に対して、前記フリッカーの影響を抑制する処理を施す処理ステップと、
    前記フリッカーの光量変化に関する情報が前記メモリに記録されている場合には、前記参照画像を取得せずに、前記メモリに記録された前記フリッカーの光量変化に関する情報に基づいて、前記処理ステップにおいて前記フリッカーの影響を抑制する処理を実行する第１の制御を行う制御ステップと、
    を実行させることを特徴とする制御プログラム。