JP2019029726A - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】動画像のライブビュー表示のフレームレートを維持しつつ、高精度にフリッカーを検知することができる撮像装置を提供する。
【解決手段】画素が行方向および列方向に２次元的に配列された画素領域を有する撮像素子と、画素の電荷の蓄積開始のタイミングと画素の信号の読み出しのタイミングとを行ごとに制御する制御部と、を備え、制御部は、画素領域のうちの第１の領域については、第１の蓄積時間で電荷蓄積を行わせるとともに、第１の読み出し時間で画素の信号の第１の読み出しを行わせ、第１の領域とは異なる第２の領域については、第１の蓄積時間よりも短い第２の蓄積時間で電荷蓄積を行わせるとともに、第１の読み出し時間よりも長い第２の読み出し時間で画素の信号の第２の読み出しを行わせ、第１の読み出し時間と第２の読み出し時間とが時間的に重ならないように、第１の読み出しと第２の読み出しを行わせる。
【選択図】 図６

Description

本発明は、デジタルカメラ等の撮像装置におけるフリッカー検知技術に関するものである。

従来、蛍光灯などの人工光源では、商用電源の周波数に応じて所定周期の光量変化である所謂フリッカーが発生することが知られている。特許文献１には、ラインごとに電荷の蓄積開始と終了のタイミングが異なる所謂スリットローリングシャッター方式で撮像素子を駆動させ、画像に発生した露光ムラに基づいて、フリッカーの有無及び周波数を検知する技術が開示されている。特許文献２には、次のような技術が開示されている。つまり、スリットローリングシャッター方式で撮像素子を駆動させて露光ムラが発生した画像を取得する。また、グローバルシャッター方式で撮像素子を駆動させて露光ムラが発生していない画像を取得する。そして、露光ムラが発生した画像と発生していない画像を用いて、フリッカーの有無及び周波数を検知する。

特開２０１５−０８８９１７号公報 特開２０１５−２４５５８５号公報

しかしながら、上述の特許文献に開示された従来技術では、ライブビュー表示中（ＬＶ表示中）にフリッカーを検出する場合、ＬＶ画像と露光ムラ画像を交互に取得する必要がある。そのため、ＬＶ表示のフレームレートが撮像素子の信号読み出し時間により制限されることになり、上限のフレームレートの半分になってしまうという問題がある。

また、近年、ＬＶ表示のフレームレートが高速化する傾向があり、今後さらに高速化されることが予想される。このような状況でＬＶ表示中にフリッカー検知を行おうとすると、従来技術ではライブビューのフレームの間にフリッカーの周期よりも長い露光時間のフリッカー検知フレームを挿入する必要がある。そのため、ＬＶ表示のフレームレートが低下する。

本発明は上述した課題に鑑みてなされたものであり、その目的は、動画像のライブビュー表示のフレームレートを維持しつつ、高精度にフリッカーを検知することができる撮像装置を提供することである。

本発明に係わる撮像装置は、画素が行方向および列方向に２次元的に配列された画素領域を有する撮像素子と、前記画素の電荷の蓄積開始のタイミングと前記画素の信号の読み出しのタイミングとを行ごとに制御する制御手段と、を備え、前記制御手段は、前記画素領域のうちの第１の領域については、第１の蓄積時間で電荷蓄積を行わせるとともに、第１の読み出し時間で前記画素の信号の第１の読み出しを行わせ、前記第１の領域とは異なる第２の領域については、前記第１の蓄積時間よりも短い第２の蓄積時間で電荷蓄積を行わせるとともに、第１の読み出し時間よりも長い第２の読み出し時間で前記画素の信号の第２の読み出しを行わせ、前記第１の読み出し時間と前記第２の読み出し時間とが時間的に重ならないように、前記第１の読み出しと前記第２の読み出しを行わせることを特徴とする。

本発明によれば、動画像のライブビュー表示のフレームレートを維持しつつ、高精度にフリッカーを検知することが可能となる。

本発明の撮像装置の第１の実施形態であるデジタル一眼レフカメラの概略構成を示すブロック図。 カメラ本体内での各部の配置について示した図。 撮像素子の構成を示す図。 撮像素子の単位画素の回路構成図。 第１の実施形態における撮像素子の駆動方法のタイミングチャート。 フリッカーの光量変化と撮影される画像の蓄積タイミングを示した図。 フリッカーの光量変化と撮影される画像を示した図。 フリッカーによる縞成分を抽出するための演算を示した図。 フリッカーの周期及び光量変化を示す図。 第２の実施形態における撮像素子の単位画素の回路構成図。 第２の実施形態における撮像素子の駆動方法のタイミングチャート。 第３の実施形態におけるフリッカー検知用画像に用いるラインの分布を示した図。 第３の実施形態におけるフリッカーの光量変化と撮影される画像の蓄積タイミングを示した図。 第４の実施形態におけるフリッカーの光量変化と撮影される画像の蓄積タイミングを示した図。 第４の実施形態におけるフリッカーによる縞成分を抽出するための演算を示した図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の撮像装置の第１の実施形態であるデジタル一眼レフカメラの概略構成を示すブロック図である。また、図２は図１に示したデジタル一眼レフカメラのカメラ本体内での各部の配置について示した図である。

図１及び図２において、デジタル一眼レフカメラ１５０は、カメラ本体１００に対して、交換レンズ２００が着脱可能に装着されて構成されている。交換レンズ２００は、撮影レンズ２０２を有し、撮影レンズ２０２は、被写体の光学像を撮像素子１０６に結像させる。レンズ駆動装置２０３は、撮影レンズ２０２をピント（焦点）が合うように駆動する。絞り２０４は、被写体からの反射光の光量を制御する。絞り駆動装置２０５は、絞り２０４を駆動する。交換レンズ２００は、カメラ本体１００から取り外すことが可能で、交換レンズ２００とカメラ本体１００との間では、情報交換のために通信が行われる。このときの通信は、カメラ本体１００の全体制御・演算部１０１と交換レンズ２００のレンズ制御部２０１の間で行われる。

カメラ本体１００内には全体制御・演算部１０１が配置され、各種の演算処理を行うとともに、カメラ本体１００と交換レンズ２００とを統括的に制御する。クイックリターン（ＱＲ）ミラー１０２は、撮影レンズ２０２を通った光学像を、ファインダー使用時には、ファインダーとＡＥ用の測光用撮像素子１１６に導く。また、撮影時には跳ね上がり、光学像を撮像素子１０６へと導く。ミラー駆動装置１０３は、クイックリターンミラー１０２を駆動する。

シャッタ１０４はいわゆる一眼レフカメラに使用されるフォーカルプレーン型の先幕／後幕に相当するシャッタ幕を有するシャッタである。シャッタ１０４は、撮影レンズ２０２を通ってきた光学像の露光時間の制御と遮光を行う。シャッタ駆動装置１０５はシャッタ１０４の駆動を行う。撮像素子１０６は、撮影レンズ２０２により結像された被写体の光学像を画像信号として取り込む。本実施形態の撮像素子１０６は、画素が行方向および列方向に２次元的に配列された画素領域を有する、例えばＣＭＯＳセンサーのような２次元のＸＹアドレス走査型の撮像素子である。アドレス指定によりライン毎に電荷蓄積時間を制御し、ライン毎に順次読出しを行うローリングシャッタ方式が採用される。

撮像信号処理部１０７は、撮像素子１０６から出力される画像信号の増幅処理や、アナログからデジタルへの変換を行うＡ／Ｄ変換処理を行う。また、Ａ／Ｄ変換後の画像データに対するキズ補正等の各種の補正処理、画像データを圧縮する圧縮処理等も行う。タイミング発生部１０８は撮像素子１０６と撮像信号処理部１０７に対して各種のタイミング信号を出力する。

メモリ部１０９は撮像信号処理部１０７により処理された画像データ等を一時的に記憶し、また各種の調整値や全体制御・演算部１０１による各種の制御を実行させるためのプログラムなどを恒久的に記憶する。ＲＡＭ１３０は、メモリ部１０９に記憶されているプログラムの展開に使用されたり、全体制御・演算部１０１のワークエリアとしても使用される。記録媒体制御インターフェース（Ｉ／Ｆ）部１１０は、記録媒体１１１に対する画像データ等の記録処理又は記録媒体１１１からの画像データ等の読み出し処理を行うためのインターフェースである。記録媒体１１１は、画像データ等の各種のデータを記録する半導体メモリ等からなる着脱可能な記録媒体である。表示駆動部１１２は、撮影した静止画像や動画像等を表示する表示装置１１３を駆動する。外部インターフェース（Ｉ／Ｆ）部１１４は、コンピュータ１１５の様な外部機器と画像信号、制御信号等の情報のやりとりを行う。

測光用撮像素子１１６は、ＡＥ（自動露出）信号／光源検知信号を取得するための撮像素子で、ＲＧＢイメージャータイプの撮像素子である。本実施形態では、ＣＣＤまたはＣＭＯＳセンサが用いられる。測光用撮像素子１１６には、クイックリターンミラー１０２で光路を曲げられ、分光部１２５で分光され、ペンタプリズム１１９を介してレンズ１２２で集光され、ミラー１２４で曲げられた光線が入力される。

測光用撮像信号処理部１１７は、測光用撮像素子１１６から出力される画像信号の増幅処理や、アナログからデジタルへの変換を行うＡ／Ｄ変換処理を行う。また、Ａ／Ｄ変換後の画像データに対するキズ補正等の各種の補正処理、或いは、画像データを圧縮する圧縮処理等を行う。測光用タイミング発生部１１８は、測光用撮像素子１１６と測光用撮像信号処理部１１７に対して各種のタイミング信号を出力する。

ペンタプリズム１１９は、クイックリターンミラー１０２で光路を曲げられた光線を、ファインダー１２３と測光用撮像素子１１６へと導く。位相差検出部１２１は、位相差方式による焦点検出を行う部分であり、図示されていないがクイックリターンミラー１０２を透過した光線から、デフォーカス量により位相が変化する１対の画像を取得する。この１対の２画像のズレ量から被写体のデフォーカス量を演算して、撮影レンズ２０２を移動させる。 検出部駆動装置１２０は、位相差検出部１２１を駆動する。

図３は、本実施形態における２次元の走査方法をとる撮像素子１０６の概略構成を示す図である。図３において、撮像素子１０６は画素領域ＰＡを有する。画素領域ＰＡには、単位画素３００がｐ１１〜ｐｋｎのように２次元状（行列状）に配置されている。

ここで、図４を参照して、単位画素３００（一画素）の回路構成について説明する。図４は、単位画素３００の回路構成図である。各画素が有するフォトダイオード（以下ＰＤ）４０１は、入射した光信号（光学像）を光電変換し、露光量に応じた電荷を蓄積する。転送ゲート４０３は、信号ｔｘ１がＨｉｇｈレベルにされることにより、ＰＤ４０１に蓄積されているそれぞれの電荷をメモリ部（以下ＭＥＭ部）４０４に転送する。ＭＥＭ部４０４はＰＤ４０１によって蓄積された電荷を一時格納するために用いられる。転送ゲート４０５は、信号ｔｘ２がＨｉｇｈレベルにされることにより、ＭＥＭ部４０４に蓄積されているそれぞれの電荷をフローティングディフュージョン部（以下ＦＤ部）４０６に転送する。ＦＤ部４０６は、フローティングディフュージョンアンプ（以下ＦＤアンプ）４０７のゲートに接続されており、ＰＤ４０１から転送された電荷量を電圧量に変換する。

リセットスイッチ４０８は、ＦＤ部４０６をリセットするためのスイッチであり、信号ｒｅｓがＨｉｇｈレベルとされることにより、ＦＤ部４０６をリセットする。また、ＰＤ４０１は、信号ｏｆｄがＨｉｇｈレベルにされて転送ゲート４０２がオープンされることにより、電荷がリセットされる。画素選択スイッチ４０９は、信号ｓｅｌがＨｉｇｈレベルとされることにより、ＦＤアンプ４０７で電圧に変換された画素信号を単位画素３００（画素）の出力ｖｏｕｔに出力する。

図３に戻り、垂直走査回路３０１は、前述の各画素（単位画素３００）のトランジスタ（スイッチ）を制御する信号ｔｘ１、ｏｆｄ、ｒｅｓ、ｔｘ２、ｓｅｌなどの駆動信号を単位画素３００に供給する。これらの駆動信号は、画素領域ＰＡの行ごとに共通であり、垂直走査回路３０１によって選択されたｎ番目の走査ライン（以降、第ｎライン）の信号をそれぞれφＴＸ１ｎ、φＯＦＤｎ、φＲＥＳｎ、φＴＸ２ｎ、φＳＥＬｎとする。各画素の出力ｖｏｕｔは、列ごとに垂直出力線３０２を介して列共通読出し回路３０５に接続されている。垂直出力線３０２は、列ごとに設けられ、一列分の単位画素３００の出力ｖｏｕｔが接続されている。垂直出力線３０２には、電流源３０４が接続されており、電流源３０４と、垂直出力線３０２に接続された単位画素３００のＦＤアンプ４０７とにより、ソースフォロワ回路が構成される。

列共通読出し回路３０５の出力は、水平転送スイッチ３０６に接続されている。水平転送スイッチ３０６は、列共通読出し回路３０５で読み出した画素データ（画素信号）を選択するスイッチであり、水平走査回路３０７によって駆動される。水平走査回路３０７によって選択された画素データは出力アンプ３０８で増幅されて撮像素子１０６から出力される。

次に、図５を用いて、本実施形態の駆動方式による撮像素子１０６の電荷の蓄積開始から画像信号の読出しまでの動作について説明する。

本実施形態の駆動方式では、グローバルシャッター方式で蓄積した電荷を行単位で読み出すライン５００１と、スリットローリングシャッター方式で蓄積した電荷を行単位で読み出すライン５０００を組み合わせて信号の読み出しが行われる。

本実施形態の駆動方式では、第ｎ＋１ラインから第２ｎ−１ラインおよび第２ｎ＋１ラインから第３ｎ−１ラインにおいて、グローバルシャッタ方式で蓄積した電荷を読み出す。まず、時刻ｔ５０１からｔ５０２の間、全ラインにパルスφＲＥＳとパルスφＴＸ２が印加されて、転送スイッチ４０５及びリセットスイッチ４０８がオンされる。これにより、全ラインのＭＥＭ部４０４とＦＤ部４０６に蓄積されている不要電荷が除去されてリセット動作が行われる。また同じタイミングで、パルスφＯＦＤｎ＋１〜φＯＦＤ２ｎ−１およびパルスφＯＦＤ２ｎ＋１〜φＯＦＤ３ｎ−１が印加されて、リセットスイッチ４０２がオンされる。これにより、第ｎ＋１ラインから第２ｎ−１ラインおよび第２ｎ＋１ラインから第３ｎ−１ラインのＰＤ４０１に蓄積されている不要電荷が除去されてリセット動作が行われる。

続いて、時刻ｔ５０２でパルスφＲＥＳとφＴＸ２の印加が解除されて、転送スイッチ４０５及びリセットスイッチ４０８がオフになる。また同じタイミングで、パルスφＯＦＤｎ＋１〜φＯＦＤ２ｎ−１およびパルスφＯＦＤ２ｎ＋１〜φＯＦＤ３ｎ−１の印加が解除される。これにより、リセットスイッチ４０２がオフになり、第ｎ＋１ラインから第２ｎ−１ラインおよび第２ｎ＋１ラインから第３ｎ−１ラインのＰＤ４０１における電荷の蓄積動作が開始される。

時刻ｔ５０３からｔ５０４の間、パルスφＴＸ１ｎ＋１〜φＴＸ１２ｎ−１およびパルスφＴＸ１２ｎ＋１〜φＴＸ１３ｎ−１が印加されて、転送スイッチ４０３がオンし、ＰＤ４０１に蓄積された電荷をＭＥＭ部４０４に転送するＭＥＭ転送動作が行われる。

次に、第ｎラインにおいて、スリットローリングシャッター方式で電荷を蓄積するとともに蓄積した電荷を読み出す。時刻ｔ５０４からｔ５０５の間、パルスφＯＦＤｎが印加されて、リセットスイッチ４０２がオンされる。これにより、第ｎラインのＰＤ４０１に蓄積されている不要電荷が除去されてリセット動作が行われる。続いて、時刻ｔ５０５でパルスφＯＦＤｎの印加が解除されて、リセットスイッチ４０２がオフになり、第ｎラインのＰＤ４０１における電荷の蓄積動作が開始される。続いて、時刻ｔ５０６からｔ５０７の間、パルスφＴＸ１ｎとφＴＸ２ｎが印加されて、転送スイッチ４０３と転送スイッチ４０５がオンし、ＰＤ４０１に蓄積された電荷をＦＤ部４０６に転送するＦＤ転送動作が行われる。第ｎラインのＦＤ転送動作の終了に続いて、時刻ｔ５０７からｔ５０８の間、パルスφＳＥＬｎが印加されて選択スイッチ４０９がオンする。これにより、ＦＤ部４０６で保持された電荷が電圧に変換され、画素信号として読み出し回路に出力され、水平走査回路３０５によって順次出力される。そして、第ｎラインにおける画素からの画素信号の読み出しが完了する。

次に、時刻ｔ５０８からｔ５０９の間、パルスφＴＸ２ｎ＋１が印加されて、転送スイッチ４０５がオンし、ＭＥＭ４０４に蓄積された電荷をＦＤ部４０６に転送するＦＤ転送動作が行われる。第ｎ＋１ラインのＦＤ転送動作の終了に続いて、時刻ｔ５０９からｔ５１０の間、パルスφＳＥＬｎ＋１が印加されて選択スイッチ４０９がオンする。これにより、ＦＤ部４０６で保持された電荷が電圧に変換され、画素信号として読み出し回路に出力され、水平走査回路３０５によって順次出力される。そして、第ｎ＋１ラインにおける画素からの画素信号の読み出しが完了する。

次に、時刻ｔ５１０からｔ５１１の間、パルスφＴＸ２ｎ＋２が印加されて、転送スイッチ４０５がオンし、ＭＥＭ４０４に蓄積された電荷をＦＤ部４０６に転送するＦＤ転送動作が行われる。第ｎ＋２ラインのＦＤ転送動作の終了に続いて、時刻ｔ５１１からｔ５１２の間、パルスφＳＥＬｎ＋２が印加されて選択スイッチ４０９がオンする。これにより、ＦＤ部４０６で保持された電荷が電圧に変換され、画素信号として読み出し回路に出力され、水平走査回路３０５によって順次出力される。そして、第ｎ＋２ラインにおける画素からの画素信号の読み出しが完了する。

時刻ｔ５１２からｔ５１３の間で、第ｎ＋３ラインから第２ｎ−２ラインまでのＦＤ転送および画素信号の読み出しを実行するが、上記と同じ動作の繰り返しなので、この図では記載を省略する。

次に、時刻ｔ５１３からｔ５１４の間、パルスφＴＸ２２ｎ−１が印加されて、転送スイッチ４０５がオンし、ＭＥＭ４０４に蓄積された電荷をＦＤ部４０６に転送するＦＤ転送動作が行われる。第２ｎ−１ラインのＦＤ転送動作の終了に続いて、時刻ｔ５１４からｔ５１５の間、パルスφＳＥＬ２ｎ−１が印加されて選択スイッチ４０９がオンする。これにより、ＦＤ部４０６で保持された電荷が電圧に変換され、画素信号として読み出し回路に出力され、水平走査回路３０５によって順次出力される。そして、第２ｎ−１ラインにおける画素からの画素信号の読み出しが完了する。

次に、時刻ｔ５１５からｔ５１６の間、パルスφＴＸ２２ｎ＋１が印加されて、転送スイッチ４０５がオンし、ＭＥＭ４０４に蓄積された電荷をＦＤ部４０６に転送するＦＤ転送動作が行われる。第２ｎ＋１ラインのＦＤ転送動作の終了に続いて、時刻ｔ５１６からｔ５１７の間、パルスφＳＥＬ２ｎ＋１が印加されて選択スイッチ４０９がオンする。これにより、ＦＤ部４０６で保持された電荷が電圧に変換され、画素信号として読み出し回路に出力され、水平走査回路３０５によって順次出力される。そして、第２ｎ＋１ラインにおける画素からの画素信号の読み出しが完了する。

次に、時刻ｔ５１７からｔ５１８の間、パルスφＴＸ２２ｎ＋２が印加されて、転送スイッチ４０５がオンし、ＭＥＭ４０４に蓄積された電荷をＦＤ部４０６に転送するＦＤ転送動作が行われる。第２ｎ＋２ラインのＦＤ転送動作の終了に続いて、時刻ｔ５１８からｔ５１９の間、パルスφＳＥＬ２ｎ＋２が印加されて選択スイッチ４０９がオンする。これにより、ＦＤ部４０６で保持された電荷が電圧に変換され、画素信号として読み出し回路に出力され、水平走査回路３０５によって順次出力される。そして、第２ｎ＋２ラインにおける画素からの画素信号の読み出しが完了する。

時刻ｔ５１９からｔ５２０の間で、第２ｎ＋３ラインから第３ｎ−２ラインまでのＦＤ転送および画素信号の読み出しを実行するが、上記と同じ動作の繰り返しなので、この図では記載を省略する。

次に、時刻ｔ５２０からｔ５２１の間、パルスφＴＸ２３ｎ−１が印加されて、転送スイッチ４０５がオンし、ＭＥＭ４０４に蓄積された電荷をＦＤ部４０６に転送するＦＤ転送動作が行われる。第３ｎー１ラインのＦＤ転送動作の終了に続いて、時刻ｔ５２１からｔ５２２の間、パルスφＳＥＬ３ｎ−１が印加されて選択スイッチ４０９がオンする。これにより、ＦＤ部４０６で保持された電荷が電圧に変換され、画素信号として読み出し回路に出力され、水平走査回路３０５によって順次出力される。そして、第３ｎ−１ラインにおける画素からの画素信号の読み出しが完了する。

次に、第２ｎラインにおいて、スリットローリングシャッター方式で電荷を蓄積するとともに蓄積した電荷を読み出す。時刻ｔ５２３からｔ５２４の間、パルスφＯＦＤ２ｎが印加されて、リセットスイッチ４０２がオンする。これにより、第２ｎラインのＰＤ４０１に蓄積されている不要電荷が除去されてリセット動作が行われる。続いて、時刻ｔ５２４でパルスφＯＦＤ２ｎの印加が解除されて、リセットスイッチ４０２がオフになり、第２ｎラインのＰＤ４０１における電荷の蓄積動作が開始される。続いて、時刻ｔ５２５からｔ５２６の間、パルスφＴＸ１２ｎとφＴＸ２２ｎが印加されて、転送スイッチ４０３と転送スイッチ４０５がオンし、ＰＤ４０１に蓄積された電荷をＦＤ部４０６に転送するＦＤ転送動作が行われる。第２ｎラインのＦＤ転送動作の終了に続いて、時刻ｔ５２６からｔ５２７の間、φＳＥＬ２ｎにパルスが印加されて選択スイッチ４０９がオンする。これにより、ＦＤ部４０６で保持された電荷が電圧に変換され、画素信号として読み出し回路に出力され、水平走査回路３０５によって順次出力される。そして、第２ｎラインにおける画素からの画素信号の読み出しが完了する。

この様に、本実施形態では、グローバルシャッター方式で蓄積した電荷を読み出すラインと、スリットローリングシャッター方式で蓄積した電荷を読み出すラインを組み合わせて、画素信号を読み出している。

図６は、本実施形態におけるシーケンスをセンサーの蓄積と読出しのタイミングで示した図である。

図５で示したように、本実施形態ではグローバルシャッター方式で電荷を蓄積するライン５００１と、スリットローリング方式で電荷を蓄積するライン５０００を組み合わせている。また、この２つの方式のラインは、図３および図４で示したように、読出し回路が共通であるため、同時に読み出すことはできない。そのため、上記の２つの方式のラインは、時間について排他的に（時間的に重ならないように）読み出される。

グローバルシャッター方式で電荷を蓄積するライン５００１では、フリッカーの光強度変化の周期よりも十分に長い時間に設定された蓄積時間で蓄積した画像Ａを取得する。そして、この画像Ａをライブビュー（ＬＶ）の表示用の画像として使用する。画像Ａは、ＬＶ表示のフレームレートに合わせて出力される垂直同期信号（以下ＶＤ信号）に合わせて、１垂直同期期間（以下１ＶＤ）内で読み出される。

また、スリットローリング方式で電荷を蓄積するライン５０００では、フリッカーの光強度変化の周期よりも短い時間に設定された蓄積時間で蓄積した画像Ｂを取得する。この画像ＢはＬＶの表示用の画像としては使用しない。画像Ｂは、フリッカーの周期時間に合わせてフリッカー周期時間よりも長い時間をかけて（複数フレーム分にわたって）読み出す。この、画像Ａと画像Ｂとを元に図８および図９で示す演算（詳細は後述する）を行い、フリッカーを検知する。

図７は、図６のシーケンスで撮影した画像Ａと画像Ｂを示している。画像Ａは、フリッカーの周期よりも十分に長い時間で露光（蓄積）しているため、フリッカーによる露光ムラを軽減した画像が得られる。また、画像ＡはＬＶ表示のフレームレートに合わせて出力されるＶＤ信号に合わせて、１ＶＤ内で読み出される。本実施形態では、この画像を通常のＬＶ画像として取得して表示する。

画像Ｂは、フリッカーの周期よりも短い時間で蓄積しているため、フリッカーによる露光ムラが発生した画像が得られる。また、画像Ｂは、フリッカーの周期時間に合わせてフリッカー周期時間よりも長い時間をかけて読み出される。また、フリッカーの周期よりも長い期間でスリットローリング方式の電荷蓄積をしているため、フリッカーの光量変化が極大なタイミングと極小なタイミングで蓄積した画像が得られる。この画像はＬＶ表示されない。

図８は、図７で取得された画像に対する演算処理を示した図である。図７の画像Ｂはフリッカーによる露光ムラが発生するように撮影された画像であり、図７の画像Ａは露光ムラを軽減するように撮影された画像である。この２つの画像に対して割り算を行い画像Ｃを取得する。フリッカーによる露光ムラが発生している画像Ｂをフリッカーによる露光ムラを軽減した画像Ａで割ることにより、フリッカーによる露光ムラ成分だけの画像Ｃを抽出することが出来る。

ただし、画像Ｂの様にフリッカーによる露光ムラが発生した画像はフリッカーによる露光ムラを出やすくするために短い露光時間で撮影している。一方、画像Ａの様にフリッカーによる露光ムラを軽減した画像はフリッカーによる露光ムラが出ないようにフリッカーの周期の整数倍もしくはそれ以上の露光時間で撮影している。そのため、そのまま割り算をすると、露光量に差が出てしまう。そこで、画像取得時のゲインを調整したり、取得された画像にゲインをかけたりして、信号レベルを一致させる必要がある。また、画像Ａと画像Ｂの間に被写体の位置が移動したり、カメラの向きが変わっていた場合には、画像の画面を分割し、それぞれの画像の一致度を計算して画像の位置合わせを行ってから割り算を行う必要がある。

この様にして得られたフリッカーによる露光ムラ成分だけの画像Ｃを元にして、ＶＤからのフリッカー光量がピークとなるタイミングを見つける。 また、この画像を元にしてフリッカーの周期も求める。

図９は、図８の画像Ｃで示した垂直方向の光量変化（実線）と、この光量変化データの隣接差分（破線）とを示した図であり、図８の画像Ｃでフリッカー光量のピーク（Ｐｅａｋ）を検出する方法を示す図である。ここで、破線の値が「０」の位置が光量変化の極大値もしくは極小値を示している。特に、破線の値が正から負へ変化する時の「０」値は極大値になる。このフリッカー光量のピークが画面の何行目か分かれば、水平同期信号（以下ＨＤ）の周期を元にしてＶＤからピークまでの時間を求めることが出来る。また、破線の「０」から「０」までの時間を求めることによりフリッカーの周期を求めることが可能となる。上記の手法で検知したフリッカーの周期は、フリッカーのピークタイミングで静止画を撮影するためなどに用いられる。

以上のように、本実施形態によれば、１つの撮像素子で画像Ａと画像Ｂを同時に読み出すことで、ＬＶ表示のフレームレートを維持しつつ、フリッカーを検知することが可能となる。

（第２の実施形態）
第１の実施形態では、画像Ａを得るラインの電荷蓄積方法としてグローバルシャッター方式を採用していた。本実施形態では、画像Ａを得るラインの電荷蓄積方法としてスリットローリングシャッター方式を採用する。

図１０は、本実施形態における撮像素子の単位画素３００の回路構成を示す図である。画素のＰＤ１００１は、入射した光信号（光学像）を光電変換し、露光量に応じた電荷を蓄積する。転送ゲート１００２は、信号ｔｘがＨｉｇｈレベルにされることにより、ＰＤ１００１に蓄積されているそれぞれの電荷をＦＤ部１００３に転送する。ＦＤ部１００３は、ＦＤアンプ１００４のゲートに接続されており、ＦＤアンプ１００４によりＰＤ１００１から転送された電荷量が電圧に変換される。リセットスイッチ１００５は、ＦＤ部１００３をリセットするためのスイッチであり、信号ｒｅｓがＨｉｇｈレベルとされることにより、ＦＤ部１００３をリセットする。また、ＰＤ１００１は、信号ｔｘと信号ｒｅｓがＨｉｇｈレベルにされて転送ゲート１００２とリセットスイッチ１００５がオープンされることにより、電荷がリセットされる。画素選択スイッチ１００６は、信号ｓｅｌがＨｉｇｈレベルとされることにより、ＦＤアンプ１００３で電圧に変換された画素信号を単位画素３００の出力ｖｏｕｔに出力する。

次に、図１１を用いて、本実施形態の駆動方式による撮像素子１０６の電荷の蓄積開始から画像信号の読出しまでの動作について説明する。本実施形態の駆動方式では、画像Ａを得るラインと画像Ｂを得るラインを、ともにスリットローリングシャッター方式で駆動する。

まず、時刻ｔ１１０１からｔ１１０２の間、パルスφＲＥＳｎ＋１とφＴＸｎ＋１が印加されて、第ｎ＋１ラインの転送ゲート１００２とリセットスイッチ１００５がオンする。これにより、第ｎ＋１ラインのＰＤ１００１とＦＤ部１００３に蓄積されている不要電荷が除去されてリセット動作が行われる。

続いて、時刻ｔ１１０２でパルスφＲＥＳｎ＋１とφＴＸｎ＋１の印加が解除されて、第ｎ＋１ラインの転送ゲート１００２とリセットスイッチ１００５がオフになり、第ｎ＋１ラインのＰＤ１００１における電荷の蓄積動作が開始される。

次に、時刻ｔ１１０３からｔ１１０４の間、パルスφＲＥＳｎ＋２とφＴＸｎ＋２が印加されて、第ｎ＋２ラインの転送ゲート１００２とリセットスイッチ１００５がオンする。これにより、第ｎ＋２ラインのＰＤ１００１とＦＤ部１００３に蓄積されている不要電荷が除去されてリセット動作が行われる。

続いて、時刻ｔ１１０４でパルスφＲＥＳｎ＋２とφＴＸｎ＋２の印加が解除されて、第ｎ＋２ラインの転送ゲート１００２とリセットスイッチ１００５がオフになり、第ｎ＋２ラインのＰＤ１００１に発生する電荷の蓄積動作が開始される。

次に、時刻ｔ１１０５からｔ１１０６の間、パルスφＲＥＳ２ｎ−１とφＴＸ２ｎ−１が印加されて、第２ｎ−１ラインの転送ゲート１００２とリセットスイッチ１００５がオンする。これにより、第２ｎ−１ラインのＰＤ１００１とＦＤ部１００３に蓄積されている不要電荷が除去されてリセット動作が行われる。

続いて、時刻ｔ１１０６でパルスφＲＥＳ２ｎ−１とφＴＸ２ｎ−１の印加が解除されて、第２ｎ−１ラインの転送ゲート１００２とリセットスイッチ１００５がオフになり、第２ｎ−１ラインのＰＤ１００１に発生する電荷の蓄積動作が開始される。

次に、時刻ｔ１１０７からｔ１１０８の間、パルスφＲＥＳ２ｎ＋１とφＴＸ２ｎ＋１が印加されて、第２ｎ＋１ラインの転送ゲート１００２とリセットスイッチ１００５がオンする。これにより、第２ｎ＋１ラインのＰＤ１００１とＦＤ部１００３に蓄積されている不要電荷が除去されてリセット動作が行われる。

続いて、時刻ｔ１１０８でパルスφＲＥＳ２ｎ＋１とφＴＸ２ｎ＋１の印加が解除されて、第２ｎ＋１ラインの転送ゲート１００２とリセットスイッチ１００５がオフになり、第２ｎ＋１ラインのＰＤ１００１に発生する電荷の蓄積動作が開始される。

次に、時刻ｔ１１０９からｔ１１１０の間、パルスφＲＥＳ２ｎ＋２とφＴＸ２ｎ＋２が印加されて、第２ｎ＋２ラインの転送ゲート１００２とリセットスイッチ１００５がオンする。これにより、第２ｎ＋２ラインのＰＤ１００１とＦＤ部１００３に蓄積されている不要電荷が除去されてリセット動作が行われる。

続いて、時刻ｔ１１１０でパルスφＲＥＳ２ｎ＋２とφＴＸ２ｎ＋２の印加が解除されて、第２ｎ＋２ラインの転送ゲート１００２とリセットスイッチ１００５がオフになり、第２ｎ＋２ラインのＰＤ１００１に発生する電荷の蓄積動作が開始される。

次に、時刻ｔ１１１１からｔ１１１２の間、パルスφＲＥＳ３ｎ−１とφＴＸ３ｎ−１が印加されて、第３ｎ−１ラインの転送ゲート１００２とリセットスイッチ１００５がオンする。これにより、第３ｎ−１ラインのＰＤ１００１とＦＤ部１００３に蓄積されている不要電荷が除去されてリセット動作が行われる。

続いて、時刻ｔ１１１２でパルスφＲＥＳ３ｎ−１とφＴＸ３ｎ−１の印加が解除されて、第３ｎ−１ラインの転送ゲート１００２とリセットスイッチ１００５がオフになり、第３ｎ−１ラインのＰＤ１００１に発生する電荷の蓄積動作が開始される。

次に、時刻ｔ１１１３からｔ１１１４の間、パルスφＲＥＳｎとφＴＸｎが印加されて、第ｎラインの転送ゲート１００２とリセットスイッチ１００５がオンする。これにより、第ｎラインのＰＤ１００１とＦＤ部１００３に蓄積されている不要電荷が除去されてリセット動作が行われる。

続いて、時刻ｔ１１１４でパルスφＲＥＳｎとφＴＸｎの印加が解除されて、第ｎラインの転送ゲート１００２とリセットスイッチ１００５がオフになり、第ｎラインのＰＤ１００１に発生する電荷の蓄積動作が開始される。

次に、時刻ｔ１１１５からｔ１１１６の間、パルスφＴＸｎが印加されて、第ｎラインの転送ゲート１００２がオンする。これにより、第ｎラインのＰＤ１００１に蓄積された電荷をＦＤ部１００３に転送するＦＤ転送動作が行われる。

続いて、時刻ｔ１１１６からｔ１１１７の間、パルスφＳＥＬｎが印加されて選択スイッチ１００６がオンすることにより、ＦＤ部１００３で保持された電荷が電圧に変換される。そして、画素信号として読み出し回路に出力され、水平走査回路３０５によって順次出力される。これにより、第ｎラインにおける画素からの画素信号の読み出しが完了する。

次に、時刻ｔ１１１７からｔ１１１８の間、パルスφＴＸｎ＋１が印加されて、第ｎ＋１ラインの転送ゲート１００２がオンする。これにより、第ｎ＋１ラインのＰＤ１００１に蓄積された電荷をＦＤ部１００３に転送するＦＤ転送動作が行われる。

続いて、時刻ｔ１１１８からｔ１１１９の間、パルスφＳＥＬｎ＋１が印加されて選択スイッチ１００６がオンすることにより、ＦＤ部１００３で保持された電荷が電圧に変換される。そして、画素信号として読み出し回路に出力され、水平走査回路３０５によって順次出力される。これにより、第ｎ＋１ラインにおける画素からの画素信号の読み出しが完了する。

次に、時刻ｔ１１１９からｔ１１２０の間、パルスφＴＸｎ＋２が印加されて、第ｎ＋２ラインの転送ゲート１００２がオンする。これにより、第ｎ＋２ラインのＰＤ１００１に蓄積された電荷をＦＤ部１００３に転送するＦＤ転送動作が行われる。

続いて、時刻ｔ１１２０からｔ１１２１の間、パルスφＳＥＬｎ＋２が印加されて選択スイッチ１００６がオンすることにより、ＦＤ部１００３で保持された電荷が電圧に変換される。そして、画素信号として読み出し回路に出力され、水平走査回路３０５によって順次出力される。これにより、第ｎ＋２ラインにおける画素からの画素信号の読み出しが完了する。

次に、時刻ｔ１１２２からｔ１１２３の間、パルスφＴＸ２ｎ−１が印加されて、第２ｎ−１ラインの転送ゲート１００２がオンする。これにより、第２ｎ−１ラインのＰＤ１００１に蓄積された電荷をＦＤ部１００３に転送するＦＤ転送動作が行われる。

続いて、時刻ｔ１１２３からｔ１１２４の間、パルスφＳＥＬ２ｎ−１が印加されて選択スイッチ１００６がオンすることにより、ＦＤ部１００３で保持された電荷が電圧に変換される。そして、画素信号として読み出し回路に出力され、水平走査回路３０５によって順次出力される。そして、第２ｎ−１ラインにおける画素からの画素信号の読み出しが完了する。

次に、時刻ｔ１１２４からｔ１１２５の間、パルスφＴＸ２ｎ＋１が印加されて、第２ｎ＋１ラインの転送ゲート１００２がオンする。これにより、第２ｎ＋１ラインのＰＤ１００１に蓄積された電荷をＦＤ部１００３に転送するＦＤ転送動作が行われる。

続いて、時刻ｔ１１２５からｔ１１２６の間、パルスφＳＥＬ２ｎ＋１が印加されて選択スイッチ１００６がオンすることにより、ＦＤ部１００３で保持された電荷が電圧に変換される。そして、画素信号として読み出し回路に出力され、水平走査回路３０５によって順次出力される。これにより、第２ｎ＋１ラインにおける画素からの画素信号の読み出しが完了する。

次に、時刻ｔ１１２６からｔ１１２７の間、パルスφＴＸ２ｎ＋２が印加されて、第２ｎ＋２ラインの転送ゲート１００２がオンする。これにより、第２ｎ＋２ラインのＰＤ１００１に蓄積された電荷をＦＤ部１００３に転送するＦＤ転送動作が行われる。

続いて、時刻ｔ１１２７からｔ１１２８の間、パルスφＳＥＬ２ｎ＋２が印加されて選択スイッチ１００６がオンすることにより、ＦＤ部１００３で保持された電荷が電圧に変換される。そして、画素信号として読み出し回路に出力され、水平走査回路３０５によって順次出力される。これにより、第２ｎ＋２ラインにおける画素からの画素信号の読み出しが完了する。

次に、時刻ｔ１１２９からｔ１１３０の間、パルスφＴＸ３ｎ−１が印加されて、第３ｎ−１ラインの転送ゲート１００２がオンする。これにより、第３ｎ−１ラインのＰＤ１００１に蓄積された電荷をＦＤ部１００３に転送するＦＤ転送動作が行われる。

続いて、時刻ｔ１１３０からｔ１１３１の間、パルスφＳＥＬ３ｎ−１が印加されて選択スイッチ１００６がオンすることにより、ＦＤ部１００３で保持された電荷が電圧に変換される。そして、画素信号として読み出し回路に出力され、水平走査回路３０５によって順次出力される。これにより、第３ｎ−１ラインにおける画素からの画素信号の読み出しが完了する。

次に、時刻ｔ１１３２からｔ１１３３の間、パルスφＲＥＳ２ｎとφＴＸ２ｎが印加されて、第２ｎラインの転送ゲート１００２とリセットスイッチ１００５がオンする。これにより、第２ｎラインのＰＤ１００１とＦＤ部１００３に蓄積されている不要電荷が除去されてリセット動作が行われる。

続いて、時刻ｔ１１３３でパルスφＲＥＳ２ｎとφＴＸ２ｎの印加が解除されて、第２ｎラインの転送ゲート１００２とリセットスイッチ１００５がオフになり、第２ｎラインのＰＤ１００１における電荷の蓄積動作が開始される。

続いて、時刻ｔ１１３４からｔ１１３５の間、パルスφＴＸ２ｎが印加されて、第２ｎラインの転送ゲート１００２がオンする。これにより、第２ｎラインのＰＤ１００１に蓄積された電荷をＦＤ部１００３に転送するＦＤ転送動作が行われる。

続いて、時刻ｔ１１３５からｔ１１３６の間、パルスφＳＥＬ２ｎが印加されて選択スイッチ１００６がオンすることにより、ＦＤ部１００３で保持された電荷が電圧に変換される。そして、画素信号として読み出し回路に出力され、水平走査回路３０５によって順次出力される。これにより、第２ｎラインにおける画素からの画素信号の読み出しが完了する。

以上の動作により、本実施形態においても図６に示したような画像Ａと画像Ｂを得ることができる。画像Ａと画像Ｂからフリッカーの周期とピークを求める方法は、第１の実施形態と同様である。

以上のように、本実施形態によれば、メモリ部を持たない画素構造の撮像素子においても、ＬＶ表示のフレームレートを維持しつつフリッカー検知を実施することが可能となる。

（第３の実施形態）
第１の実施形態では、画像Ｂを得るために撮像素子１０６の画素領域ＰＡ上のどのラインを用いるのかという制約は設けていない。また、画像Ｂを得るためのラインの読み出しタイミングについても制約を設けていない。本実施形態では、フリッカー検知の精度を向上させるために、画像Ｂを得るためのラインの画素領域ＰＡ上での配置および読み出しタイミングに制約を設ける。

図１２で示すように、画像Ｂを得るためにスリットローリング方式で電荷を蓄積するラインを、撮像素子１０６の画素領域ＰＡ上で等間隔となるように選択する。また、図１３で示すように、画像Ｂを得るためのラインの読み出しを、読み出し期間内で時間的に等間隔となるように行う。

本実施形態によれば、フリッカーの光量変化に対して時間的に等間隔で画素信号をサンプリングするため、時間に対する光量の変化の度合いが判断しやすくなり、結果として精度よくフリッカーを検知することが可能となる。

（第４の実施形態）
第１の実施形態では、画像ＡはＬＶ表示のフレームレートに合わせて毎フレーム読み出し、画像Ｂはフリッカーの周期に合わせてフリッカー周期よりも長い時間をかけて読み出す場合について説明した。本実施形態では、画像Ｂの１フレームの読み出し時間が、フリッカーの周期よりも短い場合の撮像動作について説明する。

図１４に示すように、画像Ｂの１フレームの読出し時間がフリッカー周期よりも短い場合は、画像Ｂを複数フレーム取得して、その合計の読み出し時間がフリッカー１周期以上になるまで画像Ｂを読み出す。図１４では２フレーム読み出したらフリッカー１周期以上になった例を示している。それぞれのフレームで読み出した画像Ｂを、それぞれ画像Ｂ１と画像Ｂ２とする。

図１５に示すように、画像Ｂ１と画像Ｂ２から、図８で示した画像Ａとの演算処理によって画像Ｃ１と画像Ｃ２を取得する。取得した画像Ｃ１と画像Ｃ２をつなげて、図９で示したＰｅａｋ検出を行うことで、フリッカーの周期を求めることが可能となる。

以上のように、本実施形態によれば、画像Ｂをフリッカー周期よりも短い読み出し時間で読み出す場合でもフリッカー検知を実施することが可能となる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

１００：カメラ本体、１０１：全体制御部・演算部、１０６：撮像素子、１０７：撮像信号処理部、１０８：タイミング発生部、１０９：メモリ部、２００：交換レンズ、２０１：レンズ制御部、２０２：撮影レンズ

Claims (16)

1. 画素が行方向および列方向に２次元的に配列された画素領域を有する撮像素子と、
   前記画素の電荷の蓄積開始のタイミングと前記画素の信号の読み出しのタイミングとを行ごとに制御する制御手段と、を備え、
   前記制御手段は、前記画素領域のうちの第１の領域については、第１の蓄積時間で電荷蓄積を行わせるとともに、第１の読み出し時間で前記画素の信号の第１の読み出しを行わせ、前記第１の領域とは異なる第２の領域については、前記第１の蓄積時間よりも短い第２の蓄積時間で電荷蓄積を行わせるとともに、第１の読み出し時間よりも長い第２の読み出し時間で前記画素の信号の第２の読み出しを行わせ、
   前記第１の読み出し時間と前記第２の読み出し時間とが時間的に重ならないように、前記第１の読み出しと前記第２の読み出しを行わせることを特徴とする撮像装置。
2. 前記第１の領域と前記第２の領域とは、画素の行単位で分けられていることを特徴とする請求項１に記載の撮像装置。
3. 前記第１の領域は、それぞれ複数の行を有する第１の複数の領域を有し、前記第２の領域は、前記第１の複数の領域の間に分かれて配置された第２の複数の領域を有することを特徴とする請求項２に記載の撮像装置。
4. 前記第１の複数の領域は、それぞれ等しい行の画素を有することを特徴とする請求項３に記載の撮像装置。
5. 前記第２の複数の領域は、前記画素領域に列方向に等間隔で配置されていることを特徴とする請求項３または４に記載の撮像装置。
6. 前記第１の領域の画素の信号は、ライブビューの表示に用いられ、前記第２の領域の画素の信号は、フリッカーの検出に用いられることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
7. 前記第１の蓄積時間は、前記フリッカーの光の強度の変化の１周期よりも長い時間に設定されることを特徴とする請求項６に記載の撮像装置。
8. 前記第２の蓄積時間は、前記フリッカーの光の強度の変化の１周期よりも短い時間に設定されることを特徴とする請求項６または７に記載の撮像装置。
9. 前記第１の読み出し時間は、前記ライブビューの表示のフレームレートよりも短いことを特徴とする請求項６に記載の撮像装置。
10. 前記第２の読み出し時間は、前記ライブビューの表示のフレームレートの複数フレーム分にわたる、前記フリッカーの光の強度の変化の１周期以上の時間に設定されることを特徴とする請求項６に記載の撮像装置。
11. 前記制御手段は、前記第２の複数の領域のそれぞれの読み出しタイミングが、前記第２の読み出し時間において等間隔となるように、前記第２の読み出しのタイミングを設定することを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
12. 前記制御手段は、前記第１の領域の画素の信号をグローバルシャッター方式で読み出し、前記第２の領域の画素の信号をスリットローリングシャッター方式で読み出すことを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
13. 前記制御手段は、前記第１および第２の領域の画素の信号をスリットローリングシャッター方式で読み出すことを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
14. 画素が行方向および列方向に２次元的に配列された画素領域を有する撮像素子を備える撮像装置を制御する方法であって、
    前記画素の電荷の蓄積開始のタイミングと前記画素の信号の読み出しのタイミングとを行ごとに制御する制御工程を有し、
    前記制御工程では、前記画素領域のうちの第１の領域については、第１の蓄積時間で電荷蓄積を行わせるとともに、第１の読み出し時間で前記画素の信号の第１の読み出しを行わせ、前記第１の領域とは異なる第２の領域については、前記第１の蓄積時間よりも短い第２の蓄積時間で電荷蓄積を行わせるとともに、第１の読み出し時間よりも長い第２の読み出し時間で前記画素の信号の第２の読み出しを行わせ、
    前記第１の読み出し時間と前記第２の読み出し時間とが時間的に重ならないように、前記第１の読み出しと前記第２の読み出しを行わせることを特徴とする撮像装置の制御方法。
15. 請求項１４に記載の制御方法をコンピュータに実行させるためのプログラム。
16. 請求項１４に記載の制御方法をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。