JP2022191894A - 撮像装置 - Google Patents

Abstract

【課題】 静止画の連写速度や動画のフレームレートを維持しつつ、高精度にフリッカを検出することができる撮像装置を提供する。【解決手段】 電荷蓄積を光源のフリッカによる光の強度変化の周期よりも長い蓄積時間で行う第１の読み出し駆動で得られる画素信号と、電荷蓄積を前記光源のフリッカによる光の強度変化の周期よりも短い蓄積時間で行う第２の読み出し駆動で画素信号を用いてフリッカを検出する。【選択図】 図５

Description

本発明は、撮像装置に関するものである。

従来、蛍光灯などの人工光源では、商用電源の周波数に応じて所定周期の光量変化である所謂フリッカが発生することが知られている。特許文献１では、スリットローリングシャッタ方式で撮像素子を駆動させて露光ムラが発生した画像を取得し、グローバルシャッタ方式で撮像素子を駆動させて露光ムラが発生していない画像を取得する。そして、露光ムラが発生した画像と発生していない画像を用いて、フリッカの有無及び周波数を検出する技術が開示されている。

特開２０１５－２４５５８５号公報

しかしながら、上記した従来技術では、フリッカを検出する場合において露光ムラが発生していない画像と露光ムラが発生した画像を交互に取得する必要がある。そのため、露光ムラが発生していない画像を静止画や動画の記録に用いる場合、静止画撮影時の連写速度、或いは動画記録時のフレームレートが上限の連写速度およびフレームレートの半分になってしまうという問題がある。

本発明は、上述した課題に鑑みてなされたものであり、静止画の連写速度や動画のフレームレートを維持しつつ、フリッカを精度よく検出できる撮像装置を提供することを目的とする。

上記目的を達成するために、本発明の撮像装置は、複数の画素が行方向および列方向に２次元的に配列された画素領域と、前記画素領域から画素信号を読み出す読み出し手段と、前記複数の画素における電荷蓄積を光源のフリッカによる光の強度変化の周期よりも長い蓄積時間で行う第１の読み出し駆動と、前記複数の画素における電荷蓄積を前記光源のフリッカによる光の強度変化の周期よりも短い蓄積時間で行う第２の読み出し駆動で前記画素領域を駆動する駆動手段と、前記第１の読み出し駆動で前記画素領域を駆動することで得られる画素信号と、前記第２の読み出し駆動で前記画素領域を駆動することで得られる画素信号とを用いて前記光源のフリッカを検出するフリッカ検出手段と、を備え、前記駆動手段は、前記第１の読み出し駆動による前記複数の画素からの前記画素信号の読み出し中に前記第２の読み出し駆動による前記複数の画素における電荷蓄積を開始するように前記画素領域を駆動することを特徴とする。

本発明によれば、静止画の連写速度や動画のフレームレートを維持しつつ、フリッカを精度よく検出できる。

実施例１における撮像装置の概略構成を示すブロック図。 カメラ本体内での各部の配置について示した図。 撮像素子の構成を示す図。 撮像素子の単位画素の回路構成図。 実施例１における撮像素子の駆動方法のタイミングチャート。 フリッカの光量変化と撮影される画像の蓄積タイミングを示した図。 フリッカの光量変化と撮影される画像を示した図。 フリッカによる縞成分を抽出するための演算を示した図。 フリッカの周期及び光量変化を示す図。 実施例２における撮像素子の駆動方法のタイミングチャート。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

（実施例１）
以下、図１を参照して、実施例１による撮像装置の構成について説明する。

図１は、実施例１に撮像装置であるデジタル一眼レフカメラの概略構成を示すブロック図である。また、図２は、図１に示したデジタル一眼レフカメラのカメラ本体内での各部の配置について示した図である。

図１及び図２において、デジタル一眼レフカメラ１５０は、カメラ本体１００に対して、交換レンズ２００が着脱可能に装着されて構成されている。交換レンズ２００は、撮影レンズ２０２を有し、撮影レンズ２０２は、被写体の光学像を撮像素子１０６に結像させる。レンズ駆動装置２０３は、撮影レンズ２０２をピント（焦点）が合うように駆動する。絞り２０４は、被写体からの反射光の光量を制御する。

絞り駆動装置２０５は、絞り２０４を駆動する。交換レンズ２００は、カメラ本体１００から取り外すことが可能で、交換レンズ２００とカメラ本体１００との間では、情報交換のために通信が行われる。このときの通信は、カメラ本体１００の全体制御・演算部１０１と交換レンズ２００のレンズ制御部２０１の間で行われる。

カメラ本体１００の内部には全体制御・演算部１０１が配置され、各種の演算処理を行うとともに、カメラ本体１００と交換レンズ２００とを統括的に制御する。クイックリターンミラー１０２は、撮影レンズ２０２を通った光学像を、ファインダー使用時には、ファインダーと測光用撮像素子１１６に導く。また、撮影時には跳ね上がり、光学像を撮像素子１０６へと導く。ミラー駆動装置１０３は、クイックリターンミラー１０２を駆動する。

シャッタ１０４は、いわゆる一眼レフカメラに使用されるフォーカルプレーン型の先幕／後幕に相当するシャッタ幕を有するシャッタである。シャッタ１０４は、撮影レンズ２０２を通ってきた光学像の露光時間の制御と遮光を行う。シャッタ駆動装置１０５は、シャッタ１０４の駆動を行う。撮像素子１０６は、撮影レンズ２０２により結像された被写体の光学像を画像信号として取り込む。

撮像素子１０６は、画素が行方向および列方向に２次元的に配列された画素領域を有する、例えばＣＭＯＳセンサのような２次元のＸＹアドレス走査型の撮像素子である。アドレス指定により行毎に電荷蓄積時間を制御し、行毎に順次読出しを行うローリングシャッタ方式が採用される。

撮像信号処理部１０７は、撮像素子１０６から出力される画像信号の増幅処理や、アナログ信号からデジタル信号への変換処理（Ａ／Ｄ変換処理）を行う。また、Ａ／Ｄ変換後の画像データに対するキズ補正等の各種の補正処理、画像データを圧縮する圧縮処理等も行う。タイミング発生部１０８は、撮像素子１０６と撮像信号処理部１０７に対して各種のタイミング信号を出力する。

メモリ部１０９は、撮像信号処理部１０７により処理された画像データ等を一時的に記憶し、また、各種調整値や全体制御・演算部１０１による各種制御を実行させるためのプログラムなどを記憶する。ＲＡＭ１３０は、メモリ部１０９に記憶されているプログラムの展開や全体制御・演算部１０１のワークエリアとして使用される。

記録媒体制御インターフェース（Ｉ／Ｆ）部１１０は、記録媒体１１１に対する画像データ等の記録処理又は記録媒体１１１からの画像データ等の読み出し処理を行うためのインターフェースである。記録媒体１１１は、画像データ等の各種のデータを記録する半導体メモリ等からなる着脱可能な記録媒体である。

表示駆動部１１２は、撮影した静止画像や動画像等を表示する表示装置１１３を駆動する。外部インターフェース（Ｉ／Ｆ）部１１４は、コンピュータ１１５の様な外部機器と画像信号、制御信号等の情報のやりとりを行う。

測光用撮像素子１１６は、ＡＥ（自動露出制御）信号／光源検出信号を取得するための撮像素子で、ＲＧＢイメージャータイプの撮像素子である。本実施形態では、ＣＣＤまたはＣＭＯＳセンサが用いられる。クイックリターンミラー１０２で光路を曲げられ、分光部１２５で分光され、ペンタプリズム１１９を介してレンズ１２２で集光され、ミラー１２４で曲げられた光線が測光用撮像素子１１６に入力される。

測光用撮像信号処理部１１７は、測光用撮像素子１１６から出力される画像信号の増幅処理や、アナログ信号からデジタル信号への変換処理（Ａ／Ｄ変換処理）を行う。また、Ａ／Ｄ変換後の画像データに対するキズ補正等の各種の補正処理、或いは、画像データを圧縮する圧縮処理等を行う。測光用タイミング発生部１１８は、測光用撮像素子１１６と測光用撮像信号処理部１１７に対して各種のタイミング信号を出力する。

ペンタプリズム１１９は、クイックリターンミラー１０２で光路を曲げられた光線を、ファインダー１２３と測光用撮像素子１１６へと導く。位相差検出部１２１は、位相差方式による焦点検出を行うものであり、クイックリターンミラー１０２を透過した光線からデフォーカス量により位相が変化する１対の画像を取得する。この１対の画像のズレ量から被写体のデフォーカス量を演算して、撮影レンズ２０２の位置を移動させる。検出部駆動装置１２０は、位相差検出部１２１を駆動する。

図３は、撮像素子１０６の概略構成を示す図である。図３において、撮像素子１０６は画素領域ＰＡを有している。画素領域ＰＡには、複数の単位画素３００が２次元状（行列状）に配置されている。各単位画素３００の符号ｐｋｎは、ｋ行ｎ列に配置された画素であることを示すものである。

図４は、単位画素３００（一画素）の回路構成図である。フォトダイオード（以下ＰＤ）４０１は、入射光を光電変換し、露光量に応じた電荷を蓄積する。転送スイッチ４０３は、信号ｔｘ１がＨｉｇｈレベルになった場合に、ＰＤ４０１に蓄積されている電荷をメモリ部（以下、ＭＥＭ部）４０４に転送する。ＭＥＭ部４０４は、ＰＤ４０１によって蓄積された電荷を一時的に格納するために用いられる。

転送スイッチ４０５は、信号ｔｘ２がＨｉｇｈレベルになった場合に、ＭＥＭ部４０４に蓄積されている電荷をフローティングディフュージョン部（以下、ＦＤ部）４０６に転送する。ＦＤ部４０６は、フローティングディフュージョンアンプ（以下、ＦＤアンプ）４０７のゲートに接続されており、ＰＤ４０１から転送された電荷量を電圧量に変換する。

リセットスイッチ４０８は、ＦＤ部４０６をリセットするためのスイッチであり、信号ｒｅｓがＨｉｇｈレベルになった場合にＦＤ部４０６をリセットする。また、信号ｏｆｄがＨｉｇｈレベルになった場合に転送スイッチ４０２がオープンになり、ＰＤ４０１の残留電荷がリセットされる。画素選択スイッチ４０９は、信号ｓｅｌがＨｉｇｈレベルになった場合に、ＦＤアンプ４０７で電圧に変換された画素信号を出力ｖｏｕｔに出力する。

図３に戻り、垂直走査回路３０１は、前述の各画素（単位画素３００）が備えている各トランジスタ（スイッチ）を制御するための駆動信号ｔｘ１、ｏｆｄ、ｒｅｓ、ｔｘ２、ｓｅｌなどを単位画素３００に供給する。これらの駆動信号は、画素領域ＰＡの行ごとに共通であり、垂直走査回路３０１によって選択されたｎ行目の走査行（以降、第ｎ行）の駆動信号をそれぞれφＴＸ＿ａｎ、φＯＦＤ（ｎ）、φＲＥＳｎ、φＴＸ＿ｂｎ、φＳＥＬｎとする。

各画素の出力ｖｏｕｔは、列ごとに垂直出力線３０２を介して列共通読出し回路３０５に接続されている。垂直出力線３０２は、列ごとに設けられ、各列に設けられた複数の単位画素３００の出力ｖｏｕｔが接続されている。また、垂直出力線３０２には電流源３０４が接続されており、電流源３０４と垂直出力線３０２に接続された単位画素３００のＦＤアンプ４０７とにより、ソースフォロワ回路が構成される。

列共通読出し回路３０５の出力は、水平転送スイッチ３０６に接続されている。水平転送スイッチ３０６は、水平走査回路３０７によって駆動され、列共通読出し回路３０５に読み出された画素データ（画素信号）を選択する。水平走査回路３０７によって選択された画素データは、出力アンプ３０８により増幅されて撮像素子１０６の外部に出力される。

次に、図５を用いて、本実施例の駆動方式による撮像素子１０６の電荷の蓄積開始から画像信号の読出しまでの動作について説明する。本実施例では、グローバルシャッタ方式で蓄積した電荷に応じた画素信号を読み出している間に、スリットローリングシャッタ方式による電荷蓄積を行い、フリッカ検出用画像を取得する。

フリッカ検出用画像を取得するための画素信号の読み出し時間を短くするため、行数を間引いて画素信号を読み出しても良いし、複数行の画素信号を加算して読み出しても良い。フリッカ検出用画像を取得するために撮像素子１０６の画素領域ＰＡ上のどの行を用いるのかという制約は設けていない。なお、フリッカ検出用画像を取得するために用いられる各行の電荷蓄積タイミング（露光タイミング）が時間的に等間隔となるように設定しても良い。電荷蓄積タイミングを等間隔に設定することで、フリッカの光量変化に対して時間的に等間隔で画素信号をサンプリングするため、時間に対する光量の変化の度合いが判断しやすくなり、結果として精度よくフリッカを検出することが可能となる。ここでは、フリッカ検出用画像を取得するために一部の行の画素信号を間引いて読み出す例について説明する。本実施例では、３行中の２行を間引いている。

初めに、第ｎ行から第ｍ行においてグローバルシャッタ方式で蓄積した電荷に基づく画素信号を読み出し、フリッカ検出を行う際の基準画像を取得する。

まず、時刻ｔ５０１からｔ５０２の間、全行にＨｉｇｈレベルのパルス信号φＲＥＳとパルス信号φＴＸ＿ｂが印加されて、転送スイッチ４０５及びリセットスイッチ４０８がオンされる。これにより、全行のＭＥＭ部４０４とＦＤ部４０６に蓄積されている不要電荷が除去されてリセット動作が行われる。

また、同じタイミングで、全行にＨｉｇｈレベルのパルス信号φＯＦＤが印加されて、リセットスイッチ４０２がオンされる。これにより、全行のＰＤ４０１に蓄積されている不要電荷が除去されてリセット動作が行われる。

続いて、時刻ｔ５０２でＨｉｇｈレベルのパルス信号φＲＥＳとφＴＸ＿ｂの印加が解除されて、転送スイッチ４０５及びリセットスイッチ４０８がオフになる。また、同じタイミングで、Ｈｉｇｈレベルのパルス信号φＯＦＤの印加が解除される。これにより、リセットスイッチ４０２がオフになり、全行のＰＤ４０１における電荷の蓄積動作が開始される。

時刻ｔ５０３からｔ５０４の間、全行にＨｉｇｈレベルのパルス信号φＴＸ＿ａが印加されて、転送スイッチ４０３がオンし、ＰＤ４０１に蓄積された電荷をＭＥＭ部４０４に転送するＭＥＭ転送動作が行われる。

次に、時刻ｔ５０４からｔ５０５の間、Ｈｉｇｈレベルのパルス信号φＴＸ＿ｂ（ｎ）が印加されて、転送スイッチ４０５がオンし、ＭＥＭ４０４に蓄積された電荷をＦＤ部４０６に転送するＦＤ転送動作が行われる。

第ｎ行のＦＤ転送動作の終了に続いて、時刻ｔ５０５からｔ５０６の間、Ｈｉｇｈレベルのパルス信号φＳＥＬ（ｎ）が印加されて選択スイッチ４０９がオンする。これにより、ＦＤ部４０６で保持された電荷が電圧に変換され、画素信号として読み出し回路に出力され、水平走査回路３０５によって順次出力される。そして、第ｎ行における画素からの画素信号の読み出しが完了する。

また、時刻ｔ５０４からｔ５０５において行われた第ｎ行のＦＤ転送動作の終了に続いて、時刻ｔ５０５からｔ５０６の間、Ｈｉｇｈレベルのパルス信号φＴＸ＿ｂ（ｎ＋１）が印加される。これにより転送スイッチ４０５がオンし、第ｎ＋１行のＭＥＭ部４０４に蓄積された電荷をＦＤ部４０６に転送するＦＤ転送動作が行われる。

時刻ｔ５０５からｔ５０６において行われた第ｎ行の読み出し動作の完了に続いて、時刻ｔ５０６からｔ５０７の間、Ｈｉｇｈレベルのパルス信号φＳＥＬ（ｎ＋１）が印加されて選択スイッチ４０９がオンする。これにより、ＦＤ部４０６で保持された電荷が電圧に変換され、画素信号として読み出し回路に出力され、水平走査回路３０５によって順次出力される。そして、第ｎ＋１行における画素からの画素信号の読み出しが完了する。

このように、ＦＤ転送動作と画像信号の読み出し動作を行ごとに連続で行うことで、グローバルシャッタ方式で蓄積、読み出しをした基準画像を取得することができる。

また、本実施形態では、基準画像の読み出しにかかる時間（時刻ｔ５０５からｔ５１４）が、フリッカ周期よりも長い時間である。このとき、基準画像はグローバルシャッタ方式で蓄積を行っているため、露光ムラが発生していない画像を取得することができる。

次に、２行おきの行（図５で示す第ｎ行、第２ｎ行、第３ｎ行・・・、第ｍ行を指す）において、スリットローリングシャッタ方式で蓄積した電荷を読み出し、フリッカ検出用画像を得る。

第ｎ行の読み出しの完了した時刻ｔ５０６からｔ５０７の間、Ｈｉｇｈレベルのパルス信号φＲＥＳ（ｎ）とφＯＦＤ（ｎ）が印加されて、リセットスイッチ４０８及びリセットスイッチ４０２がオンされる。これにより、第ｎ行のＦＤ部４０６及びＰＤ４０１に蓄積されている不要電荷が除去されてリセット動作が行われる。

続いて、時刻ｔ５０７でＨｉｇｈレベルのパルス信号φＲＥＳ（ｎ）とφＯＦＤ（ｎ）の印加が解除されて、リセットスイッチ４０８及びリセットスイッチ４０２がオフになり、第ｎ行のＰＤ４０１における電荷の蓄積動作が開始される。

続いて、時刻ｔ５０８からｔ５０９の間、Ｈｉｇｈレベルのパルス信号φＴＸ＿ａ（ｎ）が印加されて、転送スイッチ４０３がオンし、ＰＤ４０１に蓄積された電荷をＭＥＭ部４０４に転送するＭＥＭ転送動作が行われる。

また、第２ｎ行の読み出しが完了した時刻ｔ５０８からｔ５０９の間、Ｈｉｇｈレベルのパルス信号φＲＥＳ（２ｎ）とφＯＦＤ（２ｎ）が印加されて、リセットスイッチ４０８及びリセットスイッチ４０２がオンされる。これにより、第２ｎ行のＦＤ部４０６及びＰＤ４０１に蓄積されている不要電荷が除去されてリセット動作が行われる。

続いて、時刻ｔ５０７でＨｉｇｈレベルのパルス信号φＲＥＳ（ｎ）とφＯＦＤ（２ｎ）の印加が解除されて、リセットスイッチ４０８及びリセットスイッチ４０２がオフになり、第２ｎ行のＰＤ４０１における電荷の蓄積動作が開始される。

続いて、時刻ｔ５０８からｔ５０９の間、Ｈｉｇｈレベルのパルス信号φＴＸ＿ａ（２ｎ）が印加されて、転送スイッチ４０３がオンし、ＰＤ４０１に蓄積された電荷をＭＥＭ部４０４に転送するＭＥＭ転送動作が行われる。

ここで、本実施例では、基準画像の読み出しにかかる時間（時刻ｔ５０５からｔ５１４）が、フリッカ周期よりも長い時間であるため、基準画像の第２ｎ行の読み出し動作が完了した時刻からフリッカ検出用画像のリセット動作を開始している。ただし、基準画像の読み出しにかかる時間（時刻ｔ５０５からｔ５１４）が、フリッカ周期よりも短い時間であった場合には、フリッカ検出用画像の蓄積時間が、フリッカ周期よりも長い時間となるよう、リセット開始時刻を遅らせる。

このように、リセット動作、蓄積動作、ＭＥＭ転送動作を基準画像の読み出し動作に対し連続で行うことで、スリットローリングシャッタ方式で蓄積、読み出しをしたフリッカ検出用画像を得ることができる。ここで、フリッカ検出用画像のＦＤ転送動作および読み出し動作を、基準画像の読み出し終了直後から行うとしたが、この限りではない。

また、本実施例では、基準画像の読み出しにかかる時間（時刻ｔ５０５からｔ５１４）が、フリッカ周期よりも長い時間であるため、フリッカの光量変化が極大なタイミングと極小なタイミングで蓄積した画像を取得することができる。

次に、基準画像の最終行、第ｍ行の読み出しを行っている時刻ｔ５１３からｔ５１４の間、Ｈｉｇｈレベルのパルス信号φＴＸ＿ｂ（ｎ）が印加される。そして、転送スイッチ４０５がオンし、ＭＥＭ４０４に蓄積された電荷をＦＤ部４０６に転送するＦＤ転送動作が行われる。

第ｎ行のＦＤ転送動作の終了に続いて、時刻ｔ５１４からｔ５１５の間、Ｈｉｇｈレベルのパルス信号φＳＥＬ（ｎ）が印加されて選択スイッチ４０９がオンする。これにより、ＦＤ部４０６で保持された電荷が電圧に変換され、画素信号として読み出し回路に出力され、水平走査回路３０５によって順次出力される。そして、第ｎ行における画素からの画素信号の読み出しが完了する。

また、時刻ｔ５１４からｔ５１５において行われる第ｎ行の読み出し動作と同時に、Ｈｉｇｈレベルのパルス信号φＴＸ＿ｂ（２ｎ）が印加されて、転送スイッチ４０５がオンし、ＭＥＭ４０４に蓄積された電荷をＦＤ部４０６に転送するＦＤ転送動作が行われる。

第２ｎ行のＦＤ転送動作の終了に続いて、時刻ｔ５１５からｔ５１６の間、Ｈｉｇｈレベルのパルス信号φＳＥＬ（２ｎ）が印加されて選択スイッチ４０９がオンする。これにより、ＦＤ部４０６で保持された電荷が電圧に変換され、画素信号として読み出し回路に出力され、水平走査回路３０５によって順次出力される。そして、第２ｎ行における画素からの画素信号の読み出しが完了する。

このように、リセット動作、蓄積動作、ＭＥＭ転送動作を基準画像の読み出し動作に対し連続で行うことで、スリットローリングシャッタ方式で蓄積、読み出しをしたフリッカ検出用画像を得ることができる。ここで、フリッカ検出用画像のＦＤ転送動作および読み出し動作を、基準画像の読み出し終了直後から行うとしたが、この限りではない。

このとき、フリッカ検出用画像はスリットローリングシャッタ方式で蓄積を行っているため、露光ムラが発生している画像を得ることができる。

図６は、本実施形態におけるシーケンスをセンサの蓄積と読出しのタイミングで示した図である。図５で示したように、本実施形態ではグローバルシャッタ方式で電荷を蓄積する基準画像と、スリットローリング方式で電荷を蓄積するフリッカ検出用画像を組み合わせている。

また、この２つの画像は、図３および図４で示したように、読出し回路が共通であるため、同時に読み出すことはできない。そのため、上記の２つの方式にそれぞれ対応する行の信号は、時間について排他的に（時間的に重ならないように）読み出される。

グローバルシャッタ方式で電荷を蓄積した基準画像を取得する。基準画像は、蓄積時間に対し制約を持たない。そして、この基準画像を記録用の画像もしくは表示用の画像として使用する。

また、スリットローリング方式で電荷を蓄積する画像は、フリッカの光強度変化の周期よりも短い時間に設定された蓄積時間で蓄積したフリッカ検出用画像を取得する。このフリッカ検出用画像は記録用の画像としては使用しない。フリッカ検出用画像は、フリッカの周期に合わせてフリッカ周期よりも長い時間をかけて読み出す。

本実施形態では、基準画像の読み出しにかかる時間（時刻ｔ５０５からｔ５１４）が、フリッカ周期よりも長い時間であると仮定し、基準画像の読み出し完了後すぐにフリッカ検出用画像の蓄積を行いっている。基準画像の読み出しにかかる時間（時刻ｔ５０５からｔ５１４）が、フリッカ周期よりも短い場合には、第２ｎ行以降の蓄積タイミングは基準画像の読み出し完了後ではなく、フリッカ周期よりも長い時間をかけて読み出すように制御する。

この基準画像とフリッカ検出用画像とを元に図８および図９で示す演算（詳細は後述する）を行い、フリッカを検出する。フリッカ検出の演算は、全体制御・演算部１０１が行う。

図７は、図６のシーケンスで撮影した基準画像とフリッカ検出用画像を示している。基準画像は、グローバルシャッタ方式で電荷を蓄積しているため、フリッカによる露光ムラの発生していない画像が得られる。本実施形態では、この画像を通常の基準画像として取得して表示する。

フリッカ検出用画像は、スリットローリングシャッタ方式でフリッカの周期よりも短い時間で蓄積しているため、フリッカによる露光ムラが発生した画像が得られる。また、フリッカ検出用画像は、フリッカの周期よりも長い期間でスリットローリング方式の電荷蓄積をしているため、フリッカの光量変化が極大なタイミングと極小なタイミングで蓄積した画像が得られる。

図８は、図７で取得された画像に対する演算処理を示した図である。図７のフリッカ検出用画像はフリッカによる露光ムラが発生するように撮影された画像であり、図７の基準画像は露光ムラが発生しないように撮影された画像である。この２つの画像に対して割り算を行い、フリッカ画像を取得する。フリッカによる露光ムラが発生しているフリッカ検出用画像をフリッカによる露光ムラを軽減した基準画像で割ることにより、フリッカによる露光ムラ成分だけのフリッカ画像を抽出することが出来る。

ただし、フリッカ検出用画像の様にフリッカによる露光ムラが発生した画像はフリッカによる露光ムラを出やすくするために短い露光時間で撮影している。一方、基準画像は蓄積時間に制約を持たない。そのため、基準画像とフリッカ検出用画像は必ずしも同じ露光時間ではないため、露光量に差が出てしまう。そこで、画像取得時のゲインを調整したり、取得された画像にゲインをかけたりして、信号レベルを一致させる必要がある。

また、基準画像とフリッカ検出用画像の間に被写体の位置が移動したり、カメラの向きが変わっていた場合には、画像の画面を分割し、それぞれの画像の一致度を計算して画像の位置合わせを行ってから割り算を行う必要がある。

この様にして得られたフリッカによる露光ムラ成分だけのフリッカ画像を元にして、ＶＤからのフリッカ光量がピークとなるタイミングを見つける。また、この画像を元にしてフリッカの周期も求める。

図９は、図８のフリッカ画像で示した垂直方向の光量変化（実線）と、この光量変化データの隣接差分（破線）とを示した図であり、図８のフリッカ画像でフリッカ光量のピーク（Ｐｅａｋ）を検出する方法を示す図である。ここで、破線の値が「０」の位置が光量変化の極大値もしくは極小値を示している。

特に、破線の値が正から負へ変化する時の「０」値は極大値になる。このフリッカ光量のピークが画面の何行目か分かれば、水平同期信号（以下ＨＤ）の周期を元にしてＶＤからピークまでの時間を求めることが出来る。また、破線の「０」から「０」までの時間を求めることによりフリッカの周期を求めることが可能となる。

上記の手法でフリッカの周期を検出したことで、記録に用いる画像もしくは表示に用いる画像へ与えるフリッカの影響を軽減する撮像装置を提供することが可能となる。例えば、検出したフリッカの周期と撮影条件より、記録に用いる画像もしくは表示に用いる画像がフリッカの影響を受けやすい状況であるか否かを、表示装置１１３に表示することで、撮影者への警告を行うことができる。

また、検出したフリッカの周期は、記録に用いる画像もしくは表示に用いる画像をフリッカのピークタイミングで撮影するためなどに用いられる。フリッカの周期と発生タイミングが分かれば、最もフリッカの影響を受けにくくなるフリッカのピーク時に合わせ露光することができる。

他にも、測光用撮像素子１１６がＡＥ信号／光源検出信号を取得したタイミングと、フリッカ周期、また記録に用いる画像もしくは表示に用いる画像の露光タイミングの関係より、ＡＥの結果を補正することに応用することができる。基準画像の露光タイミングとＡＥ信号／光源検出信号取得タイミングにおいて、フリッカ周期の位相がずれていた場合、それぞれ明るさはフリッカの影響を受けているため、露光量の差が生じてしまう。そのため、取得したＡＥ信号／光源検出信号に対し補正値をかけることで、より適切な露光量を算出することが可能となる。

以上のように、本実施形態によれば、フリッカ検出用画像に対し、グローバルシャッタ方式で蓄積した電荷に基づく画素信号を読み出している間に、スリットローリングシャッタ方式による電荷の蓄積開始および蓄積終了動作を開始する。そして、静止画の連写速度や動画のフレームレートを維持しつつ、フリッカを精度よく検出することが可能となる。また、フリッカを検出したことで、記録に用いる画像もしくは表示に用いる画像へ与えるフリッカの影響を軽減する撮像装置を提供することが可能となる。

（実施例２）
実施例１では、基準画像を得る際の電荷蓄積方法としてグローバルシャッタ方式を採用していた。本実施形態では、基準画像を得る際の電荷蓄積方法としてスリットローリングシャッタ方式を採用する。

図１０を用いて、本実施形態の駆動方式による撮像素子１０６の電荷の蓄積開始から画像信号の読出しまでの動作について説明する。本実施形態の駆動方式では、基準画像とフリッカ検出用画像ともにスリットローリングシャッタ方式で駆動する。

初めに、第ｎ行から第ｍ行において、スリットローリングシャッタ方式で蓄積した電荷に基づく画素信号を読み出し、基準画像を得る。

まず、時刻ｔ１００１からｔ１００２の間、第ｎ行にＨｉｇｈレベルのパルス信号φＲＥＳ（ｎ）とパルス信号φＴＸ＿ｂ（ｎ）が印加されて、転送スイッチ４０５及びリセットスイッチ４０８がオンされる。これにより、第ｎ行のＭＥＭ部４０４とＦＤ部４０６に蓄積されている不要電荷が除去されてリセット動作が行われる。

また、同じタイミングで、第ｎ行にＨｉｇｈレベルのパルス信号φＯＦＤが印加されて、リセットスイッチ４０２がオンされる。これにより、第ｎ行のＰＤ４０１に蓄積されている不要電荷が除去されてリセット動作が行われる。

続いて、時刻ｔ１００２でＨｉｇｈレベルのパルス信号φＲＥＳ（ｎ）とφＴＸ＿ｂ（ｎ）の印加が解除されて、転送スイッチ４０５及びリセットスイッチ４０８がオフになる。また、同じタイミングで、Ｈｉｇｈレベルのパルス信号φＯＦＤ（ｎ）の印加が解除される。これにより、リセットスイッチ４０２がオフになり、第ｎ行のＰＤ４０１における電荷の蓄積動作が開始される。

時刻ｔ１００４からｔ１００５の間、第ｎ行にＨｉｇｈレベルのパルス信号φＴＸ＿ａ（ｎ）とφＴＸ＿ｂ（ｎ）が印加されて、転送スイッチ４０３と転送スイッチ４０５がオンし、ＰＤ４０１に蓄積された電荷をＦＤ部４０６に転送するＦＤ転送動作が行われる。

第ｎ行のＦＤ転送動作の終了に続いて、時刻ｔ１００５からｔ１００６の間、Ｈｉｇｈレベルのパルス信号φＳＥＬ（ｎ）が印加されて選択スイッチ４０９がオンする。これにより、ＦＤ部４０６で保持された電荷が電圧に変換され、画素信号として読み出し回路に出力され、水平走査回路３０５によって順次出力される。そして、第ｎ行における画素からの画素信号の読み出しが完了する。

ここで、フリッカ検出のために基準画像はフリッカによる露光ムラの発生していない画像を得たいため、露光時間（時刻ｔ１００３からｔ１００４）はフリッカのおおよそのｇよりも長い時間を設定する必要がある。

また、第ｎ行のリセット動作の完了した時刻ｔ１００２からｔ１００３の間、第ｎ＋１行にＨｉｇｈレベルのパルス信号φＲＥＳ（ｎ＋１）とパルス信号φＴＸ＿ｂ（ｎ＋１）が印加されて、転送スイッチ４０５及びリセットスイッチ４０８がオンされる。これにより、第ｎ＋１行のＭＥＭ部４０４とＦＤ部４０６に蓄積されている不要電荷が除去されてリセット動作が行われる。

また、同じタイミングで、第ｎ＋１行にＨｉｇｈレベルのパルス信号φＯＦＤが印加されて、リセットスイッチ４０２がオンされる。これにより、第ｎ＋１行のＰＤ４０１に蓄積されている不要電荷が除去されてリセット動作が行われる。

続いて、時刻ｔ１００３でＨｉｇｈレベルのパルス信号φＲＥＳ（ｎ＋１）とφＴＸ＿ｂ（ｎ＋１）の印加が解除されて、転送スイッチ４０５及びリセットスイッチ４０８がオフになる。

また、同じタイミングで、Ｈｉｇｈレベルのパルス信号φＯＦＤ（ｎ＋１）の印加が解除される。これにより、リセットスイッチ４０２がオフになり、第ｎ＋１行のＰＤ４０１における電荷の蓄積動作が開始される。

第ｎ行のＦＤ転送動作の完了した時刻ｔ１００５からｔ１００６の間、第ｎ＋１行にＨｉｇｈレベルのパルス信号φＴＸ＿ａ（ｎ＋１）とφＴＸ＿ｂ（ｎ＋１）が印加される。これにより転送スイッチ４０３と転送スイッチ４０５がオンし、ＰＤ４０１に蓄積された電荷をＦＤ部４０６に転送するＦＤ転送動作が行われる。

第ｎ＋１行のＦＤ転送動作の終了に続いて、時刻ｔ１００６からｔ１００７の間、Ｈｉｇｈレベルのパルス信号φＳＥＬ（ｎ＋１）が印加されて選択スイッチ４０９がオンする。これにより、ＦＤ部４０６で保持された電荷が電圧に変換され、画素信号として読み出し回路に出力され、水平走査回路３０５によって順次出力される。そして、第ｎ＋１行における画素からの画素信号の読み出しが完了する。同じように、行ごとにリセット動作から転送動作を第ｍ行まで順次行っていく。

このように、リセット動作と蓄積動作、ＦＤ転送動作と画像信号の読み出し動作を行ごとに連続で行うことで、スリットローリングシャッタ方式で蓄積、読み出しをした基準画像を得ることができる。また、本実施形態では、基準画像の読み出しにかかる時間（時刻ｔ５０５からｔ５１４）が、フリッカ周期よりも長い時間であると仮定する。

このとき、基準画像はスリットローリングシャッタ方式で蓄積を行っているが、フリッカの周期よりも長い時間で露光を行うため、露光ムラが発生していない画像を得ることができる。

次に、２行おきの行（図５で示す第ｎ行、第２ｎ行、第３ｎ行、第ｍ行を指す）において、スリットローリングシャッタ方式で蓄積した電荷を読み出し、フリッカ検出用画像を得る。

第ｎ行の読み出しの完了した時刻ｔ１００６からｔ１００７の間、Ｈｉｇｈレベルのパルス信号φＯＦＤ（ｎ）が印加されて、リセットスイッチ４０２がオンされる。これにより、第ｎ行のＰＤ４０１に蓄積されている不要電荷が除去されてリセット動作が行われる。

続いて、時刻ｔ１００７でＨｉｇｈレベルのパルス信号φＯＦＤ（ｎ）の印加が解除されて、リセットスイッチ４０２がオフになり、第ｎ行のＰＤ４０１における電荷の蓄積動作が開始される。

続いて、時刻ｔ１００８からｔ１００９の間、Ｈｉｇｈレベルのパルス信号φＴＸ＿ａ（ｎ）が印加されて、転送スイッチ４０３がオンし、ＰＤ４０１に蓄積された電荷をＭＥＭ部４０４に転送するＭＥＭ転送動作が行われる。

また、第２ｎ行の読み出しの完了した時刻ｔ１００９からｔ１０１０の間、Ｈｉｇｈレベルのパルス信号φＯＦＤ（２ｎ）が印加されて、リセットスイッチ４０２がオンされる。これにより、第２ｎ行のＰＤ４０１に蓄積されている不要電荷が除去されてリセット動作が行われる。

続いて、時刻ｔ１０１０でＨｉｇｈレベルのパルス信号φＯＦＤ（２ｎ）の印加が解除されて、リセットスイッチ４０２がオフになり、第２ｎ行のＰＤ４０１における電荷の蓄積動作が開始される。

続いて、時刻ｔ１０１０からｔ１０１１の間、Ｈｉｇｈレベルのパルス信号φＴＸ＿ａ（２ｎ）が印加されて、転送スイッチ４０３がオンし、ＰＤ４０１に蓄積された電荷をＭＥＭ部４０４に転送するＭＥＭ転送動作が行われる。

ここで、本実施形態では、基準画像の読み出しにかかる時間（時刻ｔ１００５からｔ１０１４）が、フリッカ周期よりも長い時間であるため、基準画像の第２ｎ行の読み出し動作が完了した時刻からフリッカ検出用画像のリセット動作を開始している。ただし、基準画像の読み出しにかかる時間（時刻ｔ１００５からｔ１０１４）が、フリッカ周期よりも短い時間であった場合には、フリッカ検出用画像の蓄積時間が、フリッカ周期よりも長い時間となるよう、リセット開始時刻を遅らせる。

また、基準画像の読み出し動作に続けてフリッカ検出用画像の読み出し動作を行うとき、読み出し動作によりＰＤ４０１に蓄積されている不要電荷が除去されてリセット動作が行われるため、フリッカ検出用画像のリセット動作を行わなくても良い。

このように、リセット動作、蓄積動作を基準画像の読み出し動作に対し連続で行うことで、スリットローリングシャッタ方式で蓄積、読み出しをしたフリッカ検出用画像を得ることができる。ここで、フリッカ検出用画像のＦＤ転送動作および読み出し動作を、基準画像の読み出し終了直後から行うとしたが、この限りではない。

ここで、本実施形態では、基準画像の読み出しにかかる時間（時刻ｔ１００５からｔ１０１４）が、フリッカ周期よりも長い時間であると仮定しているため、フリッカの光量変化が極大なタイミングと極小なタイミングで蓄積した画像が得られる。

次に、基準画像の最終行、第ｍ行の読み出しを行っている時刻ｔ１０１４からｔ１０１５の間、Ｈｉｇｈレベルのパルス信号φＴＸ＿ｂ（ｎ）が印加されて、転送スイッチ４０５がオンする。そして、ＭＥＭ４０４に蓄積された電荷をＦＤ部４０６に転送するＦＤ転送動作が行われる。

第ｎ行のＦＤ転送動作の終了に続いて、時刻ｔ１０１５からｔ１０１６の間、Ｈｉｇｈレベルのパルス信号φＳＥＬ（ｎ）が印加されて選択スイッチ４０９がオンする。これにより、ＦＤ部４０６で保持された電荷が電圧に変換され、画素信号として読み出し回路に出力され、水平走査回路３０５によって順次出力される。そして、第ｎ行における画素からの画素信号の読み出しが完了する。

また、時刻ｔ１０１５からｔ１０１６において行われる第ｎ行の読み出し動作と同時に、Ｈｉｇｈレベルのパルス信号φＴＸ＿ｂ（２ｎ）が印加されて、転送スイッチ４０５がオンする。そして、ＭＥＭ４０４に蓄積された電荷をＦＤ部４０６に転送するＦＤ転送動作が行われる。

第２ｎ行のＦＤ転送動作の終了に続いて、時刻ｔ１０１６からｔ１０１７の間、Ｈｉｇｈレベルのパルス信号φＳＥＬ（２ｎ）が印加されて選択スイッチ４０９がオンする。これにより、ＦＤ部４０６で保持された電荷が電圧に変換され、画素信号として読み出し回路に出力され、水平走査回路３０５によって順次出力される。そして、第２ｎ行における画素からの画素信号の読み出しが完了する。

以上の動作により、本実施形態においても図６に示したような基準画像とフリッカ検出用画像を得ることができる。基準画像とフリッカ検出用画像からフリッカの周期とピークを求める方法は、実施例１と同様である。

以上のように、本実施形態によれば、基準画像を読み出している間に、スリットローリングシャッタ方式による電荷の蓄積開始および蓄積終了動作を開始することで、静止画の連写速度や動画のフレームレートを維持しつつ、フリッカを検出することが可能となる。フリッカを検出したことで、記録に用いる画像もしくは表示に用いる画像へ与えるフリッカの影響を軽減する撮像装置を提供することが可能となる。

また、基準画像をスリットローリングシャッタ方式で読み出すため、フリッカ検出用画像の読み出し終了を待つことなく次の基準画像の蓄積動作を開始することができる。これにより、実施例１における撮像動作に対し、さらに連写速度もしくは動画フレームレートを向上することが可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 全体制御・演算部
１０６ 撮像素子
１０７ 撮像信号処理部

Claims (7)

1. 複数の画素が行方向および列方向に２次元的に配列された画素領域と、
   前記画素領域から画素信号を読み出す読み出し手段と、
   前記複数の画素における電荷蓄積を光源のフリッカによる光の強度変化の周期よりも長い蓄積時間で行う第１の読み出し駆動と、前記複数の画素における電荷蓄積を前記光源のフリッカによる光の強度変化の周期よりも短い蓄積時間で行う第２の読み出し駆動で前記画素領域を駆動する駆動手段と、
   前記第１の読み出し駆動で前記画素領域を駆動することで得られる画素信号と、前記第２の読み出し駆動で前記画素領域を駆動することで得られる画素信号とを用いて前記光源のフリッカを検出するフリッカ検出手段と、を備え、
   前記駆動手段は、前記第１の読み出し駆動による前記複数の画素からの前記画素信号の読み出し中に前記第２の読み出し駆動による前記複数の画素における電荷蓄積を開始するように前記画素領域を駆動することを特徴とする撮像装置。
2. 前記駆動手段は、前記第１の読み出し駆動では前記複数の画素をグローバルシャッタ方式で駆動し、前記第２の読み出し駆動では前記複数の画素をスリットローリングシャッタ方式で駆動することを特徴とする請求項１に記載の撮像装置。
3. 前記駆動手段は、前記第１および第２の読み出し駆動で前記複数の画素をスリットローリングシャッタ方式で駆動することを特徴とする請求項１に記載の撮像装置。
4. 前記駆動手段は、前記第２の読み出し駆動において、複数行の画素信号を加算して読み出すことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記駆動手段は、前記第２の読み出し駆動において、一部の行の画素信号を間引いて読み出すことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
6. 前記駆動手段は、前記第２の読み出し駆動における電荷蓄積タイミングが行毎に等間隔となるように電荷蓄積の開始と終了のタイミングを設定することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記フリッカ検出手段は、フリッカの有無、フリッカの周期、もしくはフリッカの位相を検出することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。

Images