JP2008147713A - 撮像装置及び判定方法 - Google Patents

Abstract

【課題】 撮像素子を用いて画像を撮像する撮像装置において、時間を掛けずにフリッカ周波数を判定できるようにすること。
【解決手段】 撮像素子（４）を用いて画像を撮像する撮像装置において、前記撮像素子の予め設定された領域から、複数の周波数にそれぞれ対応する複数の異なる時間差で、それぞれ２周期分ずつ同じ電荷蓄積時間の電気信号を順次読み出す読み出し（Ｓ２１、Ｓ２３、Ｓ２８）、前記読み出し工程で読み出した前記２周期分の電気信号の差が、１つの時間差について予め設定された範囲内であって、且つ、少なくとも１つの他の時間差について予め設定された範囲外である場合に（Ｓ２２、Ｓ２４、Ｓ２９）、前記予め設定された範囲内となる時間差に対応する周波数を前記フリッカの周波数として判定する（Ｓ２５）。
【選択図】 図１０

Description

本発明は、撮像素子を用いた撮像装置及び該撮像装置におけるフリッカ周波数の判定方法に関する。

近年では、複雑なタイミング発生回路を必要とせず、安価で且つ単一電源で動作し、消費電力も少ない等の理由により、デジタルカメラなどの撮像装置においてＣＭＯＳセンサを用いるケースが増えてきている。

ＣＭＯＳセンサは、任意の領域のみの画像信号を読み出すことができるという、ＣＣＤ撮像素子には無い特徴を有する。このような利点の一方で、ＣＭＯＳセンサを所謂ローリングシャッタ駆動した場合、ライン毎に電荷の蓄積タイミングがずれるために、ＣＣＤ撮像素子には無いフレーム内フリッカ（以下、単に「フリッカ」と呼ぶ。）が発生するという欠点がある。

ここで、ローリングシャッタ駆動する場合に起こる、ＣＭＯＳセンサ特有のフリッカについて説明する。図１４は電源周波数が５０Ｈｚの場合の、フリッカの発生原理を説明するための図である。周波数が５０Ｈｚの交流電源で蛍光灯等を点灯した場合（図１４（ａ））、電源の周波数の２倍の周波数（１００Ｈｚ）で光量が変動する（図１４（ｂ））。

このように明るさが周期的に変動する蛍光灯の下で、ＭＯＳ型撮像素子により電荷蓄積時間を１／３０秒として撮像する場合の電荷蓄積タイミングを図１４（ｃ）に示す。この場合、図１４（ｃ）に示すように、読み出し点Ａ１からＢ１までの入射光量を積分した値が第１ラインの画素の出力信号になる。同様に、読み出し点Ａ２からＢ２までの入射光量を積分した値が第２ラインの画素の出力信号となる。以下、最終ラインまで同様である。このとき、ライン毎に照明の光量変化の周期に対する電荷蓄積時間の位相が異なるため、入射光量の積分値が異なってしまい、フレーム内で輝度変動（フリッカ）が現れる。このフリッカは、例えば、撮像素子が４８０ラインで構成される場合、１ラインの読み出しに係る時間が１／１４４００秒（＝１／３０秒÷４８０ライン）であるため、照明の光量変化に対して１４４ライン周期で蓄積開始タイミングの位相が揃う。そのため、この場合には１４４ライン周期の輝度レベルの変動となる（図１４（ｄ））。このように、ＣＭＯＳセンサをローリングシャッタ駆動した場合に、フレーム内で輝度差が生じてしまう。

上述したフレーム内フリッカを防止するために、特許文献１には、蓄積タイミングの位相に応じて各ラインの露光量を予測し、予測結果に基づいて各ラインの増幅係数を算出して対応するラインから読み出される画像信号に乗算することが記載されている。

また、上記問題を解決するための別の方法として、シャッタ速度に制限を設けることによりフリッカの発生を防ぐ技術が、例えば特許文献２に開示されている。特許文献２によれば、撮像信号から受光量を検出する機能を設け、シャッタスピードを電源周波数に対応させて固定し、シャッタ動作を行うことによりフリッカ除去を行う光量の範囲を複数の光量範囲に分割する。そして、各光量範囲毎にシャッタスピードを段階的に切り換え、各光量範囲内でシャッタスピードを電源周波数に対応させて固定することでフリッカの除去を行う。具体的には、電源周波数が５０Ｈｚの時にはシャッタ速度をｎ／１００秒にし、また電源周波数が６０Ｈｚの時にはシャッタ速度（電荷蓄積時間）をｎ／１２０秒にする。このようにシャッタ速度を制御することで、ライン毎の入射光量の積分値が等しくなるため、フレーム内フリッカを防止することができる。さらに、各光量範囲内では、光量変化に応じてＡＧＣ回路のゲイン量を変化させることにより、シャッタスピードの段階的な切り換えによる露光量の変化を緩和し、滑らかな露光制御を行うことが開示されている。

しかしながら、特許文献２にはフリッカの周波数の判定方法については具体的に述べられていない。このフリッカの周波数の判定方法の一例として、例えば特許文献３に、複数フレームを画素毎に加算平均し、さらに加算平均されたフレームを１ライン毎に画素加算した信号を離散フーリエ変換することで周波数判別を行う方法が開示されている。

特開２００４−０４８６１６号公報 特開２００３−１８９１７２号公報 特開２００１−１１１８８７号公報

特許文献３における複数フレームの加算平均は、背景を除去してフレーム内フリッカを抽出するために行っているのであるが、このためにフリッカ周波数を特定する処理に時間を要するという欠点を有する。

本発明は上記問題点を鑑みてなされたものであり、撮像素子を用いて画像を撮像する撮像装置において、時間を掛けずにフリッカ周波数を判定できるようにすることを目的とする。

上記目的を達成するために、撮像素子を用いて画像を撮像する撮像装置において、フリッカの周波数を判定する本発明の判定方法は、前記撮像素子の予め設定された領域から、複数の周波数にそれぞれ対応する複数の異なる時間差で、それぞれ２周期分ずつ同じ電荷蓄積時間の電気信号を順次読み出す読み出し工程と、前記読み出し工程で読み出した前記２周期分の電気信号の差が、１つの時間差について予め設定された範囲内であって、且つ、少なくとも１つの他の時間差について予め設定された範囲外である場合に、前記予め設定された範囲内となる時間差に対応する周波数を前記フリッカの周波数として判定する判定工程とを有する。

また、本発明の撮像装置は、入射する光学像を電気信号に変換することにより画像を撮像する撮像素子と、前記撮像素子の予め設定された領域から、複数の周波数にそれぞれ対応する複数の異なる時間差で、それぞれ２周期分ずつ同じ電荷蓄積時間の電気信号を順次読み出すように制御する読み出し制御手段と、前記読み出し制御手段による制御により前記撮像素子から読み出した前記２周期分の電気信号の差が、１つの時間差について予め設定された範囲内であって、且つ、少なくとも１つの他の時間差について予め設定された範囲外である場合に、前記予め設定された範囲内となる時間差に対応する周波数を前記フリッカの周波数として判定する判定手段とを有する。

本発明によれば、撮像素子を用いて画像を撮像する撮像装置において、時間を掛けずにフリッカ周波数を判定できるようにすることができる。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

＜第１の実施形態＞
●撮像システムの構成
図１は、本実施の形態に係る撮像システムの構成を示すブロック図である。同図において、１は被写体からの入射光量を制御する絞り羽根、２はレンズである。図１ではレンズ２を１枚のレンズで示しているが、通常は複数枚のレンズにより構成されている。３はモアレ等を防ぐ為に光の高域周波数成分をカットする光学ローパス・フィルター、色補正フィルター、および赤外線をカットする為のフィルター等が組み合わされたフィルター群である。４はＣＭＯＳセンサ等の複数の画素からなる撮像素子であり、被写体からの光が絞り羽根１、レンズ２を介して撮像素子４上に入射すると、撮像素子４は光電変換を行い、入射光量に応じて得られた電気信号が各画素毎に蓄積される。

５は撮像素子４のＹアドレスを選択するＹアドレス選択部、６は撮像素子４のＸアドレスを選択するＸアドレス選択部であり、アドレス指定部８により制御される。アドレス指定部８からの信号に基づいて、Ｘアドレス選択部６およびＹアドレス選択部５により蓄積した電気信号を読み出す画素を２次元的に選択することができる。

撮像素子４からの出力は、オートゲインコントロール（ＡＧＣ）部１０により電圧を制御され、Ａ／Ｄ変換器１１でデジタル信号に変換される。カメラＤＳＰ１２は、動画または静止画の画像処理を行う。１４はＭＰＵであり、カメラＤＳＰ１２による画像処理の際に使われるパラメータをカメラＤＳＰ１２に設定したり、ＡＥ、ＡＦ制御を行ったりする。なお、実際のＡＦ動作は、ＭＰＵ１４の制御に基づいて、フォーカスモーター５１によりレンズ２のフォーカスレンズを光軸方向に動かすことにより行う。

また、画像処理を行う際の一時的な記憶領域としてＤＲＡＭ１３が用いられ、また、不揮発性の記憶領域として画像記録媒体１８が用いられる。画像記録媒体１８としては、例えば、スマート・メディア、磁気テープ、または光ディスク等が用いられる。また、画像処理された画像の表示を行う為にビデオエンコーダ１５及びＣＲＴ１６等が設けられている。なお、ＣＲＴ１６は撮像装置と一体的に構成する必要は勿論無く、接続可能に構成しても構わない。また、ビデオエンコーダ１５及びＣＲＴ１６に加えて、又は、代わりに、プリンタを用いるようにしても良い。１７はビューファインダであり、例えばＬＣＤ等により構成され、画像を撮影する前に被写体を確認したりするために用いられる。

また、図１では、レンズ２が撮像装置と一体構成されているものについて説明したが、レンズ２を着脱可能なレンズユニットとして構成することも可能であることは言うまでもない。

●撮像素子の構成
次に本実施形態で用いる撮像素子の構成について説明する。

図２において、Ｐ１１〜Ｐｍｎ（ｍ，ｎは自然数）は、２次元状に行列配置（マトリクス配置）されたｍ×ｎ個の画素を示している。撮像素子４は、これら複数画素Ｐ１１〜Ｐｍｎからなる。垂直走査回路２０は、ライン４０−１〜４０−ｎを走査する回路であり、各ライン４０−１〜４０−ｎに対応した複数のユニット２０−１〜２０−ｎで構成されている。また、垂直走査回路２０は、Ｙアドレス選択部５による制御に応じてラインを駆動する。水平走査回路３０は、画素Ｐ１１〜Ｐｍｎの内、垂直走査回路２０により走査されたラインに接続された画素Ｐ１ｘ〜Ｐｍｘ（ｘは１〜ｎの内のいずれか）から信号出力線５０−１〜５０−ｍに導出された電気信号を水平方向に読み出すための回路である。この水平走査回路３０は、信号出力線５０−１〜５０−ｍにそれぞれ対応した複数のユニット３０−１〜３０−ｍから構成されている。また、水平走査回路３０は、Ｘアドレス選択部６により制御される。なお、各画素Ｐ１１〜Ｐｍｎには、ライン４０−１〜４０−ｎ、信号出力線５０−１〜５０−ｍ以外の他のラインも接続されているが、ここでは図示を省略する。

信号出力線５０−１〜５０−ｍの水平走査回路３０側の一端には、トランジスタ３３−１〜３３−ｍ、ラインメモリ３２−１〜３２−ｍ、トランジスタ３１−１〜３１−ｍが、それぞれ図示の如く１組ずつ配設されている。トランジスタ３３−１〜３３−ｍは、垂直走査回路２０により選択された画素行の信号をラインメモリ３２−１〜３２−ｍに転送するための転送スイッチとしての役割を担うものであり、制御用のクロックＣＫＴによりオン／オフ制御されるように構成されている。以下、このトランジスタ３３−１〜３３−ｍを「転送スイッチ」と称する。また、ラインメモリ３２−１〜３２−ｍは、転送スイッチ３３−１〜３３−ｍを介して画素Ｐ１１〜Ｐｍｎから転送される画素信号を一時的に記憶するための容量素子からなる。

トランジスタ３１−１〜３１−ｍは、ラインメモリ３２−１〜３２−ｍに記憶された画素信号を選択するための水平選択スイッチとしての役割を担うものである。トランジスタ３１−１〜３１−ｍは、Ｘアドレス選択部６の制御に基づいて水平走査回路３０から出力される信号によりオン／オフ制御されるように構成されている。以下、このトランジスタ３１−１〜３１−ｍを「水平選択スイッチ」と称する。

水平選択スイッチ３１−１〜３１−ｍを介して読み出された画素信号は出力チャンネルＣＨ１を介して出力される。なお本実施形態では出力チャンネルが一系統の撮像素子を用いて説明しているが、複数チャンネルを有する撮像素子にも本願発明を適用することが可能である。

ここで、図３を参照して画素Ｐ１１〜Ｐｍｎそれぞれの構成例について説明する。

図３に示されるように、画素Ｐ１１〜Ｐｍｎはそれぞれ、フォトダイオード（ＰＤ）６０と、ＰＤ６０をリセットするためのトランジスタＴｒ１を有する。更に、ＰＤ６０の信号を増幅するトランジスタＴｒ２と、この増幅した信号を対応する信号出力線５０−１〜５０−ｍのいずれか（以下、「信号出力線５０」と記す。）に読み出すためのトランジスタＴｒ３が、図示のように接続されて構成されている。電流源６１は、各信号出力線５０−１〜５０−ｍ毎に設けられており、電流源６１とトランジスタＴｒ２でフォロアアンプを構成している。また、Ｖ_DDは電源である。なお、画素Ｐ１１〜Ｐｍｎとしては、図３に示す構成の他にも、公知の種々のタイプのものを採用することができる。

次に、図３に示す構成を有する画素の動作について、図４のタイミングチャートを参照して説明する。

垂直同期信号ＶＤの立ち下がり（ｔ1）に同期して、画素選択信号Ｖsが「Ｈ」レベルになると、選択用のトランジスタＴｒ３がオンとなる。これにより、それまでにノードＮに蓄積されたＰＤ６０の電荷が選択用のトランジスタＴｒ３を介して信号出力線５０に読み出される。次いで、この画素選択信号Ｖsの立ち下がり（ｔ2）に同期して画素リセット信号Ｖrが「Ｈ」レベルになると、リセット用のトランジスタＴｒ１がオンされ、ノードＮに蓄積されたＰＤ６０の電荷が電源レベルにリセットされる。画素リセット信号Ｖrが「Ｌ」に戻ってリセット用のトランジスタＴｒ１がＯＦＦになった直後から、ＰＤ６０への光の入射に応じて発生した電荷が再び蓄積され、ノードＮのレベルはリセットレベルから徐々に下がっていく。そして、次の垂直同期信号ＶＤの立ち下がり（ｔ4）に同期して、次のフレームで画素選択信号Ｖsが「Ｈ」レベルとなると、ＰＤ６０によりノードＮに蓄積された電荷は信号出力線５０に読み出される。なお、次のフレームで画素選択信号Ｖsが「Ｈ」となる前に、再度、画素リセット信号Ｖrを「Ｈ」レベルにすると（例えば、ｔ3）、ノードＮの電荷がリセットされ、当該タイミングから再び蓄積動作が開始されることになる（電子シャッタ）。

●全画素読み出し制御
次に、図５のタイミングチャートを参照して、撮像素子４の画素Ｐ１１〜Ｐｍｎの順次読み出し方法について説明する。なお、図５では９行分の読み出し信号について示しているが、撮像素子４の全行の読み出しについて、同様の制御が行われる。

ＶＤは垂直同期信号、ＨＤは水平同期信号、Ｖ1s〜Ｖ9sは画素選択信号、Ｖ1r〜Ｖ9rは画素リセット信号、ＣＫＴは転送スイッチ３３−１〜３３−ｍに入力されるクロック、出力は出力チャンネルから出力される画素信号である。この順次読み出しの動作に入ると、Ｙアドレス選択部５は、垂直走査回路２０が各ユニット２０−１〜２０−ｎを配列方向に順次走査を行うように制御する。先ず、水平ブランキング期間（水平同期信号ＨＤが「Ｌ」レベルの期間）内に垂直走査回路２０のユニット２０−１から出力される画素選択信号Ｖ1sを「Ｈ」レベルにして、１行目の画素Ｐ１１〜Ｐｍ１を選択する。この間、転送スイッチ３３−１〜３３−ｍに入力されるクロックＣＫＴは「Ｈ」レベルである為、選択された１行目の画素Ｐ１１〜Ｐｍ１の画素信号は、ラインメモリ３２−１〜３２−ｍに記憶される。

この後、画素選択信号Ｖ1sが「Ｌ」となるタイミングで画素リセット信号Ｖ1rが「Ｈ」レベルとなり、画素Ｐ１１〜Ｐｍ１の電荷（即ち、ノードＮ）がリセットされる。この後、水平有効期間（水平同期信号ＨＤが「Ｈ」レベルの期間）内に、Ｘアドレス選択部６は、水平走査回路３０が各ユニット３０−１〜３０−ｍを配列方向に順次走査を行うように制御する。つまり、１画素ずつ順番に、水平転送スイッチ３１−１〜３１−ｍをオンさせる水平選択信号を出力させる。これにより、ラインメモリ３２−１〜３２−ｍに記憶された１行目の画素Ｐ１１〜ｍ１の各画素信号が、水平選択スイッチ３１−１〜３１−ｍを介して出力チャンネルＣＨ１より出力される。

次の水平ブランキング期間内で垂直走査回路２０より画素選択信号Ｖ2sが「Ｈ」レベルとなると、２行目の画素Ｐ１２〜Ｐｍ２が選択される。この間、転送スイッチ３３−１〜３３−ｍに入力されるクロックＣＫＴが「Ｈ」レベルである為、選択された画素Ｐ１２〜Ｐｍ２の画素信号は、ラインメモリ３２−１〜３２−ｍに記憶される。この後、画素リセット信号Ｖ2rが「Ｈ」レベルとなり、画素Ｐ１２〜Ｐｍ２の電荷がリセットされる。この後、水平有効期間内に、Ｘアドレス選択部６は、水平走査回路３０が各ユニット３０−１〜３０−ｍを配列方向に順次走査を行うように制御する。つまり、１画素ずつ順番に、水平転送スイッチ３１−１〜３１−ｍをオンさせる水平選択信号を出力させる。これにより、ラインメモリ３２−１〜３２−ｍに記憶された２行目の画素Ｐ１２〜Ｐｍ２の各画素信号が、水平選択スイッチ３１−１〜３１−ｍを介して出力チャンネルＣＨ１より出力される。

このように、各行の画素リセット信号Ｖ1r〜Ｖ9rにより画素Ｐ1ｙ〜Ｐｍｙ（ｙは１〜９のいずれかを示す。）即ち、各行のノードＮがリセットされた後、次の各行の画素選択信号Ｖ1s〜Ｖ9sが「Ｈ」レベルの間までが、電荷蓄積時間となる。

これ以降、同様にして水平ブランキング期間中に各行の画素が順次選択され、水平有効期間中に行毎の画素信号が順次出力されることで、全画素の画素信号が順次読み出される。

●フリッカ周波数の判定
次に本第１の実施形態におけるフリッカ周波数の判定方法について説明する。本第１の実施形態では、フリッカ周波数の判定を行うためのフリッカ検出用画像（フレーム）の読み出しを、ＥＶＦ表示等に用いる表示用画像（フレーム）の読み出しの前または後のタイミングで行う場合について説明する。

図６は表示用フレームの読み出しパターン例を示しており、水平１／３間引き読み出し、垂直１／３間引き読み出しである。また、図７はフリッカ検出用フレームの読み出しパターン例を示しており、水平中央部読み出し、垂直１／３間引き読み出しである。なお、図６及び図７では、読み出す画素を斜線により示している。図８は図６及び図７に示す画素信号を３フレーム周期で読み出すタイミングを説明するためのタイミングチャートである。なお、図６〜図８では、９行１８列分の画素について説明しているが、撮像素子４の全画素の読み出しについて、同様の制御が行われる。

本第１の実施形態では、フリッカ検出用フレームとして、電荷蓄積時間を１／１００秒または１／１２０秒としたフレームを２フレーム続けて撮像し、得られた２つのフレームに共通した領域の輝度値を比較することで、フリッカの周波数を判定する。このように電荷蓄積時間を１／１００秒または１／１２０秒とすることで、フレーム間の蓄積タイミングを１／１００秒または１／１２０秒ずらすことができる。この時、表示用フレームの電荷蓄積時間を１／１００秒または１／１２０秒にしてしまうと、室内等の暗い環境下では高いゲインをかける必要があるためにノイズが悪化することが考えられる。そこで、本第１の実施形態では、表示用フレームを読み出す前または後にフリッカ検出用フレームを読み出すことで、表示用フレームの蓄積時間に制限がかからないようにする。このように用途に応じた複数種類のフレームを順番に読み出す方式について以下に説明する。

本第１の実施形態では、図８に示すように、まず、２フレーム分、図７で斜線で示す画素をフリッカ検出用フレームとして読み出し、次の３フレーム目で、図６で斜線で示す画素を表示用フレームとして読み出す。以降、フリッカ検出用フレームを２フレーム分読み出し、次に、表示用フレームを１フレーム分読み出す処理を繰り返す。本第１の実施形態では、フリッカ検出用フレームの読み出しにおいて選択される行と表示用フレームの読み出しにおいて選択される行とは共通しており、この例では１、４、７行目を順番に選択する。更に各行について、フリッカ検出用フレームとしては中央部の画素（この例では７〜１２列目）のみの信号が読み出され、表示用フレームとしては２画素を間引いた画素（この例では１、４、７、１０、１３、１６列目）の信号が、それぞれ読み出される。なお、読み出す行や列は図６及び図７に限るものではなく、

次に、図８のタイミングチャートを参照して、第１の実施形態に係る上述したフリッカ検出用フレームと表示用フレームの読み出し動作について、更に詳細に説明する。

ＶＤは垂直同期信号、ＨＤは水平同期信号、Ｖ1s〜Ｖ9sは画素選択信号、Ｖ1r〜Ｖ9rは画素リセット信号、ＣＫＴは転送スイッチに入力されるクロック、出力は出力チャンネルから出力される画素信号である。

１フレーム目では、フリッカ検出用フレームの読み出しを行う。フリッカ検出用フレームの読み出し時には、ＶＤを１００Ｈｚまたは１２０Ｈｚに設定することにより、電荷蓄積時間Ｔｄを１／１００秒または１／１２０秒とする。また、図７に示すように、３行から各行６画素分の画素信号を読み出すため、ＨＤとしては、ラインメモリ３２−１〜３２−ｍから６画素分の画素信号を読み出し可能な駆動速度内であって、３００Ｈｚまたは３６０Ｈｚより速い周波数であれば良い。図８では３００Ｈｚまたは３６０Ｈｚとして示しているが、撮像素子４の画素構成や読み出し行及び列数に応じて適宜変更することができる。

先ず、垂直走査回路２０は、各ユニット２０−１〜２０−ｎの配列方向に沿って、１行目の走査を行う。即ち、水平ブランキング期間（水平同期信号ＨＤが「Ｌ」レベルの期間）内に垂直走査回路２０のユニット２０−１から出力される画素選択信号Ｖ1sを「Ｈ」レベルにする。これにより、１行目の画素Ｐ１１〜Ｐｍ１のトランジスタＴｒ３がＯＮとなり、１行目が選択される。この間、転送スイッチ３３−１〜３３−ｍに入力されるクロックＣＫＴは「Ｈ」レベルである為、選択された１行目の画素Ｐ１１〜Ｐｍ１の画素信号は、ラインメモリ３２−１〜３２−ｍに記憶される。なお、ここでラインメモリ３２−１〜３２−ｍに記憶された画素信号は、後述するように１フレーム前の表示用フレームの画素信号として３列おきに読み出される。

この後、画素選択信号Ｖ1sが「Ｌ」となるタイミングで画素リセット信号Ｖ1rが「Ｈ」レベルとなり、画素Ｐ１１〜Ｐｍ１の電荷（即ち、ノードＮ）がリセットされる。その後、水平有効期間（水平同期信号ＨＤが「Ｈ」レベルの期間）内に、Ｘアドレス選択部６は、水平走査回路３０のユニット３０−７〜３０−１２からのみ、順次水平選択信号を出力するように制御する。これにより、１行目の画素Ｐ１１〜Ｐｍ１の内、選択された７〜１２列目の画素の信号が、水平選択スイッチ３１−７〜３１−１２を介して出力チャンネルＣＨ１より出力される。

これ以降、同様に水平ブランキング期間中に４行目、７行目の画素が順次選択され、水平有効期間中に行毎の選択された列（７〜１２列目）の画素信号が出力されることで、図７に示されるような読み出しがなされる。

２フレーム目も１フレーム目と同じように読み出しを行う。２フレーム目もフリッカ検出用フレームであるため、垂直同期信号ＶＤの周波数は１フレーム目と同じ周波数の１００Ｈｚまたは１２０Ｈｚ、電荷蓄積時間Ｔｄは１／１００秒または１／１２０秒である。

３フレーム目では、表示用フレームの読み出しを行う。表示用フレームでは、垂直同期信号ＶＤの周波数は、例えば露出値に応じて、表示に適した明るさの画像を得ることができるような蓄積時間となるように変更する。他に、ビューファインダ１７やＣＲＴ１６等の表示装置の規格に基づいて、予め設定された周波数にするなど、適宜変更することができる。

３フレーム目の表示用フレームの１行目の読み出しは、その直前の２フレーム目のフリッカ検出用フレームで蓄積された１行目の画素Ｐ１１〜Ｐｍ１の画素信号が、水平ブランキング期間中に、ラインメモリ３２−１〜３２−ｍに記憶されてから開始される。

画素選択信号Ｖ1sが「Ｌ」となるタイミングで画素リセット信号Ｖ1rが「Ｈ」レベルとなり、画素Ｐ１１〜Ｐｍ１（即ち、ノードＮ）の電荷がリセットされる。その後、水平有効期間（水平同期信号ＨＤが「Ｈ」レベルの期間）内に、Ｘアドレス選択部６は、水平走査回路３０の各ユニット３０−１、３０−４、３０−７、３０−１０、３０−１３、３０−１６からのみ、順次水平選択信号を出力するように制御する。これにより、１行目の画素Ｐ１１〜Ｐｍ１の内、選択された１、４、７、１０、１３、１６列目の画素の信号が、水平選択スイッチ３１−１、３１−４、３１−７、３１−１０、３１−１３、３１−１６を介して出力チャンネルＣＨ１より出力される。

これ以降、同様に水平ブランキング期間中に４行目、７行目の画素が順次選択され、水平有効期間中に行毎の選択された列（１、４、７、１０、１３、１６列目）の画素信号が出力されることで、図６に示されるような読み出しがなされる。

上述したようにして、２回のフリッカ検出用フレームの読み出し、１回の表示用フレームの読み出しを繰り返す。勿論、表示用フレームを読み出した後、フリッカ検出用フレームを読み出す順番でも構わない。

またフリッカ検出用フレームを高速に読み出すために、フリッカ検出用フレーム読み出し時は駆動周波数を上げる方式を採用してもよい。

次に、上記で説明した１／１００秒もしくは１／１２０秒、蓄積タイミングに時間差のついた２つのフリッカ検出用フレームの画像を用いて、フリッカの周波数を判定する方法について、図９のフローチャート用いて説明する。

図９において、先ず、上述したようにして１／１００秒蓄積タイミングに時間差を付けて電荷を蓄積した２フレーム分のフリッカ検出用フレームを読み出す（ステップＳ１１）。そして、読み出した２フレームの画像に共通した領域（例えば、図７に示す領域）の輝度値を比較する（ステップＳ１２）。このとき、２フレームの画像の蓄積タイミングの時間差は１／１００秒であるため、背景が大きく変化している可能性は低い。なお、この輝度値を算出するための領域は、背景の影響をさらに除去するために、受光領域全てを水平方向に積分させる。

ステップＳ１２における輝度値の比較結果、２つのフリッカ検出用フレーム間の輝度値の差（輝度差）が予め設定された範囲外にある（例えば、輝度差の絶対値が閾値よりも大きい）と判断した場合は、フレーム内フリッカが発生していると判定する。この時、蓄積時間が１／１００秒でフレーム内フリッカが発生していることから、１２０Ｈｚのフリッカが発生していると判定する（ステップＳ１３）。そこで次の表示用フレームにて、１２０Ｈｚで光量が変動する光源下でフリッカの発生を抑制することのできるシャッタ速度、例えば、シャッタ速度がＮ／１２０秒（Ｎは整数）となるように設定する。

一方、ステップＳ１２における輝度値の比較結果、２つのフレーム間の輝度差が予め設定された範囲内にある（例えば、輝度差の絶対値が閾値以下）と判断した場合、光源は１００Ｈｚの蛍光灯もしくはフリッカの発生しない外光のどちらかである。そこで、次のフリッカ検出用フレームの読み出しタイミングで、１／１２０秒、蓄積タイミングに時間差をつけて、１／１２０秒を蓄積時間とする２フレーム分のフリッカ検出用フレームを読み出す（ステップＳ１４）。そして、読み出した２フレームの画像に共通した領域（例えば、図７に示す領域）の輝度値を比較する（ステップＳ１５）。

ステップＳ１５における輝度値の比較結果、２つのフレーム間の輝度差が予め設定された範囲外にある（例えば、輝度差の絶対値が閾値よりも大きい）と判断した場合は１００Ｈｚのフリッカが発生していると判定する。そこで次の表示用フレームにて、１００Ｈｚで光量が変動する光源下でフリッカの発生を抑制することのできるシャッタ速度、例えば、シャッタ速度がＮ／１００秒（Ｎは整数）となるように設定する。

一方、ステップＳ１５における輝度値の比較結果、２つのフレーム間の輝度差が予め設定された範囲内にある（例えば、輝度差の絶対値が閾値以下）と判断した場合はフリッカが発生していないと判定する。この場合、次の表示用フレームのシャッタ速度に制限を設ける必要が無い。

上記のフリッカ周波数判定方法により、シャッタ速度をフリッカが発生しない値にリアルタイムで変更することが可能になる。

なお、図９に示す上記処理では、フリッカ検出用フレームの読み出し時に、ステップＳ１１で先に１００Ｈｚ時間差を付けて読み出し、輝度差が所定範囲内にある場合に、ステップＳ１４で１２０Ｈｚ時間差を付けて読み出す場合について説明した。しかしながら、本発明はこれに限るものではなく、先に１２０Ｈｚ時間差を付けて読み出すようにしてもよく、また、時間差も１００Ｈｚ及び１２０Ｈｚに限るものではない。検出したいフリッカ周波数に対応する時間差を付けてフリッカ検出用フレームを読み出し、輝度値を比較すればよい。

また、一旦フリッカ周波数を判定した後のフリッカ検出用フレームの読み出し及び判定処理は、目的に応じて様々な応用が考えられる。例えば、フリッカ検出用フレームの読み出しを行わないように制御しても、検出したフリッカ周波数に対応する時間差でフリッカ検出用フレームを読み出すようにしても良い。他に、撮影中に光源が変わることを考慮して、時間差を変更しながらフリッカ検出用フレームを読み出す処理を続けても、間欠的にフリッカ検出用フレームを読み出すように制御しても良い。このように、一旦フリッカ周波数を判定した後に行われる処理は、本願発明の範囲を限定するものではない。

＜第２の実施形態＞
上記第１の実施形態では、光源の光量変動の周波数が１００Ｈｚまたは１２０Ｈｚの２種類である場合のフリッカ周波数の判定方法について説明した。しかしながら、本発明は２種類の周波数の判定に限るものではなく、３種類以上の周波数の判定に適用することができる。その場合の判定方法について、図１０のフローチャートを参照して説明する。図１０に示す判定方法は図９に示す判定方法に変わって行われるもので、撮像システムの構成及びその他の処理は第１の実施形態と同じであるため、その説明を省略する。

本第２の実施形態では、判定対象である３種類以上のフリッカ周波数を、ＭＰＵ１４のメモリや、不図示のメモリに予め記憶してあるものとする。

先ず、前記メモリに記憶してある複数の周波数の内、第１の周波数に対応する蓄積タイミングの時間差で、フリッカ検出用フレームを２フレーム分読み出す（ステップＳ２１）。そして、読み出した２フレームの画像に共通した領域（例えば、図７に示す領域）の輝度値を比較する（ステップＳ２２）。

ステップＳ２２における比較結果、輝度差が予め設定された範囲内にある（例えば、輝度値の差の絶対値が閾値以下）と判断した場合、次の周波数に対応する蓄積タイミングの時間差でフリッカ検出用フレームを２フレーム分読み出す（ステップＳ２３）。そして、読み出した２フレームの画像に共通した領域（例えば、図７に示す領域）の輝度値を比較する（ステップＳ２４）。２つのフレーム間の輝度差が予め設定された範囲外にある（例えば、輝度値の差の絶対値が閾値よりも大きい）と判断した場合は、輝度値が予め設定された範囲内にあったときの時間差に応じた周波数を、フリッカ周波数として判定する（ステップＳ２５）。一方、輝度差が予め設定された範囲内にある場合、フリッカが発生していないと判定する（ステップＳ２６）。

また、ステップＳ２２における輝度値の比較結果、２つのフレーム間の輝度差が予め設定された範囲外にある（例えば、輝度値の差の絶対値が閾値よりも大きい）と判断した場合は、ステップＳ２８に進む。ステップＳ２８では、次の周波数に対応する蓄積タイミングでフリッカ検出用フレームを２フレーム分読み出し、読み出した２フレームの画像に共通した領域（例えば、図７に示す領域）の輝度値を比較する（ステップＳ２９）。２つのフレーム間の輝度差が予め設定された範囲内にある（例えば、輝度値の差の絶対値が閾値以下）と判断した場合、現在の周波数をフリッカ周波数として判定する（ステップＳ２５）。一方、輝度差が予め設定された範囲外にある（例えば、輝度値の差の絶対値が閾値よりも大きい）と判断した場合は、予め記憶されている全ての周波数に対応した時間差でフリッカ判定処理を終了したか判断する（ステップＳ３０）。全ての周波数に対応した時間差で終了していなければ、ステップＳ２８に戻って次の周波数に対応した時間差で上記処理を繰り返し、終了していれば、フリッカ判定処理に失敗した旨のエラー通知を行ってから（ステップＳ３１）、処理を終了する。

このように、１つの時間差で得られたフレーム間の輝度差が所定範囲内にあって、且つ、少なくとも他の１つの時間差で得られたフレーム間の輝度差が同じ所定範囲外にある場合、輝度差が範囲内にある時間差に対応する周波数をフリッカ周波数として判定する。また、２種類の時間差でフレームを読み出しても、輝度差が所定範囲内にある場合には、フリッカが発生していないと判断する。

このように第２の実施形態によれば、複数の光源の周波数について、フリッカ周波数を判定することができる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。

第１の実施形態では、フリッカ検出用フレームを２フレーム読み出した後、表示用フレームを１フレーム読み出していた。第３の実施形態では表示用フレームで画像として使用しないラインをフリッカ検出用画像として読み出すことで、高フレームレート化を図ることを目的とする。

図１１は、本第３の実施形態において読み出す画素の一例を示す図であり、表示用画像は水平１／３間引き読み出し、垂直１／３間引き読み出しとする。この例では１、４、７行目を順番に選択する。また、フリッカ検出用画像は水平中央部読み出し、垂直１／３間引き読み出しとするが、読み出す行は、表示用画像に用いられない行である。この例では２、５、８行目を順番に選択する。

なお第３の実施形態の撮像システムの構成及びフリッカ周波数判定方法は第１または第２の実施形態と同じであるためその説明を割愛し、以下に撮像素子４からの読み出し動作について、図１２のタイミングチャートを参照しながら説明する。

ＶＤは垂直同期信号、ＨＤは水平同期信号、Ｖ1s〜Ｖ9sは画素選択信号、Ｖ1r〜Ｖ9rは画素リセット信号、ＣＫＴは転送スイッチに入力されるクロック、出力は出力チャンネルから出力される画素信号である。

先ず、垂直走査回路２０は、各ユニット２０−１〜２０−ｎの配列方向に沿って、１行目の走査を行う。即ち、水平ブランキング期間（水平同期信号ＨＤが「Ｌ」レベルの期間）内に垂直走査回路２０のユニット２０−１から出力される画素選択信号Ｖ1sを「Ｈ」レベルにする。これにより、１行目の画素Ｐ１１〜Ｐｍ１のトランジスタＴｒ３がＯＮとなり、１行目が選択される。この間、転送スイッチ３３−１〜３３−ｍに入力されるクロックＣＫＴは「Ｈ」レベルである為、選択された１行目の画素Ｐ１１〜Ｐｍ１の画素信号は、ラインメモリ３２−１〜３２−ｍに記憶される。なお、ここでラインメモリ３２−１〜３２−ｍに記憶された画素信号は、１フレーム前の表示用フレームの画素信号である。

この後、画素選択信号Ｖ1sが「Ｌ」となるタイミングで画素リセット信号Ｖ1rが「Ｈ」レベルとなり、画素Ｐ１１〜Ｐｍ１の電荷（即ち、ノードＮ）がリセットされる。その後、水平有効期間（水平同期信号ＨＤが「Ｈ」レベルの期間）内に、Ｘアドレス選択部６は、水平走査回路３０の各ユニット３０−１、３０−４、３０−７、３０−１０、３０−１３、３０−１６からのみ、順次水平選択信号を出力するように制御する。これにより、１行目の画素Ｐ１１〜Ｐｍ１の内、選択された１、４、７、１０、１３、１６列目の画素の信号が、水平選択スイッチ３１−１、３１−４、３１−７、３１−１０、３１−１３、３１−１６を介して出力チャンネルＣＨ１より出力される。この出力された値は、表示用画像の１ライン目として、ＤＲＭ１３や不図示のメモリに確保された表示用画像記憶領域に格納する。

２ライン目ではフリッカ検出用画像として１／１００秒もしくは１／１２０秒、蓄積タイミングに時間差のある２つの画像を読み出す。図１２において、蓄積時間Ｔdは１／１００秒もしくは１／１２０秒である。先ず、時刻ｔ12において水平ブランキング期間内で画素選択信号Ｖ2sを「Ｈ」レベルにし、２行目の画素Ｐ１２〜Ｐｍ２を選択する。この間、転送スイッチ３３−1〜３３−ｍに入力されるクロックＣＫＴは「Ｈ」レベルである為、選択された画素Ｐ１２〜Ｐｍ２の画素信号は、ラインメモリ３２−１〜３２−ｍに記憶される。ただし、ラインメモリ３２−１〜３２−ｍに記憶された画素信号は使用することが無いので、破棄する。

この後、画素選択信号Ｖ2sが「Ｌ」となるタイミングで画素リセット信号Ｖ2rが「Ｈ」レベルとなり、画素Ｐ１２〜Ｐｍ２の電荷（即ち、ノードＮ）がリセットされる。次の水平ブランキング期間内（時刻ｔ13）で、画素選択信号Ｖ2sを「Ｈ」レベルにし、２行目の画素Ｐ１２〜Ｐｍ２を選択する。この間、転送スイッチ３３−1〜３３−ｍに入力されるクロックＣＫＴは「Ｈ」レベルである為、選択された画素Ｐ１２〜Ｐｍ２の画素信号は、ラインメモリ３２−１〜３２−ｍに記憶される。そして、画素選択信号Ｖ2sが「Ｌ」となるタイミングで画素リセット信号Ｖ2rが「Ｈ」レベルとなり、画素Ｐ１２〜Ｐｍ２の電荷（即ち、ノードＮ）がリセットされる。この後、水平有効期間（水平同期信号ＨＤが「Ｈ」レベルの期間）内に、Ｘアドレス選択部６は、水平走査回路３０がユニット３０−7〜３０−１２からのみ、順次水平選択信号を出力するように制御する。これにより、２行目の画素Ｐ１２〜Ｐｍ２の内、選択された7〜１２列目の画素の画素信号が、水平選択スイッチ３１−7〜３１−１２を介して出力チャンネルＣＨ１より出力される。この出力された値を第１のフリッカ検出用画像の１ライン目として、ＤＲＭ１３や不図示のメモリに確保された第１のフリッカ検出用画像記憶領域に格納する。

さらに同様の方法で時刻ｔ14から第２のフリッカ検出用画像の１ライン目の画素信号を出力チャンネルＣＨ１に出力し、ＤＲＭ１３や不図示のメモリに確保された第２のフリッカ検出用画像記憶領域に格納する。

これ以降、表示用画像としては水平ブランキング期間中に４行目、７行目の画素が順次に選択され、水平有効期間中に行毎の選択された列（各１、４、７、１０、１３、１６列目）の画素信号が出力され、表示用画像記憶領域に順次格納される。またフリッカ検出用画像に関しても水平ブランキング期間中に５行目、８行目の画素が順次に選択され、水平有効期間中に行毎の選択された列（７〜１２列目）の画素信号が出力され、第１および第２のフリッカ検出用画像記憶領域に順次格納される。

上述したようにして第１および第２のフリッカ検出用画像記憶領域に格納された第１及び第２のフリッカ検出用画像を用いて、図９のフローチャートを参照して上記第１の実施形態で説明したようにして、フリッカの周波数を特定する。

上記第３の実施形態によれば、表示用画像の読み出し時にフリッカ検出用画像を読み出すことができる。

＜変形例＞
上記第１乃至第３の実施形態では、表示用フレームまたは画像、２つのフリッカ検出用フレームまたは画像をそれぞれ読み出し、デジタル信号に変換してメモリに格納する場合について説明していた。しかしフリッカ検出のためにはＴd秒差がついた出力値の差分値が分かればよい。そこでアナログ信号をデジタル信号に変換せず電圧の状態で差分値を検出することで、フリッカ検出の高速化を図ることができる。

図１３は図２の各水平選択スイッチ３１−ｘと転送スイッチ３３−ｘ（ｘは正の整数）間をラインメモリ３２’−ｘ、３２”−ｘおよびトランジスタ３４−ｘ、差動アンプ３５−ｘで置き換えたものである。トランジスタ３４−ｘは、ラインメモリ３２’−ｘに蓄積された電荷をラインメモリ３２”−ｘに転送するためのスイッチを担う。例えば、第３の実施形態の図１２のタイミングチャートにおいて、第１のフリッカ検出用画像の蓄積が終了し、クロックＣＫＴがＨレベルになると、ラインメモリ３２’−ｘに電荷が蓄積される。

さらに第２のフリッカ検出用画像用に電荷蓄積を行っている期間に、トランジスタ３４−ｘをオンすることで第１のフリッカ検出用画像の電荷がラインメモリ３２”−ｘに蓄積される。さらに第２のフリッカ検出用画像の蓄積が終了し、クロックＣＫＴがＨレベルになるとラインメモリ３２’−ｘに電荷が蓄積される。すると３５−ｘの差動アンプの出力はラインメモリ３２’−ｘおよび３２”−ｘの電圧の差分値が出力される。さらに水平選択スイッチ３１−ｘをオンすることでＴd秒時間差のある２つのフリッカ検出用画像の差分値が出力チャンネルＣＨ１を介して出力される。このようにして出力された差分値に基づいて、フリッカ周波数を判定することができる。

上記の通り本変形例によれば、フリッカ周波数の判定をより高速に行うことができる。

本発明の第１の実施形態における撮像システムの構成を示すブロック図である。 本発明の第１の実施形態における撮像素子の構成例を示す図である。 本発明の第１の実施形態における撮像素子の各画素の構成を示す回路図である。 本発明の第１の実施形態における撮像素子の１画素の駆動タイミングを示すタイミングチャートである。 本発明の第１の実施形態における撮像素子の順次走査を説明する為のタイミングチャートである。 本発明の第１の実施形態における表示用フレームの読み出し画素の一例を示す概念図である。 本発明の第１の実施形態におけるフリッカ検出用フレームの読み出し画素の一例を示す図である。 本発明の第１の実施形態におけるフリッカ検出時の撮像素子の読み出しタイミングを説明するためのタイミングチャートである。 本発明の第１の実施形態におけるフリッカ周波数判定方法の手順を示すフローチャートである。 本発明の第２の実施形態におけるフリッカ周波数判定方法の手順を示すフローチャートである。 本発明の第３の実施形態における表示用フレーム及びフリッカ検出用フレームの読み出し画素の一例を示す図である。 本発明の第３の実施形態におけるフリッカ検出時の撮像素子の読み出しタイミングを説明するためのタイミングチャートである。 本発明の変形例におけるフレーム間の輝度差を検出するための構成例を示す回路図である。 フリッカの発生原理を説明するための図である。

符号の説明

１：絞り羽根
２：レンズ
３：フィルター群
４：撮像素子
５：Ｙアドレス選択部
６：Ｘアドレス選択部
７：タイミング調整部
８：アドレス指定部
１０：オートゲインコントロール部
１１：Ａ／Ｄ変換器
１２：カメラＤＳＰ
１３：ＤＲＡＭ
１４：ＭＰＵ
１５：ビデオエンコーダ
１６：ＣＲＴ
１７：ビューファインダ
１８：画像記録媒体
５１：フォーカスモーター

Claims (12)

1. 撮像素子を用いて画像を撮像する撮像装置において、フリッカの周波数を判定する判定方法であって、
   前記撮像素子の予め設定された領域から、複数の周波数にそれぞれ対応する複数の異なる時間差で、それぞれ２周期分ずつ同じ電荷蓄積時間の電気信号を順次読み出す読み出し工程と、
   前記読み出し工程で読み出した前記２周期分の電気信号の差が、１つの時間差について予め設定された範囲内であって、且つ、少なくとも１つの他の時間差について予め設定された範囲外である場合に、前記予め設定された範囲内となる時間差に対応する周波数を前記フリッカの周波数として判定する判定工程と
   を有することを特徴とする判定方法。
2. 前記判定工程では、前記複数の時間差の内、少なくとも２つの時間差において前記電気信号の差が予め設定された範囲内である場合に、フリッカが発生していないと判定することを特徴とする請求項１に記載の判定方法。
3. 前記判定する時間差が２種類である場合に、前記判定工程では、前記電気信号の差が一方の時間差で予め設定された範囲外にある場合に、他方の時間差に対応する周波数を前記フリッカの周波数として判定することを特徴とする請求項１または２に記載の判定方法。
4. 表示装置に表示するための電気信号を前記撮像素子から読み出す表示画像取得工程を更に有し、
   前記読み出し工程と前記表示画像取得工程を交互に実行することを特徴とする請求項１乃至３のいずれか１項に記載の判定方法。
5. 前記読み出し工程では、前記撮像素子の予め設定された領域から、表示装置に表示するための電気信号を読み出すと共に、該領域とは異なる前記撮像素子の予め設定された領域から、前記複数の異なる時間差内の１つの時間差で、２周期分の電気信号を読み出すことを特徴とする請求項１に記載の判定方法。
6. 前記複数の時間差は、１／１００秒及び１／１２０秒を含むことを特徴とする請求項１乃至５のいずれか１項に記載の判定方法。
7. 入射する光学像を電気信号に変換することにより画像を撮像する撮像素子と、
   前記撮像素子の予め設定された領域から、複数の周波数にそれぞれ対応する複数の異なる時間差で、それぞれ２周期分ずつ同じ電荷蓄積時間の電気信号を順次読み出すように制御する読み出し制御手段と、
   前記読み出し制御手段による制御により前記撮像素子から読み出した前記２周期分の電気信号の差が、１つの時間差について予め設定された範囲内であって、且つ、少なくとも１つの他の時間差について予め設定された範囲外である場合に、前記予め設定された範囲内となる時間差に対応する周波数をフリッカの周波数として判定する判定手段と
   を有することを特徴とする撮像装置。
8. 前記判定手段は、前記複数の時間差の内、少なくとも２つの時間差において前記電気信号の差が予め設定された範囲内である場合に、フリッカが発生していないと判定することを特徴とする請求項７に記載の撮像装置。
9. 前記判定する時間差が２種類である場合に、前記判定手段は、前記電気信号の差が一方の時間差で予め設定された範囲外にある場合に、他方の時間差に対応する周波数を前記フリッカの周波数として判定することを特徴とする請求項７または８に記載の撮像装置。
10. 前記読み出し制御手段は、更に、表示装置に表示するための電気信号を前記撮像素子から読み出すように制御し、
    前記表示装置に表示するための電気信号の読み出しと、前記複数の異なる時間差のいずれか１つの時間差による２周期分の電気信号の読み出しとを交互に行うように制御することを特徴とする請求項７乃至９のいずれか１項に記載の撮像装置。
11. 前記読み出し制御手段は、前記撮像素子の予め設定された領域から、表示装置に表示するための電気信号を読み出すと共に、該領域とは異なる前記撮像素子の予め設定された領域から、前記複数の異なる時間差内の１つの時間差で、２周期分の電気信号を読み出すことを特徴とする請求項７に記載の撮像装置。
12. 前記複数の時間差は、１／１００秒及び１／１２０秒を含むことを特徴とする請求項７乃至１１のいずれか１項に記載の撮像装置。

Images