JP2009004845A - 撮像装置、撮像方法、プログラム、および集積回路 - Google Patents

Abstract

【課題】撮像環境の照明と撮像装置に動きがある場合であっても、誤差の少ないフリッカ補正が可能な撮像装置を提供することを目的とする。
【解決手段】撮像装置１００では、撮像部１で、各フレームにおいて、フリッカ成分を含まない画像Ａ信号とフリッカ成分を含む画像Ｂ信号を取得し、画像Ｂゲイン算出部３で、画像Ａ信号および画像Ｂ信号から画像Ｂ信号に含まれるフリッカ成分を除去するための補正係数を算出し、画像Ｂゲイン補正部５で、その補正係数により画像Ｂ信号からフリッカ成分を除去した後、画像Ａ／Ｂ混合部６で、画像Ａ信号と画像Ｂ信号を混合することで、フリッカ成分が除去された画像信号を生成する。
【選択図】図１

Description

本発明は、ＭＯＳ型撮像素子のようなＸＹアドレス駆動方式の撮像素子を有する撮像装置を用いて、電源周波数で明るさが変動する照明下で撮像した場合に生ずるフリッカ現象を補正する技術に関するものである。

電源周波数で明るさが変動する照明のもとで撮像した場合に、フリッカを検出し補正する必要性がある。図５に、電源周波数が５０［Ｈｚ］の電源照明下で、フレームレート６０［ｆｐｓ］のＭＯＳ型撮像素子のようなＸＹアドレス駆動方式の撮像素子を有する撮像装置でフリッカが発生する理由を説明する図を示す。図５に示すように、撮像装置の撮像素子において、ラインごとに露光タイミングが違うため、任意の露光時間で撮像素子を駆動するとラインごとに電荷蓄積される光量に差が出て、３フレームごとに繰り返されるフリッカ横縞が撮像画像（映像）上に発生する。
一方、１／１００秒で撮像素子を駆動すると、照明の電源周波数に相当する周期の半周期分の時間を露光するため、全ラインで蓄積される光量が同じになり、撮像装置により取得される撮像画像（映像）上にフリッカ横縞は発生しない。このことは一般に広く知られていて、電源周波数が５０［Ｈｚ］の電源照明下でフリッカを検出すると１／１００秒の露光時間で撮像素子を駆動して簡易的にフリッカ除去を行うことが多い。

しかし、撮像素子の露光時間が短い露光時間に固定されるため、撮像素子の露光時間が長い場合と比較すると、撮像素子により取得される映像信号の出力レベルが小さく、撮像素子で取得される映像信号の出力レベルを上げるために増幅器のゲインを大きくしなければならない。このように増幅器のゲインを大きくすることは、映像信号のＳ／Ｎ比を劣化させるため、あまり望ましくない。
そこで、従来の撮像装置では、第１フレームで２種類の異なる露光時間で撮像部を駆動してフリッカを検出する。そして、第２フレーム以降では、１種類の露光時間で撮像部を通常駆動し、撮像部の後段の増幅器のゲインを変えることによってフリッカ補正を行っている。以下では説明便宜のため、照明電源周波数が５０［Ｈｚ］であるものとして説明する。

図６に、撮像部を２種類の異なる露光時間で駆動した場合の第１フレームの画像と、撮像部を通常駆動した場合の第２フレーム以降の画像をゲイン補正する様子を説明する図を示す。
従来の撮像装置においてフリッカ補正する場合、２種類の異なる露光時間の画素（撮像素子の画素）が隣接していなければフリッカ補正誤差が大きく生じてしまう。第１フレームの撮像に関して、撮像素子の画素列毎に２種類の異なる露光時間（１／１００秒と１／６０秒）で駆動すると（例えば、奇数列の画素の露光時間を１／１００秒とし、偶数列の画素の露光時間を１／６０秒とする。）、１／１００秒の露光時間の画像（画像Ａ）にはフリッカは発生しないものの、１／６０秒の露光時間の画像（画像Ｂ）にはフリッカが発生する。これらの画像Ａと画像Ｂとを除算処理すると、被写体画像は打ち消されてフリッカ成分に対応した輝度パターンのみを持つ画像Ｃ（Ｃ＝Ｂ／Ａ）が得られる。また、演算によってこの画像Ｃの垂直投影による出力波形Ｖを取得し、さらに、出力波形Ｖの逆位相に比例するゲイン補正係数を取得することができる。

従来の撮像装置では、第２フレーム以降において、撮像部を通常駆動し、撮像部の後段の増幅器で第１フレームから得られたゲイン補正係数の垂直位相をずらしたものを取得された画像信号に掛け合わせることによって、フリッカ成分が相殺された補正後の画像信号を取得することができる。
図４に、従来の撮像装置４００の全体構成図を示す。
撮像装置４００は、被写体からの光を光電変換により映像信号（画像信号）として取得する撮像部４０１と、撮像部４０１の撮像素子の露光時間を制御するための露光時間制御信号を撮像部４０１に出力する露光時間制御回路４０２と、撮像部４０１から出力された画像信号よりフリッカ検出を行うフリッカ検出回路４０３と、フリッカ検出回路４０３からの出力に基づいてゲイン補正係数を決定させるゲイン制御回路４０４と、ゲイン補正係数に基づいて、撮像部４０１から出力される第２フレーム以降の画像信号に対するゲインを変化させるゲイン可変増幅器４０５と、を備える。その他、図示していないが、撮像装置４００内の各部動作タイミング等の動作を制御する全体制御部も含まれる。

撮像部４０１は、撮像画素部（撮像素子）と、撮像画素部の全列用に割り当てられる垂直シフトレジスタと、撮像画素部の奇数列用に割り当てられる第１水平シフトレジスタ及び第１ラインメモリと、撮像画素部の偶数列用に割り当てられる第２水平シフトレジスタ及び第２ラインメモリと、を有する。撮像画素部の奇数列の画素を電源周波数が５０［Ｈｚ］の電源照明下でフリッカが発生しない１／１００秒の露光時間で駆動させ、撮像画素部の偶数列の画素を電源周波数が６０［Ｈｚ］の電源照明下でフリッカの発生しない１／６０秒の露光時間で駆動させる。
露光時間制御回路４０２は、撮像部４０１の撮像画素部（撮像素子）の奇数列の画素と偶数列の画素とを２種類の異なる露光時間で駆動させるための露光時間制御信号を撮像部４０１に出力する。

フリッカ検出回路４０３は、撮像部４０１から出力される第１フレームの画像信号に基づきフリッカ成分を検出し、その検出信号をゲイン制御回路４０４に供給（出力）する。
ゲイン制御回路４０４は、フリッカ検出回路４０３により検出されたフリッカ成分の逆位相に比例する補正ゲインに対応するゲイン補正係数を算出し、そのゲイン補正係数をゲイン可変増幅器４０５に出力する。
ゲイン可変増幅器４０５は、フリッカ検出回路４０３にて第１フレームの画像信号からフリッカが検出された場合、撮像部４０１から出力される第２フレーム以降の画像信号に対し、ゲイン制御回路４０４からのゲイン補正係数をかけることにより、画像信号からフリッカ成分を除去する。ゲイン可変増幅器４０５は、フリッカ成分が相殺（除去）された画像信号を補正画像信号として出力する。一方、ゲイン可変増幅器４０５は、フリッカ検出回路４０３にて第１フレームの画像信号からフリッカが検出されなかった場合、フリッカ無しの画像信号として、撮像部４０１から出力された画像信号をそのまま出力する。

図７に従来の撮像装置４００の全体の動作を示す概略フローチャートを示す。
前述のように、撮像装置４００は、第１フレームの画像Ａと画像Ｂとを取得し（ステップ７０２、７０３）、画像Ｂ（画像Ｂの画像信号）を画像Ａ（画像Ａの画像信号）で除算することにより画像Ｃ（ステップ７０４）を生成する（ステップ７０４）。撮像装置４００は、画像Ｃを基にフリッカを検出する（ステップ７０５）。フリッカが検出されなければ第２フレーム以降は通常動作を行い（ステップ７０７）、フリッカが検出されれば第２フレーム以降の取得画像に対してフリッカ補正を行う（ステップ７０８）。撮像期間中にフリッカの発生条件が変化することも考えられるので、撮像装置４００において終了処理を行うように指示されたか否かを判定し（ステップ７０８）、終了処理の実行が指示されなければ、任意の期間毎（Ｘフレーム（Ｘは自然数）毎）にフリッカの再検出を行う（ステップ７１０、ステップ７１１）。
特開２００６−２４５７８４号公報（［００３０〜００５４］）

しかしながら、上記の従来の撮像装置では、複数フレームに１回だけフリッカ成分を検出して、検出後のフレームにおいて、検出したフリッカ成分から位相情報を基にゲイン補正値を演算によって求めている。つまり、フリッカ成分の検出処理とフリッカ成分の補正補正とが別々のフレームで行われている。このため、撮像環境の照明が時間的に変化する場合や撮像装置を動かして屋内と屋外とを交互に撮像する場合、従来の撮像装置では、フリッカ補正に誤差が生じるという問題点がある。
本発明は、上記従来の問題点を解決するもので、撮像環境の照明が変化する場合や撮像装置が動かされる場合であっても、誤差の少ないフリッカ補正を可能とする撮像装置、撮像方法、プログラム、および集積回路を提供することを目的とする。

第１の発明は、撮像部と、露光時間制御部と、画像Ｂゲイン算出部と、画像Ｂゲイン補正部と、画像Ａ／Ｂ混合部と、を備える撮像装置である。撮像部は、それぞれ複数の画素からなる第１画素群および第２画素群を含み画素ごとの駆動が可能な撮像素子を有する。露光時間制御部は、第１画素群に含まれる画素の露光時間をフリッカ成分が発生しない第１露光時間に設定し、第２画素群に含まれる画素の露光時間を第２露光時間に設定し、第１画素群の露光時間が第１露光時間となるように制御し、かつ、第２画素群の露光時間が第２露光時間となるように制御する。画像Ｂゲイン算出部は、第１画素群により取得されたフリッカ成分を含まない画像Ａ信号と第２画素群により取得された画像Ｂ信号とから画像Ｂ信号のフリッカ成分を補正するためのゲイン補正係数を算出する。画像Ｂゲイン補正部は、ゲイン補正係数に基づいて、画像Ｂ信号のフリッカ成分を補正する。画像Ａ／Ｂ混合部は、画像Ｂゲイン補正部により補正された画像Ｂ信号と画像Ａ信号とを、撮像素子上の第１画素群および第２画素群の配置に一致させるように混合する。

この撮像装置では、各フレームにおいて、フリッカ成分を含まない画像Ａ信号とフリッカ成分を含む画像Ｂ信号を取得し、画像Ａ信号および画像Ｂ信号から画像Ｂ信号に含まれるフリッカ成分を除去するためのゲイン補正係数を算出し、その補正係数により画像Ｂ信号からフリッカ成分を除去した後、画像Ａ信号と画像Ｂ信号を混合することで、フリッカ成分が除去された画像信号を生成することができる。
これにより、撮像環境の照明が変化する場合や撮像装置が動かされる場合であっても、誤差の少ないフリッカ補正を可能とする撮像装置を実現することができる。
なお、ここで、「フリッカ成分」とは、撮像装置が置かれている環境下に存在する照明の電源周波数に起因して生じる、撮像装置による撮像画像上のフリッカ成分のことをいう。

第２の発明は、第１の発明であって、撮像部は、第１画素群に含まれる画素と第２画素群に含まれる画素とが、撮像素子の撮像面上の縦方向および横方向に、互いに隣接して配置されている撮像素子を有する。
この撮像装置では、撮像素子の撮像面上において、第１画素群に含まれる画素どうしが縦横方向に隣接することがなく、かつ、第２画素群に含まれる画素どうしが縦横方向に隣接することがない。つまり、この撮像装置では、撮像素子の撮像面上で縦横両方向に交互に配置されている画素に対して、２種類の異なる露光時間で画素を駆動することにより、露光時間の違いによる処理画像上のノイズの縦スジを目立たなくすることができる。
第３の発明は、第１又は第２の発明であって、露光時間制御部は、照明の電源周波数が５０［Ｈｚ］である場合、第１露光時間をｎ／１００秒（ｎは自然数）に設定し、照明の電源周波数が６０［Ｈｚ］である場合、第１露光時間をｎ／１２０秒（ｎは自然数）に設定する。

これにより、簡単にフリッカ成分を含まない画像Ａ信号を生成することができる。
なお、ｎは、第１露光時間が１フレーム期間を超えない最大となる整数とすることが好ましい。
第４の発明は、それぞれ複数の画素からなる第１画素群および第２画素群を含み画素ごとの駆動が可能な撮像素子を有する撮像部を備える撮像装置に用いられる撮像方法であって、露光時間制御ステップと、画像Ｂゲイン算出ステップと、画像Ｂゲイン補正ステップと、画像Ａ／Ｂ混合ステップと、を備える。露光時間制御ステップでは、第１画素群に含まれる画素の露光時間をフリッカ成分が発生しない第１露光時間に設定し、第２画素群に含まれる画素の露光時間を第２露光時間に設定し、第１画素群の露光時間が第１露光時間となるように制御し、かつ、第２画素群の露光時間が第２露光時間となるように制御する。画像Ｂゲイン算出ステップでは、第１画素群により取得されたフリッカ成分を含まない画像Ａ信号と第２画素群により取得された画像Ｂ信号とから画像Ｂ信号のフリッカ成分を補正するためのゲイン補正係数を算出する。画像Ｂゲイン補正ステップでは、ゲイン補正係数に基づいて、画像Ｂ信号のフリッカ成分を補正する。画像Ａ／Ｂ混合ステップでは、画像Ｂゲイン補正部により補正された画像Ｂ信号と画像Ａ信号とを、撮像素子上の第１画素群および第２画素群の配置に一致させるように混合する。

これにより、それぞれ複数の画素からなる第１画素群および第２画素群を含み画素ごとの駆動が可能な撮像素子を有する撮像部を備える撮像装置に用いられることで、第１の発明と同様の効果を奏する撮像方法を実現することができる。
第５の発明は、それぞれ複数の画素からなる第１画素群および第２画素群を含み画素ごとの駆動が可能な撮像素子を有する撮像部を備える撮像装置に用いられるプログラムであって、コンピュータを、露光時間制御部、画像Ｂゲイン算出部、画像Ｂゲイン補正部、画像Ａ／Ｂ混合部、として機能させるためのプログラムである。露光時間制御部は、第１画素群に含まれる画素の露光時間をフリッカ成分が発生しない第１露光時間に設定し、第２画素群に含まれる画素の露光時間を第２露光時間に設定し、第１画素群の露光時間が第１露光時間となるように制御し、かつ、第２画素群の露光時間が第２露光時間となるように制御する。画像Ｂゲイン算出部は、第１画素群により取得されたフリッカ成分を含まない画像Ａ信号と第２画素群により取得された画像Ｂ信号とから画像Ｂ信号のフリッカ成分を補正するためのゲイン補正係数を算出する。画像Ｂゲイン補正部は、ゲイン補正係数に基づいて、画像Ｂ信号のフリッカ成分を補正する。画像Ａ／Ｂ混合部は、画像Ｂゲイン補正部により補正された画像Ｂ信号と画像Ａ信号とを、撮像素子上の第１画素群および第２画素群の配置に一致させるように混合する。

これにより、それぞれ複数の画素からなる第１画素群および第２画素群を含み画素ごとの駆動が可能な撮像素子を有する撮像部を備える撮像装置に用いられることで、第１の発明と同様の効果を奏するプログラムを実現することができる。
第６の発明は、撮像部と、露光時間制御部と、画像Ｂゲイン算出部と、画像Ｂゲイン補正部と、画像Ａ／Ｂ混合部と、を備える集積回路である。撮像部は、それぞれ複数の画素からなる第１画素群および第２画素群を含み画素ごとの駆動が可能な撮像素子を有する。露光時間制御部は、第１画素群に含まれる画素の露光時間をフリッカ成分が発生しない第１露光時間に設定し、第２画素群に含まれる画素の露光時間を第２露光時間に設定し、第１画素群の露光時間が第１露光時間となるように制御し、かつ、第２画素群の露光時間が第２露光時間となるように制御する。画像Ｂゲイン算出部は、第１画素群により取得されたフリッカ成分を含まない画像Ａ信号と第２画素群により取得された画像Ｂ信号とから画像Ｂ信号のフリッカ成分を補正するためのゲイン補正係数を算出する。画像Ｂゲイン補正部は、ゲイン補正係数に基づいて、画像Ｂ信号のフリッカ成分を補正する。画像Ａ／Ｂ混合部は、画像Ｂゲイン補正部により補正された画像Ｂ信号と画像Ａ信号とを、撮像素子上の第１画素群および第２画素群の配置に一致させるように混合する。

これにより、第１の発明と同様の効果を奏する集積回路を実現することができる。
第７の発明は、それぞれ複数の画素からなる第１画素群および第２画素群を含み画素ごとの駆動が可能な撮像素子を有する撮像部を備える撮像装置に用いられる集積回路であって、露光時間制御部と、画像Ｂゲイン算出部と、画像Ｂゲイン補正部と、画像Ａ／Ｂ混合部と、を備える。露光時間制御部は、第１画素群に含まれる画素の露光時間をフリッカ成分が発生しない第１露光時間に設定し、第２画素群に含まれる画素の露光時間を第２露光時間に設定し、第１画素群の露光時間が第１露光時間となるように制御し、かつ、第２画素群の露光時間が第２露光時間となるように制御する。画像Ｂゲイン算出部は、第１画素群により取得されたフリッカ成分を含まない画像Ａ信号と第２画素群により取得された画像Ｂ信号とから画像Ｂ信号のフリッカ成分を補正するためのゲイン補正係数を算出する。画像Ｂゲイン補正部は、ゲイン補正係数に基づいて、画像Ｂ信号のフリッカ成分を補正する。画像Ａ／Ｂ混合部は、画像Ｂゲイン補正部により補正された画像Ｂ信号と画像Ａ信号とを、撮像素子上の第１画素群および第２画素群の配置に一致させるように混合する。

これにより、それぞれ複数の画素からなる第１画素群および第２画素群を含み画素ごとの駆動が可能な撮像素子を有する撮像部を備える撮像装置に用いられることで、第１の発明と同様の効果を奏するプログラムを実現することができる。

本発明によれば、撮像環境の照明が変化する場合や撮像装置が動かされる場合であっても、誤差の少ないフリッカ補正を可能とする撮像装置、撮像方法、プログラム、および集積回路を実現することができる。

以下、本発明の実施形態について、図面を参照しながら説明する。
［第１実施形態］
＜１：撮像装置の構成＞
図１に本発明の第１実施形態の撮像装置１００の構成図を示す。
図２に、図１の撮像部１の有する同一撮像面上で縦横両方向に交互に２種類の異なる露光時間で駆動される画素を有する撮像素子の概念図を示す。
撮像装置１００は、被写体からの光を光電変換により画像Ａ信号および画像Ｂ信号として取得する撮像部１と、撮像部１の撮像素子の画素の電荷蓄積時間を制御する電荷蓄積時間制御信号を撮像部１に出力する露光時間制御部２と、撮像部空出力される画像Ａ信号および画像Ｂ信号に基づいて画像Ｂゲイン補正係数を算出する画像Ｂゲイン算出部３と、を備える。また、撮像装置１００は、撮像部１から出力される画像Ａ信号および画像Ｂ信号をそれぞれ所望の時間だけ遅延させて、画像Ａ遅延信号および画像Ｂ遅延信号として出力する遅延部４と、画像Ｂゲイン補正係数に基づいて画像Ｂ遅延信号に対してゲイン補正処理を行う画像Ｂゲイン補正部５と、画像Ａ遅延信号および画像Ｂゲイン補正部５により補正された画像Ｂ遅延信号を混合し、補正画像信号として出力する画像Ａ／Ｂ混合部６と、を備える。

撮像部１は、複数の画素からなる撮像画素部１１（撮像素子）と、露光時間制御部２からの電荷蓄積時間制御信号に基づいて、撮像画素部１１の全ての列の画素を駆動するための駆動信号を撮像画素部１１に対して出力する垂直シフトレジスタ１２と、図２において「Ａ」と表示された画素（これらの画素を「画素Ａ」という。そして、画素Ａにより形成される画像を「画像Ａ」という。）を駆動するための駆動信号を撮像画素部１１に対して出力する第１水平シフトレジスタ１３と、図２において「Ｂ」と表示された画素（これらの画素を「画素Ｂ」という。そして、画素Ｂにより形成される画像を「画像Ｂ」という。）を駆動するための駆動信号を撮像画素部１１に対して出力する第２水平シフトレジスタ１４と、を有する。また、撮像部１は、画像Ａ用と画像Ｂ用の出力チャンネルを有する。
撮像部１は、被写体からの光を光電変換により画像信号として取得する。そして、撮像部１は、画素Ａにより取得された画像信号を画像Ａ信号として、画素Ｂにより取得された画像信号を画像Ｂ信号として、それぞれ、遅延部４および画像Ｂゲイン算出部３に出力する。

つまり、撮像部１は、図２に示すように、同一撮像面（撮像画素部１１（撮像素子）の複数画素からなる撮像面）上で縦横両方向に交互に配置されている画素に対して、２種類の異なる露光時間で画素を駆動し、フリッカの発生しない第１の露光時間で駆動された画素から取得した画像（画像Ａ）信号とフリッカの発生する第２の露光時間で駆動された画素から取得した画像（画像Ｂ）信号を別々に出力する。
なお、撮像画素部１１における画素Ａおよび画素Ｂの配置は、図２の配置に限定されるものではない。また、垂直シフトレジスタ１２、第１水平シフトレジスタ１３および第２水平シフトレジスタ１４には、それぞれ、露光時間制御部２からの電荷蓄積時間制御信号が入力されており、各画素の露光時間（電荷蓄積時間）が所望の時間となるように、電荷蓄積時間制御信号に基づいて、垂直シフトレジスタ１２、第１水平シフトレジスタ１３および第２水平シフトレジスタ１４において、撮像画素部１１の画素を駆動させる駆動信号が生成される。図２においては、電荷蓄積時間制御信号が、垂直走査用電荷蓄積時間制御信号、水平走査用電荷蓄積時間制御信号（画素Ａ用）および水平走査用電荷蓄積時間制御信号（画素Ｂ用）からなる場合の一例を示しており、図２に示すように、垂直走査用電荷蓄積時間制御信号は、垂直シフトレジスタ１２に入力され、水平走査用電荷蓄積時間制御信号（画素Ａ用）は第１水平シフトレジスタに入力され、水平走査用電荷蓄積時間制御信号（画素Ｂ用）は第２水平シフトレジスタに入力される。そして、垂直シフトレジスタ１２は、垂直走査用電荷蓄積時間制御信号に基づいて撮像画素部１１の画素を駆動させる駆動信号を生成する。第１水平シフトレジスタは、水平走査用電荷蓄積時間制御信号（画素Ａ用）に基づいて撮像画素部１１の画素Ａを駆動させる駆動信号を生成する。第２水平シフトレジスタは、水平走査用電荷蓄積時間制御信号（画素Ｂ用）に基づいて撮像画素部１１の画素Ｂを駆動させる駆動信号を生成する。そして、撮像画素部１１の画素Ａは、垂直シフトレジスタ１２により生成された駆動信号および第１水平シフトレジスタ１３により生成された駆動信号により駆動される。撮像画素部１１の画素Ｂは、垂直シフトレジスタ１２により生成された駆動信号および第２水平シフトレジスタ１４により生成された駆動信号により駆動される。つまり、画素Ａおよび画素Ｂの露光時間を、垂直走査用電荷蓄積時間制御信号、水平走査用電荷蓄積時間制御信号（画素Ａ用）および水平走査用電荷蓄積時間制御信号（画素Ｂ用）により制御することができる。

なお、撮像部１として、ＣＭＯＳ型イメージセンサーを用いることが好ましい。
露光時間制御部２は、撮像部２の撮像画素部１１の各画素の露光時間を所望の時間にするための電荷蓄積時間制御信号を撮像部１に出力する。ここで、図２に示すように、電荷蓄積時間制御信号は、垂直走査用電荷蓄積時間制御信号、水平走査用電荷蓄積時間制御信号（画素Ａ用）および水平走査用電荷蓄積時間制御信号（画素Ｂ用）の３つの信号から構成されるものであってもよい。
露光時間制御部２により、電荷蓄積時間制御信号を設定することで、撮像部１の撮像画素部１１の各画素の露光時間を所望の時間に設定することができる。
露光時間制御部２は、照明電源周波数が５０［Ｈｚ］の場合、第１の露光時間（画素Ａの露光時間）がｎ／１００秒（ｎは露光時間が１フレーム期間を超えない最大となる整数）となるように電荷蓄積時間制御信号を設定し、第２の露光時間（画素Ｂの露光時間）が任意の時間になるように電荷蓄積時間制御信号を設定する。露光時間制御部２は、照明電源周波数が６０［Ｈｚ］の場合、第１の露光時間（画素Ａの露光時間）がｎ／１２０秒（ｎは露光時間が１フレーム期間を超えない最大となる整数）となるように電荷蓄積時間制御信号を設定し、第２の露光時間（画素Ｂの露光時間）が任意の時間になるように電荷蓄積時間制御信号を設定する。以下では説明便宜のため、照明の電源周波数が５０［Ｈｚ］であるものとして説明する。

画像Ｂゲイン算出部３は、撮像部１から出力される画像Ａ信号および画像Ｂ信号を入力とし、画像Ａ信号および画像Ｂ信号からライン毎に画像Ｂゲイン補正係数を算出し（算出方法は後述。）、算出した画像Ｂゲイン補正係数を画像Ｂゲイン補正部５に出力する。なお、ここで、画像Ａ信号は、フリッカ成分を含まない画像信号であり、画像Ｂ信号は、フリッカ成分を含んでいる画像信号であるものとする。以下、同様。
遅延部４は、撮像部１から出力される画像Ａ信号を所定の時間だけ遅延させて、画像Ａ遅延信号として画像Ａ／Ｂ混合部に出力する。また、遅延部４は、撮像部１から出力される画像Ｂ信号を所定の時間だけ遅延させて、画像Ｂ遅延信号として画像Ｂゲイン補正部５に出力する。具体的には、遅延部４は、画像Ｂゲイン補正部５での処理タイミングが合うように、画像Ｂ信号を、画像Ｂゲイン算出部での処理時間分だけ遅延させる。そして、遅延部４は、画像Ａ／Ｂ混合部６での処理タイミングが合うように、画像Ａ信号を、画像Ｂゲイン算出部３および画像Ｂゲイン補正部５での処理時間分だけ遅延させる。

なお、遅延部４として、フレームメモリを用いるようにしてもよい。また、画像Ａ信号用の遅延部と画像Ｂ信号用の遅延部とを別個に設けるようにしてもよい。
画像Ｂゲイン補正部５は、画像Ｂゲイン算出部３から出力される画像Ｂゲイン補正係数および遅延部４から出力される画像Ｂ遅延信号を入力とし、ライン毎に、画像Ｂゲイン補正係数を画像Ｂ遅延信号に乗算することで画像Ｂ遅延信号からフリッカ成分を除去（相殺）し、フリッカ成分を除去（相殺）した画像Ｂ遅延信号（補正後の画像Ｂ遅延信号）を画像Ａ／Ｂ混合部６に出力する。
画像Ａ／Ｂ混合部６は、遅延部４から出力される画像Ａ遅延信号および画像Ｂゲイン補正部５から出力される補正後の画像Ｂ遅延信号を入力とし、画像Ａ遅延信号および補正後の画像Ｂ遅延信号とを混合することで、補正画像信号を生成し、出力する。

画像Ａ／Ｂ混合部６は、画像Ａ遅延信号と補正後の画像Ｂ遅延信号とを、撮像部１の撮像面と同配列（撮像画素部１１の画素の画素配列と同配列）になるように混合することで、補正画像信号を生成し、生成した補正画像信号を出力する。
その他、図示していないが、撮像装置１００には、撮像装置１００内の各構成部の制御（各部の動作タイミング等の制御を含む。）を行う全体制御部も含まれる。
撮像装置１００において、撮像画素部１１の奇数列を第１の露光時間、偶数列を第２の露光時間で駆動した場合、列ごとに補正ゲインが違うことに起因してノイズの縦スジが発生する。そこで、撮像装置１００では、これを目立たないようにするために、図２に示すように、縦横両方向に交互に配置されている画素について、２種類の異なる露光時間で駆動するようにしている（これにより、撮像画素部１１の全ての画素において、縦方向および横方向のいずれの隣接画素とも露光時間が異なるようにすることができる）。

＜２：撮像装置の動作＞
以上のように構成された撮像装置１００の動作について、以下、説明する。
また、図３に、撮像装置１００の動作を説明するためのフローチャートを示す。
被写体からの光は、撮像部１により、光電変換され画像Ａ信号および画像Ｂ信号として取得される。このとき、露光時間制御部２からの電荷蓄積時間制御信号により、撮像画素部１１の画素Ａの露光時間（電荷蓄積時間）をｎ／１００秒に設定し、撮像画素部１１の画素Ｂの露光時間（電荷蓄積時間）を任意の時間（ｎ／１００秒以外の任意の時間）に設定する。
図２に示すように、画像Ａ信号は、撮像画素部１１の画素Ａで、露光時間制御部２から出力される電荷蓄積時間制御信号により設定された露光時間（ｎ／１００秒）だけ電荷蓄積されることで取得される（Ｓ３０１）。画像Ｂ信号は、撮像画素部１１の画素Ｂで、露光時間制御部２から出力される電荷蓄積時間制御信号により設定された露光時間（任意の時間）だけ電荷蓄積されることで取得される（Ｓ３０２）。

ここで、照明の電源周波数が５０［Ｈｚ］であるので、露光時間ｎ／１００秒で取得された画像Ａ信号には、フリッカ成分が含まれていない。一方、画像Ｂ信号には、フリッカ成分が含まれている。
画像Ａ信号および画像Ｂ信号は、画像Ｂゲイン算出部３に入力される。画像Ｂゲイン算出部３では、画像Ａ信号により、画像Ａ信号から形成される画像Ａのライン（水平ライン）毎の平均値Ａ’が算出される（Ｓ３０３）。また、画像Ｂゲイン算出部３では、画像Ｂ信号により、画像Ｂ信号から形成される画像Ｂのライン（水平ライン）毎の平均値Ｂ’が算出される（Ｓ３０４）。そして、画像Ｂゲイン算出部３により、ライン平均の比Ｃ’＝Ａ’／Ｂ’が算出される（Ｓ３０５）。算出されたライン平均の比Ｃ’＝Ａ’／Ｂ’は、画像Ｂゲイン補正係数として、画像Ｂゲイン算出部３から画像Ｂゲイン補正部５に出力される。

また、画像Ｂ信号は、遅延部４に入力され、遅延部４により、画像Ｂゲイン算出部３での処理時間だけ遅延されて、画像Ｂゲイン補正部５に画像Ｂ遅延信号として出力される。
画像Ｂ遅延信号は、画像Ｂゲイン補正部５により、画像Ｂゲイン補正係数（Ｃ’＝Ａ’／Ｂ’）をライン毎に乗算され、フリッカ成分が除去される（Ｓ３０６）。このフリッカ成分が除去された信号は、補正後の画像遅延信号として、画像Ｂゲイン補正部５から画像Ａ／Ｂ混合部６に出力される。
画像Ａ信号は、遅延部４に入力され、遅延部４により、画像Ｂゲイン算出部３および画像Ｂゲイン補正部５での処理時間だけ遅延されて、画像Ａ／Ｂ混合部６に画像Ａ遅延信号として出力される。
画像Ａ遅延信号および補正後の画像Ｂ遅延信号は、画像Ａ／Ｂ混合部６に入力され、画像Ａ／Ｂ混合部６により、撮像部１の撮像面と同配列（撮像画素部１１の画素の画素配列と同配列）になるように混合されることで、補正画像信号に変換される（Ｓ３０７）。

そして、補正画像信号は、フリッカ成分が補正（除去）された画像信号として、画像Ａ／Ｂ混合部６から出力される（Ｓ３０８）。
このように、この撮像装置１００では、各フレームにおいて、フリッカ成分を含まない画像Ａ信号とフリッカ成分を含む画像Ｂ信号を取得し、画像Ａ信号および画像Ｂ信号から画像Ｂ信号に含まれるフリッカ成分を除去するための補正係数を算出し、その補正係数により画像Ｂ信号からフリッカ成分を除去した後、画像Ａ信号と画像Ｂ信号を混合することで、フリッカ成分が除去された画像信号を生成することができる。
従来の方法では、複数フレームに１回だけフリッカ成分の検出を行い、フリッカ成分の検出を行ったフレームの後のフレームでは、過去に検出されたフリッカ成分から位相情報を基にゲイン補正値を演算によって求めているため、フリッカ成分の検出処理と補正処理とが別フレームで行われていた。

それに対して、本発明の撮像装置１００では、フリッカ補正に使われるゲイン補正係数を補正されるフレーム画像自体の情報を基に求めているため、フリッカ成分の検出処理と補正処理とが同一フレームで行われる。
また、撮像装置１００において、同一撮像面（撮像画素部１１（撮像素子）の複数画素からなる撮像面）上の偶数列の画素と奇数列の画素とを、２種類の異なる露光時間で駆動した場合、補正ゲインが違うことに起因するノイズの縦スジが撮像装置１００による処理画像上に発生するが、本発明の撮像装置１００では、これを避けるために、同一撮像面（撮像画素部１１（撮像素子）の複数画素からなる撮像面）上で縦横両方向に交互に配置されている画素に対して、２種類の異なる露光時間で画素を駆動することにより、露光時間の違いによる処理画像上のノイズの縦スジを目立たなくしている。

従って、本発明の撮像装置１００によれば、撮像環境の照明が時間的に変化する場合や撮像装置が動かされて屋内と屋外とを交互に撮像するような場合であっても、誤差の少ない効果的なフリッカ補正を実現することができる。
［他の実施形態］
なお、上記実施形態で説明した撮像装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係る撮像装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。

本発明に係る撮像装置、撮像方法、プログラム、および集積回路は、照明の電源周波数に起因するフリッカ成分を効果的に補正（除去）することができるので、映像機器関連産業分野において、有用であり、本発明に係る撮像装置、撮像方法、プログラム、および集積回路は、当該分野において実施することができる。

本発明の第１実施形態に係る撮像装置１００の構成図 本発明の第１実施形態に係る撮像装置１００の撮像部１の概略構成図 本発明の第１実施形態に係る撮像装置１００の動作を示すフローチャート 従来発明の撮像装置４００の構成図 電源周波数が５０［Ｈｚ］の照明下で、フレームレートが６０［ｆｐｓ］である一般的な撮像装置でフリッカが発生する理由を説明するための説明図 従来発明の撮像装置４００の動作を説明するための説明図 従来発明の撮像装置の動作を示すフローチャート

符号の説明

１００ 撮像装置
１ 撮像部
２ 露光時間制御部
３ 画像Ｂゲイン算出部
４ 遅延部
５ 画像Ｂゲイン補正部
６ 画像Ａ／Ｂ混合部
１１ 撮像画素部（撮像素子）

Claims (7)

1. それぞれ複数の画素からなる第１画素群および第２画素群を含み前記画素ごとの駆動が可能な撮像素子を有する撮像部と、
   前記第１画素群に含まれる前記画素の露光時間をフリッカ成分が発生しない第１露光時間に設定し、前記第２画素群に含まれる前記画素の露光時間を第２露光時間に設定し、前記第１画素群の露光時間が前記第１露光時間となるように制御し、かつ、前記第２画素群の露光時間が前記第２露光時間となるように制御する露光時間制御部と、
   前記第１画素群により取得されたフリッカ成分を含まない画像Ａ信号と前記第２画素群により取得された画像Ｂ信号とから前記画像Ｂ信号のフリッカ成分を補正するためのゲイン補正係数を算出する画像Ｂゲイン算出部と、
   前記ゲイン補正係数に基づいて、前記画像Ｂ信号のフリッカ成分を補正する画像Ｂゲイン補正部と、
   前記画像Ｂゲイン補正部により補正された前記画像Ｂ信号と前記画像Ａ信号とを、前記撮像素子上の前記第１画素群および前記第２画素群の配置に一致させるように混合する画像Ａ／Ｂ混合部と、
   を備える撮像装置。
2. 前記撮像部は、前記第１画素群に含まれる前記画素と前記第２画素群に含まれる前記画素とが、前記撮像素子の撮像面上の縦方向および横方向に、互いに隣接して配置されている前記撮像素子を有する、
   請求項１に記載の撮像装置。
3. 前記露光時間制御部は、照明の電源周波数が５０［Ｈｚ］である場合、前記第１露光時間をｎ／１００秒（ｎは自然数）に設定し、照明の電源周波数が６０［Ｈｚ］である場合、前記第１露光時間をｎ／１２０秒（ｎは自然数）に設定する、
   請求項１又は２に記載の撮像装置。
4. それぞれ複数の画素からなる第１画素群および第２画素群を含み前記画素ごとの駆動が可能な撮像素子を有する撮像部を備える撮像装置に用いられる撮像方法であって、
   前記第１画素群に含まれる前記画素の露光時間をフリッカ成分が発生しない第１露光時間に設定し、前記第２画素群に含まれる前記画素の露光時間を第２露光時間に設定し、前記第１画素群の露光時間が前記第１露光時間となるように制御し、かつ、前記第２画素群の露光時間が前記第２露光時間となるように制御する露光時間制御ステップと、
   前記第１画素群により取得されたフリッカ成分を含まない画像Ａ信号と前記第２画素群により取得された画像Ｂ信号とから前記画像Ｂ信号のフリッカ成分を補正するためのゲイン補正係数を算出する画像Ｂゲイン算出ステップと、
   前記ゲイン補正係数に基づいて、前記画像Ｂ信号のフリッカ成分を補正する画像Ｂゲイン補正ステップと、
   前記画像Ｂゲイン補正ステップにより補正された前記画像Ｂ信号と前記画像Ａ信号とを、前記撮像素子上の前記第１画素群および前記第２画素群の配置に一致させるように混合する画像Ａ／Ｂ混合ステップと、
   を備える撮像方法。
5. それぞれ複数の画素からなる第１画素群および第２画素群を含み前記画素ごとの駆動が可能な撮像素子を有する撮像部を備える撮像装置に用いられるプログラムであって、
   コンピュータを、
   前記第１画素群に含まれる前記画素の露光時間をフリッカ成分が発生しない第１露光時間に設定し、前記第２画素群に含まれる前記画素の露光時間を第２露光時間に設定し、前記第１画素群の露光時間が前記第１露光時間となるように制御し、かつ、前記第２画素群の露光時間が前記第２露光時間となるように制御する露光時間制御部、
   前記第１画素群により取得されたフリッカ成分を含まない画像Ａ信号と前記第２画素群により取得された画像Ｂ信号とから前記画像Ｂ信号のフリッカ成分を補正するためのゲイン補正係数を算出する画像Ｂゲイン算出部、
   前記ゲイン補正係数に基づいて、前記画像Ｂ信号のフリッカ成分を補正する画像Ｂゲイン補正部、
   前記画像Ｂゲイン補正部により補正された前記画像Ｂ信号と前記画像Ａ信号とを、前記撮像素子上の前記第１画素群および前記第２画素群の配置に一致させるように混合する画像Ａ／Ｂ混合部、
   として機能させるためのプログラム。
6. それぞれ複数の画素からなる第１画素群および第２画素群を含み前記画素ごとの駆動が可能な撮像素子を有する撮像部と、
   前記第１画素群に含まれる前記画素の露光時間をフリッカ成分が発生しない第１露光時間に設定し、前記第２画素群に含まれる前記画素の露光時間を第２露光時間に設定し、前記第１画素群の露光時間が前記第１露光時間となるように制御し、かつ、前記第２画素群の露光時間が前記第２露光時間となるように制御する露光時間制御部と、
   前記第１画素群により取得されたフリッカ成分を含まない画像Ａ信号と前記第２画素群により取得された画像Ｂ信号とから前記画像Ｂ信号のフリッカ成分を補正するためのゲイン補正係数を算出する画像Ｂゲイン算出部と、
   前記ゲイン補正係数に基づいて、前記画像Ｂ信号のフリッカ成分を補正する画像Ｂゲイン補正部と、
   前記画像Ｂゲイン補正部により補正された前記画像Ｂ信号と前記画像Ａ信号とを、前記撮像素子上の前記第１画素群および前記第２画素群の配置に一致させるように混合する画像Ａ／Ｂ混合部と、
   を備える集積回路。
7. それぞれ複数の画素からなる第１画素群および第２画素群を含み前記画素ごとの駆動が可能な撮像素子を有する撮像部を備える撮像装置に用いられる集積回路であって、
   前記第１画素群に含まれる前記画素の露光時間をフリッカ成分が発生しない第１露光時間に設定し、前記第２画素群に含まれる前記画素の露光時間を第２露光時間に設定し、前記第１画素群の露光時間が前記第１露光時間となるように制御し、かつ、前記第２画素群の露光時間が前記第２露光時間となるように制御する露光時間制御部と、
   前記第１画素群により取得されたフリッカ成分を含まない画像Ａ信号と前記第２画素群により取得された画像Ｂ信号とから前記画像Ｂ信号のフリッカ成分を補正するためのゲイン補正係数を算出する画像Ｂゲイン算出部と、
   前記ゲイン補正係数に基づいて、前記画像Ｂ信号のフリッカ成分を補正する画像Ｂゲイン補正部と、
   前記画像Ｂゲイン補正部により補正された前記画像Ｂ信号と前記画像Ａ信号とを、前記撮像素子上の前記第１画素群および前記第２画素群の配置に一致させるように混合する画像Ａ／Ｂ混合部と、
   を備える集積回路。

Images