JP2018007210A - 信号処理装置および方法、並びに撮像装置 - Google Patents

Abstract

【課題】より少ない演算量で十分高精度にフリッカ補正を行うことができるようにする。
【解決手段】信号処理装置は、撮像画像の明るさ情報を算出する明るさ情報算出部と、複数の時刻における明るさ情報に基づいて、基準となる明るさを示す明るさ基準値を算出する明るさ基準算出部と、明るさ情報と明るさ基準値とに基づいて、撮像画像の明るさを補正するための補正パラメータを算出する補正パラメータ算出部とを有している。本技術は積層型のイメージセンサに適用することができる。
【選択図】図５

Description

本技術は信号処理装置および方法、並びに撮像装置に関し、特に、より少ない演算量で十分高精度にフリッカ補正を行うことができるようにした信号処理装置および方法、並びに撮像装置に関する。

例えば蛍光灯等が光源となっている場合など、明るさが時間とともに変化する被写体を、イメージセンサを含む撮像システムで撮像すると、撮像により得られた動画像には明るさの揺れがフリッカとして現れることになる。

具体的には、例えば画素ラインごとに異なる露光タイミングで撮像を行うときには、１フレームの画像内で画素ラインが並ぶ方向に明るさが変化するラインフリッカが発生する。また、画素ラインごとに露光を行う場合でも、全画素一斉に露光を行う場合でも、複数のフレーム間において、画像全体の明るさが時間方向で、つまりフレーム間で変化する面フリッカが発生する。なお、以下では、これらのラインフリッカや面フリッカを特に区別する必要のない場合、単にフリッカとも称することとする。

従来、このようなフリッカを補正する技術が提案されている。

例えば周期的に明暗を繰り返す光源を撮像した場合に発生するラインフリッカを含む画像に対してフーリエ変換を行ってラインフリッカの周波数を推定し、その推定結果として得られたラインフリッカの周期に合わせて画像を補正する技術が提案されている（例えば、特許文献１参照）。

また、例えば周期的に明暗を繰り返す光源を高フレームレートで撮像した際に生じる面フリッカの明暗の周期を、各フレームの画像の輝度平均値から推定し、その推定結果として得られた周期に合わせて面フリッカ補正を行う技術も提案されている（例えば、特許文献２参照）。この技術では、周波数が60Hzや50Hzである光源に対して480fps、240fps、および120fpsのフレームレートで撮像を行い、面フリッカを周期的な波形でモデル化することでフリッカの周期が推定される。

特開２００７−１５８９６４号公報 特開２０１５−１１５９２２号公報

しかしながら、上述した技術では、少ない演算量で十分高精度にフリッカ補正を行うことができなかった。

例えばフーリエ変換によりフリッカの周期を推定する方法では、複雑な波形のフリッカでもフリッカの波形モデルを推定することができるが、演算量が多くなってしまう。具体的には例えば、フーリエ変換自体の演算量が多いだけでなく、フリッカの波形が複雑になると、フーリエ変換により検出される周波数のピーク値が多くなるので、そのピークの数の分だけその後の演算量が多くなってしまう。

また、例えば面フリッカを周期的な波形でモデル化する方法では、周期性はあるが複雑な波形のフリッカについては、単純な周期性の波形モデルでは対応することができず、正しくフリッカ補正を行うことができなくなってしまう。

本技術は、このような状況に鑑みてなされたものであり、より少ない演算量で十分高精度にフリッカ補正を行うことができるようにするものである。

本技術の第１の側面の信号処理装置は、撮像画像の明るさ情報を算出する明るさ情報算出部と、複数の時刻における前記明るさ情報に基づいて、基準となる明るさを示す明るさ基準値を算出する明るさ基準算出部と、前記明るさ情報と前記明るさ基準値とに基づいて、前記撮像画像の明るさを補正するための補正パラメータを算出する補正パラメータ算出部とを備える。

前記補正パラメータを、各時刻の前記撮像画像の明るさを補正することにより、フリッカ補正を行うためのものとすることができる。

前記明るさ基準算出部には、前記明るさ情報に基づくフィルタ処理により前記明るさ情報を平滑化させて前記明るさ基準値を算出させることができる。

前記明るさ情報算出部には、前記撮像画像の各画素の輝度値の平均値を前記明るさ情報として算出させることができる。

前記補正パラメータを、前記撮像画像のゲインに関する情報とすることができる。

信号処理装置には、複数の時刻の前記明るさ情報に基づいて、前記明るさ情報の予測値を算出するとともに、前記予測値と前記明るさ基準値とに基づいて、前記撮像画像の明るさの補正度合いを示す補正値を算出する補正値算出部をさらに設け、前記補正パラメータ算出部には、前記補正値に基づいてゲイン調整を行うための前記補正パラメータを算出させることができる。

前記補正値算出部には、前記明るさ情報の変化量に基づいて前記予測値を算出させることができる。

前記補正値算出部には、前記明るさ基準値と前記予測値との比を前記補正値として算出させることができる。

前記補正値算出部には、処理対象の時刻の前記明るさ情報の前記予測値と、前記処理対象の時刻よりも前の時刻までの前記明るさ情報から算出された前記明るさ基準値とに基づいて前記補正値を算出させ、前記処理対象の時刻におけるアナログの前記撮像画像に対して、前記補正パラメータにより定まるゲインによりゲイン調整を行うアナログゲイン適用部をさらに設けることができる。

処理対象の時刻の前記明るさ情報と、前記処理対象の時刻までの前記明るさ情報が用いられて算出された前記明るさ基準値とに基づいて、前記撮像画像の明るさの補正度合いを示す補正値を算出する補正値算出部をさらに設け、前記補正パラメータ算出部には、前記補正値に基づいてゲイン調整を行うための前記補正パラメータを算出させることができる。

前記補正値算出部には、前記明るさ基準値と前記明るさ情報との比を前記補正値として算出させることができる。

信号処理装置には、前記処理対象の時刻におけるデジタルの前記撮像画像に対して、前記補正パラメータにより定まるゲインによりゲイン調整を行うデジタルゲイン適用部をさらに設けることができる。

前記補正パラメータを、前記撮像画像のシャッタスピードに関する情報とすることができる。

前記補正パラメータを、前記撮像画像を２値化するための閾値に関する情報とすることができる。

前記補正パラメータを、前記撮像画像のホワイトバランスに関する情報とすることができる。

前記補正パラメータ算出部には、前記撮像画像の領域ごとに前記補正パラメータを算出させることができる。

本技術の第１の側面の信号処理方法は、撮像画像の明るさ情報を算出し、複数の時刻における前記明るさ情報に基づいて、基準となる明るさを示す明るさ基準値を算出し、前記明るさ情報と前記明るさ基準値とに基づいて、前記撮像画像の明るさを補正するための補正パラメータを算出するステップを含む。

本技術の第１の側面においては、撮像画像の明るさ情報が算出され、複数の時刻における前記明るさ情報に基づいて、基準となる明るさを示す明るさ基準値が算出され、前記明るさ情報と前記明るさ基準値とに基づいて、前記撮像画像の明るさを補正するための補正パラメータが算出される。

本技術の第２の側面の撮像装置は、撮像画像を撮像する撮像部と、前記撮像画像の明るさ情報を算出する明るさ情報算出部と、複数の時刻における前記明るさ情報に基づいて、基準となる明るさを示す明るさ基準値を算出する明るさ基準算出部と、前記明るさ情報と前記明るさ基準値とに基づいて、前記撮像画像の明るさを補正するための補正パラメータを算出する補正パラメータ算出部とを備える。

本技術の第２の側面においては、撮像画像が撮像され、前記撮像画像の明るさ情報が算出され、複数の時刻における前記明るさ情報に基づいて、基準となる明るさを示す明るさ基準値が算出され、前記明るさ情報と前記明るさ基準値とに基づいて、前記撮像画像の明るさを補正するための補正パラメータが算出される。

本技術の第１の側面および第２の側面によれば、より少ない演算量で十分高精度にフリッカ補正を行うことができる。

一般的なフリッカ補正について説明する図である。 本技術について説明する図である。 信号処理装置の構成例を示す図である。 積層型のイメージセンサについて説明する図である。 フリッカ補正部の構成例を示す図である。 明るさ基準値について説明する図である。 フリッカ補正について説明する図である。 フリッカ補正処理について説明するフローチャートである。 デジタルゲインによるフリッカ補正について説明する図である。 ２値化の閾値の補正について説明する図である。 領域ごとのフリッカ補正について説明する図である。 領域ごとのフリッカ補正について説明する図である。 撮像装置の構成例を示す図である。 固体撮像素子を使用する使用例を示す図である。 車両制御システムの概略的な構成例を示すブロック図である。 撮像部の設置位置の一例を示す説明図である。

以下、図面を参照して、本技術を適用した実施の形態について説明する。

〈第１の実施の形態〉
〈フリッカ補正について〉
本技術は、主に被写体の明暗周期に対して十分に短い周期で撮像を行い、撮像された画像に面フリッカが発生することと、フレーム間の明るさの変化は微小であることを利用して、次フレームでの輝度変化を推定することで、画像の明るさを補正するものである。

すなわち、例えば光源の明暗の変化の周波数が50Hzである光源に対して、1000fpsのフレームレートで画像を撮像すれば、光源、すなわち被写体の明暗の周期に対して十分に短い周期で撮像が行われることになる。

この場合、高フレームレートで画像を撮像するので、画素ラインごとに露光を行っても全画素一斉に露光を行っても、１フレーム期間内では光源による被写体の明暗の変化は殆どないのでラインフリッカは生じない。また、互いに隣接するフレーム間では画像全体の明るさの変化は微小であるが、複数のフレームの期間で各フレームの画像を比較した場合には画像全体の明るさは時間とともに変化することになる。すなわち、面フリッカが発生する。

そこで、本技術では各フレームの画像について、画像全体の明るさを示す明るさ情報を算出するとともに、処理対象のフレーム近傍の所定期間における明るさ情報から、基準となる平均的な明るさ、より詳細には平滑化された明るさを示す明るさ基準値を求める。そして、この明るさ基準値と明るさ情報とからフリッカを補正するためのフリッカ補正値を算出するようにした。

これにより、周期的であるが複雑に明るさが変化する場合や、周期性がなく複雑に明るさが変化する場合など、どのような場合であっても、より少ない演算量で十分高精度にフリッカ補正を行うことができる。

具体的には、一般的なフリッカ補正では、例えば図１の矢印Ｑ１１に示すように１または複数の周期的な波形モデルが用いられて時間方向に変化するフリッカ、つまり輝度の波形が推定される。なお、図１において横方向は時間を示しており、縦方向は画像全体の輝度を示している。

この例では、矢印Ｑ１１に示すように波形モデルＭＤ１や、波形モデルＭＤ２、波形モデルＭＤ３などの複数の波形モデルが用いられてフリッカの波形が推定される。ここで、波形モデルＭＤ１乃至波形モデルＭＤ３は、何れも時間方向に周期的に輝度が変化する一定振幅の正弦波のモデルとなっている。なお、以下、波形モデルＭＤ１乃至波形モデルＭＤ３を特に区別する必要のない場合、単に波形モデルＭＤとも称することとする。

いま、例えば動画像を撮像したところ、各フレームの画像の明るさ、すなわち輝度が矢印Ｑ１２に示すように変化したとする。なお、図１では各円は撮像された動画像の各フレームにおける画像全体の輝度を表している。

矢印Ｑ１２に示す例では、画像の輝度が周期的に変化しているため、波形モデルＭＤを用いれば正しくフリッカの波形、つまり画像の輝度変化の波形を推定することができる。この例では、矢印Ｑ１２に示す波形は、矢印Ｑ１３に示すように波形モデルＭＤ１と合致するため、この波形モデルＭＤ１を用いて正しくフリッカ補正を行うことができる。

これに対して、例えば矢印Ｑ１４に示す例では、撮像により得られた画像の輝度が周期的に変化しているものの複数の波形を合成して得られる複雑な波形となっている。このような複雑な明るさの変化は、例えば複数の光源が撮像対象の領域内にあるときなどに生じることが多い。

このような矢印Ｑ１４に示す輝度が複雑に変化する波形は、単純な周期性の波形モデルＭＤを用いても推定することが困難である。例えば矢印Ｑ１５に示すように波形モデルＭＤ１を当てはめた場合、波形モデルＭＤ１と、実際の各フレームの画像の輝度とには大きな誤差が生じており、正しくフリッカを補正することができない。すなわち、十分な精度でフリッカを補正することができない。

この場合、複数の波形モデルＭＤを合成するなど、複雑な波形モデルを用いてフリッカの波形を推定すれば、動画像の輝度の変化の波形を推定することが可能であるが、複雑な波形モデルを用いると、波形の推定とフリッカ補正に必要となる演算量が増加してしまう。

そこで、本技術では、光源の明暗周期に対して十分に短い周期で画像を撮像した場合に面フリッカが生じることと、フレーム間の明るさの変化は微小であることとから、各フレームの画像の明るさを示す明るさ情報と、一定期間内の明るさ情報から得られる明るさ基準値とからフリッカを補正するようにした。

具体的には、例えば図２の曲線Ｌ１１に示すように被写体の明るさが変化したとする。なお、図２において横方向は時間を示しており、縦方向は輝度、すなわち明るさを示している。

このような曲線Ｌ１１に示すように時間とともに明るさが変化する被写体を撮像した場合、撮像により得られる動画像の各フレームの画像の明るさは、点線で描かれた曲線Ｌ１２のように変化する。なお、曲線Ｌ１２を構成する各円（点）は、動画像の各フレームにおける明るさを示している。また、矢印Ｑ２１に示す部分に描かれている各時刻における縦線は、動画像の各フレームの撮像タイミングを示している。

このような動画像が撮像により得られた場合、曲線Ｌ１２における領域Ｒ１１の部分を拡大すると、例えば矢印Ｑ２２に示すようになる。同様に、曲線Ｌ１２における領域Ｒ１２の部分を拡大すると、例えば矢印Ｑ２３に示すようになる。なお、矢印Ｑ２２および矢印Ｑ２３に示す部分において、各円は各フレームにおける画像全体の明るさを示しており、各円同士の間に描かれた矢印は隣接するフレーム間の明るさの変化を示している。

例えば領域Ｒ１１の部分では、時間とともに画像全体の明るさが増加していき、その後は時間とともに画像全体の明るさが減少している。このように時間とともに画像全体の明るさが変化する場合、例えば矢印Ｑ２４に示すように明るさの変化と逆方向に変化するように動画像の明るさを補正すれば、十分な精度で正しくフリッカ補正を行うことができる。

すなわち、例えば画像全体の明るさが増加している場合には、その明るさの増加分だけ画像全体の明るさが減少するように、明るさを補正するためのフリッカ補正値が算出され、そのフリッカ補正値に応じた明るさ補正が画像に対して行われる。例えばフリッカ補正値に応じた明るさ補正として、画像のゲイン補正や、シャッタスピードの制御による明るさの補正、２値画像を出力するときの閾値の補正などが行われる。

同様に例えば領域Ｒ１２の部分では、時間とともに画像全体の明るさが減少している。このように時間とともに画像全体の明るさが変化する場合、例えば矢印Ｑ２５に示すように、明るさの変化と逆方向に変化するように動画像の明るさを補正すれば、十分な精度で正しくフリッカ補正を行うことができる。

特に、本技術ではフリッカ補正値を求める際に、処理対象のフレーム近傍の一定期間の明るさ情報から得られる明るさ基準値と、明るさ情報とを用いることで、少ない演算量でも十分高精度なフリッカ補正を実現することが可能である。

すなわち、本技術では、処理対象のフレーム近傍の一定期間の明るさ情報を用いて、その一定期間における基準となる平滑化された明るさを、処理対象のフレームの補正後の目標とすべき明るさを示す明るさ基準値として算出している。このようにすれば、面フリッカを考慮した適切な明るさ基準値を少ない演算量で得ることができる。

また、本技術では高フレームレートで動画像を撮像しているため、フレーム間での明るさ情報の変化は微小である。そのため、例えばフリッカ補正値を処理対象のフレームの次のフレームに適用する場合でも、処理対象のフレームの明るさ情報から、その次のフレームの明るさ情報を高精度に推定することができるだけでなく、明るさ基準値のフレーム間の変化も微小である。

したがって、このような明るさ基準値と明るさ情報とを用いてフリッカ補正を行なえば、フリッカによる明るさの変化を適度に平滑化して高精度にフリッカを補正することができる。しかも、一定期間における平滑化された明るさを明るさ基準値としているので、少ない演算量でフリッカ補正を行うことができる。

〈信号処理装置の構成例〉
続いて、以上において説明したフリッカ補正を行う本技術のより具体的な実施の形態について説明する。図３は、本技術を適用した信号処理装置の一実施の形態の構成例を示す図である。

図３に示す信号処理装置１１は、画素部２１、アナログゲイン適用部２２、AD（Analog Digital）変換部２３、デジタル信号処理部２４、フリッカ補正部２５、およびシステムコントローラ２６を有している。

例えば信号処理装置１１は、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子（固体撮像素子）や、そのような撮像素子が搭載された撮像装置などからなる。

画素部２１は、システムコントローラ２６の制御に従って被写体を撮像し、その結果得られた動画像である撮像画像をアナログゲイン適用部２２に供給する。

画素部２１は、行列状に配置された複数の画素を有しており、各画素には例えばフォトダイオードや転送トランジスタ、浮遊拡散領域、選択トランジスタ、増幅トランジスタなどが設けられている。撮像画像の撮像時には、各画素が被写体から入射した光を受光して光電変換することで得られた画素信号を出力し、それらの画素信号が撮像画像の画素の画素値を示す信号となる。すなわち、各画素から出力された画素信号からなるデータが撮像画像の画像データとされる。

上述したように画素部２１では被写体、すなわち光源の明暗の変化の周期に対して十分に短い周期で撮像画像の撮像が行われる。具体的には、例えば1000fps以上のフレームレートで撮像画像が撮像される。

なお、以下では撮像画像が動画像である例について説明するが、撮像画像は、時間的に連続して撮像される静止画像であってもよい。

アナログゲイン適用部２２は、システムコントローラ２６の制御に従って画素部２１から供給された撮像画像、より詳細にはアナログ信号である撮像画像の画像データに対して、所定のゲインであるアナログゲインを乗算することで撮像画像のゲイン調整を行う。アナログゲイン適用部２２は、ゲイン調整された撮像画像をAD変換部２３に供給する。

AD変換部２３は、アナログゲイン適用部２２から供給されたアナログ信号である撮像画像をデジタル信号へと変換するAD変換を行い、その結果得られたデジタル信号である撮像画像をデジタル信号処理部２４およびフリッカ補正部２５に供給する。

なお、ここでは撮像画像のAD変換前にアナログゲインによるゲイン調整が行われる例について説明するが、アナログゲインによるゲイン調整はAD変換時に行われるようにしてもよい。

デジタル信号処理部２４は、システムコントローラ２６の制御に従って、AD変換部２３から供給された撮像画像に対して、例えばゲイン調整やホワイトバランス調整、ガンマ補正などの各種の処理を施して、その結果得られた出力画像を出力する。

特にデジタル信号処理部２４はデジタルゲイン適用部３１を有しており、デジタルゲイン適用部３１は、システムコントローラ２６の制御に従って撮像画像に対して、所定のゲインであるデジタルゲインを乗算することで撮像画像のゲイン調整を行う。

なお、出力画像が２値画像とされる場合には、例えばデジタル信号処理部２４は、撮像画像の各画素の輝度値と閾値とを比較することで各画素の画素値を２値化し、２値画像を出力画像として生成する。また、出力画像として２値画像を生成する場合、２値化処理はデジタル信号処理部２４で行われるようにしてもよいし、AD変換部２３とデジタル信号処理部２４との間に設けたブロックで行われるようにしてもよい。この実施の形態では、説明を簡単にするため、撮像画像の２値化は行われないものとする。

フリッカ補正部２５は、AD変換部２３から供給された撮像画像に基づいて、撮像画像の明るさを補正するための、すなわち撮像画像で発生するフリッカを補正するためのフリッカ補正値を算出し、システムコントローラ２６に供給する。

このフリッカ補正値は、撮像画像の明るさの補正度合い、つまり撮像画像に対するフリッカの補正度合いを示す値である。

システムコントローラ２６は、信号処理装置１１の各部の動作を制御する。例えばシステムコントローラ２６は、フリッカ補正部２５から供給されたフリッカ補正値に基づいて、信号処理装置１１の各部で撮像画像の明るさの補正、つまりフリッカ補正を行うための補正パラメータを算出し、各部に供給する。

システムコントローラ２６は、フリッカ補正値に基づいて補正パラメータを算出する補正パラメータ算出部として機能する。

補正パラメータは、各時刻、つまり各フレームの撮像画像の明るさを補正することによりフリッカ補正を行うためのものである。より詳細には、補正パラメータはフリッカの補正度合いを示すフリッカ補正値に基づいて算出される、実際にフリッカ補正が行われるブロックにおける動作を制御するための情報であり、フリッカ補正を行うブロックごとに算出される。

例えば補正パラメータは、撮像画像のゲインに関する情報や、撮像画像のシャッタスピードに関する情報、撮像画像を２値化するための閾値に関する情報などとされる。

具体的には、例えば画素部２１でフリッカ補正が行われる場合、システムコントローラ２６は、補正パラメータとしてシャッタスピードの補正値を算出し、補正値により補正されたシャッタスピードで各画素の露光が行われるように画素部２１による撮像動作を制御する。具体的には、例えば撮像画像全体をより明るくするようなフリッカ補正を実現したい場合には、シャッタスピードの補正値は、各画素の露光時間がより長くなるような補正値、つまりシャッタスピードがより遅くなるような補正値とされる。

また、例えばアナログゲイン適用部２２でフリッカ補正が行われる場合、システムコントローラ２６は、アナログゲインを補正する補正値を算出し、得られた補正値を補正パラメータとしてアナログゲイン適用部２２に供給する。

この場合、アナログゲイン適用部２２は、例えば補正パラメータをアナログゲインに乗算する等してアナログゲインの補正を行い、補正後のアナログゲインを用いて撮像画像のゲイン調整を行う。具体的には、例えば撮像画像全体をより明るくするようなフリッカ補正を実現したい場合には、アナログゲインがより大きくなるような補正値が補正パラメータとして算出される。

なお、補正パラメータによる補正前のアナログゲインは、例えば１などの予め定められた値とされる。また、補正前のアナログゲインは１より大きい値であってもよいし、１より小さい値であってもよい。

アナログゲインの補正パラメータが算出された場合、その補正パラメータはフリッカ補正部２５にも供給され、フリッカ補正部２５において撮像画像の明るさを示す明るさ情報の算出に用いられる。

さらに、例えばデジタルゲイン適用部３１でフリッカ補正が行われる場合、システムコントローラ２６は、デジタルゲインを補正する補正値を算出し、得られた補正値を補正パラメータとしてデジタルゲイン適用部３１に供給する。

この場合、デジタルゲイン適用部３１は、例えば補正パラメータをデジタルゲインに乗算する等してデジタルゲインの補正を行い、補正後のデジタルゲインを用いて撮像画像のゲイン調整を行う。具体的には、例えば撮像画像全体をより明るくするようなフリッカ補正を実現したい場合には、デジタルゲインがより大きくなるような補正値が補正パラメータとして算出される。

なお、補正パラメータによる補正前のデジタルゲインは、例えば１などの予め定められた値とされる。また、補正前のデジタルゲインは１より大きい値であってもよいし、１より小さい値であってもよい。

また、フリッカ補正時には、上述したシャッタスピードの補正、アナログゲインの補正、およびデジタルゲインの補正のうちの何れか１つを行うことでフリッカ補正を実現するようにしてもよいし、それらの３つの補正のうちの任意の２以上の補正を組み合わせてフリッカ補正を実現するようにしてもよい。

〈本技術のイメージセンサへの適用について〉
また、信号処理装置１１がイメージセンサからなる場合、そのようなイメージセンサは例えば図４に示すように積層型のイメージセンサとすることができる。

図４に示す例では、センサ部６１と回路部６２とを積層することで積層型のイメージセンサが形成される。センサ部６１は、図３に示した画素部２１が設けられる画素領域７１を有しており、回路部６２は、図３に示したアナログゲイン適用部２２乃至システムコントローラ２６が設けられる信号処理回路領域７２を有している。

なお、これらのセンサ部６１と回路部６２との間にメモリが設けられたメモリ領域を有する層が形成されるようにしてもよい。

〈フリッカ補正部の構成例〉
次に、図３に示したフリッカ補正部２５のより詳細な構成例について説明する。図５は、フリッカ補正部２５のより詳細な構成例を示す図である。なお、図５において図３における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図５に示すフリッカ補正部２５には、撮像部１０１から各フレームの撮像画像が順次、供給される。ここで、撮像部１０１は、例えば図３の画素部２１乃至デジタル信号処理部２４から構成され、フリッカ補正部２５には、撮像部１０１を構成するAD変換部２３からアナログ信号である撮像画像が供給される。

例えば撮像画像は、単色のモノクロ画像でもよいし、ＲＧＢの各色の画像からなるカラー画像など、複数の色成分を有するカラー画像でもよい。例えば撮像画像がカラー画像である場合には、カラー画像を構成する色成分ごとにフリッカ補正部２５が設けられ、それらの色成分ごとにフリッカ補正が行われる。以下では、説明を簡単にするため、撮像画像はモノクロ画像であるものとする。

フリッカ補正部２５は、明るさ情報算出部１１１、明るさ情報遅延部１１２、明るさ基準算出部１１３、差分算出部１１４、およびフリッカ補正値算出部１１５を有している。

明るさ情報算出部１１１は、適宜、システムコントローラ２６から供給されたアナログゲインの補正値を示す補正パラメータを用いて、撮像部１０１から供給された各フレームの撮像画像に基づいて、その撮像画像全体の明るさを示す明るさ情報を算出する。

例えば明るさ情報算出部１１１は、撮像画像の各画素の輝度値を求めるとともに、求められた各画素の輝度値の平均値を算出し、得られた輝度値の平均値を明るさ情報とする。

このとき、供給された撮像画像が、補正パラメータにより補正されたアナログゲインでゲイン調整されたものである場合には、明るさ情報算出部１１１は、撮像画像の各画素の画素値に対して、システムコントローラ２６から供給されたアナログゲインの補正パラメータの逆数等を乗算したものを用いて明るさ情報を算出する。すなわち、明るさ情報算出部１１１はアナログゲインによるフリッカ補正前の撮像画像について明るさ情報を算出する。

信号処理装置１１では、高フレームレートで撮像画像を撮像するため、撮像画像に現れるフリッカは面フリッカとなる。したがって、信号処理装置１１では、例えば撮像画像の各画素の輝度値の平均値など、比較的演算量の少ない特徴量を明るさ情報として用いてフリッカ補正を行うことが可能である。

なお、明るさ情報は、撮像画像全体の明るさを示すものであれば、撮像画像の画素の輝度値の平均値に限らず、撮像画像の各画素の輝度値の積算値（加算値）や、撮像画像の画素の輝度値の代表値など、どのようなものであってもよい。また、以下では時刻ｔにおけるフレームをフレームｔとも称することとし、フレームｔにおける撮像画像の明るさ情報を明るさ情報Ｉ（ｔ）とも記すこととする。

明るさ情報算出部１１１は、撮像画像から求めた明るさ情報を、差分算出部１１４、明るさ情報遅延部１１２、明るさ基準算出部１１３、およびフリッカ補正値算出部１１５に供給する。

明るさ情報遅延部１１２は、明るさ情報算出部１１１から供給された明るさ情報を、撮像画像の１フレーム分の時間だけ遅延させて差分算出部１１４に供給する。なお、ここでは明るさ情報遅延部１１２による明るさ情報の遅延時間は１フレーム分の時間としたが、１フレーム分の時間に限らず任意のフレーム数分の時間だけ遅延させるようにしてもよい。

明るさ基準算出部１１３は、明るさ情報算出部１１１から供給された明るさ情報に基づいて一定期間における、明るさ補正、すなわちフリッカ補正の基準となる平滑化された撮像画像の明るさを示す明るさ基準値を算出し、フリッカ補正値算出部１１５に供給する。この明るさ基準値は、フリッカ補正時に補正後の目標とすべき明るさを示す値とされる。

具体的には、例えば明るさ基準算出部１１３は、一定期間、すなわち連続する複数のフレームの明るさ情報を、フィルタ処理等の任意の方法により平滑化することで明るさ基準値を算出する。

すなわち、例えば明るさ基準算出部１１３は、ローパスフィルタ等のIIR（Infinite Impulse Response）型の平滑化フィルタを用いて、連続する所定数のフレームの明るさ情報に対してフィルタ処理を施すことで明るさ情報を時間方向に平滑化し、明るさ基準値とする。換言すれば、明るさ基準算出部１１３は、複数の各時刻の明るさ情報と、平滑化フィルタのフィルタ係数とを畳み込むことで明るさ基準値を算出する。

例えば図６の曲線Ｌ４１に示すように撮像画像の輝度値、すなわち明るさ情報が変化したとする。なお、図６において横方向は時間を示しており、縦方向は輝度を示している。

この例では、曲線Ｌ４１は各時刻（フレーム）における撮像画像の明るさ情報、つまりフリッカ補正前の撮像画像の輝度を示しており、曲線Ｌ４１は大局的に見て明るさが変化していることが分かる。このように大局的に見て時間とともに撮像画像の明るさが変化するのは、例えば被写体としての車両がライトを発光した状態で近づいてくるのを撮像したときなどに生じる。

一方で、曲線Ｌ４１を比較的短い期間で見た場合でも、撮像画像の明るさは周期的に変化しており、この短期間での周期的な明るさの変化がフリッカ成分となっている。すなわち、フリッカの発生により、短い周期で撮像画像の明るさが変化している。

このように短期間で大きく明るさ情報が変化する場合、その明るさ情報を平滑化したものを明るさ基準値とすると、例えば各フレームの明るさ基準値として曲線Ｌ４２に示すものが得られる。ここでは、曲線Ｌ４２は点線で描かれており、各点がそれらの点が描かれた時刻（フレーム）における明るさ基準値を表している。

このような明るさ基準値を示す曲線Ｌ４２はゆっくりと変化しており、曲線Ｌ４２の時間的な変化は、曲線Ｌ４１の大局的な変化と略等しくなっている。すなわち、曲線Ｌ４２は、大局的に見ると曲線Ｌ４１と略等しい。そのため、このような曲線Ｌ４２により示される明るさ基準値を、フリッカ補正後の目標となる撮像画像の明るさとしてフリッカ補正を行なえば、フリッカ補正により撮像画像から高精度にフリッカ成分を除去できることが分かる。換言すれば、十分高精度にフリッカ補正を行うことができる。

図５の説明に戻り、明るさ基準算出部１１３は、撮像画像のフレームごとに明るさ基準値を算出し、フリッカ補正値算出部１１５に供給する。なお、以下、フレームｔまでの撮像画像を用いて求めた明るさ基準値を明るさ基準値Ｉｓ（ｔ）とも記すこととする。

差分算出部１１４は、明るさ情報算出部１１１から供給された明るさ情報と、明るさ情報遅延部１１２から供給された明るさ情報との差分値を算出し、フリッカ補正値算出部１１５に供給する。この差分値は、互いに異なる時刻の明るさ情報の差分であるから、明るさ情報の変化量であるということができる。

以下では、フレームｔについて求めた差分値を差分値ΔＩ（ｔ）とも記すこととする。

例えば差分値ΔＩ（ｔ）は、フレームｔの明るさ情報Ｉ（ｔ）と、フレーム（ｔ−１）の明るさ情報Ｉ（ｔ−１）の差を計算することにより求められる。すなわち差分値ΔＩ（ｔ）＝Ｉ（ｔ）−Ｉ（ｔ−１）とされる。このような差分値ΔＩ（ｔ）は、時間的に隣接するフレーム間における明るさ情報の変化量を示している。

フリッカ補正値算出部１１５は、差分算出部１１４から供給された差分値、明るさ基準算出部１１３から供給された明るさ基準値、および明るさ情報算出部１１１から供給された明るさ情報に基づいてフリッカ補正値を算出し、システムコントローラ２６に供給する。

なお、フリッカ補正値の算出には、少なくとも明るさ基準値が用いられるようにすればよく、差分値および明るさ情報については、それらの何れか一方のみが用いられてもよいし、それらの両方が用いられるようにしてもよい。以下、フレームｔにおけるフリッカ補正値をＶ（ｔ）とも記すこととする。

〈フリッカ補正について〉
ここで、信号処理装置１１でのフリッカ補正の具体例について説明する。

例えば図７に示すように各フレームの撮像画像の明るさ情報が得られたとする。なお、図７において横方向は時間を示しており、縦方向は明るさ、すなわち輝度値を示している。

図７の例では、フレームｔ、すなわち時刻ｔ＝０乃至５の各時刻における明るさ情報として、明るさ情報Ｉ（０）乃至明るさ情報Ｉ（５）が得られている。また、直線Ｌ６１は各時刻における明るさ基準値Ｉｓ（ｔ）を示している。この例では、明るさ基準値Ｉｓ（ｔ）は各時刻（フレーム）で同じ値となっている。さらに、図７において、Ｉ’（１）乃至Ｉ’（５）は、時刻ｔ＝１乃至５の各時刻における、フリッカ補正後の撮像画像の明るさ情報、つまり出力画像について求まる明るさ情報を示している。

例えば実際に撮像を開始するのが時刻ｔ＝１であるとして時刻ｔ＝１に注目すると、このフレームでは明るさ情報Ｉ（０）と明るさ情報Ｉ（１）との差分が差分値ΔＩ（１）として算出される。ここでは矢印ＡＲ１が差分値ΔＩ（１）を表しており、明るさ情報Ｉ（０）＝０であるので、差分値ΔＩ（１）＝Ｉ（１）とされる。

また、この差分値ΔＩ（１）＝Ｉ（１）と、予め定められた明るさ基準値Ｉｓ（０）とから、フレームｔ＝１における補正パラメータとしてのデジタルゲインＤＧ（１）が求められる。より詳細には、明るさ基準値Ｉｓ（０）を差分値ΔＩ（１）＝Ｉ（１）で除算して得られる値がフレームｔ＝１におけるフリッカ補正値Ｖ（１）とされ、そのフリッカ補正値Ｖ（１）がフレームｔ＝１における補正パラメータにより補正されたデジタルゲインであるデジタルゲインＤＧ（１）とされる。特に、フレームｔ＝１のフレームではそれよりも前のフレームの撮像画像の情報がないため、デジタルゲインによりフリッカ補正が行われる。また、ここでは補正パラメータによる補正前のデジタルゲインは１とされている。

なお、以下では、フレームｔにおける補正パラメータをＰ（ｔ）とも記すこととする。また、ここではフリッカ補正値Ｖ（１）をそのまま補正パラメータＰ（１）により補正されたデジタルゲインＤＧ（１）として用いる例について説明したが、一般化すると、例えばフリッカ補正値Ｖ（１）を所定の関数に代入して得られる値が補正パラメータＰ（１）とされる。そして、その補正パラメータＰ（１）を補正値として補正されたデジタルゲインが、デジタルゲインＤＧ（１）とされる。

フリッカ補正のためのデジタルゲインＤＧ（１）が得られると、デジタル信号処理部２４では、このデジタルゲインＤＧ（１）により、フレームｔ＝１のデジタルの撮像画像に対するゲイン調整がフリッカ補正として行われる。そして、その結果得られた出力画像についての明るさ情報が、目標とすべき明るさ基準値Ｉｓ（０）と略等しい明るさ情報Ｉ’（１）となる。

また、フレームｔ＝１よりも後のフレームにおいては、アナログゲインを用いたゲイン調整によりフリッカ補正が行われる。

例えばフレームｔ＝２では、そのフレームｔ＝２の撮像画像が撮像される前に補正パラメータＰ（２）が算出される。具体的には、矢印ＰＡＲ１に示すように、フレームｔ＝１で得られた差分値ΔＩ（１）と明るさ情報Ｉ（１）とから、フレームｔ＝２の明るさ情報Ｉ（２）の予測値Ｉｅ（２）が算出される。

予測値Ｉｅ（２）の算出では、撮像画像が高フレームレートであることから、直前のフレームｔ＝１における差分値ΔＩ（１）と、矢印ＡＲ２により示される、フレームｔ＝１に隣接するフレームｔ＝２における差分値ΔＩ（２）との誤差は微小であると仮定される。そして、その仮定に従って、明るさ情報Ｉ（１）と差分値ΔＩ（１）との和が、フレームｔ＝２の明るさ情報Ｉ（２）の予測値である予測値Ｉｅ（２）として算出される。

さらに、このようにして得られた予測値Ｉｅ（２）と、フレームｔ＝１で得られた明るさ基準値Ｉｓ（１）とからフレームｔ＝２における補正パラメータとしてのアナログゲインＡＧ（２）が求められる。より詳細には、明るさ基準値Ｉｓ（１）を予測値Ｉｅ（２）で除算して得られる値がフレームｔ＝２におけるフリッカ補正値Ｖ（２）とされ、そのフリッカ補正値Ｖ（２）がフレームｔ＝２における補正パラメータＰ（２）により補正されたアナログゲインであるアナログゲインＡＧ（２）とされる。ここでは補正パラメータによる補正前のアナログゲインは１とされている。

フレームｔ＝２以降では、それまでのフレームの撮像画像の情報があるため、それらの情報を用いて実際に撮像画像を撮像する前に補正パラメータＰ（ｔ）を算出することができる。なお、以下、フレームｔの明るさ情報Ｉ（ｔ）の予測値をＩｅ（ｔ）とも記すこととする。また、ここではフリッカ補正値Ｖ（２）をそのまま補正パラメータＰ（２）により補正されたアナログゲインＡＧ（２）として用いる例について説明したが、一般化すると、例えばフリッカ補正値Ｖ（２）を所定の関数に代入して得られる値が補正パラメータＰ（２）とされる。そして、その補正パラメータＰ（２）を補正値として補正されたアナログゲインが、アナログゲインＡＧ（２）とされる。

このようにしてフリッカ補正のためのアナログゲインＡＧ（２）が得られると、アナログゲイン適用部２２では、アナログゲインＡＧ（２）により、フレームｔ＝２の撮像画像に対するゲイン調整がフリッカ補正として行われる。これにより、最終的に得られたフレームｔ＝２の出力画像についての明るさ情報が、目標とすべき明るさ基準値Ｉｓ（１）と略等しい明るさ情報Ｉ’（２）となる。

フレームｔ＝３以降では、フレームｔ＝２における場合と同様の処理が繰り返し行われる。すなわち、フレームｔにおいて、差分値ΔＩ（ｔ−１）と明るさ情報Ｉ（ｔ−１）とから予測値Ｉｅ（ｔ）＝Ｉ（ｔ−１）＋ΔＩ（ｔ−１）が算出される。

さらに予測値Ｉｅ（ｔ）と明るさ基準値Ｉｓ（ｔ−１）とからフリッカ補正値Ｖ（ｔ）が算出されて、そのまま補正パラメータＰ（ｔ）とされ、その補正パラメータＰ（ｔ）からアナログゲインＡＧ（ｔ）が求められる。そして、このアナログゲインＡＧ（ｔ）により、フレームｔの撮像画像のゲイン調整がフリッカ補正として行われる。

なお、フリッカ補正値の算出には、フレーム間の明るさ情報の変化量である差分値と、現在のフレームの明るさ情報との何れか一方を用いるようにしてもよいし、それらの両方を用いるようにしてもよい。

例えば図７に示した例では、デジタルゲインでフリッカ補正を行うフレームｔ＝１では、現在のフレームの明るさ情報Ｉ（１）がフリッカ補正値の算出に用いられる。これに対して、フレームｔ＝２以降のフレームのように、アナログゲインでフリッカ補正を行うフレームではフレーム間の明るさ情報の変化量である差分値ΔＩ（ｔ）がフリッカ補正値の算出に用いられる。

特に、フリッカ補正値の算出に差分値ΔＩ（ｔ）を用いる場合、信号処理装置１１では高フレームレートの撮像を行うことからフレーム間の明るさの変化は微小であると仮定できるため、現フレームの明るさ情報を、その直前までのフレームの明るさ情報のフレーム間の変化量から推定することができる。

このとき、明るさ情報の予測値と実測値、つまり予測値Ｉｅ（ｔ）と明るさ情報Ｉ（ｔ）とには誤差が生じるが、撮像画像を高速に撮像するほど、つまり撮像画像のフレームレートが高くなるほど誤差が少なくなり、より高精度にフリッカ補正を行うことができる。アナログゲインでゲイン調整を行う場合には、デジタルゲインでゲイン調整を行う場合よりも、より低ノイズの補正が可能となる。

さらに、信号処理装置１１では、撮像画像に現れるフリッカは主に面フリッカとなることから、例えば撮像画像の各画素の輝度値の平均値など、比較的演算量の少ない情報を明るさ情報として用いることができる。また、明るさ情報が用いられて算出される差分値ΔＩ（ｔ）や予測値Ｉｅ（ｔ）、明るさ基準値Ｉｓ（ｔ）も比較的少ない演算量で求めることができる。

したがって、このような演算量の少ない明るさ情報や差分値を用いてフリッカ補正を行なえば、現フレームまでに得られた情報を次フレームでのフリッカ補正に反映させることができる。その結果、より簡単に、つまりより少ない演算量で、より高精度にフリッカ補正を行うことができる。

〈フリッカ補正処理の説明〉
次に、信号処理装置１１が図７を参照して説明したフリッカ補正を行う場合における処理の流れについて説明する。すなわち、以下、図８のフローチャートを参照して、信号処理装置１１によるフリッカ補正処理について説明する。

ステップＳ１１において撮像部１０１は、フレームｔ＝１の撮像画像を撮像する。

すなわち、画素部２１は被写体から入射した光を受光して光電変換することにより撮像画像を撮像し、得られた撮像画像をアナログゲイン適用部２２に供給する。アナログゲイン適用部２２は、例えば予め定められたアナログゲインにより撮像画像のゲイン調整を行い、AD変換部２３に供給する。

また、AD変換部２３は、アナログゲイン適用部２２から供給された撮像画像に対してAD変換を行い、その結果得られたデジタルの撮像画像をフリッカ補正部２５の明るさ情報算出部１１１およびデジタル信号処理部２４に供給する。

なお、システムコントローラ２６では、撮像画像のフレームの番号、つまりフレームの時刻を示すパラメータｔが保持されており、撮像画像の最初のフレームはフレームｔ＝１とされる。

ステップＳ１２において、明るさ情報算出部１１１は、AD変換部２３から供給されたフレームｔ＝１の撮像画像に基づいて、その撮像画像の各画素の輝度値の平均値を明るさ情報Ｉ（１）として算出する。

明るさ情報算出部１１１は、このようにして得られた明るさ情報Ｉ（１）を、差分算出部１１４、明るさ情報遅延部１１２、明るさ基準算出部１１３、およびフリッカ補正値算出部１１５に供給する。

ステップＳ１３において、差分算出部１１４は明るさ情報算出部１１１から供給された明るさ情報Ｉ（１）に基づいて、差分値ΔＩ（１）を算出し、フリッカ補正値算出部１１５に供給する。ここでは、明るさ情報Ｉ（１）がそのまま差分値ΔＩ（１）とされる。

ステップＳ１４において、フリッカ補正値算出部１１５は、予め定められた明るさ基準値Ｉｓ（０）と、差分算出部１１４から供給された差分値ΔＩ（１）とに基づいてフリッカ補正値Ｖ（１）を算出し、システムコントローラ２６に供給する。

例えばフリッカ補正値算出部１１５は、Ｖ（１）＝Ｉｓ（０）／ΔＩ（１）を計算することで、フリッカ補正値Ｖ（１）を算出する。なお、この例に限らず、フリッカ補正値Ｖ（１）は、明るさ基準値Ｉｓ（０）と差分値ΔＩ（１）を所定の関数に代入して得られる値などとされてもよい。

ステップＳ１５において、システムコントローラ２６は、フリッカ補正値算出部１１５から供給されたフリッカ補正値Ｖ（１）に基づいて、補正パラメータＰ（１）を算出する。

例えば、ここではフリッカ補正値Ｖ（１）が、そのまま補正パラメータＰ（１）としてのデジタルゲインの補正値とされる。なお、その他、フリッカ補正値Ｖ（１）を所定の関数に代入して得られる値が補正パラメータＰ（１）とされるようにするなどしてもよい。

システムコントローラ２６は、このようにして得られた補正パラメータＰ（１）をデジタル信号処理部２４に供給する。

ステップＳ１６において、デジタル信号処理部２４のデジタルゲイン適用部３１は、システムコントローラ２６から供給された補正パラメータＰ（１）から定まるデジタルゲインを、ステップＳ１１の処理で得られ、AD変換部２３から供給されたフレームｔ＝１の撮像画像に適用する。

すなわち、デジタルゲイン適用部３１は、予め定められたデジタルゲインを補正パラメータＰ（１）で補正することで、図７に示したデジタルゲインＤＧ（１）を求める。そして、デジタルゲイン適用部３１は、デジタルゲインＤＧ（１）をフレームｔ＝１の撮像画像の各画素の画素値に乗算することでゲイン調整を行う。さらに、デジタル信号処理部２４は、ゲイン調整された撮像画像に対して、ガンマ補正等の各種の処理を施して出力画像を生成し、出力する。このようなデジタルのゲイン調整によりフレームｔ＝１でのフリッカ補正が実現される。

ステップＳ１７において、明るさ基準算出部１１３は、明るさ情報算出部１１１から供給された明るさ情報Ｉ（１）に基づいて、明るさ基準値Ｉｓ（１）を算出し、フリッカ補正値算出部１１５に供給する。

例えば明るさ基準算出部１１３は、明るさ情報Ｉ（０）と明るさ情報Ｉ（１）に対して平滑化フィルタを用いたフィルタ処理を施すことにより、明るさ基準値Ｉｓ（１）を算出する。

ステップＳ１８において、システムコントローラ２６は、保持しているフレーム番号を示すパラメータｔを１だけインクリメントする。

例えばステップＳ１７の処理が行われた直後に行われるステップＳ１８の処理では、パラメータｔが２へとインクリメントされる。

ステップＳ１９において、フリッカ補正値算出部１１５は、明るさ情報算出部１１１から供給された明るさ情報Ｉ（ｔ−１）と、差分算出部１１４から供給された差分値ΔＩ（ｔ−１）とに基づいて、予測値Ｉｅ（ｔ）＝Ｉ（ｔ−１）＋ΔＩ（ｔ−１）を算出する。

例えばパラメータｔ＝２である場合には、ステップＳ１２で得られた明るさ情報Ｉ（１）と、ステップＳ１３で得られた差分値ΔＩ（１）から予測値Ｉｅ（２）が算出される。

これに対して、パラメータｔ≧３である場合には、このステップＳ１９の直前に行われたステップＳ２４およびステップＳ２５で得られた明るさ情報Ｉ（ｔ−１）と差分値ΔＩ（ｔ−１）とから予測値Ｉｅ（ｔ）が算出される。

このようにして算出される予測値Ｉｅ（ｔ）は、時刻ｔより前の複数の時刻、つまりフレームｔより前の複数のフレームの明るさ情報が用いられて、明るさ情報の変化量に基づいて算出された、フレームｔの明るさ情報の予測値（推定値）である。

ステップＳ２０において、フリッカ補正値算出部１１５は、明るさ基準算出部１１３から供給された明るさ基準値Ｉｓ（ｔ−１）と、ステップＳ１９で算出した予測値Ｉｅ（ｔ）とに基づいて、フリッカ補正値Ｖ（ｔ）＝Ｉｓ（ｔ−１）／Ｉｅ（ｔ）を算出する。

すなわち、ここでは処理対象のフレームｔよりも前のフレーム（ｔ−１）までの複数のフレームの明るさ情報から算出された明るさ基準値Ｉｓ（ｔ−１）と、処理対象のフレームｔの明るさ情報の予測値Ｉｅ（ｔ）との比がフリッカ補正値Ｖ（ｔ）として算出される。

例えばパラメータｔ＝２である場合には、ステップＳ１７で得られた明るさ基準値Ｉｓ（１）が用いられてフリッカ補正値Ｖ（２）が算出される。これに対して、パラメータｔ≧３である場合には、このステップＳ２０の直前に行われたステップＳ２６で得られた明るさ基準値Ｉｓ（ｔ−１）が用いられてフリッカ補正値Ｖ（ｔ）が算出される。

なお、フリッカ補正値Ｖ（ｔ）は、この例に限らず、明るさ基準値Ｉｓ（ｔ−１）と予測値Ｉｅ（ｔ）を所定の関数に代入して得られる値などとされてもよい。

フリッカ補正値算出部１１５は、このようにして得られたフリッカ補正値Ｖ（ｔ）をシステムコントローラ２６に供給する。

ステップＳ２１において、システムコントローラ２６は、フリッカ補正値算出部１１５から供給されたフリッカ補正値Ｖ（ｔ）に基づいて、補正パラメータＰ（ｔ）を算出する。

例えば、ここではフリッカ補正値Ｖ（ｔ）が、そのまま補正パラメータＰ（ｔ）としてのアナログゲインの補正値とされる。なお、その他、フリッカ補正値Ｖ（ｔ）を所定の関数に代入して得られる値が補正パラメータＰ（ｔ）とされるなどしてもよい。

システムコントローラ２６は、このようにして得られた補正パラメータＰ（ｔ）をアナログゲイン適用部２２および明るさ情報算出部１１１に供給する。

ステップＳ２２において、撮像部１０１はフレームｔの撮像画像を撮像する。

すなわち、画素部２１は被写体から入射した光を受光して光電変換することにより撮像画像を撮像し、得られた撮像画像をアナログゲイン適用部２２に供給する。

なお、例えばステップＳ２１で補正パラメータＰ（ｔ）として、アナログゲインの補正値だけでなくシャッタスピードの補正値も算出された場合には、その補正値によりシャッタスピードが補正され、補正後のシャッタスピードでフレームｔの撮像画像が撮像される。

ステップＳ２３において、アナログゲイン適用部２２は、ステップＳ２１でシステムコントローラ２６から供給された補正パラメータＰ（ｔ）から定まるアナログゲインを、画素部２１から供給されたフレームｔのアナログの撮像画像に適用する。

すなわち、アナログゲイン適用部２２は、予め定められたアナログゲインを補正パラメータＰ（ｔ）で補正することで、図７を参照して説明したアナログゲインＡＧ（ｔ）を求める。そして、アナログゲイン適用部２２は、アナログゲインＡＧ（ｔ）をフレームｔの撮像画像の各画素の画素値に乗算することでゲイン調整を行い、ゲイン調整された撮像画像をAD変換部２３に供給する。このようなアナログのゲイン調整によりフレームｔでのフリッカ補正が実現される。

また、AD変換部２３は、アナログゲイン適用部２２から供給された撮像画像に対してAD変換を行い、その結果得られたデジタルの撮像画像をフリッカ補正部２５の明るさ情報算出部１１１およびデジタル信号処理部２４に供給する。デジタル信号処理部２４は、AD変換部２３から供給された撮像画像に対して、ガンマ補正やゲイン調整等の各種の処理を施して出力画像を生成し、出力する。

ステップＳ２４において、明るさ情報算出部１１１は、AD変換部２３から供給されたフレームｔの撮像画像に基づいて明るさ情報Ｉ（ｔ）を算出する。

より詳細には、明るさ情報算出部１１１は、システムコントローラ２６から供給されたフレームｔの補正パラメータＰ（ｔ）からアナログゲインＡＧ（ｔ）を求め、さらにそのアナログゲインＡＧ（ｔ）で、補正パラメータＰ（ｔ）による補正前のアナログゲインを除算し、ゲイン比を求める。そして明るさ情報算出部１１１は、そのゲイン比をフレームｔの撮像画像の各画素の画素値に乗算することで、フリッカ補正前の撮像画像、より詳細にはフリッカ補正されないときの撮像画像を求め、フリッカ補正前の撮像画像の各画素の輝度値の平均値を明るさ情報Ｉ（ｔ）として算出する。この場合、補正前のアナログゲインが１であるときには、ゲイン比はアナログゲインＡＧ（ｔ）の逆数となる。

明るさ情報算出部１１１は、得られた明るさ情報Ｉ（ｔ）を、差分算出部１１４、明るさ情報遅延部１１２、明るさ基準算出部１１３、およびフリッカ補正値算出部１１５に供給する。このステップＳ２４で算出された明るさ情報Ｉ（ｔ）は、次のフレーム（ｔ＋１）について行われるステップＳ１９の処理で用いられる。

ステップＳ２５において、差分算出部１１４は明るさ情報算出部１１１から供給された明るさ情報Ｉ（ｔ）と、明るさ情報遅延部１１２から供給された明るさ情報Ｉ（ｔ−１）とに基づいて差分値ΔＩ（ｔ）＝Ｉ（ｔ）−Ｉ（ｔ−１）を算出する。

差分算出部１１４は、得られた差分値ΔＩ（ｔ）をフリッカ補正値算出部１１５に供給する。この差分値ΔＩ（ｔ）は、次のフレーム（ｔ＋１）について行われるステップＳ１９の処理で用いられる。

ステップＳ２６において、明るさ基準算出部１１３は、明るさ情報算出部１１１から供給された明るさ情報Ｉ（ｔ）に基づいて明るさ基準値Ｉｓ（ｔ）を算出し、フリッカ補正値算出部１１５に供給する。

例えば明るさ基準算出部１１３は、フレームｔを含む一定期間、すなわち所定のフレームからフレームｔまでの期間の各フレームの明るさ情報Ｉ（ｔ）と、平滑化フィルタのフィルタ係数とを畳み込むことで、明るさ情報に対してフィルタ処理を施し、明るさ基準値Ｉｓ（ｔ）を算出する。すなわち、平滑化フィルタを用いたフィルタ処理により明るさ情報Ｉ（ｔ）を平滑化することによって明るさ基準値Ｉｓ（ｔ）が算出される。

このようにして求めた明るさ基準値Ｉｓ（ｔ）は、次のフレーム（ｔ＋１）について行われるステップＳ２０の処理で用いられる。

ステップＳ２７において、システムコントローラ２６は処理を終了するか否かを判定する。例えば撮像画像の撮像を終了する場合、処理を終了すると判定される。

ステップＳ２７において処理を終了しないと判定された場合、処理はステップＳ１８に戻り、上述した処理が繰り返し行われる。

これに対してステップＳ２７において処理を終了すると判定された場合、システムコントローラ２６は各部の動作を終了させ、フリッカ補正処理は終了する。

以上のようにして信号処理装置１１は、撮像画像から明るさ情報や明るさ基準値を求め、フリッカ補正値を算出する。

これにより、少ない演算量で十分高精度にフリッカ補正を行うことができる。特に、信号処理装置１１では、光源をモデル化せずに演算量の少ない明るさ情報や明るさ基準値を用いてフリッカ補正を行うので、光源モデルの複雑化に伴う演算量の増加も発生することがない。そのため、撮像画像を取得してから次の撮像画像の取得、すなわち読み出しまでに補正パラメータの演算を行うことができれば、その補正パラメータを次フレームに適用することができ、直近の情報を用いてより高精度にフリッカ補正を行うことができる。

また、過去のフレームの明るさ情報を平滑化して、補正の目標とすべき明るさを示す明るさ基準値を求めるので、例えばLED（Light Emitting Diode）フリッカや複数の光源が存在する場合など、周期性の有無によらず、複雑に明暗が変化する被写体に対しても高精度なフリッカ補正を簡単に行うことができる。さらに、例えば動画像のような被写体が動的に切り替わる場合でも高速に明るさ補正を行うことができる。特にLEDフリッカなどは色によってフリッカの位相や大きさが異なる場合があるが、信号処理装置１１では、色ごとにフリッカ補正部２５を設ければ、撮像画像の色成分ごとにフリッカ補正、つまり明るさの補正を行うことができる。

さらに、信号処理装置１１は、少ない演算量、かつ簡単な構成でフリッカ補正が可能であるので、このようなフリッカ補正を行うための構成をイメージセンサ内に実装することができ、より高機能なイメージセンサを提供することができる。

〈第１の実施の形態の変形例１〉
〈フリッカ補正について〉
また、以上においてはフレームｔ＝１のみデジタルゲインでのフリッカ補正を行い、その後はアナログゲインでのフリッカ補正を行う例について説明した。しかし、そのような例に限らず、デジタルゲインでのフリッカ補正、アナログゲインでのフリッカ補正、およびシャッタスピードでのフリッカ補正を任意に組み合わせるようにしてもよい。

例えば信号処理装置１１では、撮像画像に現れるフリッカは面フリッカであるため、全フレームでデジタルゲインでのフリッカ補正を行う場合、フレームバッファを設ければ、現フレームの情報を用いてフリッカ補正を行うことができる。但し、この場合、ノイズの増加時や白飛び発生時、黒潰れ発生時にはフリッカ補正を行うことは困難である。

例えば図９に示すように各フレームの撮像画像の明るさ情報が得られたとする。なお、図９において横方向は時間を示しており、縦方向は明るさ、すなわち輝度値を示している。

図９の例では、フレームｔ乃至ｔ＋２の各フレームにおける明るさ情報として、明るさ情報Ｉ（ｔ）乃至明るさ情報Ｉ（ｔ＋２）が得られている。また、直線Ｌ７１は各時刻における明るさ基準値を示している。この例では、明るさ基準値は各フレームで同じ値となっている。さらに、図９において、Ｉ’（ｔ）乃至Ｉ’（ｔ＋２）は、フレームｔ乃至ｔ＋２における、フリッカ補正後の撮像画像の明るさ情報、つまり出力画像について求まる明るさ情報を示している。

デジタルゲインでのフリッカ補正を行う場合、例えばフレームｔに注目すると、フレームｔの撮像画像が得られた後、明るさ情報算出部１１１において、そのフレームｔの撮像画像から明るさ情報Ｉ（ｔ）が算出される。

また、明るさ基準算出部１１３では、明るさ情報Ｉ（ｔ）と、過去のフレームの明るさ情報とから平滑化フィルタを用いたフィルタ処理により、明るさ基準値Ｉｓ（ｔ）が算出される。すなわち、明るさ基準値Ｉｓ（ｔ）は、注目する現フレームｔまでの複数のフレームの明るさ情報が用いられて算出される。

このようにして、注目するフレームｔの明るさ情報Ｉ（ｔ）と明るさ基準値Ｉｓ（ｔ）とが得られると、フリッカ補正値算出部１１５は、それらの明るさ情報Ｉ（ｔ）と明るさ基準値Ｉｓ（ｔ）に基づいてフリッカ補正値Ｖ（ｔ）を算出する。

例えば、フリッカ補正値Ｖ（ｔ）はＶ（ｔ）＝Ｉｓ（ｔ）／Ｉ（ｔ）を計算することにより算出される。すなわち、ここでは明るさ基準値Ｉｓ（ｔ）と、明るさ情報Ｉ（ｔ）との比がフリッカ補正値Ｖ（ｔ）として算出される。

そして、システムコントローラ２６ではフリッカ補正値Ｖ（ｔ）が、そのままフレームｔにおける補正パラメータＰ（ｔ）とされる。

さらに、デジタルゲイン適用部３１では、補正パラメータＰ（ｔ）により定まるデジタルゲイン、すなわち補正パラメータＰ（ｔ）により補正されたデジタルゲインが、フレームｔのデジタルゲインＤＧ（ｔ）とされる。

また、デジタルゲイン適用部３１では、デジタルゲインＤＧ（ｔ）によりフレームｔのデジタルの撮像画像がゲイン調整され、これによりフリッカが補正される。その結果、フレームｔの出力画像について得られる明るさ情報が、目標とすべき明るさ基準値Ｉｓ（ｔ）と略等しい明るさ情報Ｉ’（ｔ）となる。

このように全フレームの撮像画像をデジタルゲインでフリッカ補正する場合、現フレームについて得られた明るさ情報と明るさ基準値とを用いて、現フレームの撮像画像のフリッカ補正を行うことができる。これにより、より誤差の少ないフリッカ補正値を求めることができ、より高精度なフリッカ補正を実現することができる。

また、本技術では補正パラメータを、色ごとに明るさの変化が異なる被写体に対するホワイトバランス調整にも用いることができる。すなわち、システムコントローラ２６において、補正パラメータとして撮像画像のホワイトバランスに関する情報が算出されるようにしてもよい。そのような場合、デジタル信号処理部２４では、補正パラメータに基づいて撮像画像に対するホワイトバランス調整が行われる。

信号処理装置１１では、高フレームレートで撮像された撮像画像のフレームごとに補正パラメータが算出されるので、そのような補正パラメータを用いてホワイトバランス調整を行なえば、高速なホワイトバランス調整を実現することができる。

〈第１の実施の形態の変形例２〉
〈撮像画像の２値化について〉
ところで、一般に高速フレームレートで撮像を行うビジョンチップシステムが知られている。このようなビジョンチップシステムについては、例えば特開平０７−０８６９３６号公報や特開平０１−１７３２６９号公報等に記載されている。

ビジョンチップシステムでは、撮像画像からターゲットとなる被写体の抽出を行う際に輝度値の閾値を設定し、撮像画像の２値化処理が行われる。例えば輝度値の閾値は上限値と下限値の何れか一方、または両方が用いられる。

通常、このような閾値は固定値とされるため、撮像画像上の被写体の明るさに変化が生じると、正しくターゲットとなる被写体を抽出することができなくなってしまうことがある。そこで、本技術をビジョンチップシステムに適用すれば、被写体の明るさの変化がある状況においても、高フレームレートで撮像された撮像画像に対してフリッカ補正を行うことで、２値化前の撮像画像の明るさの変化を抑止し、ターゲット抽出の安定性を向上させることができる。

また、他のアプローチとして、信号処理装置１１で算出される補正パラメータＰ（ｔ）に基づいて、フリッカに合わせて撮像画像の２値化に用いる閾値を調整（補正）するようにしてもよい。

そのような場合、例えばシステムコントローラ２６は、フリッカ補正値に基づいて、２値化処理に用いる閾値を補正する補正値を補正パラメータ（ｔ）として算出する。また、この場合、例えば撮像画像の２値化処理は、デジタル信号処理部２４で行われるようにしてもよいし、AD変換部２３とデジタル信号処理部２４との間に設けたブロックで行われるようにしてもよい。

例えば図１０に示すように各フレームの明るさ情報Ｉ（ｔ）が変化した場合、その変化に合わせて２値化に用いる閾値である上限閾値と下限閾値とを補正すればよい。なお、図１０において縦軸は輝度、すなわち明るさ情報の値を示しており、横軸は時間を示している。

図１０では、曲線Ｌ８１は各フレームにおける明るさ情報Ｉ（ｔ）を示している。このような明るさ情報Ｉ（ｔ）が得られた場合、例えば矢印Ｑ４１に示すように明るさ情報Ｉ（ｔ）の値が比較的大きいとき、つまり撮像画像全体が明るいときには、補正パラメータＰ（ｔ）による補正の結果、大きい上限閾値ＵＴＨ１と下限閾値ＬＴＨ１が得られる。

例えば撮像画像の２値化処理時には、撮像画像の画素の輝度値が下限閾値以上かつ上限閾値以下であるときには、その画素の画素値は１とされ、撮像画像の画素の輝度値が下限閾値未満または上限閾値より大きいときには、その画素の画素値は０とされる。

また、例えば矢印Ｑ４２に示すように明るさ情報Ｉ（ｔ）の値が小さくなると、つまり撮像画像全体が暗くなると、補正パラメータＰ（ｔ）による補正の結果、明るさ情報Ｉ（ｔ）の変化に応じて小さく補正された上限閾値ＵＴＨ２と下限閾値ＬＴＨ２が得られる。

さらに、矢印Ｑ４３に示すように明るさ情報Ｉ（ｔ）の値が変化すると、補正パラメータＰ（ｔ）による補正の結果、明るさ情報Ｉ（ｔ）の変化に応じて補正された上限閾値ＵＴＨ３と下限閾値ＬＴＨ３が得られる。

このように補正パラメータＰ（ｔ）によって２値化に用いる上限閾値と下限閾値を補正する場合、撮像画像の明るさのレベル、つまり例えば明るさ情報が大きい場合には上限閾値と下限閾値が大きくなるように補正が行われる。これに対して、例えば明るさ情報が小さい場合には上限閾値と下限閾値が小さくなるように補正が行われる。

このようにして２値化処理に用いる閾値を補正することで、フリッカにより撮像画像全体の明るさが変化するときでも適切な閾値を用いて撮像画像の２値化を行うことができる。

〈第１の実施の形態の変形例３〉
〈フリッカ補正について〉
さらに、以上においては撮像画像全体に対して１つの明るさ情報を算出し、その明るさ情報を用いて撮像画像全体の明るさを補正する、つまりフリッカ補正を行う例について説明した。しかし、撮像画像に対するフリッカ補正は撮像画像の領域ごとに行われるようにしてもよい。撮像画像の領域ごとにフリッカ補正を行う例は、領域ごとにフリッカの性質が大きく異なる場合などに特に有効である。

例えば図１１に示すように図中、左上部分にフリッカの要因となる光源ＬＳ１１がある撮像画像ＰＣ１１が得られるとする。そのような場合、例えば撮像画像の領域ごとに補正パラメータＰ（ｔ）が異なる補正値マップＡＭ１１が得られる。

ここで、補正値マップＡＭ１１は、撮像画像ＰＣ１１の各領域の補正パラメータを示すマップであり、補正値マップＡＭ１１の各位置における濃淡は、その位置に対応する撮像画像ＰＣ１１の位置の補正パラメータの値を示している。

この例では、補正値マップＡＭ１１は、撮像画像ＰＣ１１の４×３の合計１２個の各領域における補正パラメータを示している。

特に、撮像画像ＰＣ１１の光源ＬＳ１１がある領域に対応する領域Ｒ３１内の各位置の補正パラメータの値は、撮像画像の明るさを低く抑えるような値となっている。

また、例えば領域Ｒ３１と、その領域Ｒ３１に隣接する領域Ｒ３２との境界位置など、互いに隣接する領域の境界位置にある補正パラメータについては、空間方向への急激な補正パラメータの変化を抑制するため、平滑化等が行われるようにしてもよい。

さらに図１１に示した例と同様に、例えば図１２に示すようにフリッカの要因となる光源が複数ある場合には、それらの光源の位置に応じた補正値マップが得られる。

図１２に示す例では、撮像画像ＰＣ２１上にはフリッカの要因となる４つの光源ＬＳ２１乃至光源ＬＳ２４が存在している。このような場合、これらの光源の位置に応じた補正値マップＡＭ２１が得られる。

この補正値マップＡＭ２１では、例えば光源ＬＳ２１乃至光源ＬＳ２３のある領域に対応する領域や、光源ＬＳ２４のある領域に対応する領域において、補正パラメータは撮像画像の明るさを低く抑えるような値とされていることが分かる。

以上のように撮像画像の領域ごとにフリッカ補正を行う場合、明るさ情報算出部１１１では撮像画像の領域ごとに明るさ情報が算出され、フリッカ補正値算出部１１５では撮像画像の領域ごとにフリッカ補正値が算出される。同様に、システムコントローラ２６では、撮像画像の領域ごとに補正パラメータが算出される。

また、撮像画像の領域ごとにフリッカ補正を行う場合、それらの領域ごとに、アナログゲインやデジタルゲインによるゲイン調整、シャッタスピードの補正を行うことができる必要がある。

例えば信号処理装置１１がイメージセンサからなる場合、複数の画素からなる領域ごとにAD変換部２３が設けられた面並列AD変換構成や、画素列ごとにAD変換部２３が設けられた画素並列AD変換構成のイメージセンサであれば、領域ごとのフリッカ補正を実現することができる。そのような場合、アナログゲインによるフリッカ補正、デジタルゲインによるフリッカ補正、およびシャッタスピードの補正によるフリッカ補正のうちの任意のものを組み合わせることが可能であり、撮像画像の領域ごとに算出された補正パラメータに基づいて各領域のフリッカ補正が行われる。

〈撮像装置の構成例〉
さらに、本技術は、デジタルスチルカメラやビデオカメラ等の撮像装置や、撮像機能を有する携帯端末装置や、画像読取部に固体撮像素子を用いる複写機など、光電変換部に固体撮像素子（イメージセンサ）を用いる電子機器全般に対して適用可能である。

図１３は、本技術を適用した電子機器としての、撮像装置の構成例を示す図である。

図１３の撮像装置５０１は、レンズ群などからなる光学部５１１、固体撮像素子（撮像デバイス）５１２、およびカメラ信号処理回路であるDSP(Digital Signal Processor)回路５１３を備える。また、撮像装置５０１は、フレームメモリ５１４、表示部５１５、記録部５１６、操作部５１７、および電源部５１８も備える。DSP回路５１３、フレームメモリ５１４、表示部５１５、記録部５１６、操作部５１７および電源部５１８は、バスライン５１９を介して相互に接続されている。

光学部５１１は、被写体からの入射光（像光）を取り込んで固体撮像素子５１２の撮像面上に結像する。固体撮像素子５１２は、光学部５１１によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。この固体撮像素子５１２は、図３に示した信号処理装置１１に対応する。

表示部５１５は、例えば、液晶パネルや有機ＥＬ(Electro Luminescence)パネル等のパネル型表示装置からなり、固体撮像素子５１２で撮像された動画像または静止画像を表示する。記録部５１６は、固体撮像素子５１２で撮像された動画像または静止画像を、ビデオテープやDVD(Digital Versatile Disk)等の記録媒体に記録する。

操作部５１７は、ユーザによる操作の下に、撮像装置５０１が持つ様々な機能について操作指令を発する。電源部５１８は、DSP回路５１３、フレームメモリ５１４、表示部５１５、記録部５１６および操作部５１７の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。

なお、上述した実施形態においては、可視光の光量に応じた信号電荷を物理量として検知する画素が行列状に配置されてなるCMOSイメージセンサに適用した場合を例に挙げて説明した。しかしながら、本技術はCMOSイメージセンサへの適用に限られるものではなく、固体撮像素子全般に対して適用可能である。

＜固体撮像素子の使用例＞
図１４は、上述の固体撮像素子（イメージセンサ）を使用する使用例を示す図である。

上述した固体撮像素子は、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。

・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮像する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮像する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮像して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮像する肌測定器や、頭皮を撮像するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置

＜移動体への応用例＞

本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

図１５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図１５に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(interface)12053が図示されている。

駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。

また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１５の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

図１６は、撮像部12031の設置位置の例を示す図である。

図１６では、撮像部12031として、撮像部12101，12102，12103，12104，12105を有する。

撮像部12101，12102，12103，12104，12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102，12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部12105は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図１６には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112，12113は、それぞれサイドミラーに設けられた撮像部12102，12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。

撮像部12101ないし12104の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化（車両12100に対する相対速度）を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度（例えば、0km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

撮像部12101ないし12104の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。

以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部12031に適用され得る。撮像部12031に本開示に係る技術を適用することにより、より少ない演算量で十分高精度にフリッカ補正を行うことができる。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、本技術は、以下の構成とすることも可能である。

（１）
撮像画像の明るさ情報を算出する明るさ情報算出部と、
複数の時刻における前記明るさ情報に基づいて、基準となる明るさを示す明るさ基準値を算出する明るさ基準算出部と、
前記明るさ情報と前記明るさ基準値とに基づいて、前記撮像画像の明るさを補正するための補正パラメータを算出する補正パラメータ算出部と
を備える信号処理装置。
（２）
前記補正パラメータは、各時刻の前記撮像画像の明るさを補正することにより、フリッカ補正を行うためのものである
（１）に記載の信号処理装置。
（３）
前記明るさ基準算出部は、前記明るさ情報に基づくフィルタ処理により前記明るさ情報を平滑化して前記明るさ基準値を算出する
（１）または（２）に記載の信号処理装置。
（４）
前記明るさ情報算出部は、前記撮像画像の各画素の輝度値の平均値を前記明るさ情報として算出する
（１）乃至（３）の何れか一項に記載の信号処理装置。
（５）
前記補正パラメータは、前記撮像画像のゲインに関する情報である
（１）乃至（４）の何れか一項に記載の信号処理装置。
（６）
複数の時刻の前記明るさ情報に基づいて、前記明るさ情報の予測値を算出するとともに、前記予測値と前記明るさ基準値とに基づいて、前記撮像画像の明るさの補正度合いを示す補正値を算出する補正値算出部をさらに備え、
前記補正パラメータ算出部は、前記補正値に基づいてゲイン調整を行うための前記補正パラメータを算出する
（５）に記載の信号処理装置。
（７）
前記補正値算出部は、前記明るさ情報の変化量に基づいて前記予測値を算出する
（６）に記載の信号処理装置。
（８）
前記補正値算出部は、前記明るさ基準値と前記予測値との比を前記補正値として算出する
（６）または（７）に記載の信号処理装置。
（９）
前記補正値算出部は、処理対象の時刻の前記明るさ情報の前記予測値と、前記処理対象の時刻よりも前の時刻までの前記明るさ情報から算出された前記明るさ基準値とに基づいて前記補正値を算出し、
前記処理対象の時刻におけるアナログの前記撮像画像に対して、前記補正パラメータにより定まるゲインによりゲイン調整を行うアナログゲイン適用部をさらに備える
（６）乃至（８）の何れか一項に記載の信号処理装置。
（１０）
処理対象の時刻の前記明るさ情報と、前記処理対象の時刻までの前記明るさ情報が用いられて算出された前記明るさ基準値とに基づいて、前記撮像画像の明るさの補正度合いを示す補正値を算出する補正値算出部をさらに備え、
前記補正パラメータ算出部は、前記補正値に基づいてゲイン調整を行うための前記補正パラメータを算出する
（５）に記載の信号処理装置。
（１１）
前記補正値算出部は、前記明るさ基準値と前記明るさ情報との比を前記補正値として算出する
（１０）に記載の信号処理装置。
（１２）
前記処理対象の時刻におけるデジタルの前記撮像画像に対して、前記補正パラメータにより定まるゲインによりゲイン調整を行うデジタルゲイン適用部をさらに備える
（１０）または（１１）に記載の信号処理装置。
（１３）
前記補正パラメータは、前記撮像画像のシャッタスピードに関する情報である
（１）乃至（４）の何れか一項に記載の信号処理装置。
（１４）
前記補正パラメータは、前記撮像画像を２値化するための閾値に関する情報である
（１）乃至（４）の何れか一項に記載の信号処理装置。
（１５）
前記補正パラメータは、前記撮像画像のホワイトバランスに関する情報である
（１）乃至（４）の何れか一項に記載の信号処理装置。
（１６）
前記補正パラメータ算出部は、前記撮像画像の領域ごとに前記補正パラメータを算出する
（１）乃至（１５）の何れか一項に記載の信号処理装置。
（１７）
撮像画像の明るさ情報を算出し、
複数の時刻における前記明るさ情報に基づいて、基準となる明るさを示す明るさ基準値を算出し、
前記明るさ情報と前記明るさ基準値とに基づいて、前記撮像画像の明るさを補正するための補正パラメータを算出する
ステップを含む信号処理方法。
（１８）
撮像画像を撮像する撮像部と、
前記撮像画像の明るさ情報を算出する明るさ情報算出部と、
複数の時刻における前記明るさ情報に基づいて、基準となる明るさを示す明るさ基準値を算出する明るさ基準算出部と、
前記明るさ情報と前記明るさ基準値とに基づいて、前記撮像画像の明るさを補正するための補正パラメータを算出する補正パラメータ算出部と
を備える撮像装置。

１１ 信号処理装置， ２１ 画素部， ２２ アナログゲイン適用部， ２３ AD変換部， ２４ デジタル信号処理部， ２５ フリッカ補正部， ２６ システムコントローラ， ３１ デジタルゲイン適用部， １１１ 明るさ情報算出部， １１３ 明るさ基準算出部， １１４ 差分算出部， １１５ フリッカ補正値算出部

Claims (18)

1. 撮像画像の明るさ情報を算出する明るさ情報算出部と、
   複数の時刻における前記明るさ情報に基づいて、基準となる明るさを示す明るさ基準値を算出する明るさ基準算出部と、
   前記明るさ情報と前記明るさ基準値とに基づいて、前記撮像画像の明るさを補正するための補正パラメータを算出する補正パラメータ算出部と
   を備える信号処理装置。
2. 前記補正パラメータは、各時刻の前記撮像画像の明るさを補正することにより、フリッカ補正を行うためのものである
   請求項１に記載の信号処理装置。
3. 前記明るさ基準算出部は、前記明るさ情報に基づくフィルタ処理により前記明るさ情報を平滑化して前記明るさ基準値を算出する
   請求項１に記載の信号処理装置。
4. 前記明るさ情報算出部は、前記撮像画像の各画素の輝度値の平均値を前記明るさ情報として算出する
   請求項１に記載の信号処理装置。
5. 前記補正パラメータは、前記撮像画像のゲインに関する情報である
   請求項１に記載の信号処理装置。
6. 複数の時刻の前記明るさ情報に基づいて、前記明るさ情報の予測値を算出するとともに、前記予測値と前記明るさ基準値とに基づいて、前記撮像画像の明るさの補正度合いを示す補正値を算出する補正値算出部をさらに備え、
   前記補正パラメータ算出部は、前記補正値に基づいてゲイン調整を行うための前記補正パラメータを算出する
   請求項５に記載の信号処理装置。
7. 前記補正値算出部は、前記明るさ情報の変化量に基づいて前記予測値を算出する
   請求項６に記載の信号処理装置。
8. 前記補正値算出部は、前記明るさ基準値と前記予測値との比を前記補正値として算出する
   請求項６に記載の信号処理装置。
9. 前記補正値算出部は、処理対象の時刻の前記明るさ情報の前記予測値と、前記処理対象の時刻よりも前の時刻までの前記明るさ情報から算出された前記明るさ基準値とに基づいて前記補正値を算出し、
   前記処理対象の時刻におけるアナログの前記撮像画像に対して、前記補正パラメータにより定まるゲインによりゲイン調整を行うアナログゲイン適用部をさらに備える
   請求項６に記載の信号処理装置。
10. 処理対象の時刻の前記明るさ情報と、前記処理対象の時刻までの前記明るさ情報が用いられて算出された前記明るさ基準値とに基づいて、前記撮像画像の明るさの補正度合いを示す補正値を算出する補正値算出部をさらに備え、
    前記補正パラメータ算出部は、前記補正値に基づいてゲイン調整を行うための前記補正パラメータを算出する
    請求項５に記載の信号処理装置。
11. 前記補正値算出部は、前記明るさ基準値と前記明るさ情報との比を前記補正値として算出する
    請求項１０に記載の信号処理装置。
12. 前記処理対象の時刻におけるデジタルの前記撮像画像に対して、前記補正パラメータにより定まるゲインによりゲイン調整を行うデジタルゲイン適用部をさらに備える
    請求項１０に記載の信号処理装置。
13. 前記補正パラメータは、前記撮像画像のシャッタスピードに関する情報である
    請求項１に記載の信号処理装置。
14. 前記補正パラメータは、前記撮像画像を２値化するための閾値に関する情報である
    請求項１に記載の信号処理装置。
15. 前記補正パラメータは、前記撮像画像のホワイトバランスに関する情報である
    請求項１に記載の信号処理装置。
16. 前記補正パラメータ算出部は、前記撮像画像の領域ごとに前記補正パラメータを算出する
    請求項１に記載の信号処理装置。
17. 撮像画像の明るさ情報を算出し、
    複数の時刻における前記明るさ情報に基づいて、基準となる明るさを示す明るさ基準値を算出し、
    前記明るさ情報と前記明るさ基準値とに基づいて、前記撮像画像の明るさを補正するための補正パラメータを算出する
    ステップを含む信号処理方法。
18. 撮像画像を撮像する撮像部と、
    前記撮像画像の明るさ情報を算出する明るさ情報算出部と、
    複数の時刻における前記明るさ情報に基づいて、基準となる明るさを示す明るさ基準値を算出する明るさ基準算出部と、
    前記明るさ情報と前記明るさ基準値とに基づいて、前記撮像画像の明るさを補正するための補正パラメータを算出する補正パラメータ算出部と
    を備える撮像装置。

Images