JP2019106588A - 画像処理装置、画像処理方法及び撮像装置 - Google Patents

Abstract

【課題】高速フレームレートの撮像において、フリッカを抑制する。【解決手段】本開示に係る画像処理装置は、画像の輝度平均値を算出し、前記輝度平均値の周期的な変化に基づいて前記画像の輝度を補正する第１の補正部と、前記画像の色情報を取得し、前記色情報の周期的な変化に基づいて前記色情報を補正する第２の補正部と、を備える。この構成により、高速フレームレートの撮像において、フリッカを抑制することが可能となる。【選択図】図１Ａ

Description

本開示は、画像処理装置、画像処理方法及び撮像装置に関する。

従来、例えば下記の特許文献１には、入力された画像の色成分ごとにフリッカ補正のための補正値を算出し、入力された画像の色成分ごとにフリッカ補正を行うことが記載されている。

特開２０１６−８２５１０号公報

しかしながら、上記特許文献１に記載された技術は、入力画像に対して補正値を計算して画像処理により補正を行っているため、デジタルゲインで変調していることになる。従って、フリッカ振幅が大きくて、白とび、黒潰れがある画像に対しては補正できないという問題がある。

また、例えばフリッカ周波数に対して撮像のフレームレートが高速の場合、撮像素子のシャッター周期がフリッカ周期よりも短いため、シャッター時間をフリッカ周期の整数倍にしてフリッカを抑制する方法も実施する事ができない。

そこで、高速フレームレートの撮像において、フリッカを抑制することが求められていた。

本開示によれば、画像の輝度平均値を算出し、前記輝度平均値の周期的な変化に基づいて前記画像の輝度を補正する第１の補正部と、前記画像の色情報を取得し、前記色情報の周期的な変化に基づいて前記色情報を補正する第２の補正部と、を備える、画像処理装置が提供される。

本開示によれば、画像の輝度平均値を算出し、前記輝度平均値の周期的な変化に基づいて画像の輝度を補正することと、前記画像の色情報を取得し、前記色情報の周期的な変化に基づいて前記色情報を補正することと、を備える、画像処理方法が提供される。

本開示によれば、被写体の画像を撮像する撮像素子と、前記画像の輝度平均値を算出し、前記輝度平均値の周期的な変化に基づいて前記画像の輝度を補正する第１の補正部と、前記画像の色情報を取得し、前記色情報の周期的な変化に基づいて前記色情報を補正する第２の補正部と、を有する画像処理装置と、を備える、撮像装置が提供される。

以上説明したように本開示によれば、高速フレームレートの撮像において、フリッカを抑制することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態に係る撮像装置を示す模式図である。 第１のフリッカ補正部による処理と、第２のフリッカ補正部による処理を並列して行う例を示す模式図である。 アナログゲインをＲＧＢ毎に設定できる撮像素子を用いた例を示す模式図である。 、図１Ａの構成に加えて、目標とする対象物の検出を行うことができる対象物検出部と、対処物を検出した後のフレームにおいて、対象物の場所を把握し続ける対象物トラッキング部を有する例を示す模式図である。 図２と同様に、アナログゲインをＲＧＢ毎に設定できる撮像素子を用いた例を示す模式図である。 露光量計算部、第１のフリッカ補正部、第２のフリッカ補正部、露光量制御部による処理を示す模式図である。 撮像素子がグローバルシャッタ（ＧＳ）であるか否かに応じて、補正の方法を切り換える処理を示すフローチャートである。 図３に示す構成例における処理の流れを示すフローチャートである。 図３に示す構成例における処理の流れを示すフローチャートである。 撮像素子がグローバルシャッタ（ＧＳ）の場合に、第１のフリッカ補正部、第２のフリッカ補正部による、アナログゲインを用いたフリッカ補正を示す模式図である。 撮像素子がローリングシャッタ（ＲＳ）の場合に、第１のフリッカ補正部、第２のフリッカ補正部による、アナログゲインを用いたフリッカ補正を示す模式図である。 Ｒ,Ｇ,Ｂ毎の積算値のフリッカ周期１周期分を使って、積算値を取得できない部分の値を補完アルゴリズムによって補完する例を示す模式図である。 補正値ｉを予測する方法を示す模式図であって、フレームレートｆｐｓ、光源周波数Ｈｚ時の補完方法を示す模式図である。 対象物をトラッキングする手法を説明するための模式図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．撮像装置の構成例
２．フリッカ補正の詳細
３．本実施形態のバリエーションについて
４．対象物の検出、トラッキングについて
５．応用例

１．撮像装置の構成例
まず、図１Ａを参照して、本開示の一実施形態に係る撮像装置１０００の構成について説明する。図１Ａに示すように、撮像装置１０００は、撮像素子１００、Ａ／Ｄ変換部１１０、露光量計算部１２０、フリッカ検出部１３０、第１のフリッカ補正部１４０、第２のフリッカ補正部１５０、信号処理部１６０、露光制御部１７０、を有して構成されている。

撮像素子１００は、例えば１０００［ｆｐｓ］程度の高速のフレームレートで被写体を撮像する。なお、本実施形態において、高速のフレームレートとは、例えば、後述するフリッカ現象の周波数に対して２倍以上の周波数のフレームレートをいうものとする。

撮像素子１００は、複数の画素が行列状に配置されたセンサ面を有しており、画像の撮像に利用される撮像有効領域に配置された画素の受光量に応じた画素値により構築される撮像画像を出力する。

また、撮像素子１００のセンサ面には、通常の撮像に使用される画素の他に、撮像環境の明るさを検出することに特化した画素（ＯＰＤ（Optical Photo Detector）画素ともいう）が配置されていても良い。ＯＰＤ画素により、撮像環境の明るさを示すＯＰＤ値を検出することができる。

ここで、例えば、撮像素子１００では、ベイヤ配列に従って、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のカラーフィルタが有効画素に配置されている。ＯＰＤ画素では、明るさを検出するために無色とされている。このため、撮像素子１００が取得した各画素の画素値に対して、前処理を行うことにより、ＯＰＤ画素の配置箇所に本来配置されていた色と同色であって、かつ、そのＯＰＤ画素の近隣にある複数の有効画素の画素値を線形補間し、ＯＰＤ画素の配置位置に対応する箇所の画素値を求めても良い。

撮像素子１００で撮像された画像データ（画素値）は、Ａ／Ｄ変換部１１０でデジタル信号に変換され、フリッカ検出部１３０に入力される。フリッカ検出部１３０は、フリッカ検出を実施する。これにより、フリッカ光源の周波数が推定される。

フリッカ検出部１３０による、フリッカ周期情報の推定について説明する。例えば、本実施形態においては、画像の輝度の平均値を複数の撮像フレームごとに格納しておき、格納したデータに対して離散フーリエ変換（Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ:ＤＦＴ）を用いることにより、周波数、位相等のフリッカ現象の情報を推定する。

詳細には、対象物がフリッカ現象を生じさせるフリッカ光源（例えば、蛍光灯など）に照射されている場合においては、複数の撮像フレームにおける対象物の輝度は、フリッカ現象の周期に従って変化するはずである。そこで、本実施形態においては、所定のフレームレートで取得された複数の撮像フレームごとに対象物の画像に対応する複数の画素の輝度の平均値を取得する。そして、ＤＦＴ（離散フーリエ変換）を適用することにより、輝度の時間変化、すなわち、輝度の時間変化における周波数成分（周波数、点灯時間の幅、点灯間隔等）を推定する。

周期情報を推定する際に用いる撮像フレームは、フリッカ現象の周期に比べて高速のフレームレートで取得されていることから、ＤＦＴを適用することにより、フリッカ現象の周期情報を推定することが可能である。

なお、本実施形態においては、周期情報の推定は、上述の例に限定されるものではなく、他の方法を用いてもよい。例えば、所定の期間における複数の撮像フレームを解析し、対象物が明るい状態から暗くなり、再度明るくなるまでのフレームの数をカウントすることにより、フリッカ現象の周期情報を推定してもよい。

また、Ａ／Ｄ変換部１１０でデジタル信号に変換された画像データは、露光量計算部１２０、第１のフリッカ補正部１４０、第２のフリッカ補正部１５０に順次入力される。図５は、露光量計算部１２０、第１のフリッカ補正部１４０、第２のフリッカ補正部１５０、露光量制御部１７０による処理を示す模式図である。

露光量計算部１２０では、検波値と測光モードから露光量を計算する。先ず、検波値取得ステップ（ステップＳ１０）では、画面をｎ枠に分割した時に、それぞれの枠に入っている輝度値の積算値とピクセル数を取得する。測光モード取得ステップ（ステップＳ１２）では、各枠の重みを取得する。これらを用いて、評価値を以下の式から求める。なお、評価値の求め方はこの方法に限られるものではなく、他の計算方法で求めても良い。評価値が求まると、評価値と目標値とのずれに基づいて、目標値に収束する露光量を求める（ステップＳ１４）。

２．フリッカ補正の詳細
第１のフリッカ補正部１４０では、推定されたフリッカ周波数とフリッカ周期分の輝度値情報を用いて、露光量計算部１２０で計算された露光量に対して、画面全体に対してフリッカ分を補正する。具体的に、第１のフリッカ補正部１４０は、画が黒潰れ、白とびしない補正量になるように、露光量を補正し、その露光量を露光量制御部１７０に通知することにより、アナログゲインを用いたフリッカ補正を実施する。

露光量制御部１７０は、撮像素子１００が撮像した画像データに基づいて、適切な露出量になるように露光量計算部１２０が計算した露光量に対して、第１のフリッカ補正部１０で計算された補正量を元に撮像素子１００の露光制御を実施する。

図５では、露光量計算部１２０による処理に続いて、第１のフリッカ補正部１４０、露光量制御部１７０、第２のフリッカ補正部１５０による処理を示している。第１のフリッカ補正部１４０では、露光量計算部１２０で求められた露光量に対して、フリッカ補正量を加味した補正露光量を計算する（ステップＳ１６）。この補正露光量を用いて、露光制御部１７０でシャッター、ゲイン値が計算され、撮像素子１００に値が反映される（ステップＳ１８）。これにより、撮像素子１００にて取得されるアナログ値が補正されることになり、アナログゲインによる補正を行うことができる。これにより、デジタルゲインを用いた補正と異なり、画像の黒潰れ、白とびを抑制できる。

また、第２のフリッカ補正部１５０では、ＲＧＢ毎に異なるデジタルゲイン変調を施すことで、フリッカ光源毎の波長特性（Ｒ／Ｇ／Ｂ毎の特性）の違いを補正する。第２のフリッカ補正部１５０では、第１のフリッカ補正部１４０で既に補正されている分の差分を補正する。図５に基づいて処理の流れを説明すると、第２のフリッカ補正部１５０では、フリッカ補正用の露光量を計算する（ステップＳ２０）。そして、第１のフリッカ補正部１４０での補正量を差し引いた補正量を適応する（ステップＳ２２）。第２のフリッカ補正部１５０にて補正された画像は、信号処理部１６０で所望の信号処理が施され、画像信号として出力される。

第２のフリッカ補正部１５０による処理では、撮像素子１００がグローバルシャッタ（ＧＳ）のセンサであるか否かに応じて、補正の方法が異なる。図６は、撮像素子１００がグローバルシャッタ（ＧＳ）であるか否かに応じて、補正の方法を切り換える処理を示すフローチャートである。

先ず、ステップＳ３０では、撮像素子１００がグローバルシャッタ（ＧＳ）のセンサであるか否かが判定される。撮像素子１００がグローバルシャッタ（ＧＳ）のセンサの場合は、ステップＳ３２へ進み、画面全体に対して補正を行う。一方、撮像素子１００がグローバルシャッタ（ＧＳ）のセンサではなく、ローリングシャッタ（ＲＳ）のセンサである場合は、ステップＳ３４へ進み、ライン毎に補正を行う。ステップＳ３６では、信号処理部１６０による信号処理が行われる。

図８は、撮像素子１００がグローバルシャッタ（ＧＳ）の場合に、第１のフリッカ補正部１４０、第２のフリッカ補正部１５０による、デジタルゲインを用いたフリッカ補正を示す模式図である。グローバルシャッタ（ＧＳ）では、全画素で同時に画素値の読み出しが行われる。図８では、最も左側に、時系列に縦方向に並べた１０フレームの画像を模式的に示している。また、第１のフリッカ補正部１４０で行われる処理を説明するために、フリッカ波形と、補正後のフリッカ波形を示している。また、第２のフリッカ補正部１５０で行われる処理を説明するために、補正前のＲ，Ｇ，Ｂの各信号と、補正後のＲ，Ｇ，Ｂの各信号を示している。

第１のフリッカ補正部１４０では、各フレームのフリッカ波形ｂのフリッカ周期１周期分の平均値ｄを補正の目標値とする。ここで、フリッカ波形ｂは、フリッカ現象によりＯＰＤ画素の画素値が変化する様子を示しており、グローバルシャッタ（ＧＳ）の場合、フレーム毎にＯＰＤ画素の画素値が変化する。

フリッカ周期１周期前のフリッカ波形ｂに基づき、目標値（平均値ｄ）と各フレームのフリッカ周期１周期前のフリッカ波形ｂの平均値ａを用いて、平均値ａと平均値ｄとの差分である補正値ｃをフレーム毎に求める。補正値ｃをフリッカ波形ｂに適用した結果は、図８に示す補正後のフリッカ波形ｅとなる。露光量制御部１７０が補正量ｃに基づいて露光制御を行うことにより、補正後のフリッカ波形ｅでは、補正前の平均値ａがフリッカ波形ｅ上に移動している。これにより、輝度成分について、フリッカ現象による変動を抑制できる。

次に、第２のフリッカ補正部１５０によるフリッカ補正について説明する。上述したように、第２のフリッカ補正部１５０では、撮像素子１００がグローバルシャッタ（ＧＳ）かローリングシャッタ（ＲＳ）かに応じて補正方法が選択される。図８では、撮像素子１００がグローバルシャッタ（ＧＳ）であるため、画面全体に対して、ＲＧＢ毎にフリッカ補正を実施する。

図８に示す、第２のフリッカ補正部１５０で行われる処理では、説明の便宜上、１番目のフレームに対して行われる処理のみを示している。図８に示す波形ｆは、第２のフリッカ補正部１５０による補正前の輝度ＹとＲ,Ｇ,Ｂの画素値の関係を示している。第１のフリッカ補正部１４０において輝度Ｙによる補正を実施したことにより、輝度Ｙについては、補正前の平均値ａが目標値に補正されている。

一方、第１のフリッカ補正部１４０による補正を行った場合でも、輝度信号ＹとＲ，Ｇ，Ｂ信号との間には位相や振幅で差異がある。具体的に、第１のフリッカ補正部１４０による補正後のＲ信号、Ｇ信号、Ｂ信号は、図８の「第２のフリッカ処理部で行われる処理」の補正前の状態に示されている波形ｆのようになる。波形ｆでは、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれについて、中央の目標値に対してずれが生じていることが判る。

このため、第２のフリッカ補正部１５０は、画面全体のＲＧＢ値からＲＧＢ毎に補正量を計算し、画面全体に適用する。第２のフリッカ補正部１５０での処理は、第１のフリッカ補正部１４０での補正方法をＲ，Ｇ，Ｂ毎に適用したものとなる。例えば、Ｒ信号を補正する場合、１フレームの画面全体でＲ信号の画素値を積算し、フリッカ１周期分で積算値を平均し、これを目標値とする。補正を行う際には、１フレームの画面全体でＲ信号の画素値を積算し、目標値との乖離分を補正値として、補正値に相当するデジタルゲインをＲ信号の各画素値に乗算することで補正する。Ｂ信号、Ｇ信号についても、同様に補正を行う。デジタルゲインを画面全体に適用することで、例えば、画面内の一部の領域で被写体が動いたような場合に、その動きが補正値に与える影響を抑制することができ、ロバスト性の高いフリッカ補正を実現できる。

この際、第１のフリッカ補正部１４０での補正がＲ,Ｇ,Ｂ毎に各画素に適用されているため、第１のフリッカ補正部１４０により補正された分を差し引いた残りの目標値とのずれが、ＲＧＢ毎に第２のフリッカ補正部１５０で補正される。補正結果は、図８の「第２のフリッカ処理部で行われる処理」に示されている波形ｇのようになる。波形ｇに示すように、Ｒ信号、Ｇ信号、Ｂ信号が中央の目標値に補正されていることが判る。

図９は、撮像素子１００がローリングシャッタ（ＲＳ）の場合に、第１のフリッカ補正部１４０、第２のフリッカ補正部１５０による、アナログゲインを用いたフリッカ補正を示す模式図である。ローリングシャッタ（ＲＳ）の場合、ライン毎に画素値の読み出しが行われる。図９に示す処理では、フレーム内でのフリッカ波形ｂの挙動が図８と異なるが、処理の内容は図８と同じである。

ローリングシャッタ（ＲＳ）の場合、図９の各フレームの画像において、横方向のライン毎に順次に露光が行われる。このため、フリッカ現象による各フレームの横方向におけるライン毎のフリッカ波形ｂは、フリッカ現象に倣い、曲線状に変化する。

そして、図９に示すように、各フレームの画面全体から補正量ｃを求め、ライン毎に補正を実施する。図８と同様に、フリッカ周期の１周期分の平均値ｄを補正の目標値とし、各フレームのフリッカ波形ｂの平均値ａと平均値ｄとの差分を補正値ｃとする。補正値ｃを適用した結果は、図８に示す「第１のフリッカ処理部で行われる処理」に示される補正後のフリッカ波形ｅとなる。露光量制御部１７０が補正量ｃに基づいて露光制御を行うことにより、補正後のフリッカ波形ｅでは、補正前の平均値ａがフリッカ波形ｅ上に移動している。

ローリングシャッタ（ＲＳ）の場合、ライン毎に露光が行われて画素値が読み出されるため、各フレームのライン毎にフリッカ現象の輝度が反映されたフリッカ波形ｂとなる。そして、各フレームのライン毎に補正値ｃが一律に適用されるため、各フレームの補正後のフリッカ波形ｅは、ライン毎に値が異なるものになる。

第２のフリッカ補正部１５０では、図８と同様の処理を行う。すなわち、フリッカ補正部１４０で補正された分を差し引いた残りを、Ｒ，Ｇ，Ｂ毎にフリッカ補正部１５０で補正する。例えば、Ｒ信号を補正する場合、１フレームの画面全体でＲ信号の画素値を積算し、フリッカ１周期分で積算値を平均し、これを目標値とする。そして、補正対象のフレームのＲ信号の画素値の積算値を求め、目標値と補正するフレームのＲ信号の積算値との乖離分をデジタルゲインとして、Ｒ信号の各画素値を補正する。補正結果は、図９の「第２のフリッカ処理部で行われる処理」に示されている波形ｇのようになる。

図９に示す例では、各フレームの中央のラインでは、輝度信号Ｙ、Ｒ信号、Ｇ信号、Ｂ信号は、それぞれが中央の目標値に一致する。一方、第２のフリッカ補正部１５０による補正後の波形ｇにおいても、各フレームの中央のラインから離れるほど、Ｒ，Ｇ，Ｂ信号と目標値との乖離が生じる。

このため、図１０に示すように、Ｒ,Ｇ,Ｂ毎の積算値のフリッカ周期１周期分を使って、積算値を取得できない部分の値を補完アルゴリズムによって補完することで予測し、補正を行うようにしても良い。

図１０において、第１のフリッカ補正部１４０による処理は、図９と同様である。第２のフリッカ補正部１５０の処理では、Ｒ信号の場合を例に挙げて補正の処理を示している。第２のフリッカ補正部１５０の処理において、補正量ｈは、各フレームのＲ信号の積算値と目標値との乖離分から得られる値である。一方、補正値ｉは、各フレームの補正値ｈから推定することで求まる推定値である。フリッカ周波数(通常は１００Ｈｚまたは１２０Ｈｚ)の２倍以上の高速フレームレートで撮影をしている場合においては、サンプリング定理を満たすことで、補正値ｈから補正値ｉを予測することが可能である。

第２のフリッカ補正部１５０は、補正値ｈ、補正値ｉを用いて、第１のフリッカ補正部１４０で既に補正されたＲ信号、Ｇ信号、Ｂ信号の画素値を更に補正する。

このように、図１０に示す例では、面全体のＲＧＢ値からライン毎の補正量をＲＧＢ毎に推定し、ライン毎に補正を行う。

図１１は、補正値ｉを予測する方法を示す模式図であって、一例として、フレームレート１０００ｆｐｓ、光源周波数１００Ｈｚの場合の補間方法を示している。図１１中において、フレーム毎に画面内でのＲ，Ｇ，Ｂのそれぞれについて画素値の平均値（図中に四角でプロットした画面平均値）が求まる。そして、画面平均値に基づいて、図１１中に破線で示す推定値が求まる。画面平均値に基づく推定は、例えば、補間処理として一般的なラグランジュの補間を用いて行うことができる。図１１に示すように、推定値は、フリッカ現象に応じて周期的に増減を繰り返すことが判る。

例えば、図１１に示す１０フレーム目まで画面内でのＲＧＢの各信号の画面平均値が既に求められているものとする。フリッカ現象の周期がおよそＮフレーム分に相当するものとすると、１１フレーム目、１２フレーム目のＲＧＢの各信号の画面平均値は、Ｎ＋１フレーム前、Ｎフレーム前、Ｎ−１フレーム前、Ｎ−２フレーム前の画面平均値から求めることができる。そして、１１フレーム目、１２フレーム目のライン毎のＲＧＢの各信号は、Ｎ＋１フレーム前、Ｎフレーム前、Ｎ−１フレーム前、Ｎ−２フレーム前の画面平均値から推定することができる。

以上のように、１周期前の画面平均値を用いて各ラインのフリッカ波形を推定することで、その結果を現フレームの補正量に適用することができる。なお、フレームレートと光源周波数との関係により１周期前の画面平均値を用いることができない場合は、Ｍ周期前（Ｍは任意の整数とする）の平均ＯＰＤ値を用いる。

なお、ローリングシャッタ（ＲＳ）の場合にライン毎の補正を行わなくても良く、ローリングシャッタ（ＲＳ）の場合であっても、図９に示したように、ライン毎に補正量を求めずに画面全体に対しての補正量を求めて、画面単位で補正を実施しても良い。

なお、以上の説明では、ベイヤ配列の場合について説明したが、ＲＣＣＢ、ＲＣＣＧなど、ベイヤ配列以外の場合であっても、ベイヤ配列の場合と同様に、輝度と色に分けて処理を行うことで、フリッカを補正することができる。

３．本実施形態のバリエーションについて
図１Ｂは、第１のフリッカ補正部１４０による処理と、第２のフリッカ補正部１５０による処理を並列して行う例を示す模式図である。図１Ｂに示すように、第１のフリッカ補正部１４０による処理と、第２のフリッカ補正部１５０による処理は、並行して行うことができる。

また、図２は、アナログゲインをＲＧＢ毎に設定できる撮像素子１００を用いた例を示す模式図である。アナログゲインをＲＧＢ毎に設定できる撮像素子１００を使用する場合は、第１のフリッカ補正部１４０の機能と第２のフリッカ補正部１５０の機能を共に備えるフリッカ補正部１８０を使用することができ、第１のフリッカ補正部１４０と第２のフリッカ補正部１５０に分離する必要はない。この場合、ＲＧＢ毎のアナログゲインに基づいて、露光制御部１７０により、ＲＧＢ毎に露光量が制御される。

図３は、図１Ａの構成に加えて、目標とする対象物の検出を行うことができる対象物検出部１９０と、対象物を検出した後のフレームにおいて、対象物の場所を把握し続ける対象物トラッキング部２００を有する例を示す模式図である。また、図３に示す例では、対象物トラッキング部２００の後段に第３のフリッカ補正部２１０が設けられている。第３のフリッカ補正部２１０の機能は、第２のフリッカ補正部１５０の機能と同様であるが、トラッキングした対象物を含む所定領域で補正値を計算する点で第２のフリッカ補正部１５０と相違する。図３に示す例では、第３のフリッカ補正部２１０により、注目した対象物の付近からＲＧＢ毎に補正量を計算し、画面全体に補正を適用することが可能である。対象物の付近からＲＧＢ毎の補正量を算出することで、着目したい対象物におけるフリッカ補正を高精度に行うことができる。

図４は、図２と同様に、アナログゲインをＲＧＢ毎に設定できる撮像素子１００を用いた例を示す模式図である。図４に示す例では、第１のフリッカ補正部１４０と第２のフリッカ補正部１５０が設けられておらず、図２と同様に、第１のフリッカ補正部１４０の機能と第２のフリッカ補正部１５０の機能を共に備えるフリッカ補正部１８０が設けられている。

更に、図４に示す例では、図３と同様に、対象物検出部１９０と対象物トラッキング部２００が設けられており、対象物トラッキング部２００の後段に第３のフリッカ補正部２１０が設けられている。従って、注目した対象物の付近からＲＧＢ毎に補正量を計算し、画面全体に適用することが可能である。

図７Ａは、図３に示す構成例における処理の流れを示すフローチャートである。以下では、図７Ａに基づいて、図３に示す構成例における処理の流れを説明する。先ず、ステップＳ４０では、撮像素子１００がグローバルシャッタ（ＧＳ）であるか否かを判定し、グローバルシャッタ（ＧＳ）の場合はステップＳ４２へ進む。ステップＳ４２では、対象物検出部１９０により対象物を検出したか否かを判定する。

ステップＳ４２で対象物を検出した場合は、ステップＳ４４へ進む。ステップＳ４４では、対象物トラッキング部２００により対象物のトラッキングを行う。次のステップＳ４６では、画面内の対象物を含む所定領域の画像に基づいて、第３のフリッカ補正部２１０によりＲＧＢ毎に補正値を計算する。

一方、ステップＳ４２で対象物を検出していない場合は、ステップＳ４８へ進む。ステップＳ４８では、第２のフリッカ補正部１４０により、画面全体からＲＧＢ毎に補正量を算出する。

ステップＳ４６，Ｓ４８の後はステップＳ５０に進む。ステップＳ５０では、ステップＳ４６，Ｓ４８で求めた補正値に基づき、画面全体でフリッカ補正を行う。次のステップＳ５５では、信号処理部による信号処理を行う。以上のように、図３に示す構成例では、対象物検出部１９０により対象物が検出されていない場合は、第３のフリッカ補正部２１０によるフリッカ補正は行われずに、第２のフリッカ補正部１４０によるフリッカ補正が行われる。そして、第２のフリッカ補正部１４０によるフリッカ補正後の画像から対象物が検出された場合は、第３のフリッカ補正部２１０による対象物の領域付近でのフリッカ補正が行われる。第２のフリッカ補正部１４０によるフリッカ補正後の画像から対象物を検出することで、対象物を確実に検出することが可能となる。また、第２のフリッカ補正部１４０によるフリッカ補正後の画像から対象物が検出された場合は、第３のフリッカ補正部２１０による対象物の領域付近でのフリッカ補正を行うことで、着目したい対象物におけるフリッカ補正を高精度に行うことができる。第３のフリッカ補正部２１０によるフリッカ補正が開始すると、第２のフリッカ補正部１４０によるフリッカ補正は停止される。

また、ステップＳ４０でグローバルシャッタ（ＧＳ）でない場合、すなわちローリングシャッタ（ＲＳ）の場合は、ステップＳ５２へ進む。ステップＳ５２では、第２のフリッカ補正部１４０により、画面全体からＲＧＢ毎に補正値を計算し、次のステップＳ５４では、図１０に示したようにライン毎に補正を行う。ステップＳ５０，Ｓ５４の後はステップＳ５５へ進み、信号処理部１６０による信号処理が行われる。

図７Ａの処理では、ローリングシャッタ（ＲＳ）の場合は対象物検出を行わない場合を示したが、図７Ｂに示すように、ローリングシャッタ（ＲＳ）の場合に対象物検出を行うようにしても良い。図７Ｂの処理では、ステップＳ４０，Ｓ４２，Ｓ４４，Ｓ４６，Ｓ４８，Ｓ５０，Ｓ５５の処理は、図７Ａと同様に行われる。ステップＳ４０でローリングシャッタ（ＲＳ）と判定された場合は、ステップＳ６０へ進む。ステップＳ６０では、対象物検出部１９０により対象物を検出したか否かを判定する。

ステップＳ６０で対象物を検出した場合は、ステップＳ６２へ進む。ステップＳ６２では、対象物トラッキング部２００により対象物のトラッキングを行う。次のステップＳ６４では、画面内の対象物を含む所定領域の画像に基づいて、第３のフリッカ補正部２１０によりＲＧＢ毎に補正値を計算する。次のステップＳ６８では、画面全体でフリッカの補正を行う。

一方、ステップＳ６０で対象物を検出していない場合は、ステップＳ６６へ進む。ステップＳ６６では、第２のフリッカ補正部１５０により、画面全体からＲＧＢ毎に補正量を算出する。次のステップＳ７０では、図１０に示したように、ライン毎にフリッカ補正を行う。

ステップＳ６８，Ｓ７０の後はステップＳ５５に進む。ステップＳ５５では、ステップＳ６８，Ｓ７０で求めた補正値に基づき、画面全体でフリッカ補正を行う。以上のように、図７Ｂの処理によれば、撮像素子１００がローリングシャッタ（ＲＳ）の場合に、対象物をトラッキングしている場合は、対象物を含む所定領域の画像に基づいてＲＧＢ毎のフリッカ補正が行われる。また、撮像素子１００がローリングシャッタ（ＲＳ）の場合に、対象物をトラッキングしていない場合は、画面全体からＲＧＢ毎に補正量を算出し、ライン毎にフリッカ補正が行われる。

４．対象物の検出、トラッキングについて
図１２は、対象物検出部１９０による対象物の検出の例を示す模式図である。図１２に示す例においては、高速フレームレートで撮像された複数の撮像フレームから、トラッキングの対象となる対象物を検出する方法を示している。図１２では、対象物の一例として人間の手を示している。この手は、キーボードに対するタイピングのために、狭い領域において微小に移動しているものとする。なお、本実施形態において、対象物は、このような人間の手に限定されるものではない。

先ず、撮像したカラーの撮像フレームに対して画像処理を行い、図１２の左側に示すようなグレースケール化された撮像フレーム（元画像２００，２０２）を生成する。詳細には、例えば赤色（Ｒ）についてグレースケール化された撮像フレームを生成する場合には、カラーの撮像フレームにおける各画素の赤色（Ｒ）の画素値を色情報として抽出する。この場合、グレースケール化された撮像フレームにおいては、Ｒ画素値が高い画素は白くなり、Ｒ画素値が低い場合には黒くなる。元画像２００に対して、次フレームの元画像２０２は手の位置が移動している。

そして、グレースケール化された撮像フレームの各画素のＲ画素値を所定の閾値と比較し、例えば、所定の閾値以上の画素の画素値を１に変換し、所定の閾値未満の画素の画素値を０に変換する。このようにすることで、図１２の中央に示されるような２値化された撮像フレームの画像２１０，２１２を生成することができる。図１２の中央に示される２値化された２つの画像２１０，２１２では、手の画素値が１に変換され、手の周辺の画素値が０に変換されている。

なお、グレースケール化された撮像フレームを生成する際には、赤色、緑色、青色（ＲＧＢ）のいずれかの画素値を抽出しても良いし、３つの画素値の平均値を用いても良い。また、各画素値に重み付けした後に、各画素値を積算した値を用いてもよい。また、グレースケール化された撮像フレームを生成する際には、検出しようとする対象物の特徴に応じて、好適な色、方法を選択することが好ましい。

そして、図１２の中央上段に示す２値化された２つの撮像フレームの画像２１０，２１２を比較し、撮像フレーム間の差分をとった画像２１４を抽出することにより、画像２１４内で動きが生じた特定の領域（対象物）を抽出する。画像２１４において、手が動いた領域は画素値の差分が１になるため、白色で示されている。従って、画像２１４中において、白色で示された領域が、対象物（手）の動きとして検出されることになる。そして、このような処理を繰り返すことにより、対象物をトラッキングすることができる。

なお、本実施形態においては、対象物の検出は上述の方法に限定されるものではなく、例えば、対象物の特徴点を予め記憶しておき、撮像フレームから記憶した特徴点を抽出することにより、対象物の検出を行ってもよい。例えば、この場合、対象物が人物の顔であった場合には、人物の顔の特徴点（目、鼻、口）に基づいて、人物の検出を行う。

次に、対象物トラッキング部２００による対象物のトラッキングについて詳細に説明する。図１２の右側の画像２１６に示すように、対象物トラッキング部２００は、検出された対象物（手）に対して、トラッキング（追跡）を行う。

例えば、セルフウィンドウ法を用いて、高速フレームレートで撮像された連続した複数の撮像フレームにおいて、対象物をトラッキングし続ける。セルフウィンドウ法は、高速フレームレートで撮像された撮像フレームにおいて、対象物をトラッキングするアルゴリズムの一種である。高速フレームレートで撮像した場合、複数の撮像フレームにおける対象物の移動距離（差分）は小さい。従って、前の撮像フレームにおける対象物の周囲の領域に、当該対象物を抽出するための抽出ウィンドウを設定した場合、次の撮像フレームにおいても、当該対象物は上記抽出ウィンドウの中に含まれることとなる。

より具体的には、抽出ウィンドウは、前の撮像フレームにおける対象物を示す画素領域に対して１画素分だけ外側に膨らませた画素領域として設定される。もし、次の撮像フレームレートにおいて対象物が設定した抽出ウィンドウに含まれていない場合には、フレームレートを更に高速にすることにより、対象物を抽出ウィンドウに含まれるようにすることができる。そして、対象物の移動距離が小さいことから、対象物を探査する範囲である抽出ウィンドウの面積を狭くすることができる。従って、抽出ウィンドウ内で画像のマッチング等を行うことにより、対象物を容易に検出することが可能となる。図１２の例では、手を検出するために肌色を用い、肌色を構成するＲ，Ｇ，Ｂの画素値が抽出ウィンドウにあるか否かで、対象物をトラッキングすることが可能である。

なお、抽出ウィンドウは、前の撮像フレームにおける対象物を示す画素領域に対して１画素分だけ外側に膨らませた画素領域として設定されるとして説明したが、本実施形態においては１画素分だけ膨らませることに限定されるものではない。例えば、２以上の画素分だけ膨らませた画素領域を抽出ウィンドウとして設定してもよい。膨らませる画素の数は、例えば、フレームレートと対象物の速度等に応じて適宜選択することができる。

また、次の撮像フレームレートにおいて、対象物が設定した抽出ウィンドウに含まれていない場合には、フレームレートを更に高速にするものとしたが、このような方法に限定されるものではない。例えば、抽出ウィンドウの設定の際に膨らせる画素の数を調整することにより、対象物を当該抽出ウィンドウに含まれるようにしても良い。

さらに、セルフウィンドウ法は、前の撮像フレームから計算される抽出ウィンドウと、次の２値化された対象物の画像の間での論理積を計算することにより、ターゲット抽出画像を生成し、対象物をトラッキングする。また、セルフウィンドウ法によれば、前後の撮像フレームのターゲット抽出画像との間での対象物の画像を比較することにより、対象物の位置情報、面積（形状）情報だけでなく、対象物の移動方向、移動速度等の情報も取得することができる。以上の説明から明らかなように、セルフウィンドウ法を用いる場合、対象物をトラッキングする際に用いる撮像フレームは、高速フレームレートにて撮像されていることが好ましい。

なお、本実施形態においては、対象物のトラッキングは、上述の例に限定されるものではなく、他の方法を用いてもよい。例えば、本実施形態においては、前後の撮像フレームに共通する特徴点に基づいて、対象物のトラッキングを行ってもよい。

以上説明したように本実施形態によれば、第１のフリッカ補正部１４０によるフリッカ補正を行うことで、撮像素子１００で取得されたアナログデータの時点で、サチュレーション(白とび、黒潰れ)の発生を抑制でき、Ｓ／Ｎを高めることができる。また、撮像素子１００の移動、動被写体に対してもロバスト性のあるフリッカ補正方法を提供することが可能となる。

４．応用例
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

図１３は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図１３に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１３では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

ここで、図１４は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図１４には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

図１３に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global System of Mobile communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long Term Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１３の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

なお、図１３に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

以上説明した車両制御システム７０００において、図１等を用いて説明した本実施形態に係る撮像装置１０００情報処理装置１００は、図１３に示した応用例の撮像部７４１０に適用することができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１） 画像の輝度平均値を算出し、前記輝度平均値の周期的な変化に基づいて前記画像の輝度を補正する第１の補正部と、
前記画像の色情報を取得し、前記色情報の周期的な変化に基づいて前記色情報を補正する第２の補正部と、
を備える、画像処理装置。
（２） 前記第１の補正部は、複数のフレームにおける前記輝度平均値を平均して得られる値を目標値として、前記画像の輝度が当該目標値になるように補正する、前記（１）に記載の画像処理装置。
（３） 前記複数のフレームは、フリッカ現象による輝度変化の少なくとも１周期分を含む、前記（２）に記載の画像処理装置。
（４） 前記第１の補正部が前記輝度平均値の周期的な変化に基づいて算出した補正値に基づいて、前記画像の露光量を制御する露光量制御部を備える、前記（１）〜（３）のいずれかに記載の画像処理装置。
（５） 前記第２の補正部は、前記第１の補正部による補正が行われた前記画像に対して補正を行う、前記（１）〜（４）のいずれかに記載の画像処理装置。
（６） 前記第２の補正部は、前記画像の複数の前記色情報の値をそれぞれの積算値を求め、複数のフレームにおける前記積算値を平均して得られる値を目標値として、前記積算値が当該目標値となるように複数の前記色情報のそれぞれを補正する、前記（１）〜（５）のいずれかに記載の画像処理装置。
（７） 前記複数のフレームは、フリッカ現象による前記色情報の変化の少なくとも１周期分を含む、前記（６）に記載の画像処理装置。
（８） 複数の前記色情報は、赤、緑、青の３色の前記色情報である、前記（６）に記載の画像処理装置。
（９） 前記第２の補正部は、前記色情報を前記画像の全体で一律に補正する、前記（１）〜（８）のいずれかに記載の画像処理装置。
（１０） 前記第２の補正部は、前記色情報の画素配列のライン毎に補正する、前記（１）〜（８）のいずれかに記載の画像処理装置。
（１１） 前記第２の補正部は、１フレーム内の任意のラインについては、前記積算値に基づいて補正を行い、
前記任意のライン以外のラインについては、前記積算値から推定される推定値に基づいて補正を行う、前記（６）に記載の画像処理装置。
（１２） 前記画像内で対象物を検出する対象物検出部と、
前記対象物をトラッキングするトラッキング部と、を備え、
前記第２の補正部は、前記トラッキングした前記対象物を含む所定領域で前記色情報を補正する、前記（１）〜（１１）のいずれかに記載の画像処理装置。
（１３） 画像の輝度平均値を算出し、前記輝度平均値の周期的な変化に基づいて画像の輝度を補正することと、
前記画像の色情報を取得し、前記色情報の周期的な変化に基づいて前記色情報を補正することと、
を備える、画像処理方法。
（１４） 被写体の画像を撮像する撮像素子と、
前記画像の輝度平均値を算出し、前記輝度平均値の周期的な変化に基づいて前記画像の輝度を補正する第１の補正部と、前記画像の色情報を取得し、前記色情報の周期的な変化に基づいて前記色情報を補正する第２の補正部と、を有する画像処理装置と、
を備える、撮像装置。

１００ 撮像素子
１４０ 第１のフリッカ補正部
１５０ 第２のフリッカ補正部
１７０ 露光制御部
１０００ 撮像装置

Claims (14)

1. 画像の輝度平均値を算出し、前記輝度平均値の周期的な変化に基づいて前記画像の輝度を補正する第１の補正部と、
   前記画像の色情報を取得し、前記色情報の周期的な変化に基づいて前記色情報を補正する第２の補正部と、
   を備える、画像処理装置。
2. 前記第１の補正部は、複数のフレームにおける前記輝度平均値を平均して得られる値を目標値として、前記画像の輝度が当該目標値になるように補正する、請求項１に記載の画像処理装置。
3. 前記複数のフレームは、フリッカ現象による輝度変化の少なくとも１周期分を含む、請求項２に記載の画像処理装置。
4. 前記第１の補正部が前記輝度平均値の周期的な変化に基づいて算出した補正値に基づいて、前記画像の露光量を制御する露光量制御部を備える、請求項１に記載の画像処理装置。
5. 前記第２の補正部は、前記第１の補正部による補正が行われた前記画像に対して補正を行う、請求項１に記載の画像処理装置。
6. 前記第２の補正部は、前記画像の複数の前記色情報の値をそれぞれの積算値を求め、複数のフレームにおける前記積算値を平均して得られる値を目標値として、前記積算値が当該目標値となるように複数の前記色情報のそれぞれを補正する、請求項１に記載の画像処理装置。
7. 前記複数のフレームは、フリッカ現象による前記色情報の変化の少なくとも１周期分を含む、請求項６に記載の画像処理装置。
8. 複数の前記色情報は、赤、緑、青の３色の前記色情報である、請求項６に記載の画像処理装置。
9. 前記第２の補正部は、前記色情報を前記画像の全体で一律に補正する、請求項１に記載の画像処理装置。
10. 前記第２の補正部は、前記色情報の画素配列のライン毎に補正する、請求項１に記載の画像処理装置。
11. 前記第２の補正部は、１フレーム内の任意のラインについては、前記積算値に基づいて補正を行い、
    前記任意のライン以外のラインについては、前記積算値から推定される推定値に基づいて補正を行う、請求項６に記載の画像処理装置。
12. 前記画像内で対象物を検出する対象物検出部と、
    前記対象物をトラッキングするトラッキング部と、を備え、
    前記第２の補正部は、前記トラッキングした前記対象物を含む所定領域で前記色情報を補正する、請求項１に記載の画像処理装置。
13. 画像の輝度平均値を算出し、前記輝度平均値の周期的な変化に基づいて画像の輝度を補正することと、
    前記画像の色情報を取得し、前記色情報の周期的な変化に基づいて前記色情報を補正することと、
    を備える、画像処理方法。
14. 被写体の画像を撮像する撮像素子と、
    前記画像の輝度平均値を算出し、前記輝度平均値の周期的な変化に基づいて前記画像の輝度を補正する第１の補正部と、前記画像の色情報を取得し、前記色情報の周期的な変化に基づいて前記色情報を補正する第２の補正部と、を有する画像処理装置と、
    を備える、撮像装置。