JP2006140982A - 車載画像処理装置、および画像処理方法 - Google Patents

Abstract

【課題】 撮像素子に起因して発生する固定パターンノイズを画像から除去すること。
【解決手段】 カメラ１０１で撮像した画像を画像メモリ１０２に重畳して蓄積し、制御装置１０３は、蓄積した蓄積画像から空間高周波成分を抽出して、抽出した空間高周波成分を固定パターンノイズを除去するための補正データとして画像を補正する。
【選択図】 図１

Description

本発明は、撮像した画像からノイズを除去する車載画像処理装置、および画像処理方法に関する。

次のような撮像表示装置が特許文献１によって知られている。動作モードがノイズ抽出モードに切り替えられたときに、シャッターを開放状態から遮断状態に切り替え、そのときに撮像装置から出力される各画素の信号レベルを固定パターンノイズルとして抽出する。そして、動作モードが補正モードに切り替わると、ノイズ抽出モードで抽出した固定パターンノイズに基づいて算出した補正データに基づいて、シャッターを開放して撮像した画像からノイズを除去する。

特開２００２−３４４８１６号公報

しかしながら、従来の装置においては、補正データを算出するための固定パターンノイズを抽出するために、ノイズ抽出モードに切り替えてシャッターを開放状態から遮断状態に切り替える必要があるため、連続画像を撮像する装置には適用できないという問題が生じていた。

本発明は、撮像手段に起因して前記撮像手段で撮像した画像に発生する固定パターンノイズを除去するための車載画像処理装置、および画像処理方法であって、撮像手段で撮像した複数の画像を重畳して蓄積し、蓄積した蓄積画像に含まれる空間高周波成分を固定パターンノイズを除去するための補正データとして抽出し、抽出した補正データに基づいて、撮像手段で撮像した画像から固定パターンノイズを除去することを特徴とする。

本発明によれば、撮像手段で撮像した複数の画像を重畳して蓄積した蓄積画像から固定パターンノイズを除去するための補正データを抽出することとした。これによって、補正データを抽出するために、画像の撮像を停止する必要がなく、連続画像を撮像しながら補正データを抽出することができる。

―第１の実施の形態―
図１は、第１の実施の形態における車載画像処理装置の一実施の形態の構成を示すブロック図である。車載画像処理装置１００は、車両に搭載され、自車両前方の画像を撮像するカメラ１０１と、カメラ１０１で撮像した画像を蓄積する画像メモリ１０２と、後述する画像処理を実行して、画像のノイズを除去する制御装置１０３と、画像を表示するモニタ１０４と、自車両の車速を検出する車速センサ１０５とを備えている。

カメラ１０１は、撮像素子として例えばＣＭＯＳセンサを有し、車速センサ１０５からの出力に基づいて、自車両が走行を開始したことを検出すると、一定時間Δｔ間隔で連続的に車両前方を撮像する。この車両走行中に撮像された撮像画像はモニタ１０４に表示され、同時に画像メモリ１０２へ出力され、後述する蓄積画像として蓄積される。このとき、一般にＣＭＯＳセンサで撮像した画像には、固定パターンノイズ（ＦＰＮ）が発生するため、これを除去する必要が生じる。そこで、制御装置１０３は、以下に説明するように、画像メモリ１０２に蓄積した蓄積画像からＦＰＮ補正データを抽出して、ＦＰＮ補正を行ってノイズを除去する。

制御装置１０３は、画像メモリ１０２から蓄積画像を読み込む。蓄積画像は、車両走行中にカメラ１０１によって一定時間間隔で連続的に撮像された車両前方の画像を重畳して蓄積したものであり、図２に示すように物体の形状あるいは輪郭が明確ではない画像、すなわちぼけた画像となる。この蓄積画像２ｂに対して画像の水平方向に分割した領域を横ライン２ｃとして設定する。横ライン２ｃは、画像垂直方向に所定画素、例えば１画素分の高さを有する。この横ライン２ｃで囲まれた蓄積画像２ｂ上の領域において、水平方向の各画素位置における輝度出力値を算出すると図３に示すようになる。

図３（ａ）に示す、横ライン２ｃにおける水平方向の画素位置に対する輝度出力値の特性を示すグラフにおいて、一般的にはＦＰＮの発生によって特定の画素位置で、例えば符号３ａに示すような高周波成分が検出されることになる。この横ライン２ｃにおいて、もしＦＰＮが発生していない場合には、蓄積画像２ｂはぼけた画像であるため、空間高周波成分を持たない画像として図３（ｂ）のような特性を得ることが期待される。このことを考慮すると、図３（ａ）に示す横ライン２ｃにおける水平方向の画素位置に対する輝度出力値の特性に対して、ハイパスフィルタ（ＨＰＦ）を適用し、横ライン２ｃ内の空間高周波成分を抽出することによって、図３（ｃ）に示すように、横ライン２ｃ内の水平方向の画素位置に対するＦＰＮ成分のみを抽出することができる。

したがって、蓄積画像２ｂの全体に対して横ライン２ｃごとに空間高周波成分を抽出すれば、蓄積画像２ｂにおける画素単位に発生したＦＰＮ成分を抽出することができる。この抽出した画素単位のＦＰＮ成分をＦＰＮ補正データとして、カメラ１０１で連続的に撮像される撮像画像に対してＦＰＮ補正を行う。すなわち、カメラ１０１で連続的に撮像される各撮像画像とＦＰＮ補正データとの差分を算出して、その算出結果をＦＰＮ補正後の画像としてモニタ１０４へ出力する。これによって、撮像画像から固定パターンノイズを除去してモニタ１０４に表示することが可能となる。なお、第１の実施の形態においては、車速センサ１０５からの出力に基づいて、自車両が走行を開始したことを検出した場合に、所定時間間隔、例えば１秒間隔でＦＰＮ補正を実行することとする。

図４は、第１の実施の形態における車載画像処理装置１００の処理を示すフローチャートである。図４に示す処理は、車両のイグニションスイッチがオンされて、車載画像処理装置１００の電源がオンされると制御装置１０３によって実行される。ステップＳ１０において、車速センサ１０５からの出力に基づいて、自車両が走行を開始したか否かを判断する。自車両が走行を開始したと判断した場合には、ステップＳ２０へ進む。ステップＳ２０では、カメラ１０１で撮像された画像の画像メモリ１０２への蓄積を開始する。すなわち、カメラ１０１で連続的に撮像される画像を重畳して蓄積し、蓄積画像２ｂを得る。その後、ステップＳ３０へ進み、画像メモリ１０２から蓄積画像２ｂの読み込みを開始して、ステップＳ４０へ進む。

ステップＳ４０では、読み込んだ蓄積画像２ｂに対して、上述した横ライン２ｃを設定してステップＳ５０へ進む。ステップＳ５０では、横ライン２ｃ内における水平方向の各画素位置における輝度出力値を算出する。その後、ステップＳ６０へ進み、横ライン２ｃにおける水平方向の画素位置に対する輝度出力値の特性に対して、ＨＰＦを適用し、横ライン２ｃ内の水平方向の画素位置に対するＦＰＮ成分を抽出する。その後、ステップＳ７０へ進み、ステップＳ５０およびステップＳ６０の処理を蓄積画像２ｂ全体に対して行ったか否かを判断する。蓄積画像２ｂ全体への処理が完了していないと判断した場合には、蓄積画像２ｂ全体に対する処理が完了するまで、ステップＳ５０およびステップＳ６０の処理を繰り返す。一方、蓄積画像２ｂ全体への処理が完了したと判断した場合には、ステップＳ８０へ進む。

ステップＳ８０では、上述したように、抽出したＦＰＮ成分をＦＰＮ補正データとして、カメラ１０１で連続的に撮像される撮像画像に対して上述したＦＰＮ補正を行う。その後、ステップＳ９０へ進み、ＦＰＮ補正の実行間隔としてあらかじめ設定されている所定時間が経過したか否かを判断する。所定時間が経過していないと判断した場合には、所定時間が経過するまでステップＳ９０に止まり、所定時間が経過したと判断した場合には、ステップＳ１００へ進む。

ステップＳ１００では、車両のイグニションスイッチがオフされたか否かを判断し、オフされないと判断した場合には、ステップＳ３０へ戻って処理を繰り返す。一方、イグニションスイッチがオフされたと判断した場合には、ステップＳ１１０へ進む。ステップＳ１１０では、蓄積画像２ｂの蓄積を終了し、画像メモリ１０２に蓄積した蓄積画像２ｂを削除して、処理を終了する。

以上説明した第１の実施の形態によれば、以下のような作用効果を得ることができる。
（１）カメラ１０１で連続撮像した画像を重畳して得た蓄積画像に基づいてＦＰＮ補正データを抽出し、撮像画像に対してＦＰＮ補正を行うこととした。これによって、画像を撮像しながらＦＰＮ補正データを得ることができ、リアルタイムでの補正データの抽出が可能である。
（２）このようにリアルタイムに算出したＦＰＮ補正データに基づいて、ＦＰＮ補正を実行することとしたため、温度変化や経時変化の影響を受けやすいＦＰＮに対し、常に最新のＦＰＮ補正データを用いて補正を行なうことができるため、ノイズの小さい高画質の映像を出力することができる。
（３）カメラ１０１で連続撮像して得た蓄積画像に基づいてＦＰＮ補正データを算出するため、ＦＰＮ補正データを算出するための特別な機器を搭載する必要がなく、コスト的に有利となる。
（４）車両の走行が検出された場合に、蓄積画像の蓄積を開始して、車両のイグニションスイッチがオフされるまで蓄積を継続することとした。これによって、走行を開始してからの経過時間が長くなるほど、蓄積画像の元となる画像のサンプル数が増えるため、十分にぼけた画像を得ることができ、算出するＦＰＮ補正データの精度を向上することができる。

―第２の実施の形態―
第１の実施の形態では、車両が走行を開始した後に、カメラ１０１で一定時間Δｔ間隔で連続的に車両前方を撮像した画像を車両が停止するまで蓄積して蓄積画像を得ることとした。これに対して、第２の実施の形態では、車載画像処理装置を搭載した車両の挙動、例えばコーナーリングに伴って発生するヨーイングを監視する。そして、自車両にヨーイングが発生した場合には、連続して撮像した撮像画像の横方向の変化が大きくなるため、短い蓄積時間で十分にぼけた画像を得ることができることを考慮して、そのときに検出されるヨーレートに基づいて、蓄積画像を得るための最適な撮像画像の蓄積時間を算出する。

そして、算出された蓄積時間だけ画像メモリ１０２に画像を蓄積し、このときに得られる蓄積画像に基づいて、第１の実施の形態で上述したようにＦＰＮ補正データを算出して、画像に対してＦＰＮ補正を実行する。なお、図１に示したブロック図、図２に示した蓄積画像の具体例、および図３に示した横ライン２ｃ内の水平方向の各画素位置における輝度出力値を示すグラフの具体例については、第１の実施の形態と同様のため説明を省略する。

制御装置１０３は、カメラ１０１で撮像された複数のフレームから画像上の物体の移動量を算出して、算出した物体の横方向の移動量が所定値以上であれば自車両にヨーイングが発生したことを検出し、そのときのヨーレートを算出する。そして、算出した自車両のヨーレートに基づいて、次式（１）および（２）により蓄積時間を算出する。すなわち、蓄積時間をΔＴ、算出したヨーレートをΔθとすると、自車両のヨーイングにともなう蓄積時間ΔＴの間における画像の動きθは、次式（１）によって算出される。
θ＝Δθ・ΔＴ・・・（１）

また、カメラ１０１の画角をφ、撮像素子（ＣＭＯＳセンサ）の水平方向の画素数をＮとすると、自車両のヨーイングにともなって蓄積画像２ｂに蓄積される画素数Ｍは、次式（２）によって算出される。
Ｍ＝（θ／φ）・Ｎ＝（Δθ・ΔＴ／φ）・Ｎ・・・（２）

式（２）により算出される自車両のヨーイングにともなって蓄積画像２ｂに蓄積される画素数Ｍは、画像がぼける量の大きさを表しているため、Ｍがあらかじめ設定した所定値（≧１）に近似するように、蓄積時間ΔＴを決定する。なお、Ｍを近似させる所定値は、ＦＰＮ補正データを算出するために十分にぼけた画像を得るために必要とされる値であり、ヨーレートΔθの値に対応して設定される。これによって、蓄積画像２ｂの蓄積時に発生している車両挙動に応じた、最適な蓄積時間ΔＴを算出することができる。

図５は、第２の実施の形態における車載画像処理装置１００の処理を示すフローチャートである。図５に示す処理は、車両のイグニションスイッチがオンされて、車載画像処理装置１００の電源がオンされると制御装置１０３によって実行される。なお、図５においては、図４に示す第１の実施の形態における処理と同一の処理内容については、同じステップ番号を付与し、相違点を中心に説明する。ステップＳ１１において、自車両にヨーイングが発生したか否かを判断する。自車両にヨーイングが発生したと判断した場合には、ステップＳ１２へ進む。

ステップＳ１２では、自車両のヨーレートを算出して、上述したように式（１）、および（２）により、算出したヨーレートΔθ値に応じた、最適な蓄積時間ΔＴを算出する。その後、ステップＳ２０へ進み、蓄積画像２ｂの蓄積を開始して、ステップＳ２１へ進む。ステップＳ２１では、算出した蓄積時間ΔＴが経過したか否かを判断して、蓄積時間ΔＴが経過したと判断した場合には、ステップＳ２２へ進む。ステップＳ２２では、蓄積画像２ｂの蓄積を終了してステップＳ３０へ進む。

また、ステップＳ７１において、蓄積時間ΔＴの間蓄積した蓄積画像２ｂに基づいて、ＦＰＮ成分を抽出し、ＦＰＮ補正データを算出した後には、このとき画像メモリ１０２に保存された蓄積画像２ｂは不要となるため、削除する。そして、再度ステップＳ１１で自車両にヨーイングが発生したことを検出した場合に、そのときのヨーレートに応じて算出された蓄積時簡に基づいて、蓄積画像２ｂを新たに蓄積する。

以上説明した第２の実施の形態によれば、第１の実施の形態における効果に加えて、以下のような作用効果を得ることができる。
（１）自車両にヨーイングが発生したときのみ、画像の蓄積を行うこととした。これによって、車両にヨーイングが発生した場合には、連続して撮像した撮像画像の横方向の変化が大きくなることから、短い蓄積時間で十分にぼけた画像を得ることができる。
（２）式（２）により算出される自車両のヨーイングにともなって蓄積画像２ｂに蓄積される画素数Ｍが、ヨーレートΔθの値に対応してあらかじめ設定した所定値（≧１）に近似するように、蓄積時間ΔＴを決定することとした。これによって、蓄積画像２ｂの蓄積時に発生している車両挙動に応じた、最適な蓄積時間ΔＴを算出することができる。
（３）画像メモリ２０３に算出した蓄積時間分の画像しか蓄積しないため、蓄積する蓄積画像のサイズを小さくすることができ、さらに画像処理対象の画像サイズが小さくなることから、処理速度を向上することができる。

―第３の実施の形態―
第３の実施の形態では、車両のワイパーを動作させた状態で撮像した画像からワイパーが映っている領域のみを抽出し、抽出した領域を重畳して蓄積画像を得る。そして、この蓄積画像に対して、後述する画像処理を実行することによって、蓄積画像からＦＰＮ補正データを抽出し、ＦＰＮ補正を行ってノイズを除去する。

図６は、第３の実施の形態における車載画像処理装置の一実施の形態の構成を示すブロック図である。図６において、第１の実施の形態における図１と同様の構成要素については、同じ符号を付与し、相違点を中心に説明する。車載画像処理装置１００は、車両のワイパーの動作を制御するワイパー制御装置１０６と、後述する画素カウンタのカウント値を格納するカウンタメモリ１０７とを備えている。なお、図３に示す横ライン内の水平方向の各画素位置における輝度出力値を示すグラフの具体例については、第１の実施の形態と同様のため説明を省略する。

第３の実施の形態では、制御装置１０３は、使用者によって不図示の入力装置が操作され、ＦＰＮ補正の実行が指示された場合には、ワイパー制御装置１０６を制御してワイパーの動作を開始する。そして、ワイパーが動作している状態でカメラ１０１で撮像した各フレームの画像からワイパーが映っている領域のみを抽出して、抽出した領域を重畳しながら画像メモリ１０２に蓄積していく。なお、ＦＰＮ補正の実行は、使用者によって開始が指示された場合のほか、一定の時間間隔ごとに所定のタイミングで実行するようにしてもよい。

この実施の形態においては、画像内に存在する物体の画像上の移動速度を算出して、後述するように、画像内におけるワイパーの画像上の移動速度と、その他の車両前方に存在する物体の画像上の移動速度とは、それぞれのカメラ１０１からの距離との違いにより、大きく異なることを考慮して、画像内からワイパーが映っている領域を抽出する。

まず、画像内に存在する物体の画像上の移動速度を算出して、撮像画像内における物体の移動方向と移動速度とをベクトルで表したオプティカルフローを次のように算出する。すなわち、カメラ１０１で撮像された撮像画像に対して所定の閾値を用いて２値化することによって、画像内に存在する物体のエッジを抽出する。抽出した画像内の各エッジに対して、細線化処理を行ってエッジの中心を正確に求める。そして、細線化されたエッジを、エッジ幅が一定の幅、例えば３画素分の幅になるように膨張させる。このように抽出したエッジを正規化することによって、各エッジが均一な幅を持ったエッジ画像を得ることができる。

なお、図７は、上述した抽出したエッジを正規化して、エッジ画像を得るために行う各処理の具体例を示す図である。すなわち、図７（ａ）に示す２値化して得たエッジに対して、細線化処理を行って図７（ｂ）に示す細線化後のエッジを得る。そして、細線化したエッジを膨張させ、図７（ｃ）に示すようにエッジに一定の幅を持たせる。

その後、カウンタメモリ１０７に保存された画素カウンタの内、現在エッジ画像内にエッジが存在している画素に対応した画素カウンタのカウント値を更新する。画素カウンタとは、エッジ画像の各画素に対応したカウンタであり、エッジが存在する画素に対応する画素カウンタのカウント値に１を加算し、エッジが存在しない画素に対応する画素カウンタのカウント値は０で初期化する。このカウンタ値の更新処理を、カメラ１０１で連続的に撮像される毎フレームごとに行うことで、エッジ存在時間が長い画素はカウント値が大きく、エッジ存在時間が短い画素はカウント値が小さくなる。

そして、エッジ画像において、横方向に隣接するそれぞれの画素に対応する画素カウンタのカウント値の差分を取ることで各画素におけるエッジ存在時間の差を算出して、当該エッジが１画素移動するのに要する時間を得る。そして、この値の逆数を得ることで、各画素における画像空間内の横方向の速度を算出することができる。この各画素における画像空間内の横方向の速度は、各画素に含まれるエッジの横方向の速度に相当する。エッジの縦方向の速度についても、縦方向に隣接するそれぞれの画素に着目して同様の処理を行うことにより算出可能である。これによって、画像上の各画素におけるエッジの速度情報、すなわちエッジの移動方向と移動速度とを算出することができる。

以上の処理によって算出した、画像上の物体の移動方向、および移動速度をベクトルで表したオプティカルフローを算出し、当該オプティカルフローに基づいて、画像内からワイパーが映っている領域を抽出する。すなわち、上述したように、画像内におけるワイパーの画像上の移動速度と、その他の車両前方に存在する物体の画像上の移動速度とは大きく異なることを考慮して、画像内からワイパーが映っている領域を抽出する。

例えば、カメラ１０１の焦点距離を１、カメラ１０１の焦点位置から画像内に存在する物体までの距離をＺ、物体の実空間上での幅をｒ、物体の画像上での幅をｘとすると、次式（３）に示す関係式が成立する。
ｘ＝（１／Ｚ）×ｒ・・・（３）
そして、式（３）を時間ｔで微分すると、次式（４）により物体の画像上の移動速度が得られる。
ｄｘ／ｄｔ＝（１／Ｚ）×ｄｒ／ｄｔ・・・（４）

式（４）より、画像上の物体の速度は、カメラ１０１の焦点位置から画像内に存在する物体までの距離Ｚに反比例し、物体の実空間上における速度に比例することがわかる。例えば、図８に示すように、撮像画像内に壁８ａ、自車両前方に進行してくる他車両８ｂ、およびワイパー８ｃが存在するときについて考える。この場合、カメラ１０１の焦点位置から他車両８ｂまでの距離が１０ｍで、その実空間上の速度が１００ｋｍ／ｈ（≒２７ｍ／ｓ）、カメラ１０１の焦点位置からワイパー８ｃまでの距離が１０ｃｍで、その実空間上の速度が１ｍ／ｓとすると、式（２）より、他車両８ｂの画像上の移動速度ｖ１、およびワイパー８ｃの画像上の移動速度ｖ２は、次式（５）、および（６）によって算出される。
ｖ１＝２７／１０＝２．７・・・（５）
ｖ２＝１／０．１＝１０・・・（６）

式（５）、および（６）による算出結果より、上述した条件におけるワイパー８ｃの画像上の移動速度ｖ２は、他車両８ｂの画像上の移動速度ｖ１よりも約３倍速く検出されることがわかる。このように、自車両の前方１０ｍの地点を時速１００ｋｍで走行する他車両８ｂのように、実空間上で極めて近距離を高速で移動する物体であっても、画像上においてはワイパー速度の１／３程度の移動速度しか検出されないことを考慮すると、検出された物体の画像上の速度が、所定の閾値、例えば５ｍ／ｓ以上である物体は、ワイパーであると判定することができる。したがって、オプティカルフローにおいて、各画素に含まれるエッジの移動速度が所定の閾値以上である領域を抽出することによって、ワイパーから検出されたエッジが含まれる領域を抽出することができ、撮像画像内からワイパーが映っている領域を抽出することができる。

このように各フレームから抽出したワイパーが映っている領域を、上述したように画像メモリ１０２に重畳して蓄積していくことによって、図９に示すように蓄積画像９ａとして均一な黒色画像を得ることができる。この蓄積画像９ａに対して第１および第２の実施の形態と同等に、画像垂直方向に所定画素、例えば１画素分の高さを有する横ライン９ｂを設定する。この均一な黒色画像の蓄積画像９ａは、第１および第２の実施の形態で上述した蓄積画像２ｂ、すなわちぼけた画像に相当する画像であることから、横ライン９ｂで囲まれた蓄積画像９ａ上の領域において、水平方向の各画素位置における輝度出力値を算出すると、上述した図３に示すようになる。

したがって、上述した第１の実施の形態と同様に、図３（ａ）に示す横ライン９ｂにおける水平方向の画素位置に対する輝度出力値の特性に対して、ハイパスフィルタ（ＨＰＦ）を適用し、横ライン９ｂ内の空間高周波成分を抽出することによって、図３（ｃ）に示すように、横ライン９ｂ内の水平方向の画素位置に対するＦＰＮ成分のみを抽出することができる。

よって、蓄積画像９ａの全体に対して横ライン９ｂごとに空間高周波成分を抽出すれば、蓄積画像９ａにおける画素単位に発生したＦＰＮ成分を抽出することができる。この抽出した画素単位のＦＰＮ成分をＦＰＮ補正データとして、カメラ１０１で連続的に撮像される撮像画像に対してＦＰＮ補正を行う。すなわち、カメラ１０１で連続的に撮像される各撮像画像とＦＰＮ補正データとの差分を算出して、その算出結果をＦＰＮ補正後の画像としてモニタ１０４へ出力する。これによって、撮像画像から固定パターンノイズを除去してモニタ１０４に表示することが可能となる。なお、本実施の形態においては、ワイパーの動作を開始した後は、所定時間間隔、例えば１秒間隔でＦＰＮ補正を実行することとする。

図１０は、第３の実施の形態における車載画像処理装置１００の処理を示すフローチャートである。図１０に示す処理は、使用者によって不図示の入力装置が操作され、ＦＰＮ補正の開始が指示されると制御装置１０３によって実行される。なお、図１０においては、図４に示す第１の実施の形態における処理と同一の処理内容については、同じステップ番号を付与し、相違点を中心に説明する。また、上述したように、ＦＰＮ補正の実行は、使用者によって開始が指示された場合のほか、一定の時間間隔ごとに所定のタイミングで実行するようにしてもよい。

ステップＳ１３において、ワイパー制御装置１０６を制御し、ワイパーの動作を開始してステップＳ１４へ進む。ステップＳ１４では、上述したように撮像画像内からワイパーが映っている領域（ワイパー領域）を抽出し、画像メモリ１０２への蓄積を開始する。すなわち、カメラ１０１で連続的に撮像される画像から抽出したワイパー領域を重畳して蓄積し、蓄積画像９ａを得る。その後、ステップＳ３０へ進み、蓄積画像９ａに対して上述した第１の実施の形態と同様の処理を実行する。

以上説明した第３の実施の形態によれば、第１の実施の形態の作用効果に加えて、以下のような効果を得ることができる。
（１）カメラ１０１で連続撮像した各画像からワイパーが映っている領域のみを抽出し、この領域を重畳して得た蓄積画像に基づいてＦＰＮ補正データを抽出し、撮像画像に対してＦＰＮ補正を行うこととした。これによって、画像を撮像しながらＦＰＮ補正データを得ることができ、リアルタイムでの補正データの抽出が可能である。

（２）ワイパー画像を重畳して蓄積した蓄積画像に基づいてＦＰＮ補正データを算出するため、ＦＰＮ補正データを算出するための特別な機器を搭載する必要がなく、コスト的に有利となる。

（３）画像内のエッジの移動速度が所定の閾値以上である範囲をワイパーが映っている領域であると検出するようにした。これによって、画像内におけるワイパーの画像上の移動速度は、その他の車両前方に存在する物体の画像上の移動速度よりも速く検出されることを考慮して、精度高くワイパー領域を検出することができる。

―第４の実施の形態―
第４の実施の形態では、第１〜第３の実施の形態で算出したＦＰＮ補正データを使用して、カメラ１０１で連続して撮像される画像における各画素のオフセット、およびゲインのはらつきを補正する。なお、図２、３、および９に示す、蓄積画像の具体例、および横ライン２ｃ、９ｂ内の水平方向の各画素位置における輝度出力値を示すグラフの具体例については、第１〜第３の実施の形態と同様のため説明を省略する。

図１１は、第４の実施の形態における車載画像処理装置の一実施の形態の構成を示すブロック図である。なお、第１の実施の形態における図１と同様の構成要素については、同じ符号を付与し、相違点を中心に説明する。ここでは、説明の簡略化のために第１の実施の形態と組み合わせた構成例について説明するが、図６に示す第３の実施の形態の構成例と組み合わせてもよい。車載画像処理装置１００は、ＦＰＮ補正データを算出したときの蓄積画像２ｂにおける各横ライン２ｃごとの水平方向の画素位置に対する輝度出力値の特性を履歴として保存する履歴メモリ１０８を備えている。

また、第４の実施の形態では、第１および第２の実施の形態における蓄積画像２ｂの横ライン２ｃごとに処理を実行する例について説明するが、第３の実施の形態における蓄積画像９ａの横ライン９ｂごとに処理を実行してもよい。

制御装置１０３は、あらかじめ設定された所定時間間隔で、履歴メモリ１０８に保存された各蓄積画像２ｂの横ライン２ｃごとに、その輝度出力値が最も高い特性と、最も低い特性とを抽出する。すなわち画像上の同じ縦位置での任意の横ライン２ｃ位置における高輝度時の特性と、低輝度時の特性とを抽出する。高輝度時の特性は、例えば日当たりの良い道路を走行中に蓄積された蓄積画像２ｂから抽出され、低輝度時の特性は、例えばトンネル内を走行中に蓄積された蓄積画像２ｂから抽出される。そして、抽出した高輝度時の特性、および低輝度時の特性のそれぞれに対して、ＨＰＦを適用し、任意の横ライン２ｃにおける高輝度時、および低輝度時のＦＰＮ補正データを算出する。

ここで抽出したＦＰＮ補正データにおいて、任意の画素における高輝度時のＦＰＮ補正データと、低輝度時のＦＰＮ補正データとを、横軸に輝度、縦軸に輝度出力値をとったグラフ上にプロットする。すなわち、図１２に示すように高輝度時のＦＰＮ補正データ１２ａと、低輝度時のＦＰＮ補正データ１２ｂとをグラフ上にプロットする。そして、プロットした２点間を、次式（７）に示す一次関数で表される直線１２ｃによって結ぶ。
ｙ＝ａｘ＋ｂ・・・（７）

ここで、式（７）においては、上述したように、ｙは輝度出力値であり、ｘは輝度を示している。また、輝度出力値、ゲイン、オフセット、および、輝度の関係は次式（８）によって表される。
輝度出力値＝ゲイン×輝度＋オフセット・・・（８）

したがって、式（７）および（８）よりａ＝ゲイン、ｂ＝オフセットとなり、式（７）で示される直線１２ｃの傾きを算出することで任意の画素におけるゲインの補正値を算出することができ、ｙ軸との交点を算出することで任意の画素におけるオフセットの補正値を算出することができる。そして、この補正値の算出処理を蓄積画像上の全画素に対して行うことにより算出した全画素のゲイン、およびオフセットの補正値に基づいて、カメラ１０１で連続して撮像される画像のゲイン補正、およびオフセット補正を行って、各画像の均一性を向上させることができる。

図１３は、第４の実施の形態における車載画像処理装置１００の処理を示すフローチャートである。図１３に示す処理は、第１〜第３の実施の形態における処理が開始されると、これらの処理と並行して実行される処理として制御装置１０３によって実行される。ステップＳ２１０において、車速センサ１０５からの出力に基づいて、自車両が走行を開始したか否かを判断する。自車両が走行を開始したと判断した場合には、ステップＳ２２０へ進む。ステップＳ２２０では、履歴メモリ１０８に保存された各蓄積画像２ｂの横ライン２ｃごとに、その輝度出力値が最も高い特性と、最も低い特性とを抽出する。その後、ステップＳ２３０へ進む。

ステップＳ２３０では、上述したように、抽出した輝度出力値が最も高い特性と、最も低い特性に基づいて、任意の横ライン２ｃにおける高輝度時、および低輝度時のＦＰＮ補正データを算出して、ステップＳ２４０へ進む。ステップＳ２４０では、任意の画素における高輝度時のＦＰＮ補正データと、低輝度時のＦＰＮ補正データとを、図１２に示すグラフ上にプロットして、２点間を結ぶ直線１２ｃの式を算出して、任意の画素におけるゲイン、およびオフセットの補正値を算出する。その後、ステップＳ２５０へ進む。

ステップＳ２５０では、任意の横ライン２ｃ内に存在する全画素に対して、ステップＳ２４０の処理を実行したか否かを判断する。全ての画素に対して処理を実行したと判断した場合には、ステップＳ２６０へ進む。ステップＳ２６０では、ステップＳ２２０〜ステップＳ２５０の処理を蓄積画像２ｂ全体に対して行ったか否かを判断する。蓄積画像２ｂ全体への処理が完了していないと判断した場合には、蓄積画像２ｂ全体に対する処理が完了するまで、ステップＳ２２０〜ステップＳ２５０の処理を繰り返す。一方、蓄積画像２ｂ全体への処理が完了したと判断した場合には、ステップＳ２７０へ進む。

ステップＳ２７０では、算出した各画素におけるゲイン、およびオフセットの補正値に基づいて、カメラ１０１で連続して撮像される画像のゲイン、およびオフセットを補正する。その後、ステップＳ２８０へ進む。ステップＳ２８０では、ゲイン・オフセット補正処理の実行間隔である所定時間が経過したか否かを判断する。所定時間が経過していないと判断した場合には、所定時間が経過するまでステップＳ２８０に止まり、所定時間が経過したと判断した場合には、ステップＳ２９０へ進む。ステップＳ２９０では、車両のイグニションスイッチがオフされたか否かを判断し、オフされないと判断した場合には、ステップＳ２２０へ戻って処理を繰り返す。一方、イグニションスイッチがオフされたと判断した場合には、処理を終了する。

以上説明した第４の実施の形態によれば、同一画素における高輝度時のＦＰＮ補正データと、低輝度時のＦＰＮ補正データとに基づいて、各画素におけるゲイン、およびオフセットの補正値を算出することとした。これによって、各画素のゲイン、およびオフセットのばらつきを正確に補正することができる。

―変形例―
なお、以下のように変形することもできる。
（１）上述した第１〜４の実施の形態では、横ライン２ｃまたは９ｂにおける水平方向の画素位置に対する輝度出力値の特性に対して、ＨＰＦを適用し、横ライン２ｃまたは９ｂ内の空間高周波成分を抽出する例について説明した。しかし、横ライン２ｃまたは９ｂにおける水平方向の画素位置に対する輝度出力値の特性に対して、ローパスフィルタ（ＬＰＦ）を適用して、横ライン２ｃまたは９ｂ内の空間低周波成分を抽出し、横ライン２ｃまたは９ｂにおける水平方向の画素位置に対する輝度出力値の特性と、抽出した横ライン２ｃまたは９ｂ内の空間低周波成分との差分をとることによって、横ライン２ｃまたは９ｂ内の空間高周波成分を抽出してもよい。

（２）上述した第２の実施の形態では、車両の挙動としてヨーイングを検出し、車両にヨーイングが発生しているときに、ＦＰＮ補正を行うこととした。しかし、例えば車速やピッチングなどのその他の車両挙動も検出して、これらの車両挙動のいずれかが発生したときに、ＦＰＮ補正を行うようにしてもよい。なお、車速やピッチングを検出してＦＰＮ補正を行う場合には、車速やピッチングの状況に応じた蓄積画像の蓄積時間ΔＴを算出するためのアルゴリズムを別途設ける必要がある。

（３）上述した第１〜第３の実施の形態では、蓄積画像２ｂまたは９ａに対して画像の水平方向に分割した領域を横ライン２ｃまたは９ｂとして設定して、当該横ライン２ｃまたは９ｂごとにＦＰＮ補正データの算出処理を実行する例について説明した。しかし、蓄積画像２ｂまたは９ａに対して画像の垂直方向に分割した領域を縦ラインとして設定して、当該縦ラインごとにＦＰＮ補正データの算出処理を実行してもよい。この場合には、第４の実施の形態においても、縦ラインごとに処理を行う必要がある。

例えば、第２の実施の形態において、変形例（２）で上述したように、自車両にヨーイング、もしくはピッチングの車両挙動が発生したことを検出した場合には、その検出した車両挙動に応じて蓄積画像２ｂの分割方向を変更してもよい。すなわち、自車両にヨーイングが発生した場合には、カメラ１０１で連続して撮像した撮像画像においては、水平方向の変化が大きくなるため、横ライン２ｃによって水平方向に分割される領域を対象とすることで、よりぼけた画像に基づいてＦＰＮ成分を抽出することができる。これに対して、ピッチングが発生した場合には、カメラ１０１で連続して撮像した撮像画像においては、垂直方向の変化が大きくなるため、縦ラインによって垂直方向に分割される領域を対象とすることで、よりぼけた画像に基づいてＦＰＮ成分を抽出することができる。

このように、自車両にヨーイングが発生したことを検出した場合には、蓄積画像２ｂを横ライン２ｃで分割し、自車両にピッチングが発生したことを検出した場合には、蓄積画像２ｂを縦ラインで分割することによって、より高精度にＦＰＮ成分を抽出することができる。

（４）上述した第３の実施の形態では、オプティカルフローを算出するに当たって、撮像画像に対してエッジ抽出処理を行ってエッジ画像を得た後、エッジが存在する画素の画素カウンタを更新し、隣接するそれぞれの画素に対応する画素カウンタのカウント値の差分を取ることで各画素におけるエッジ存在時間の差を算出して、当該エッジが１画素移動するのに要する時間を得る例について説明した。しかし、これに限定されず、例えば一般的な手法である勾配法やブロックマッチング法を用いてオプティカルフローを算出してもよい。

（５）上述した第１〜第４の実施の形態では、カメラ１０１で車両前方を撮像する例について説明したが、これに限定されず、カメラ１０１で車両後方を撮像する場合にも適用可能である。

（６）上述した第１〜第４の実施の形態では、本発明による車載画像処理装置１００を車両に搭載する例について説明したが、これに限定されず、その他の移動体に搭載してもよい。

特許請求の範囲の構成要素と実施の形態との対応関係について説明する。カメラ１０１は撮像手段に、画像メモリ１０２は蓄積手段に相当する。制御手段１０３は、抽出手段、画像補正手段、蓄積時間設定手段、挙動検出手段、ワイパー領域抽出手段、速度情報算出手段、およびゲイン・オフセット補正手段に相当する。なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。

第１の実施の形態における車載画像処理装置の一実施の形態の構成を示すブロック図である。 第１の実施の形態における蓄積画像の具体例を示す図である。 第１の実施の形態における横ライン２ｃ内の水平方向の各画素位置における輝度出力値を示すグラフ図である。 第１の実施の形態における車載画像処理装置１００の処理を示すフローチャート図である。 第２の実施の形態における車載画像処理装置１００の処理を示すフローチャート図である。 第３の実施の形態における車載画像処理装置の一実施の形態の構成を示すブロック図である。 第３の実施の形態において、抽出したエッジを正規化して、エッジ画像を得るために行う各処理の具体例を示す図である。 第３の実施の形態における撮像画像内に存在する物体の具体例を示した図である。 第３の実施の形態における蓄積画像の具体例を示す図である。 第３の実施の形態における車載画像処理装置１００の処理を示すフローチャート図である。 第４の実施の形態における車載画像処理装置の一実施の形態の構成を示すブロック図である。 第４の実施の形態における高輝度時のＦＰＮ補正データ１２ａと、低輝度時のＦＰＮ補正データ１２ｂのプロット例、および直線１２ｃの具体例を示す図である。 第４の実施の形態における車載画像処理装置１００の処理を示すフローチャート図である。

符号の説明

１００ 車載画像処理装置
１０１ カメラ
１０２ 画像メモリ
１０３ 制御装置
１０４ モニタ
１０５ 車速センサ
１０６ ワイパー制御装置
１０７ カウンタメモリ
１０８ 履歴メモリ

Claims (7)

1. 撮像手段に起因して前記撮像手段で撮像した画像に発生する固定パターンノイズを除去するための車載画像処理装置であって、
   前記撮像手段で撮像した複数の画像を重畳して蓄積する蓄積手段と、
   前記固定パターンノイズを除去するための補正データとして、前記蓄積手段に蓄積した蓄積画像に含まれる空間高周波成分を抽出する抽出手段と、
   前記抽出手段で抽出した前記補正データに基づいて、前記撮像手段で撮像した画像から前記固定パターンノイズを除去する画像補正手段とを備えることを特徴とする車載画像処理装置。
2. 請求項１に記載の車載画像処理装置において、
   前記蓄積手段は、車両の走行中に前記撮像手段で撮像した画像を重畳することを特徴とする車載画像処理装置。
3. 請求項２に記載の車載画像処理装置において、
   車両の挙動を検出する挙動検出手段と、
   前記挙動検出手段で検出した車両の挙動に基づいて、前記撮像手段で撮像した画像を前記蓄積手段に蓄積する蓄積時間を決定する蓄積時間設定手段とをさらに備え、
   前記蓄積手段は、前記蓄積時間設定手段で設定された蓄積時間の間、前記撮像手段で車両の走行中に撮像した画像を重畳して蓄積することを特徴とする車載画像処理装置。
4. 請求項１に記載の車載画像処理装置において、
   前記撮像手段で撮像した画像内からワイパーが存在する領域（ワイパー領域）を抽出するワイパー領域抽出手段をさらに備え、
   前記蓄積手段は、前記ワイパー領域抽出手段で複数の画像から抽出した前記ワイパー領域の画像を重畳することを特徴とする車載画像処理装置。
5. 請求項４に記載の車載画像処理装置において、
   前記ワイパー領域抽出手段は、
   前記撮像手段で撮像した画像を画像処理して、画像の速度情報を算出する速度情報算出手段を含み、
   前記速度情報算出手段で算出した画像の速度情報に基づいて、所定値以上の移動速度が算出された画像上の領域を前記ワイパー領域として抽出することを特徴とする車載画像処理装置。
6. 請求項１〜５のいずれか一項に記載の車載画像処理装置において、
   前記抽出手段で前記補正データとして抽出した前記空間高周波成分の中から、前記蓄積画像における輝度出力値が最も高い前記空間高周波成分（高輝度時空間高周波成分）、および前記蓄積画像における輝度出力値が最も低い前記空間高周波成分（低輝度時の空間高周波成分）を抽出し、抽出した前記高輝度時空間高周波成分、および前記低輝度時の空間高周波成分に基づいて、前記撮像手段で撮像した画像のゲイン、およびオフセットを補正して画像の均一性を向上させるゲイン・オフセット補正手段をさらに備えることを特徴とする車載画像処理装置。
7. 撮像手段に起因して前記撮像手段で撮像した画像に発生する固定パターンノイズを除去するための画像処理方法であって、
   前記撮像手段で撮像した複数の画像を重畳して蓄積し、
   蓄積した蓄積画像に含まれる空間高周波成分を前記固定パターンノイズを除去するための補正データとして抽出し、
   抽出した前記補正データに基づいて、前記撮像手段で撮像した画像から前記固定パターンノイズを除去することを特徴とする画像処理方法。

Images