JP2011085979A

JP2011085979A - 車載画像認識システム

Info

Publication number: JP2011085979A
Application number: JP2009236159A
Authority: JP
Inventors: Kazuyoshi Otsuka; 和由大塚
Original assignee: Nidec Elesys Corp
Current assignee: Nidec Elesys Corp
Priority date: 2009-10-13
Filing date: 2009-10-13
Publication date: 2011-04-28
Anticipated expiration: 2029-10-13
Also published as: JP5364531B2

Abstract

【課題】画像毎の露光条件の違いによるノイズを軽減することができ、物体の認識処理の確度を高めることができる。
【解決手段】前方画像撮影用カメラ１は、車両に設置され、走行中の車両の前方画像を連続して撮影する。前処理用ＦＰＧＡ２１は、前方画像撮影用カメラ１が撮影した第１の画像の露光条件に合わせるように、前方画像撮影用カメラ１が撮影した第２の画像を補正する。ＣＰＵ２３は、第１の画像と、前処理用ＦＰＧＡ２１が補正した第２の画像とを比較して、車両の前方に存在する物体の認識処理を行う。
【選択図】図２

Description

本発明は、車載カメラが撮影した画像を用いて物体の認識処理を行う車載画像認識システムに関する。

車載画像認識システムによる物体の認識処理方法としては、車載画像認識システムに含まれる車載カメラが撮影した画像を演算処理して、物体の認識処理を行う方法や、車載カメラが撮影した現在の画像と過去の画像との比較演算処理を行い、物体の認識処理を行う方法などが知られている（例えば、特許文献１参照）。

特開２００１−２６６１６０号公報

車載カメラが撮影した現在の画像と過去の画像との比較演算処理を行い、物体の認識処理を行う方法では、画像毎の露光条件（例えば、露光時間やゲイン）の違いが比較演算処理でのノイズとして生じてしまう。そして、このノイズが、物体の認識処理の確度に影響してしまうという問題がある。

画像毎の露光条件の違いによるノイズを発生させないために、露光条件が画像毎に変化しないよう、車載カメラは露光時間やゲインなどを固定したまま画像を撮影することが考えられる。しかしながら、車両は、直射日光が当たる場所などの光の強い場所や、日陰などの光の弱い場所など、明るさが異なる場所を走行する。そのため、車載カメラが露光時間やゲインなどを固定したまま画像を撮影すると、車載カメラのイメージセンサのダイナミックレンジを超えた画像（無効画像）が生じてしまう。よって、車載カメラの露光時間やゲインなどを固定した場合には、車載画像認識システムによる物体の認識処理を行うことができない場合がある。

本提案は上記課題を解決するためになされたものであり、画像毎の露光条件の違いによるノイズを軽減することができ、物体の認識処理の確度を高めることができる車載画像認識システムを提供することを目的とする。

本発明は、車両に設置され、走行中の当該車両の前方画像を連続して撮影する前方画像撮影用カメラと、前記前方画像撮影用カメラが撮影した第１の画像の露光条件に合わせるように、前記前方画像撮影用カメラが撮影した第２の画像を補正する補正部と、前記第１の画像と、前記補正部が補正した前記第２の画像とを比較して、前記車両の前方に存在する物体の認識処理を行う認識部と、を備えたことを特徴とする車載画像認識システムである。

この構成によれば、前方画像撮影用カメラは、走行中の車両の前方画像を連続して撮影する。また、補正部は、前方画像撮影用カメラが撮影した第１の画像の露光条件に合わせるように、前方画像撮影用カメラが撮影した第２の画像を補正する。また、認識部は、第１の画像と、補正部が補正した第２の画像とを比較して、車両の前方に存在する物体の認識処理を行う。

よって、車両画像認識システムは、第１の画像と、第１の画像の露光条件と同一の露光条件となるように補正された第２の画像とを比較して、車両の前方に存在する物体の認識処理を行うため、画像毎の露光条件の違いによるノイズを軽減することができ、物体の認識処理の確度を高めることができる。

また、本発明の車載画像認識システムにおいて、前記補正部は、前記第２の画像の露光条件を、当該第２の画像の露光条件と前記第１の画像の露光条件との変化分の値を乗算して、前記第１の画像の露光条件と同一の露光条件となるように補正することを特徴とする。

この構成によれば、補正部は、第２の画像の露光条件を、第２の画像の露光条件と第１の画像の露光条件との変化分の値を乗算して、第１の画像の露光条件と同一の露光条件となるように補正する。

これにより、第１の画像と第２の画像との露光条件は同一となるため、車両画像認識システムは、画像毎の露光条件の違いによるノイズを軽減することができ、物体の認識処理の確度を高めることができる。

また、本発明の車載画像認識システムにおいて、前記補正部は、前記認識部が前記物体の認識処理を行う際に前記第２の画像を補正することを特徴とする。

この構成によれば、補正部は、認識部が物体の認識処理を行う際に第２の画像を補正する。よって、前方画像撮影用カメラが常に画像を撮影している場合においても、補正部は、認識部が画像認識を行う場合にのみ第２の画像の補正を行うため、補正に関する処理の負荷を低減させることができる。

本発明の車載画像認識システムは、補正部が、前方画像撮影用カメラが撮影した第１の画像の露光条件に合わせるように、前方画像撮影用カメラが撮影した第２の画像を補正し、認識部が、第１の画像と、補正部が補正した第２の画像とを比較して、車両の前方に存在する物体の認識処理を行う。そのため、車載画像認識システムは、画像毎の露光条件の違いによるノイズを軽減することができ、物体の認識処理の確度を高めることができる。

本発明の第１の実施形態における車載画像認識システムの構成を示した概略図である。本発明の第１の実施形態における車載画像認識システムの機能構成を示した機能ブロック図である。本発明の第１の実施形態において、前方画像撮影用カメラが撮影した画像と、ＶＲＡＭが記憶する画像を補正した画像との関連を示した説明図である。本発明の第１の実施形態における前処理用ＦＰＧＡの更新処理によって、ＶＲＡＭに記憶されている画像の更新例を示した説明図である。本発明の第１の実施形態における前処理用ＦＰＧＡの動作手順を示したフローチャートである。本発明の第１の実施形態におけるＣＰＵの動作手順を示したフローチャートである。本発明の第１の実施形態における画像処理制御ユニットが予測運動補償によって生成した残差画像である。画像の補正を行わない場合における残差画像である。本発明の第１の実施形態における画像処理制御ユニットが生成したオプティカルフローの画像である。画像の補正を行わない場合におけるオプティカルフローの画像である。本発明の第２の実施形態における前処理用ＦＰＧＡの更新処理によって、ＶＲＡＭに記憶されている画像の更新例を示した説明図である。本発明の第２の実施形態における前処理用ＦＰＧＡの動作手順を示したフローチャートである。本発明の第２の実施形態におけるＣＰＵの動作手順を示したフローチャートである。

（第１の実施形態）
以下、本発明の第１の実施形態について図面を参照して説明する。図１は、本実施形態における車載画像認識システムの構成を示した概略図である。図示する例では、車載画像認識システムは、前方画像撮影用カメラ１０と、画像処理制御ユニット２０とを備える。

前方画像撮影用カメラ１０は、車両の前方に設置されており、車両の前方領域１１の画像を撮影する。本実施形態では、前方画像撮影用カメラ１０は、１秒間に３０フレームの画像を撮影する。すなわち、前方画像撮影用カメラ１０は、約３３ｍｓ周期で１枚の画像を撮影する。画像処理制御ユニット２０は、前方画像撮影用カメラ１０が撮影した画像の処理を行い、物体の認識処理を行う。

次に、車載画像認識システム１の機能構成について説明する。図２は、本実施形態における車載画像認識システム１の機能構成を示した機能ブロック図である。図示する例では、車載画像認識システム１は、前方画像撮影用カメラ１０と画像処理制御ユニット２０とを備えている。また、画像処理制御ユニット２０は、前処理用ＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ、エフピージーエー）２１（補正部）と、ＶＲＡＭ（ＶｉｄｅｏＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ、ブイラム）２２と、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ、中央演算処理装置）２３（認識部）とを備えている。

前処理用ＦＰＧＡ２１は、前方画像撮影用カメラ１０が撮影した画像と、前方画像撮影用カメラ１０が画像を撮影した際の露光条件を示す情報の入力を受け付ける。また、前処理用ＦＰＧＡ２１は、入力を受け付けた画像と露光条件とを関連付けてＶＲＡＭ２２に記憶させる。また、前処理用ＦＰＧＡ２１は、新たに入力を受け付けた画像の露光条件に合わせて、ＶＲＡＭ２２に記憶させた画像の補正を行い、補正後の画像を再度ＶＲＡＭに記憶させる。なお、前処理用ＦＰＧＡ２１の動作の詳細については後述する。

ＶＲＡＭ２２は、前処理用ＦＰＧＡ２１から入力される画像を記憶する。ＣＰＵ２３は、画像処理制御ユニット２０が備える各部の制御を行う。また、ＣＰＵ２３は、ＶＲＡＭ２２が記憶する画像を読み出し、複数の画像の比較演算処理を行い、物体の認識を行う。なお、ＣＰＵ２３が比較演算処理に用いる画像の詳細については後述する。

次に、前方画像撮影用カメラ１０が撮影した画像と、前処理用ＦＰＧＡ２１がＶＲＡＭ２２に記憶させた画像を補正した画像との関連について説明する。図３は、本実施形態における、前方画像撮影用カメラ１０が撮影した画像と、前処理用ＦＰＧＡ２１がＶＲＡＭ２２に記憶させた画像を補正した画像との関連を示した説明図である。

図示する例では、図の左側から右側に進むにつれて時刻が経過している。領域３０１は、前方画像撮影用カメラ１０が露光するタイミングと、露光条件とを示している。具体的には、前方画像撮影用カメラ１０は、「露光０」、「露光１」、「露光２」、「露光３」、「露光４」の順に画像を撮影する。

また、前方画像撮影用カメラ１０が「露光０」で画像を撮影した際の露光条件は「Ｇ０」である。また、前方画像撮影用カメラ１０が「露光１」で画像を撮影した際の露光条件は「Ｇ１」である。また、前方画像撮影用カメラ１０が「露光２」で画像を撮影した際の露光条件は「Ｇ３」である。また、前方画像撮影用カメラ１０が「露光４」で画像を撮影した際の露光条件は「Ｇ４」である。本実施形態では、露光条件の値は、露光時間（シャッター速度）とゲインとの２種類の条件の値を乗算した値とする。具体的には、露光時間が「２０ｍｓ」であり、ゲインが「２」である場合は、露光条件の値を「４０」とする。

領域３０２は、前方画像撮影用カメラ１０が撮影した画像（第１の画像、最新フレーム）を示している。図示する例では、前方画像撮影用カメラ１０が「露光４」で撮影した画像は「Ｆ０４」である。また、前方画像撮影用カメラ１０が「露光４」で撮影した画像より１フレーム前に撮影した画像、すなわち前方画像撮影用カメラ１０が「露光３」で撮影した画像は「Ｆ０３」である。また、前方画像撮影用カメラ１０が「露光４」で撮影した画像より２フレーム前に撮影した画像、すなわち前方画像撮影用カメラ１０が「露光２」で撮影した画像は「Ｆ０２」である。なお、前方画像撮影用カメラ１０が撮影を行った画像「Ｆ０１」、「Ｆ００」については図示するとおりである。

領域３０３は、前方画像撮影用カメラ１０が最新フレームの画像より１フレーム前に撮影した画像（第２の画像）を、画像処理制御ユニット２０の前処理用ＦＰＧＡ２１が補正した画像（過去フレーム１）と、補正条件とを示している。図示する例では、前処理用ＦＰＧＡ２１が、画像「Ｆ０４」の露光条件「Ｇ４」に合わせて画像「Ｆ０３」を補正した画像は「Ｆ１３」である。

前処理用ＦＰＧＡ２１は、画像「Ｆ０３」の露光条件「Ｇ３」を画像「Ｆ０４」の露光条件「Ｇ４」に合わせるため、画像「Ｆ０４」の露光条件と画像「Ｆ０３」の露光条件との変化分の値「Ｇ４／Ｇ３」を、画像「Ｆ０３」に乗算して、補正後の画像「Ｆ１３」を生成する。なお、変化分の値「Ｇ４／Ｇ３」を補正条件とする。

これにより、画像「Ｆ１３」の露光条件は「Ｇ４」となる。なお、画像「Ｆ０３」は、画像「Ｆ０４」より１フレーム前に前方画像撮影用カメラ１０が撮影した画像である。

また、前処理用ＦＰＧＡ２１が、画像「Ｆ０３」の露光条件「Ｇ３」に合わせて画像「Ｆ０２」を補正した画像は「Ｆ１２」である。前処理用ＦＰＧＡ２１は、画像「Ｆ０２」の露光条件「Ｇ２」を画像「Ｆ０３」の露光条件「Ｇ３」に合わせるため、画像「Ｆ０２」に補正条件「Ｇ３／Ｇ２」を乗算して、補正後の画像「Ｆ１２」を生成する。これにより、画像「Ｆ１２」の露光条件は「Ｇ３」となる。なお、画像「Ｆ０２」は、画像「Ｆ０３」より１フレーム前に前方画像撮影用カメラ１０が撮影した画像である。

なお、画像処理制御ユニット２０の前処理用ＦＰＧＡ２１が補正を行った画像「Ｆ１１」、「Ｆ１０」の補正条件については図示するとおりである。

領域３０４は、前方画像撮影用カメラ１０が最新フレームの画像より２フレーム前に撮影した画像（第２の画像）を、画像処理制御ユニット２０の前処理用ＦＰＧＡ２１が補正した画像（過去フレーム２）と、補正条件とを示している。図示する例では、前処理用ＦＰＧＡ２１が、画像「Ｆ０４」の露光条件「Ｇ４」に合わせて画像「Ｆ１２」を補正した画像は「Ｆ２２」である。

前処理用ＦＰＧＡ２１は、画像「Ｆ１２」の露光条件「Ｇ３」を画像「Ｆ０４」の露光条件「Ｇ４」に合わせるため、画像「Ｆ１２」に補正条件「Ｇ４／Ｇ３」を乗算して、補正後の画像「Ｆ２２」を生成する。これにより、画像「Ｆ２２」の露光条件は「Ｇ４」となる。

なお、画像「Ｆ１２」は、画像「Ｆ０４」より２フレーム前に前方画像撮影用カメラ１０が撮影した画像「Ｆ０２」を、画像「Ｆ０３」の露光条件に合わせて前処理用ＦＰＧＡ２１が補正した画像である。すなわち、画像「Ｆ２２」は、画像「Ｆ０４」より２フレーム前に前方画像撮影用カメラ１０が撮影した画像「Ｆ０２」を、画像「Ｆ０４」の露光条件「Ｇ４」に合わせて前処理用ＦＰＧＡ２１が補正した画像である。

また、前処理用ＦＰＧＡ２１が、画像「Ｆ０３」の露光条件「Ｇ３」に合わせて画像「Ｆ１１」を補正した画像は「Ｆ２１」である。前処理用ＦＰＧＡ２１は、画像「Ｆ１１」の露光条件「Ｇ２」を画像「Ｆ０３」の露光条件「Ｇ３」に合わせるため、画像「Ｆ１１」に補正条件「Ｇ３／Ｇ２」を乗算して、補正後の画像「Ｆ２１」を生成する。これにより、画像「Ｆ２１」の露光条件は「Ｇ３」となる。

なお、画像「Ｆ１１」は、画像「Ｆ０３」より２フレーム前に前方画像撮影用カメラ１０が撮影した画像「Ｆ０１」を、画像「Ｆ０２」の露光条件に合わせて前処理用ＦＰＧＡ２１が補正した画像である。すなわち、画像「Ｆ２１」は、画像「Ｆ０３」より２フレーム前に前方画像撮影用カメラ１０が撮影した画像「Ｆ０１」を、画像「Ｆ０３」の露光条件「Ｇ３」に合わせて前処理用ＦＰＧＡ２１が補正した画像である。

なお、画像処理制御ユニット２０の前処理用ＦＰＧＡ２１が補正を行った画像「Ｆ２０」の補正条件については図示するとおりである。

このように、画像処理制御ユニット２０の前処理用ＦＰＧＡ２１は、最新フレームの画像の露光条件に合わせて、１フレーム前に前方画像撮影用カメラ１０が撮影した画像および２フレーム前に前方画像撮影用カメラ１０が撮影した画像を補正し、補正後の画像を生成する。そして、画像処理制御ユニット２０のＣＰＵ２３は、前方画像撮影用カメラ１０が撮影した現在の画像である最新フレームの画像と、前処理用ＦＰＧＡ２１が補正した過去の画像である過去フレーム１および過去フレーム２の画像との比較演算処理を行い、物体の認識処理を行う。

これにより、最新フレームの画像と、過去フレーム１の画像と、過去フレーム２の画像との露光条件が同一となるため、露光条件の違いによるノイズを抑えることができ、画像処理制御ユニット２０のＣＰＵ２３は、物体の認識処理の確度をより高めることができる。

具体的には、ＣＰＵ２３は、最新フレームの画像「Ｆ０４」に含まれている物体の認識処理を行う際には、画像「Ｆ０４」と、過去フレーム１の画像「Ｆ１３」または過去フレーム２の画像「Ｆ２２」との比較演算処理を行い、物体の認識処理を行う。また、ＣＰＵ２３は、最新フレームの画像「Ｆ０３」に含まれている物体の認識処理を行う際には、画像「Ｆ０３」と、過去フレーム１の画像「Ｆ１２」または過去フレーム２の画像「Ｆ２１」との比較演算処理を行い、物体の認識処理を行う。

なお、ＣＰＵ２３は、他の最新フレームの画像「Ｆ０２」、「Ｆ０１」、「Ｆ００」に含まれている物体の認識処理を行う際も、画像「Ｆ０４」および「Ｆ０３」と同様の処理を行う。

なお、過去フレーム１の画像を用いて物体の認識処理を行うのか、過去フレーム２の画像を用いて物体の認識処理を行うのかは、例えば、車両の速度に応じて決定する。具体的には、車両の速度が速い場合は、フレーム間の画像の変化が大きいため、最新フレームの画像と過去フレーム１の画像とを用いて物体の認識処理を行い、車両の速度が遅い場合は、最新フレームの画像と過去フレーム２の画像とを用いて物体の認識処理を行う。

また、図３に示す例では、過去フレームとして、過去フレーム１と過去フレーム２とを用いているが、これに限らない。例えば、車両の速度などの状態に応じて、過去フレーム３，４，５・・・を追加して処理を行うことも可能である。

次に、本実施形態における車載画像認識システム１の画像制御ユニット２０が備える前処理用ＦＰＧＡ２１の動作について説明する。図４は、前処理用ＦＰＧＡ２１の更新処理によって、ＶＲＡＭ２２に記憶されている画像の更新例を示した説明図である。

図示する例では、前処理用ＦＰＧＡ２１が更新処理を行う前において、ＶＲＡＭ２２に記憶されている最新フレームの画像は「Ｆ０１」であり、最新フレームのステータスは「Ｔｒｕｅ」である。また、前処理用ＦＰＧＡ２１が更新処理を行う前において、ＶＲＡＭ２２に記憶されている過去フレーム１の画像は「Ｆ１０」であり、過去フレーム１のステータスは「Ｔｒｕｅ」である。また、前処理用ＦＰＧＡ２１が更新処理を行う前において、ＶＲＡＭ２２に記憶されている過去フレーム２の画像は無く、過去フレーム２のステータスは「Ｔｒｕｅ」である。

また、前処理用ＦＰＧＡ２１が、更新処理を行った後において、ＶＲＡＭ２２に記憶されている最新フレームの画像は「Ｆ０２」であり、最新フレームのステータスは「Ｔｒｕｅ」である。また、前処理用ＦＰＧＡ２１が、更新処理を行った後において、ＶＲＡＭ２２に記憶されている過去フレーム１の画像は「データＦ１１」であり、過去フレーム１のステータスは「Ｔｒｕｅ」である。また、前処理用ＦＰＧＡ２１が、更新処理を行った後において、ＶＲＡＭ２２に記憶されている過去フレーム２の画像は「Ｆ２０」であり、過去フレーム２のステータスは「Ｆａｌｓｅ」である。なお、ステータス「Ｔｒｕｅ」は、ＶＲＡＭ２２に画像が記憶されていることを示す。また、ステータス「Ｆａｌｓｅ」は、ＶＲＡＭ２２に画像が記憶されていないことを示す。

図５は、本実施形態における前処理用ＦＰＧＡ２１の動作手順を示したフローチャートである。なお、図示するフローチャートは、具体例として、画像「Ｆ０２」を取り込んだ場合の動作手順について示している。また、各画像の関連性は図３に示したとおりである。

（ステップＳ１０１）前処理用ＦＰＧＡ２１は、前方画像撮影用カメラ１０が撮影した画像を１フレーム取り込む。具体例としては、前処理用ＦＰＧＡ２１は画像「Ｆ０２」を取り込む。その後、ステップＳ１０２の処理に進む。なお、画像「Ｆ０２」の露光条件は「Ｇ２」である。

（ステップＳ１０２）前処理用ＦＰＧＡ２１は、ＶＲＡＭ２２の最新フレームバッファに最新フレームの画像が記憶されているか否かを判定する。前処理用ＦＰＧＡ２１は、ＶＲＡＭ２２の最新フレームバッファに最新フレームの画像が記憶されていると判定した場合にはステップＳ１０３の処理に進み、それ以外の場合にはステップＳ１０６の処理に進む。なお、前処理用ＦＰＧＡ２１が画像「Ｆ０２」を取り込んだ場合においては、ＶＲＡＭ２２の最新フレームバッファには最新フレームの画像として「Ｆ０１」が記憶されているため、ステップＳ１０３の処理に進む。

（ステップＳ１０３）前処理用ＦＰＧＡ２１は、ＶＲＡＭ２２の過去フレーム１バッファに、過去フレーム１の画像が記憶されているか否かを判定する。前処理用ＦＰＧＡ２１は、ＶＲＡＭ２２の過去フレーム１バッファに過去フレーム１の画像が記憶されていると判定した場合にはステップＳ１０４の処理に進み、それ以外の場合にはステップＳ１０５の処理に進む。なお、前処理用ＦＰＧＡ２１が画像「Ｆ０２」を取り込んだ場合においては、ＶＲＡＭ２２の過去フレーム１バッファには過去フレーム１の画像として「Ｆ１０」が記憶されているため、ステップＳ１０４の処理に進む。

（ステップＳ１０４）前処理用ＦＰＧＡ２１は、ＶＲＡＭ２２の過去フレーム１バッファに記憶されている過去フレーム１の画像（第２の画像）の露光条件を、ステップＳ１０１で取り込んだ画像（第１の画像）の露光条件に合わせる補正を行い、補正後の画像を過去フレーム２の画像としてＶＲＡＭ２２の過去フレーム２バッファに記憶させる。このとき、前処理用ＦＰＧＡ２１は、過去フレーム２のステータスを「Ｔｒｕｅ」にする。その後、ステップＳ１０５の処理に進む。

なお、前処理用ＦＰＧＡ２１が画像「Ｆ０２」を取り込んだ場合においては、ＶＲＡＭ２２の過去フレーム１バッファには過去フレーム１の画像として「Ｆ１０」が記憶されている。また、画像「Ｆ１０」の露光条件は「Ｇ１」である。よって、前処理用ＦＰＧＡ２１は、画像「Ｆ１０」に補正条件「Ｇ２／Ｇ１」を掛けて、画像「Ｆ２０」を生成し、画像「Ｆ２０」を過去フレーム２の画像としてＶＲＡＭ２２の過去フレーム２バッファに記憶させる。このとき、前処理用ＦＰＧＡ２１は、過去フレーム２のステータスを「Ｔｒｕｅ」にする。これにより、ＶＲＡＭ２２の過去フレーム２バッファに記憶されている過去フレーム２の画像は、図示するように、画像「Ｆ２０」となる。また、過去フレーム２のステータスは「Ｔｒｕｅ」となる。

（ステップＳ１０５）前処理用ＦＰＧＡ２１は、ＶＲＡＭ２２の最新フレームバッファに記憶されている最新フレームの画像（第２の画像）の露光条件を、ステップＳ１０１で取り込んだ画像（第１の画像）の露光条件に合わせる補正を行い、補正後の画像を過去フレーム１の画像としてＶＲＡＭ２２の過去フレーム１バッファに記憶させる。このとき、前処理用ＦＰＧＡ２１は、過去フレーム１のステータスを「Ｔｒｕｅ」にする。その後、ステップＳ１０６の処理に進む。

なお、前処理用ＦＰＧＡ２１が画像「Ｆ０２」を取り込んだ場合においては、ＶＲＡＭ２２の最新フレームバッファには最新フレームの画像として「Ｆ０１」が記憶されている。また、画像「Ｆ０１」の露光条件は「Ｇ１」である。よって、前処理用ＦＰＧＡ２１は、画像「Ｆ０１」に補正条件「Ｇ２／Ｇ１」を掛けて、画像「Ｆ１１」を生成し、画像「Ｆ１１」を過去フレーム１の画像としてＶＲＡＭ２２の過去フレーム１バッファに記憶させる。このとき、前処理用ＦＰＧＡ２１は、過去フレーム１のステータスを「Ｔｒｕｅ」にする。これにより、ＶＲＡＭ２２の過去フレーム１バッファに記憶されている過去フレーム１の画像は、図示するように、画像「Ｆ１１」となる。また、過去フレーム１のステータスは「Ｔｒｕｅ」となる。

（ステップＳ１０６）前処理用ＦＰＧＡ２１は、ステップＳ１０１で取り込んだ画像を最新フレームの画像としてＶＲＡＭ２２の最新フレームバッファに記憶させる。このとき、前処理用ＦＰＧＡ２１は、最新フレームのステータスを「Ｔｒｕｅ」にする。その後、ステップＳ１０１の処理に戻る。

なお、前処理用ＦＰＧＡ２１が画像「Ｆ０２」を取り込んだ場合では、画像「Ｆ０２」を最新フレームの画像としてＶＲＡＭ２２に最新フレームバッファに記憶させる。このとき、前処理用ＦＰＧＡ２１は、最新フレームのステータスを「Ｔｒｕｅ」にする。これにより、ＶＲＡＭ２２の最新フレームバッファに記憶されている最新フレームの画像は、図示するように、画像「Ｆ０２」となる。また、最新フレームのステータスは「Ｔｒｕｅ」となる。

上述したとおり、前処理用ＦＰＧＡ２１は、ステップＳ１０１からステップＳ１０６の処理を行い、ＶＲＡＭ２２が記憶する最新フレームの画像と、過去フレーム１の画像と、過去フレーム２の画像とを更新して、再度ＶＲＡＭ２２に記憶させる。なお、前処理用ＦＰＧＡ２１が行う補正は、例えば、図３を用いて説明した補正である。

次に、本実施形態における車載画像認識システム１の画像制御ユニット２０が備えるＣＰＵ２３の動作について説明する。図６は、本実施形態におけるＣＰＵ２３の動作手順を示したフローチャートである。

（ステップＳ２０１）ＣＰＵ２３は、前方画像撮影用カメラ１０が画像を撮影することにより、新しいフレーム（垂直同期信号）が発生したか否かを判定する。ＣＰＵ２３は、新しいフレームが発生したと判定した場合にはステップＳ２０２の処理に進み、それ以外の場合にはステップＳ２０１の処理を再度実行する。

（ステップＳ２０２）ＣＰＵ２３は、ＶＲＡＭ２２の最新フレームバッファに最新フレームの画像が記憶されているか否かを判定する。ＣＰＵ２３は、ＶＲＡＭ２２の最新フレームバッファに最新フレームの画像が記憶されていると判定した場合にはステップＳ２０４の処理に進み、それ以外の場合にはステップＳ２０３の処理に進む。

（ステップＳ２０３）ＣＰＵ２３は、物体の認識処理を行うことができない（認識不能）と判定し、ステップＳ２０１の処理に戻る。

（ステップＳ２０４）ＣＰＵ２３は、車両の速度（車速）が高速であるか否かを判定する。ＣＰＵ２３は、車速は高速であると判定した場合にはステップＳ２０５の処理に進み、それ以外の場合にはステップＳ２０７の処理に進む。例えば、ＣＰＵ２３は、図示せぬ速度センサから車速を取得し、この車速が一定速度以上であれば車速は高速であると判定する。

（ステップＳ２０５）ＣＰＵ２３は、ＶＲＡＭ２２の過去フレーム１バッファに過去フレーム１の画像が記憶されているか否かを判定する。ＣＰＵ２３は、ＶＲＡＭ２２の過去フレーム１バッファに過去フレーム１の画像が記憶されていると判定した場合にはステップＳ２０６の処理に進み、それ以外の場合にはステップＳ２０３の処理に戻る。

（ステップＳ２０６）ＣＰＵ２３は、ＶＲＡＭ２２の最新フレームバッファに記憶されている最新フレームの画像と、過去フレーム１バッファに記憶されている過去フレーム１の画像とを用いて物体の認識処理を行う。その後、ステップＳ２０１の処理に戻る。

物体の認識処理の方法としては、例えば、最新フレームの画像と、過去フレームの画像とを用いて予測運動補償によって生成した残差画像より物体を認識する方法や、最新フレームの画像と、過去フレームの画像とを用いてオプティカルフローを求め、物体を認識する方法がある。なお、物体の認識処理の方法はこれに限らず、どのような方法を用いてもよい。

（ステップＳ２０７）ＣＰＵ２３は、ＶＲＡＭ２２の過去フレーム２バッファに過去フレーム２の画像が記憶されているか否かを判定する。ＣＰＵ２３は、ＶＲＡＭ２２の過去フレーム２バッファに過去フレーム２の画像が記憶されていると判定した場合にはステップＳ２０８の処理に進み、それ以外の場合にはステップＳ２０３の処理に戻る。

（ステップＳ２０８）ＣＰＵ２３は、ＶＲＡＭ２２の最新フレームバッファに記憶されている最新フレームの画像と、過去フレーム２バッファに記憶されている過去フレーム２の画像とを用いて物体の認識処理を行う。その後、ステップＳ２０１の処理に戻る。

上述したとおり、ＣＰＵ２３は、ステップＳ２０１からステップＳ２０８の処理を行い、ＶＲＡＭ２２が記憶する最新フレームの画像と、最新フレームの画像の露光条件に合わせて補正した、過去フレーム１の画像または過去フレーム２の画像とを用いて物体の認識処理を行う。

次に、本実施形態における画像の補正による効果について説明する。図７は、車載カメラ１が撮影した現在の画像である最新フレームの画像と、前処理用ＦＰＧＡ２１が最新フレームの画像の露光条件に合わせて補正した過去の画像である過去フレームの画像とを用いて、ＣＰＵ２３が予測運動補償によって生成した残差画像である。図示する例では、過去フレームの画像の露光条件を最新フレームの画像の露光条件に合わせて補正しているため、画像には車両の残差５０１〜５０５が表示されており、路面の残差が表示されていない。

図８は、車載カメラ１が撮影した現在の画像である最新フレームの画像と、前処理用ＦＰＧＡ２１が最新フレームの画像の露光条件に合わせて補正を行っていない画像である過去フレームの画像とを用いて、ＣＰＵ２３が予測運動補償によって生成した残差画像である。図示する例では、過去フレームの画像の補正を行っておらず、最新フレームの画像と過去フレームの画像との露光条件が異なっているため、画像には車両の残差６０１だけではなく、路面の残差６０２，６０３も表示されている。

図７および図８に示したとおり、最新フレームの画像の露光条件にあわせて、過去フレームの画像の露光条件を補正した場合（図７）では、露光条件に合わせて補正を行わない場合（図８）と比較して、認識対象の物体である車両の残差をより確度良く認識することができる。

図９は、車載カメラ１が撮影した現在の画像である最新フレームの画像と、前処理用ＦＰＧＡ２１が最新フレームの画像の露光条件に合わせて補正した過去の画像である過去フレームの画像とを用いて、ＣＰＵ２３が生成したオプティカルフローの画像である。図示する例では、過去フレームの画像の露光条件を最新フレームの画像の露光条件に合わせて補正しているため、画像には車線の動きが判別できるベクトル７０１，７０２が示されている。

図１０は、車載カメラ１が撮影した現在の画像である最新フレームの画像と、前処理用ＦＰＧＡ２１が最新フレームの画像の露光条件に合わせて補正を行っていない画像である過去フレームの画像とを用いて、ＣＰＵ２３が生成したオプティカルフローの画像である。図示する例では、過去フレームの画像の補正を行っておらず、最新フレームの画像と過去フレームの画像との露光条件が異なっているため、画像には車線の動きを示したベクトルだけではなく、露光条件の違いによるノイズの影響で画像全体に様々な方向を示したベクトル８０１〜８０３が表示されている。

図９および図１０に示したとおり、最新フレームの画像の露光条件にあわせて、過去フレームの画像の露光条件を補正した場合（図９）では、露光条件に合わせて補正を行わない場合（図１０）と比較して、認識対象の物体である車線の動きを示すベクトルをより確度良く認識することができる。

上述したとおり、本実施形態の車載画像認識システム１は、車両に搭載されている。車両は、直射日光が当たる場所などの光の強い場所や、日陰などの光の弱い場所など、明るさが異なる場所を走行する。そのため、前方画像撮影用カメラ１が撮影する画像の露光条件は、撮影したタイミングによって露光条件が異なる。すなわち、画像毎に露光条件が異なる。

本実施形態によれば、画像処理制御ユニット２０の前処理用ＦＰＧＡ２１は、最新フレームの画像の露光条件に合わせて、過去に前方画像撮影用カメラ１０が撮影した画像を補正する。そして、画像処理制御ユニット２０のＣＰＵ２３は、車載カメラが撮影した現在の画像である最新フレームの画像と、過去の画像を最新フレームの画像の露光条件に合わせて補正した画像との比較演算処理を行い、物体の認識処理を行う。これにより、最新フレームの画像と、過去に前方画像撮影用カメラ１０が撮影した画像との露光条件が同一となるため、露光条件の違いによるノイズを抑えることができ、画像処理制御ユニット２０のＣＰＵ２３は、物体の認識処理の確度をより高めることができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態と第１の実施形態とで異なる点は、前方画像撮影用カメラ１０が撮影した画像を補正するタイミングである。また、本実施形態では、ＣＰＵ２３が、補正部および認識部として動作する。なお、車載画像認識システム１と、前方画像撮影用カメラ１０と、画像処理制御ユニット２０との構成は、第１の実施形態の各構成と同様の構成である。

次に、本実施形態における車載画像認識システム１の画像制御ユニット２０が備える前処理用ＦＰＧＡ２１の動作について説明する。図１１は、前処理用ＦＰＧＡ２１の更新処理によって、ＶＲＡＭ２２に記憶されている画像の更新例を示した説明図である。

図示する例では、前処理用ＦＰＧＡ２１が更新処理を行う前において、ＶＲＡＭ２２に記憶されている最新フレームの画像は「Ｆ０１」であり、露光条件は「Ｇ１」であり、最新フレームのステータスは「Ｔｒｕｅ」である。また、前処理用ＦＰＧＡ２１が更新処理を行う前において、ＶＲＡＭ２２に記憶されている過去フレーム１の画像は「Ｆ１０」であり、露光条件は「Ｇ０」であり、過去フレーム１のステータスは「Ｔｒｕｅ」である。また、前処理用ＦＰＧＡ２１が更新処理を行う前において、ＶＲＡＭ２２に記憶されている過去フレーム２の画像は無く、露光条件は無く、過去フレーム２のステータスは「Ｆａｌｓｅ」である。

また、前処理用ＦＰＧＡ２１が、更新処理を行った後において、ＶＲＡＭ２２に記憶されている最新フレームの画像は「Ｆ０２」であり、露光条件は「Ｇ２」であり、最新フレームのステータスは「Ｔｒｕｅ」である。また、前処理用ＦＰＧＡ２１が、更新処理を行った後において、ＶＲＡＭ２２に記憶されている過去フレーム１の画像は「データＦ１１」であり、露光条件は「Ｇ１」であり、過去フレーム１のステータスは「Ｔｒｕｅ」である。また、前処理用ＦＰＧＡ２１が、更新処理を行った後において、ＶＲＡＭ２２に記憶されている過去フレーム２の画像は「Ｆ２０」であり、露光条件は「Ｇ０」であり、過去フレーム２のステータスは「Ｔｒｕｅ」である。

図１２は、本実施形態における前処理用ＦＰＧＡ２１の動作手順を示したフローチャートである。なお、図示するフローチャートは、具体例として、画像「Ｆ０２」を取り込んだ場合の動作手順について示している。

（ステップＳ３０１）前処理用ＦＰＧＡ２１は、前方画像撮影用カメラ１０が撮影した画像を１フレーム取り込む。具体的には、前処理用ＦＰＧＡ２１は画像「Ｆ０２」を取り込む。その後、ステップＳ３０２の処理に進む。なお、画像「Ｆ０２」の露光条件は「Ｇ２」である。

（ステップＳ３０２）前処理用ＦＰＧＡ２１は、ＶＲＡＭ２２の最新フレームバッファに最新フレームの画像が記憶されているか否かを判定する。前処理用ＦＰＧＡ２１は、ＶＲＡＭ２２の最新フレームバッファに最新フレームの画像が記憶されていると判定した場合にはステップＳ３０３の処理に進み、それ以外の場合にはステップＳ３０６の処理に進む。なお、前処理用ＦＰＧＡ２１が画像「Ｆ０２」を取り込んだ場合においては、ＶＲＡＭ２２の最新フレームバッファには最新フレームの画像として「Ｆ０１」が記憶されているため、ステップＳ３０３の処理に進む。

（ステップＳ３０３）前処理用ＦＰＧＡ２１は、ＶＲＡＭ２２の過去フレーム１バッファに、過去フレーム１の画像が記憶されているか否かを判定する。前処理用ＦＰＧＡ２１は、ＶＲＡＭ２２の過去フレーム１バッファに過去フレーム１の画像が記憶されていると判定した場合にはステップＳ３０４の処理に進み、それ以外の場合にはステップＳ３０５の処理に進む。なお、前処理用ＦＰＧＡ２１が画像「Ｆ０２」を取り込んだ場合においては、ＶＲＡＭ２２の過去フレーム１バッファには過去フレーム１の画像として「Ｆ００」が記憶されているため、ステップＳ３０４の処理に進む。

（ステップＳ３０４）前処理用ＦＰＧＡ２１は、ＶＲＡＭ２２の過去フレーム１バッファに記憶されている過去フレーム１の画像と露光条件とを、ＶＲＡＭ２２の過去フレーム２バッファに記憶させる。このとき、前処理用ＦＰＧＡ２１は、過去フレーム２のステータスを「Ｔｒｕｅ」にする。その後、ステップＳ３０５の処理に進む。

なお、前処理用ＦＰＧＡ２１が画像「Ｆ０２」を取り込んだ場合においては、ＶＲＡＭ２２の過去フレーム１バッファには過去フレーム１の画像「Ｆ００」と露光条件「Ｇ０」とが記憶されている。よって、前処理用ＦＰＧＡ２１は、画像「Ｆ００」と露光条件「Ｇ０」とをＶＲＡＭ２２の過去フレーム２バッファに記憶させる。このとき、前処理用ＦＰＧＡ２１は、過去フレーム２のステータスを「Ｔｒｕｅ」にする。これにより、ＶＲＡＭ２２の過去フレーム２バッファに記憶されている過去フレーム２の画像は、図示するように、画像「Ｆ００」となり、露光条件は「Ｇ０」となる。また、過去フレーム２のステータスは「Ｔｒｕｅ」となる。

（ステップＳ３０５）前処理用ＦＰＧＡ２１は、ＶＲＡＭ２２の最新フレームバッファに記憶されている最新フレームの画像と露光条件とを、ＶＲＡＭ２２の過去フレーム１バッファに記憶させる。このとき、前処理用ＦＰＧＡ２１は、過去フレーム１のステータスを「Ｔｒｕｅ」にする。その後、ステップＳ３０６の処理に進む。

なお、前処理用ＦＰＧＡ２１が画像「Ｆ０２」を取り込んだ場合においては、ＶＲＡＭ２２の最新フレームバッファには最新フレームの画像「Ｆ０１」と露光条件「Ｇ１」とが記憶されている。よって、前処理用ＦＰＧＡ２１は、画像「Ｆ０１」と露光条件「Ｇ１」とをＶＲＡＭ２２の過去フレーム１バッファに記憶させる。このとき、前処理用ＦＰＧＡ２１は、過去フレーム１のステータスを「Ｔｒｕｅ」にする。これにより、ＶＲＡＭ２２の過去フレーム１バッファに記憶されている過去フレーム１の画像は、図示するように、画像「Ｆ０１」となり、露光条件は「Ｇ１」となる。また、過去フレーム１のステータスは「Ｔｒｕｅ」となる。

（ステップＳ３０６）前処理用ＦＰＧＡ２１は、ステップＳ３０１で取り込んだ画像と露光条件とを最新フレームの画像と露光条件としてＶＲＡＭ２２の最新フレームバッファに記憶させる。このとき、前処理用ＦＰＧＡ２１は、最新フレームのステータスを「Ｔｒｕｅ」にする。その後、ステップＳ３０１の処理に戻る。

なお、前処理用ＦＰＧＡ２１が画像「Ｆ０２」を取り込んだ場合では、前処理用ＦＰＧＡ２１は、最新フレームの画像として画像「Ｆ０２」と、露光条件「Ｇ２」とをＶＲＡＭ２２の最新フレームバッファに記憶させる。このとき、前処理用ＦＰＧＡ２１は、最新フレームのステータスを「Ｔｒｕｅ」にする。これにより、ＶＲＡＭ２２の最新フレームバッファに記憶されている最新フレームの画像は、図示するように、画像「Ｆ０２」となり、露光条件は「Ｇ２」となる。また、最新フレームのステータスは「Ｔｒｕｅ」となる。

上述したとおり、前処理用ＦＰＧＡ２１は、ステップＳ３０１からステップＳ３０６の処理を行い、最新フレームの画像および露光条件と、過去フレーム１の画像および露光条件と、過去フレーム２の画像および露光条件とをＶＲＡＭ２２に記憶させる。

次に、本実施形態における車載画像認識システム１の画像制御ユニット２０が備えるＣＰＵ２３の動作について説明する。図１３は、本実施形態におけるＣＰＵ２３の動作手順を示したフローチャートである。なお、本実施形態では、ＣＰＵ２３は、物体の認識処理を行う際にのみ以下の処理を実行する。

（ステップＳ４０１）ＣＰＵ２３は、前方画像撮影用カメラ１０が画像を撮影することにより、新しいフレーム（垂直同期信号）が発生したか否かを判定する。ＣＰＵ２３は、新しいフレームが発生したと判定した場合にはステップＳ４０２の処理に進み、それ以外の場合にはステップＳ４０１の処理を再度実行する。

（ステップＳ４０２）ＣＰＵ２３は、ＶＲＡＭ２２の最新フレームバッファに最新フレームの画像が記憶されているか否かを判定する。ＣＰＵ２３は、ＶＲＡＭ２２の最新フレームバッファに最新フレームの画像が記憶されていると判定した場合にはステップＳ４０４の処理に進み、それ以外の場合にはステップＳ４０３の処理に進む。

（ステップＳ４０３）ＣＰＵ２３は、物体の認識処理を行うことができない（認識不能）と判定し、ステップＳ４０１の処理に戻る。

（ステップＳ４０４）ＣＰＵ２３は、車両の速度（車速）が高速であるか否かを判定する。ＣＰＵ２３は、車速は高速であると判定した場合にはステップＳ４０５の処理に進み、それ以外の場合にはステップＳ４０７の処理に進む。

（ステップＳ４０５）ＣＰＵ２３は、ＶＲＡＭ２２の過去フレーム１バッファに過去フレーム１の画像が記憶されているか否かを判定する。ＣＰＵ２３は、ＶＲＡＭ２２の過去フレーム１バッファに過去フレーム１の画像が記憶されていると判定した場合にはステップＳ４０６の処理に進み、それ以外の場合にはステップＳ４０３の処理に戻る。

（ステップＳ４０６）ＣＰＵ２３は、ＶＲＡＭ２２の最新フレームバッファから最新フレームの画像（第１の画像）と露光条件を読み出す。また、ＣＰＵ２３は、ＶＲＡＭ２２の過去フレーム１バッファから過去フレーム１の画像（第２の画像）と露光条件とを読み出す。続いて、ＣＰＵ２３は、読み出した過去フレーム１の画像を、最新フレームの画像の露光条件に合わせて補正を行う。続いて、ＣＰＵ２３は、最新フレームの画像と、補正した過去フレーム１の画像とを用いて物体の認識処理を行う。その後、ステップＳ４０１の処理に戻る。

（ステップＳ４０７）ＣＰＵ２３は、ＶＲＡＭ２２の過去フレーム２バッファに過去フレーム２の画像が記憶されているか否かを判定する。ＣＰＵ２３は、ＶＲＡＭ２２の過去フレーム２バッファに過去フレーム２の画像が記憶されていると判定した場合にはステップＳ４０８の処理に進み、それ以外の場合にはステップＳ４０３の処理に戻る。

（ステップＳ４０８）ＣＰＵ２３は、ＣＰＵ２３は、ＶＲＡＭ２２の最新フレームバッファから最新フレームの画像（第１の画像）と露光条件を読み出す。また、ＣＰＵ２３は、ＶＲＡＭ２２の過去フレーム２バッファから過去フレーム２の画像（第２の画像）と露光条件とを読み出す。続いて、ＣＰＵ２３は、読み出した過去フレーム２の画像を、最新フレームの画像の露光条件に合わせて補正を行う。続いて、ＣＰＵ２３は、最新フレームの画像と、補正した過去フレーム２の画像とを用いて物体の認識処理を行う。その後、ステップＳ４０１の処理に戻る。

本実施形態によれば、画像処理制御ユニット２０のＣＰＵ２３は、物体の認識処理を行う際にのみ、ステップＳ４０１からステップＳ４０８の処理を行い、ＶＲＡＭ２２が記憶する最新フレームの画像と、過去フレーム１の画像または過去フレーム２の画像とを読み出し、過去フレーム１の画像または過去フレーム２の画像の露光条件を最新フレームの画像の露光条件に合わせるように補正する。そして、ＣＰＵ２２は、最新フレームの画像と、補正した過去フレーム１の画像または補正した過去フレーム２の画像とを用いて物体の認識処理を行う。

これにより、物体の認識処理を行う画像と、過去のフレームの画像との露光条件が同一となるため、露光条件の違いによるノイズを抑えることができ、画像処理制御ユニット２０のＣＰＵ２３は、物体の認識処理の確度をより高めることができる。

さらに、本実施形態では、前方画像撮影用カメラ１０は常に画像を撮影しているが、ＣＰＵ２３は、物体の認識処理を行う場合にのみ過去フレームの画像の補正を行うため、補正に関する処理の負荷を低減させることができる。

以上、この発明の第１の実施形態および第２の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

例えば、第１の実施形態および第２の実施形態では、最新フレームの画像と、過去フレーム１の画像または過去フレーム２の画像とを用いて物体の認識処理を行う例について説明したが、これに限らない。例えば、最新フレームの画像と、過去フレーム１の画像と、過去フレーム２の画像との３つの画像を用いて物体の認識処理を行っても良い。また、最新フレームの画像と、３つ以上の過去フレームの画像とを用いて物体の認識処理を行っても良い。これらの場合においても、過去フレームの画像の露光条件を、最新フレームの画像の露光条件に合わせて補正することで、露光条件の違いによるノイズを抑えることができ、物体の認識処理の確度をより高めることができる。

１・・・車載画像認識システム、１０・・・前方画像撮影用カメラ、２０・・・画像処理制御ユニット、２１・・・前処理用ＦＰＧＡ、２２・・・ＶＲＡＭ、２３・・・ＣＰＵ

Claims

車両に設置され、走行中の当該車両の前方画像を連続して撮影する前方画像撮影用カメラと、
前記前方画像撮影用カメラが撮影した第１の画像の露光条件に合わせるように、前記前方画像撮影用カメラが撮影した第２の画像を補正する補正部と、
前記第１の画像と、前記補正部が補正した前記第２の画像とを比較して、前記車両の前方に存在する物体の認識処理を行う認識部と、
を備えたことを特徴とする車載画像認識システム。
前記補正部は、前記第２の画像の露光条件を、当該第２の画像の露光条件と前記第１の画像の露光条件との変化分の値を乗算して、前記第１の画像の露光条件と同一の露光条件となるように補正する
ことを特徴とする請求項１に記載の車載画像認識システム。
前記補正部は、前記認識部が前記物体の認識処理を行う際に前記第２の画像を補正する
ことを特徴とする請求項１または請求項２のいずれか１項に記載の車載画像認識システム。