JP2013186668A - 車両周囲監視装置 - Google Patents

Abstract

【課題】簡単な構成で自車と接触する可能性のある歩行者を、水蒸気や光源変動による見かけの動きを除いて、検出することが可能な車両周囲監視装置を得ること。
【解決手段】車載カメラで所定の時間間隔をおいて撮像された複数の画像に基づいて移動体を検出し、その移動体の動き情報と画像の輝度情報に基づいて移動体が見かけの動きであるか否かを判定する。そして、見かけの動きであると判定された移動体が存在する領域をマスクして、移動体の検出結果に応じた警報制御を行う。
【選択図】図１

Description

本発明は、車載カメラで撮像した車両周囲の画像から、自車に接近する可能性のある歩行者を検出する車両周囲監視装置に関する。

従来より、車両などの移動体に１台以上のカメラを搭載し、車両の周囲環境に存在する障害物を認識し、必要に応じてドライバーに報知することで、事故を未然に防止するシステムが考えられている。例えば、異なるタイミングで撮像した複数の画像からオプティカルフローを算出し、画像内の各点の動きをまとめることで、画像内の動きを算出する技術が開発されている。この画像内の動きを算出することによって、歩行者や自転車などの移動体を認識する画像処理装置が知られている。

例えば、特許文献１には、画像内に設定された各領域のオプティカルフローをそれぞれ算出し、この各領域のオプティカルフローのうち、予め設定された閾値以上のオプティカルフローに基づいて、他車両の動きを認識する技術が記載されている。

特開平６−３１４３４０号公報

しかしながら、オプティカルフローは、画像中の局所的な見かけの動きにも影響を受けるので、歩行者等の移動体以外でも時々刻々と輝度値が変化するような状況では、誤ったオプティカルフローが計測されてしまう。

このような状況としては、例えば、気温の低い屋外環境において自動車の排気マフラーから排気ガスに含まれている水蒸気が立ち上っているような場合や、路面などにウィンカーやヘッドライトによる陰影変化が映り込んでいるような場合に起こりうる。すなわち、三次元空間中には障害物がないにも関わらず、時間経過に応じて輝度値が変化している状況において、誤ったオプティカルフローが計測されるという問題がある。

特許文献１に記載された車両周囲監視装置にあっては、オプティカルフローが所定の閾値以上の場合に他車両として認識するために、前述のように誤ったオプティカルフローが計測されている場合には、他車両が存在しないにもかかわらず、これを車両であると誤認識してしまう恐れがある。

本発明は上記の問題点に鑑みてなされたものであり、その目的は、画像中の見かけの動きに起因する誤認識を除いて、自車と接触する可能性のある移動体を正確且つ容易に検出することが可能な車両周囲監視装置を提供することにある。

上記課題を解決する本発明の車両周囲監視装置は、車載カメラで所定の時間間隔をおいて撮像された複数の画像に基づいて移動体を検出し、その移動体の動き情報と画像の輝度情報に基づいて移動体が見かけの動きであるか否かを判定する。そして、見かけの動きであると判定された移動体が存在する領域をマスクして、移動体の検出結果に応じた警報制御を行う。

本発明によれば、移動体が見かけの動きである場合に、かかる移動体が存在する領域をマスクして警報制御を行うので、自車と接触する可能性のある歩行者等の移動体を検出する際に、水蒸気や灯火類等に起因した見かけの動きによる誤検出を防ぐことができる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本実施の形態に係わる車両周囲監視装置の機能ブロック図。 車両周囲監視装置の構成例を説明する図。 車両周囲監視装置の処理内容を説明するフローチャート。 水蒸気をリアカメラで観測している様子を表す図。 水蒸気をリアカメラで観測した場合に得られる映像を表す図。 ウィンカー照射をリアカメラで観測している様子を表す図。 ウィンカー照射をリアカメラで観測した場合に得られる映像を表す図。 ヘッドライト照射をフロントカメラで観測している様子を表す図。 ヘッドライト照射をフロントカメラで観測した場合に得られる映像を表す図。 車両周囲監視装置の他の構成例を説明する図。 車両周囲監視装置の他の構成例を説明する図。 車両周囲監視装置の他の構成例を説明する図。 車両周囲監視装置の他の構成例を説明する機能ブロック図。 見かけ判定手段を説明する機能ブロック図。

［第１実施の形態］
次に、第１実施の形態について以下に説明する。

本実施の形態に係わる車両周囲監視装置は、水蒸気や光源変動による見かけの動き領域を検知することにより、当該領域における移動体検知結果を無効化して、見かけの動きに起因する誤警報を抑止し、ユーザにとって煩わしくない車両周囲監視装置を提供することを第１の目的としている。

車両周囲監視装置は、自車周囲の移動体を検知するため、車載カメラによって予め設定された時間間隔をおいて撮像された撮像画像間におけるオプティカルフローを算出し、同一方向のフローをもつ画素が一定数以上集合していれば、移動体として出力する。

誤警報の要因となる水蒸気には、以下の（１）〜（５）の特徴がある。（１）昼間はコントラストが低い、（２）夜間に自車および他車のヘッドライトやウィンカー等により照射されると、輝度が高くなり撮像素子出力レンジの上限付近の輝度値をとる（３）マフラーから立ち上り、拡散し、風の影響をうけて流れる、（４）水蒸気内部のオプティカルフローの動き自体は不安定である、（５）気温や湿度の条件が揃うと一定の範囲内で継続的に発生する。なお、ここでいうコントラストとは、ある画像領域内に含まれる画素の輝度値について、その最大最小の値の差のことである。

車両周囲監視装置では、車載センサにより外気温やエンジン温度などの条件を判定して水蒸気が誤検知されやすい状況か判断し、誤検知の可能性がある場合には、オプティカルフローによって動き領域を抽出し、時間帯に応じて水蒸気が観測されやすい輝度値閾値を設定し、設定された閾値で前記抽出された動き領域内でのコントラスト判定を行う。水蒸気に類似するコントラストとして判定された場合、一定時間だけ当該領域で検知開始された移動体を報知しないようにマスクする。

例えば昼間の水蒸気は、薄いもやもやとした低コントラストな白煙として観測されることが多い。したがって、昼夜判定において昼間と判定されている場合、オプティカルフローにより見かけの動きがあると判定された領域の輝度値が、一定時間以上連続して、不規則に変動しており、かつ局所領域内でのコントラストが一定値より低いと判定されたときには、この領域が水蒸気を撮像した領域であると判定して、一定時間だけ当該領域にオプティカルフローが現れても、報知を抑制する処理を行う。

夜間の水蒸気は、照明が当たっていない場合には、オプティカルフローが検知されない程度に見えにくいが、車および他車のヘッドライトやウィンカー、街灯などの照明が当たった場合には輝度値上限付近の高輝度となることが多い。そこで、昼夜判定において夜間と判定されている場合、オプティカルフローにより見かけの動きがあると判定された領域の輝度値が、取り得る輝度値範囲の上限側から１０％以内に入る画素数が所定の面積割合以上あるときは、この領域が水蒸気領域であると判定して一定時間だけ当該領域にオプティカルフローが現れても報知を抑制する。

また、ヘッドライトやウィンカーの点滅時には、路面や壁に光線が照射されたことに伴って画像上に高輝度領域が出現する。光源の強度変化は、カメラの撮像周期と比べて緩やかであるため、高輝度領域の境界が見かけ上移動し、オプティカルフローが観測されてしまう。

したがって、ヘッドライトやウィンカー、フォグランプ、後退灯、車幅灯、尾灯、番号灯など灯火類の明滅状態を示すイルミネーションセンサまたは灯火類の点灯制御装置によって、自車の灯火類が点灯状態であることが得られており、オプティカルフロー領域近傍に、取り得る輝度値範囲の上限側から１０％以内に入る高輝度領域が存在する場合、高輝度領域周囲に観測されたオプティカルフローによる報知を抑制する。

さらに、ウィンカーのように周期的に点滅するものに関しては、その周期を観測することにより、自車または他車のウィンカー点滅の影響を受けている領域であることを検知し、当該領域における移動体検知結果を無効化して、見かけの動きに起因する誤警報を抑止する。

なお、上記では、高輝度領域として、取り得る輝度値範囲の上限側から１０％以内に入る輝度値を持つ画素の場合を例に述べたが、通常のカメラには周囲の明るさによって絞りやシャッタ速度を調節する機構であるオートゲイン機能や、カメラ映像をＡ／Ｄ変換して画像メモリに取り込む際に色や輝度の補正を行う機能が組み込まれているので、これらの設定値に連動して、高輝度領域と判定する輝度値範囲を調整する構成としてもよい。

車両周囲監視装置では、オプティカルフローで計測される各画素のフローベクトルの向きの分散を用いて、灯火類の映り込みや水蒸気であることの判定を行っても良い。そして、搭載車両の排気ガス容量とマフラー位置を考慮して、無風状態時に画面上に出現する水蒸気の位置と大きさを仮定し、対応する領域サイズ内での輝度値の平均および分散を計算し、低コントラスト状態を判定してもよい。また、灯火類の映り込み領域や水蒸気領域であると判定された場合、一定時間だけ当該領域を報知対象外の領域とし、報知対象外の時間内に再度灯火類の映り込み領域や水蒸気領域であると判定された場合には、判定された時点から更に一定時間だけ報知対象外の領域になるように時間を更新してもよい。

［実施例１］
次に、車両周囲監視装置１００の実施例について図面を用いて説明する。
本実施例は、車載カメラ１１１で車両周囲を撮像して、車両１２０に接触する可能性のある移動体を検出したときに警報を出力する車両周囲監視装置１００に関するものである。

まず、説明に使用する用語の定義を行う。撮像手段で異なる時刻に撮像された２つの画像から算出される各画像座標における移動量対応付け結果である移動ベクトルを、オプティカルフローと呼ぶ。

水蒸気のように、時々刻々とそれ自体の形状が変化するために、実際には物体が移動していないにもかかわらず、オプティカルフローが算出されてしまうことがある。また、自車両や他車両、車両以外の光源照明環境が変動する場合、画像上のグラデーションや照射部分と非照射部分との境界領域などが変化するために、実際には物体が移動していないにもかかわらず、オプティカルフローが算出されてしまうことがある。このような画像中の見かけの変化による動きのことを、以後、見かけの動きと呼ぶ。そして、実環境である世界座標系における撮像視点に対して、人物や車両といった移動体の相対的な移動量を、以後、対象の移動量と呼ぶ。

図１は、本実施の形態に係わる車両周囲監視装置の構成を説明する図、図２は、車両周囲監視装置の構成例を説明する図である。

車両周囲監視装置１００は、歩行者が自車に対して相対的に接近する方向に移動しているか否かを監視するためのものであり、図２に示すように、例えば画像処理用のＥＣＵ１１０内に構成されている。ＥＣＵ１１０の入力側には、車両前方あるいは後方などの自車両周辺を観測するための車載カメラ１１１、車両の各車輪の回転速度を得る車輪速センサ１２１、ハンドルの回転角度を得る舵角センサ１２２、自車両のヘッドライトやウィンカーといった灯火類の点灯状態を得るためのイルミネーションセンサ１２３が接続されており、出力側には、警報音を出力するためのスピーカ１１２と、警報を出力した対象を表示するためのモニタ１１３が接続されている。

車載カメラ１１１は、いわゆる単眼カメラであり、自車の周囲を撮像するために車両１２０に取り付けられている。車載カメラ１１１は、図４に示されるような車両後方を撮像するリアカメラに限定されるものではなく、車両前方を撮像するフロントカメラや、車両側方を撮像するサイドカメラであってもよく、これらを全て備えたものであってもよい。

また、車両周囲監視装置１００は、画像処理用のＥＣＵ１１０内に構成されるものに限定されず、専用のＥＣＵや、車載カメラ１１１のＥＣＵ等の他の車載ＥＣＵに構成されていてもよく、複数のＥＣＵの組み合わせによって構成されていてもよい。

車両周囲監視装置１００は、図１に示すように、撮像画像取得手段１０１と、オプティカルフロー算出手段１０２と、明暗判定手段１０３と、移動体検出手段１０４と、見かけ判定手段１０５と、警報抑制領域設定手段１０６と、警報制御手段１０７と、車両情報取得手段１０８を有する。

撮像画像取得手段１０１は、車載カメラ１１１によって予め設定された時間間隔をおいて撮像された複数の画像１、２を取得する。オプティカルフロー算出手段１０２は、撮像画像取得手段１０１で取得した複数の画像を用いてオプティカルフローを算出する。明暗判定手段１０３は、車両情報に基づいて車両周囲の環境の明暗を判定する。イルミネーションセンサ１２３は、前照灯やスモールランプ等の車両灯火類の点灯情報を取得する。

移動体検出手段１０４は、オプティカルフローに基づいて移動体を検出する。見かけ判定手段１０５は、オプティカルフローと画像の輝度に基づき、移動体が見かけの動きであるか否かを判定する。警報抑制領域設定手段１０６は、見かけの動きであると判定された移動体が存在する領域をマスクする。警報制御手段１０７は、警報抑制領域以外の移動体検出領域に存在する移動体の検出結果に基づいて警報制御を行う。車両情報取得手段１０８は、車輪速センサ１２１、舵角センサ１２２、イルミネーションセンサ１２３からの情報を車両情報として取得する。

次に、車両周囲監視装置１００の各構成について詳細に説明する。
車載カメラ１１１は、例えばＣＣＤカメラやＣＭＯＳカメラなどの受光素子に照射された可視光もしくは近赤外光あるいは遠赤外光などの光の強度を電荷として増幅して出力する装置である。

近年はカメラ内に記憶素子とプロセッサを内蔵することにより、撮像後にカメラ内でレンズ歪みを補正し、出力するものもある。出力はアナログもしくはデジタル信号が使われることが多いが、本実施例ではアナログ信号の場合を例に説明する。出力された映像信号は、撮像画像取得手段によってＡ／Ｄ変換されるが、その際、Ａ／Ｄ変換の電圧と輝度値のマッピングパラメータを変更することで、同一信号の映像をより明るく、もしくは、より暗い輝度値で取得してメモリに格納することも可能である。

こうしてメモリに格納された画像のうち、時刻の異なる２枚の画像、画像１および画像２を入力として、オプティカルフローを算出する。

オプティカルフローは、参照画像と探索画像と呼ぶ撮像時間の異なる２枚の画像を入力として、参照画像のある画像パッチが、探索画像のどこの領域と類似性が高いかを探索し、類似性の高い領域に元の画像パッチが移動したとみなす。この移動ベクトルをフローベクトルと呼び、複数の画像パッチに対してそれぞれフローベクトルを算出することによって、２枚の画像間で領域が移動したか否かを抽出する。

明暗判定手段１０３は、ヘッドライトやフォグランプなどの灯火信号や、照度センサ、時計情報などの車両情報を利用して、車両周囲の環境が暗い環境か否か、または暗くなっているであろう状況か否か、を判定する。そして、その判定結果を、見かけ判定手段１０５に伝える。

図１４に示すように見かけ判定手段１０５は、水蒸気または光源変動による見かけの動きを検出したものであるか否かを判定する。見かけ判定手段１０５は、低コントラスト領域判定手段３１１と、水蒸気判定手段３１２と、光源変動判定手段３１３を有する。

低コントラスト判定手段３１１は、撮像画像取得手段１０１で取得した画像１、２に対して、局所領域内に含まれる画素の輝度値の平均値、または分散値の少なくとも一方の変動を算出して、明暗判定情報に基づいて低コントラスト判定を行う。

低コントラスト判定手段３１１は、画像を所定のサイズの画像ブロックに分割し、各ブロック内の画素の輝度値の平均および分散を算出し、明暗判定手段１０３の判定結果によって、判定閾値を切り替える。例えば、判定結果が昼間であった場合、薄い水蒸気、すなわちはっきり見えない水蒸気を検知するために、分散値が低い領域を低コントラスト領域と判定する。そして、判定結果が夜間であった場合、照明の当たって明るい水蒸気を検知するために平均値が高い領域を低コントラスト領域と判定する。

水蒸気判定手段３１２では、低コントラスト判定手段とオプティカルフロー算出手段１０２の結果に基づき、当該領域が水蒸気の発生している領域か否かを判定する。例えば、明暗判定手段１０３により夜間であると判断され、かつ、輝度値の高い領域の周囲にのみオプティカルフローが出力されている場合には、これを水蒸気が発生している領域として限定する判定を行う。

光源変動判定手段３１３は、画像中の各局所領域の輝度値が時間変化に伴って所定のパターンに従うかを判定することにより、ヘッドライトやウィンカーの明滅による光源変動が生じたか否かを判定する。

例えば、自車のヘッドライトの点灯においては、ＣＡＮ信号や点灯スイッチからのハードワイヤによるライト点灯開始指示をトリガとして、自車のライトが徐々に明るくなり完全に点灯するまでの時系列変化の輝度値増加パターンを事前知識として記憶手段に記憶しておく。

そして、画像中の各局所領域の輝度値の変化が、前述のライト点灯開始指示以前の輝度値を基準とした輝度値の増加率と輝度値増加パターンの増加率とを比較して、所定の閾値の誤差以内で互いに一致していれば、ヘッドライトが点灯したものと判定する。

また、自車のウィンカーの明滅に関しても、上記したヘッドライトの点灯と同様に、ライトの点灯指示および消灯指示をトリガとした輝度値の輝度値増加パターンおよび輝度値減少パターンを事前知識として記憶手段に記憶しておき、それらのパターンとの類似性を比較することによってウィンカーの明滅を判定することが可能である。

なお、他車のヘッドライトやウィンカーに関しては、ライト明滅のタイミングを車両情報として得ることができない。したがって、例えば以下のように時系列変化を観測して、周期的パターンの周期の推定とそのパターンへの類似性を比較する。

例えばウィンカーの場合、その周期は１分間に６０回ないし１２０回の点滅であることが決められており、点灯時および消灯時の輝度変化パターンは、各車両毎にそれぞれ一定である。車種により異なるが、例えば点灯開始指示がライトに送られて電球に電流が流れ始めてから２００ミリ秒かかって徐々に明るくなり、最大の明るさの状態が２００ミリ秒継続し、消灯開始指示がライトに送られて電球への電流供給が停止してから１６０ミリ秒かかって完全に暗くなり、消灯状態が２４０ミリ秒継続するようなウィンカーライトが市販されている。

点灯時および消灯時の輝度変化パターンから、輝度上昇時間ｔ１、最大輝度継続時間ｔ２、輝度下降時間ｔ３、最低輝度継続時間ｔ４をパラメータとした輝度変化モデルを想定し、取得した時系列の画像からパラメータと点灯指示および消灯指示のタイミングを算出する。このタイミングは、画像中の各局所領域の輝度変化と輝度変化モデルとを最小二乗法などの既存の手法を用いて解くことで求められる。

輝度変化パターンと点灯指示および消灯指示のタイミングを算出することができれば、前述のヘッドライトと同様に、輝度変化パターンと画像から得られた輝度変化が一定の誤差以内で一致しているか否かを判定することによって、ウィンカーによる光源変動があるか否かを判定することができる。そして、ウィンカーによる光源変動があると判定された場合には、移動体が光源変動による見かけの動きと判定する。

判定結果出力手段３１５は、水蒸気判定手段３１２、または光源変動判定手段３１３のうち、少なくとも一方の判定結果と判定された領域を警報抑制領域設定手段に出力する。

警報抑制領域設定手段１０６は、水蒸気判定手段で出力された水蒸気の領域を一定時間だけ警報抑制領域として保持し、その時間内は当該領域で新規に検知された移動体について、警報抑制領域で移動体が新規に検知されたことを示す情報を付加して、無効な移動体であることを、警報抑制手段１０７に通知する。また、光源変動があると判定された場合には、その領域を警報抑制領域として、当該領域で新規に検知された移動体について、警報抑制領域で移動体が新規に検知されたことを示す情報を付加して、無効な移動体であることを、警報制御手段１０７に通知する。

一方、水蒸気の領域以外、或いは、光源変動領域以外で既に検知されている移動体が、移動してきてこれらの領域に進入してきた場合には、警報対象の有効な移動体が存在することを警報制御手段１０７に通知する。また、水蒸気の領域以外、或いは、光源変動領域以外で新たに検知された移動体については、新規に警報対象の有効な移動体が存在することを警報制御手段１０７に通知する。

警報制御手段１０７は、オプティカルフロー算出手段１０２と警報抑制領域設定手段１０６の結果に基づき、有効な移動体のみを報知する処理を行う。警報制御手段１０７は、車室内に設置されたカーナビゲーションシステムやディスプレイオーディオのモニタ１１３やスピーカ１１２を制御する。警報制御手段１０７は、ユーザに対しては例えばナビ画面（モニタ）の出力に対して、カメラ映像に警告表示を重畳して表示する制御や、警報音をスピーカから吹鳴する制御を行う。そして、警報抑制制御として、少なくとも警報音を抑止する制御を行う。

本実施例の車両周囲監視装置１００は、少なくとも以上の構成により、車載されたカメラ１１１で獲得した撮像時刻の異なる複数の画像からオプティカルフローを抽出し、水蒸気或いは光源変動と判定された領域と重なったか否かを判定することにより、警報出力の有無を切り替える。

次に、図２を用いて、本処理を実行するＥＣＵ（Ｅｌｅｃｔｒｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）とその周辺装置との連携について説明する。

ＥＣＵ１１０は、カメラ１１１から映像を入力するとともに、そのときの自車挙動を算出するために、車輪速センサ１２１および舵角センサ１２２からのセンサ情報を受信する。このセンサは自車挙動を算出ために使われるセンサであればよく、車速センサ、車輪速パルスセンサ、ハンドル角センサ、舵角動力補助装置、車高センサ、ヨーレートセンサ、ＧＰＳセンサ、加速度センサなどを使ってもよい。また、イルミネーションセンサ１２３は、自車の灯火類の状態を示すセンサであり、例えばヘッドライトを照射する状況は、周囲が暗い環境であると判断することができる。ほかに自動ヘッドライト点灯装置に使われる照度センサなどを利用してもよい。

ＥＣＵ１１０は車両周囲監視を実行した結果をモニタ１１３に表示したり、必要に応じてドライバーに注意喚起を促すため、警報音をスピーカ１１２から鳴らしたりする。

上記構成を有する車両周囲監視装置の処理内容を図３のフローチャートに基づいて説明する。まず、ステップＳ１０において、車載カメラ１１１で、水蒸気や路面を含む車両周囲を所定の時間間隔で少なくとも２回撮像して２枚の画像１、２を取得し、ステップＳ２０に進む。

ステップＳ２０では、オプティカルフロー算出手段１０２によって、２枚の画像１、２からオプティカルフローを算出して、ステップＳ３０に進む。ステップＳ３０では、移動体検出手段１０４によって、路面上にある移動体を検出し、ステップＳ４０に進む。

ステップＳ４０では、見かけ判定手段１０５によって、水蒸気や光源変動による見かけの動きを判定する。ステップＳ５０では、警報抑制領域設定手段１０６によって、警報抑制領域を設定する。ステップＳ６０では、移動体検出手段１０４によって新規に移動体が検出された領域が、警報抑制領域と重複しているか否かを判断する。そして、重複していると判断した場合には、検出された移動体が見かけの動きによる誤検出であると判断して警報出力をせずに、ステップＳ８０に進む（図中のＮｏのパス）。一方、重複していないと判断した場合には、検出された移動体が見かけの動きによる誤検出ではないと判断して、ステップＳ７０に進む（図中のＹｅｓのパス）。

ステップＳ７０では、モニタ１１３やスピーカ１１２から警報を出力して、車両の運転者に注意を促す。その後、ステップＳ８０に進む。ステップＳ８０では、周囲監視手段を動作させる動作スイッチ（図示せず）が切断されたこと、または、車両のイグニッションスイッチが切断されたことを検出して、処理終了を判断する。終了判断がなされないときは、ステップＳ１０に戻って、同じ処理を繰り返す。

次に、ステップＳ２０で行われるオプティカルフロー算出処理の具体的な内容について説明する。

カメラ１１１で時刻ｔに撮像した画像をＩｔ（ｘ、ｙ）とし、時刻ｔ＋Δｔに撮像した画像をＩｔ＋Δｔ（ｘ、ｙ）とする。まず、画像Ｉｔ（ｘ、ｙ）の中から輝度勾配の大きな点を特徴点として検出する。具体的には、画像Ｉｔ（ｘ、ｙ）に対して、着目する画素の近傍に小領域を設定して、輝度勾配を表す量として、設定した小領域の内部におけるエッジ強度を求めるオペレータを作用させて、求めたエッジ強度が所定値よりも大きい画素を特徴点とする。このとき、併せて、同じ画素におけるエッジ方向も算出しておく。

次に、画像Ｉｔ（ｘ、ｙ）の中から検出した特徴点と同じ輝度勾配を有する画素（対応点）を、画像Ｉｔ＋Δｔ（ｘ、ｙ）の中から探索する。この処理は、画像Ｉｔ＋Δｔ（ｘ、ｙ）の中に、所定の大きさの探索範囲を設定して、設定した探索範囲の中で、画像Ｉｔ（ｘ、ｙ）の中から検出した特徴点と同じ輝度勾配（エッジ強度とエッジ方向）を有する画素を探索することによって行われる。

次に、エッジ強度の近似度とエッジ方向の近似度に、それぞれしきい値を設けて、エッジ強度の差異とエッジ方向の差異が、ともに、それぞれ設定されたしきい値以内であるときに、対応点が見つかったと判定する。対応点が探索されないときは別の特徴点の検出を行う。

次に、画像Ｉｔ（ｘ、ｙ）の中から検出した特徴点を始点とし、画像Ｉｔ＋Δｔ（ｘ、ｙ）の中から見つけた対応点を終点とするオプティカルフローを決定する。このようにして検出されたオプティカルフローの始点の位置座標と終点の位置座標とは、オプティカルフロー算出手段中に記憶される。

上記した特徴点の検出処理を、画像Ｉｔ（ｘ、ｙ）の全ての画素に対して行う。なお、オプティカルフローの算出方法は、上記したものに限定されるものではない。すなわち、オプティカルフローの検出方法は、数多く提案されており、既知となっているいずれの方法を用いて行ってもよい。

ステップＳ３０で行われる移動体検出処理の内容について説明する。
移動体検出処理では、オプティカルフローの算出結果から得られたフローの始点の座標、終点の座標、フローの長さを読み出して、フローベクトルのグルーピングを行う。この処理は、近接した位置で検出された、オプティカルフローを統合するものである。具体的には、予め設定したサイズの領域の中にあるオプティカルフロー同士を比較して、長さがともに所定値以上で、なおかつ、方向の差が所定値以下であるとき、オプティカルフロー同士をグルーピングする。そして、上記したグルーピングを、画像上の全オプティカルフローベクトルについて行う。その後、グルーピングされたオプティカルフローが画面上で所定の大きさがある場合に物体であると判定する。

ステップＳ４０で行われる見かけの動き判定処理の内容について図４および図５を用いて説明する。
まず、見かけの動きの１つである水蒸気検出の例を示す。

図４は車載カメラ１１１で、水蒸気１３０を検知している例を示している。自車の水蒸気は、マフラー１３１付近から発生することが分かっているため、車両毎の知識としてマフラー位置に対応する画面上の位置から水蒸気が発生することが予測できる。

水蒸気１３０は、車両のマフラー１３１から排出されて拡散し、図５に示すように、車載カメラ１１１で撮像した画像に映り込む。水蒸気の検出処理では、観測している世界座標中でほぼ同一位置にありながら、オプティカルフローのフローベクトルの方向がさまざまな方向をとり、画像上の同一座標におけるフローベクトルが時系列として変動する点を水蒸気のフローベクトルとして記録する。この処理を画像上の全オプティカルフローベクトルについて行う。

その後、記録された水蒸気のフローベクトルをグルーピングすることで、水蒸気領域を算出する。この統合は、具体的には、水蒸気のフローベクトルとして記録されたフローの始点の座標、終点の座標が、予め設定したサイズの領域の中にあるか否かを比較して、近傍の距離にあるときにグルーピングする。このグルーピング処理を画像上の全ての水蒸気のフローベクトルに対して行う。見かけの動き領域の出力は、例えばグルーピング処理により得られた見かけの動き領域毎に、外接矩形の左上点座標および右下点座標と、外接矩形内の見かけの動き領域の面積、もしくは面積比、見かけの動きの種類として記録する。

ステップＳ５０で行われる警報抑制領域の設定処理の内容について説明する。
警報抑制領域の設定処理では、見かけの動き判定手段により記録された、画面上の見かけの動き領域の外接矩形が所定の時間継続して同じ場所に存在する場合に、当該領域を警報抑制領域として記録する。

同じ場所に存在するか否かは、具体的には、時刻ｔ−１と時刻ｔとで複数の外接矩形の左上点座標と右下点座標が得られているとき、その領域の重なり率が所定の閾値以上である場合、同じ場所に存在していると判定する。時刻ｔ−Ｎから時刻ｔまでのＮ＋１枚の異なる時刻の画像について外接矩形が得られている場合、所定の枚数以上で同じ場所に存在すると判定されれば、Ｎ＋１時間継続して同じ場所に存在すると判定する。

次に、別の見かけの動きの１つである光源変動について、図６および図７を用いて説明する。
図６はウィンカーの点滅により、光源が路面を照射しているところを示す図であり、図７は照射された路面が画像として観測されているところを示す図である。

車両が静止しており、かつ路面が平坦である場合は、路面に対する光源１４０の位置および投光パターンが一定であることから、カメラ１１１で観測した路面上の輝度変化の位置１４１も一定である。また、この路面上の静止している自車、もしくは静止している他車に搭載している光源が明滅する場合、画像上の一定の領域が光源変動の影響を受けて輝度変化が生じる。さらに、路面上の全領域ではなく、光源の形状に応じた一定の領域のみが光源変動の影響を受ける。このため、画像を局所領域に分割し、分割された領域における時系列輝度変化を観測する。

時系列の輝度変化の観測は以下のように行う。まず、点灯時および消灯時の輝度変化パターンを輝度上昇時間ｔ１、最大輝度継続時間ｔ２、輝度下降時間ｔ３、最小輝度継続時間ｔ４、をパラメータとした輝度変化モデルを想定し、このパラメータを算出することを考える。

取得した時系列の画像中の各局所領域についてそれぞれ輝度値平均値を算出し、少なくとも１周期分より長い時間（たとえば１．５周期分）に相当する配列長をもつリングバッファに格納して蓄積する。リングバッファに１．５周期分より長い輝度平均値が格納された後、最新側の０．５周期分の輝度値配列と同様の波形形状をもつ部分をリングバッファから探索することで周期を算出する。

このとき、サンプリングレートが輝度値変動に対して十分に短くない場合を想定して、０．５周期分の輝度値列から近似曲線を生成し、この近似曲線同士の類似箇所を探索してもよい。

ここでいう近似曲線とは、３次曲線、４次曲線などのことで、複数の輝度平均値とその観測時刻が得られたときに、その時間―輝度値を通るような曲線を最小二乗法などで近似して生成することは容易である。

この生成した近似曲線の位相を探索することで、サンプリング間隔に影響を受けずに周期を算出することが可能となる。周期算出後、最大輝度値継続時間ｔ２、および最小輝度値継続時間ｔ４を算出する。これは、ｔ２、ｔ４の期間は輝度値がほぼ一定になっているため、リングバッファに含まれる輝度値列に対して、所定の時間長さ分の移動平均および移動分散を算出し、分散値が閾値より小さい場合にｔ２、ｔ４が継続していると判定することで算出する。ｔ１、ｔ３は周期全体からｔ２、ｔ４を除いた時間によって算出できる。

ここまで述べた図６および図７に関しては、立体物のない路面と、その路面上に静止している自車、もしくは静止している他車に搭載している光源が明滅することを想定していた。図８および図９は、自車近傍に壁があり、自車ヘッドライトで照射しながら前進して壁に近づく例を示した図である。

図８は、自車１５０が壁１５３に向けてヘッドライトの光線を照射し、その光線による照射範囲１５２が画像では非常に高い輝度値の領域として観測される。

この照射範囲１５２は、自車１５０から壁１５３までの距離に比例しており、自車１５０が壁１５３に接近することで照射範囲も狭くなる。このため、図９の撮影された画像では、照射領域１５２の境界で見かけの動きが発生し、オプティカルフローが観測されてしまう。そこで、自車１５０がカメラ視野内に投光している場合で、かつカメラ視軸方向への移動量がある場合に限り、所定の輝度値範囲のエッジをもつ領域を、見かけの動き領域として抽出する。

なお、カメラ視軸方向への移動量があるというのは、例えばフロントカメラの画像を処理している場合にはセレクトレバーのセレクタポジションがＤ（ドライブ）やＬ（ロー）でかつ所定の車速が検出されている状態や、車輪回転センサから前進方向に回転している情報が得られている状態であり、また、例えばリアカメラの画像を処理している場合にはセレクトレバーのセレクタポジションがＲ（リバース）でかつ車輪速パルスセンサからパルスが得られている状態を指しており、システムのカメラ選択状態と車両センサとの組み合わせで判定することができる。

カメラ視軸方向への移動量がある場合、カメラ選択状態から搭載している光源の強度が分かるため、事前に設定した削除すべきエッジの強度を変更する。入力画像に対して、このエッジ強度のエッジのみ抽出し、見かけの動き領域を算出する。

以上説明したように、本実施例の車両周囲監視装置１００によれば、カメラ１１１で撮像された画像を元に、水蒸気や光源変動による見かけの動き領域を検知して当該領域における移動体検知結果を無効化するので、見かけの動きに起因する誤警報を抑止し、ユーザにとって煩わしくない車両周囲監視装置を提供することができる。

次に、このアルゴリズムを搭載するハードウェアの構成に関して、図１０を用いて説明する。
フロントカメラ、リアカメラ、サイドカメラ、室内カメラなど複数台のカメラ１６１からの映像信号は、メモリ１６２に格納される。ＣＰＵ１６０は、メモリ１６２に格納された映像信号と、車載センサ１６９からのセンサ情報を元に、移動体の検知と、見かけの動き領域を検知する。そして、その結果をユーザに通知するため、見かけの動きに起因する誤警報を抑止し、適切なカメラ映像を選択して、モニタ１６３に表示をおこなうとともに、スピーカ１６４から警報音を吹鳴する。

また、ユーザに最終確認を任せるという観点で、モニタ１６３に対しては、見かけの動き領域の検知結果に関わらず、移動体検知結果をそのまま表示し、 スピーカ１６４からの警報音のみ、見かけの動き領域の検知結果に応じて、警報音の抑止をおこなってもよい。

次に、情報の流れの観点で、図１３を用いて説明する。
見かけ判定手段２１１は、照度センサや、外気温センサ、排気温センサ・冷却水温度センサ（いずれも図示せず）などのエンジン状態を表すセンサ類からの情報を入力として、水蒸気検出処理のパラメータ変更や、実施・不実施を切り替える。また、照度センサや、灯火類の点灯指示の信号を入力として、光源変動に伴う見かけの動き判定処理の実施・不実施を切り替える。また、車両移動情報を利用して、自車移動に伴う背景移動を算出する。

オプティカルフロー算出手段２１２は、カメラ映像を入力として、画面中から動き領域を算出するとともに、見かけ判定手段２１１によって算出された背景移動を除去する。その後、物体検出手段２１３は、背景移動を抑制したオプティカルフローから移動体領域を抽出する。

警報抑制領域設定手段２１４は、見かけ判定手段２１１で得られた、例えば水蒸気領域を保持する。警報判定手段２１５では、この水蒸気領域で移動体領域が検出された場合に報知を抑制する。

［第２実施の形態］
次に、第２の実施形態について図１１を用いて説明する。
本実施形態における処理の大まかな流れは、第１実施の形態とほぼ同じであるため、異なる部分についてのみ言及する。図１１は、第２実施形態のハードウェアの構成を示す図である。

第２実施の形態は、映像補正手段１６５がカメラ１６１の映像入力を受ける構成を有している。映像補正手段１６５は、例えば、車両の前後左右に搭載したカメラからの映像をそれぞれ俯瞰変換して統合することにより、オーバーヘッドビューモニタ画像を生成する。映像補正手段１６５は、生成したオーバーヘッドビューモニタ画像を含む映像をＣＰＵ１６０に伝送する。ＣＰＵ１６０は、見かけの動き検知や移動体検知を行う。

オーバーヘッドビューモニタ画像に対する見かけの動き検知は、通常のカメラ映像、すなわち、スルー映像に対する見かけの動き検知とほぼ同じである。ＣＰＵ１６０で実行された画像認識結果は、映像補正手段１６５に伝送される。

その後、映像補正手段１６５内で、オーバーヘッドビューモニタ画像を含む映像に、処理結果を重畳描画して、モニタ１６３に出力するとともに、スピーカ１６４から警報音を吹鳴する処理が行われる。

なお、第１実施の形態で述べたように、ユーザに最終確認を任せるという観点で、モニタ１６３に対しては、見かけの動き領域の検知結果に関わらず、移動体検知結果をそのまま表示し、見かけの動き領域の検知結果に応じて、スピーカ１６４からの警報音のみ抑止してもよい。

また、例えばレンズ歪みを補正することで、より適切なオプティカルフロー算出が行えるようになり、特に画面端などの歪みが大きくなりやすい領域で、小領域の動き検知の正確性が増すことが期待できる。

［第３実施の形態］
次に、第３実施の形態について図１２を用いて説明する。
本実施の形態における処理の大まかな流れは、第１実施の形態とほぼ同じであるため、異なる部分についてのみ言及する。図１２は、第３実施の形態のハードウェアの構成を示す図である。

本実施の形態では、ＣＰＵ１６０がカメラ１６１の入力を直接受けている点が異なっている。これにより、バス負荷が低減できるとともに、装置の小型化が可能になるという利点を得ることができる。

以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

１００ 車両周囲監視装置
１０１ 撮像画像取得手段
１０２ オプティカルフロー算出手段
１０３ 明暗判定手段
１０４ 移動体検出手段
１０５ 見かけ判定手段
１０６ 警報抑制領域設定手段
１０７ 警報制御手段
１１０ ECU
１１１ 車載カメラ

Claims (8)

1. 車載カメラで所定の時間間隔をおいて撮像された複数の画像に基づいて車両周囲の監視を行う車両周囲監視装置であって、
   前記複数の画像を取得する画像取得手段と、
   該複数の画像に基づいて移動体を検出する移動体検出手段と、
   該移動体の動き情報と輝度情報に基づいて前記移動体が見かけの動きであるか否かを判定する見かけ判定手段と、
   前記見かけ上の動きであると判定された移動体が存在する領域をマスクする警報抑制領域を設定する警報抑制領域設定手段と、
   前記警報抑制領域と前記移動体の検出結果に基づいて警報制御を行う警報制御手段と、
   を有することを特徴とする車両周囲監視装置。
2. 前記複数の画像に基づいてオプティカルフローを算出するオプティカルフロー算出手段を有し、
   前記見かけ判定手段は、前記動き情報として、前記オプティカルフローの所定領域内におけるベクトル成分の分散値を用いることを特徴とする請求項１に記載の車両周囲監視装置。
3. 前記見かけ判定手段は、前記輝度情報として、前記複数の画像の所定領域内における輝度値の平均値または分散値の少なくとも一方を用いることを特徴とする請求項２に記載の車両周囲監視装置。
4. 車両周囲の環境の明暗を判定する明暗判定手段を有し、
   前記見かけ判定手段は、前記明暗の判定結果に応じて前記輝度値の平均値又は分散値の閾値を切り替えることを特徴とする請求項３に記載の車両周囲監視装置。
5. 前記見かけ判定手段は、
   前記明暗判定手段により車両周囲の環境が明るいと判定されたときに前記輝度値の分散値が低い領域を低コントラスト領域として出力する一方、車両周囲の環境が暗いと判定されたときに前記輝度値の平均値が高い領域を低コントラスト領域として出力する低コントラスト領域判定手段と、
   該低コントラスト領域と前記オプティカルフローに基づいて前記移動体が水蒸気であるか否かを判定する水蒸気判定手段と、を有することを特徴とする請求項４に記載の車両周囲監視装置。
6. 前記水蒸気判定手段は、前記明暗判定手段により前記車両周囲の環境が暗いと判定され、輝度値の平均値の高い領域の周囲にのみオプティカルフローが出力されている場合には、前記移動体が水蒸気であると判定することを特徴とする請求項５に記載の車両周囲監視装置。
7. 前記水蒸気判定手段は、前記明暗判定手段により前記車両周囲の環境が明るいと判定され、輝度値の分散値の低い領域の周囲にのみオプティカルフローが出力されている場合には、前記移動体が水蒸気であると判定することを特徴とする請求項５に記載の車両周囲監視装置。
8. 前記見かけ判定手段は、
   画像中に設定された複数の局所領域の輝度値が時間変化に伴って所定のパターンに従う場合には、光源の明滅による光源変動が生じていると判定する光源変動判定手段を有しており、
   該光源変動判定手段により光源変動が生じていると判定されることにより、前記移動体が光源の明滅による見かけの動きであると判定することを特徴とする請求項４に記載の車両周囲監視装置。

Images