JP2007286724A - 車載情報処理方法、車載情報処理プログラム、車載情報処理装置および車載情報処理システム - Google Patents

Abstract

【課題】処理サイズを小さくし、かつ処理時間を短くすることを目的とする。
【解決手段】撮像装置５，６から入力された画像に対し、車両から遠方の画像領域である遠方領域と、車両から近傍の画像領域である近傍領域とで、異なる密度で計測点を設定し、この計測点を基にオプティカルフローを算出し、算出したオプティカルフローを基に、車両と移動体との到達する予測時間である到達予測時間を算出し、算出した到達予測時間に基づいて警報を出力することを特徴とする。
【選択図】図２

Description

本発明は、左右両側方から接近する車両を監視する車載情報処理方法、車載情報処理プログラム、車載情報処理装置および車載情報処理システムの技術に関する。

従来、見通しの悪いあるいは信号が設置されていない交差点へ自車を進入させる場合、自車の側方から接近してくる他の車両を確認するために、自車の側方にカメラを設置し、このカメラによって撮像された画像を自車内部に設置されたモニタに表示することで、ドライバが、表示された画像を用いて接近車等を把握する装置が商品化されている。

そのため、自車の側方を撮像した画像を処理して接近車を検知し、自車と衝突の危険性が大きい場合はドライバに警報する方法および装置が開示されている。そのような方法および装置として、例えば以下のようなものがある。
まず、接近車のエッジの長さによりフレーム間隔を変更する車両用衝突警報方法および装置が開示されている（例えば、特許文献１）。これによれば、入力した画像を微分処理してエッジ画像を作成し、作成したエッジ画像から水平エッジを抽出し、そのエッジの長さと処理サイズを求める。そして、エッジの長さに応じてフレーム間隔を求め、求めたフレーム間隔前のエッジ画像と、現在のエッジ画像とを用いて各エッジのオプティカルフローを算出する。そして、算出したオプティカルフローを基に接近車が自車に衝突するまでの到達予測時間を求めるようにしている。

また、所定時間空けた画像における輝度の時間差分を求めて接近車を検知する車両側方映像生成方法および車両側方映像生成装置が開示されている（例えば、特許文献２）。これによれば、前記した方法で、接近車を検知した後、接近車が自車に衝突するまでの到達予測時間を算出する際に、自車の回転角度、すなわち自車と道路との相対角を用いて到達予測時間を予測するようにしている。
特開平１１−３５３５６５号公報（［００４８］、第８図） 特許第３６０６２２３号公報（請求項１、［００８６］、［０１００］、第２図）

しかしながら、特許文献１に記載の装置では、エッジ画像には接近車だけでなく道路標示や白線などエッジの長さが異なるエッジが多く含まれる。さらに、エッジ毎にフレーム間隔が異なるためオプティカルフローを算出する処理が複雑になる。また、エッジの長さが長いと処理サイズが大きくなり処理時間が増えるという課題もある。
また、特許文献２に記載の装置によれば、遠方と近傍とで接近車の見かけ上の動きが異なるため、同じフレーム間隔の画像間の輝度差分から接近車を検知することが難しい。更に、到達予測時間を求める際に、自車が走行する道路と交差点で交差する道路の交差角を考慮していないという問題がある。

前記課題に鑑みて、本発明がなされたのであり、本発明は、処理サイズを小さくし、かつ処理時間を短くすることを目的とする。

前記課題を解決するため、本発明を完成するに至った。すなわち、本発明の車載情報処理方法、車載情報処理プログラム、車載情報処理装置および車載情報処理システムは、撮像装置から入力された画像に対し、車両から遠方の画像領域である遠方領域と、車両から近傍の画像領域である近傍領域とで、異なる密度で計測点を設定し、この計測点を基にオプティカルフローを算出し、算出したオプティカルフローを基に、車両と移動体との到達する予測時間である到達予測時間を算出し、算出した到達予測時間に基づいて警報を出力することを特徴とする。

本発明によれば、処理サイズを小さくし、かつ処理時間を短くすることが可能となる。

次に、本発明を実施するための最良の形態（「実施形態」という）について、適宜図面を参照しながら詳細に説明する。
なお、本実施形態では、情報処理の対象となるすべてのもの、すなわち画像に撮像されているものを対象物と記載し、対象物の内、移動を行っているものを移動体と記載し、移動体の内、自車に接近しているものを接近物と記載することとする。

図１は、本実施形態にかかる車載情報処理システムの構成例を示す機能ブロック図である。
車載情報処理システム９は、自車（請求項における車両）の前部に左右側方の画像が撮像できるように取付けられる右カメラ（請求項における撮像装置）３および左カメラ（請求項における撮像装置）５から入力された画像に対し、後記する車載情報処理方法に従って情報処理を行う、自車に搭載された車載情報処理装置１を備える。そして、車載情報処理システム９は、道路地図を格納し、この道路地図を基に、自車の位置を監視し、自車の位置に関する情報や、道路地図を車載情報処理装置１に送るナビゲーションシステム８を備える。さらに、車載情報処理装置１が行った情報処理の結果を、表示するモニタ（請求項における出力装置）７を備える。

車載情報処理装置１は、右カメラ３および左カメラ５から入力された画像の情報処理を行う右カメラ処理部（請求項における処理部）２および左カメラ処理部（請求項における処理部）４を備える。さらに、右カメラ処理部２または左カメラ処理部４から情報処理の結果を受けると、表示装置にこの情報処理の結果を表示する出力処理部６を備える。

図２は、右カメラ処理部または左カメラ処理部の構成例を示す機能ブロック図である。
右カメラ処理部２は、以下の各部および各メモリを備える。
計測点設定処理部２０１は、入力される画像に対して、自車から近傍の画像領域である近傍領域と、自車から遠方の画像領域である遠方領域とに分け、近傍領域と、遠方領域とで異なる密度の計測点を設定する。
移動体処理部２０２は、時系列画像メモリ１０９より取得した画像に対してエッジ画像およびエッジプロファイルを作成し、作成したエッジプロファイルを基に、エッジプロファイルを作成し、移動体の検出および移動量の算出を行う。
オプティカルフロー算出部２０３は、画像内における移動体のオプティカルフロー（速度ベクトル）を算出する。

移動体判定部２０４は、移動体処理部２０２やオプティカルフロー算出部２０３などが行った処理の結果を基に、接近物の存在の有無を判定する。
到達予測時間算出部２０５は、オプティカルフロー算出部２０３が算出したオプティカルフローと、光軸方向算出部２０６が算出した自車に設置した右カメラ３の光軸方向とを基に、自車に接近物が到達する予測時間である到達予測時間を算出する。
警報判定部２０７は、遠方領域における処理において、到達予測時間算出部２０５が算出した到達予測時間が、所定の閾値以下か否かを判定することによって警報を出力するか否かを判定する。
警報処理部２０８は、警報判定部２０７によって、到達予測時間が、所定の閾値以下であると判定された場合や、移動体判定部によって、近傍領域に接近物が存在すると判定された場合に出力処理部６に警報を出力させる。

時系列画像メモリ（請求項における記憶部）２０９は、右カメラ３で撮像した画像を時系列に格納し、現在の時間より所定時間以上経過した画像は廃棄するよう構成されたメモリである。例えば、メモリアドレスが初期値からカウントアップし所定値までカウントアップしたら初期値に戻るリングメモリで構成される。
時系列エッジプロファイルメモリ２１０は、後記する方法によってエッジ画像から作成されたエッジプロファイルを時系列に格納するメモリである。時系列エッジプロファイルメモリ２１０は、時系列画像メモリ２０９と同様、現在の時間より所定時間以上経過したエッジプロファイルは廃棄するよう構成されたメモリである。

左カメラ５から入力される左カメラ処理部４の構成も、右カメラ処理部２と同様である（図２の左カメラ処理部４の構成要素は、符号４０１から符号４１０）。
なお、図１および図２に示す各部は、図示しないＲＯＭ（Read Only Memory）などの記憶装置に格納されたプログラムが、図示しないＣＰＵ（Central Processing Unit）によって実行されることによって、具現化される。

（システム概略図）
図３は、本実施形態に係る車載情報処理システムの概略を示した図である。
図３は、自車（請求項における車両）３１の左右方向を監視するため、自車３１の前部にそれぞれ１つのカメラを取付けた例である。右カメラ３は、右からの接近物を、左カメラ５は、左からの接近物を監視する。

（処理概要）
次に、図１から図３を参照しつつ、図４に沿って本実施形態の車載情報処理装置１における車載情報処理方法を説明する。
図４は、本実施形態に係る車載情報処理方法の流れを示すフローである。
なお、本実施形態では、右カメラ処理部２における処理を説明するが、後記するように左カメラ処理部４における処理も同様である。
まず、右カメラ処理部２は、右カメラ３を介して画像を入力され（Ｓ１）、入力された画像を時系列画像メモリ２０９に格納する（Ｓ２）。入力される画像の説明は、図６を参照して後記する。
移動体処理部２０２は、時系列画像メモリ２０９に格納した画像を用いて、処理範囲内における移動体の検出を行うとともに、検出した移動体が所定時間に処理範囲内を移動する量である移動量を算出する移動体処理を行う（Ｓ３）。移動体処理のフローは、図５を参照して後記する。
次に、計測点設定処理部２０１が、ステップＳ１で入力された画像に対し、遠方の画像が撮像されている画像領域である遠方領域と、近傍の画像が撮像されている画像領域である近傍領域とに分ける遠方領域および近傍領域の設定を行った（Ｓ４）後、当該遠方領域に対し、予め設定してある間隔で計測点を設定し、近傍領域に対し、遠方領域とは異なる密度で計測点を設定する（Ｓ５）。遠方領域および近傍領域の設定、ならびに計測点設定処理の詳細は、図１１を参照して後記する。

（遠方領域における処理）
ステップＳ６からステップＳ１１は、遠方領域における処理である。
続いて、オプティカルフロー算出部２０３は、移動体処理で算出した移動量から、オプティカルフローの算出で用いる２枚の画像のフレーム間隔を算出し（Ｓ６）、算出したフレーム間隔を用いてオプティカルフローを算出する（Ｓ７）。オプティカルフローの算出処理の詳細は、図１３および図１４を参照して後記する。
そして、移動体判定部２０４は、算出した計測点毎のオプティカルフローを基に、遠方領域において、接近物が存在するか否かを判定する（Ｓ８）。接近物判定の処理の詳細は、図１５を参照して後記する。
移動体判定部２０４が、遠方領域において、接近物が存在しないと判定した場合（Ｓ８→Ｎｏ）、右カメラ処理部２は、ステップＳ１０に処理を進める。
移動体判定部２０４が、遠方領域において、接近物が存在すると判定した場合（Ｓ８→Ｙｅｓ）、右カメラ処理部２は、ステップＳ９に処理を進める。

次に、到達予測時間算出部２０５と光軸方向算出部２０６は、ステップＳ７で算出したオプティカルフローを用いて自車に接近する移動体が、自車に到達する予測時間である到達予測時間を算出する（Ｓ９）。到達予測時間の算出処理の詳細は、図１６から図１８を参照して後記する。
そして、警報判定部２０７は、算出した到達予測時間が予め設定してある閾値以下であるか否かを判定する（Ｓ１０）ことによって、警報を発生するか否かを判定する。
警報判定部２０７が、到達予測時間が閾値より大きい（閾値以下ではない）と判定した場合（Ｓ１０→Ｎｏ）、右カメラ処理部２は、ステップＳ１２に処理を進める。
警報判定部２０７が、到達予測時間が閾値以下であると判定した場合（Ｓ１０→Ｙｅｓ）、警報処理部２０８は、出力処理部６に警報を表示するよう指示する。
そして、指示された出力処理部６は、モニタ７に警報を表示させる（Ｓ１１）。

（近傍領域における処理）
次に、ステップＳ１０からステップＳ１５は、近傍領域における処理である。
近傍領域における処理が、遠方領域における処理と異なる点は、到達予測時間の算出が行われない点である。
近傍領域におけるステップＳ１２（フレーム間隔の算出処理）、ステップＳ１３（オプティカルフローの算出処理）およびステップＳ１４の近傍領域において、接近物が存在するか否かの判定処理は、遠方領域における各処理（ステップＳ６，Ｓ７，Ｓ８）と同様の処理であるため、説明を省略する。
移動体判定部２０４が、近傍領域において、接近物が存在しないと判定した場合（Ｓ１４→Ｎｏ）、右カメラ処理部２は、ステップＳ１６へ処理を進める。
移動体判定部２０４が、近傍領域において、接近物が存在すると判定した場合（Ｓ１４→Ｙｅｓ）、警報処理部２０８は、出力処理部６に警報を表示するよう指示する。
そして、指示された出力処理部６は、モニタ７に警報を表示させる（Ｓ１５）。
次に、右カメラ処理部２は、ステップＳ１で入力された画像をモニタ７に表示させる（Ｓ１６）。このとき、Ｓ９で到達予測時間を算出していれば、右カメラ処理部２は、到達予測時間をモニタ７に表示させてもよい。

なお、本実施形態では、モニタ７に警報を表示させたが、これに限らず、図示しない音声出力装置などで警報を出力させてもよい。
そして、右カメラ処理部２は、ステップＳ１に処理を戻す。右カメラ処理部２は、自車が走行している間、ステップＳ１からステップＳ１６の処理を実行してもよい。
また、以下に記述するような処理を行ってもよい。右カメラ処理部２は、自車の位置をナビゲーション装置が監視し、ナビゲーション装置から送られた情報を基に、右カメラ処理部２が交差点から所定の距離以内に自車が位置しているか否かを判断する。そして、自車が交差点から所定の距離以内に位置する間、ステップＳ１からステップＳ１６の処理を実行し続けるようにしてもよい。

自車の近傍に存在する車両に対して、右カメラ処理部２が、到達予測時間を算出することは、あまり意味がなく、すぐに警報を発生することが望ましい。
従って、本実施形態のように近傍領域において移動体が検出された場合、到達予測時間の算出を省略することで処理時間の短縮を可能とし、すぐに警報を発生することが可能となる。

（移動体処理）
次に、図２を参照しつつ、ステップＳ３の移動体処理について説明する。
図５は、ステップＳ３における移動体処理の流れを示すフローである。
まず、移動体処理部２０２は、時系列画像メモリ２０９から画像を取得し、取得した画像からエッジ画像を作成する（Ｓ４１）。エッジ画像の作成処理については、図７（ａ）を参照して後記する。

次に、移動体処理部２０２が、作成したエッジ画像に対するエッジプロファイルを作成する（Ｓ４２）。エッジプロファイルの作成処理については、図７（ｂ）を参照して後記する。
そして、移動体処理部２０２が、作成したエッジプロファイルを時系列エッジプロファイルメモリ２１０に格納する（Ｓ４３）。
さらに、移動体処理部２０２は、時系列エッジプロファイルメモリ２１０内の時間的に異なる（例えば撮像間隔の）２つのエッジプロファイルを用いて移動体の検出を行う（Ｓ４４）。移動体の検出処理の詳細は、図９および図１０を参照して後記する。

（画像の入力：図４のステップＳ１）
以下、図１から図５を適宜参照しつつ、図６から図１８に沿って、図４および図５における各処理の詳細な説明を行う。
まず、図１を参照しつつ、図６に沿って右カメラ処理部２および左カメラ処理部４に入力される画像の例を示す。
図６は、図３に示す右カメラおよび左カメラが撮像し、カメラ処理部に入力される画像の例を示す図であり、（ａ）右カメラ画像、（ｂ）左カメラ画像の例を示す図である。
ここで、図６を用いて、オプティカルフローの説明を行っておく。
静止している右カメラ３または左カメラ５に対して移動体６２，６６が移動すると、画像（右カメラ画像６１または左カメラ画像６５）中における移動体６２，６６の画像の動きからオプティカルフロー６３，６７が求まる。オプティカルフロー６３，６７とは、移動体６２，６７の画像上の各点における速度ベクトルである。オプティカルフロー６３，６７の延長線は、右カメラ画像６１または左カメラ画像６５内のある範囲内で交わる。この交点は、ＦＯＥ（Focus of Expansion）６４，６８と呼ばれ、オプティカルフロー６３，６７の中心となる。

（エッジプロファイルの作成：図５のステップＳ４１およびステップＳ４２）
図７は、エッジプロファイル作成の例を示す図であり、（ａ）は、エッジ画像の例、（ｂ）は、エッジプロファイルの例を示す図である。
ここでは、右カメラ処理部２に入力される画像が図６（ａ）に示す画像であると仮定する。図７（ａ）に示すエッジ画像は、時系列画像メモリ２０９から取得された画像に対して、所定の処理範囲８１内において垂直方向のエッジ８２を、移動体処理部２０２が抽出した結果である。具体的には、移動体処理部２０２が、右カメラ画像６１（以下、適宜画像６１と記載）の水平座標ｉ，ｉ＋２の濃度値の差を算出し、これを処理範囲８１内の水平座標ｉおよび垂直座標ｊ毎に行うことで求めることができる。ここで画像の座標は画素位置を表わすものとする。つまり、移動体処理部２０２は、１つおきの水平画素間における濃度値の差を算出する処理を、すべての画素において実行する。ここで、所定の処理範囲とは、例えば画像全体である。
図７（ｂ）に示すエッジプロファイルは、移動体処理部２０２によって、図７（ａ）に示すエッジ画像における濃度差の値が垂直方向に累積された値である。
エッジプロファイルは、横軸が画像の水平座標、縦軸が濃度差累積値を持つ１次元の波形で、この図７（ｂ）から分かるようにエッジに対応する位置にピークを持つ。

（エッジプロファイルの格納：図５のステップＳ４３）
図８は、時系列エッジプロファイルメモリにおけるエッジプロファイル格納の例を示す図である。
図８に示すように、過去に作成されたエッジプロファイルから直近に作成されたエッジプロファイルまでが移動体処理部２０２によって、時系列エッジプロファイルメモリ２１０に格納されている。ここで、図８におけるΔｔは、撮像間隔であり、図８に示すように現在ｔから、ｐ＊Δｔ前の過去のエッジプロファイルがΔｔ毎に格納される。

（移動体検出処理：図５のステップＳ４４）
図９は、移動体検出の処理の例を示す図である。
移動体処理部２０２は、時系列エッジプロファイルメモリ２１０から現在のエッジプロファイルと時間Δｔ１前のエッジプロファイルとを取得した後、以下に記載する方法で移動体の検出を行う。
移動体検出方法としては、移動体処理部２０２が、図９に示すように現在のエッジプロファイルと時間Δｔ１前のエッジプロファイルとの相関演算を行うことが考えられる（テンプレートマッチング）。これは、移動体処理部２０２が、現在の画像から得られたエッジプロファイル内の部分波形と近い部分波形を時間Δｔ１前の過去のエッジプロファイルの波形から探す方法である。例えば、移動体処理部２０２が、図９に示すように座標ｉ０からｍ画素分の波形をテンプレートとし、所定時間Δｔ１前のエッジプロファイルの座標ｉ０の前後ｎ画素分を探索範囲としてテンプレートと類似する波形を探す。テンプレートの決定方法として、所定の画素幅ｍを用いる代わりに、エッジプロファイル波形の凸、凹を探し、凹−凸−凹で囲まれた部分をテンプレートとしてもよい。

相関演算による類似度ｒとしては、例えばｒ（ｉ１）＝Σ｛ｆ（ｉ０＋ｘ−ｉ１）−ｇ（ｉ０＋ｘ）｝^２が考えられる。ここでｇ（ｉ０＋ｘ）はテンプレート、ｆ（ｉ０＋ｘ−ｉ１）は時間Δｔ１前のエッジプロファイルの探索範囲内の波形である。類似度ｒ（ｉ１）が、最小となるｉ１がテンプレートに最も近い波形が存在する座標を表す。そして、移動体処理部２０２は、決定したｉ１と、ｉ０とを基に、移動量ｄ（ｉ０）＝ｉ０−ｉ１を算出する。次に、移動体処理部２０２は、座標ｉ０を変更してテンプレートを決定し、そのテンプレートに最も近い波形を所定時間Δｔ１前のエッジプロファイルから探す。移動体処理部２０２は、このテンプレートマッチングを繰り返して、各ｉ０についての移動量ｄ（ｉ）を算出する。移動体が遠方にいる時は画像上での見かけの動きが小さいため、Δｔ１を小さくすると、移動量も小さな値となってしまう。そこで、移動体が遠方にいる時は、Δｔ１を大きく設定してもよい。

図１０は、図９に示す処理の結果、得られた移動体領域を示す図である。
移動体処理部２０２が、図９を参照して説明したｉ０毎に算出した移動量を、横軸をｉ０、縦軸を移動量としてグラフ化することにより、図１０に示す移動体領域を算出する。
この処理は、右カメラ３から入力される画像を用いているため、自車が停止している場合、移動量ｄ（ｉ）がゼロのときは、静止物を示し、正のときは、自車から離れる移動体を示し、そして負のときは、自車に接近する移動体が存在することを示す。移動体として自車に接近する移動体（接近物）を検出する場合は、図１０に示すように移動量ｄ（ｉ）が負となる範囲を移動体領域（ｉ１，ｉ２）とすればよい。ここで、ｉ１，ｉ２は、移動量ｄ（ｉ）が負の値となるｉの上限値および下限値である。そして、移動体処理部２０２は、検出した移動体領域（ｉ１，ｉ２）における移動体の移動量ｄと、移動体領域（ｉ１，ｉ２）と、時間Δｔ１とをオプティカルフロー算出部２０３へ出力する。なお、ここでｄは、移動体領域におけるｄ（ｉ）をｉ１からｉ２の範囲において、ｉに関して平均をとった値である。

（遠方領域および近傍領域の設定、計測点設定：図５のステップＳ４、ステップＳ５）
図１１は、本実施形態に係る遠方領域および近傍領域の設定、ならびに計測点設定の例を示す図である。
なお、以降右カメラ画像６１を適宜画像６１と記載する。
計測点設定処理部２０１は、図１１に示すように、右カメラ３から取得した右カメラ画像６１なら、右カメラ画像６１の右側の所定領域を遠方領域７２とし、画像左側の所定領域を近傍領域７１とする。遠方領域の大きさは、図示しない入力部を介して、予め右カメラ処理部２に設定してあるものとする。
そして、計測点設定処理部２０１は、近傍領域７１および遠方領域７２において、オプティカルフローを算出するための計測点７３を異なる密度で設定する。具体的には、遠方領域７２は、近傍領域７１よりも密に計測点７３を設定する。
例えば、遠方領域７２では４画素間隔で計測点７３を設定するのに対し、近傍領域７１では、例えば約１／４の密度で計測点７３を２８画素間隔に設定する。計測点７３の密度は、必要とされる検知精度に応じて適宜変更してもよい。

移動体が自車３１に対して遠方にいる時は、移動体は小さく撮像されるため、遠方領域７２の移動体のオプティカルフローを正確に算出するためには計測点７３を密に設定する必要がある。
しかし、移動体が自車に対して近傍にいる時は、移動体は大きく撮像されるため、計測点７３はそれほど密に設定しなくてもよい。
遠方領域７２の大きさは、遠方における移動体領域（図９を参照して後記）を含むように定める必要がある。そのため、最も短い撮像間隔の場合でも遠方領域７２内に移動体領域が入るように、遠方領域７２の幅を定めるなどの方法がある。遠方領域７２の高さは、前回のループで求めたオプティカルフローのＦＯＥに応じて定めてもよい。

図１２は、比較例に係る計測点設定の例を示す図である。
比較例に示すように、従来では、計測点７３は、遠方領域および近傍領域に限らず、等密度で設定されていた。つまり、遠方領域にあわせた密度で近傍領域における計測点を設定していた。従って、移動体が大きく撮像されるため計測点を細かく設定する必要がない近傍領域においても、遠方領域と同じ密度で計測点を設定しているため、後記するオプティカルフローの算出の際の処理サイズが大きくなってしまう。
これに対し、本実施形態では図１１に示すように、近傍領域７１と、遠方領域７２とにおいて、計測点７３の設定の密度を変えることで、検出精度を落とさずに、処理サイズを小さくし、かつ処理時間を短くすることが可能となる。

（オプティカルフローの概要）
以下、図１３から図１８を参照して、オプティカルフローによる接近物の検出および接近物が自車に到達する到達予測時間の算出を説明する。
なお、図１３から図１５までの説明において、遠方領域と近傍領域とでは、計測点の配置の密度が異なるだけで、他は同様の処理を行っている。
図１３は、オプティカルフローの例を示す図である。
接近物および到達予測時間を算出するために、移動体が所定時間の間に移動した移動ベクトル（すなわち、オプティカルフロー）１２０１を求める必要がある。ここで、画像６１における移動ベクトル１２０１とは図１３に示すように時間Δｔ２前の移動体の位置（破線で図示）と現在の移動体の位置（実線で図示）とをベクトル表現（矢印で図示）したものである。

（フレーム間隔算出：図４のステップＳ６，Ｓ１２）
図１４は、フレーム間隔算出の処理の例を示す図である。
まず、オプティカルフローの算出に用いる２枚の画像６１の時間間隔（以下、フレーム間隔と呼ぶ）Δｔを、移動体処理部２０２が移動量ｄを算出する際に用いた時間Δｔ１と同じ値にした場合、移動量ｄが大きいと図１４に示すテンプレート画像１３０１と類似する画像（類似画像１３０２）を探す探索範囲ａを大きくする必要があり、これは算出時間の増加になる。そこで、オプティカルフロー算出部２０３が、移動体処理部２０２において算出された移動量ｄに応じてフレーム間隔を変更することにする。即ち、移動量ｄが大きい場合はフレーム間隔Δｔを時間Δｔ１より小さくし、移動量ｄが小さい場合はフレーム間隔Δｔを時間Δｔ１より大きくする。例えば、図１４に示す水平方向の探索範囲をａとすると、オプティカルフロー算出部２０３は、フレーム間隔Δｔを以下の式１で決定する。

Δｔ＝ａ／ｄ＊Δｔ１ （式１）

この式を用いると、フレーム間隔Δｔを調節することにより探索範囲ａを一定にすることができる。従って、移動量ｄに関わらずオプティカルフローの算出時間を一定にすることができる。

図５のステップＳ４４で算出した移動量は画像の水平座標方向の変化である。オプティカルフロー１３０３を算出するためには更に垂直座標方向の移動量をも算出する必要がある。オプティカルフローを算出する方法には、ブロックマッチング法と勾配法がある。ここではブロックマッチング法を用いて説明するが、これに限らず勾配法を用いてもよいのは、当然である。

ブロックマッチング法では、まず図１８で説明したように、計測点設定処理部２０１が画像６１上にオプティカルフロー１３０３を求めるための計測点１３０４を所定位置に配置する。そして、この計測点１３０４を中心する局所領域の画像をテンプレート画像１３０１として、時系列画像メモリ２０９からオプティカルフロー算出部２０３が画像６１を取得する。次に、オプティカルフロー算出部２０３は、テンプレート画像１３０１からフレーム間隔Δｔ経過した画像６１を時系列画像メモリ２０９から取得し、取得した画像６１上の計測点１３０４を中心として、先に設定したテンプレート画像１３０１に最も類似する画像（類似画像１３０２）を探索する。テンプレート画像１３０１における計測点１３０４の座標を（ｉ_ｐ（ｔ），ｊ_ｐ（ｔ））、類似画像１３０２における計測点１３０４の座標を（ｉ_ｑ（ｔ＋Δｔ），ｊ_ｑ（ｔ＋Δｔ））とすると、オプティカルフロー１３０３（ｕ，ｖ）は、次式で算出できる。
ｕ＝ｉ_ｑ（ｔ＋Δｔ）−ｉ_ｐ（ｔ） （式２）
ｖ＝ｊ_ｑ（ｔ＋Δｔ）−ｊ_ｐ（ｔ） （式３）
この様子を図１４に示す。テンプレート画像１３０１をｇ（ｘ，ｙ）、探索範囲ａ内の座標（ｋ，ｌ）を中心にテンプレート画像１３０１と同じサイズで切出した画像（類似画像１３０２）をｆ（ｋ＋ｘ，ｌ＋ｙ）とすると、類似度ｒ（ｋ，ｌ）は、式４で算出できる。

（接近物判定処理：図４のステップＳ８）
図１５は、接近物判定の処理の例を示す図であり、（ａ），（ｂ），（ｃ）は、接近物検知の例、（ｄ），（ｅ）は、接近物未検知の例を示す図である。
図１５で“■”はオプティカルフローが発生した計測点（オプティカルフロー発生点１４０１）を、“□”はオプティカルフローが発生しなかった計測点（オプティカルフロー未発生点１４０２）を示している。即ち、移動体判定部２０４は、隣接する行または列の計測点の中で２個以上のオプティカルフロー発生点１４０１があれば「接近物あり」と判定し（図２０（ａ），（ｂ），（ｃ））、それ以外を接近物未検出（図２０（ｄ）、（ｅ））とする。つまり、隣接する行または列の中で、オプティカルフロー発生点１４０１が２個未満であれば、移動体判定部２０４は、このオプティカルフロー発生点１４０１をノイズと判定し、接近物とは判定しない。

（到達予測時間算出：図４のステップＳ９）
次に、算出したオプティカルフローから接近物と自車との到達予測時間を算出する方法について述べる。
図１６は、基準座標系とカメラ座標系との例を示す図である。
到達予測時間算出部２０５が扱う座標系として、基準座標系、カメラ座標系、撮像面座標系および画像メモリ座標系がある。基準座標系とは、自車が走行している道路と交差する道路に沿った軸をＺ’軸とし、これと垂直な軸をＸ’軸およびＹ’軸とした（Ｘ’，Ｙ’，Ｚ’）座標系である。これに対し、カメラ座標系は、右カメラ３のレンズに対する光軸をＺ軸とし、これと垂直なＸ軸およびＹ軸を定めた（Ｘ，Ｙ，Ｚ）座標系である。基本座標系およびカメラ座標系の原点は、自車に設置された右カメラ３のレンズ中心である。Ｚ’軸とＺ軸とのなす角度をθとすると、基本座標系とカメラ座標系との間には以下の関係式が成り立つ。

図１７は、撮像面座標系の例を示す図である。
撮像面座標系は、図１７に示すように撮像面（カメラ内部に設けられている撮像素子上の面）の中心を原点とした座標系で、撮像面座標系における座標を（ｘ，ｙ）で表す。このとき、焦点距離をＦとすると、カメラ座標系上の点Ｐ（Ｘｐ，Ｙｐ，Ｚｐ）と撮像面座標系上の点ｐ（ｘ_ｐ，ｙ_ｐ）には以下の関係式が成り立つ。

図１８は、画像メモリ座標系の例を示す図である。
画像メモリ座標系は、図１８に示すように画像の左上隅を原点として（ｉ，ｊ）で表すことにする。この時、撮像面座標系（ｘ，ｙ）と画像メモリ座標系（ｉ，ｊ）には下記の関係式が成り立つ。

ここで、Ｉ，Ｊは、画像メモリの中心を原点とした座標である。
ここで、撮像面のサイズをＷ×Ｈ［ｍ］、有効画素数をＰ_Ｗ×Ｐ_Ｈ、また撮像面座標系の原点と画像メモリ座標系の原点とのオフセットをｏｆｆｓｅｔ１（ｘ軸方向），ｏｆｆｓｅｔ２（ｙ軸方向）とする。
今、自車が静止しており、接近物は一定速度Ｖ_０で道路に沿って直進走行しているとする。接近物のある点を基準座標系で表すと、Ｐ（Ｘ’ｐ，Ｙ’ｐ，Ｚ’ｐ）となり、Ｘ’ｐ，Ｙ’ｐは、時間に関わらず一定となる。到達予想時刻算出部は、自車と接近物との距離であるＺ’ｐを式１１によって算出する。

次に、到達予測時間算出部２０５は、図１４に示すオプティカルフローの算出処理で求めた時刻ｔ_０，ｔ_１＝ｔ_０＋Δ_ｔの座標（ｉ_ｐ（ｔ），ｊ_ｐ（ｔ））、（ｉ_ｑ（ｔ＋Δｔ），ｊ_ｑ（ｔ＋Δｔ））を式９、式１０に代入して算出した画像メモリ座標系の座標をＩ（ｔ_０），Ｉ（ｔ_１）、Ｊ（ｔ_０），Ｊ（ｔ_１）として求め、さらに、それぞれの比をｒ（ｘ），ｒ（ｙ）とする。このときｒ（ｘ），ｒ（ｙ）は、式１２および式１３となる。ここで、ｔ_１は、現在処理している画像を取り込んだ時刻であり、ｔ_０は、前回処理した画像を取り込んだ時刻である。

式５、式６および式１１を式１３に代入すると、ｒ（ｙ）は、式１４で表すことができる。

到達予測時間をＴとすると、Ｔは、Ｚ’（ｔ_０）／Ｖ_０で表現できる。そこで、式１４は、次のようになる。

ここで、ｂ＝Ｘ_０／Ｖ_０である。また、ｒ（ｘ）は、式１６のように変形できる。

ここで、ｒ＝ｒ（ｘ）／ｒ（ｙ）とすると式１７を得る。

ここで、Ｘ_０は、ｔ_０における撮像面座標系のｘ座標値であり、Ｖ_０は、自車が一定速度で走行するという仮定の下での時刻ｔ_０における自車の速度である。
式１７からｂを求めて式１５に代入することによって、到達予測時間算出部２０５は、到達予測時間Ｔを次の式１８を用いて算出できる。ここで、Δｔは、オプティカルフロー算出部２０３が算出したフレーム間隔である。

式１８からわかるように到達予測時間Ｔを算出するためには、光軸方向θを求める必要がある。θは、次の成分から構成される。即ち、カメラを車両に設置したときの角度、ドライバがステアリング操作したときの自車の回転角（ステアリング角度）、および図１６に示すように交差点での走行道路と交差道路との交差角αである。カメラの設置角度は、設計値によって規定され、自車の回転角はステアリング角度センサやヨーレートセンサなどを用いることによって計測できる。道路の交差角αは、ナビゲーションシステム８３の道路地図に格納しておけばよい。また、自車の回転角は、撮像装置で検出した白線の傾きを基に算出してもよい。そして、光軸方向算出部２０６が、ステアリング角度センサあるいはヨーレートセンサから取得した値と、ナビゲーションシステム８３に格納してある道路地図から取得した道路の交差角αと、更にカメラの設置角度とを用いて光軸方向θを次式で算出する。

θ＝カメラの設置角度＋ステアリング角度＋道路交差角 （式１９）

到達予測時間算出部２０５が、移動体処理で算出した移動体領域（図１０参照）内の計測点の座標と、式１９のθを式１８に代入することによって、到達予測時間算出部２０５は、移動体領域内の各計測点における到達予測時間を算出する。そして、到達予測時間算出部２０５が、算出した各計測点の到達予測時間の中で最小となる到達予測時間を、その移動体の到達予測時間とすればよい。

なお、左カメラ５から入力される画像を処理する左カメラ処理部４では、移動量ｄと移動体の接近／離反の関係が逆になる。しかし、前記した右カメラ３の画像を左右鏡像反転することにより、移動量ｄ（ｉ）の正負と移動体の接近／離反の関係を同じにすることが出来る。従って、左カメラ処理部４における処理の内容も、前記した右カメラ処理部２における処理と同様の処理とすることができる。

このような方法により右カメラ３で撮像した画像に接近物があれば、それを検出し、到達予測時間に応じて警報を発生することができる。右カメラ３の場合、接近物は画像の右から左に移動するものが自車への接近物となるが、左カメラ５の場合は、画像の左から右に移動するものが自車への接近物となる。従って、左カメラ５の画像を鏡像反転すれば、前述の通り、右カメラ３に対して用いた処理がそのまま利用できることになり、プログラム容量を抑えることができる。

なお、本実施形態では、図４において遠方領域における処理を近傍領域における処理よりも先に行ったが、これに限らず近傍領域における処理（すなわち、図４のステップＳ１２からステップＳ１５）を遠方における処理（すなわち、図４のステップＳ６からステップＳ１１）より先に行ってもよい。

（効果）
本実施形態によれば、画像を近傍領域および遠方領域に分け、近傍領域に設定する計測点を、遠方領域の計測点と比較して、疎に設定し、さらに近傍領域においては、到達予測時間の算出を行わないことにより、近傍領域に移動体が検知されてから、警報を出力するまでの時間を短縮することが可能となる。従って、近傍領域における計測点を少なくすることで、処理サイズを小さくすることが可能であり、かつ近傍領域における到達予測時間の算出を行わないことで処理時間を短くすることが可能となる。

本実施形態にかかる車載情報処理システムの構成例を示す機能ブロック図である。 右カメラ処理部または左カメラ処理部の構成例を示す機能ブロック図である。 本実施形態に係る車載情報処理システムの概略を示した図である。 本実施形態に係る車載情報処理方法の流れを示すフローである。 ステップＳ３における移動体処理の流れを示すフローである。 図３に示す右カメラおよび左カメラが撮像し、カメラ処理部に入力される画像の例を示す図であり、（ａ）右カメラ画像、（ｂ）左カメラ画像の例を示す図である。 エッジプロファイル作成の例を示す図であり、（ａ）は、エッジ画像の例、（ｂ）は、エッジプロファイルの例を示す図である。 時系列エッジプロファイルメモリにおけるエッジプロファイル格納の例を示す図である。 移動体検出の処理の例を示す図である。 図９に示す処理の結果、得られた移動体領域を示す図である。 本実施形態に係る遠方領域および近傍領域の設定、ならびに計測点設定の例を示す図である。 比較例に係る計測点設定の例を示す図である。 オプティカルフローの例を示す図である。 フレーム間隔算出の処理の例を示す図である。 接近物判定の処理の例を示す図であり、（ａ），（ｂ），（ｃ）は、接近物検知の例、（ｄ），（ｅ）は、接近物未検知の例を示す図である。 基準座標系とカメラ座標系との例を示す図である。 撮像面座標系の例を示す図である。 画像メモリ座標系の例を示す図である。

符号の説明

１ 車載情報処理装置
２ 右カメラ処理部（処理部）
３ 右カメラ（撮像装置）
４ 左カメラ処理部（処理部）
５ 左カメラ（撮像装置）
６ 出力処理部
７ モニタ
８ ナビゲーションシステム
９ 車載情報処理システム
３１ 自車
６１ 右カメラ画像（画像）
６２ 移動体
６３，１３０３ オプティカルフロー
６５ 左カメラ画像
７１ 近傍領域
７２ 遠方領域
７３，１３０４ 計測点
８１ 処理範囲
８２ エッジ
８３ ナビゲーションシステム
２０１ 計測点設定処理部
２０２ 移動体処理部
２０３ オプティカルフロー算出部
２０４ 移動体判定部
２０５ 到達予測時間算出部
２０６ 光軸方向算出部
２０７ 警報判定部
２０８ 警報処理部
２０９ 時系列画像メモリ（記憶部）
２１０ 時系列エッジプロファイルメモリ
１２０１ 移動ベクトル
１３０１ テンプレート画像
１３０２ 類似画像
１４０１ オプティカルフロー発生点
１４０２ オプティカルフロー未発生点

Claims (7)

1. 車両に搭載され、前記車両の左右両側方に設置した少なくとも２台の撮像装置が撮像する画像に基づき、移動体の存在を検知する車載情報処理装置における車載情報処理方法であって、
   前記車載情報処理装置は、情報を記憶する記憶部を備え、
   前記撮像装置から入力された画像を前記記憶部に格納し、
   前記記憶部から、時間的に異なる２つの画像を取得し、
   前記２つの画像を基に、前記画像内における移動体の検出と、移動量の算出を行い、
   前記画像を、前記車両から近傍の画像領域である近傍領域と、前記車両から遠方の画像領域である遠方領域とに分け、
   前記近傍領域と、前記遠方領域とにおいて、異なる密度で計測点を設定し、
   前記遠方領域における処理では、
   前記移動量を基に、フレーム間隔を算出し、
   前記記憶部から、前記フレーム間隔の２つの画像を取得し、
   前記取得した２つの画像と、前記遠方領域における前記計測点とを基に、オプティカルフローを算出し、
   前記算出したオプティカルフローを基に、前記車両に、前記検出された移動体が到達する予測時間である到達予測時間を算出し、
   前記算出した到達予測時間を基に、警報の要否を判定し、
   前記近傍領域における処理では、
   前記移動量を基に、フレーム間隔を算出し、
   前記記憶部から、前記フレーム間隔の２つの画像を取得し、
   前記取得した２つの画像と、前記近傍領域における前記計測点とを基に、オプティカルフローを算出し、
   前記算出したオプティカルフローを基に、警報の要否を判定することを特徴とする車載情報処理方法。
2. 前記車載情報処理装置は、前記車載情報処理装置から送られた画像を出力する出力装置と接続可能であり、
   前記警報の要否の判定の結果、前記警報が要であると判定された場合、前記出力装置に前記警報を出力させることをさらに実行することを特徴とする請求項１に記載の車載情報処理方法。
3. 前記入力された画像を、前記出力装置に出力させることをさらに実行することを特徴とする請求項２に記載の車載情報処理方法。
4. 前記車載情報処理装置は、道路地図の情報を格納するナビゲーションシステムと接続可能であり、
   前記到達予測時間の算出は、
   前記車両に設置されているヨーレートセンサの出力、ステアリング角センサの出力、または前記撮像装置で検出した白線の傾きの少なくとも1つを用いて自車の回転角度を取得し、
   前記ナビゲーションシステムから取得した前記道路地図より前記車両が走行する道路と、交差点で交差する道路との交差角度を取得し、
   前記車両の回転角度と交差角度とを基に、前記到達予測時間を算出することをさらに実行することを特徴とする請求項１に記載の車載情報処理方法。
5. 請求項１から請求項４のいずれか一項に記載の車載情報処理方法を、コンピュータに実行させることを特徴とする車載情報処理プログラム。
6. 車両に搭載され、前記車両の左右両側方に設置した少なくとも２台の撮像装置が撮像する画像に基づき、移動体の存在を検知する車載情報処理装置であって、
   情報を記憶する記憶部と、
   前記撮像装置から入力された画像を前記記憶部に格納する処理部と、
   前記記憶部から、時間的に異なる２つの画像を取得し、前記２つの画像を基に、前記画像内における移動体の検出と、移動量の算出を行う移動体処理部と、
   前記画像を、前記車両から近傍の画像領域である近傍領域と、前記車両から遠方の画像領域である遠方領域とに分け、前記近傍領域と、前記遠方領域とにおいて、異なる密度で計測点を設定する計測点設定処理部と、
   前記移動量を基に、フレーム間隔を算出し、前記記憶部から、前記フレーム間隔の２つの画像を取得し、前記取得した２つの画像と、前記計測点とを基に、オプティカルフローを算出するオプティカルフロー算出部と、
   前記算出したオプティカルフローを基に、前記車両に、前記検出された移動体が到達する予測時間である到達予測時間を算出する到達予測時間算出部と、
   前記遠方領域における処理で、前記算出した到達予測時間を基に、警報の要否を判定する警報判定部と、
   前記近傍領域における処理で、前記算出したオプティカルフローを基に、警報の要否を判定する移動体判定部と、を含んで備えることを特徴とする車載情報処理装置。
7. 車両の左右両側方に設置した少なくとも２台の撮像装置と、前記車両に搭載され、前記撮像装置が撮像する画像に基づき、移動体の存在を検知する車載情報処理装置とを含んで備える車載情報処理システムであって、
   前記車載情報処理装置は、
   情報を記憶する記憶部と、
   前記撮像装置から入力された画像を前記記憶部に格納する処理部と、
   前記記憶部から、時間的に異なる２つの画像を取得し、前記２つの画像を基に、前記画像内における移動体の検出と、移動量の算出を行う移動体処理部と、
   前記画像を、前記車両から近傍の画像領域である近傍領域と、前記車両から遠方の画像領域である遠方領域とに分け、前記近傍領域と、前記遠方領域とにおいて、異なる密度で計測点を設定する計測点設定処理部と、
   前記移動量を基に、フレーム間隔を算出し、前記記憶部から、前記フレーム間隔の２つの画像を取得し、前記取得した２つの画像と、前記計測点とを基に、オプティカルフローを算出するオプティカルフロー算出部と、
   前記算出したオプティカルフローを基に、前記車両に、前記検出された移動体が到達する予測時間である到達予測時間を算出する到達予測時間算出部と、
   前記遠方領域における処理で、前記算出した到達予測時間を基に、警報の要否を判定する警報判定部と、
   前記近傍領域における処理で、前記算出したオプティカルフローを基に、警報の要否を判定する移動体判定部と、を含んで備えることを特徴とする車載情報処理システム。

Images