JP2010204805A - 周辺監視装置および該方法 - Google Patents

Abstract

【課題】本発明は、より短い情報処理時間で移動体の周辺状況を監視し得る周辺監視装置および該方法を提供する。
【解決手段】本発明の周辺監視装置１は、移動体周囲の時系列画像を取得する撮影カメラ２と、前記時系列画像に基づいて所定の点に対する２次元オプティカルフローを求める２次元オプティカルフロー算出部２１と、この２次元オプティカルフローに基づいて、前記移動体と衝突する可能性のある画像内の点または領域を候補領域として抽出する候補領域抽出部２２と、この候補領域に対し、前記移動体と前記候補領域に写し出されている物体までの距離を取得する距離情報取得部２３と、この候補領域に対し、距離情報取得部２３で取得した距離に基づいて、移動体と候補領域に写し出されている物体とが衝突するか否かを判定する衝突有無判定部２４とを備える。
【選択図】図２

Description

本発明は、例えば車両等の移動体に好適に搭載され、周辺の状況を監視する周辺監視装置および周辺監視方法に関する。

近年、例えば車両やロボット等のように、自走可能な移動体に搭載されたカメラによって、前記移動体の移動方向や側方に存在する物体の動きを解析し、前記移動体と前記物体との衝突可能性の有無を判定するシステムが研究、開発されている。

このようなシステムにおいて、前記解析から判定までの過程において、時系列画像から算出された２次元オプティカルフローを用いるシステムが知られている（例えば特許文献１ないし特許文献３）。このシステムでは、２次元オプティカルフローを用いているので、例えば、前記物体の移動速度が比較的遅い場合や、前記物体が前記移動体から比較的遠くに存在する場合では、前記移動体と前記物体との衝突可能性の有無を精度よく判定することが困難となってしまう。また、２次元オプティカルフローを用いているので、物体の移動方向を判定することも困難である。

そのため、前記解析から判定までの過程において、２次元オプティカルフローに代え、３次元オプティカルフローを用いることが考えられる。３次元オプティカルフローを用いる場合では、前記物体の３次元オプティカルフローから前記移動体の３次元オプティカルフローを除くことによって、３次元の実空間における前記物体の移動ベクトルを求めることができ、前記物体の移動方向などをより正確に求めることが可能となる。

このような３次元オプティカルフローを用いるシステムは、例えば、特許文献４に開示されている。この特許文献４に開示の移動体検出装置は、監視領域を含む景色を撮像し、一対の画像を時系列的に出力するステレオカメラと、前記一対の画像に基づいて、ステレオマッチングにより距離データを算出するステレオ画像処理部と、前記距離データに基づいて、前記監視領域内に存在する立体物を認識する認識部と、前記一対の画像のうちの一方の画像を処理対象として、時系列的に並ぶ複数の画像および前記距離データに基づいてオプティカルフローを検出する検出部と、前記距離データと前記オプティカルフローとに基づいて、前記立体の三次元移動成分フローを算出する算出部と、前記三次元移動性分フローに基づいて移動物体と静止物体とを判定する判定部とを有している。特許文献４には、この構成によって、オプティカルフローを的確に立体物に関連付けることができ、立体物が地面に対して移動しているか否かを示す立体物の三次元移動成分フローを精度よく算出することが可能となり、監視領域の中から移動物体を的確に算出することが可能となる、と記載されている。

特開２００６−０９９１５５号公報 特開２００６−１０７４２２号公報 特開平１０−１６０９５２号公報 特開２００６−１３４０３５号公報

ところで、前記解析から判定までの過程において、２次元オプティカルフローに代え、３次元オプティカルフローを用いる手法では、その情報処理に時間がかかってしまう。特に、走行中に衝突を回避するためには、衝突の有無を迅速に判定する必要があるため、情報処理時間の長短は、重要な点である。前記特許文献４に開示の移動体検出装置も画像全体に対して三次元移動成分フローを算出しているため、上記と同様に、情報処理に時間がかかってしまう。

本発明は、上述の事情に鑑みて為された発明であり、その目的は、より短い情報処理時間で移動体の周辺状況を監視することができる周辺監視装置および周辺監視方法を提供することである。

本発明者は、種々検討した結果、上記目的は、以下の本発明により達成されることを見出した。すなわち、本発明の一態様にかかる周辺監視装置は、移動体における周囲の画像を時系列に時系列画像として取得する画像取得部と、前記時系列画像における所定の第１時刻に取得された第１画像、および、前記時系列画像における前記所定の第１時刻と異なる第２時刻に取得された第２画像に基づいて、前記第１画像における所定の点に対する２次元オプティカルフローを求める２次元オプティカルフロー算出部と、前記２次元オプティカルフロー算出部で求められた２次元オプティカルフローに基づいて、前記移動体と衝突する可能性のある前記第１画像内の点または領域を候補領域として抽出する候補領域抽出部と、前記候補領域抽出部で抽出された候補領域に対し、前記移動体と前記候補領域に写し出されている物体までの距離を取得する距離情報取得部と、前記候補領域抽出部で抽出された候補領域に対し、前記距離情報取得部で取得した距離に基づいて、前記移動体と前記候補領域に写し出されている物体とが衝突するか否かを判定する衝突有無判定部とを備えることを特徴とする。

このような構成の周辺監視装置では、候補領域抽出部によって候補領域が抽出され、この候補領域に対し、衝突有無判定部によって、移動体と候補領域に写し出されている物体との衝突判定が実行される。したがって、この周辺監視装置では、画像全体の画素について衝突判定が実行されるものではなく、候補領域だけについて衝突判定が実行されるので、この周辺監視装置は、より短い情報処理時間で移動体の周辺状況を監視することができる。

また、上述の周辺監視装置において、前記候補領域抽出部は、第１画像内の所定の領域に対し、予め設定された所定値と現在の２次元オプティカルフローとの差を求め、この求めた差が所定の第１閾値以上である場合に、前記第１画像内の前記所定の領域を候補領域として抽出することを特徴とする。

２次元オプティカルフローは、画像中の注目点（所定の点）がどの方向にどれだけ移動しているかを表す速度ベクトルであるので、この構成によれば、第１画像内の所定の領域における２次元オプティカルフローを用いることによって、候補領域を抽出することができ、また、このような構成の周辺監視装置を提供することができる。

また、上述の周辺監視装置において、前記候補領域抽出部における前記予め設定された所定値は、過去の２次元オプティカルフローであることを特徴とする。

この構成によれば、第１画像内の所定の領域に対し、過去の２次元オプティカルフローと現在の２次元オプティカルフローとを比較することによって、候補領域を抽出することができ、また、このような構成の周辺監視装置を提供することができる。

また、上述の周辺監視装置において、前記候補領域抽出部における前記予め設定された所定値は、前記時系列画像のいずれか１つの画像に写し出された道路面の２次元オプティカルフローであることを特徴とする。

道路面は、移動体と衝突の可能性のない物体であるので、この構成によれば、候補領域を漏れなく抽出することができる。

また、上述の周辺監視装置において、前記道路面の２次元オプティカルフローは、前記画像取得部の設置条件を用いて求められたものであることを特徴とする。

この構成によれば、道路面の２次元オプティカルフローが画像取得部の設置条件を用いて求められるので、より正確に道路面の２次元オプティカルフローを求めることができる。

また、これら上述の周辺監視装置において、前記候補領域抽出部は、前記第１画像の画素ごとに前記候補領域の抽出を行うことを特徴とする。

この構成によれば、第１画像の画素ごとに候補領域の抽出を行うので、より詳細に候補領域の抽出を行うことができる。

また、これら上述の周辺監視装置において、前記候補領域抽出部は、前記第１画像を複数の領域に分割領域として分割した場合における前記分割領域ごとに前記候補領域の抽出を行うことを特徴とする。

この構成によれば、分割領域ごとに候補領域の抽出を行うので、算出された２次元オプティカルフローに誤差を含む場合でも、候補領域の抽出判定における精度の低下を抑制することができる。あるいは、この構成によれば、分割領域ごとに候補領域の抽出を行うので、演算処理時間を短縮することが可能となる。

また、上述の周辺監視装置において、前記候補領域抽出部は、実空間において前記移動体の速度ベクトルと異なる速度ベクトルを持つ物体を写している領域を前記候補領域として抽出することを特徴とする。

移動体の速度ベクトルと同じ速度ベクトルを持つ物体は、衝突する可能性が無いため、この構成によれば、候補領域を漏れなく抽出することができる。

また、これら上述の周辺監視装置において、前記画像取得部は、ステレオカメラであり、前記距離情報取得部は、前記画像所得部によって取得された１組のステレオ画像に基づいて、前記候補領域抽出部で抽出された候補領域における前記１組のステレオ画像間の対応点を対応点探索処理によって抽出することで、前記移動体と前記候補領域に写し出されている物体までの距離を取得することを特徴とする。

この構成によれば、物体までの距離を計測する距離計測器を別途に備えることなく、画像から、前記移動体と前記候補領域に写し出されている物体までの距離を取得することができ、また、このような構成の周辺監視装置を提供することができる。

また、これら上述の周辺監視装置において、前記衝突有無判定部は、前記候補領域抽出部で抽出された候補領域に対し、前記２次元オプティカルフロー算出部で算出された２次元オプティカルフローおよび前記距離情報取得部で取得した距離に基づいて、３次元オプティカルフローを求める３次元オプティカルフロー算出部と、前記候補領域抽出部で抽出された候補領域に対し、前記３次元オプティカルフロー算出部で求められた３次元オプティカルフローに基づいて、前記移動体と前記候補領域に写し出されている物体とが衝突するか否かを判定する判定部とを備えることを特徴とする。

衝突判定が３次元オプティカルフローによって行われるので、より正確に衝突判定を行うことができる。

また、上述の周辺監視装置において、前記衝突有無判定部の前記判定部は、前記移動体を含む立体を仮想した場合に、前記３次元オプティカルフロー算出部で求められた３次元オプティカルフローを含む線分と前記立体の境界面とが交差するか否かを判定することによって、前記移動体と前記候補領域に写し出されている物体とが衝突するか否かを判定することを特徴とする。

この構成によれば、３次元オプティカルフローを含む線分と立体の境界面とが交差するか否かという比較的簡易な情報処理で、衝突判定を行うことができる。

また、上述の周辺監視装置において、前記衝突有無判定部の前記判定部は、前記候補領域抽出部で抽出された候補領域に対し、前記移動体の進行方向と前記３次元オプティカルフロー算出部で求められた３次元オプティカルフローとの成す角および前記距離情報取得部で取得した距離に基づいて、前記移動体と前記候補領域に写し出されている物体とが衝突するか否かを判定することを特徴とする。

この構成によれば、移動体の進行方向と３次元オプティカルフローとの成す角および距離を用いた比較的簡易な情報処理で、衝突判定を行うことができる。

また、これら上述の周辺監視装置において、前記衝突有無判定部の前記判定部は、前記候補領域抽出部で抽出された候補領域に対し、前記距離情報取得部で取得した距離と予め設定された所定の第２閾値とを比較することによって、前記移動体と前記候補領域に写し出されている物体とが衝突するか否かを判定する場合に、前記移動体の速度に応じて前記所定の第２閾値を変更することを特徴とする。

この構成によれば、移動体の速度に応じて所定の第２閾値を変更するので、移動体から比較的離れた物体を適切に衝突しない物体と判定することができる。

また、これら上述の周辺監視装置において、前記衝突有無判定部の前記判定部は、前記候補領域抽出部で抽出された候補領域に対し、前記距離情報取得部で取得した距離と予め設定された所定の第２閾値とを比較することによって、前記移動体と前記候補領域に写し出されている物体とが衝突するか否かを判定する場合に、前記移動体の制動距離に応じて前記所定の第２閾値を変更することを特徴とする。

この構成によれば、移動体の制動距離に応じて所定の第２閾値を変更するので、移動体から比較的離れた物体を適切に衝突しない物体と判定することができる。

また、これら上述の周辺監視装置において、前記衝突有無判定部の判定結果を出力する判定結果出力部をさらに備えることを特徴とする。

この構成によれば、判定結果出力部を備えるので、例えばドライバーなどのユーザに衝突の警告を行うことができ、ユーザに回避処置を取るように促すことができる。

また、上述の周辺監視装置において、音を出力する音出力部をさらに備え、前記判定結果出力部は、前記衝突有無判定部によって前記移動体と前記候補領域に写し出されている物体とが衝突すると判定された場合に、前記音出力部から警告音を出力することを特徴とする。

この構成によれば、警告音によって、ユーザに衝突の警告を行うことができ、ユーザに回避処置を取るように促すことができる。

また、上述の周辺監視装置において、表示を行う表示部をさらに備え、前記判定結果出力部は、前記衝突有無判定部によって前記移動体と前記候補領域に写し出されている物体とが衝突すると判定された場合に、前記表示部から警告表示を出力することを特徴とする。

この構成によれば、警告表示によって、ユーザに衝突の警告を行うことができ、ユーザに回避処置を取るように促すことができる。

また、上述の周辺監視装置において、前記警告表示は、前記移動体と前記候補領域に写し出されている物体との距離を表す距離表示を含むことを特徴とする。

この構成によれば、衝突までの距離をユーザに知らせることができる。

また、これら上述の周辺監視装置において、前記警告表示は、前記移動体と前記候補領域に写し出されている物体とが衝突するまでの衝突時間を表す衝突時間表示を含むことを特徴とする。

この構成によれば、衝突までの時間をユーザに知らせることができる。

また、これら上述の周辺監視装置において、前記警告表示は、前記候補領域に写し出されている物体の大きさを表す大きさ表示を含むことを特徴とする。

この構成によれば、物体の大きさをユーザに知らせることができる。

そして、本発明の他の一態様にかかる周辺監視方法は、移動体における周囲の画像を時系列に時系列画像として取得する画像取得工程と、前記時系列画像における所定の第１時刻に取得された第１画像、および、前記時系列画像における前記所定の第１時刻と異なる第２時刻に取得された第２画像に基づいて、前記第１画像における所定の点に対する２次元オプティカルフローを求める２次元オプティカルフロー算出工程と、前記２次元オプティカルフロー算出工程で求められた２次元オプティカルフローに基づいて、前記移動体と衝突する可能性のある前記第１画像内の点または領域を候補領域として抽出する候補領域抽出工程と、前記候補領域抽出工程で抽出された候補領域に対し、前記移動体と前記候補領域に写し出されている物体までの距離を取得する距離情報取得工程と、前記候補領域抽出工程で抽出された候補領域に対し、前記距離情報取得工程で取得した距離に基づいて、前記移動体と前記候補領域に写し出されている物体とが衝突するか否かを判定する衝突有無判定工程とを備えることを特徴とする。

このような構成の周辺監視方法では、候補領域抽出工程によって候補領域が抽出され、この候補領域に対し、衝突有無判定工程によって、移動体と候補領域に写し出されている物体との衝突判定が実行される。したがって、この周辺監視方法では、画像全体の画素について衝突判定が実行されるものではなく、候補領域だけについて衝突判定が実行されるので、この周辺監視方法は、より短い情報処理時間で移動体の周辺状況を監視することができる。

本発明にかかる周辺監視装置および周辺監視方法は、より短い情報処理時間で移動体の周辺状況を監視することができる。

本発明の一実施形態における周辺監視システムの概略構成を示す図である。 本実施形態の周辺監視システムにおける周辺監視装置の構成を示すブロック図である。 本実施形態の周辺監視システムにおける周辺監視装置の動作を示すフローチャートである。 位相限定相関法のブロック図である。 ＰＯＣ値の一例を示すグラフである。 所定の基準面における２次元オプティカルフローを説明するための図である。 所定の基準面上に存在する物体における２次元オプティカルフローを説明するための図である。 領域分割を行って候補領域の抽出を実行する場合における領域分割の仕方を説明するための図である。 撮影カメラの位置と撮影条件との関係を説明するための図である。 ＴＯＦ方式による距離計測器を説明するための図である。 距離計測器により計測される距離を説明するための図である。 ３次元オプティカルフローの算出処理を説明するための図である。 第１の衝突有無判定処理を説明するための図である。 第２の衝突有無判定処理を説明するための図である。 本実施形態における変形形態としての多重解像度戦略を説明するための図である。

以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、その説明を省略する。

図１は、本発明の一実施形態における周辺監視システムの概略構成を示す図である。図２は、本実施形態の周辺監視システムにおける周辺監視装置の構成を示すブロック図である。

周辺監視システムＳは、例えば車両やロボット等の自走可能な移動体に好適に搭載され、１または複数の撮影カメラ２によって、周辺の状況を監視するための装置である。周辺監視システムは、例えば、図１に示すように、１または複数の撮影カメラ２と、移動体の移動方向や側方等の移動体の周辺に存在する物体の動きを解析し、前記移動体と前記物体との衝突可能性の有無を判定する周辺監視装置１とを備えて構成される。図１に示す例では、周辺監視システムＳは、１組（１対）の画像から成るステレオ画像を得るべく、１組（２台）の撮影カメラ２−１、２−２から成るステレオカメラを備えている。

なお、本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。

撮影カメラ２は、周辺監視を行うために、移動体における周囲の画像を時系列に時系列画像として取得する装置である。例えば、図１に示すように、撮影カメラ２−１、２−２は、予め定める基線間隔だけ離間して、かつそれらの各光軸が互いに平行となるように、移動体に配設される。このように撮影カメラ２−１、２−２は、互いに異なる位置から周辺の物体Ｏｂを撮影できるように配置されている。なお、図１に示す例では、被写体である周辺物体Ｏｂとして、移動体Ｏｂ−１、Ｏｂ−２が図１に図示されている。

撮影カメラ２は、周辺物体Ｏｂを撮影し、画像を取得すると、この撮影された画像（画像データ）を周辺監視装置１へ伝送路を介して送信する。なお、その通信方式は、有線方式であっても無線方式あってもよい。図１に示すように、撮影カメラ２がステレオカメラである場合には、撮影カメラ２−１、２−２は、周辺監視装置１の制御によって、あるいは、撮影カメラ２−１、２−２間の制御によって、周辺物体Ｏｂを同じタイミングで（同期して）撮影し、これら同じタイミングで撮影された左右一組（左右一対）の画像（ステレオ画像）を周辺監視装置１へ出力する。これら左右一組の画像に対し対応点探索を行う場合では、これら左右一組の画像のうちの一方が対応点探索を行うための基準画像とされ、他方がその参照画像とされる。例えば、撮影カメラ２−１で撮影された画像が基準画像とされ、撮影カメラ２−２で撮影された画像が参照画像とされる。また、撮影カメラ２は、所定の時間間隔（サンプリングレート）で画像を取得することによって時系列画像を生成することができるが、これら時系列画像に対し対応点探索を行う場合では、時系列画像における、或る時刻ｔ（所定の第１時刻ｔ）に撮影された画像が基準画像とされ、当該時刻ｔと異なる時刻ｔ＋△ｔ（第２時刻ｔ＋△ｔ）に撮影された画像が参照画像とされる。

なお、撮影カメラ２は、３台以上であっても良く、また１台であっても良い。撮影カメラ２が３台以上である場合では、そのうちの１台の撮影カメラ２によって撮影された画像が基準画像とされ、他の撮影カメラ２によって撮影された画像が参照画像とされる。また撮影カメラ２が１台である場合では、その撮影カメラ２によって撮影された時系列画像のうち所定のタイミング（時点）で撮影された画像が基準画像とされ、前記所定のタイミングと異なるタイミングで撮影された画像が参照画像とされる。

周辺監視装置１は、撮影カメラ２によって取得された時系列画像に基づいて、移動体の周辺に存在する物体の動きを解析し、前記移動体と前記物体との衝突可能性の有無を判定する装置である。周辺監視装置１は、例えば、本実施形態では、図２に示すように、本発明の一実施形態にかかる周辺監視プログラムを実装することによってコンピュータ等の情報処理装置によって実現される。周辺監視プログラムは、本発明の一実施形態にかかる周辺監視方法をプログラミングすることによって作成される。なお、周辺監視装置１は、後述の諸機能を備えた、周辺監視システムＳ用に製作された専用の装置であってもよい。周辺監視装置１は、図２に示すように、例えば、中央処理部（ＣＰＵ、Central Processing Unit）１２と、記憶部１３と、例えば液晶ディスプレイや有機ＥＬディスプレイ等の表示部１５と、例えば起動指示やデータ入力を行うための入力部１６と、例えばインターフェースカード等の通信部１７とを備えて構成される。

記憶部１３は、例えば、ハードディスクドライブ（ＨＤＤ、Hard Disk Drive）１３ａおよびＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等の半導体メモリ１３ｂ等の複数の記憶媒体を備えている。また、破線で示すように、周辺監視装置１は、必要に応じてメディアドライブ１４を備えてもよい。メディアドライブ１４は、例えば、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスクおよびメモリカード等の可搬性の記録媒体からその中に記録されている情報（データ）を読み出すことができる。なお、この周辺監視装置１に対して供給される情報（周辺監視プログラムを含む）は、前記記録媒体を介して供給される場合に限定されず、ローカルエリアネットワーク（ＬＡＮ、Local Area Network）やインターネット等のネットワークを介して供給されてもよい。

図１および図２に示す例では、撮影カメラ２は、通信部１７に通信可能に接続されており、撮影カメラ２で撮影された画像（画像データ）は、通信部１７を介してＣＰＵ１２に入力される。

ＣＰＵ１２は、これら記憶部１３、表示部１５、入力部１６および通信部１７を当該機能に応じて制御することによって、周辺監視装置１全体を制御するものである。ＣＰＵ１２は、図２に示すように、機能的に、２次元オプティカルフロー算出部（以下、「２次元ＯＦ算出部」と略記する。）２１と、候補領域抽出部２２と、距離情報取得部２３と、衝突有無判定部２４と判定結果出力部２５とを備えて構成される。

２次元ＯＦ部２１は、時系列画像における所定の第１時刻ｔに取得された第１画像、および、前記時系列画像における所定の第１時刻ｔと異なる第２時刻ｔ＋△ｔに取得された第２画像に基づいて、前記第１画像における所定の点に対する２次元オプティカルフローを求めるものである。

候補領域抽出部２２は、２次元ＯＦ算出部２１で求められた２次元オプティカルフローに基づいて、移動体と衝突する可能性のある第１画像内の点または領域を候補領域として抽出するものである。より具体的には、例えば、候補領域抽出部２２は、第１画像内の所定の領域に対し、予め設定された所定値と現在の２次元オプティカルフローとの差を求め、この求めた差が予め設定された所定の第１閾値以上である場合に、第１画像内の所定の領域を候補領域として抽出してよい。そして、この予め設定された所定値は、例えば、過去の２次元オプティカルフローであってよい。また例えば、この予め設定された所定値は、時系列画像のいずれか１つの画像に写し出された道路面の２次元オプティカルフローであってもよい。そして、この道路面の２次元オプティカルフローは、撮影カメラ２の設置条件を用いて求められたものであってよい。また例えば、候補領域抽出部２２は、実空間において移動体の速度ベクトルと異なる速度ベクトルを持つ物体を写している領域を候補領域として抽出してもよい。また、候補領域抽出部２２は、例えば、第１画像の画素ごとに候補領域の抽出を行ってもよく、また例えば、候補領域抽出部２２は、第１画像を複数の領域に分割領域として分割した場合におけるこれら分割領域ごとに候補領域の抽出を行ってもよい。

距離情報取得部２３は、候補領域抽出部２２で抽出された候補領域に対し、移動体と候補領域に写し出されている物体までの距離を取得するものである。本実施形態では、撮影カメラ２として左右一対の撮影カメラ２−１、２−２から成るステレオカメラが用いられていることから、距離情報取得部２３は、例えば、このステレオカメラ２−１、２−２によって取得された１組のステレオ画像に基づいて、候補領域抽出部２２で抽出された候補領域における前記１組のステレオ画像間の対応点を対応点探索処理によって抽出することで、移動体と候補領域に写し出されている物体までの距離を取得する。

衝突有無判定部２４は、候補領域抽出部２２で抽出された候補領域に対し、距離情報取得部２３で取得した距離に基づいて、移動体と候補領域に写し出されている物体とが衝突するか否かを判定するものである。衝突有無判定部２４は、例えば、候補領域抽出部２２で抽出された候補領域に対し、２次元オプティカルフロー算出部２１で算出された２次元オプティカルフローおよび距離情報取得部２２で取得した距離に基づいて、３次元オプティカルフローを求める図略の３次元オプティカルフロー算出部と、候補領域抽出部２２で抽出された候補領域に対し、前記３次元オプティカルフロー算出部で求められた３次元オプティカルフローに基づいて、移動体と候補領域に写し出されている物体とが衝突するか否かを判定する図略の判定部とを備えて構成される。この衝突有無判定部２４の判定部は、例えば、移動体を含む立体を仮想した場合に、前記３次元オプティカルフロー算出部で求められた３次元オプティカルフローを含む線分と立体の境界面とが交差するか否かを判定することによって、移動体と候補領域に写し出されている物体とが衝突するか否かを判定してよい。また例えば、この衝突有無判定部２４の判定部は、候補領域抽出部２２で抽出された候補領域に対し、移動体の進行方向と前記３次元オプティカルフロー算出部で求められた３次元オプティカルフローとの成す角および距離情報取得部２３で取得した距離に基づいて、移動体と候補領域に写し出されている物体とが衝突するか否かを判定してもよい。また例えば、この衝突有無判定部２４の判定部は、候補領域抽出部２２で抽出された候補領域に対し、距離情報取得部２３で取得した距離と予め設定された所定の第２閾値とを比較することによって、移動体と候補領域に写し出されている物体とが衝突するか否かを判定する場合に、移動体の速度に応じて前記所定の第２閾値を変更してもよい。また例えば、この衝突有無判定部２４の判定部は、候補領域抽出部２２で抽出された候補領域に対し、距離情報取得部２３で取得した距離と予め設定された所定の第２閾値とを比較することによって、移動体と候補領域に写し出されている物体とが衝突するか否かを判定する場合に、移動体の制動距離に応じて前記所定の第２閾値を変更してもよい。

判定結果出力部２５は、衝突有無判定部２４の判定結果を表示部１５に出力するものである。判定結果出力部２５は、例えば、衝突有無判定部２４によって移動体と候補領域に写し出されている物体とが衝突すると判定された場合に、表示部１５から警告表示を出力してよい。この警告表示は、ユーザに衝突の危険を知らせる表示であり、その旨を表すイラストやその旨を表すテキスト等である。また、この警告表示には、移動体と候補領域に写し出されている物体との距離を表す距離表示が含まれてもよい。あるいは、この警告表示には、移動体と候補領域に写し出されている物体とが衝突するまでの衝突時間を表す衝突時間表示が含まれてもよい。あるいは、警告表示には、候補領域に写し出されている物体の大きさを表す大きさ表示が含まれてもよい。

なお、周辺監視装置１は、表示部１５に代え、あるいは表示部１５に加えて、音を出力する音出力部を備えてもよく、この場合に、判定結果出力部２５は、衝突有無判定部２４によって移動体と候補領域に写し出されている物体とが衝突すると判定された場合に、前記音出力部から警告音を出力してもよい。警告音は、ユーザに衝突の危険を知らせる表示であり、その旨を表す連続音や断続音等や、その旨を表す音声等である。

次に、本実施形態の動作について説明する。図３は、本実施形態の周辺監視システムにおける周辺監視装置の動作を示すフローチャートである。

周辺監視システムＳが起動され、その動作が開始されると、撮影カメラ２−１、２−２によってタイミングを合わせて（同期して）周辺物体Ｏｂが所定の時間間隔で順次にそれぞれ撮影される。したがって、撮影カメラ２−１は、所定のフレーム周期で順次に周辺を撮影し、これによって周辺物体Ｏｂの時系列画像（時系列画像データ）を取得すると共に、撮影カメラ２−２は、所定のフレーム周期で順次に周辺を撮影し、これによって周辺物体Ｏｂの時系列画像（時系列画像データ）を取得する。そして、それぞれ撮影された各画像（各画像データ）は、順次に、各撮影カメラ２−１、２−２から通信部１７を介して周辺監視装置１に入力され、周辺監視装置１のＣＰＵ１２に通知され、ＣＰＵ１２によって各画像間の周辺監視処理が開始される。

この周辺監視処理において、まず、図３に示すように、ステップ（工程、処理）Ｓ１１では、２次元ＯＦ部２１は、撮影カメラ２によって取得された時間的に異なる少なくとも２つの時系列画像データＩ（ｔ）、Ｉ（ｔ＋△ｔ）に基づいて２次元オプティカルフローＯＦ_ｘｙ（ｔ＋△ｔ）を算出し、この算出した２次元オプティカルフローＯＦ_ｘｙ（ｔ＋△ｔ）を候補領域抽出部２２および衝突有無判定部２４へそれぞれ通知する。前記時系列画像データＩ（ｔ）、Ｉ（ｔ＋△ｔ）は、撮影カメラ２−１、２−２によって取得された時系列画像Ｉ^１（ｔ）、Ｉ^２（ｔ）、Ｉ^１（ｔ＋△ｔ）、Ｉ^２（ｔ＋△ｔ）の何れであってもよい。すなわち、前記時系列画像データＩ（ｔ）、Ｉ（ｔ＋△ｔ）は、撮影カメラ２−１によって取得された時系列画像Ｉ^１（ｔ）、Ｉ^１（ｔ＋△ｔ）であってもよく、また、撮影カメラ２−２によって取得された時系列画像Ｉ^２（ｔ）、Ｉ^２（ｔ＋△ｔ）であってもよい。ここでは、撮影カメラ２−１によって取得された時系列画像Ｉ^１（ｔ）、Ｉ^１（ｔ＋△ｔ）が用いられる。なお、右上付き添え字の１は、撮影カメラ２−１を表し、右上付き添え字の２は、撮影カメラ２−２を表し、他の符号においても同様である。

続いて、ステップＳ１２では、候補領域抽出部２２は、２次元ＯＦ部２１によって算出された２次元オプティカルフローＯＦ_ｘｙ（ｔ＋△ｔ）に基づいて、衝突有無判定部２４によって衝突の可能性の有無を判定すべき点または領域を候補領域（衝突有無判定候補領域）ＤＡ_ｏｂ（ｔ＋△ｔ）として抽出し、この抽出した候補領域ＤＡ_ｏｂ（ｔ＋△ｔ）を距離情報取得部２３および衝突有無判定部２４へそれぞれ通知する。

続いて、ステップＳ１３では、距離情報取得部２３は、候補領域抽出部２２によって抽出された候補領域ＤＡ_ｏｂ（ｔ＋△ｔ）に対し、撮影カメラ２（すなわち、撮影カメラ２を搭載した移動体）から候補領域ＤＡ_ｏｂ（ｔ＋△ｔ）に撮像されている物体までの距離を距離情報Ｄ（ｔ）として時刻ｔについて取得し（Ｓ１３１）、そして、時刻ｔ＋△ｔについて距離情報Ｄ（ｔ＋△ｔ）取得し（Ｓ１３２）、これら距離情報Ｄ（ｔ）、Ｄ（ｔ＋△ｔ）を衝突有無判定部２４へ通知する。

続いて、ステップＳ１４では、衝突有無判定部２４は、候補領域抽出部２２によって抽出された候補領域ＤＡ_ｏｂ（ｔ＋△ｔ）に対し、２次元ＯＦ算出部２１によって算出された２次元オプティカルフローＯＦ_ｘｙ（ｔ＋△ｔ）および距離情報取得部２３によって取得された距離情報Ｄ（ｔ）、Ｄ（ｔ＋△ｔ）に基づいて、３次元オプティカルフローＯＦ_ｘｙｚ（ｔ＋△ｔ）を算出する。

続いて、ステップＳ１５では、衝突有無判定部２４は、候補領域抽出部２２によって抽出された候補領域ＤＡ_ｏｂ（ｔ＋△ｔ）に対し、この算出した３次元オプティカルフローＯＦ_ｘｙｚ（ｔ＋△ｔ）に基づいて衝突の可能性があるか否かを判定する。

そして、前記判定の結果、衝突の可能性があると判定された場合には、衝突有無判定部２４は、その旨を判定結果出力部２５へ通知し、判定結果出力部２５は、衝突の可能性がある旨を表示部１５へ出力する。ここで、表示部１５には、衝突の可能性がある物体までの距離、その大きさおよび衝突までの時間等が表示される。なお、判定結果出力部２５は、ブザー等によって警笛を鳴らせてもよい。

次に、上記各ステップをより具体的に説明する。
（ステップＳ１１；２次元オプティカルフローの算出処理）
２次元ＯＦ部２１は、撮影カメラ２によって取得された時間的に異なる少なくとも２つの時系列画像データＩ（ｔ）、Ｉ（ｔ＋△ｔ）に基づいて、例えば、勾配法（gradient-based method）によって２次元オプティカルフローＯＦ_ｘｙ（ｔ＋△ｔ）を算出する。

勾配法は、物体上の点の明るさが移動後も変化しないという仮定から、画像の時空間微分の拘束方程式を求め、この拘束方程式から２次元オプティカルフローを求める手法である。

画像上の点ｒ（ｘ、ｙ）の時刻ｔにおける輝度（輝度値）をＩ（ｘ、ｙ、ｔ）とし、時刻ｔ＋△ｔにおいて対象物体がｕ＝（△ｘ、△ｙ）^Ｔだけ移動したとすると、微小時間△ｔでは、前記仮定から次の式１が成り立つ。
Ｉ（ｘ、ｙ、ｔ）＝Ｉ（ｘ＋△ｘ、ｙ＋△ｙ、ｔ＋△ｔ） ・・・（１）
この式１の右辺をテイラー展開（Taylor展開）し、高次の項を無視し、両辺を△ｔで割って△ｔ→０とすることによって、式１から、拘束方程式と呼ばれる次の式２が求まる。
（▽Ｉ）^Ｔｕ＋Ｉ_ｔ＝０ ・・・（２）
ここで、▽Ｉ＝（ｄＩ／ｄｘ、ｄＩ／ｄｙ）^Ｔであり、Ｉ_ｔ＝ｄＩ／ｄｔである。

そして、この拘束方程式は、一画素につき１つの方程式しか得られないので、一意に２次元オプティカルフローを求めることができない。そのため、さらに付加条件を設けることによって、拘束方程式から２次元オプティカルフローが求められ、勾配法には、この付加条件の付け方によってローカル法とグローバル法とがある。

前記ローカル法では、“或る注目画素の近傍では動きは滑らかである”という付加条件が設けられ、注目画素近傍の拘束方程式からその最小２乗法の解を求めることによって２次元オプティカルフローが求められる。すなわち、式３によって表される２乗誤差Ｅを局所領域で最小とするｕを重回帰分析によって求めることによって２次元オプティカルフローが求められる。
Ｅ＝Σ（（▽Ｉ）^Ｔｕ＋Ｉ_ｔ） ・・・（３）
ここで、Σは、局所領域内の点について和を求める。

また、前記グローバル法では、“物体内の動きは滑らかに変化する”という条件が設けられ、発生するオプティカルフローの画像上での全変化量を最小にする拘束条件の繰り返し計算によって、２次元オプティカルフローが求められる。

この勾配法を用いた２次元オプティカルフローの算出方法では、このような技術的に確立された一般的な手法を用いることで、比較的精度よく、より確実に対応点を求めることができる。また、この勾配法を用いた２次元オプティカルフローの算出方法では、次に示す手法のように、対応点探索を行う必要がなく、情報処理時間をより短くすることができる。

また、２次元ＯＦ部２１は、撮影カメラ２によって取得された時間的に異なる少なくとも２つの時系列画像データＩ（ｔ）、Ｉ（ｔ＋△ｔ）において、１または複数の画素Ｐ_ｉ（ｘ（ｔ）、ｙ（ｔ））に対し、対応点探索処理によって対応点Ｐ_ｉ（ｘ（ｔ＋△ｔ）、ｙ（ｔ＋△ｔ））を探索し、式４のように対応点同士の差△Ｐ_ｉ（△ｘ、△ｙ）を求めることによって、２次元オプティカルフローＯＦ_ｘｙ（ｔ＋△ｔ）（＝△Ｐ_ｉ（△ｘ、△ｙ））を算出してもよい。
△Ｐ_ｉ（△ｘ、△ｙ）＝Ｐ_ｉ（ｘ（ｔ＋△ｔ）−ｘ（ｔ）、ｙ（ｔ＋△ｔ）−ｙ（ｔ）） ・・・（４）
ここで、ｉは、対応点探索を行う個数を示し、例えば、仕様等に基づき適宜に設定される。例えば、画像の全画素に対して対応点探索が行われてもよいし、数画素ごとの画素に対して対応点探索が行われてもよい。また、画素Ｐ_ｉ（ｘ（ｔ）、ｙ（ｔ））およびこの対応点Ｐ_ｉ（ｘ（ｔ＋△ｔ）、ｙ（ｔ＋△ｔ））は、それらの差分を求める前に、例えば公知の手法によって、撮影カメラ２の光学系における収差を補正する収差補正処理が施されてもよい。

そして、基準画像Ｉ１の注目点に対応する参照画像Ｉ２の対応点の対応点探索は、次のように実行される。まず、基準画像Ｉ１で、注目点を中心とする縦横方向にそれぞれＰ画素×Ｑ画素の大きさを持つテンプレートＴＰが設定され、同様に、参照画像Ｉ２にも同じ大きさを持つウィンドウＷＤが設定される。この場合に、ウィンドウＷＤは、参照画像Ｉ２において、基準画像Ｉ１におけるテンプレートＴＰと同じ位置から始めて、所定の方向（例えばステレオ画像では基線長方向（エピポーラ線方向）に或る範囲（０＜ｐ＜ｐｍａｘ））で位置を変えながら、それぞれの位置において相関演算が行われる。その相関演算には、例えば、ＳＡＤ、ＳＳＤおよびＮＣＣ等を用いることができる。そして、相関演算の結果から類似度への変換は、パターン間距離が近いほど類似度が高いので、例えば、（類似度）＝１／（（相関演算の結果）＋１）の変換式が用いられる。なお、一般に、基準画像Ｉ１に設定されるテンプレートＴＰもウィンドウと呼ばれることがあるが、ここでは、対応点探索を実行すべく、基準画像Ｉ１に設定される演算領域をテンプレートＴＰと呼び、参照画像Ｉ２に設定される演算領域をウィンドウＷＤと呼ぶこととする。

ＳＡＤ（Sum of Absolute Difference）は、式５に示すように、基準画像Ｉ１のテンプレートＴＰにおける画素の輝度値と、前記テンプレートＴＰの画素位置に対応する位置の、参照画像Ｉ２のウィンドウＷＤにおける画素の輝度値と、の差の絶対値を求めることによって、相関演算を行う手法である。ＳＡＤは、式５に示すように、テンプレートＴＰとウィンドウＷＤとで同じ位置に対応する画素同士における各輝度値の差の絶対値をそれぞれ求めてそれがウィンドウＷＤ内の全画素に亘って加算されることで求められるので、その演算量が少なく、したがって、短時間で対応点探索を行うことができる。

ここで、Ｍ_Ｌ（ｉ，ｊ）は、基準画像Ｉ１のテンプレートＴＰにおける画素位置（ｉ，ｊ）の輝度値であり、Ｍ_Ｒ（ｉ，ｊ）は、参照画像Ｉ２のウィンドウＷＤにおける画素位置（ｉ，ｊ）の輝度値である。ＰおよびＱは、テンプレートＴＰおよびウィンドウＷＤのサイズ（領域の大きさ）を表し、Ｐは、縦の画素数であり、Ｑは、横の画素数である。

そして、このような処理が１画素ずつずらしながら行われ、最も類似度の高いウィンドウ位置にテンプレートＴＰと等しい画像があると判断される。

また、ＳＳＤ（Sum of Squared intensity Difference、２乗残差法）は、式６に示すように、基準画像Ｉ１のテンプレートＴＰにおける画素の輝度値と、前記テンプレートＴＰの画素位置に対応する位置の、参照画像Ｉ２のウィンドウＷＤにおける画素の輝度値と、の差の２乗を求めることによって、相関演算を行う手法である。ＳＳＤは、上述のように画素間の輝度値の差を２乗しているため、比較的サイズの小さいテンプレートＴＰおよびウィンドウＷＤを用いる場合でも、テンプレートＴＰとウィンドウＷＤとの相関をより明確に表すことができる。

また、ＮＣＣ（Normalized Cross Correlation、正規化相互相関法）は、式７に示すように、基準画像Ｉ１のテンプレートＴＰおよび参照画像Ｉ２のウィンドウＷＤのそれぞれにおいて、各点の輝度値から輝度値の平均値を減算し、分散値の類似度で相関演算を行う手法である。ＮＣＣでは、線形な明るさの変化の影響、すなわち、画像の輝度値およびコントラストの線形変化とノイズの影響が低減される。相関値は、−１〜＋１の範囲の値であり、その値が大きい程、テンプレートＴＰとウィンドウＷＤとが類似していることを表している。このため、ＮＣＣでは、式７の最大値を求める処理となる。

ここで、μＭ_Ｌは、基準画像Ｉ１のテンプレートＴＰにおける平均値であり、μＭ_Ｒは、参照画像Ｉ２のウィンドウＷＤにおける平均値である。

また、ロバストな対応点探索手法として、振幅成分を抑制した相関法が知られている。この相関法は、基準画像Ｉ１および参照画像Ｉ２にそれぞれ設定したテンプレートＴＰおよびウィンドウＷＤ内のパターンを周波数分解し、その周波数分解信号から振幅成分を抑制した位相成分のみの信号を用いて類似度演算を行う手法である。このため、この対応点探索手法は、輝度変動やノイズの影響を受け難く、高精度に画像間の対応点を探索することができる。

このパターンの周波数分解信号を算出する手法として、高速フーリエ変換（ＦＦＴ）、離散フーリエ変換（ＤＦＴ）、離散コサイン変換（ＤＣＴ）、離散サイン変換（ＤＳＴ）、ウエーブレット変換およびアダマール変換等が一般的に広く用いられる。これら手法は、既に確立されているので、確実に周波数分解を行うことができ、好適である。これらのうちで、変換にフーリエ変換を用いた位相限定相関法（ＰＯＣ）は、フーリエ級数の振幅成分を抑制した位相成分のみの相関演算を行う。また、ＤＣＴ符号限定相関法では、変換に離散コサイン変換を用い、コサイン変換結果の振幅成分を抑制した符合成分のみの相関演算を行う。

以下に、位相限定相関法を例に詳細を説明する。図４は、位相限定相関法のブロック図である。この位相限定相関法では、まず、基準画像Ｉ１と参照画像Ｉ２とに、テンプレートＴＰとウィンドウＷＤとのペア（組、対）が設定され、それらの間の相関が計算され、その類似度から、正しい領域ペアであるか否かが判定される。図４において、位相限定相関法によって対応点探索を行う装置は、画像に対しフーリエ変換を行うフーリエ変換部３１、３２と、フーリエ変換部３１、３２で得られたフーリエ級数の振幅成分について規格化を行う規格化部３３、３４と、各規格化部３３、３４で得られた各規格結果について合成を行う合成部３５と、合成部３５で得られた合成結果について逆フーリエ変換を行う逆フーリエ変換部３６とを備えて構成される。このような構成の装置において、基準画像Ｉ１のテンプレートＴＰおよび参照画像Ｉ２のウィンドウＷＤは、フーリエ変換部３１およびフーリエ変換部３２にそれぞれ入力され、それぞれフーリエ変換される。これらフーリエ変換された基準画像Ｉ１のテンプレートＴＰおよび参照画像Ｉ２のウィンドウＷＤは、規格化部３３および規格化部３４にそれぞれ入力され、それぞれ規格化される。これら規格化された基準画像Ｉ１のテンプレートＴＰおよび参照画像Ｉ２のウィンドウＷＤは、それぞれ合成部３５に入力され、合成され、逆フーリエ変換部３６において逆フーリエ変換される。数式で表すと、以下のとおりである。

このように位相限定相関法は、２つのフーリエ変換された画像をスペクトルごとに規格化してから合成し、逆フーリエ変換する手法である。

この位相限定相関法で得られるＰＯＣ値は、図５に示すように、画像間（基準画像Ｉ１のテンプレートＴＰと参照画像Ｉ２のウィンドウＷＤ）の移動量の座標に急峻な類似度ピークを持つことが知られており、画像マッチングにおけるロバスト性が高い。このため、より精度よく対応点探索を行うことが可能となる。

このような対応点探索によって求められた対応点から２次元オプティカルフローを求める手法では、輝度値の比較的急激に変化する所でも誤差が少なく、ノイズにも強い。
（ステップＳ１２；衝突有無判定候補領域の抽出処理）
図６は、所定の基準面における２次元オプティカルフローを説明するための図である。図６（Ａ）は、２次元オプティカルフローを示し、図６（Ｂ）は、前記基準面上の点Ａおよび点Ｂについて、進行方向ｚにおける時刻ｔの位置を示し、図６（Ｃ）は、前記基準面上の点Ａおよび点Ｂについて、進行方向ｚにおける時刻ｔ＋△ｔの位置を示す。図７は、所定の基準面上に存在する物体における２次元オプティカルフローを説明するための図である。図７（Ａ）は、２次元オプティカルフローを示し、図７（Ｂ）は、前記物体上の点Ａ’および点Ｂ’について、進行方向ｚにおける時刻ｔの位置を示し、図７（Ｃ）は、前記物体上の点Ａ’および点Ｂ’について、進行方向ｚにおける時刻ｔ＋△ｔの位置を示す。図８は、領域分割を行って候補領域の抽出を実行する場合における領域分割の仕方を説明するための図である。図８（Ａ）は、等面積で分割する場合における各領域を示し、図８（Ｂ）は、不等面積で分割する場合における各領域を示す。

一般に、移動体が移動方向を変えずに移動した場合（例えば、直進移動した場合）、静止物体の２次元オプティカルフローは、所定の消失点に向かうが、高さが異なる２点では、その向かう消失点が互いにずれる（異なる）。このため、例えば、図６に示す点Ａ、Ｂ、Ｃ、Ｄは、共通な所定の平面（例えば、道路面）上にある点であるため、それら各Ａ、Ｂ、Ｃ、Ｄの点２次元オプティカルフローは、図６に示すように、互いに共通な１つの消失点ＮＰ１に向かい、この消失点ＮＰ１から放射状に延びる。一方、前記所定の平面（この例では道路面）上に存在する物体上における前記所定の平面から或る高さにある点、例えば、図７に示す点Ａ’および点Ｃ’は、高さが異なって、高さ方向Ｙの成分が有り、これら点Ａ’および点Ｃ’の各２次元オプティカルフローは、図７に示すように、前記所定の平面上の点の２次元オプティカルフローにおける消失点ＮＰ１と異なる消失点（図略）に向かい、この消失点ＮＰ１とずれる。

したがって、候補領域抽出部２２は、予め設定された所定の基準面における２次元オプティカルフローと前記基準面上に存在する物体における２次元オプティカルフローとが互いに異なることから、２次元ＯＦ部２１によって算出された２次元オプティカルフローＯＦ_ｘｙ（ｔ＋△ｔ）に基づいて、候補領域ＤＡ_ｏｂ（ｔ＋△ｔ）を抽出することができる。

より具体的には、前記所定の基準面として道路面が用いられ、微小時間△ｔの間において移動体の速度がほぼ変化しないと仮定した場合、図６（Ｂ）および図６（Ｃ）に示すように、基準面（道路面）上の点の２次元オプティカルフローは、同じ移動量を持つとして算出されるが（ＯＦ_ｘｙ（ｔ＋△ｔ）−ＯＦ_ｘｙ（ｔ）＝０）、基準面（道路面）上に無い物体上の点の２次元オプティカルフローは、図７（Ｂ）および図７（Ｃ）に示すように、同じ移動量を持つとして算出されない（ＯＦ_ｘｙ（ｔ＋△ｔ）−ＯＦ_ｘｙ（ｔ）≠０）。

このため、候補領域抽出部２２は、予め設定された所定の画素に対し、時刻ｔ−△ｔの画像データと時刻ｔの画像データから２次元オプティカルフローＯＦ_ｘｙ（ｔ）を求めると共に、時刻ｔの画像データと時刻ｔ＋△ｔの画像データから２次元オプティカルフローＯＦ_ｘｙ（ｔ＋△ｔ）を求め、これら２次元オプティカルフローの差（ＯＦ_ｘｙ（ｔ＋△ｔ）−ＯＦ_ｘｙ（ｔ））を求め、この結果の絶対値が予め設定された所定の閾値Ｔｈ１以下であるか否かを判定することによって、候補領域ＤＡ_ｏｂ（ｔ＋△ｔ）を抽出することができる。前記結果の絶対値が所定の閾値Ｔｈ１以下である場合には、その画素は、候補領域ＤＡ_ｏｂ（ｔ＋△ｔ）内の画素ではないと判定され、前記結果の絶対値が所定の閾値Ｔｈ１を超える場合には、その画素は、候補領域ＤＡ_ｏｂ（ｔ＋△ｔ）内の画素であると判定される。

すなわち、候補領域抽出部２２は、第１画像内の所定の領域に対し、過去の２次元オプティカルフローと現在の２次元オプティカルフローとの差を求め、この求めた差の絶対値が所定の閾値Ｔｈ１以上であるか否かを判定することによって、候補領域ＤＡ_ｏｂ（ｔ＋△ｔ）を抽出することができる。

ここで、前記所定の閾値Ｔｈ１は、画像上の領域ごとに変更してもよい。画像の上部領域は、移動体から比較的遠い位置にある物体の画像であり、画像の下部領域は、移動体から比較的近い位置にある物体の画像である。このため、前記所定の閾値Ｔｈ１は、画像の下部領域から上部領域に行くに従って小さくなってもよい。このように前記所定の閾値Ｔｈ１を変更することによって、計測誤差に強く、ロバスト性が向上する。

また、候補領域抽出部２２によって候補領域ＤＡ_ｏｂ（ｔ＋△ｔ）内の画素であるか否かが判定される前記所定の画素は、画像データの全画素（計測点）であってもよく、また、図８に示すように、画像データを複数の画素を持った領域に分割し、各領域内の各画素（局所領域の計測点）であってもよい。すなわち、前記所定の画素は、所定の間隔で間引かれた画素であってもよい。図８には、各領域が矩形である場合が示されている。そして、この領域は、図８（Ａ）に示すように、互いに等面積であってもよいが、図８（Ｂ）に示すように、互いに異なる面積であってもよい。この場合において、各分割領域（局所領域）の面積は、画像の下部領域から上部領域に行くに従って狭くなってもよい。このように分割領域（局所領域）の面積を変更することによって、計測誤差に強く、ロバスト性が向上する。

なお、この判定手法によれば、判定対象の画素が、移動体の進行方向と同じ方向に進行しており等速運動している物体上の画素である場合や、遠距離に存在しており消失点付近に存在している画素である場合は、ＯＦ_ｘｙ（ｔ＋△ｔ）＝０、ＯＦ_ｘｙ（ｔ）＝０となることから、衝突有無判定候補領域ＤＡ_ｏｂ（ｔ＋△ｔ）として抽出されないが、この画素は、衝突の可能性のない物体を捉えた画素であるため、衝突有無判定候補領域ＤＡ_ｏｂ（ｔ＋△ｔ）として抽出されなくても問題とならない。

また、候補領域抽出部２２は、２次元ＯＦ部２１によって算出された２次元オプティカルフローＯＦ_ｘｙ（ｔ＋△ｔ）が道路面の２次元オプティカルフローであるか否かを判定することによって、衝突有無判定候補領域ＤＡ_ｏｂ（ｔ＋△ｔ）を抽出してもよい。より具体的には、候補領域抽出部２２は、２次元ＯＦ部２１によって算出された２次元オプティカルフローＯＦ_ｘｙ（ｔ＋△ｔ）と道路面の２次元オプティカルフローとの差を求め、この結果の絶対値が予め設定された所定の閾値Ｔｈ２以下であるか否かを判定することによって、候補領域ＤＡ_ｏｂ（ｔ＋△ｔ）を抽出することができる。この判定の結果、２次元ＯＦ部２１によって算出された２次元オプティカルフローＯＦ_ｘｙ（ｔ＋△ｔ）が道路面の２次元オプティカルフローである場合は、２次元ＯＦ部２１によって算出された２次元オプティカルフローＯＦ_ｘｙ（ｔ＋△ｔ）が候補領域ＤＡ_ｏｂ（ｔ＋△ｔ）内にないと判定され、２次元ＯＦ部２１によって算出された２次元オプティカルフローＯＦ_ｘｙ（ｔ＋△ｔ）が道路面の２次元オプティカルフローではない場合は、２次元ＯＦ部２１によって算出された２次元オプティカルフローＯＦ_ｘｙ（ｔ＋△ｔ）が候補領域ＤＡ_ｏｂ（ｔ＋△ｔ）内にあると判定される。

なお、前記所定の閾値Ｔｈ２は、上述の所定の閾値Ｔｈ１と同様に変化されてもよく、また、候補領域抽出部２２によって候補領域ＤＡ_ｏｂ（ｔ＋△ｔ）内の画素であるか否かが判定される前記所定の画素は、上述と同様に、画像データの全画素（計測点）であってもよく、また、画像データを複数の領域に分割し、各領域内の各画素（局所領域の計測点）であってもよい。

また、道路面の２次元オプティカルフローは、実際に道路面を予め計測しておきデータとして保持しておいてもよいが、例えば、次のように撮影カメラ２の設置条件から求めることもできる。

図９は、撮影カメラの位置と撮影条件との関係を説明するための図である。図９に示すように、焦点距離ｆで画角θである撮影カメラ２が、路面から高さｈの位置に、前進方向Ｚに対しピッチ方向の傾きφで移動体に取り付けられ、パン方向およびロール方向の傾きが実質的に０であるとする。このような場合では、画像上の座標ｙと道路面までの距離Ｄとの関係は、式９のように表され、したがって、２次元オプティカルフローの垂直成分△ｙは、式１０のように表され、そして、２次元オプティカルフローの水平成分△ｘは、式１１のように表される。
ｈ／Ｄ＝ｔａｎ（ｔａｎ^−１（ｙ／α）＋φ ・・・（９）
ＯＦ_ｙ（ｔ＋△ｔ）＝α（ｈ／（Ｄ−ｖ△ｔ）−ｈ／Ｄ） ・・・（１０）
ＯＦ_ｘ（ｔ＋△ｔ）＝（ｘ_ｔ／ｙ_ｔ＋αφ）ＯＦ_ｙ（ｔ＋△ｔ） ・・・（１１）
ここで、ｖは、移動体の速度であり、△ｔは、２つの画像間の撮影時間間隔であり、ｙは、撮影カメラ２からＺ方向に離れた路面上の点Ａを表す画像上の点の垂直成分であり、ｘは、撮影カメラ２からＺ方向に離れた路面上の点Ａを表す画像上の点の水平成分であり、αは、画素ピッチをｐとし画素数をＮとすると、α＝ｆ／ｐ＝Ｎ／（２θ）である。

この速度情報ｖは、移動体に取り付けられた移動体の速度を検出する速度センサによって取得されてもよく、また、後述の３次元オプティカルフローから算出されてもよい。
（ステップＳ１３；距離情報の取得処理）
距離情報取得部２３は、撮影カメラ２（すなわち、撮影カメラ２を搭載した移動体）から候補領域ＤＡ_ｏｂ（ｔ＋△ｔ）に撮像されている物体までの距離を、例えば、画像と外部の距離計測器とによって測定する。

図１０は、ＴＯＦ方式による距離計測器を説明するための図である。図１０に示す距離計測器４０は、例えば近赤外線を発光ダイオード等の発光部４１から照射し、それが物体で反射した反射光を発光部４１の近傍に配設された例えばＣＭＯＳセンサ等の受光部４２で受光し、この発光部４１で近赤外線を照射してから受光部４２でその反射光を受光するまでの時間をタイマ部４３で計測し、この時間（ＴＯＦ，time of flight）から物体までの距離を計測する装置である。距離計測器４０は、例えば、Ｃａｎｅｓｔａ社のレーザレンジファインダを挙げることができる。

このような距離計測器４０を用いることで、距離情報取得部２３は、候補領域抽出部２２によって抽出された候補領域ＤＡ_ｏｂ（ｔ＋△ｔ）に対し、撮影カメラ２（すなわち、撮影カメラ２を搭載した移動体）から候補領域ＤＡ_ｏｂ（ｔ＋△ｔ）に撮像されている物体までの距離情報Ｄ（ｔ）、距離情報Ｄ（ｔ＋△ｔ）をＴＯＦ方式の距離計測器４０によって取得することができる。

図１１は、距離計測器により計測される距離を説明するための図である。図１１（Ａ）は、移動体の上方からの図であり、図１１（Ｂ）は、距離とミリ波の検知角度との関係を示すグラフであり、図１１（Ｃ）は、３次元オプティカルフローを示す図である。また、図１１（Ａ）に示すように、例えばミリ波レーダ等の距離計測器の検知角度θ１と、撮影カメラ２の画角θ２との関係を予め取得しておくことにより、距離計測器によって得られた各位置と撮影カメラ２によって撮影された画像内の各位置との対応関係を特定することができる。このため、距離情報取得部２３は、候補領域抽出部２２によって抽出された候補領域ＤＡ_ｏｂ（ｔ＋△ｔ）に対し、撮影カメラ２（すなわち、撮影カメラ２を搭載した移動体）から候補領域ＤＡ_ｏｂ（ｔ＋△ｔ）に撮像されている物体までの距離情報Ｄ（ｔ）、距離情報Ｄ（ｔ＋△ｔ）をレーダ装置の距離計測器によって取得することができる。なお、これによって図１１（Ｃ）に示すように３次元オプティカルフローも求めることができる。

また、距離情報取得部２３は、候補領域抽出部２２によって抽出された候補領域ＤＡ_ｏｂ（ｔ＋△ｔ）に対し、撮影カメラ２（すなわち、撮影カメラ２を搭載した移動体）から候補領域ＤＡ_ｏｂ（ｔ＋△ｔ）に撮像されている物体までの距離情報Ｄ（ｔ）、距離情報Ｄ（ｔ＋△ｔ）をステレオカメラによるステレオ画像によって取得することができる。

すなわち、ステレオ画像から候補領域ＤＡ_ｏｂ（ｔ＋△ｔ）およびこれに対応する時刻ｔの領域の対応点がそれぞれ対応点探索処理によって探索され、これら探索された対応点の視差から距離情報Ｄ（ｔ＋△ｔ）および距離情報Ｄ（ｔ）が求められる。ステレオカメラ（一対の撮影カメラ２−１、２−２）の中央位置から物体までの距離と視差とは、三角測量の原理に基づいて一義的に対応付けられる。なお、対応点探索を行うに当たって、収差補正および平均化処理が実行されてもよい。この平均化処理は、各カメラの光軸方向および光軸周りの回転角および視点の高さを揃えた画像に変換する処理である。
（ステップＳ１４；３次元オプティカルフローの算出処理）
衝突有無判定部２４は、候補領域抽出部２２によって抽出された衝突有無判定候補領域ＤＡ_ｏｂ（ｔ＋△ｔ）に対し、２次元ＯＦ算出部２１によって算出された２次元オプティカルフローＯＦ_ｘｙ（ｔ＋△ｔ）および距離情報取得部２３によって取得された距離情報Ｄ（ｔ）、Ｄ（ｔ＋△ｔ）に基づいて、３次元オプティカルフローＯＦ_ｘｙｚ（ｔ＋△ｔ）を算出する。

２次元オプティカルフローは、画像中の注目点（所定の点）が２次元画像上でどの方向にどれだけ移動しているかを表す速度ベクトルであるが、３次元オプティカルフローは、画像に奥行き方向（移動体の進行方向）の成分を加えた実空間上での速度ベクトルである。

図１２は、３次元オプティカルフローの算出処理を説明するための図である。候補領域抽出部２２によって抽出された候補領域ＤＡ_ｏｂ（ｔ＋△ｔ）内における所定の画素（計測点）に対し、次の処理が実行され、３次元オプティカルフローＯＦ_ｘｙｚ（ｔ＋△ｔ）が算出される。

図１２に示すように、まず、時刻ｔにおける基準画像Ｉ１の点Ｐ_{ＢＡＳＥ，ｔ}（ｘ^１（ｔ）、ｙ^１（ｔ））に対応する、時刻ｔ＋△ｔにおける基準画像Ｉ１の点Ｐ_{ＢＡＳＥ，ｔ＋△ｔ}（ｘ^１（ｔ＋△ｔ）、ｙ^１（ｔ＋△ｔ））が求められ、時刻ｔにおける基準画像Ｉ１の点Ｐ_{ＢＡＳＥ，ｔ}（ｘ^１（ｔ）、ｙ^１（ｔ））に対応する、時刻ｔにおける参照画像Ｉ２の点Ｐ_{ＲＥＦ，ｔ}（ｘ^２（ｔ）、ｙ^２（ｔ））が求められる。次に、時刻ｔ＋△ｔにおける基準画像Ｉ１の点Ｐ_{ＢＡＳＥ，ｔ＋△ｔ}（ｘ^１（ｔ＋△ｔ）、ｙ^１（ｔ＋△ｔ））に対応する、時刻ｔ＋△ｔにおける参照画像Ｉ２の点Ｐ_{ＲＥＦ，ｔ＋△ｔ}（ｘ^２（ｔ＋△ｔ）、ｙ^２（ｔ＋△ｔ））が求められる。

ここで、各対応点の探索において、ピクセルレベル（画素レベル）で対応点が存在しない場合がある。このような場合では、ピクセルレベルで対応点を含む画素が４点探索され、これら４点の画素の画素値と対応点の画素値との比率に応じてこれら４点の画素から対応点までの距離を決定する補間処理を行うことによって、対応点の位置がサブピクセルレベルで探索される。

次に、時刻ｔにおける基準画像Ｉ１の点Ｐ_{ＢＡＳＥ，ｔ}（ｘ^１（ｔ）、ｙ^１（ｔ））と、これに対応する、時刻ｔにおける参照画像Ｉ２の点Ｐ_{ＲＥＦ，ｔ}（ｘ^２（ｔ）、ｙ^２（ｔ））とから、３次元再構成によって、計測点に対する時刻ｔの実空間における位置（Ｘ（ｔ）、Ｙ（ｔ）、Ｚ（ｔ））が求められ、時刻ｔ＋△ｔにおける基準画像Ｉ１の点Ｐ_{ＢＡＳＥ，ｔ＋△ｔ}（ｘ^１（ｔ＋△ｔ）、ｙ^１（ｔ＋△ｔ））と、これに対応する、時刻ｔ＋△ｔにおける参照画像Ｉ２の点Ｐ_{ＲＥＦ，ｔ＋△ｔ}（ｘ^２（ｔ＋△ｔ）、ｙ^２（ｔ＋△ｔ））とから、３次元再構成によって、計測点に対する時刻ｔ＋△ｔの実空間におけるステレオカメラを基準とした３次元位置（Ｘ（ｔ＋△ｔ）、Ｙ（ｔ＋△ｔ）、Ｚ（ｔ＋△ｔ））が求められる。

この３次元再構成は、例えば、いわゆるピンホールカメラモデルが用いられ、３次元空間上と２次元画像上の対応する点を行列で結びつけるキャリブレーションにより各カメラにおける射影行列Ｐ_１、Ｐ_２を求め、注目点の左右画像上の座標から最小二乗法を用いて算出することができる（^〜ｍ_１≒Ｐ_１・^〜Ｍ、^〜ｍ_２≒Ｐ_２・^〜Ｍ、ここで、^〜ｍ_１＝Ｐ_{ＢＡＳＥ，ｔ}（ｘ^１（ｔ）、ｙ^１（ｔ））、^〜ｍ_２＝Ｐ_{ＲＥＦ，ｔ}（ｘ^２（ｔ）、ｙ^２（ｔ））、ワールド座標^〜Ｍ（Ｘ、Ｙ、Ｚ））。なお、この３次元再構成は、いわゆる平行化を利用することにより直接演算によって行ってもよい。

そして、これら差（Ｘ（ｔ）−Ｘ（ｔ＋△ｔ）、Ｙ（ｔ）−Ｙ（ｔ＋△ｔ）、Ｚ（ｔ）−Ｚ（ｔ＋△ｔ））として、３次元オプティカルフローＯＦ_ｘｙｚ（ｔ＋△ｔ）が算出される。

また、衝突有無判定部２４は、次の処理によって、３次元オプティカルフローＯＦ_ｘｙｚ（ｔ＋△ｔ）を算出してもよい。２次元オプティカルフローＯＦ_ｘｙ（ｔ＋△ｔ）は、時刻ｔのタイミングで撮影された画像上の計測点（ｘ（ｔ）、ｙ（ｔ））が時刻ｔ＋△ｔのタイミングで撮影された画像上の対応点（ｘ（ｔ＋△ｔ）、ｙ（ｔ＋△ｔ））に移動していることを示している。一方、計測点（ｘ（ｔ）、ｙ（ｔ））と対応点（ｘ（ｔ＋△ｔ）、ｙ（ｔ＋△ｔ））との実空間における各位置（Ｘ（ｔ）、Ｙ（ｔ）、Ｚ（ｔ））、（Ｘ（ｔ＋△ｔ）、Ｙ（ｔ＋△ｔ）、Ｚ（ｔ＋△ｔ））は、距離計測器から特定することができる。このため、計測点（ｘ（ｔ）、ｙ（ｔ））の位置（Ｘ（ｔ）、Ｙ（ｔ）、Ｚ（ｔ））と対応点（ｘ（ｔ＋△ｔ）、ｙ（ｔ＋△ｔ））の位置（Ｘ（ｔ＋△ｔ）、Ｙ（ｔ＋△ｔ）、Ｚ（ｔ＋△ｔ））との差分ベクトルを求めることで、３次元オプティカルフローＯＦ_ｘｙｚ（ｔ＋△ｔ）が算出される。
（ステップＳ１５；衝突有無の判定処理）
衝突有無判定部２４は、候補領域抽出部２２によって抽出された候補領域ＤＡ_ｏｂ（ｔ＋△ｔ）に対し、この算出した３次元オプティカルフローＯＦ_ｘｙｚ（ｔ＋△ｔ）に基づいて衝突の可能性があるか否かを判定する。

図１３は、第１の衝突有無判定処理を説明するための図である。図１３において、移動体を含む立体、ここでは、移動体を囲む立方体が仮想され、まず、この立方体を構成する各平面（立体の境界面）に対し、３次元オプティカルフローＯＦ_ｘｙｚ（ｔ＋△ｔ）を含む線分が交差する交点Ｐ_{ＣＲＯＳＳ}（Ｘ，Ｙ，Ｚ）がそれぞれ求められ、各平面の各交点に対し、所定の範囲に含まれる平面があるか否かが判定される。この判定の結果、所定の範囲に含まれる平面が１つでも存在する場合には、候補領域抽出部２２によって抽出された候補領域ＤＡ_ｏｂ（ｔ＋△ｔ）は、衝突の可能性がある物体を撮影している領域であると判定される。

前記所定の範囲は、撮影カメラ２の位置、すなわち、移動体の位置を座標原点（０，０，０）として、Ｘ方向判定が−（（Ｗ＋α_{ＡＲＥＡ１}）／２）≦Ｐ_{ＣＲＯＳＳ}（Ｘ）≦（（Ｗ＋α_ＡＲＥＡ）／２）であり、Ｙ方向判定が−ｈ＋β_１≦Ｐ_{ＣＲＯＳＳ}（Ｙ）≦（Ｈ−ｈ）＋α_{ＡＲＥＡ２}であり、そして、Ｚ方向判定がＦ＋α_{ＡＲＥＡ３}≦Ｐ_{ＣＲＯＳＳ}（Ｚ）≦Ｂ＋α_{ＡＲＥＡ３}である。ここで、Ｗは、移動体の幅であり、α_{ＡＲＥＡ１}は、衝突をより確実に回避すべく移動体の幅Ｗに多少余裕を持たせた領域（危険判定領域）であり、Ｈは、移動体の高さであり、β_１は、道路面からの車輪の高さであり、α_{ＡＲＥＡ２}は、衝突をより確実に回避すべく移動体の高さＨに多少余裕を持たせた領域（危険判定領域）であり、ｈは、撮影カメラ２の設置高さであり、Ｆは、カメラ設置位置を基準としてフロント側（前方側）における移動体の長さであり、Ｂは、カメラ設置位置を基準としてリア側（後方側）における移動体の長さであり、そして、α_{ＡＲＥＡ３}は、衝突をより確実に回避すべく移動体の長さＦ、Ｂに多少余裕を持たせた領域（危険判定領域）である。

図１４は、第２の衝突有無判定処理を説明するための図である。図１４（Ａ）は、時刻ｔにおける衝突の可能性のある領域を示し、図１４（Ｂ）は、時刻ｔ＋△ｔにおける衝突の可能性のある領域を示す。衝突の可能性の或る領域は、移動体の速度および物体の速度が変化しない場合では、図１４に示すように、移動体の進行方向と移動体から物体へ向かう方向、すなわち、物体の３次元オプティカルフローＯＦ_ｘｙｚ（ｔ＋△ｔ）とのなす角θは、一定であり、変化しない。このため、衝突有無判定部２４は、候補領域抽出部２２によって抽出された候補領域ＤＡ_ｏｂ（ｔ＋△ｔ）に対し、移動体の進行方向と物体の３次元オプティカルフローＯＦ_ｘｙｚ（ｔ＋△ｔ）とから角θを求め、この角θを各フレーム間で比較することで、衝突の有無を判定してもよい。

また、衝突有無判定部２４は、第１の衝突有無判定処理で衝突の可能性があると判定された場合または第２の衝突有無判定処理で衝突の可能性があると判定された場合に加えて、物体と移動体との距離が所定の基準距離（所定の第２閾値）より短い場合に、この物体が衝突物体であると判定し、具体的には、移動体の速度を基に移動体の停止距離を算出し、得られた停止距離を基に基準距離を変更してもよい。

停止距離は、空走距離Ｅと制動距離Ｂとによって算出することができる。空走距離は、Ｅ＝ＶＴにより算出することができる。ここで、Ｔは、反応時間であり、Ｖは、移動体の速度である。

制動距離は、Ｂ＝Ｖ２／２ｕ・ｇにより算出することができる。ここで、ｕは、制動時の摩擦係数であり、ｇは重力加速度である。そして、これらの合計値（Ｓ＝Ｅ＋Ｂ）により停止距離Ｓを算出することができる。

すなわち、基準距離は、移動体の速度に応じて変更されてもよく、また、移動体の制動距離に応じて変更されてもよく。

また、衝突有無判定部２４は、物体の３次元オプティカルフローの大きさと、物体までの距離との比率を基に基準距離を変更してもよい。

例えば、移動体から停止距離以上に距離が離れていても、移動体に急速に向かってくるような物体は、停止距離Ｓ内に入った時点で判定するのでは衝突する可能性が高くなる。そこで、衝突有無判定部２４は、物体の計測点までの距離と、３次元オプティカルフローの大きさとの比率Ｒ（具体的には物体までのＸ，Ｚ成分の距離と、３次元オプティカルフローのＸ，Ｚ成分の大きさとの比率）を求め、この比率Ｒが予め定められた閾値以内の物体を衝突物体として判定する。

また、上記判定方法だけでなく、物体の大きさにより基準距離を変更しても良い。例えば、移動体は、小さい物体に対して回避行動を行うことは可能であるが、大きな物体に対しては回避行動を行うことが難しい。そこで、大きい物体に関しては、小さい物体よりも基準距離を長く設定する。ここで、物体の大きさは、３次元実空間上での物体までの距離と、当該物体の画像上での面積とを求め、これらの情報から算出すればよい。また、衝突有無判定部２４は、或る閾値を設け、この閾値よりも大きな物体に関しては予め定められた大きな物体用の基準距離を設定して衝突判定処理を行い、この閾値よりも小さな物体に関しては予め定められた小さな物体用の基準距離を設定して衝突判定処理を行っても良い。また、物体の大きさが大きくなるにつれて基準距離が大きくなるように連続的、または段階的に基準距離を設定してもよい。

また、衝突有無判定部２４は、衝突判定処理を時系列的に複数回実行することで得られた処理結果と、移動体の速度とを基に、物体の速度が、衝突を回避するように変化したか否かを判定し、得られた判定結果を基に物体が衝突物体であるか否かを判定してもよい。

例えば、衝突判定処理の結果から衝突の可能性があると判断された場合であって、物体の速度が変化しない場合、当該物体の搭乗者は、移動体の存在に気付いてない恐れがある。一方、物体の速度が減速した場合、当該物体の搭乗者は、移動体の存在に気付いていると考えられる。

そこで、衝突有無判定部２４は、複数フレーム期間毎に衝突判定処理を実行するものとし、複数フレーム期間において各物体の衝突判定処理の処理結果を保持しておき、一定回数以上衝突すると判定された物体の速度変化を求めると共に、移動体の速度変化を求め、両変化の比率Ｒｋ（＝物体の速度変化／移動体の速度変化）が所定の閾値よりも大きい場合、当該物体の搭乗者は、移動体の存在に気づいていると判定し、比率Ｒｋが所定の閾値より小さい場合、当該物体の搭乗者は、移動体の存在に気づいていないと判定すればよい。なお、物体の速度変化は、当該物体の３次元オプティカルフローから求めればよい。

このようなに周辺監視システムＳおよび周辺監視装置１では、候補領域抽出部２２によって候補領域ＤＡ_ｏｂが抽出され、この候補領域ＤＡ_ｏｂに対し、衝突有無判定部２４によって、移動体と候補領域ＤＡ_ｏｂに写し出されている物体との衝突判定が実行される。したがって、この周辺監視システムＳおよび周辺監視装置１では、画像全体の画素について衝突判定が実行されるものではなく、候補領域ＤＡ_ｏｂだけについて衝突判定が実行されるので、この周辺監視システムＳおよび周辺監視装置１は、より短い情報処理時間で移動体の周辺状況を監視することができる。

また、上述の周辺監視システムＳおよび周辺監視装置１では、候補領域抽出部２２は、上述したように、予め設定された所定値と現在の２次元オプティカルフローとの差を求めることによって、候補領域ＤＡ_ｏｂを抽出している。したがって、この周辺監視システムＳおよび周辺監視装置１では、所定の領域における２次元オプティカルフローを用いることによって、候補領域ＤＡ_ｏｂを抽出することができ、また、このような構成の周辺監視システムＳおよび周辺監視装置１が提供される。

ここで、前記予め設定された所定値は、過去の２次元オプティカルフローであってよく、過去の２次元オプティカルフローと現在の２次元オプティカルフローとを比較することによって、候補領域ＤＡ_ｏｂを抽出することができ、また、このような構成の周辺監視システムＳおよび周辺監視装置１が提供される。あるいは、前記予め設定された所定値は、時系列画像のいずれか１つの画像に写し出された道路面の２次元オプティカルフローであってよく、道路面が移動体と衝突の可能性のない物体であるので、この周辺監視システムＳおよび周辺監視装置１では、候補領域ＤＡ_ｏｂを漏れなく抽出することができる。

また、この道路面の２次元オプティカルフローは、撮影カメラ２の設置条件を用いて求められてよく、この周辺監視システムＳおよび周辺監視装置１では、より正確に道路面の２次元オプティカルフローを求めることができる。

また、候補領域抽出部２２は、画素ごとに候補領域ＤＡ_ｏｂの抽出を行ってよく、この周辺監視システムＳおよび周辺監視装置１では、画素ごとに候補領域ＤＡ_ｏｂの抽出を行うので、より詳細に候補領域ＤＡ_ｏｂの抽出を行うことができる。あるいは、候補領域抽出部２２は、分割領域ごとに候補領域ＤＡ_ｏｂの抽出を行ってよく、この周辺監視システムＳおよび周辺監視装置１では、分割領域ごとに候補領域ＤＡ_ｏｂの抽出を行うので、算出された２次元オプティカルフローに誤差を含む場合でも、候補領域ＤＡ_ｏｂの抽出判定における精度の低下を抑制することができる。あるいは、この場合では、分割領域ごとに候補領域ＤＡ_ｏｂの抽出を行うので、演算処理時間を短縮することが可能となる。

また、候補領域抽出部２２は、実空間において移動体の速度ベクトルと異なる速度ベクトルを持つ物体を写している領域を候補領域ＤＡ_ｏｂとして抽出してよく、この周辺監視システムＳおよび周辺監視装置１では、移動体の速度ベクトルと同じ速度ベクトルを持つ物体は衝突する可能性が無いため、候補領域ＤＡ_ｏｂを漏れなく抽出することができる。

また、距離情報取得部２３は、１組のステレオ画像間の対応点を対応点探索処理によって抽出することで、移動体と候補領域ＤＡ_ｏｂに写し出されている物体までの距離を取得してよく、この周辺監視システムＳおよび周辺監視装置１では、物体までの距離を計測する距離計測器を別途に備えることなく、画像から、移動体と候補領域に写し出されている物体までの距離を取得することができ、また、このような構成の周辺監視システムＳおよび周辺監視装置１が提供される。

また、上述の周辺監視システムＳおよび周辺監視装置１では、衝突有無判定部２４の衝突判定が３次元オプティカルフローによって行われるので、より正確に衝突判定を行うことができる。

また、衝突有無判定部２４の衝突判定は、移動体を含む仮想的な立体の境界面と３次元オプティカルフローを含む線分とが交差するか否かによって行われてよく、この周辺監視システムＳおよび周辺監視装置１では、３次元オプティカルフローを含む線分と立体の境界面とが交差するか否かという比較的簡易な情報処理で、衝突判定を行うことができる。

また、衝突有無判定部２４の衝突判定は、移動体の進行方向と３次元オプティカルフローとの成す角θおよび距離情報に基づいて行われてよく、この周辺監視システムＳおよび周辺監視装置１では、移動体の進行方向と３次元オプティカルフローとの成す角θおよび距離情報を用いた比較的簡易な情報処理で、衝突判定を行うことができる。

また、衝突有無判定部２４の衝突判定は、距離情報と所定の第２閾値とを比較することによって行われる場合に、移動体の速度に応じて前記所定の第２閾値が変更されてよく、この周辺監視システムＳおよび周辺監視装置１では、移動体の速度に応じて前記所定の第２閾値を変更するので、移動体から比較的離れた物体を適切に衝突しない物体と判定することができる。

また、衝突有無判定部２４の衝突判定は、距離情報と所定の第２閾値とを比較することによって行われる場合に、移動体の制動距離に応じて前記所定の第２閾値が変更されてよく、この周辺監視システムＳおよび周辺監視装置１では、移動体の制動距離に応じて前記所定の第２閾値を変更するので、移動体から比較的離れた物体を適切に衝突しない物体と判定することができる。

また、上述の周辺監視システムＳおよび周辺監視装置１では、判定結果出力部２５を備えているので、例えばドライバーなどのユーザに衝突の警告を行うことができ、ユーザに回避処置を取るように促すことができる。

また、上述の周辺監視システムＳおよび周辺監視装置１では、表示部１５を備えており、判定結果出力部２５は、衝突判定された場合に、表示部１５から警告表示を出力しているので、この警告表示によって、ユーザに衝突の警告を行うことができ、ユーザに回避処置を取るように促すことができる。

ここで、前記警告表示は、移動体と候補領域に写し出されている物体との距離を表す距離表示を含んでよく、この周辺監視システムＳおよび周辺監視装置１では、衝突までの距離をユーザに知らせることができる。前記警告表示は、移動体と候補領域に写し出されている物体とが衝突するまでの衝突時間を表す衝突時間表示を含んでよく、この周辺監視システムＳおよび周辺監視装置１では、衝突までの時間をユーザに知らせることができる。前記警告表示は、候補領域に写し出されている物体の大きさを表す大きさ表示を含んでよく、この周辺監視システムＳおよび周辺監視装置１では、物体の大きさをユーザに知らせることができる。

また、上述の周辺監視システムＳおよび周辺監視装置１では、音出力部をさらに備えてよく、そして、判定結果出力部２５は、衝突判定された場合に、前記音出力部から警告音を出力してよく、この周辺監視システムＳおよび周辺監視装置１では、警告音によって、ユーザに衝突の警告を行うことができ、ユーザに回避処置を取るように促すことができる。

図１５は、本実施形態における変形形態としての多重解像度戦略を説明するための図である。なお、上述の実施形態において、対応点探索を実行する場合に、多重解像度戦略が用いられても良い。多重解像度戦略を用いた対応点探索は、図１５に示すように、基準画像Ｉ１および参照画像Ｉ２の解像度を低解像度化し、この低解像度の基準画像Ｉ１および参照画像Ｉ２を用いて対応点探索を行い、その解（対応点探索結果）を伝播させながら解像度を元の解像度まで順次に上げる手法である。より具体的には、まず、第１処理として、例えば画素を間引く間引き処理によって基準画像Ｉ１および参照画像Ｉ２の各縮小画像が作成される（低解像度化）。次に、第２処理として、これら基準画像Ｉ１および参照画像Ｉ２の各縮小画像を用いて対応点探索が行われる。次に、第３処理として、この対応点探索によって探索された対応点を含む所定の範囲で参照画像Ｉ２の縮小画像が所定の倍率で拡大されると共に、注目点を含む前記所定の範囲で基準画像Ｉ１の縮小画像が所定の倍率で拡大される（解の伝播）。次に、第４処理として、この拡大された基準画像Ｉ１および参照画像Ｉ２を用いて対応点探索が行われる。次に、第５処理として、元の大きさ（サイズ、解像度）となるまで、第３処理および第４処理を繰り返す。

このような構成の周辺監視システムＳおよび周辺監視装置１では、多重解像度戦略による対応点探索を行う場合に、より精度よく対応点探索を行うことができる。

本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。

Ｓ 周辺監視システム
１ 周辺監視装置
２ 撮影カメラ
１２ ＣＰＵ
１５ 表示部
２１ ２次元オプティカルフロー算出部
２２ 候補領域抽出部
２３ 距離情報取得部
２４ 衝突有無判定部
２５ 判定結果出力部

Claims (21)

1. 移動体における周囲の画像を時系列に時系列画像として取得する画像取得部と、
   前記時系列画像における所定の第１時刻に取得された第１画像、および、前記時系列画像における前記所定の第１時刻と異なる第２時刻に取得された第２画像に基づいて、前記第１画像における所定の点に対する２次元オプティカルフローを求める２次元オプティカルフロー算出部と、
   前記２次元オプティカルフロー算出部で求められた２次元オプティカルフローに基づいて、前記移動体と衝突する可能性のある前記第１画像内の点または領域を候補領域として抽出する候補領域抽出部と、
   前記候補領域抽出部で抽出された候補領域に対し、前記移動体と前記候補領域に写し出されている物体までの距離を取得する距離情報取得部と、
   前記候補領域抽出部で抽出された候補領域に対し、前記距離情報取得部で取得した距離に基づいて、前記移動体と前記候補領域に写し出されている物体とが衝突するか否かを判定する衝突有無判定部とを備えること
   を特徴とする周辺監視装置。
2. 前記候補領域抽出部は、第１画像内の所定の領域に対し、予め設定された所定値と現在の２次元オプティカルフローとの差を求め、この求めた差が所定の第１閾値以上である場合に、前記第１画像内の前記所定の領域を候補領域として抽出すること
   を特徴とする請求項１に記載の周辺監視装置。
3. 前記候補領域抽出部における前記予め設定された所定値は、過去の２次元オプティカルフローであること
   を特徴とする請求項２に記載の周辺監視装置。
4. 前記候補領域抽出部における前記予め設定された所定値は、前記時系列画像のいずれか１つの画像に写し出された道路面の２次元オプティカルフローであること
   を特徴とする請求項２に記載の周辺監視装置。
5. 前記道路面の２次元オプティカルフローは、前記画像取得部の設置条件を用いて求められたものであること
   を特徴とする請求項４に記載の周辺監視装置。
6. 前記候補領域抽出部は、前記第１画像の画素ごとに前記候補領域の抽出を行うこと
   を特徴とする請求項１ないし請求項５のいずれか１項に記載の周辺監視装置。
7. 前記候補領域抽出部は、前記第１画像を複数の領域に分割領域として分割した場合における前記分割領域ごとに前記候補領域の抽出を行うこと
   を特徴とする請求項１ないし請求項５のいずれか１項に記載の周辺監視装置。
8. 前記候補領域抽出部は、実空間において前記移動体の速度ベクトルと異なる速度ベクトルを持つ物体を写している領域を前記候補領域として抽出すること
   を特徴とする請求項１に記載の周辺監視装置。
9. 前記画像取得部は、ステレオカメラであり、
   前記距離情報取得部は、前記画像所得部によって取得された１組のステレオ画像に基づいて、前記候補領域抽出部で抽出された候補領域における前記１組のステレオ画像間の対応点を対応点探索処理によって抽出することで、前記移動体と前記候補領域に写し出されている物体までの距離を取得すること
   を特徴とする請求項１ないし請求項８のいずれか１項に記載の周辺監視装置。
10. 前記衝突有無判定部は、
    前記候補領域抽出部で抽出された候補領域に対し、前記２次元オプティカルフロー算出部で算出された２次元オプティカルフローおよび前記距離情報取得部で取得した距離に基づいて、３次元オプティカルフローを求める３次元オプティカルフロー算出部と、
    前記候補領域抽出部で抽出された候補領域に対し、前記３次元オプティカルフロー算出部で求められた３次元オプティカルフローに基づいて、前記移動体と前記候補領域に写し出されている物体とが衝突するか否かを判定する判定部とを備えること
    を特徴とする請求項１ないし請求項９のいずれか１項に記載の周辺監視装置。
11. 前記衝突有無判定部の前記判定部は、前記移動体を含む立体を仮想した場合に、前記３次元オプティカルフロー算出部で求められた３次元オプティカルフローを含む線分と前記立体の境界面とが交差するか否かを判定することによって、前記移動体と前記候補領域に写し出されている物体とが衝突するか否かを判定すること
    を特徴とする請求項１０に記載の周辺監視装置。
12. 前記衝突有無判定部の前記判定部は、前記候補領域抽出部で抽出された候補領域に対し、前記移動体の進行方向と前記３次元オプティカルフロー算出部で求められた３次元オプティカルフローとの成す角および前記距離情報取得部で取得した距離に基づいて、前記移動体と前記候補領域に写し出されている物体とが衝突するか否かを判定すること
    を特徴とする請求項１０に記載の周辺監視装置。
13. 前記衝突有無判定部の前記判定部は、前記候補領域抽出部で抽出された候補領域に対し、前記距離情報取得部で取得した距離と予め設定された所定の第２閾値とを比較することによって、前記移動体と前記候補領域に写し出されている物体とが衝突するか否かを判定する場合に、前記移動体の速度に応じて前記所定の第２閾値を変更すること
    を特徴とする請求項１０ないし請求項１２のいずれか１項に記載の周辺監視装置。
14. 前記衝突有無判定部の前記判定部は、前記候補領域抽出部で抽出された候補領域に対し、前記距離情報取得部で取得した距離と予め設定された所定の第２閾値とを比較することによって、前記移動体と前記候補領域に写し出されている物体とが衝突するか否かを判定する場合に、前記移動体の制動距離に応じて前記所定の第２閾値を変更すること
    を特徴とする請求項１０ないし請求項１３のいずれか１項に記載の周辺監視装置。
15. 前記衝突有無判定部の判定結果を出力する判定結果出力部をさらに備えること
    を特徴とする請求項１ないし請求項１４のいずれか１項に記載の周辺監視装置。
16. 音を出力する音出力部をさらに備え、
    前記判定結果出力部は、前記衝突有無判定部によって前記移動体と前記候補領域に写し出されている物体とが衝突すると判定された場合に、前記音出力部から警告音を出力すること
    を特徴とする請求項１５に記載の周辺監視装置。
17. 表示を行う表示部をさらに備え、
    前記判定結果出力部は、前記衝突有無判定部によって前記移動体と前記候補領域に写し出されている物体とが衝突すると判定された場合に、前記表示部から警告表示を出力すること
    を特徴とする請求項１５に記載の周辺監視装置。
18. 前記警告表示は、前記移動体と前記候補領域に写し出されている物体との距離を表す距離表示を含むこと
    を特徴とする請求項１７に記載の周辺監視装置。
19. 前記警告表示は、前記移動体と前記候補領域に写し出されている物体とが衝突するまでの衝突時間を表す衝突時間表示を含むこと
    を特徴とする請求項１７または請求項１８に記載の周辺監視装置。
20. 前記警告表示は、前記候補領域に写し出されている物体の大きさを表す大きさ表示を含むこと
    を特徴とする請求項１７ないし請求項１９のいずれか１項に記載の周辺監視装置。
21. 移動体における周囲の画像を時系列に時系列画像として取得する画像取得工程と、
    前記時系列画像における所定の第１時刻に取得された第１画像、および、前記時系列画像における前記所定の第１時刻と異なる第２時刻に取得された第２画像に基づいて、前記第１画像における所定の点に対する２次元オプティカルフローを求める２次元オプティカルフロー算出工程と、
    前記２次元オプティカルフロー算出工程で求められた２次元オプティカルフローに基づいて、前記移動体と衝突する可能性のある前記第１画像内の点または領域を候補領域として抽出する候補領域抽出工程と、
    前記候補領域抽出工程で抽出された候補領域に対し、前記移動体と前記候補領域に写し出されている物体までの距離を取得する距離情報取得工程と、
    前記候補領域抽出工程で抽出された候補領域に対し、前記距離情報取得工程で取得した距離に基づいて、前記移動体と前記候補領域に写し出されている物体とが衝突するか否かを判定する衝突有無判定工程とを備えること
    を特徴とする周辺監視方法。