JP2010204805A - 周辺監視装置および該方法 - Google Patents

周辺監視装置および該方法 Download PDF

Info

Publication number
JP2010204805A
JP2010204805A JP2009047846A JP2009047846A JP2010204805A JP 2010204805 A JP2010204805 A JP 2010204805A JP 2009047846 A JP2009047846 A JP 2009047846A JP 2009047846 A JP2009047846 A JP 2009047846A JP 2010204805 A JP2010204805 A JP 2010204805A
Authority
JP
Japan
Prior art keywords
unit
moving
image
optical flow
candidate area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009047846A
Other languages
English (en)
Inventor
Hiroshi Yamato
宏 大和
Original Assignee
Konica Minolta Holdings Inc
コニカミノルタホールディングス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Holdings Inc, コニカミノルタホールディングス株式会社 filed Critical Konica Minolta Holdings Inc
Priority to JP2009047846A priority Critical patent/JP2010204805A/ja
Publication of JP2010204805A publication Critical patent/JP2010204805A/ja
Pending legal-status Critical Current

Links

Abstract

【課題】本発明は、より短い情報処理時間で移動体の周辺状況を監視し得る周辺監視装置および該方法を提供する。
【解決手段】本発明の周辺監視装置1は、移動体周囲の時系列画像を取得する撮影カメラ2と、前記時系列画像に基づいて所定の点に対する2次元オプティカルフローを求める2次元オプティカルフロー算出部21と、この2次元オプティカルフローに基づいて、前記移動体と衝突する可能性のある画像内の点または領域を候補領域として抽出する候補領域抽出部22と、この候補領域に対し、前記移動体と前記候補領域に写し出されている物体までの距離を取得する距離情報取得部23と、この候補領域に対し、距離情報取得部23で取得した距離に基づいて、移動体と候補領域に写し出されている物体とが衝突するか否かを判定する衝突有無判定部24とを備える。
【選択図】図2

Description

本発明は、例えば車両等の移動体に好適に搭載され、周辺の状況を監視する周辺監視装置および周辺監視方法に関する。

近年、例えば車両やロボット等のように、自走可能な移動体に搭載されたカメラによって、前記移動体の移動方向や側方に存在する物体の動きを解析し、前記移動体と前記物体との衝突可能性の有無を判定するシステムが研究、開発されている。

このようなシステムにおいて、前記解析から判定までの過程において、時系列画像から算出された2次元オプティカルフローを用いるシステムが知られている(例えば特許文献1ないし特許文献3)。このシステムでは、2次元オプティカルフローを用いているので、例えば、前記物体の移動速度が比較的遅い場合や、前記物体が前記移動体から比較的遠くに存在する場合では、前記移動体と前記物体との衝突可能性の有無を精度よく判定することが困難となってしまう。また、2次元オプティカルフローを用いているので、物体の移動方向を判定することも困難である。

そのため、前記解析から判定までの過程において、2次元オプティカルフローに代え、3次元オプティカルフローを用いることが考えられる。3次元オプティカルフローを用いる場合では、前記物体の3次元オプティカルフローから前記移動体の3次元オプティカルフローを除くことによって、3次元の実空間における前記物体の移動ベクトルを求めることができ、前記物体の移動方向などをより正確に求めることが可能となる。

このような3次元オプティカルフローを用いるシステムは、例えば、特許文献4に開示されている。この特許文献4に開示の移動体検出装置は、監視領域を含む景色を撮像し、一対の画像を時系列的に出力するステレオカメラと、前記一対の画像に基づいて、ステレオマッチングにより距離データを算出するステレオ画像処理部と、前記距離データに基づいて、前記監視領域内に存在する立体物を認識する認識部と、前記一対の画像のうちの一方の画像を処理対象として、時系列的に並ぶ複数の画像および前記距離データに基づいてオプティカルフローを検出する検出部と、前記距離データと前記オプティカルフローとに基づいて、前記立体の三次元移動成分フローを算出する算出部と、前記三次元移動性分フローに基づいて移動物体と静止物体とを判定する判定部とを有している。特許文献4には、この構成によって、オプティカルフローを的確に立体物に関連付けることができ、立体物が地面に対して移動しているか否かを示す立体物の三次元移動成分フローを精度よく算出することが可能となり、監視領域の中から移動物体を的確に算出することが可能となる、と記載されている。

特開2006−099155号公報 特開2006−107422号公報 特開平10−160952号公報 特開2006−134035号公報

ところで、前記解析から判定までの過程において、2次元オプティカルフローに代え、3次元オプティカルフローを用いる手法では、その情報処理に時間がかかってしまう。特に、走行中に衝突を回避するためには、衝突の有無を迅速に判定する必要があるため、情報処理時間の長短は、重要な点である。前記特許文献4に開示の移動体検出装置も画像全体に対して三次元移動成分フローを算出しているため、上記と同様に、情報処理に時間がかかってしまう。

本発明は、上述の事情に鑑みて為された発明であり、その目的は、より短い情報処理時間で移動体の周辺状況を監視することができる周辺監視装置および周辺監視方法を提供することである。

本発明者は、種々検討した結果、上記目的は、以下の本発明により達成されることを見出した。すなわち、本発明の一態様にかかる周辺監視装置は、移動体における周囲の画像を時系列に時系列画像として取得する画像取得部と、前記時系列画像における所定の第1時刻に取得された第1画像、および、前記時系列画像における前記所定の第1時刻と異なる第2時刻に取得された第2画像に基づいて、前記第1画像における所定の点に対する2次元オプティカルフローを求める2次元オプティカルフロー算出部と、前記2次元オプティカルフロー算出部で求められた2次元オプティカルフローに基づいて、前記移動体と衝突する可能性のある前記第1画像内の点または領域を候補領域として抽出する候補領域抽出部と、前記候補領域抽出部で抽出された候補領域に対し、前記移動体と前記候補領域に写し出されている物体までの距離を取得する距離情報取得部と、前記候補領域抽出部で抽出された候補領域に対し、前記距離情報取得部で取得した距離に基づいて、前記移動体と前記候補領域に写し出されている物体とが衝突するか否かを判定する衝突有無判定部とを備えることを特徴とする。

このような構成の周辺監視装置では、候補領域抽出部によって候補領域が抽出され、この候補領域に対し、衝突有無判定部によって、移動体と候補領域に写し出されている物体との衝突判定が実行される。したがって、この周辺監視装置では、画像全体の画素について衝突判定が実行されるものではなく、候補領域だけについて衝突判定が実行されるので、この周辺監視装置は、より短い情報処理時間で移動体の周辺状況を監視することができる。

また、上述の周辺監視装置において、前記候補領域抽出部は、第1画像内の所定の領域に対し、予め設定された所定値と現在の2次元オプティカルフローとの差を求め、この求めた差が所定の第1閾値以上である場合に、前記第1画像内の前記所定の領域を候補領域として抽出することを特徴とする。

2次元オプティカルフローは、画像中の注目点(所定の点)がどの方向にどれだけ移動しているかを表す速度ベクトルであるので、この構成によれば、第1画像内の所定の領域における2次元オプティカルフローを用いることによって、候補領域を抽出することができ、また、このような構成の周辺監視装置を提供することができる。

また、上述の周辺監視装置において、前記候補領域抽出部における前記予め設定された所定値は、過去の2次元オプティカルフローであることを特徴とする。

この構成によれば、第1画像内の所定の領域に対し、過去の2次元オプティカルフローと現在の2次元オプティカルフローとを比較することによって、候補領域を抽出することができ、また、このような構成の周辺監視装置を提供することができる。

また、上述の周辺監視装置において、前記候補領域抽出部における前記予め設定された所定値は、前記時系列画像のいずれか1つの画像に写し出された道路面の2次元オプティカルフローであることを特徴とする。

道路面は、移動体と衝突の可能性のない物体であるので、この構成によれば、候補領域を漏れなく抽出することができる。

また、上述の周辺監視装置において、前記道路面の2次元オプティカルフローは、前記画像取得部の設置条件を用いて求められたものであることを特徴とする。

この構成によれば、道路面の2次元オプティカルフローが画像取得部の設置条件を用いて求められるので、より正確に道路面の2次元オプティカルフローを求めることができる。

また、これら上述の周辺監視装置において、前記候補領域抽出部は、前記第1画像の画素ごとに前記候補領域の抽出を行うことを特徴とする。

この構成によれば、第1画像の画素ごとに候補領域の抽出を行うので、より詳細に候補領域の抽出を行うことができる。

また、これら上述の周辺監視装置において、前記候補領域抽出部は、前記第1画像を複数の領域に分割領域として分割した場合における前記分割領域ごとに前記候補領域の抽出を行うことを特徴とする。

この構成によれば、分割領域ごとに候補領域の抽出を行うので、算出された2次元オプティカルフローに誤差を含む場合でも、候補領域の抽出判定における精度の低下を抑制することができる。あるいは、この構成によれば、分割領域ごとに候補領域の抽出を行うので、演算処理時間を短縮することが可能となる。

また、上述の周辺監視装置において、前記候補領域抽出部は、実空間において前記移動体の速度ベクトルと異なる速度ベクトルを持つ物体を写している領域を前記候補領域として抽出することを特徴とする。

移動体の速度ベクトルと同じ速度ベクトルを持つ物体は、衝突する可能性が無いため、この構成によれば、候補領域を漏れなく抽出することができる。

また、これら上述の周辺監視装置において、前記画像取得部は、ステレオカメラであり、前記距離情報取得部は、前記画像所得部によって取得された1組のステレオ画像に基づいて、前記候補領域抽出部で抽出された候補領域における前記1組のステレオ画像間の対応点を対応点探索処理によって抽出することで、前記移動体と前記候補領域に写し出されている物体までの距離を取得することを特徴とする。

この構成によれば、物体までの距離を計測する距離計測器を別途に備えることなく、画像から、前記移動体と前記候補領域に写し出されている物体までの距離を取得することができ、また、このような構成の周辺監視装置を提供することができる。

また、これら上述の周辺監視装置において、前記衝突有無判定部は、前記候補領域抽出部で抽出された候補領域に対し、前記2次元オプティカルフロー算出部で算出された2次元オプティカルフローおよび前記距離情報取得部で取得した距離に基づいて、3次元オプティカルフローを求める3次元オプティカルフロー算出部と、前記候補領域抽出部で抽出された候補領域に対し、前記3次元オプティカルフロー算出部で求められた3次元オプティカルフローに基づいて、前記移動体と前記候補領域に写し出されている物体とが衝突するか否かを判定する判定部とを備えることを特徴とする。

衝突判定が3次元オプティカルフローによって行われるので、より正確に衝突判定を行うことができる。

また、上述の周辺監視装置において、前記衝突有無判定部の前記判定部は、前記移動体を含む立体を仮想した場合に、前記3次元オプティカルフロー算出部で求められた3次元オプティカルフローを含む線分と前記立体の境界面とが交差するか否かを判定することによって、前記移動体と前記候補領域に写し出されている物体とが衝突するか否かを判定することを特徴とする。

この構成によれば、3次元オプティカルフローを含む線分と立体の境界面とが交差するか否かという比較的簡易な情報処理で、衝突判定を行うことができる。

また、上述の周辺監視装置において、前記衝突有無判定部の前記判定部は、前記候補領域抽出部で抽出された候補領域に対し、前記移動体の進行方向と前記3次元オプティカルフロー算出部で求められた3次元オプティカルフローとの成す角および前記距離情報取得部で取得した距離に基づいて、前記移動体と前記候補領域に写し出されている物体とが衝突するか否かを判定することを特徴とする。

この構成によれば、移動体の進行方向と3次元オプティカルフローとの成す角および距離を用いた比較的簡易な情報処理で、衝突判定を行うことができる。

また、これら上述の周辺監視装置において、前記衝突有無判定部の前記判定部は、前記候補領域抽出部で抽出された候補領域に対し、前記距離情報取得部で取得した距離と予め設定された所定の第2閾値とを比較することによって、前記移動体と前記候補領域に写し出されている物体とが衝突するか否かを判定する場合に、前記移動体の速度に応じて前記所定の第2閾値を変更することを特徴とする。

この構成によれば、移動体の速度に応じて所定の第2閾値を変更するので、移動体から比較的離れた物体を適切に衝突しない物体と判定することができる。

また、これら上述の周辺監視装置において、前記衝突有無判定部の前記判定部は、前記候補領域抽出部で抽出された候補領域に対し、前記距離情報取得部で取得した距離と予め設定された所定の第2閾値とを比較することによって、前記移動体と前記候補領域に写し出されている物体とが衝突するか否かを判定する場合に、前記移動体の制動距離に応じて前記所定の第2閾値を変更することを特徴とする。

この構成によれば、移動体の制動距離に応じて所定の第2閾値を変更するので、移動体から比較的離れた物体を適切に衝突しない物体と判定することができる。

また、これら上述の周辺監視装置において、前記衝突有無判定部の判定結果を出力する判定結果出力部をさらに備えることを特徴とする。

この構成によれば、判定結果出力部を備えるので、例えばドライバーなどのユーザに衝突の警告を行うことができ、ユーザに回避処置を取るように促すことができる。

また、上述の周辺監視装置において、音を出力する音出力部をさらに備え、前記判定結果出力部は、前記衝突有無判定部によって前記移動体と前記候補領域に写し出されている物体とが衝突すると判定された場合に、前記音出力部から警告音を出力することを特徴とする。

この構成によれば、警告音によって、ユーザに衝突の警告を行うことができ、ユーザに回避処置を取るように促すことができる。

また、上述の周辺監視装置において、表示を行う表示部をさらに備え、前記判定結果出力部は、前記衝突有無判定部によって前記移動体と前記候補領域に写し出されている物体とが衝突すると判定された場合に、前記表示部から警告表示を出力することを特徴とする。

この構成によれば、警告表示によって、ユーザに衝突の警告を行うことができ、ユーザに回避処置を取るように促すことができる。

また、上述の周辺監視装置において、前記警告表示は、前記移動体と前記候補領域に写し出されている物体との距離を表す距離表示を含むことを特徴とする。

この構成によれば、衝突までの距離をユーザに知らせることができる。

また、これら上述の周辺監視装置において、前記警告表示は、前記移動体と前記候補領域に写し出されている物体とが衝突するまでの衝突時間を表す衝突時間表示を含むことを特徴とする。

この構成によれば、衝突までの時間をユーザに知らせることができる。

また、これら上述の周辺監視装置において、前記警告表示は、前記候補領域に写し出されている物体の大きさを表す大きさ表示を含むことを特徴とする。

この構成によれば、物体の大きさをユーザに知らせることができる。

そして、本発明の他の一態様にかかる周辺監視方法は、移動体における周囲の画像を時系列に時系列画像として取得する画像取得工程と、前記時系列画像における所定の第1時刻に取得された第1画像、および、前記時系列画像における前記所定の第1時刻と異なる第2時刻に取得された第2画像に基づいて、前記第1画像における所定の点に対する2次元オプティカルフローを求める2次元オプティカルフロー算出工程と、前記2次元オプティカルフロー算出工程で求められた2次元オプティカルフローに基づいて、前記移動体と衝突する可能性のある前記第1画像内の点または領域を候補領域として抽出する候補領域抽出工程と、前記候補領域抽出工程で抽出された候補領域に対し、前記移動体と前記候補領域に写し出されている物体までの距離を取得する距離情報取得工程と、前記候補領域抽出工程で抽出された候補領域に対し、前記距離情報取得工程で取得した距離に基づいて、前記移動体と前記候補領域に写し出されている物体とが衝突するか否かを判定する衝突有無判定工程とを備えることを特徴とする。

このような構成の周辺監視方法では、候補領域抽出工程によって候補領域が抽出され、この候補領域に対し、衝突有無判定工程によって、移動体と候補領域に写し出されている物体との衝突判定が実行される。したがって、この周辺監視方法では、画像全体の画素について衝突判定が実行されるものではなく、候補領域だけについて衝突判定が実行されるので、この周辺監視方法は、より短い情報処理時間で移動体の周辺状況を監視することができる。

本発明にかかる周辺監視装置および周辺監視方法は、より短い情報処理時間で移動体の周辺状況を監視することができる。

本発明の一実施形態における周辺監視システムの概略構成を示す図である。 本実施形態の周辺監視システムにおける周辺監視装置の構成を示すブロック図である。 本実施形態の周辺監視システムにおける周辺監視装置の動作を示すフローチャートである。 位相限定相関法のブロック図である。 POC値の一例を示すグラフである。 所定の基準面における2次元オプティカルフローを説明するための図である。 所定の基準面上に存在する物体における2次元オプティカルフローを説明するための図である。 領域分割を行って候補領域の抽出を実行する場合における領域分割の仕方を説明するための図である。 撮影カメラの位置と撮影条件との関係を説明するための図である。 TOF方式による距離計測器を説明するための図である。 距離計測器により計測される距離を説明するための図である。 3次元オプティカルフローの算出処理を説明するための図である。 第1の衝突有無判定処理を説明するための図である。 第2の衝突有無判定処理を説明するための図である。 本実施形態における変形形態としての多重解像度戦略を説明するための図である。

以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、その説明を省略する。

図1は、本発明の一実施形態における周辺監視システムの概略構成を示す図である。図2は、本実施形態の周辺監視システムにおける周辺監視装置の構成を示すブロック図である。

周辺監視システムSは、例えば車両やロボット等の自走可能な移動体に好適に搭載され、1または複数の撮影カメラ2によって、周辺の状況を監視するための装置である。周辺監視システムは、例えば、図1に示すように、1または複数の撮影カメラ2と、移動体の移動方向や側方等の移動体の周辺に存在する物体の動きを解析し、前記移動体と前記物体との衝突可能性の有無を判定する周辺監視装置1とを備えて構成される。図1に示す例では、周辺監視システムSは、1組(1対)の画像から成るステレオ画像を得るべく、1組(2台)の撮影カメラ2−1、2−2から成るステレオカメラを備えている。

なお、本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。

撮影カメラ2は、周辺監視を行うために、移動体における周囲の画像を時系列に時系列画像として取得する装置である。例えば、図1に示すように、撮影カメラ2−1、2−2は、予め定める基線間隔だけ離間して、かつそれらの各光軸が互いに平行となるように、移動体に配設される。このように撮影カメラ2−1、2−2は、互いに異なる位置から周辺の物体Obを撮影できるように配置されている。なお、図1に示す例では、被写体である周辺物体Obとして、移動体Ob−1、Ob−2が図1に図示されている。

撮影カメラ2は、周辺物体Obを撮影し、画像を取得すると、この撮影された画像(画像データ)を周辺監視装置1へ伝送路を介して送信する。なお、その通信方式は、有線方式であっても無線方式あってもよい。図1に示すように、撮影カメラ2がステレオカメラである場合には、撮影カメラ2−1、2−2は、周辺監視装置1の制御によって、あるいは、撮影カメラ2−1、2−2間の制御によって、周辺物体Obを同じタイミングで(同期して)撮影し、これら同じタイミングで撮影された左右一組(左右一対)の画像(ステレオ画像)を周辺監視装置1へ出力する。これら左右一組の画像に対し対応点探索を行う場合では、これら左右一組の画像のうちの一方が対応点探索を行うための基準画像とされ、他方がその参照画像とされる。例えば、撮影カメラ2−1で撮影された画像が基準画像とされ、撮影カメラ2−2で撮影された画像が参照画像とされる。また、撮影カメラ2は、所定の時間間隔(サンプリングレート)で画像を取得することによって時系列画像を生成することができるが、これら時系列画像に対し対応点探索を行う場合では、時系列画像における、或る時刻t(所定の第1時刻t)に撮影された画像が基準画像とされ、当該時刻tと異なる時刻t+△t(第2時刻t+△t)に撮影された画像が参照画像とされる。

なお、撮影カメラ2は、3台以上であっても良く、また1台であっても良い。撮影カメラ2が3台以上である場合では、そのうちの1台の撮影カメラ2によって撮影された画像が基準画像とされ、他の撮影カメラ2によって撮影された画像が参照画像とされる。また撮影カメラ2が1台である場合では、その撮影カメラ2によって撮影された時系列画像のうち所定のタイミング(時点)で撮影された画像が基準画像とされ、前記所定のタイミングと異なるタイミングで撮影された画像が参照画像とされる。

周辺監視装置1は、撮影カメラ2によって取得された時系列画像に基づいて、移動体の周辺に存在する物体の動きを解析し、前記移動体と前記物体との衝突可能性の有無を判定する装置である。周辺監視装置1は、例えば、本実施形態では、図2に示すように、本発明の一実施形態にかかる周辺監視プログラムを実装することによってコンピュータ等の情報処理装置によって実現される。周辺監視プログラムは、本発明の一実施形態にかかる周辺監視方法をプログラミングすることによって作成される。なお、周辺監視装置1は、後述の諸機能を備えた、周辺監視システムS用に製作された専用の装置であってもよい。周辺監視装置1は、図2に示すように、例えば、中央処理部(CPU、Central Processing Unit)12と、記憶部13と、例えば液晶ディスプレイや有機ELディスプレイ等の表示部15と、例えば起動指示やデータ入力を行うための入力部16と、例えばインターフェースカード等の通信部17とを備えて構成される。

記憶部13は、例えば、ハードディスクドライブ(HDD、Hard Disk Drive)13aおよびRAM(Random Access Memory)やROM(Read Only Memory)等の半導体メモリ13b等の複数の記憶媒体を備えている。また、破線で示すように、周辺監視装置1は、必要に応じてメディアドライブ14を備えてもよい。メディアドライブ14は、例えば、CD−ROM(Compact Disc Read Only Memory)、DVD(Digital Versatile Disk)、フレキシブルディスクおよびメモリカード等の可搬性の記録媒体からその中に記録されている情報(データ)を読み出すことができる。なお、この周辺監視装置1に対して供給される情報(周辺監視プログラムを含む)は、前記記録媒体を介して供給される場合に限定されず、ローカルエリアネットワーク(LAN、Local Area Network)やインターネット等のネットワークを介して供給されてもよい。

図1および図2に示す例では、撮影カメラ2は、通信部17に通信可能に接続されており、撮影カメラ2で撮影された画像(画像データ)は、通信部17を介してCPU12に入力される。

CPU12は、これら記憶部13、表示部15、入力部16および通信部17を当該機能に応じて制御することによって、周辺監視装置1全体を制御するものである。CPU12は、図2に示すように、機能的に、2次元オプティカルフロー算出部(以下、「2次元OF算出部」と略記する。)21と、候補領域抽出部22と、距離情報取得部23と、衝突有無判定部24と判定結果出力部25とを備えて構成される。

2次元OF部21は、時系列画像における所定の第1時刻tに取得された第1画像、および、前記時系列画像における所定の第1時刻tと異なる第2時刻t+△tに取得された第2画像に基づいて、前記第1画像における所定の点に対する2次元オプティカルフローを求めるものである。

候補領域抽出部22は、2次元OF算出部21で求められた2次元オプティカルフローに基づいて、移動体と衝突する可能性のある第1画像内の点または領域を候補領域として抽出するものである。より具体的には、例えば、候補領域抽出部22は、第1画像内の所定の領域に対し、予め設定された所定値と現在の2次元オプティカルフローとの差を求め、この求めた差が予め設定された所定の第1閾値以上である場合に、第1画像内の所定の領域を候補領域として抽出してよい。そして、この予め設定された所定値は、例えば、過去の2次元オプティカルフローであってよい。また例えば、この予め設定された所定値は、時系列画像のいずれか1つの画像に写し出された道路面の2次元オプティカルフローであってもよい。そして、この道路面の2次元オプティカルフローは、撮影カメラ2の設置条件を用いて求められたものであってよい。また例えば、候補領域抽出部22は、実空間において移動体の速度ベクトルと異なる速度ベクトルを持つ物体を写している領域を候補領域として抽出してもよい。また、候補領域抽出部22は、例えば、第1画像の画素ごとに候補領域の抽出を行ってもよく、また例えば、候補領域抽出部22は、第1画像を複数の領域に分割領域として分割した場合におけるこれら分割領域ごとに候補領域の抽出を行ってもよい。

距離情報取得部23は、候補領域抽出部22で抽出された候補領域に対し、移動体と候補領域に写し出されている物体までの距離を取得するものである。本実施形態では、撮影カメラ2として左右一対の撮影カメラ2−1、2−2から成るステレオカメラが用いられていることから、距離情報取得部23は、例えば、このステレオカメラ2−1、2−2によって取得された1組のステレオ画像に基づいて、候補領域抽出部22で抽出された候補領域における前記1組のステレオ画像間の対応点を対応点探索処理によって抽出することで、移動体と候補領域に写し出されている物体までの距離を取得する。

衝突有無判定部24は、候補領域抽出部22で抽出された候補領域に対し、距離情報取得部23で取得した距離に基づいて、移動体と候補領域に写し出されている物体とが衝突するか否かを判定するものである。衝突有無判定部24は、例えば、候補領域抽出部22で抽出された候補領域に対し、2次元オプティカルフロー算出部21で算出された2次元オプティカルフローおよび距離情報取得部22で取得した距離に基づいて、3次元オプティカルフローを求める図略の3次元オプティカルフロー算出部と、候補領域抽出部22で抽出された候補領域に対し、前記3次元オプティカルフロー算出部で求められた3次元オプティカルフローに基づいて、移動体と候補領域に写し出されている物体とが衝突するか否かを判定する図略の判定部とを備えて構成される。この衝突有無判定部24の判定部は、例えば、移動体を含む立体を仮想した場合に、前記3次元オプティカルフロー算出部で求められた3次元オプティカルフローを含む線分と立体の境界面とが交差するか否かを判定することによって、移動体と候補領域に写し出されている物体とが衝突するか否かを判定してよい。また例えば、この衝突有無判定部24の判定部は、候補領域抽出部22で抽出された候補領域に対し、移動体の進行方向と前記3次元オプティカルフロー算出部で求められた3次元オプティカルフローとの成す角および距離情報取得部23で取得した距離に基づいて、移動体と候補領域に写し出されている物体とが衝突するか否かを判定してもよい。また例えば、この衝突有無判定部24の判定部は、候補領域抽出部22で抽出された候補領域に対し、距離情報取得部23で取得した距離と予め設定された所定の第2閾値とを比較することによって、移動体と候補領域に写し出されている物体とが衝突するか否かを判定する場合に、移動体の速度に応じて前記所定の第2閾値を変更してもよい。また例えば、この衝突有無判定部24の判定部は、候補領域抽出部22で抽出された候補領域に対し、距離情報取得部23で取得した距離と予め設定された所定の第2閾値とを比較することによって、移動体と候補領域に写し出されている物体とが衝突するか否かを判定する場合に、移動体の制動距離に応じて前記所定の第2閾値を変更してもよい。

判定結果出力部25は、衝突有無判定部24の判定結果を表示部15に出力するものである。判定結果出力部25は、例えば、衝突有無判定部24によって移動体と候補領域に写し出されている物体とが衝突すると判定された場合に、表示部15から警告表示を出力してよい。この警告表示は、ユーザに衝突の危険を知らせる表示であり、その旨を表すイラストやその旨を表すテキスト等である。また、この警告表示には、移動体と候補領域に写し出されている物体との距離を表す距離表示が含まれてもよい。あるいは、この警告表示には、移動体と候補領域に写し出されている物体とが衝突するまでの衝突時間を表す衝突時間表示が含まれてもよい。あるいは、警告表示には、候補領域に写し出されている物体の大きさを表す大きさ表示が含まれてもよい。

なお、周辺監視装置1は、表示部15に代え、あるいは表示部15に加えて、音を出力する音出力部を備えてもよく、この場合に、判定結果出力部25は、衝突有無判定部24によって移動体と候補領域に写し出されている物体とが衝突すると判定された場合に、前記音出力部から警告音を出力してもよい。警告音は、ユーザに衝突の危険を知らせる表示であり、その旨を表す連続音や断続音等や、その旨を表す音声等である。

次に、本実施形態の動作について説明する。図3は、本実施形態の周辺監視システムにおける周辺監視装置の動作を示すフローチャートである。

周辺監視システムSが起動され、その動作が開始されると、撮影カメラ2−1、2−2によってタイミングを合わせて(同期して)周辺物体Obが所定の時間間隔で順次にそれぞれ撮影される。したがって、撮影カメラ2−1は、所定のフレーム周期で順次に周辺を撮影し、これによって周辺物体Obの時系列画像(時系列画像データ)を取得すると共に、撮影カメラ2−2は、所定のフレーム周期で順次に周辺を撮影し、これによって周辺物体Obの時系列画像(時系列画像データ)を取得する。そして、それぞれ撮影された各画像(各画像データ)は、順次に、各撮影カメラ2−1、2−2から通信部17を介して周辺監視装置1に入力され、周辺監視装置1のCPU12に通知され、CPU12によって各画像間の周辺監視処理が開始される。

この周辺監視処理において、まず、図3に示すように、ステップ(工程、処理)S11では、2次元OF部21は、撮影カメラ2によって取得された時間的に異なる少なくとも2つの時系列画像データI(t)、I(t+△t)に基づいて2次元オプティカルフローOFxy(t+△t)を算出し、この算出した2次元オプティカルフローOFxy(t+△t)を候補領域抽出部22および衝突有無判定部24へそれぞれ通知する。前記時系列画像データI(t)、I(t+△t)は、撮影カメラ2−1、2−2によって取得された時系列画像I(t)、I(t)、I(t+△t)、I(t+△t)の何れであってもよい。すなわち、前記時系列画像データI(t)、I(t+△t)は、撮影カメラ2−1によって取得された時系列画像I(t)、I(t+△t)であってもよく、また、撮影カメラ2−2によって取得された時系列画像I(t)、I(t+△t)であってもよい。ここでは、撮影カメラ2−1によって取得された時系列画像I(t)、I(t+△t)が用いられる。なお、右上付き添え字の1は、撮影カメラ2−1を表し、右上付き添え字の2は、撮影カメラ2−2を表し、他の符号においても同様である。

続いて、ステップS12では、候補領域抽出部22は、2次元OF部21によって算出された2次元オプティカルフローOFxy(t+△t)に基づいて、衝突有無判定部24によって衝突の可能性の有無を判定すべき点または領域を候補領域(衝突有無判定候補領域)DAob(t+△t)として抽出し、この抽出した候補領域DAob(t+△t)を距離情報取得部23および衝突有無判定部24へそれぞれ通知する。

続いて、ステップS13では、距離情報取得部23は、候補領域抽出部22によって抽出された候補領域DAob(t+△t)に対し、撮影カメラ2(すなわち、撮影カメラ2を搭載した移動体)から候補領域DAob(t+△t)に撮像されている物体までの距離を距離情報D(t)として時刻tについて取得し(S131)、そして、時刻t+△tについて距離情報D(t+△t)取得し(S132)、これら距離情報D(t)、D(t+△t)を衝突有無判定部24へ通知する。

続いて、ステップS14では、衝突有無判定部24は、候補領域抽出部22によって抽出された候補領域DAob(t+△t)に対し、2次元OF算出部21によって算出された2次元オプティカルフローOFxy(t+△t)および距離情報取得部23によって取得された距離情報D(t)、D(t+△t)に基づいて、3次元オプティカルフローOFxyz(t+△t)を算出する。

続いて、ステップS15では、衝突有無判定部24は、候補領域抽出部22によって抽出された候補領域DAob(t+△t)に対し、この算出した3次元オプティカルフローOFxyz(t+△t)に基づいて衝突の可能性があるか否かを判定する。

そして、前記判定の結果、衝突の可能性があると判定された場合には、衝突有無判定部24は、その旨を判定結果出力部25へ通知し、判定結果出力部25は、衝突の可能性がある旨を表示部15へ出力する。ここで、表示部15には、衝突の可能性がある物体までの距離、その大きさおよび衝突までの時間等が表示される。なお、判定結果出力部25は、ブザー等によって警笛を鳴らせてもよい。

次に、上記各ステップをより具体的に説明する。
(ステップS11;2次元オプティカルフローの算出処理)
2次元OF部21は、撮影カメラ2によって取得された時間的に異なる少なくとも2つの時系列画像データI(t)、I(t+△t)に基づいて、例えば、勾配法(gradient-based method)によって2次元オプティカルフローOFxy(t+△t)を算出する。

勾配法は、物体上の点の明るさが移動後も変化しないという仮定から、画像の時空間微分の拘束方程式を求め、この拘束方程式から2次元オプティカルフローを求める手法である。

画像上の点r(x、y)の時刻tにおける輝度(輝度値)をI(x、y、t)とし、時刻t+△tにおいて対象物体がu=(△x、△y)だけ移動したとすると、微小時間△tでは、前記仮定から次の式1が成り立つ。
I(x、y、t)=I(x+△x、y+△y、t+△t) ・・・(1)
この式1の右辺をテイラー展開(Taylor展開)し、高次の項を無視し、両辺を△tで割って△t→0とすることによって、式1から、拘束方程式と呼ばれる次の式2が求まる。
(▽I)u+I=0 ・・・(2)
ここで、▽I=(dI/dx、dI/dy)であり、I=dI/dtである。

そして、この拘束方程式は、一画素につき1つの方程式しか得られないので、一意に2次元オプティカルフローを求めることができない。そのため、さらに付加条件を設けることによって、拘束方程式から2次元オプティカルフローが求められ、勾配法には、この付加条件の付け方によってローカル法とグローバル法とがある。

前記ローカル法では、“或る注目画素の近傍では動きは滑らかである”という付加条件が設けられ、注目画素近傍の拘束方程式からその最小2乗法の解を求めることによって2次元オプティカルフローが求められる。すなわち、式3によって表される2乗誤差Eを局所領域で最小とするuを重回帰分析によって求めることによって2次元オプティカルフローが求められる。
E=Σ((▽I)u+I) ・・・(3)
ここで、Σは、局所領域内の点について和を求める。

また、前記グローバル法では、“物体内の動きは滑らかに変化する”という条件が設けられ、発生するオプティカルフローの画像上での全変化量を最小にする拘束条件の繰り返し計算によって、2次元オプティカルフローが求められる。

この勾配法を用いた2次元オプティカルフローの算出方法では、このような技術的に確立された一般的な手法を用いることで、比較的精度よく、より確実に対応点を求めることができる。また、この勾配法を用いた2次元オプティカルフローの算出方法では、次に示す手法のように、対応点探索を行う必要がなく、情報処理時間をより短くすることができる。

また、2次元OF部21は、撮影カメラ2によって取得された時間的に異なる少なくとも2つの時系列画像データI(t)、I(t+△t)において、1または複数の画素P(x(t)、y(t))に対し、対応点探索処理によって対応点P(x(t+△t)、y(t+△t))を探索し、式4のように対応点同士の差△P(△x、△y)を求めることによって、2次元オプティカルフローOFxy(t+△t)(=△P(△x、△y))を算出してもよい。
△P(△x、△y)=P(x(t+△t)−x(t)、y(t+△t)−y(t)) ・・・(4)
ここで、iは、対応点探索を行う個数を示し、例えば、仕様等に基づき適宜に設定される。例えば、画像の全画素に対して対応点探索が行われてもよいし、数画素ごとの画素に対して対応点探索が行われてもよい。また、画素P(x(t)、y(t))およびこの対応点P(x(t+△t)、y(t+△t))は、それらの差分を求める前に、例えば公知の手法によって、撮影カメラ2の光学系における収差を補正する収差補正処理が施されてもよい。

そして、基準画像I1の注目点に対応する参照画像I2の対応点の対応点探索は、次のように実行される。まず、基準画像I1で、注目点を中心とする縦横方向にそれぞれP画素×Q画素の大きさを持つテンプレートTPが設定され、同様に、参照画像I2にも同じ大きさを持つウィンドウWDが設定される。この場合に、ウィンドウWDは、参照画像I2において、基準画像I1におけるテンプレートTPと同じ位置から始めて、所定の方向(例えばステレオ画像では基線長方向(エピポーラ線方向)に或る範囲(0<p<pmax))で位置を変えながら、それぞれの位置において相関演算が行われる。その相関演算には、例えば、SAD、SSDおよびNCC等を用いることができる。そして、相関演算の結果から類似度への変換は、パターン間距離が近いほど類似度が高いので、例えば、(類似度)=1/((相関演算の結果)+1)の変換式が用いられる。なお、一般に、基準画像I1に設定されるテンプレートTPもウィンドウと呼ばれることがあるが、ここでは、対応点探索を実行すべく、基準画像I1に設定される演算領域をテンプレートTPと呼び、参照画像I2に設定される演算領域をウィンドウWDと呼ぶこととする。

SAD(Sum of Absolute Difference)は、式5に示すように、基準画像I1のテンプレートTPにおける画素の輝度値と、前記テンプレートTPの画素位置に対応する位置の、参照画像I2のウィンドウWDにおける画素の輝度値と、の差の絶対値を求めることによって、相関演算を行う手法である。SADは、式5に示すように、テンプレートTPとウィンドウWDとで同じ位置に対応する画素同士における各輝度値の差の絶対値をそれぞれ求めてそれがウィンドウWD内の全画素に亘って加算されることで求められるので、その演算量が少なく、したがって、短時間で対応点探索を行うことができる。

ここで、M(i,j)は、基準画像I1のテンプレートTPにおける画素位置(i,j)の輝度値であり、M(i,j)は、参照画像I2のウィンドウWDにおける画素位置(i,j)の輝度値である。PおよびQは、テンプレートTPおよびウィンドウWDのサイズ(領域の大きさ)を表し、Pは、縦の画素数であり、Qは、横の画素数である。

そして、このような処理が1画素ずつずらしながら行われ、最も類似度の高いウィンドウ位置にテンプレートTPと等しい画像があると判断される。

また、SSD(Sum of Squared intensity Difference、2乗残差法)は、式6に示すように、基準画像I1のテンプレートTPにおける画素の輝度値と、前記テンプレートTPの画素位置に対応する位置の、参照画像I2のウィンドウWDにおける画素の輝度値と、の差の2乗を求めることによって、相関演算を行う手法である。SSDは、上述のように画素間の輝度値の差を2乗しているため、比較的サイズの小さいテンプレートTPおよびウィンドウWDを用いる場合でも、テンプレートTPとウィンドウWDとの相関をより明確に表すことができる。

また、NCC(Normalized Cross Correlation、正規化相互相関法)は、式7に示すように、基準画像I1のテンプレートTPおよび参照画像I2のウィンドウWDのそれぞれにおいて、各点の輝度値から輝度値の平均値を減算し、分散値の類似度で相関演算を行う手法である。NCCでは、線形な明るさの変化の影響、すなわち、画像の輝度値およびコントラストの線形変化とノイズの影響が低減される。相関値は、−1〜+1の範囲の値であり、その値が大きい程、テンプレートTPとウィンドウWDとが類似していることを表している。このため、NCCでは、式7の最大値を求める処理となる。

ここで、μMは、基準画像I1のテンプレートTPにおける平均値であり、μMは、参照画像I2のウィンドウWDにおける平均値である。

また、ロバストな対応点探索手法として、振幅成分を抑制した相関法が知られている。この相関法は、基準画像I1および参照画像I2にそれぞれ設定したテンプレートTPおよびウィンドウWD内のパターンを周波数分解し、その周波数分解信号から振幅成分を抑制した位相成分のみの信号を用いて類似度演算を行う手法である。このため、この対応点探索手法は、輝度変動やノイズの影響を受け難く、高精度に画像間の対応点を探索することができる。

このパターンの周波数分解信号を算出する手法として、高速フーリエ変換(FFT)、離散フーリエ変換(DFT)、離散コサイン変換(DCT)、離散サイン変換(DST)、ウエーブレット変換およびアダマール変換等が一般的に広く用いられる。これら手法は、既に確立されているので、確実に周波数分解を行うことができ、好適である。これらのうちで、変換にフーリエ変換を用いた位相限定相関法(POC)は、フーリエ級数の振幅成分を抑制した位相成分のみの相関演算を行う。また、DCT符号限定相関法では、変換に離散コサイン変換を用い、コサイン変換結果の振幅成分を抑制した符合成分のみの相関演算を行う。

以下に、位相限定相関法を例に詳細を説明する。図4は、位相限定相関法のブロック図である。この位相限定相関法では、まず、基準画像I1と参照画像I2とに、テンプレートTPとウィンドウWDとのペア(組、対)が設定され、それらの間の相関が計算され、その類似度から、正しい領域ペアであるか否かが判定される。図4において、位相限定相関法によって対応点探索を行う装置は、画像に対しフーリエ変換を行うフーリエ変換部31、32と、フーリエ変換部31、32で得られたフーリエ級数の振幅成分について規格化を行う規格化部33、34と、各規格化部33、34で得られた各規格結果について合成を行う合成部35と、合成部35で得られた合成結果について逆フーリエ変換を行う逆フーリエ変換部36とを備えて構成される。このような構成の装置において、基準画像I1のテンプレートTPおよび参照画像I2のウィンドウWDは、フーリエ変換部31およびフーリエ変換部32にそれぞれ入力され、それぞれフーリエ変換される。これらフーリエ変換された基準画像I1のテンプレートTPおよび参照画像I2のウィンドウWDは、規格化部33および規格化部34にそれぞれ入力され、それぞれ規格化される。これら規格化された基準画像I1のテンプレートTPおよび参照画像I2のウィンドウWDは、それぞれ合成部35に入力され、合成され、逆フーリエ変換部36において逆フーリエ変換される。数式で表すと、以下のとおりである。

このように位相限定相関法は、2つのフーリエ変換された画像をスペクトルごとに規格化してから合成し、逆フーリエ変換する手法である。

この位相限定相関法で得られるPOC値は、図5に示すように、画像間(基準画像I1のテンプレートTPと参照画像I2のウィンドウWD)の移動量の座標に急峻な類似度ピークを持つことが知られており、画像マッチングにおけるロバスト性が高い。このため、より精度よく対応点探索を行うことが可能となる。

このような対応点探索によって求められた対応点から2次元オプティカルフローを求める手法では、輝度値の比較的急激に変化する所でも誤差が少なく、ノイズにも強い。
(ステップS12;衝突有無判定候補領域の抽出処理)
図6は、所定の基準面における2次元オプティカルフローを説明するための図である。図6(A)は、2次元オプティカルフローを示し、図6(B)は、前記基準面上の点Aおよび点Bについて、進行方向zにおける時刻tの位置を示し、図6(C)は、前記基準面上の点Aおよび点Bについて、進行方向zにおける時刻t+△tの位置を示す。図7は、所定の基準面上に存在する物体における2次元オプティカルフローを説明するための図である。図7(A)は、2次元オプティカルフローを示し、図7(B)は、前記物体上の点A’および点B’について、進行方向zにおける時刻tの位置を示し、図7(C)は、前記物体上の点A’および点B’について、進行方向zにおける時刻t+△tの位置を示す。図8は、領域分割を行って候補領域の抽出を実行する場合における領域分割の仕方を説明するための図である。図8(A)は、等面積で分割する場合における各領域を示し、図8(B)は、不等面積で分割する場合における各領域を示す。

一般に、移動体が移動方向を変えずに移動した場合(例えば、直進移動した場合)、静止物体の2次元オプティカルフローは、所定の消失点に向かうが、高さが異なる2点では、その向かう消失点が互いにずれる(異なる)。このため、例えば、図6に示す点A、B、C、Dは、共通な所定の平面(例えば、道路面)上にある点であるため、それら各A、B、C、Dの点2次元オプティカルフローは、図6に示すように、互いに共通な1つの消失点NP1に向かい、この消失点NP1から放射状に延びる。一方、前記所定の平面(この例では道路面)上に存在する物体上における前記所定の平面から或る高さにある点、例えば、図7に示す点A’および点C’は、高さが異なって、高さ方向Yの成分が有り、これら点A’および点C’の各2次元オプティカルフローは、図7に示すように、前記所定の平面上の点の2次元オプティカルフローにおける消失点NP1と異なる消失点(図略)に向かい、この消失点NP1とずれる。

したがって、候補領域抽出部22は、予め設定された所定の基準面における2次元オプティカルフローと前記基準面上に存在する物体における2次元オプティカルフローとが互いに異なることから、2次元OF部21によって算出された2次元オプティカルフローOFxy(t+△t)に基づいて、候補領域DAob(t+△t)を抽出することができる。

より具体的には、前記所定の基準面として道路面が用いられ、微小時間△tの間において移動体の速度がほぼ変化しないと仮定した場合、図6(B)および図6(C)に示すように、基準面(道路面)上の点の2次元オプティカルフローは、同じ移動量を持つとして算出されるが(OFxy(t+△t)−OFxy(t)=0)、基準面(道路面)上に無い物体上の点の2次元オプティカルフローは、図7(B)および図7(C)に示すように、同じ移動量を持つとして算出されない(OFxy(t+△t)−OFxy(t)≠0)。

このため、候補領域抽出部22は、予め設定された所定の画素に対し、時刻t−△tの画像データと時刻tの画像データから2次元オプティカルフローOFxy(t)を求めると共に、時刻tの画像データと時刻t+△tの画像データから2次元オプティカルフローOFxy(t+△t)を求め、これら2次元オプティカルフローの差(OFxy(t+△t)−OFxy(t))を求め、この結果の絶対値が予め設定された所定の閾値Th1以下であるか否かを判定することによって、候補領域DAob(t+△t)を抽出することができる。前記結果の絶対値が所定の閾値Th1以下である場合には、その画素は、候補領域DAob(t+△t)内の画素ではないと判定され、前記結果の絶対値が所定の閾値Th1を超える場合には、その画素は、候補領域DAob(t+△t)内の画素であると判定される。

すなわち、候補領域抽出部22は、第1画像内の所定の領域に対し、過去の2次元オプティカルフローと現在の2次元オプティカルフローとの差を求め、この求めた差の絶対値が所定の閾値Th1以上であるか否かを判定することによって、候補領域DAob(t+△t)を抽出することができる。

ここで、前記所定の閾値Th1は、画像上の領域ごとに変更してもよい。画像の上部領域は、移動体から比較的遠い位置にある物体の画像であり、画像の下部領域は、移動体から比較的近い位置にある物体の画像である。このため、前記所定の閾値Th1は、画像の下部領域から上部領域に行くに従って小さくなってもよい。このように前記所定の閾値Th1を変更することによって、計測誤差に強く、ロバスト性が向上する。

また、候補領域抽出部22によって候補領域DAob(t+△t)内の画素であるか否かが判定される前記所定の画素は、画像データの全画素(計測点)であってもよく、また、図8に示すように、画像データを複数の画素を持った領域に分割し、各領域内の各画素(局所領域の計測点)であってもよい。すなわち、前記所定の画素は、所定の間隔で間引かれた画素であってもよい。図8には、各領域が矩形である場合が示されている。そして、この領域は、図8(A)に示すように、互いに等面積であってもよいが、図8(B)に示すように、互いに異なる面積であってもよい。この場合において、各分割領域(局所領域)の面積は、画像の下部領域から上部領域に行くに従って狭くなってもよい。このように分割領域(局所領域)の面積を変更することによって、計測誤差に強く、ロバスト性が向上する。

なお、この判定手法によれば、判定対象の画素が、移動体の進行方向と同じ方向に進行しており等速運動している物体上の画素である場合や、遠距離に存在しており消失点付近に存在している画素である場合は、OFxy(t+△t)=0、OFxy(t)=0となることから、衝突有無判定候補領域DAob(t+△t)として抽出されないが、この画素は、衝突の可能性のない物体を捉えた画素であるため、衝突有無判定候補領域DAob(t+△t)として抽出されなくても問題とならない。

また、候補領域抽出部22は、2次元OF部21によって算出された2次元オプティカルフローOFxy(t+△t)が道路面の2次元オプティカルフローであるか否かを判定することによって、衝突有無判定候補領域DAob(t+△t)を抽出してもよい。より具体的には、候補領域抽出部22は、2次元OF部21によって算出された2次元オプティカルフローOFxy(t+△t)と道路面の2次元オプティカルフローとの差を求め、この結果の絶対値が予め設定された所定の閾値Th2以下であるか否かを判定することによって、候補領域DAob(t+△t)を抽出することができる。この判定の結果、2次元OF部21によって算出された2次元オプティカルフローOFxy(t+△t)が道路面の2次元オプティカルフローである場合は、2次元OF部21によって算出された2次元オプティカルフローOFxy(t+△t)が候補領域DAob(t+△t)内にないと判定され、2次元OF部21によって算出された2次元オプティカルフローOFxy(t+△t)が道路面の2次元オプティカルフローではない場合は、2次元OF部21によって算出された2次元オプティカルフローOFxy(t+△t)が候補領域DAob(t+△t)内にあると判定される。

なお、前記所定の閾値Th2は、上述の所定の閾値Th1と同様に変化されてもよく、また、候補領域抽出部22によって候補領域DAob(t+△t)内の画素であるか否かが判定される前記所定の画素は、上述と同様に、画像データの全画素(計測点)であってもよく、また、画像データを複数の領域に分割し、各領域内の各画素(局所領域の計測点)であってもよい。

また、道路面の2次元オプティカルフローは、実際に道路面を予め計測しておきデータとして保持しておいてもよいが、例えば、次のように撮影カメラ2の設置条件から求めることもできる。

図9は、撮影カメラの位置と撮影条件との関係を説明するための図である。図9に示すように、焦点距離fで画角θである撮影カメラ2が、路面から高さhの位置に、前進方向Zに対しピッチ方向の傾きφで移動体に取り付けられ、パン方向およびロール方向の傾きが実質的に0であるとする。このような場合では、画像上の座標yと道路面までの距離Dとの関係は、式9のように表され、したがって、2次元オプティカルフローの垂直成分△yは、式10のように表され、そして、2次元オプティカルフローの水平成分△xは、式11のように表される。
h/D=tan(tan−1(y/α)+φ ・・・(9)
OF(t+△t)=α(h/(D−v△t)−h/D) ・・・(10)
OF(t+△t)=(x/y+αφ)OF(t+△t) ・・・(11)
ここで、vは、移動体の速度であり、△tは、2つの画像間の撮影時間間隔であり、yは、撮影カメラ2からZ方向に離れた路面上の点Aを表す画像上の点の垂直成分であり、xは、撮影カメラ2からZ方向に離れた路面上の点Aを表す画像上の点の水平成分であり、αは、画素ピッチをpとし画素数をNとすると、α=f/p=N/(2θ)である。

この速度情報vは、移動体に取り付けられた移動体の速度を検出する速度センサによって取得されてもよく、また、後述の3次元オプティカルフローから算出されてもよい。
(ステップS13;距離情報の取得処理)
距離情報取得部23は、撮影カメラ2(すなわち、撮影カメラ2を搭載した移動体)から候補領域DAob(t+△t)に撮像されている物体までの距離を、例えば、画像と外部の距離計測器とによって測定する。

図10は、TOF方式による距離計測器を説明するための図である。図10に示す距離計測器40は、例えば近赤外線を発光ダイオード等の発光部41から照射し、それが物体で反射した反射光を発光部41の近傍に配設された例えばCMOSセンサ等の受光部42で受光し、この発光部41で近赤外線を照射してから受光部42でその反射光を受光するまでの時間をタイマ部43で計測し、この時間(TOF,time of flight)から物体までの距離を計測する装置である。距離計測器40は、例えば、Canesta社のレーザレンジファインダを挙げることができる。

このような距離計測器40を用いることで、距離情報取得部23は、候補領域抽出部22によって抽出された候補領域DAob(t+△t)に対し、撮影カメラ2(すなわち、撮影カメラ2を搭載した移動体)から候補領域DAob(t+△t)に撮像されている物体までの距離情報D(t)、距離情報D(t+△t)をTOF方式の距離計測器40によって取得することができる。

図11は、距離計測器により計測される距離を説明するための図である。図11(A)は、移動体の上方からの図であり、図11(B)は、距離とミリ波の検知角度との関係を示すグラフであり、図11(C)は、3次元オプティカルフローを示す図である。また、図11(A)に示すように、例えばミリ波レーダ等の距離計測器の検知角度θ1と、撮影カメラ2の画角θ2との関係を予め取得しておくことにより、距離計測器によって得られた各位置と撮影カメラ2によって撮影された画像内の各位置との対応関係を特定することができる。このため、距離情報取得部23は、候補領域抽出部22によって抽出された候補領域DAob(t+△t)に対し、撮影カメラ2(すなわち、撮影カメラ2を搭載した移動体)から候補領域DAob(t+△t)に撮像されている物体までの距離情報D(t)、距離情報D(t+△t)をレーダ装置の距離計測器によって取得することができる。なお、これによって図11(C)に示すように3次元オプティカルフローも求めることができる。

また、距離情報取得部23は、候補領域抽出部22によって抽出された候補領域DAob(t+△t)に対し、撮影カメラ2(すなわち、撮影カメラ2を搭載した移動体)から候補領域DAob(t+△t)に撮像されている物体までの距離情報D(t)、距離情報D(t+△t)をステレオカメラによるステレオ画像によって取得することができる。

すなわち、ステレオ画像から候補領域DAob(t+△t)およびこれに対応する時刻tの領域の対応点がそれぞれ対応点探索処理によって探索され、これら探索された対応点の視差から距離情報D(t+△t)および距離情報D(t)が求められる。ステレオカメラ(一対の撮影カメラ2−1、2−2)の中央位置から物体までの距離と視差とは、三角測量の原理に基づいて一義的に対応付けられる。なお、対応点探索を行うに当たって、収差補正および平均化処理が実行されてもよい。この平均化処理は、各カメラの光軸方向および光軸周りの回転角および視点の高さを揃えた画像に変換する処理である。
(ステップS14;3次元オプティカルフローの算出処理)
衝突有無判定部24は、候補領域抽出部22によって抽出された衝突有無判定候補領域DAob(t+△t)に対し、2次元OF算出部21によって算出された2次元オプティカルフローOFxy(t+△t)および距離情報取得部23によって取得された距離情報D(t)、D(t+△t)に基づいて、3次元オプティカルフローOFxyz(t+△t)を算出する。

2次元オプティカルフローは、画像中の注目点(所定の点)が2次元画像上でどの方向にどれだけ移動しているかを表す速度ベクトルであるが、3次元オプティカルフローは、画像に奥行き方向(移動体の進行方向)の成分を加えた実空間上での速度ベクトルである。

図12は、3次元オプティカルフローの算出処理を説明するための図である。候補領域抽出部22によって抽出された候補領域DAob(t+△t)内における所定の画素(計測点)に対し、次の処理が実行され、3次元オプティカルフローOFxyz(t+△t)が算出される。

図12に示すように、まず、時刻tにおける基準画像I1の点PBASE,t(x(t)、y(t))に対応する、時刻t+△tにおける基準画像I1の点PBASE,t+△t(x(t+△t)、y(t+△t))が求められ、時刻tにおける基準画像I1の点PBASE,t(x(t)、y(t))に対応する、時刻tにおける参照画像I2の点PREF,t(x(t)、y(t))が求められる。次に、時刻t+△tにおける基準画像I1の点PBASE,t+△t(x(t+△t)、y(t+△t))に対応する、時刻t+△tにおける参照画像I2の点PREF,t+△t(x(t+△t)、y(t+△t))が求められる。

ここで、各対応点の探索において、ピクセルレベル(画素レベル)で対応点が存在しない場合がある。このような場合では、ピクセルレベルで対応点を含む画素が4点探索され、これら4点の画素の画素値と対応点の画素値との比率に応じてこれら4点の画素から対応点までの距離を決定する補間処理を行うことによって、対応点の位置がサブピクセルレベルで探索される。

次に、時刻tにおける基準画像I1の点PBASE,t(x(t)、y(t))と、これに対応する、時刻tにおける参照画像I2の点PREF,t(x(t)、y(t))とから、3次元再構成によって、計測点に対する時刻tの実空間における位置(X(t)、Y(t)、Z(t))が求められ、時刻t+△tにおける基準画像I1の点PBASE,t+△t(x(t+△t)、y(t+△t))と、これに対応する、時刻t+△tにおける参照画像I2の点PREF,t+△t(x(t+△t)、y(t+△t))とから、3次元再構成によって、計測点に対する時刻t+△tの実空間におけるステレオカメラを基準とした3次元位置(X(t+△t)、Y(t+△t)、Z(t+△t))が求められる。

この3次元再構成は、例えば、いわゆるピンホールカメラモデルが用いられ、3次元空間上と2次元画像上の対応する点を行列で結びつけるキャリブレーションにより各カメラにおける射影行列P、Pを求め、注目点の左右画像上の座標から最小二乗法を用いて算出することができる(≒PM、≒PM、ここで、=PBASE,t(x(t)、y(t))、=PREF,t(x(t)、y(t))、ワールド座標M(X、Y、Z))。なお、この3次元再構成は、いわゆる平行化を利用することにより直接演算によって行ってもよい。

そして、これら差(X(t)−X(t+△t)、Y(t)−Y(t+△t)、Z(t)−Z(t+△t))として、3次元オプティカルフローOFxyz(t+△t)が算出される。

また、衝突有無判定部24は、次の処理によって、3次元オプティカルフローOFxyz(t+△t)を算出してもよい。2次元オプティカルフローOFxy(t+△t)は、時刻tのタイミングで撮影された画像上の計測点(x(t)、y(t))が時刻t+△tのタイミングで撮影された画像上の対応点(x(t+△t)、y(t+△t))に移動していることを示している。一方、計測点(x(t)、y(t))と対応点(x(t+△t)、y(t+△t))との実空間における各位置(X(t)、Y(t)、Z(t))、(X(t+△t)、Y(t+△t)、Z(t+△t))は、距離計測器から特定することができる。このため、計測点(x(t)、y(t))の位置(X(t)、Y(t)、Z(t))と対応点(x(t+△t)、y(t+△t))の位置(X(t+△t)、Y(t+△t)、Z(t+△t))との差分ベクトルを求めることで、3次元オプティカルフローOFxyz(t+△t)が算出される。
(ステップS15;衝突有無の判定処理)
衝突有無判定部24は、候補領域抽出部22によって抽出された候補領域DAob(t+△t)に対し、この算出した3次元オプティカルフローOFxyz(t+△t)に基づいて衝突の可能性があるか否かを判定する。

図13は、第1の衝突有無判定処理を説明するための図である。図13において、移動体を含む立体、ここでは、移動体を囲む立方体が仮想され、まず、この立方体を構成する各平面(立体の境界面)に対し、3次元オプティカルフローOFxyz(t+△t)を含む線分が交差する交点PCROSS(X,Y,Z)がそれぞれ求められ、各平面の各交点に対し、所定の範囲に含まれる平面があるか否かが判定される。この判定の結果、所定の範囲に含まれる平面が1つでも存在する場合には、候補領域抽出部22によって抽出された候補領域DAob(t+△t)は、衝突の可能性がある物体を撮影している領域であると判定される。

前記所定の範囲は、撮影カメラ2の位置、すなわち、移動体の位置を座標原点(0,0,0)として、X方向判定が−((W+αAREA1)/2)≦PCROSS(X)≦((W+αAREA)/2)であり、Y方向判定が−h+β≦PCROSS(Y)≦(H−h)+αAREA2であり、そして、Z方向判定がF+αAREA3≦PCROSS(Z)≦B+αAREA3である。ここで、Wは、移動体の幅であり、αAREA1は、衝突をより確実に回避すべく移動体の幅Wに多少余裕を持たせた領域(危険判定領域)であり、Hは、移動体の高さであり、βは、道路面からの車輪の高さであり、αAREA2は、衝突をより確実に回避すべく移動体の高さHに多少余裕を持たせた領域(危険判定領域)であり、hは、撮影カメラ2の設置高さであり、Fは、カメラ設置位置を基準としてフロント側(前方側)における移動体の長さであり、Bは、カメラ設置位置を基準としてリア側(後方側)における移動体の長さであり、そして、αAREA3は、衝突をより確実に回避すべく移動体の長さF、Bに多少余裕を持たせた領域(危険判定領域)である。

図14は、第2の衝突有無判定処理を説明するための図である。図14(A)は、時刻tにおける衝突の可能性のある領域を示し、図14(B)は、時刻t+△tにおける衝突の可能性のある領域を示す。衝突の可能性の或る領域は、移動体の速度および物体の速度が変化しない場合では、図14に示すように、移動体の進行方向と移動体から物体へ向かう方向、すなわち、物体の3次元オプティカルフローOFxyz(t+△t)とのなす角θは、一定であり、変化しない。このため、衝突有無判定部24は、候補領域抽出部22によって抽出された候補領域DAob(t+△t)に対し、移動体の進行方向と物体の3次元オプティカルフローOFxyz(t+△t)とから角θを求め、この角θを各フレーム間で比較することで、衝突の有無を判定してもよい。

また、衝突有無判定部24は、第1の衝突有無判定処理で衝突の可能性があると判定された場合または第2の衝突有無判定処理で衝突の可能性があると判定された場合に加えて、物体と移動体との距離が所定の基準距離(所定の第2閾値)より短い場合に、この物体が衝突物体であると判定し、具体的には、移動体の速度を基に移動体の停止距離を算出し、得られた停止距離を基に基準距離を変更してもよい。

停止距離は、空走距離Eと制動距離Bとによって算出することができる。空走距離は、E=VTにより算出することができる。ここで、Tは、反応時間であり、Vは、移動体の速度である。

制動距離は、B=V2/2u・gにより算出することができる。ここで、uは、制動時の摩擦係数であり、gは重力加速度である。そして、これらの合計値(S=E+B)により停止距離Sを算出することができる。

すなわち、基準距離は、移動体の速度に応じて変更されてもよく、また、移動体の制動距離に応じて変更されてもよく。

また、衝突有無判定部24は、物体の3次元オプティカルフローの大きさと、物体までの距離との比率を基に基準距離を変更してもよい。

例えば、移動体から停止距離以上に距離が離れていても、移動体に急速に向かってくるような物体は、停止距離S内に入った時点で判定するのでは衝突する可能性が高くなる。そこで、衝突有無判定部24は、物体の計測点までの距離と、3次元オプティカルフローの大きさとの比率R(具体的には物体までのX,Z成分の距離と、3次元オプティカルフローのX,Z成分の大きさとの比率)を求め、この比率Rが予め定められた閾値以内の物体を衝突物体として判定する。

また、上記判定方法だけでなく、物体の大きさにより基準距離を変更しても良い。例えば、移動体は、小さい物体に対して回避行動を行うことは可能であるが、大きな物体に対しては回避行動を行うことが難しい。そこで、大きい物体に関しては、小さい物体よりも基準距離を長く設定する。ここで、物体の大きさは、3次元実空間上での物体までの距離と、当該物体の画像上での面積とを求め、これらの情報から算出すればよい。また、衝突有無判定部24は、或る閾値を設け、この閾値よりも大きな物体に関しては予め定められた大きな物体用の基準距離を設定して衝突判定処理を行い、この閾値よりも小さな物体に関しては予め定められた小さな物体用の基準距離を設定して衝突判定処理を行っても良い。また、物体の大きさが大きくなるにつれて基準距離が大きくなるように連続的、または段階的に基準距離を設定してもよい。

また、衝突有無判定部24は、衝突判定処理を時系列的に複数回実行することで得られた処理結果と、移動体の速度とを基に、物体の速度が、衝突を回避するように変化したか否かを判定し、得られた判定結果を基に物体が衝突物体であるか否かを判定してもよい。

例えば、衝突判定処理の結果から衝突の可能性があると判断された場合であって、物体の速度が変化しない場合、当該物体の搭乗者は、移動体の存在に気付いてない恐れがある。一方、物体の速度が減速した場合、当該物体の搭乗者は、移動体の存在に気付いていると考えられる。

そこで、衝突有無判定部24は、複数フレーム期間毎に衝突判定処理を実行するものとし、複数フレーム期間において各物体の衝突判定処理の処理結果を保持しておき、一定回数以上衝突すると判定された物体の速度変化を求めると共に、移動体の速度変化を求め、両変化の比率Rk(=物体の速度変化/移動体の速度変化)が所定の閾値よりも大きい場合、当該物体の搭乗者は、移動体の存在に気づいていると判定し、比率Rkが所定の閾値より小さい場合、当該物体の搭乗者は、移動体の存在に気づいていないと判定すればよい。なお、物体の速度変化は、当該物体の3次元オプティカルフローから求めればよい。

このようなに周辺監視システムSおよび周辺監視装置1では、候補領域抽出部22によって候補領域DAobが抽出され、この候補領域DAobに対し、衝突有無判定部24によって、移動体と候補領域DAobに写し出されている物体との衝突判定が実行される。したがって、この周辺監視システムSおよび周辺監視装置1では、画像全体の画素について衝突判定が実行されるものではなく、候補領域DAobだけについて衝突判定が実行されるので、この周辺監視システムSおよび周辺監視装置1は、より短い情報処理時間で移動体の周辺状況を監視することができる。

また、上述の周辺監視システムSおよび周辺監視装置1では、候補領域抽出部22は、上述したように、予め設定された所定値と現在の2次元オプティカルフローとの差を求めることによって、候補領域DAobを抽出している。したがって、この周辺監視システムSおよび周辺監視装置1では、所定の領域における2次元オプティカルフローを用いることによって、候補領域DAobを抽出することができ、また、このような構成の周辺監視システムSおよび周辺監視装置1が提供される。

ここで、前記予め設定された所定値は、過去の2次元オプティカルフローであってよく、過去の2次元オプティカルフローと現在の2次元オプティカルフローとを比較することによって、候補領域DAobを抽出することができ、また、このような構成の周辺監視システムSおよび周辺監視装置1が提供される。あるいは、前記予め設定された所定値は、時系列画像のいずれか1つの画像に写し出された道路面の2次元オプティカルフローであってよく、道路面が移動体と衝突の可能性のない物体であるので、この周辺監視システムSおよび周辺監視装置1では、候補領域DAobを漏れなく抽出することができる。

また、この道路面の2次元オプティカルフローは、撮影カメラ2の設置条件を用いて求められてよく、この周辺監視システムSおよび周辺監視装置1では、より正確に道路面の2次元オプティカルフローを求めることができる。

また、候補領域抽出部22は、画素ごとに候補領域DAobの抽出を行ってよく、この周辺監視システムSおよび周辺監視装置1では、画素ごとに候補領域DAobの抽出を行うので、より詳細に候補領域DAobの抽出を行うことができる。あるいは、候補領域抽出部22は、分割領域ごとに候補領域DAobの抽出を行ってよく、この周辺監視システムSおよび周辺監視装置1では、分割領域ごとに候補領域DAobの抽出を行うので、算出された2次元オプティカルフローに誤差を含む場合でも、候補領域DAobの抽出判定における精度の低下を抑制することができる。あるいは、この場合では、分割領域ごとに候補領域DAobの抽出を行うので、演算処理時間を短縮することが可能となる。

また、候補領域抽出部22は、実空間において移動体の速度ベクトルと異なる速度ベクトルを持つ物体を写している領域を候補領域DAobとして抽出してよく、この周辺監視システムSおよび周辺監視装置1では、移動体の速度ベクトルと同じ速度ベクトルを持つ物体は衝突する可能性が無いため、候補領域DAobを漏れなく抽出することができる。

また、距離情報取得部23は、1組のステレオ画像間の対応点を対応点探索処理によって抽出することで、移動体と候補領域DAobに写し出されている物体までの距離を取得してよく、この周辺監視システムSおよび周辺監視装置1では、物体までの距離を計測する距離計測器を別途に備えることなく、画像から、移動体と候補領域に写し出されている物体までの距離を取得することができ、また、このような構成の周辺監視システムSおよび周辺監視装置1が提供される。

また、上述の周辺監視システムSおよび周辺監視装置1では、衝突有無判定部24の衝突判定が3次元オプティカルフローによって行われるので、より正確に衝突判定を行うことができる。

また、衝突有無判定部24の衝突判定は、移動体を含む仮想的な立体の境界面と3次元オプティカルフローを含む線分とが交差するか否かによって行われてよく、この周辺監視システムSおよび周辺監視装置1では、3次元オプティカルフローを含む線分と立体の境界面とが交差するか否かという比較的簡易な情報処理で、衝突判定を行うことができる。

また、衝突有無判定部24の衝突判定は、移動体の進行方向と3次元オプティカルフローとの成す角θおよび距離情報に基づいて行われてよく、この周辺監視システムSおよび周辺監視装置1では、移動体の進行方向と3次元オプティカルフローとの成す角θおよび距離情報を用いた比較的簡易な情報処理で、衝突判定を行うことができる。

また、衝突有無判定部24の衝突判定は、距離情報と所定の第2閾値とを比較することによって行われる場合に、移動体の速度に応じて前記所定の第2閾値が変更されてよく、この周辺監視システムSおよび周辺監視装置1では、移動体の速度に応じて前記所定の第2閾値を変更するので、移動体から比較的離れた物体を適切に衝突しない物体と判定することができる。

また、衝突有無判定部24の衝突判定は、距離情報と所定の第2閾値とを比較することによって行われる場合に、移動体の制動距離に応じて前記所定の第2閾値が変更されてよく、この周辺監視システムSおよび周辺監視装置1では、移動体の制動距離に応じて前記所定の第2閾値を変更するので、移動体から比較的離れた物体を適切に衝突しない物体と判定することができる。

また、上述の周辺監視システムSおよび周辺監視装置1では、判定結果出力部25を備えているので、例えばドライバーなどのユーザに衝突の警告を行うことができ、ユーザに回避処置を取るように促すことができる。

また、上述の周辺監視システムSおよび周辺監視装置1では、表示部15を備えており、判定結果出力部25は、衝突判定された場合に、表示部15から警告表示を出力しているので、この警告表示によって、ユーザに衝突の警告を行うことができ、ユーザに回避処置を取るように促すことができる。

ここで、前記警告表示は、移動体と候補領域に写し出されている物体との距離を表す距離表示を含んでよく、この周辺監視システムSおよび周辺監視装置1では、衝突までの距離をユーザに知らせることができる。前記警告表示は、移動体と候補領域に写し出されている物体とが衝突するまでの衝突時間を表す衝突時間表示を含んでよく、この周辺監視システムSおよび周辺監視装置1では、衝突までの時間をユーザに知らせることができる。前記警告表示は、候補領域に写し出されている物体の大きさを表す大きさ表示を含んでよく、この周辺監視システムSおよび周辺監視装置1では、物体の大きさをユーザに知らせることができる。

また、上述の周辺監視システムSおよび周辺監視装置1では、音出力部をさらに備えてよく、そして、判定結果出力部25は、衝突判定された場合に、前記音出力部から警告音を出力してよく、この周辺監視システムSおよび周辺監視装置1では、警告音によって、ユーザに衝突の警告を行うことができ、ユーザに回避処置を取るように促すことができる。

図15は、本実施形態における変形形態としての多重解像度戦略を説明するための図である。なお、上述の実施形態において、対応点探索を実行する場合に、多重解像度戦略が用いられても良い。多重解像度戦略を用いた対応点探索は、図15に示すように、基準画像I1および参照画像I2の解像度を低解像度化し、この低解像度の基準画像I1および参照画像I2を用いて対応点探索を行い、その解(対応点探索結果)を伝播させながら解像度を元の解像度まで順次に上げる手法である。より具体的には、まず、第1処理として、例えば画素を間引く間引き処理によって基準画像I1および参照画像I2の各縮小画像が作成される(低解像度化)。次に、第2処理として、これら基準画像I1および参照画像I2の各縮小画像を用いて対応点探索が行われる。次に、第3処理として、この対応点探索によって探索された対応点を含む所定の範囲で参照画像I2の縮小画像が所定の倍率で拡大されると共に、注目点を含む前記所定の範囲で基準画像I1の縮小画像が所定の倍率で拡大される(解の伝播)。次に、第4処理として、この拡大された基準画像I1および参照画像I2を用いて対応点探索が行われる。次に、第5処理として、元の大きさ(サイズ、解像度)となるまで、第3処理および第4処理を繰り返す。

このような構成の周辺監視システムSおよび周辺監視装置1では、多重解像度戦略による対応点探索を行う場合に、より精度よく対応点探索を行うことができる。

本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および/または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。

S 周辺監視システム
1 周辺監視装置
2 撮影カメラ
12 CPU
15 表示部
21 2次元オプティカルフロー算出部
22 候補領域抽出部
23 距離情報取得部
24 衝突有無判定部
25 判定結果出力部

Claims (21)

  1. 移動体における周囲の画像を時系列に時系列画像として取得する画像取得部と、
    前記時系列画像における所定の第1時刻に取得された第1画像、および、前記時系列画像における前記所定の第1時刻と異なる第2時刻に取得された第2画像に基づいて、前記第1画像における所定の点に対する2次元オプティカルフローを求める2次元オプティカルフロー算出部と、
    前記2次元オプティカルフロー算出部で求められた2次元オプティカルフローに基づいて、前記移動体と衝突する可能性のある前記第1画像内の点または領域を候補領域として抽出する候補領域抽出部と、
    前記候補領域抽出部で抽出された候補領域に対し、前記移動体と前記候補領域に写し出されている物体までの距離を取得する距離情報取得部と、
    前記候補領域抽出部で抽出された候補領域に対し、前記距離情報取得部で取得した距離に基づいて、前記移動体と前記候補領域に写し出されている物体とが衝突するか否かを判定する衝突有無判定部とを備えること
    を特徴とする周辺監視装置。
  2. 前記候補領域抽出部は、第1画像内の所定の領域に対し、予め設定された所定値と現在の2次元オプティカルフローとの差を求め、この求めた差が所定の第1閾値以上である場合に、前記第1画像内の前記所定の領域を候補領域として抽出すること
    を特徴とする請求項1に記載の周辺監視装置。
  3. 前記候補領域抽出部における前記予め設定された所定値は、過去の2次元オプティカルフローであること
    を特徴とする請求項2に記載の周辺監視装置。
  4. 前記候補領域抽出部における前記予め設定された所定値は、前記時系列画像のいずれか1つの画像に写し出された道路面の2次元オプティカルフローであること
    を特徴とする請求項2に記載の周辺監視装置。
  5. 前記道路面の2次元オプティカルフローは、前記画像取得部の設置条件を用いて求められたものであること
    を特徴とする請求項4に記載の周辺監視装置。
  6. 前記候補領域抽出部は、前記第1画像の画素ごとに前記候補領域の抽出を行うこと
    を特徴とする請求項1ないし請求項5のいずれか1項に記載の周辺監視装置。
  7. 前記候補領域抽出部は、前記第1画像を複数の領域に分割領域として分割した場合における前記分割領域ごとに前記候補領域の抽出を行うこと
    を特徴とする請求項1ないし請求項5のいずれか1項に記載の周辺監視装置。
  8. 前記候補領域抽出部は、実空間において前記移動体の速度ベクトルと異なる速度ベクトルを持つ物体を写している領域を前記候補領域として抽出すること
    を特徴とする請求項1に記載の周辺監視装置。
  9. 前記画像取得部は、ステレオカメラであり、
    前記距離情報取得部は、前記画像所得部によって取得された1組のステレオ画像に基づいて、前記候補領域抽出部で抽出された候補領域における前記1組のステレオ画像間の対応点を対応点探索処理によって抽出することで、前記移動体と前記候補領域に写し出されている物体までの距離を取得すること
    を特徴とする請求項1ないし請求項8のいずれか1項に記載の周辺監視装置。
  10. 前記衝突有無判定部は、
    前記候補領域抽出部で抽出された候補領域に対し、前記2次元オプティカルフロー算出部で算出された2次元オプティカルフローおよび前記距離情報取得部で取得した距離に基づいて、3次元オプティカルフローを求める3次元オプティカルフロー算出部と、
    前記候補領域抽出部で抽出された候補領域に対し、前記3次元オプティカルフロー算出部で求められた3次元オプティカルフローに基づいて、前記移動体と前記候補領域に写し出されている物体とが衝突するか否かを判定する判定部とを備えること
    を特徴とする請求項1ないし請求項9のいずれか1項に記載の周辺監視装置。
  11. 前記衝突有無判定部の前記判定部は、前記移動体を含む立体を仮想した場合に、前記3次元オプティカルフロー算出部で求められた3次元オプティカルフローを含む線分と前記立体の境界面とが交差するか否かを判定することによって、前記移動体と前記候補領域に写し出されている物体とが衝突するか否かを判定すること
    を特徴とする請求項10に記載の周辺監視装置。
  12. 前記衝突有無判定部の前記判定部は、前記候補領域抽出部で抽出された候補領域に対し、前記移動体の進行方向と前記3次元オプティカルフロー算出部で求められた3次元オプティカルフローとの成す角および前記距離情報取得部で取得した距離に基づいて、前記移動体と前記候補領域に写し出されている物体とが衝突するか否かを判定すること
    を特徴とする請求項10に記載の周辺監視装置。
  13. 前記衝突有無判定部の前記判定部は、前記候補領域抽出部で抽出された候補領域に対し、前記距離情報取得部で取得した距離と予め設定された所定の第2閾値とを比較することによって、前記移動体と前記候補領域に写し出されている物体とが衝突するか否かを判定する場合に、前記移動体の速度に応じて前記所定の第2閾値を変更すること
    を特徴とする請求項10ないし請求項12のいずれか1項に記載の周辺監視装置。
  14. 前記衝突有無判定部の前記判定部は、前記候補領域抽出部で抽出された候補領域に対し、前記距離情報取得部で取得した距離と予め設定された所定の第2閾値とを比較することによって、前記移動体と前記候補領域に写し出されている物体とが衝突するか否かを判定する場合に、前記移動体の制動距離に応じて前記所定の第2閾値を変更すること
    を特徴とする請求項10ないし請求項13のいずれか1項に記載の周辺監視装置。
  15. 前記衝突有無判定部の判定結果を出力する判定結果出力部をさらに備えること
    を特徴とする請求項1ないし請求項14のいずれか1項に記載の周辺監視装置。
  16. 音を出力する音出力部をさらに備え、
    前記判定結果出力部は、前記衝突有無判定部によって前記移動体と前記候補領域に写し出されている物体とが衝突すると判定された場合に、前記音出力部から警告音を出力すること
    を特徴とする請求項15に記載の周辺監視装置。
  17. 表示を行う表示部をさらに備え、
    前記判定結果出力部は、前記衝突有無判定部によって前記移動体と前記候補領域に写し出されている物体とが衝突すると判定された場合に、前記表示部から警告表示を出力すること
    を特徴とする請求項15に記載の周辺監視装置。
  18. 前記警告表示は、前記移動体と前記候補領域に写し出されている物体との距離を表す距離表示を含むこと
    を特徴とする請求項17に記載の周辺監視装置。
  19. 前記警告表示は、前記移動体と前記候補領域に写し出されている物体とが衝突するまでの衝突時間を表す衝突時間表示を含むこと
    を特徴とする請求項17または請求項18に記載の周辺監視装置。
  20. 前記警告表示は、前記候補領域に写し出されている物体の大きさを表す大きさ表示を含むこと
    を特徴とする請求項17ないし請求項19のいずれか1項に記載の周辺監視装置。
  21. 移動体における周囲の画像を時系列に時系列画像として取得する画像取得工程と、
    前記時系列画像における所定の第1時刻に取得された第1画像、および、前記時系列画像における前記所定の第1時刻と異なる第2時刻に取得された第2画像に基づいて、前記第1画像における所定の点に対する2次元オプティカルフローを求める2次元オプティカルフロー算出工程と、
    前記2次元オプティカルフロー算出工程で求められた2次元オプティカルフローに基づいて、前記移動体と衝突する可能性のある前記第1画像内の点または領域を候補領域として抽出する候補領域抽出工程と、
    前記候補領域抽出工程で抽出された候補領域に対し、前記移動体と前記候補領域に写し出されている物体までの距離を取得する距離情報取得工程と、
    前記候補領域抽出工程で抽出された候補領域に対し、前記距離情報取得工程で取得した距離に基づいて、前記移動体と前記候補領域に写し出されている物体とが衝突するか否かを判定する衝突有無判定工程とを備えること
    を特徴とする周辺監視方法。
JP2009047846A 2009-03-02 2009-03-02 周辺監視装置および該方法 Pending JP2010204805A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009047846A JP2010204805A (ja) 2009-03-02 2009-03-02 周辺監視装置および該方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009047846A JP2010204805A (ja) 2009-03-02 2009-03-02 周辺監視装置および該方法

Publications (1)

Publication Number Publication Date
JP2010204805A true JP2010204805A (ja) 2010-09-16

Family

ID=42966246

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009047846A Pending JP2010204805A (ja) 2009-03-02 2009-03-02 周辺監視装置および該方法

Country Status (1)

Country Link
JP (1) JP2010204805A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010286926A (ja) * 2009-06-09 2010-12-24 Konica Minolta Holdings Inc 周辺監視装置
KR101344056B1 (ko) 2013-09-25 2014-01-16 주식회사 피엘케이 테크놀로지 차량의 출발 정지 지원 장치 및 그 방법
KR101397732B1 (ko) * 2011-04-20 2014-05-20 도요타 지도샤(주) 차량용 주변 경계 장치
JPWO2014033955A1 (ja) * 2012-09-03 2016-08-08 トヨタ自動車株式会社 速度算出装置及び速度算出方法並びに衝突判定装置
JP2017068700A (ja) * 2015-09-30 2017-04-06 株式会社デンソーアイティーラボラトリ 物体検出装置、物体検出方法、及びプログラム
US9734416B2 (en) 2015-03-23 2017-08-15 Fujitsu Limited Object detection method, information processing device, and storage medium

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07262375A (ja) * 1994-03-25 1995-10-13 Toshiba Corp 移動体検出装置
JPH10222665A (ja) * 1997-01-31 1998-08-21 Fujitsu Ten Ltd 画像認識装置
JP2000036098A (ja) * 1998-07-17 2000-02-02 Hitachi Ltd 車間距離警報装置
JP2004056763A (ja) * 2002-05-09 2004-02-19 Matsushita Electric Ind Co Ltd Monitoring device, monitoring method, and monitoring program
JP2004355082A (ja) * 2003-05-27 2004-12-16 Nec Corp オプティカルフロー検出システム、検出方法および検出プログラム
JP2005209019A (ja) * 2004-01-23 2005-08-04 Toshiba Corp Obstacle detection device, method and program
JP2006218935A (ja) * 2005-02-09 2006-08-24 Advics:Kk 車両用走行支援装置
JP2007140852A (ja) * 2005-11-17 2007-06-07 Aisin Seiki Co Ltd 障害物位置検出装置及び障害物位置検出方法
JP2008282106A (ja) * 2007-05-08 2008-11-20 Fujitsu Ltd 障害物検出方法および障害物検出装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07262375A (ja) * 1994-03-25 1995-10-13 Toshiba Corp 移動体検出装置
JPH10222665A (ja) * 1997-01-31 1998-08-21 Fujitsu Ten Ltd 画像認識装置
JP2000036098A (ja) * 1998-07-17 2000-02-02 Hitachi Ltd 車間距離警報装置
JP2004056763A (ja) * 2002-05-09 2004-02-19 Matsushita Electric Ind Co Ltd Monitoring device, monitoring method, and monitoring program
JP2004355082A (ja) * 2003-05-27 2004-12-16 Nec Corp オプティカルフロー検出システム、検出方法および検出プログラム
JP2005209019A (ja) * 2004-01-23 2005-08-04 Toshiba Corp Obstacle detection device, method and program
JP2006218935A (ja) * 2005-02-09 2006-08-24 Advics:Kk 車両用走行支援装置
JP2007140852A (ja) * 2005-11-17 2007-06-07 Aisin Seiki Co Ltd 障害物位置検出装置及び障害物位置検出方法
JP2008282106A (ja) * 2007-05-08 2008-11-20 Fujitsu Ltd 障害物検出方法および障害物検出装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010286926A (ja) * 2009-06-09 2010-12-24 Konica Minolta Holdings Inc 周辺監視装置
KR101397732B1 (ko) * 2011-04-20 2014-05-20 도요타 지도샤(주) 차량용 주변 경계 장치
US10150407B2 (en) 2011-04-20 2018-12-11 Toyota Jidosha Kabushiki Kaisha Vehicle periphery alert device
JPWO2014033955A1 (ja) * 2012-09-03 2016-08-08 トヨタ自動車株式会社 速度算出装置及び速度算出方法並びに衝突判定装置
KR101344056B1 (ko) 2013-09-25 2014-01-16 주식회사 피엘케이 테크놀로지 차량의 출발 정지 지원 장치 및 그 방법
US9734416B2 (en) 2015-03-23 2017-08-15 Fujitsu Limited Object detection method, information processing device, and storage medium
JP2017068700A (ja) * 2015-09-30 2017-04-06 株式会社デンソーアイティーラボラトリ 物体検出装置、物体検出方法、及びプログラム

Similar Documents

Publication Publication Date Title
US10690770B2 (en) Navigation based on radar-cued visual imaging
US10043082B2 (en) Image processing method for detecting objects using relative motion
JP6652065B2 (ja) 画像処理装置と画像処理方法
JP6095018B2 (ja) Detection and tracking of moving objects
AU2013315491B2 (en) Methods, devices and systems for detecting objects in a video
JP6151150B2 (ja) 物体検出装置及びそれを用いた車両
Xu et al. Review of machine-vision based methodologies for displacement measurement in civil structures
CN104885098B (zh) 基于移动装置的文本检测及跟踪
US9177389B2 (en) Motion vector generation apparatus and motion vector generation method
EP2710554B1 (en) Head pose estimation using rgbd camera
US7068815B2 (en) Method and apparatus for ground detection and removal in vision systems
US8325979B2 (en) Method and apparatus for detecting objects from terrestrial based mobile mapping data
US7697786B2 (en) Method and apparatus for detecting edges of an object
JP4177826B2 (ja) 画像処理装置および画像処理方法
US8238612B2 (en) Method and apparatus for vision based motion determination
US7660436B2 (en) Stereo-vision based imminent collision detection
JP5297078B2 (ja) 車両の死角における移動物体を検知するための方法、および死角検知装置
US9990736B2 (en) Robust anytime tracking combining 3D shape, color, and motion with annealed dynamic histograms
JP4899424B2 (ja) Object detection device
JP5944781B2 (ja) 移動体認識システム、移動体認識プログラム、及び移動体認識方法
JP4002919B2 (ja) 移動体高さ判別装置
US20120237114A1 (en) Method and apparatus for feature-based stereo matching
JP4406381B2 (ja) 障害物検出装置及び方法
EP2639781A1 (en) Vehicle with improved traffic-object position detection
KR101783379B1 (ko) 깊이 카메라 호환성

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110908

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130108

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130305

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130806