JP2007323596A - 移動体の衝突回避システム、プログラムおよび方法 - Google Patents

移動体の衝突回避システム、プログラムおよび方法 Download PDF

Info

Publication number
JP2007323596A
JP2007323596A JP2006156396A JP2006156396A JP2007323596A JP 2007323596 A JP2007323596 A JP 2007323596A JP 2006156396 A JP2006156396 A JP 2006156396A JP 2006156396 A JP2006156396 A JP 2006156396A JP 2007323596 A JP2007323596 A JP 2007323596A
Authority
JP
Japan
Prior art keywords
moving body
collision
obstacle
motion vector
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006156396A
Other languages
English (en)
Other versions
JP4579191B2 (ja
Inventor
Yuji Hasegawa
雄二 長谷川
Jiro Okuma
二郎 大熊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2006156396A priority Critical patent/JP4579191B2/ja
Priority to US11/810,432 priority patent/US7920719B2/en
Publication of JP2007323596A publication Critical patent/JP2007323596A/ja
Application granted granted Critical
Publication of JP4579191B2 publication Critical patent/JP4579191B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/165Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】視覚情報に基づいて障害物が接近してくる方向を検知し、障害物の接近方向に応じた行動を選択することにより、障害物との衝突を回避することができる移動体の衝突回避手法を提供する。
【解決手段】本発明は、移動体に接近する障害物との衝突を回避するための移動体の衝突回避システムを提供する。このシステムは、移動体の周囲の環境を撮像する撮像手段と、撮像手段により撮像された画像に基づいて、画像上の動きベクトルを算出する手段と、画像内の複数の画素において、動きベクトルに基づき前記障害物の衝突可能性を算出する手段と、複数の画素における衝突可能性を比較して、障害物が前記移動体へ接近する方向を判定し、該方向とは異なる方向へ移動体を移動させる状態判定手段と、を有する。
【選択図】図2

Description

本発明は、障害物との衝突を回避するための移動体の衝突回避システム、プログラムおよび方法に関し、より詳細には、ハエの視葉神経群をモデル化した複数の運動検出ユニットを用いて障害物の衝突可能性および接近方向を推定する移動体の衝突回避システム、プログラムおよび方法に関する。
移動体において、障害物に対する衝突回避は、安全に目的地に到達するために必要な機能である。これまでに、カメラ画像などの視覚情報から抽出されたオプティカルフローに基づいて、障害物との衝突を回避する手法が多く提案されている。
たとえば、特許文献1には、任意の点を中心に拡散する方向のオプティカルフローのベクトル和から、同点を中心に収縮する方向のオプティカルフローのベクトル和を差し引いた値に基づき、障害物の衝突を検知する装置が開示されている。拡散方向および収縮方向のベクトル和の差分の算出にはニューラルネットワークが適用される。
また、特許文献2には、画像内の異なる2つの選択領域において、それぞれガウスフィルタなどの空間フィルタでオプティカルフローを統合するベクトル和を算出し、これらのベクトル和の差分に基づき、接近する障害物を検出するシステムが開示されている。
特開平11−134504号 特開2003−51016号
ここで、生体の視覚情報に基づく回避行動について考えると、生体は、実世界の複雑な外環境に応じて、高速かつ適当な精度で多種多様な回避行動を実現している。移動体の衝突回避手法においても、障害物が移動体に接近してくる方向などに応じて、最適な回避行動が選択されることが望ましい。しかしながら、特許文献1または特許文献2などの従来手法では、障害物が接近してくる方向を検知する手法については開示されていない。
本発明は、視覚情報に基づいて障害物が接近してくる方向を検知し、障害物の接近方向に応じた行動を選択することにより、障害物との衝突を回避することができる移動体の衝突回避手法を提供することを目的とする。
本発明は、移動体に接近する障害物との衝突を回避するための移動体の衝突回避システムを提供する。このシステムは、移動体の周囲の環境を撮像する撮像手段と、撮像手段により撮像された画像に基づいて、画像上の動きベクトルを算出する手段と、画像内の複数の画素において、動きベクトルに基づき前記障害物の衝突可能性を算出する手段と、複数の画素における衝突可能性を比較して、障害物が前記移動体へ接近する方向を判定し、該方向とは異なる方向へ移動体を移動させる状態判定手段と、を有する。
この発明により、画像内の複数の画素において算出される衝突可能性に基づいて障害物が移動体へ接近する方向を判定することができるので、最適な行動を選択して障害物との衝突を回避することができる。
本発明の一実施形態によると、動きベクトルを算出する手段は、画面上の異なる2つの画素における明暗情報の時間的相関値を計算し、該相関値を動きベクトルとする。
本発明の一実施形態によると、障害物の衝突可能性を算出する手段は、画素の近傍において画素を中心に拡散する向きの動きベクトルに対して興奮性の反応を示し、画素から離れた位置において画素を中心に収縮する向きの動きベクトルに対して抑制性の反応を示すフィルタ関数を用いて、動きベクトルの大きさに応じた値を加算して衝突可能性を算出する。
本発明の一実施形態によると、状態判定手段は、衝突可能性のうちの1つが所定のしきい値を超えるとき、複数の画素における衝突可能性の大小関係により、障害物が前記移動体へ接近する方向を判定し、該方向に応じて予め設定された方向へ移動体を移動させる。
また、本発明は、移動体に接近する障害物との衝突を回避するためのプログラムを提供する。このプログラムは、移動体の周囲の環境を撮像する機能と、撮像機能によって撮像された画像に基づいて、画像上の動きベクトルを算出する機能と、画像内の複数の画素において、動きベクトルに基づき障害物の衝突可能性を算出する機能と、複数の画素における衝突可能性を比較して、障害物が移動体へ接近する方向を判定し、該方向とは異なる方向へ移動体を移動させる機能と、をコンピュータに実現させる。
さらに、本発明は、移動体に接近する障害物との衝突を回避するための方法を提供する。この方法は、移動体の周囲の環境を撮像するステップと、撮像するステップで撮像された画像に基づいて、画像上の動きベクトルを算出するステップと、画像内の複数の画素において、動きベクトルに基づき障害物の衝突可能性を算出するステップと、複数の画素における衝突可能性を比較して、障害物が移動体へ接近する方向を判定し、該方向とは異なる方向へ移動体を移動させるステップと、を有する。
以下、図面を参照して本発明の実施形態を説明する。図1は、本発明の一実施形態である移動体10の衝突回避システムを示す概略図である。
本実施形態では、移動体10は、自律移動が可能な小型の2輪型ロボットであり、例えば、汎用性が高く実験用の小型移動ロボットとして広く利用されているKheperaロボット(商標)である。移動体10は、CCDカメラ12などの撮像手段をその本体に備えており、CCDカメラ12によって撮像された画像に基づいて移動体10の周囲の障害物16を認識する。CCDカメラ12によって撮像された画像は、移動体10と有線または無線で接続されている衝突回避装置14へと送信される。
衝突回避装置14は、移動体10から受信した画像を分析して、障害物16が移動体10に接近している方向および衝突の可能性を推定する。衝突回避装置14は、障害物16が移動体10に衝突する可能性が高いと判定すると、障害物16の接近方向に応じて障害物16との衝突を回避するように移動命令を移動体10に与える。移動命令は、例えば図1に示すように、障害物16が正面方向(θ=0)から移動体10に接近している場合には、点線の矢印で示すような右斜め前方に移動させるように、選択的に決定されるものである。なお、衝突回避装置14は、移動体10内部に設けても良い。
図2は、本実施形態による移動体10の衝突回避システムの機能ブロック図である。衝突回避システムは、移動体10に設けられたCCDカメラ12および移動体制御部24、ならびに衝突回避装置14から構成される。さらに、衝突回避装置14は、動きベクトル算出部18、衝突可能性算出部20、および状態判定部22から構成される。
移動体10の衝突回避システムの基本的な動作は次のとおりである。
移動体10に設置されたCCDカメラ12が、移動体10の周囲の環境を撮像する。動きベクトル算出部18は、CCDカメラ12によって撮像された画像を分析して、画像内の各ピクセルにおける動きの方向に関する情報である「動きベクトル」を算出する。衝突可能性算出部20は、ハエの視葉神経群を基にしてモデル化された衝突回避モデルを用いて、画像内の複数のピクセルにおいて、障害物16が移動体10に接近および衝突する可能性を表す指標となる「衝突可能性」を算出する。状態判定部22は、算出された衝突可能性の大きさに基づき障害物16が移動体10に衝突するかどうかを判断し、複数のピクセルにおける衝突可能性を比較して、移動体10が移動すべき方向θを決定する。そして移動体制御部24が移動体10をθの方向へ移動させて、障害物16との衝突を回避する。
次に、図3を参照して、本実施形態による移動体10の衝突回避処理について説明する。図3は、移動体10の衝突回避処理を示すフローチャートである。
ステップS101において、動きベクトル算出部18が、CCDカメラ12から画像を取得する。本実施形態では、CCDカメラ12によって10ヘルツで画像がサンプリングされ、動きベクトル算出部18へ送信される。CCDカメラ12によって撮像される画像は640×480ピクセルであり、画像内の各ピクセルは0〜255のグレースケール値を持つ。これ以降、図4に示すように、画像の横方向にx軸を、縦方向にy軸をとる二次元座標を設定し、時刻tにおける座標(x, y)のピクセルのグレースケール値をi(x, y, t)と表現する。
ステップS103において、動きベクトル算出部18が、画像内の各ピクセルのグレースケール値i(x, y, t)を前処理する。本実施形態では、ガウスフィルタを適用して、各ピクセルのグレースケール値i(x, y, t)を平滑化する。時刻tにおける画面上の任意の座標(xk, yl)のピクセルのグレースケール値をi(xk, yl, t)とすると、座標(x, y)におけるガウスフィルタの出力I(x, y, t)は、次式のように表される。
Figure 2007323596
ここで、σはフィルタの空間的広がりを決定する定数である。
ステップS105において、動きベクトル算出部18が、画像の各ピクセルの動きベクトルを算出する。本実施形態では、動きベクトルを算出する手法として、ハエの光学的運動検出器のモデルとして提案されているEMD(Elementary Movement Detector)が適用される。EMDは、図5に示すような構成をとり、レセプタ間の時間的相関を計算することにより動きを検出する。
本実施形態では、EMDの2つのレセプタには、それぞれx軸方向に隣り合うピクセルにおけるガウスフィルタの出力値I(x, y, t)およびI(x+1, y, t)が入力される。
続いて、時定数τの時間遅れ成分I’(x, y, t)およびI’(x+1, y, t)が次式により算出される。
Figure 2007323596
そして、レセプタ間における時空間の相関値v(x, y, t)が次式により算出される。
Figure 2007323596
(4)式で算出された相関値v(x, y, t)は、座標(x, y)から座標(x+1, y)へ画像内の物体が移動しているとき(図4では右方向への移動)、正の値をとり、座標(x+1, y)から座標(x, y)へ画像内の物体が移動しているとき(図4の左方向)、負の値をとる。この相関値v(x, y, t)が、ピクセル(x, y)における「動きベクトル」として定義される。
なお、動きベクトルv(x, y, t)を算出する手法は、画像からピクセル単位で動作方向に関する情報が抽出できる手法であれば良く、オプティカルフローなどの従来手法を用いても良い。
図3に戻り説明を続けると、ステップS107において、衝突可能性算出部20が、動きベクトル算出部16で算出された動きベクトルに基づいて、画面上の複数のピクセルにおける「衝突可能性」を算出する。ここで、「衝突可能性」とは、障害物16が移動体10に接近および衝突する可能性を表す指標であり、その値が大きいほど障害物16が移動体10に衝突する可能性が高い。本実施形態では、衝突可能性を算出する手法として、ハエの視葉神経群を基にしてモデル化された衝突回避モデルを適用する。
衝突回避モデルは、図7に示すように、画像上に複数の受容野ユニットを配置し、受容野ユニットのそれぞれの中心に位置するピクセル(xc1, yc1)、(xc2, yc2)、(xc3, yc3)の衝突可能性を算出する。受容野ユニットは、図6(c)に示すようなメキシカンハット型のフィルタである。フィルタの中心近傍(図7のLEで示す部分)で興奮性の反応を示し、逆に中心から離れたところ(図7のLCで示す部分)では抑制性の反応を示す。
本実施形態では、受容野ユニットは、分散の異なる2つのガウスフィルタを組み合わせて実現される。受容野ユニットは、拡散方向の動きに対して反応を示すガウスフィルタF(t)と、収縮方向の動きに対して反応を示すガウスフィルタC(t)から構成される。
受容野ユニットの中心となるピクセルの座標を(xc, yc)とすると、障害物16の接近に対して反応を示すガウスフィルタF(t)への入力Ve(x, y, t)は、動きベクトルv(x, y, t)およびピクセルの座標に応じて、次式のように求められる。
Figure 2007323596
ピクセル(xc, yc)におけるガウスフィルタF(t)の出力は、次式のように算出される。
Figure 2007323596
ここで、σeは、動きベクトルを統合する際の空間的広がりを決定する定数である。
(6)式のガウスフィルタF(t)では、ピクセル(xc, yc)からの距離に応じて、入力Ve(x, y, t)に乗ずるゲインが決められる。(6)式のガウスフィルタのゲインは、ピクセル(xc, yc)からの距離に応じて、例えば図6(a)に示すような値をとる。
続いて、障害物16が遠ざかるのに対して反応を示すガウスフィルタC(t)への入力Vc(x, y, t)は、動きベクトルv (x, y, t)およびピクセルの座標に応じて、次式のように求められる。
Figure 2007323596
ピクセル(xc, yc)におけるガウスフィルタC(t)の出力は、次式のように算出される。
Figure 2007323596
ここで、σcは、動きベクトルを統合する際の空間的広がりを決定する定数である。
(8)式のガウスフィルタでは、ピクセル(xc, yc)からの距離に応じて、入力Vc(x, y, t)に乗ずるゲインが決まる。(8)式のガウスフィルタのゲインは、ピクセル(xc, yc)からの距離に応じて、例えば図6(b)に示すような値をとる。
最後に、これら2つのフィルタの差分をとり、受容野ユニットO(t)を導出する。
O(t)=F(t)−a・C(t) (9)
ここで、aは0<a<1の定数である。
このように導出された本実施形態の受容野ユニットO(t)は図6(c)に示すようなメキシカンハット型のフィルタとなる。受容野ユニットO(t)は、フィルタの中心となるピクセル(xc, yc)の近傍(LE)では、ピクセル(xc, yc)から拡散する方向の動きベクトルに対して興奮性の反応を示し、その周囲(LC)では、ピクセル(xc, yc)へ収縮する方向の動きベクトルに対して抑制性の反応を示す。
なお、受容野ユニットは、図3(c)に示すようにメキシカンハット型の形状をとるように設計されていれば良いので、ガウスフィルタ以外の他の手法を用いて受容野ユニットを設計しても良い。
本実施形態における衝突回避モデルでは、図7に示すように、(5)式〜(9)式にしたがって導出された受容野ユニットがx軸方向に水平となるように3個配置される。そして、各受容野ユニットの中心となるピクセル(xc1, yc1)、(xc2, yc2)、(xc3, yc3)におけるユニット出力O1(t)、O2(t)、O3(t)が算出され、これらの値が各ピクセル(xc1, yc1)、(xc2, yc2)、(xc3, yc3)における「衝突可能性」と定義される。
図3に戻り説明を続けると、ステップS109において、状態判定部22が、受容野ユニットの出力O1(t)、O2(t)、O3(t)のうちのいずれかがしきい値(例えば0.02)以上かどうかを判定する。ユニット出力O1(t)、O2(t)、O3(t)のいずれかがしきい値以上のとき、障害物16が移動体10と衝突する可能性が高いと判断され、ステップS111に進む。ユニット出力O1(t)、O2(t)、O3(t)のすべてがしきい値より小さいとき、障害物16の衝突の可能性がまだ低いので回避行動をとる必要がないと判断され、処理を終了する。
ステップS111において、状態判定部22が、受容野ユニットの出力O1(t)、O2(t)、O3(t)を比較して、移動体10の移動する方向を決定する。状態判定部20は、例えば、以下のような条件にしたがって、移動体が障害物との衝突を回避するために移動する方向θを選択する。ここで、θは図1に示したように正面方向をθ=0とし、正面から時計回り方向を正方向とする。
Figure 2007323596
ここで、条件式(10)は、受容野ユニットの出力O1(t)、O2(t)、O3(t)のうち、最小の値をとるユニットの方向へ移動体10の移動方向θを選択するように設定されている。つまり、障害物16と衝突する可能性が最も低い方向へ移動体10を移動させるような回避行動が実現される。
そして、ステップS113において、移動体10をステップS111で決定された角度方向に移動させて、障害物16との衝突を回避する。
次に、図8を参照して、本実施形態による衝突回避システムの実験結果について説明する。
図8は、障害物16が正面(θ=0)から移動体10に接近したときの、各受容野ユニットの出力O1(t)、O2(t)、O3(t)の推移を示すグラフである。グラフの横軸は衝突までの時間を表しており、時刻0で衝突し、時刻―1は衝突の1秒前、時刻―2は衝突の2秒前を示す。この「衝突までの時間」は、障害物16の移動速度および移動体までの距離に応じて検証用にあらかじめ導出されたものである。グラフの縦軸は、受容野ユニットの出力を表す。
図8を参照すると、衝突の1秒強前の時点において、画像の中央に配置された受容野ユニットの出力O2がしきい値を超える。図3のステップS109を参照すると、状態判定部22は、この時点で障害物16が移動体10と衝突する可能性が高いと判定する。
そして、図3のステップS111で示した条件式(10)に基づいて移動体10の移動方向θが決定される。この時点の受容野ユニットの出力O1(t)、O2(t)、O3(t)の大小関係は、O3(t)<O1(t)かつO3(t)<O2(t)なので、状態判定部22は、障害物16との衝突の可能性が最も低い受容野ユニットO3(t)の方向、すなわち右斜め前方45度の方向を移動体10の移動方向θとして選択する。そして、移動体10は、選択された移動方向に移動して、障害物16との衝突を回避する。
このように、本発明により、画像内の複数のピクセルにおいて障害物16が移動体10と衝突する可能性O1(t)、O2(t)、O3(t)が算出され、これら複数の衝突可能性O1(t)、O2(t)、O3(t)に基づいて障害物が移動体へ接近している方向が判定されるので、移動体10は最適な移動方向θを選択して障害物16との衝突を回避することができる。
以上、本発明の実施の形態について本発明はこのような実施形態に限定されることはなく、本発明の趣旨を逸脱しない範囲において改変して用いることができる。
上述の実施形態では、障害物16が移動体10に接近してくる場合について説明したが、これと同様に、移動体10が固定された障害物に向かって移動する場合や、移動体10および障害物16が共に移動する場合においても、本発明による衝突回避手法は適用可能である。
また、上述の実施形態では、移動体10の具体例として小型移動ロボットを挙げて説明したが、本発明の移動体10は小型移動ロボットに限定されることはなく、例えば、二足歩行ロボットまたは自動車を用いることも可能である。
本発明の一実施形態である移動体の衝突回避システムを示す概略図である。 本実施形態による移動体の衝突回避システムの機能ブロック図である。 移動体の衝突回避処理を示すフローチャートである。 CCDカメラから取得する画像情報の概念図である。 動きベクトル算出部で適用するEMDの構成図である。 衝突可能性算出部で適用する衝突回避モデルを構成する受容野ユニットの特性を示す図である。 衝突可能性算出部で適用する衝突回避モデルの構成図である。 障害物が正面(θ=0)から移動体に接近したときの、各受容野ユニットの出力O1(t)、O2(t)、O3(t)の推移を示すグラフである。
符号の説明
10 移動体
12 CCDカメラ(撮像手段)
18 動きベクトル算出部
20 衝突可能性算出部
22 状態判定部
24 移動体制御部

Claims (6)

  1. 移動体に接近する障害物との衝突を回避するための移動体の衝突回避システムであって、
    前記移動体の周囲の環境を撮像する撮像手段と、
    前記撮像手段により撮像された画像に基づいて、画像上の動きベクトルを算出する手段と、
    前記画像内の複数の画素において、前記動きベクトルに基づき前記障害物の衝突可能性を算出する手段と、
    前記複数の画素における衝突可能性を比較して、前記障害物が前記移動体へ接近する方向を判定し、該方向とは異なる方向へ前記移動体を移動させる状態判定手段と、
    を有する移動体の衝突回避システム。
  2. 前記動きベクトルを算出する手段は、前記画面上の異なる2つの画素における明暗情報の時間的相関値を計算し、該相関値を動きベクトルとする、請求項1に記載の移動体の衝突回避システム。
  3. 前記障害物の衝突可能性を算出する手段は、前記画素の近傍において前記画素を中心に拡散する向きの動きベクトルに対して興奮性の反応を示し、前記画素から離れた位置において前記画素を中心に収縮する向きの動きベクトルに対して抑制性の反応を示すフィルタ関数を用いて、前記動きベクトルの大きさに応じた値を加算して前記衝突可能性を算出する、請求項1に記載の移動体の衝突回避システム。
  4. 前記状態判定手段は、前記衝突可能性のうちの1つが所定のしきい値を超えるとき、前記複数の画素における衝突可能性の大小関係により、前記障害物が前記移動体へ接近する方向を判定し、該方向に応じて予め設定された方向へ前記移動体を移動させる、請求項1に記載の移動体の衝突回避システム。
  5. 移動体に接近する障害物との衝突を回避するためのプログラムであって、
    前記移動体の周囲の環境を撮像する機能と、
    前記撮像機能によって撮像された画像に基づいて、画像上の動きベクトルを算出する機能と、
    前記画像内の複数の画素において、前記動きベクトルに基づき前記障害物の衝突可能性を算出する機能と、
    前記複数の画素における衝突可能性を比較して、前記障害物が前記移動体へ接近する方向を判定し、該方向とは異なる方向へ前記移動体を移動させる機能と、
    をコンピュータに実現させるためプログラム。
  6. 移動体に接近する障害物との衝突を回避するための方法であって、
    前記移動体の周囲の環境を撮像するステップと、
    前記撮像するステップで撮像された画像に基づいて、画像上の動きベクトルを算出するステップと、
    前記画像内の複数の画素において、前記動きベクトルに基づき前記障害物の衝突可能性を算出するステップと、
    前記複数の画素における衝突可能性を比較して、前記障害物が前記移動体へ接近する方向を判定し、該方向とは異なる方向へ前記移動体を移動させるステップと、
    を有する方法。
JP2006156396A 2006-06-05 2006-06-05 移動体の衝突回避システム、プログラムおよび方法 Expired - Fee Related JP4579191B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006156396A JP4579191B2 (ja) 2006-06-05 2006-06-05 移動体の衝突回避システム、プログラムおよび方法
US11/810,432 US7920719B2 (en) 2006-06-05 2007-06-05 Collision avoidance of a mobile unit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006156396A JP4579191B2 (ja) 2006-06-05 2006-06-05 移動体の衝突回避システム、プログラムおよび方法

Publications (2)

Publication Number Publication Date
JP2007323596A true JP2007323596A (ja) 2007-12-13
JP4579191B2 JP4579191B2 (ja) 2010-11-10

Family

ID=38856325

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006156396A Expired - Fee Related JP4579191B2 (ja) 2006-06-05 2006-06-05 移動体の衝突回避システム、プログラムおよび方法

Country Status (2)

Country Link
US (1) US7920719B2 (ja)
JP (1) JP4579191B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101105139B1 (ko) 2008-08-29 2012-01-16 가부시키가이샤 히타치세이사쿠쇼 자율 이동 로봇 장치 및 이러한 장치에 있어서의 튀어나옴 충돌 회피 방법
JP2014502393A (ja) * 2010-11-26 2014-01-30 トムソン ライセンシング 判定方法及び判定装置
JP2016224603A (ja) * 2015-05-28 2016-12-28 シャープ株式会社 自律走行装置
JP2017516670A (ja) * 2014-06-05 2017-06-22 ソフトバンク・ロボティクス・ヨーロッパSoftbank Robotics Europe 衝突回避および軌道復帰能力を有する人型ロボット
CN115167411A (zh) * 2022-07-01 2022-10-11 安徽机电职业技术学院 一种移动机器人的局部路径优化方法及系统

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007032540B4 (de) * 2007-07-12 2015-05-21 Siemens Aktiengesellschaft Verfahren zum Steuern der Bewegung eines beweglichen Teils eines Röntgenbildaufnahmesystems sowie mit Videokameras gekoppeltes Röntgenbildaufnahmesystem
JP4328819B2 (ja) * 2007-11-30 2009-09-09 本田技研工業株式会社 移動装置およびその制御プログラム
JP4577697B2 (ja) * 2007-11-30 2010-11-10 本田技研工業株式会社 移動装置および移動装置システム
JP5215740B2 (ja) * 2008-06-09 2013-06-19 株式会社日立製作所 移動ロボットシステム
EP2159779B1 (en) * 2008-08-27 2013-01-16 Saab Ab Using image sensor and tracking filter time-to-go to avoid mid-air collisions
TWI404918B (zh) * 2009-03-26 2013-08-11 Univ Yuan Ze 行動載具適應型障礙物閃避之路徑規劃方法
US8866901B2 (en) * 2010-01-15 2014-10-21 Honda Elesys Co., Ltd. Motion calculation device and motion calculation method
CN102765365B (zh) * 2011-05-06 2014-07-30 香港生产力促进局 基于机器视觉的行人检测方法及行人防撞预警系统
WO2018039134A1 (en) 2016-08-22 2018-03-01 Peloton Technology, Inc. Automated connected vehicle control system architecture
US10474166B2 (en) 2011-07-06 2019-11-12 Peloton Technology, Inc. System and method for implementing pre-cognition braking and/or avoiding or mitigation risks among platooning vehicles
US20170242443A1 (en) 2015-11-02 2017-08-24 Peloton Technology, Inc. Gap measurement for vehicle convoying
US10520581B2 (en) 2011-07-06 2019-12-31 Peloton Technology, Inc. Sensor fusion for autonomous or partially autonomous vehicle control
US9582006B2 (en) 2011-07-06 2017-02-28 Peloton Technology, Inc. Systems and methods for semi-autonomous convoying of vehicles
KR101880998B1 (ko) * 2011-10-14 2018-07-24 삼성전자주식회사 이벤트 기반 비전 센서를 이용한 동작 인식 장치 및 방법
US11294396B2 (en) 2013-03-15 2022-04-05 Peloton Technology, Inc. System and method for implementing pre-cognition braking and/or avoiding or mitigation risks among platooning vehicles
CN103279741B (zh) * 2013-05-20 2016-07-06 大连理工大学 一种基于车载红外图像的行人预警系统及其工作方法
US9452530B2 (en) * 2014-09-12 2016-09-27 Toyota Jidosha Kabushiki Kaisha Robot motion replanning based on user motion
EP3465371A4 (en) 2016-05-31 2019-12-18 Peloton Technology Inc. STATE MACHINE FOR PLATOON REGULATOR
US10369998B2 (en) 2016-08-22 2019-08-06 Peloton Technology, Inc. Dynamic gap control for automated driving
CN107067408B (zh) * 2017-04-11 2020-01-31 广西科技大学 模拟人眼微动的图像轮廓检测方法
CN107742302B (zh) * 2017-11-13 2019-12-31 广西科技大学 基于初级视皮层多尺度轮廓融合的轮廓检测方法
WO2019126657A1 (en) * 2017-12-21 2019-06-27 Magna International Inc. Safety control module for a robot assembly and method of same

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03135676A (ja) * 1989-10-20 1991-06-10 Sanyo Electric Co Ltd 衝突検知システム
JPH0434664A (ja) * 1990-05-31 1992-02-05 Sanyo Electric Co Ltd 衝突回避制御システム
JPH10513288A (ja) * 1995-01-24 1998-12-15 ミネソタ マイニング アンド マニュファクチャリング カンパニー 機械視認式交通検知に用いる自動式車線識別
JPH11353565A (ja) * 1998-06-09 1999-12-24 Yazaki Corp 車両用衝突警報方法及び装置
JP2003067752A (ja) * 2001-08-28 2003-03-07 Yazaki Corp 車両周辺監視装置
JP2005209019A (ja) * 2004-01-23 2005-08-04 Toshiba Corp 障害物検出装置、方法及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100224752B1 (ko) * 1997-06-11 1999-10-15 윤종용 표적 추적 방법 및 장치
JP3886618B2 (ja) 1997-10-28 2007-02-28 本田技研工業株式会社 動画像処理方法
DE10118707A1 (de) * 2001-04-12 2002-10-17 Bosch Gmbh Robert Verfahren zur Kollisionsverhinderung bei Kraftfahrzeugen
JP4162910B2 (ja) 2001-05-11 2008-10-08 本田技研工業株式会社 接近検出装置、接近検出方法、及び接近検出プログラム
JP4480299B2 (ja) * 2001-06-21 2010-06-16 富士通マイクロエレクトロニクス株式会社 移動体を含む画像の処理方法及び装置
US6691034B1 (en) * 2002-07-30 2004-02-10 The Aerospace Corporation Vehicular trajectory collision avoidance maneuvering method
US7117090B2 (en) * 2003-08-28 2006-10-03 Siemens Aktiengesellschaft Moving vehicle in cuboidal panorama

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03135676A (ja) * 1989-10-20 1991-06-10 Sanyo Electric Co Ltd 衝突検知システム
JPH0434664A (ja) * 1990-05-31 1992-02-05 Sanyo Electric Co Ltd 衝突回避制御システム
JPH10513288A (ja) * 1995-01-24 1998-12-15 ミネソタ マイニング アンド マニュファクチャリング カンパニー 機械視認式交通検知に用いる自動式車線識別
JPH11353565A (ja) * 1998-06-09 1999-12-24 Yazaki Corp 車両用衝突警報方法及び装置
JP2003067752A (ja) * 2001-08-28 2003-03-07 Yazaki Corp 車両周辺監視装置
JP2005209019A (ja) * 2004-01-23 2005-08-04 Toshiba Corp 障害物検出装置、方法及びプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101105139B1 (ko) 2008-08-29 2012-01-16 가부시키가이샤 히타치세이사쿠쇼 자율 이동 로봇 장치 및 이러한 장치에 있어서의 튀어나옴 충돌 회피 방법
JP2014502393A (ja) * 2010-11-26 2014-01-30 トムソン ライセンシング 判定方法及び判定装置
JP2017516670A (ja) * 2014-06-05 2017-06-22 ソフトバンク・ロボティクス・ヨーロッパSoftbank Robotics Europe 衝突回避および軌道復帰能力を有する人型ロボット
JP2016224603A (ja) * 2015-05-28 2016-12-28 シャープ株式会社 自律走行装置
CN115167411A (zh) * 2022-07-01 2022-10-11 安徽机电职业技术学院 一种移动机器人的局部路径优化方法及系统

Also Published As

Publication number Publication date
US20080033649A1 (en) 2008-02-07
US7920719B2 (en) 2011-04-05
JP4579191B2 (ja) 2010-11-10

Similar Documents

Publication Publication Date Title
JP4579191B2 (ja) 移動体の衝突回避システム、プログラムおよび方法
US9129154B2 (en) Gesture recognition apparatus, robot system including the same and gesture recognition method using the same
CN109074652B (zh) 图像识别装置、移动体装置以及图像识别程序
JP6141079B2 (ja) 画像処理システム、画像処理装置、それらの制御方法、及びプログラム
KR100920931B1 (ko) Tof 카메라를 이용한 로봇의 물체 자세 인식 방법
JP2018522348A (ja) センサーの3次元姿勢を推定する方法及びシステム
JP7447302B2 (ja) デバイスのハンドジェスチャベースの制御のための方法及びシステム
JP5001930B2 (ja) 動作認識装置及び方法
JP2010063001A (ja) 人物追跡装置および人物追跡プログラム
US20150156471A1 (en) Method and device for processing stereoscopic data
WO2022014252A1 (ja) 情報処理装置および情報処理方法
JP2018078514A (ja) 撮像装置及び自動制御システム
Utaminingrum et al. Development of computer vision based obstacle detection and human tracking on smart wheelchair for disabled patient
JP5839796B2 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP4235018B2 (ja) 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム
JP7104611B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP5082955B2 (ja) 車両検出装置および方法、並びに、プログラム
JP6577595B2 (ja) 車両用外界認識装置
JP2023518284A (ja) デバイスのハンドジェスチャベースの制御のための方法及びシステム
JP2021092996A (ja) 計測システム、車両、計測方法、計測装置及び計測プログラム
JP4946535B2 (ja) 画像認識装置
JP2008257399A (ja) 画像処理装置
JP2019191691A (ja) 画像処理装置、移動装置、および方法、並びにプログラム
WO2022153599A1 (ja) 情報処理装置および情報処理方法
WO2022097489A1 (ja) 画像処理装置、画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100824

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100825

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130903

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4579191

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140903

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees