JP2012018637A - 衝突時間算出装置、衝突時間算出方法及びプログラム - Google Patents

衝突時間算出装置、衝突時間算出方法及びプログラム Download PDF

Info

Publication number
JP2012018637A
JP2012018637A JP2010157182A JP2010157182A JP2012018637A JP 2012018637 A JP2012018637 A JP 2012018637A JP 2010157182 A JP2010157182 A JP 2010157182A JP 2010157182 A JP2010157182 A JP 2010157182A JP 2012018637 A JP2012018637 A JP 2012018637A
Authority
JP
Japan
Prior art keywords
time
point
image
vehicle
optical flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010157182A
Other languages
English (en)
Other versions
JP5418427B2 (ja
Inventor
Tokihiko Akita
時彦 秋田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Priority to JP2010157182A priority Critical patent/JP5418427B2/ja
Priority to PCT/JP2011/065830 priority patent/WO2012005377A1/ja
Publication of JP2012018637A publication Critical patent/JP2012018637A/ja
Application granted granted Critical
Publication of JP5418427B2 publication Critical patent/JP5418427B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】適切なタイミングで、ドライバーに警報を発する。
【解決手段】自車に接近する接近車両についてのオプティカルフローを用いて、接近車両が、自車に搭載された撮影装置２０の光学中心を含む面に到達するまでの到達時間を算出する。そして、この到達時間に基づいて、接近車両が自車に衝突するまでの衝突予測時間を算出する。この衝突予測時間は、接近車両が自車から離れていても、接近車両の移動軌跡を示すベクトルの大きさと、オプティカルフローの大きさとの間に生じる誤差の影響を大きく受けることなく算出される。したがって、事前に自車と接近車両とが衝突するまでの衝突予測時間を算出することで、適切なタイミングで、ドライバーに衝突を回避するための警報を発することが可能となる。
【選択図】図１

Description

本発明は、衝突時間算出装置、衝突時間算出方法及びプログラムに関し、更に詳しくは、接近する物体と衝突するまでの衝突予測時間を算出する衝突時間算出装置、接近する物体と衝突するまでの衝突予測時間を算出するための衝突時間算出方法及びプログラムに関する。
近年、車内に設置されたカメラから出力される画像に基づいて、自車に接近する車両などの物体を検出する運転支援システムの実用化が進められている。この種の運転支援システムは、画像に含まれる特徴点の時系列的な位置変化を示すベクトル（オプティカルフロー）の大きさに基づいて、自車に接近する物体を検出する（例えば特許文献１及び２参照）。
特開平１１−２５９６３４号公報 特開平９−０１８８６３号公報
特許文献１及び２に記載された装置は、自車と自車に接近する物体との位置関係に相関のある、オプティカルフローの大きさの平均値を常時監視する。そして、オプティカルフローの大きさの平均値が閾値を超えた場合に、ドライバーに警報を発する。
オプティカルフローは、実際に存在する物体の特徴的な部分に対応する画像上の点（特徴点）の軌跡を表すものである。このため、自車と物体との位置関係によっては、画像上の特徴点の軌跡と、実世界での特徴的な部分の軌跡との間に誤差が生じる場合がある。このため、上述の装置では、警報を発するタイミングが不安定になることが考えられる。
本発明は、上述の事情の下になされたもので、適切なタイミングで、ドライバーに警報を発することを目的とする。
上記目的を達成するために、本発明の第１の観点に係る衝突時間算出装置は、
車両に搭載された撮影手段によって撮影された第１画像に含まれる第１特徴点と、第２画像に含まれる、前記第１特徴点に対応する第２特徴点とを抽出する抽出手段と、
前記第１特徴点を始点とし、前記第２特徴点を終点とするオプティカルフローの大きさと、前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間とに基づいて、前記撮影手段の視野内にある物体が前記車両に衝突するまでの第１予測時間を算出する予測手段と、
を備える。
前記予測手段は、
前記撮影手段の光学中心を含み、前記撮影手段の光軸に垂直な第１面に、前記物体が衝突するまでの第２予測時間を用いて、前記第１予測時間を算出することとしてもよい。
また、前記予測手段は、
前記オプティカルフローの消失点と前記オプティカルフローの始点までの距離と、前記オプティカルフローの大きさとの比を用いて、前記第２予測時間を算出することとしてもよい。
また、前記予測手段は、
前記車両の最前の点を含み、前記撮影手段の光軸と直交する第２面と、前記第１面との距離を用いて、前記第１予測時間を算出することとしてもよい。
また、前記予測手段は、
前記車両の前記特徴点に対応する部分と、前記第１面との距離を用いて、前記第１予測時間を算出することとしてもよい。
また、前記予測手段は、
前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間をΔｔとし、前記オプティカルフローの消失点と前記オプティカルフローの始点までの距離をｘ２とし、前記オプティカルフローの消失点と前記オプティカルフローの終点までの距離をｘ１として、
次式を用いて、前記第２予測時間ＴＴＣｃを算出することとしてもよい。
Figure 2012018637
また、前記予測手段は、
前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間をΔｔとし、前記第１面に含まれるＸＹ座標系における前記消失点のＸ座標をｘｖｐとし、前記オプティカルフローの始点のＸ座標をｘ１とし、前記オプティカルフローの終点のＸ座標をｘ２とし、前記撮影手段の焦点距離をｆとして、
次式に示される近似式を用いて、前記第２予測時間ＴＴＣｃを算出することとしてもよい。
Figure 2012018637
また、前記予測手段は、
前記第２予測時間をＴＴＣｃとし、前記第１面と、前記車両の最前の点を含み前記撮影手段の光軸と直交する第２面との距離をＬとし、前記車両の前記特徴点に対応する部分と前記第１面との距離をＺ１として、
次式を用いて、前記第１予測時間ＴＴＣを算出することとしてもよい。
Figure 2012018637
また、前記予測手段は、
前記撮影手段の焦点距離をｆとし、前記画像を構成する画素の配列間隔をδとし、前記車両が走行する路面と前記撮影手段との距離をｈとし、前記画像における前記消失点と前記路面との距離をｙｂとして、
次式を用いて、前記距離Ｚ１を算出することとしてもよい。
Figure 2012018637
また、前記予測手段は、
前記車両の幅をＷＶとし、前記画像における前記車両の幅をｗｖとし、前記画像の幅をｗｃとし、前記画像に対応する前記撮影手段の視野角をＦＯＶとして、
次式を用いて、前記距離Ｚ１を算出することとしてもよい。
Figure 2012018637
本発明の第２の観点に係る衝突時間算出方法は、
車両に搭載された撮影手段によって撮影された、第１画像に含まれる第１特徴点を抽出する第１工程と、
前記撮影手段によって撮影された、第２画像に含まれる、前記第１特徴点に対応する第２特徴点を抽出する第２工程と、
前記第１特徴点を始点とし、前記第２特徴点を終点とするオプティカルフローの大きさと、前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間とに基づいて、前記撮影手段の視野内にある物体が前記車両に衝突するまでの第１予測時間を算出する第３工程と、
を含む。
前記第３工程では、
前記撮影手段の光学中心を含み、前記撮影手段の光軸に垂直な第１面に、前記物体が衝突するまでの第２予測時間を更に用いて、前記第１予測時間を算出することとしてもよい。
衝突時間算出方法は、
前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間をΔｔとし、前記オプティカルフローの消失点と前記オプティカルフローの始点までの距離をｘ２とし、前記オプティカルフローの消失点と前記オプティカルフローの終点までの距離をｘ１として、
次式を用いて、前記第２予測時間ＴＴＣｃを算出する工程を含むこととしてもよい。
Figure 2012018637
また、衝突時間算出方法は、
前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間をΔｔとし、前記第１面に含まれるＸＹ座標系における前記消失点のＸ座標をｘｖｐとし、前記オプティカルフローの始点のＸ座標をｘ１とし、前記オプティカルフローの終点のＸ座標をｘ２とし、前記撮影手段の焦点距離をｆとして、
次式に示される近似式を用いて、前記第２予測時間ＴＴＣｃを算出する工程を含むこととしてもよい。
Figure 2012018637
前記第３工程では、
前記第２予測時間をＴＴＣｃとし、前記第１面と、前記車両の最前の点を含み、前記撮影手段の光軸と直交する第２面との距離をＬとし、前記車両の前記特徴点に対応する部分と前記第１面との距離をＺ１として、
次式を用いて、前記第１予測時間ＴＴＣを算出することとしてもよい。
Figure 2012018637
本発明の第３の観点に係るプログラムは、
コンピュータに、
車両に搭載された撮影手段によって撮影された、第１画像に含まれる第１特徴点を抽出する第１手順と、
前記撮影手段によって撮影された、第２画像に含まれる、前記第１特徴点に対応する第２特徴点を抽出する第２手順と、
前記第１特徴点を始点とし、前記第２特徴点を終点とするオプティカルフローの大きさと、前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間とに基づいて、前記撮影手段の視野内にある物体が前記車両に衝突するまでの第１予測時間を算出する第３手順と、
を実行させる。
前記第３手順では、
前記撮影手段の光学中心を含み、前記撮影手段の光軸に垂直な第１面に、前記物体が衝突するまでの第２予測時間を更に用いて、前記第１予測時間を算出することとしてもよい。
本プログラムは、
前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間をΔｔとし、前記オプティカルフローの消失点と前記オプティカルフローの始点までの距離をｘ２とし、前記オプティカルフローの消失点と前記オプティカルフローの終点までの距離をｘ１として、
コンピュータに、
次式を用いて、前記第２予測時間ＴＴＣｃを算出する手順を実行させることとしてもよい。
Figure 2012018637
本プログラムは、
前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間をΔｔとし、前記第１面に含まれるＸＹ座標系における前記消失点のＸ座標をｘｖｐとし、前記オプティカルフローの始点のＸ座標をｘ１とし、前記オプティカルフローの終点のＸ座標をｘ２とし、前記撮影手段の焦点距離をｆとして、
コンピュータに、
次式に示される近似式を用いて、前記第２予測時間ＴＴＣｃを算出する手順を実行させることとしてもよい。
Figure 2012018637
前記第３手順では、
前記第２予測時間をＴＴＣｃとし、前記第１面と、前記車両の最前の点を含み、前記撮影手段の光軸と直交する第２面との距離をＬとし、前記車両の前記特徴点に対応する部分と前記第１面との距離をＺ１として、
次式を用いて、前記第１予測時間ＴＴＣを算出することとしてもよい。
Figure 2012018637
本発明によれば、車両に対して相対的に移動する物体が、撮影装置の光学中心を含む面に到達するまでの時間に基づいて、物体が車両に衝突するまでの衝突予測時間が算出される。この衝突予測時間は、車両と物体とが離れていても、誤差の影響を大きく受けることなく算出することができる。したがって、この衝突予測時間に基づいて、適切なタイミングでドライバーに警報を発することが可能となる。
第１の実施形態に係る衝突時間算出システムのブロック図である。 撮影装置の取り付け位置を説明するための図である。 自車と接近車両との相対的な位置関係を示す図である。 撮影装置によって撮影された画像を示す図（その１）である。 撮影装置によって撮影された画像を示す図（その２）である。 オプティカルフローを示す図である。 衝突予測時間を算出するための処理を説明するための図である。 第２の実施形態における、自車と接近車両との相対的な位置関係を示す図である。 オプティカルフローを示す図である。 衝突予測時間を算出するための処理を説明するための図である。 第３の実施形態に係る衝突時間算出システムのブロック図である。 衝突時間算出装置の動作を説明するためのフローチャートである。
《第１の実施形態》
以下、本発明の第１の実施形態を、図面を参照しつつ説明する。図１は本実施形態に係る衝突時間算出システム１０の概略的な構成を示すブロック図である。衝突時間算出システム１０は、自車に接近する接近車両などの物体が、自車に衝突するまでの時間を算出するシステムである。この衝突時間算出システム１０は、図１に示されるように、撮影装置２０と、衝突時間算出装置３０とを有している。
撮影装置２０は、被写体を撮影することにより取得した画像を、電気信号に変換して出力する装置である。撮影装置２０は、例えば図２に示されるように、車両１００のフロントウインド上部に取り付けられている。この撮影装置２０は、車両１００の前方を撮影する。そして、撮影により取得した画像に関する情報を衝突時間算出装置３０へ出力する。
図３は、車両１００と車両１０１との相対的な位置関係を示す図である。例えば、車両１００の前方を走行する車両１０１が、車両１００に相対的に接近している場合を考える。図３を参照するとわかるように、矢印ａ１に示される位置にある車両１０１は、所定の時間が経過すると矢印ａ２に示される位置に相対的に移動する。この場合には、撮影装置２０によって、まず矢印ａ１に示される位置にある車両１０１が撮影され、次に矢印ａ２に示される位置にある車両１０１が撮影される。
図４は、矢印ａ１に示される位置にある車両１０１を撮影することにより得られた画像ＰＨ１を示す図である。また、図５は、矢印ａ２に示される位置にある車両１０１を撮影することにより得られた画像ＰＨ２を示す図である。撮影装置２０は、画像ＰＨ１，ＰＨ２を撮影すると、画像ＰＨ１，ＰＨ２に関する情報を、衝突時間算出装置３０へ出力する。
本実施形態では、上述の画像ＰＨ１，ＰＨ２について、撮影装置２０の光学中心に対応する点（撮影装置２０の光軸とその画像面との交点である画像中心）を原点Ｘｃ（ＦＯＥ：Focus of Expansion）とするｘｙ座標系を定義する。このｘｙ座標系の原点Ｘｃは、画像ＰＨ１，ＰＨ２の中心と一致する。
図１に戻り、衝突時間算出装置３０は、撮影装置２０から出力される画像（例えば画像ＰＨ１，ＰＨ２）に基づいて、自車（車両１００）に対して相対的に接近する接近車両（車両１０１）などが、自車に衝突するまでの時間を算出する装置である。図１に示されるように、衝突時間算出装置３０は、記憶部３１、特徴点抽出部３２、相関値演算部３３、オプティカルフロー規定部３４、グルーピング処理部３５、衝突予測時間算出部３６を有している。
記憶部３１は、撮影装置２０から順次出力される画像に関する情報を時系列的に記憶する。また、上記各部３２〜３６の処理結果としての情報を順次記憶する。
特徴点抽出部３２は、記憶部３１に記憶された画像を構成する画素それぞれについての特徴量を算出する。そして、この特徴量に基づいて画像に含まれる特徴点を抽出する。例えば、図４に示されるように、画像ＰＨ１上に規定されたｘｙ座標系で示される画素Ｍ（ｘ、ｙ）の特徴量ｆ（ｘ、ｙ）は、画像の輝度勾配を示す関数Ｉ（ｘ、ｙ）を用いると次式（１）によって表される。
Figure 2012018637
ただし、Ｉｘｘ、Ｉｙｙ、Ｉｘｙはそれぞれ次式（２）〜（３）によってそれぞれ表される。また、ｋは定数である。
Figure 2012018637
Figure 2012018637
Figure 2012018637
特徴点抽出部３２は、まず、式（１）を用いて画像ＰＨ１を構成する画素Ｍ（ｘ、ｙ）に対する特徴量ｆ（ｘ、ｙ）をそれぞれ算出する。次に、特徴点抽出部３２は、画素Ｍ（ｘ、ｙ）の周囲にある画素の輝度の平均値ＡＶＧ（ｘ、ｙ）を算出し、特徴量ｆ（ｘ、ｙ）を、輝度の平均値ＡＶＧ（ｘ、ｙ）を４乗したもので除する。特徴点抽出部３２は、これにより得られた比較値Ｖ（＝ｆ（ｘ、ｙ）／ＡＶＧ（ｘ、ｙ）４）を、予め設定された閾値と比較して、比較値Ｖが閾値以上の場合に、このときの画素Ｍ（ｘ、ｙ）を特徴点として抽出する。ここで、特徴量ｆ（ｘ、ｙ）を輝度の平均値ＡＶＧ（ｘ、ｙ）を４乗したもので除する理由は、特徴量ｆ（ｘ、ｙ）を輝度に関して正規化するためである。
図４には、画像ＰＨ１から抽出された車両１０１に関連する特徴点Ｐ１，Ｐ２，Ｐ３，Ｐ４が示されている。また、図５には、画像ＰＨ２から抽出された特徴点Ｑ１，Ｑ２，Ｑ３，Ｑ４が示されている。画像ＰＨ１及び画像ＰＨ２を参照するとわかるように、特徴点抽出部３２は、画像ＰＨ１，ＰＨ２に写り込んだ車両１０１の輪郭が急峻に変化する不連続点や、車両１０１を構成するパーツの形状が不連続に変化する点などを特徴点として抽出する。
特徴点抽出部３２は、画像ＰＨ１，ＰＨ２についての特徴点の抽出が完了すると、抽出した特徴点に関する情報を記憶部３１へ出力するとともに、特徴点の抽出が完了したことを相関値演算部３３へ通知する。なお、ここでは説明の便宜上、特徴点が４つ抽出された場合について述べているが、実際は、１枚の画像から複数の特徴点が抽出される。
図１に戻り、相関値演算部３３は、画像ＰＨ１の特徴点Ｐ１〜Ｐ４を順次選択する。そして、この選択した特徴点と、画像ＰＨ２の特徴点Ｑ１〜Ｑ４の相関値を算出する。
具体的には、図４に示されるように、相関値演算部３３は、画像ＰＨ１の特徴点Ｐ１を中心とする長方形の画像（画像ＰＨ１の部分画像）をテンプレートＴＦ１として規定する。このテンプレートＴＦ１は、Ｍ行Ｎ列のマトリクス状に配置された画素からなる画像である。また、以下の説明では、テンプレートＴＦ１の座標とは、テンプレートの中心の座標をいうものとする。
次に、相関値演算部３３は、テンプレートＴＦ１を、画像ＰＨ２の特徴点Ｑ１〜Ｑ４の近傍で移動させながら、画像ＰＨ２に対するテンプレートＴＦ１の相関値Ｒを順次算出する。この相関値Ｒの算出は、例えば正規化相互相関を示す下記の式（５）を用いることができる。なお、Ｔ（ｉ，ｊ）は、テンプレートＴＦ１のｉ行目かつｊ列目に位置する画素の輝度である。また、Ｉ（ｉ，ｊ）は、テンプレートＴＦ１と重なる画像ＰＨ２の部分画像のｉ行目かつｊ列目に位置する画素の輝度である。また、ＩＡＶＧは、上記部分画像を構成する画素の輝度の平均値である。また、ＴＡＶＧは、テンプレートを構成する画素の輝度の平均値である。ＩＡＶＧ及びＴＡＶＧは下記の式（６）及び式（７）で示される。
Figure 2012018637
Figure 2012018637
Figure 2012018637
相関値演算部３３は、相関値Ｒを、上記式（５）に基づいて算出すると、この相関値Ｒに関する情報を、テンプレートＴＦ１のｘｙ座標系における位置座標と関連付けて、記憶部３１へ記憶する。相関値演算部３３は、画像ＰＨ１の特徴点Ｐ２，Ｐ３，Ｐ４についても、上述と同様の処理を実行する。そして、すべての特徴点Ｐ１〜Ｐ４についての相関値Ｒを算出すると、相関値の算出が完了したことをオプティカルフロー規定部３４へ通知する。
図１に戻り、オプティカルフロー規定部３４は、相関値演算部３３によって算出された相関値Ｒに基づいて、画像ＰＨ１の特徴点Ｐ１〜Ｐ４を始点とし、画像ＰＨ２の特徴点Ｑ１〜Ｑ４を終点とするオプティカルフローを規定する。
例えば、オプティカルフロー規定部３４は、特徴点Ｐ１についてのテンプレートＴＦ１を用いて算出した相関値Ｒが最大となったときの、テンプレートＴＦ１の座標に最も近い画像ＰＨ２の特徴点Ｑ１〜Ｑ４を特定する。特徴点Ｐ１は、車両１０１の後部バンパーの右側端部に対応する特徴点である。このため、テンプレートＴＦ１を用いて算出した相関値Ｒは、テンプレートＴＦ１の中心が、画像ＰＨ２の特徴点Ｑ１にほぼ一致するときに最大となる。したがって、ここでは、特徴点Ｐ１に対応する特徴点として、特徴点Ｑ１が特定される。
この場合、図６に示されるように、オプティカルフロー規定部３４は、ｘｙ座標系において、特徴点Ｐ１を始点とし、特徴点Ｑ１を終点とするオプティカルフローＯＰ１を規定する。
オプティカルフロー規定部３４は、上述した手順で同様に、特徴点Ｐ２を始点とし、特徴点Ｑ２を終点とするオプティカルフローＯＰ２を規定する。また、特徴点Ｐ３を始点とし、特徴点Ｑ３を終点とするオプティカルフローＯＰ３を規定する。また、特徴点Ｐ４を始点とし、特徴点Ｑ４を終点とするオプティカルフローＯＰ４を規定する。
オプティカルフロー規定部３４は、すべての特徴点Ｐ１〜Ｐ４についてのオプティカルフローＯＰ１〜ＯＰ４を規定すると、このオプティカルフローＯＰ１〜ＯＰ４に関する情報を記憶部３１へ出力するとともに、オプティカルフローの規定が完了したことをグルーピング処理部３５へ通知する。
グルーピング処理部３５は、規定された１群のオプティカルフローのグルーピングを行う。図６に示されるように、本実施形態では説明の便宜上、車両１０１に関するオプティカルフローが４本である場合について説明している。しかしながら、実際は、車両１０１を撮影した画像からは、数十或いは数百の特徴点を抽出することができる。そして、数十或いは数百本のオプティカルフローを規定することができる。
グルーピング処理部３５は、数十或いは数百本のオプティカルフローのうちから、ノイズ成分を多く含むオプティカルフローを除外し、残りのオプティカルフローをグルーピングする。例えば、車両１０１が完全な直線運動をしている場合には、各オプティカルフローと一致する直線それぞれは消失点ＶＰで交わるはずである。そこで、グルーピング処理部３５は、オプティカルフローと一致する直線が、消失点ＶＰから著しく離れている場合に、このオプティカルフローを除外し、残りのオプティカルフローを同一の移動体に関連するオプティカルフローとみなしてグルーピングする。ここでは車両１０１に関するオプティカルフローＯＰ１〜ＯＰ４が、車両１０１のオプティカルフローとしてグルーピングされる。
グルーピング処理部３５は、オプティカルフローのグルーピングが完了すると、グルーピングしたオプティカルフローに関する情報を記憶部３１へ出力するとともに、グルーピングが完了したことを、衝突予測時間算出部３６へ通知する。
衝突予測時間算出部３６は、オプティカルフローＯＰ１〜ＯＰ４を用いて、車両１０１が車両１００に衝突するまでの衝突予測時間ＴＴＣを算出する。
図７は、衝突予測時間算出部３６によって実行される処理を説明するための図である。図７における点ＲＰ１は、図３において矢印ａ１に示される位置にある車両１０１を構成する後部バンパーの右側端部を示す点である。そして、図７における点ＲＱ１は、図３において矢印ａ２に示される位置にある車両１０１を構成する後部バンパーの右側端部を示す点である。この点ＲＰ１は、特徴点Ｐ１に対応し、点ＲＱ１は、特徴点Ｑ１に対応している。以下、説明の便宜上、点ＲＰ１、点ＲＱ１それぞれを、対応点ＲＰ１、対応点ＲＱ１ともいう。また、車両１０１を構成する後部バンパーの右側端部を便宜上指標点ともいう。
図７におけるＸＹＺ座標系は、車両１００に搭載された撮影装置２０の光学中心を原点Ｏとする直交座標系である。このＸＹＺ座標系におけるＺ軸は、撮影装置２０の光軸と一致する。また、Ｙ軸は、図７では不図示であるが、Ｘ軸及びＺ軸と直交する。またＸＹＺ座標系におけるＸ座標及びＹ座標は、画像ＰＨ１，ＰＨ２に規定されたｘｙ座標系におけるｘ座標及びｙ座標と一致する。また、図７における直線ＬＮ１は、撮影装置２０の画像面ＩＭを含む平面を示している。そして、直線ＬＮ２は、車両１００の最も＋Ｚ側にある部分を含む衝突面を示している。
本実施形態では、ＸＹＺ座標系の原点Ｏは、撮影装置２０の光学中心と一致する。したがってＸＹＺ座標系の原点Ｏから直線ＬＮ１までの距離は、撮影装置２０の焦点距離ｆと等しい。また、原点Ｏと直線ＬＮ２との距離はＬであるものとする。
画像ＰＨ１が撮影されたときに、図３における矢印ａ１に示される位置にある車両１０１は、画像ＰＨ２が撮影されたときには、図３における矢印ａ２に示される位置に移動している。この場合、図７を参照するとわかるように、特徴点Ｐ１を始点とし、特徴点Ｑ１を終点とするオプティカルフローＯＰ１に対応するＸＹＺ座標系でのベクトルは、始点を対応点ＲＰ１とし、終点を対応点ＲＱ１とするベクトルＭＶ０となる。
オプティカルフローＯＰ１は、撮影装置２０の画像面ＩＭ内における特徴点の移動軌跡を示している。そして、ベクトルＭＶ０は、ＸＹＺ座標系における対応点の移動軌跡を示している。本実施形態では、車両１０１は、Ｚ軸に平行に相対移動するため、ベクトルＭＶ０はＺ軸に平行となる。また、特徴点Ｐ１及び対応点ＲＰ１は、ＸＹＺ座標系において原点Ｏを通る直線ＬＮ３上に配置されている。そして、特徴点Ｑ１及び対応点ＲＱ１は、ＸＹＺ座標系において原点Ｏを通る直線ＬＮ４上に配置されている。
したがって、対応点ＲＱ１と一致している車両１０１の指標点が、Ｘ座標をＸ１とするＸ軸上の点ＣＰ１に到達するまでの軌跡を示すベクトルＭＶ２の大きさ｜ＭＶ２｜と、特徴点Ｐ１のＸ座標ｘ２と、特徴点Ｑ１のＸ座標ｘ１と、ベクトルＭＶ０の大きさ｜ＭＶ０｜との幾何学的な関係は、次式（８）で示される。
Figure 2012018637
ここで、ベクトルＭＶ０の大きさ｜ＭＶ０｜は、画像ＰＨ１が撮像された時刻から画像ＰＨ２が撮像された時刻までの時間Δｔと、車両１００に対する車両１０１の相対移動速度Ｖとの積（＝Ｖ・Δｔ）である。また、ベクトルＭＶ２の大きさ｜ＭＶ２｜は、指標点が対応点ＲＱ１からＸ軸上の点ＣＰ１まで移動するのに要する時間ＴＴＣｃと、相対移動速度Ｖとの積（＝Ｖ・ＴＴＣｃ）である。
そこで、上記式（８）の｜ＭＶ２｜に（Ｖ・ＴＴＣｃ）を代入し、｜ＭＶ０｜に（Ｖ・Δｔ）を代入して、両辺を相対移動速度Ｖで除することで、次式（９）が導かれる。
Figure 2012018637
また、車両１０１の指標点が、対応点ＲＱ１から直線ＬＮ２で示される衝突面上の点ＣＰ２に到達するまでの軌跡を示すベクトルＭＶ１は、Ｚ軸と平行である。そして、ベクトルＭＶ１の大きさ｜ＭＶ１｜とベクトルＭＶ２の大きさ｜ＭＶ２｜との関係は、Ｘ軸から対応点ＲＱ１までの距離Ｚ１と、Ｘ軸と点ＣＰ２までの距離Ｌを用いると次式（１０）で示される。
Figure 2012018637
ここで、上述したように、ベクトルＭＶ２の大きさ｜ＭＶ２｜は、指標点が対応点ＲＱ１からＸ軸上の点ＣＰ１まで移動するのに要する時間ＴＴＣｃと、相対移動速度Ｖとの積（＝Ｖ・ＴＴＣｃ）である。また、ベクトルＭＶ１の大きさ｜ＭＶ１｜は、指標点が対応点ＲＱ１から直線ＬＮ２上の点ＣＰ２に到達するまでの衝突予測時間ＴＴＣと、相対移動速度Ｖとの積（＝Ｖ・ＴＴＣ）である。
相対移動速度Ｖは、オプティカルフローＯＰ１〜ＯＰ４に関する情報を用いても求めることができない。そこで、上記式（１０）の｜ＭＶ２｜に（Ｖ・ＴＴＣｃ）を代入し、｜ＭＶ１｜に（Ｖ・ＴＴＣ）を代入して、両辺を相対移動速度Ｖで除することで、相対移動速度Ｖを含む項を含まない次式（１１）を導く。
Figure 2012018637
上記式（１１）のＬは、Ｘ軸と直線ＬＮ２で示される衝突面との距離であり、撮影装置２０の取り付け位置と車両１００の前端との距離にほぼ等しい既知の値である。このため、衝突予測時間算出部３６は、Ｘ軸と対応点ＲＱ１との距離Ｚ１の値がわかれば、上記式（１１）を用いて、車両１０１が車両１００に衝突するまでの衝突予測時間ＴＴＣを算出することが可能となる。
そこで、衝突予測時間算出部３６は、次式（１２）を用いて距離Ｚ１を算出する。なお、ｆは撮影装置２０の焦点距離である。また、δは、画像ＰＨ１，ＰＨ２を構成する画素のｙ軸方向の配列間隔である。また、ｈは、車両１００が走行する路面と撮影装置２０との距離である。また、ｙｂは、図５に示されるように、画像ＰＨ２における、特徴点Ｑ１と車両１００が走行する路面との距離である。
Figure 2012018637
衝突予測時間算出部３６は、上記式（１２）を用いて、距離Ｚ１を算出すると、算出した距離Ｚ１を上記式（１１）に代入して、車両１０１が車両１００に衝突するまでの衝突予測時間ＴＴＣを算出する。そして、この衝突予測時間ＴＴＣを外部装置等へ出力する。
これにより、外部装置等は、例えば衝突予測時間ＴＴＣが閾値以下となった場合に、ドライバーに衝突を回避するための警報を発することが可能となる。
以上説明したように、本実施形態では、車両１００についてのオプティカルフローを用いて、車両１０１が撮影装置２０の光学中心を含む面に到達するまでの時間ＴＴＣｃが算出される。そして、この時間ＴＴＣｃに基づいて、車両１０１が車両１００の衝突面に衝突するまでの衝突予測時間ＴＴＣが算出される。この衝突予測時間ＴＴＣは、車両１０１が車両１００から離れていても、車両１０１の指標点の軌跡を示すベクトルＭＶ０の大きさと、オプティカルフローＯＰ１の大きさとの間に生じる誤差の影響を大きく受けることなく算出される。したがって、事前に車両１００と車両１０１とが衝突するまでの衝突予測時間ＴＴＣを算出することで、適切なタイミングで、ドライバーに衝突を回避するための警報を発することが可能となる。
オプティカルフローを用いて算出された衝突予測時間ＴＴＣは、車両１０１が撮影装置２０の光学中心を含む面に到達するまでの時間ＴＴＣｃを、撮影装置２０の光学中心から衝突面までの距離Ｌを考慮して補正することにより得られる。この補正を行う際には、検出誤差を多く含む距離Ｚ１が用いられる。しかしながら、この距離Ｚ１に含まれる誤差は、車両１００と車両１０１とが近づくほど小さくなるため、衝突予測時間ＴＴＣの信頼性は十分維持される。
《第２の実施形態》
次に、本発明の第２の実施形態を、図面を参照しつつ説明する。なお、第１の実施形態と同一又は同等の構成については、同等の符号を用いるとともに、その説明を省略又は簡略する。本実施形態では、車両１００の進行方向と、車両１０１との進行方向が交差する場合における衝突予測時間の算出手順について説明する。
例えば、車両１００が＋Ｚ方向へ進行し、車両１０１がＺ軸と交差する方向へ進行する場合を考える。この場合、撮影装置２０の光学中心を原点ＯとするＸＹＺ座標系では、車両１０１は、車両１００の進行方向と車両１０１の進行方向とが合成された方向へ、相対的に移動することになる。
図８の矢印ａ１に示される位置にある車両１０１は、所定の時間が経過すると矢印ａ２に示される位置に相対的に移動する。この場合には、撮影装置２０によって、まず矢印ａ１に示される位置にある車両１０１が撮影され、次に矢印ａ２に示される位置にある車両１０１が撮影される。
図９には、オプティカルフロー規定部３４によって規定されたオプティカルフローＯＰ１〜ＯＰ４が示されている。本実施形態では、車両１０１は、車両１００に対してＹ軸に交差する方向へ相対的に移動することにより、車両１００に接近する。このため、オプティカルフローＯＰ１〜ＯＰ４の消失点ＶＰは、ｘｙ座標系の原点Ｏと一致しない。
しかしながら、図１０を参照するとわかるように、車両１００の進行方向と車両１０１の進行方向が交差する場合にも、オプティカルフローＯＰ１、ベクトルＭＶ０、ベクトルＭＶ２相互間の幾何学的関係は、第１の実施形態におけるオプティカルフローＯＰ１等との関係と等価である。このため、上記式（８）は成立する。したがって、図８における矢印ａ２に示される位置にある車両１０１が、車両１００に衝突するまでの衝突予測時間ＴＴＣは、上記式（１１）で表される。
図１０は、衝突予測時間算出部３６によって実行される処理を説明するための図である。図１０に示されるように、直線ＬＮ５は、原点を通り、ベクトルＭＶ０と直交する直線である。また、点ＣＰ３は、対応点ＲＱ１と点ＣＰ１とを通る直線と、直線ＬＮ５との交点である。説明の便宜上、図１０では、点ＣＰ３と点ＣＰ１とが、ある程度離間して記載されている。しかしながら、実際には、点ＣＰ３と点ＣＰ１との距離は、原点Ｏと直線ＬＮ２で示される衝突面との距離Ｌ等に比べて著しく小さい。このため、ベクトルＭＶ２と平行で、対応点ＲＱ１を始点とし、点ＣＰ３を終点とするベクトルＭＶ３は、ベクトルＭＶ２と大きさが等価であるものとして取り扱っても差し支えない。
そこで、衝突予測時間算出部３６は、車両１０１が直線ＬＮ５によって示される面に衝突するまでに時間ＴＴＣｃ０を、時間ＴＴＣｃの近似値として、次式（１３）に基づいて算出する。なお、ｘｖｐは消失点ＶＰのＸ座標である。
Figure 2012018637
次に、衝突予測時間算出部３６は、上記式（１３）で算出した時間ＴＴＣｃ０を、時間ＴＴＣｃとして、上記式（１１）へ代入して、車両１０１が車両１００に衝突するまでの衝突予測時間ＴＴＣを算出する。そして、衝突予測時間算出部３６は、算出した衝突予測時間ＴＴＣを外部装置等へ出力する。
これにより、外部装置等は、例えば衝突予測時間ＴＴＣが閾値以下となった場合に、ドライバーに衝突を回避するための警報を発することが可能となる。
以上説明したように、本実施形態では、車両１００についてのオプティカルフローを用いて、車両１０１が直線ＬＮ５上にある点ＣＰ３に到達するまでの時間ＴＴＣｃ０が、時間ＴＴＣｃの近似値として算出される。そして、時間ＴＴＣｃ０に基づいて、車両１０１が車両１００の衝突面に衝突するまでの衝突予測時間ＴＴＣが算出される。この衝突予測時間ＴＴＣは、車両１０１が車両１００から離れていても、車両１０１の指標点の軌跡を示すベクトルＭＶ０の大きさと、オプティカルフローＯＰ１の大きさとの間に生じる誤差の影響を大きく受けることなく算出される。したがって、事前に車両１００と車両１０１とが衝突するまでの衝突予測時間ＴＴＣを算出することで、適切なタイミングで、ドライバーに衝突を回避するための警報を発することが可能となる。
また、上記式（１３）は、図３に示されるように、車両１００の進行方向と、車両１０１の進行方向とが平行な場合や、消失点ＶＰがＸＹＺ座標系の原点Ｏと一致する場合にも成立する。この場合はｘｖｐの値が０となる。そして、車両１００の進行方向と、車両１０１の進行方向とが平行な場合は、時間ＴＴＣｃ０は、時間ＴＴＣｃと一致する。
《第３の実施形態》
次に、本発明の第３の実施形態を、図面を参照しつつ説明する。なお、上記各実施形態と同一又は同等の構成については、同等の符号を用いるとともに、その説明を省略又は簡略する。
本実施形態に係る衝突時間算出システム１０は、衝突時間算出装置３０が、一般的なコンピュータ、又はマイクロコンピュータなどの装置と同様の構成によって実現されている点で、上記各実施形態に係る衝突時間算出システム１０と相違している。
図１１は、衝突時間算出システム１０の物理的な構成を示すブロック図である。図１１に示されるように、衝突時間算出システム１０は、撮影装置２０と、コンピュータからなる衝突時間算出装置３０とから構成されている。
衝突時間算出装置３０は、ＣＰＵ（Central Processing Unit）３０ａ、主記憶部３０ｂ、補助記憶部３０ｃ、表示部３０ｄ、入力部３０ｅ、インターフェイス部３０ｆ、及び上記各部を相互に接続するシステムバス３０ｇを含んで構成されている。
ＣＰＵ３０ａは、補助記憶部３０ｃに記憶されているプログラムに従って、撮影装置２０によって取得された画像に対して後述する処理を実行する。
主記憶部３０ｂは、ＲＡＭ（Random Access Memory）等を含んで構成され、ＣＰＵ３０ａの作業領域として用いられる。
補助記憶部３０ｃは、ＲＯＭ（Read Only Memory）、磁気ディスク、半導体メモリ等の不揮発性メモリを含んで構成されている。この補助記憶部３０ｃは、ＣＰＵ３０ａが実行するプログラム、及び各種パラメータなどを記憶している。また、撮影装置２０から出力される画像に関する情報、及びＣＰＵ３０ａによる処理結果などを含む情報を順次記憶する。
表示部３０ｄは、ＣＲＴ（Cathode Ray Tube）またはＬＣＤ（Liquid Crystal Display）などを含んで構成され、ＣＰＵ３０ａの処理結果を表示する。
入力部３０ｅは、キースイッチやポインティングデバイスを含んで構成されている。オペレータの指示は、この入力部３０ｅを介して入力され、システムバス３０ｇを経由してＣＰＵ３０ａに通知される。
インターフェイス部３０ｆは、シリアルインターフェイスまたはＬＡＮ（Local Area Network）インターフェイス等を含んで構成されている。撮影装置２０は、インターフェイス部３０ｆを介してシステムバス３０ｇに接続される。
図１２のフローチャートは、ＣＰＵ３０ａによって実行されるプログラムの一連の処理アルゴリズムに対応している。以下、図１２を参照しつつ、衝突時間算出装置３０が実行する処理について説明する。なお、この処理は、衝突時間算出システム１０が起動され、撮影装置２０によって撮影された画像に関する情報が出力されたことをトリガとして実行される。また、前提として、撮影装置２０からは、図４に示される画像ＰＨ１、及び図５に示される画像ＰＨ２が順次出力されるものとする。
まず、最初のステップＳ１０１では、ＣＰＵ３０ａは、記憶部３１に記憶された画像ＰＨ１，ＰＨ２を構成する画素それぞれについての特徴量を算出し、この特徴量に基づいて画像に含まれる特徴点を抽出する。図４に示されるように、ここでは画像ＰＨ１について、特徴点Ｐ１，Ｐ２，Ｐ３，Ｐ４が抽出される。また、図５に示されるように、画像ＰＨ２について、特徴点Ｑ１，Ｑ２，Ｑ３，Ｑ４が抽出される。
次のステップＳ１０２では、ＣＰＵ３０ａは、画像ＰＨ１の特徴点Ｐ１〜Ｐ４を順次選択する。そして、この選択した特徴点と、画像ＰＨ２の特徴点Ｑ１〜Ｑ４の相関値を算出する。例えば、ＣＰＵ３０ａは、まず画像ＰＨ１の特徴点Ｐ１を中心とするテンプレートＴＦ１を、画像ＰＨ２の特徴点Ｑ１〜Ｑ４の近傍で移動させながら、画像ＰＨ２に対するテンプレートＴＦ１の相関値Ｒを順次算出する。ＣＰＵ３０ａは、上述の処理を、特徴点Ｐ２〜Ｐ４についても行う。
次のステップＳ１０３では、ＣＰＵ３０ａは、図６を参照するとわかるように、算出した相関値Ｒに基づいて、画像ＰＨ１の特徴点Ｐ１〜Ｐ４を始点とし、画像ＰＨ２の特徴点Ｑ１〜Ｑ４を終点とするオプティカルフローＯＰ１〜ＯＰ４を規定する。
次のステップＳ１０４では、ＣＰＵ３０ａは、規定された１群のオプティカルフローのグルーピングを行う。図６に示されるように、本実施形態では説明の便宜上、車両１０１に関するオプティカルフローが４本である場合について説明している。しかしながら、実際は、車両１０１を撮影した画像からは、数十或いは数百の特徴点を抽出することができる。そして、数十或いは数百本のオプティカルフローを規定することができる。
ＣＰＵ３０ａは、数十或いは数百本のオプティカルフローのうちから、ノイズ成分を多く含むオプティカルフローを除外し、残りのオプティカルフローをグルーピングする。例えば、車両１０１が完全な直線運動をしている場合には、各オプティカルフローと一致する直線は消失点ＶＰで交わるはずである。そこで、ＣＰＵ３０ａは、オプティカルフローと一致する直線が、消失点ＶＰから著しく離れている場合には、このオプティカルフローを除外し、残りのオプティカルフローを同一の移動体に関連するオプティカルフローとみなしてグルーピングする。ここでは車両１０１に関するオプティカルフローＯＰ１〜ＯＰ４が、車両１０１のオプティカルフローとしてグルーピングされる。
次のステップＳ１０５では、ＣＰＵ３０ａは、オプティカルフローＯＰ１〜ＯＰ４を用いて、車両１０１が車両１００に衝突するまでの衝突予測時間ＴＴＣを算出する。
画像ＰＨ１が撮影されたときに、例えば図３における矢印ａ１に示される位置にある車両１０１は、画像ＰＨ２が撮影されたときには、図３における矢印ａ２に示される位置に相対的に移動している。この場合、図７に示されるように、特徴点Ｐ１を始点とし、特徴点Ｑ１を終点とするオプティカルフローＯＰ１に対応するＸＹＺ座標系でのベクトルは、始点を対応点ＲＰ１とし、終点を対応点ＲＱ１とするベクトルＭＶ０となる。
オプティカルフローＯＰ１は、撮影装置２０の画像面ＩＭ内における特徴点の移動軌跡を示している。そして、ベクトルＭＶ０は、ＸＹＺ座標系における対応点の移動軌跡を示している。本実施形態では、車両１０１は、Ｚ軸に平行に相対移動するため、ベクトルＭＶ０はＺ軸に平行となる。また、特徴点Ｐ１及び対応点ＲＰ１は、ＸＹＺ座標系において原点Ｏを通る直線ＬＮ３上に配置されている。そして、特徴点Ｑ１及び対応点ＲＱ１は、ＸＹＺ座標系において原点Ｏを通る直線ＬＮ４上に配置されている。
したがって、対応点ＲＱ１と一致している車両１０１の指標点が、Ｘ座標をＸ１とするＸ軸上の点ＣＰ１に到達するまでの軌跡を示すベクトルＭＶ２の大きさ｜ＭＶ２｜と、特徴点Ｐ１のＸ座標ｘ２と、特徴点Ｑ１のＸ座標ｘ１と、ベクトルＭＶ０の大きさ｜ＭＶ０｜との幾何学的な関係は、上記式（８）で示される。そして、上記式（８）から上記式（９）が導かれる。
また、車両１０１の指標点が、対応点ＲＱ１から直線ＬＮ２で示される衝突面上の点ＣＰ２に到達するまでの軌跡を示すベクトルＭＶ１は、Ｚ軸と平行である。そして、ベクトルＭＶ１の大きさ｜ＭＶ１｜とベクトルＭＶ２の大きさ｜ＭＶ２｜との関係は、Ｘ軸から対応点ＲＱ１までの距離Ｚ１と、Ｘ軸と点ＣＰ２までの距離Ｌを用いると上記式（１０）で示される。そして、上記式（１０）から上記式（１１）が導かれる。
上記式（１１）のＬは、Ｘ軸と直線ＬＮ２で示される衝突面との距離であり、撮影装置２０の取り付け位置と車両１００の前端との距離にほぼ等しい既知の値である。このため、衝突予測時間算出部３６は、Ｘ軸と対応点ＲＱ１との距離Ｚ１の値がわかれば、上記式（１１）を用いて、車両１０１が車両１００に衝突するまでの衝突予測時間ＴＴＣを算出することが可能となる。そこで、ＣＰＵ３０ａは、上記式（１２）を用いて距離Ｚ１を算出する。そして、算出した距離Ｚ１を、上記式（１１）に代入して、衝突予測時間ＴＴＣを算出する。ＣＰＵ３０ａは、衝突予測時間ＴＴＣを算出すると、この衝突予測時間ＴＴＣを外部装置等へ出力する。
これにより、外部装置等は、例えば衝突予測時間ＴＴＣが閾値以下となった場合に、ドライバーに衝突を回避するための警報を発することが可能となる。
以上説明したように、本実施形態では、車両１００についてのオプティカルフローを用いて、車両１０１が撮影装置２０の光学中心を含む面に到達するまでの時間ＴＴＣｃが算出される。そして、この時間ＴＴＣｃに基づいて、車両１０１が車両１００の衝突面に衝突するまでの衝突予測時間ＴＴＣが算出される。この衝突予測時間ＴＴＣは、車両１０１が車両１００から離れていても、車両１０１の指標点の軌跡を示すベクトルＭＶ０の大きさと、オプティカルフローＯＰ１の大きさとの間に生じる誤差の影響を大きく受けることなく算出される。したがって、事前に車両１００と車両１０１とが衝突するまでの衝突予測時間ＴＴＣを算出することで、適切なタイミングで、ドライバーに衝突を回避するための警報を発することが可能となる。
以上、本発明の実施形態について説明したが、本発明は上記実施形態によって限定されるものではない。
例えば、上記実施形態では、式（１２）を用いて、距離Ｚ１を算出した。これに限らず、距離Ｚ１を次式（１４）を用いて算出してもよい。なお、ＷＶは、車両１０１の車幅である。また、ｗｖは、画像ＰＨ２における車両１０１の車幅である。また、ｗｃは、画像ＰＨ２の水平方向の幅である。また、ＦＯＶは、画像ＰＨ２に対応する撮影装置２０の視野角である。
Figure 2012018637
また、オプティカルフローのグルーピングに関しては、例えば特開２００８−９７１２６号公報に、次式（１５）で示される指標Ｃ０が、ある誤差を許容して相互に等しいオプティカルフロー同士をグルーピングすることが開示されている（特に図９参照）。幾何学的な相似の関係から次式（１５）が成立する場合には、次式（１６）も成立する。この式（１６）に基づいて、グルーピングする過程で、特開２００８−９７１２６号公報に開示される技術における指標Ｃ０の算出と同様にして、次式（１６）で示される指標Ｃ１が算出される。式（１６）は、消失点ＶＰが画像中心Ｘｃと等しくなるような場合（撮影装置２０の光軸方向と、車両１０１の車両１００に対する相対的な移動方向とが平行である場合など）には、次式（１７）のように変形することができる。この式（１７）の右辺は、上記式（９）の左辺の分母と等価である。したがって、特開２００８−９７１２６号公報に開示される技術によるオプティカルフローのグルーピングを行った場合には、グルーピングを行った過程で算出された結果を用いることで、衝突予測時間ＴＴＣを算出するための処理を短時間に行うことができる。また、ある誤差を許容してグルーピングを行う過程で算出される指標Ｃ１を用いることは、移動物体の平均的な指標Ｃ１の値を用いることとなり、例えば移動物体のある特定の１点における指標Ｃ１の値を用いる場合に比べてノイズに強くなる。
Figure 2012018637
Figure 2012018637
Figure 2012018637
また、上記各実施形態では、特徴点Ｐ１及び特徴点Ｑ１によって規定されたオプティカルフローＯＰ１を用いて、衝突予測時間を算出する場合について説明した。これに限らず、オプティカルフローＯＰ１以外の他のオプティカルフローを用いて、衝突予測時間を算出してもよい。また、それぞれのオプティカルフローＯＰ１〜ＯＰ４を用いて算出した衝突予測時間の平均値を、最終的な衝突予測時間として外部装置等へ出力することとしてもよい。
また、本実施形態では、撮影装置２０が図２に示されるように、フロントウインド上部に取り付けられている場合について説明した。これに限らず、撮影装置２０は、フロントバンパーの近傍に配置されるカメラを有していてもよい。この場合は、時間ＴＴＣｃが衝突予測時間ＴＴＣと等価となる。
また、上記各実施形態では、式（１）を用いて特徴量ｆ（ｘ、ｙ）を算出したが、本発明はこれに限定されるものではない。例えば、特徴量は、いわゆるＫＬＴ特徴量ｍｉｎ（λ１、λ２）であってもよい。この場合は、特徴量を上述した平均値ＡＶＧ（ｘ、ｙ）を２乗したもので除することで比較値Ｖを算出することができる。なお、λ１及びλ２は、それぞれ下記の式（１８）及び式（１９）で示される。
Figure 2012018637
Figure 2012018637
なお、Ａ〜Ｃは下記の式（２０）で表される。ただし、Ｉｘ、Ｉｙは、画像上の位置（ｘ、ｙ）における輝度Ｉ（ｘ、ｙ）のＸ軸方向及びＹ軸方向の勾配を示す。具体的には、下記の式（２１）及び式（２２）で表される。
Figure 2012018637
Figure 2012018637
Figure 2012018637
また、上記各実施形態に係る衝突時間算出装置３０の機能は、専用のハードウェアによっても、通常のコンピュータシステムによっても実現することができる。
また、第３の実施形態において衝突時間算出装置３０の補助記憶部３０ｃに記憶されているプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto-Optical disk）等のコンピュータで読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータにインストールすることにより、上述の処理を実行する装置を構成することとしてもよい。
また、プログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するようにしても良い。
なお、本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。
本発明の衝突時間算出装置、衝突時間算出方法及びプログラムは、衝突時間の算出に適している。
１０ 衝突時間算出システム
２０ 撮影装置
３０ 衝突時間算出装置
３０ａ ＣＰＵ
３０ｂ 主記憶部
３０ｃ 補助記憶部
３０ｄ 表示部
３０ｅ 入力部
３０ｆ インターフェイス部
３０ｇ システムバス
３１ 記憶部
３２ 特徴点抽出部
３３ 相関値演算部
３４ オプティカルフロー規定部
３５ グルーピング処理部
３６ 衝突予測時間算出部
１００，１０１ 車両
ＣＰ１〜ＣＰ３ 点
ＩＭ 画像面
ＭＶ０〜ＭＶ３ ベクトル
ＯＰ１〜ＯＰ４ オプティカルフロー
Ｐ１〜Ｐ４，Ｑ１〜Ｑ４ 特徴点
ＰＨ１，ＰＨ２ 画像
ＲＰ１，ＲＱ１ 対応点
ＴＦ１ テンプレート
ＶＰ 消失点

Claims (20)

  1. 車両に搭載された撮影手段によって撮影された第１画像に含まれる第１特徴点と、第２画像に含まれる、前記第１特徴点に対応する第２特徴点とを抽出する抽出手段と、
    前記第１特徴点を始点とし、前記第２特徴点を終点とするオプティカルフローの大きさと、前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間とに基づいて、前記撮影手段の視野内にある物体が前記車両に衝突するまでの第１予測時間を算出する予測手段と、
    を備える衝突時間算出装置。
  2. 前記予測手段は、
    前記撮影手段の光学中心を含み、前記撮影手段の光軸に垂直な第１面に、前記物体が衝突するまでの第２予測時間を用いて、前記第１予測時間を算出する請求項１に記載の衝突時間算出装置。
  3. 前記予測手段は、
    前記オプティカルフローの消失点と前記オプティカルフローの始点までの距離と、前記オプティカルフローの大きさとの比を用いて、前記第２予測時間を算出する請求項２に記載の衝突時間算出装置。
  4. 前記予測手段は、
    前記車両の最前の点を含み、前記撮影手段の光軸と直交する第２面と、前記第１面との距離を用いて、前記第１予測時間を算出する請求項２又は３に記載の衝突時間算出装置。
  5. 前記予測手段は、
    前記車両の前記特徴点に対応する部分と、前記第１面との距離を用いて、前記第１予測時間を算出する請求項２乃至４のいずれか一項に記載の衝突時間算出装置。
  6. 前記予測手段は、
    前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間をΔｔとし、前記オプティカルフローの消失点と前記オプティカルフローの始点までの距離をｘ２とし、前記オプティカルフローの消失点と前記オプティカルフローの終点までの距離をｘ１として、
    次式を用いて、前記第２予測時間ＴＴＣｃを算出する請求項２乃至５のいずれか一項に記載の衝突時間算出装置。
    Figure 2012018637
  7. 前記予測手段は、
    前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間をΔｔとし、前記第１面に含まれるＸＹ座標系における前記消失点のＸ座標をｘｖｐとし、前記オプティカルフローの始点のＸ座標をｘ１とし、前記オプティカルフローの終点のＸ座標をｘ２とし、前記撮影手段の焦点距離をｆとして、
    次式に示される近似式を用いて、前記第２予測時間ＴＴＣｃを算出する請求項２乃至５のいずれか一項に記載の衝突時間算出装置。
    Figure 2012018637
  8. 前記予測手段は、
    前記第２予測時間をＴＴＣｃとし、前記第１面と、前記車両の最前の点を含み前記撮影手段の光軸と直交する第２面との距離をＬとし、前記車両の前記特徴点に対応する部分と前記第１面との距離をＺ１として、
    次式を用いて、前記第１予測時間ＴＴＣを算出する請求項６又は７に記載の衝突時間算出装置。
    Figure 2012018637
  9. 前記予測手段は、
    前記撮影手段の焦点距離をｆとし、前記画像を構成する画素の配列間隔をδとし、前記車両が走行する路面と前記撮影手段との距離をｈとし、前記画像における前記消失点と前記路面との距離をｙｂとして、
    次式を用いて、前記距離Ｚ１を算出する請求項８に記載の衝突時間算出装置。
    Figure 2012018637
  10. 前記予測手段は、
    前記車両の幅をＷＶとし、前記画像における前記車両の幅をｗｖとし、前記画像の幅をｗｃとし、前記画像に対応する前記撮影手段の視野角をＦＯＶとして、
    次式を用いて、前記距離Ｚ１を算出する請求項８に記載の衝突時間算出装置。
    Figure 2012018637
  11. 車両に搭載された撮影手段によって撮影された、第１画像に含まれる第１特徴点を抽出する第１工程と、
    前記撮影手段によって撮影された、第２画像に含まれる、前記第１特徴点に対応する第２特徴点を抽出する第２工程と、
    前記第１特徴点を始点とし、前記第２特徴点を終点とするオプティカルフローの大きさと、前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間とに基づいて、前記撮影手段の視野内にある物体が前記車両に衝突するまでの第１予測時間を算出する第３工程と、
    を含む衝突時間算出方法。
  12. 前記第３工程では、
    前記撮影手段の光学中心を含み、前記撮影手段の光軸に垂直な第１面に、前記物体が衝突するまでの第２予測時間を更に用いて、前記第１予測時間を算出する請求項１１に記載の衝突時間算出方法。
  13. 前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間をΔｔとし、前記オプティカルフローの消失点と前記オプティカルフローの始点までの距離をｘ２とし、前記オプティカルフローの消失点と前記オプティカルフローの終点までの距離をｘ１として、
    次式を用いて、前記第２予測時間ＴＴＣｃを算出する工程を含む請求項１２に記載の衝突時間算出方法。
    Figure 2012018637
  14. 前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間をΔｔとし、前記第１面に含まれるＸＹ座標系における前記消失点のＸ座標をｘｖｐとし、前記オプティカルフローの始点のＸ座標をｘ１とし、前記オプティカルフローの終点のＸ座標をｘ２とし、前記撮影手段の焦点距離をｆとして、
    次式に示される近似式を用いて、前記第２予測時間ＴＴＣｃを算出する工程を含む請求項１２に記載の衝突時間算出方法。
    Figure 2012018637
  15. 前記第３工程では、
    前記第２予測時間をＴＴＣｃとし、前記第１面と、前記車両の最前の点を含み、前記撮影手段の光軸と直交する第２面との距離をＬとし、前記車両の前記特徴点に対応する部分と前記第１面との距離をＺ１として、
    次式を用いて、前記第１予測時間ＴＴＣを算出する請求項１２乃至１４のいずれか一項に記載の衝突時間算出方法。
    Figure 2012018637
  16. コンピュータに、
    車両に搭載された撮影手段によって撮影された、第１画像に含まれる第１特徴点を抽出する第１手順と、
    前記撮影手段によって撮影された、第２画像に含まれる、前記第１特徴点に対応する第２特徴点を抽出する第２手順と、
    前記第１特徴点を始点とし、前記第２特徴点を終点とするオプティカルフローの大きさと、前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間とに基づいて、前記撮影手段の視野内にある物体が前記車両に衝突するまでの第１予測時間を算出する第３手順と、
    を実行させるためのプログラム。
  17. 前記第３手順では、
    前記撮影手段の光学中心を含み、前記撮影手段の光軸に垂直な第１面に、前記物体が衝突するまでの第２予測時間を更に用いて、前記第１予測時間を算出する請求項１６に記載のプログラム。
  18. 前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間をΔｔとし、前記オプティカルフローの消失点と前記オプティカルフローの始点までの距離をｘ２とし、前記オプティカルフローの消失点と前記オプティカルフローの終点までの距離をｘ１として、
    コンピュータに、
    次式を用いて、前記第２予測時間ＴＴＣｃを算出する手順を実行させる請求項１７に記載のプログラム。
    Figure 2012018637
  19. 前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間をΔｔとし、前記第１面に含まれるＸＹ座標系における前記消失点のＸ座標をｘｖｐとし、前記オプティカルフローの始点のＸ座標をｘ１とし、前記オプティカルフローの終点のＸ座標をｘ２とし、前記撮影手段の焦点距離をｆとして、
    コンピュータに、
    次式に示される近似式を用いて、前記第２予測時間ＴＴＣｃを算出する手順を実行させる請求項１７に記載のプログラム。
    Figure 2012018637
  20. 前記第３手順では、
    前記第２予測時間をＴＴＣｃとし、前記第１面と、前記車両の最前の点を含み、前記撮影手段の光軸と直交する第２面との距離をＬとし、前記車両の前記特徴点に対応する部分と前記第１面との距離をＺ１として、
    次式を用いて、前記第１予測時間ＴＴＣを算出する請求項１７乃至１９のいずれか一項に記載のプログラム。
    Figure 2012018637
JP2010157182A 2010-07-09 2010-07-09 衝突時間算出装置、衝突時間算出方法及びプログラム Active JP5418427B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010157182A JP5418427B2 (ja) 2010-07-09 2010-07-09 衝突時間算出装置、衝突時間算出方法及びプログラム
PCT/JP2011/065830 WO2012005377A1 (ja) 2010-07-09 2011-07-11 衝突時間算出装置、衝突時間算出方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010157182A JP5418427B2 (ja) 2010-07-09 2010-07-09 衝突時間算出装置、衝突時間算出方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2012018637A true JP2012018637A (ja) 2012-01-26
JP5418427B2 JP5418427B2 (ja) 2014-02-19

Family

ID=45441346

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010157182A Active JP5418427B2 (ja) 2010-07-09 2010-07-09 衝突時間算出装置、衝突時間算出方法及びプログラム

Country Status (2)

Country Link
JP (1) JP5418427B2 (ja)
WO (1) WO2012005377A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014026555A (ja) * 2012-07-30 2014-02-06 Denso It Laboratory Inc 移動体認識システム、移動体認識プログラム、及び移動体認識方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9047675B2 (en) * 2012-08-13 2015-06-02 The Boeing Company Strike detection using video images
US11680813B2 (en) 2020-01-21 2023-06-20 Thinkware Corporation Method, apparatus, electronic device, computer program, and computer readable recording medium for measuring inter-vehicle distance based on vehicle image
CN115472005B (zh) * 2022-08-09 2023-12-19 东软睿驰汽车技术（上海）有限公司 车辆碰撞预警方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11353565A (ja) * 1998-06-09 1999-12-24 Yazaki Corp 車両用衝突警報方法及び装置
JP2006099155A (ja) * 2004-09-28 2006-04-13 Nissan Motor Co Ltd 衝突判定装置、および方法
JP2006107422A (ja) * 2004-09-07 2006-04-20 Nissan Motor Co Ltd 衝突時間算出装置および障害物検出装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11353565A (ja) * 1998-06-09 1999-12-24 Yazaki Corp 車両用衝突警報方法及び装置
JP2006107422A (ja) * 2004-09-07 2006-04-20 Nissan Motor Co Ltd 衝突時間算出装置および障害物検出装置
JP2006099155A (ja) * 2004-09-28 2006-04-13 Nissan Motor Co Ltd 衝突判定装置、および方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014026555A (ja) * 2012-07-30 2014-02-06 Denso It Laboratory Inc 移動体認識システム、移動体認識プログラム、及び移動体認識方法

Also Published As

Publication number Publication date
WO2012005377A1 (ja) 2012-01-12
JP5418427B2 (ja) 2014-02-19

Similar Documents

Publication Publication Date Title
CN103578115B (zh) 移动体识别系统以及移动体识别方法
CN107431786B (zh) 图像处理设备、图像处理系统和图像处理方法
JP6347211B2 (ja) 情報処理システム、情報処理方法及びプログラム
JP6107081B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6058256B2 (ja) 車載カメラ姿勢検出装置および方法
JP5656567B2 (ja) 映像処理装置および方法
JP6328327B2 (ja) 画像処理装置及び画像処理方法
JP4793324B2 (ja) 車両監視装置および車両監視方法
JP2020519989A (ja) ターゲット識別方法、装置、記憶媒体および電子機器
US10438412B2 (en) Techniques to facilitate accurate real and virtual object positioning in displayed scenes
JP2014106901A (ja) 距離算出装置、衝突検出システム、距離算出方法、衝突検出方法、及びプログラム
JP6331785B2 (ja) 物体追跡装置、物体追跡方法および物体追跡プログラム
EP3113150B1 (en) Local location computation device and local location computation method
CN108876758B (zh) 人脸识别方法、装置及系统
JP5624370B2 (ja) 移動体検出装置及び移動体検出方法
JP5418427B2 (ja) 衝突時間算出装置、衝突時間算出方法及びプログラム
CN112288825A (zh) 相机标定方法、装置、电子设备、存储介质和路侧设备
JP2010246166A (ja) ３次元情報表示装置および３次元情報表示方法
CN111723716A (zh) 确定目标对象朝向的方法、装置、系统、介质及电子设备
JP2012168788A (ja) 運動推定装置及びプログラム
JP2007172378A (ja) 注視対象物体特定装置
US20130265420A1 (en) Video processing apparatus, video processing method, and recording medium
CN114518106B (zh) 高精度地图垂向要素更新检测方法、系统、介质及设备
KR101837269B1 (ko) 다중 마커 기반의 정합 가이드 방법 및 시스템
JP2017020942A (ja) 推定装置及び推定プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130730

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130930

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131022

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131104

R151 Written notification of patent or utility model registration

Ref document number: 5418427

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151