JP2008059609A - 接近移動体表示装置、システム及び方法 - Google Patents
接近移動体表示装置、システム及び方法 Download PDFInfo
- Publication number
- JP2008059609A JP2008059609A JP2007281954A JP2007281954A JP2008059609A JP 2008059609 A JP2008059609 A JP 2008059609A JP 2007281954 A JP2007281954 A JP 2007281954A JP 2007281954 A JP2007281954 A JP 2007281954A JP 2008059609 A JP2008059609 A JP 2008059609A
- Authority
- JP
- Japan
- Prior art keywords
- moving body
- vehicle
- approaching
- display
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
【課題】自車両から死角となる移動体の接近情報を検知してドライバに表示する。
【解決手段】地上に設置されたカメラで道路の交通状況を繰り返して撮像し、前記カメラで撮像された各画像情報に基づいて、当該道路を移動する移動体Cを認識し、前記認識された移動体Cの位置を算出し、前記算出された移動体Cの位置を、当該車両内の画面に表示する。この移動体Cを認識した時点と、移動体Cの位置を当該車両内の画面に表示する時点では、時間的なずれが生じるので、表示時点で移動体Cが進んでいる位置を推定して表示する。
【効果】交差点4に進入しようとする移動体Cの位置を、当該車両内の画面上に表示することができるとともに、入手した移動体の位置データから、表示遅れ時間分を考量して表示時点での移動体の位置を推定して提供できるため、より正確な情報提供が可能となる。
【選択図】図6
【解決手段】地上に設置されたカメラで道路の交通状況を繰り返して撮像し、前記カメラで撮像された各画像情報に基づいて、当該道路を移動する移動体Cを認識し、前記認識された移動体Cの位置を算出し、前記算出された移動体Cの位置を、当該車両内の画面に表示する。この移動体Cを認識した時点と、移動体Cの位置を当該車両内の画面に表示する時点では、時間的なずれが生じるので、表示時点で移動体Cが進んでいる位置を推定して表示する。
【効果】交差点4に進入しようとする移動体Cの位置を、当該車両内の画面上に表示することができるとともに、入手した移動体の位置データから、表示遅れ時間分を考量して表示時点での移動体の位置を推定して提供できるため、より正確な情報提供が可能となる。
【選択図】図6
Description
本発明は、交差点などの見通しの悪い場所に設置したカメラで道路上の移動体(車両、二輪車、人等)を撮像し、これから得られる情報を、路車間通信を通じて、交差点に別の道路から進入する車両に送信し、当該車両から死角となる移動体の接近情報を、ドライバが理解しやすい情報に加工して提供する接近移動体表示装置、システム及び方法に関するものである。
車両の出合い頭衝突防止表示装置として、優先道路に車両感知器を設置し、当該優先道路の交差点に警告表示板を設置し、車両感知器で優先道路を走行する車両を検知したときに、前記警告表示板に警報を表示する装置がある(特許文献1参照)。これにより、交差点における出合い頭事故の可能性を予告することができる。
また、交差点にカメラを設置し、このカメラにより、死角となる直角道路から交差点に接近してくる他車両の画像を撮像し、この画像を車両に送信する装置がある(特許文献2参照)。この装置によれば、カメラから見た画像を車両内で観察することができる。
特開平5−28400号公報
特開2003−109199号公報
また、交差点にカメラを設置し、このカメラにより、死角となる直角道路から交差点に接近してくる他車両の画像を撮像し、この画像を車両に送信する装置がある(特許文献2参照)。この装置によれば、カメラから見た画像を車両内で観察することができる。
前記特許文献1の技術では、交差点に近づいた自車両は、優先道路から何らかの車両が近づいてくることは認識できるものの、その車両が今どの位置にいて、どのような速度で近づいてくるのか、などの詳しい情報はわからない。したがって、警告表示板の警報を軽視して、一旦停止をしないで進んでしまう可能性もあり、事故の防止に万全とはいえない。
前記特許文献2の技術では、交差点に近づいた自車両は、優先道路から近づいてくる他車両を画面上で認識することはできる。しかし、あくまでもカメラから見た画像であるので、距離感、速度感が出ない。自車両と他車両との正確な位置関係がわかりにくい。したがって、誤認識、錯覚の原因となる可能性がある。
また、自車両が交差点に達したときにのみ画像が入手できるため、移動体の時々刻々の動きが分からない。ドライバから見ればもっと情報が欲しい。
また、自車両が交差点に達したときにのみ画像が入手できるため、移動体の時々刻々の動きが分からない。ドライバから見ればもっと情報が欲しい。
例えば、自車両のフロントガラスから直接見たようなリアルな印象を受けることができればよいが、このような先行技術はない。
そこで、本発明は、自車両から死角となる移動体の接近情報を検知してドライバに情報提供する場合に、自車両のドライバが他車両との位置関係を正確に把握することのできる接近移動体表示装置、システム及び方法を提供することを目的とする。
そこで、本発明は、自車両から死角となる移動体の接近情報を検知してドライバに情報提供する場合に、自車両のドライバが他車両との位置関係を正確に把握することのできる接近移動体表示装置、システム及び方法を提供することを目的とする。
本発明の接近移動体表示装置は、カメラで繰り返し撮像された道路の交通状況の画像を受信する受信部と、前記画像に基づいて前記道路を移動する移動体を認識し、前記認識された移動体の位置を算出する演算部と、前記移動体の位置を、前記車両内の画面に表示する表示部と、前記画像の撮像時点と前記移動体の位置の表示時点との差に基づいて、前記算出した移動体の位置を補正する補正部とを有するものである(請求項1)。
この装置では、交差点等に進入しようとする前記道路を移動する接近移動体の位置を、当該車両内の画面上に表示することができる。この処理を繰り返して行い、表示を更新していけば、当該車両のドライバは、死角となる交差点の流入道路等の移動体の走行状況を、自車両との関係で、時々刻々と連続的に把握することができる。従って、出会い頭衝突の事故を未然に防止することができ、交差点での安全運転を支援することができる。また、補正部で補正することにより、入手した移動体の位置データから、遅れ時間分を考量して表示時点での移動体の位置を推定して提供できるため、より正確な情報提供が可能となる。
前記算出された移動体の位置を車両内の画面に表示する場合、前記移動体の位置を道路図形と重ねて表示することとすれば(請求項2)、当該車両のドライバは、移動体の位置を道路に関連付けて正確に把握することができる。
前記算出された移動体の位置を車両内の画面に表示する場合、前記移動体の位置を3次元表示された道路図形と重ねて表示することとすれば(請求項3)、当該車両のドライバは、移動体の位置と、その動きを道路に関連づけてさらにリアルに把握することができる。
前記算出された移動体の位置を車両内の画面に表示する場合、前記移動体の位置を3次元表示された道路図形と重ねて表示することとすれば(請求項3)、当該車両のドライバは、移動体の位置と、その動きを道路に関連づけてさらにリアルに把握することができる。
前記表示部は、前記移動体の位置と当該車両の位置との相対位置関係に基づき、当該車両の走行方向を基準とした前記移動体の方向を特定し、前記特定された方向に基づいて、移動体の位置を表示することとすれば(請求項4)、当該車両の走行方向を基準とした前記移動体の方向、すなわち当該車両から前記移動体が見える方向を特定することができる。したがって、この特定された方向に基づいて、接近移動体の位置を当該車両内の画面に表示することとすれば、車内のドライバは、移動体がどの位置にあり、どのような動きをしているかを、直感的に把握することができる。
前記表示部は、ドライバの視点を基準として、前記移動体の位置を表示すれば(請求項5)、ドライバは、目の前で見ているかのようにして接近移動体の動きを把握できる。
前記表示部は、前記移動体の位置をヘッドアップディスプレイに表示するものでもよい(請求項6)。前記接近移動体の算出位置をヘッドアップディスプレイに重ねて表示することにより、ドライバは、運転中視線を大きく動かさなくても、接近移動体を認識することができる。
前記表示部は、前記移動体の位置をヘッドアップディスプレイに表示するものでもよい(請求項6)。前記接近移動体の算出位置をヘッドアップディスプレイに重ねて表示することにより、ドライバは、運転中視線を大きく動かさなくても、接近移動体を認識することができる。
前記演算部は、移動体が前記カメラに接近しているか遠ざかっているかを判定することができれば(請求項7)、交差点から遠ざかっている移動体は無視すれば、処理するデータ量が半減する。よって処理の迅速化につながる。
前記演算部は、移動体が前記カメラに接近する場合、移動体に衝突する危険性の高い自車両の走行速度危険範囲を設定し、自車両の速度と共に表示することとすれば、ドライバは、自車両の速度が危険範囲に入っていれば、速度を変更するなどして、衝突を回避することができる。
前記演算部は、移動体が前記カメラに接近する場合、移動体に衝突する危険性の高い自車両の走行速度危険範囲を設定し、自車両の速度と共に表示することとすれば、ドライバは、自車両の速度が危険範囲に入っていれば、速度を変更するなどして、衝突を回避することができる。
本発明の接近移動体表示装置は、交差点など見通しの悪い場所に接近する移動体の位置を受信する受信部と、前記移動体の位置を前記車両内の画面に表示する表示部と、前記移動体の位置の受信時点と前記移動体の位置の表示時点との差に基づいて、前記算出した移動体の位置を補正する補正部とを有するものである(請求項8)。
この接近移動体表示装置を使えば、交差点等見通しの悪い場所を移動する接近移動体の位置を、当該場所に進入しようとする当該車両内の画面上に表示することができる。したがって、当該車両のドライバは、死角となる場所の移動体の状況を具体的に把握することができる。従って、出会い頭衝突の事故を未然に防止することができ、交差点での安全運転を支援することができる。
この接近移動体表示装置を使えば、交差点等見通しの悪い場所を移動する接近移動体の位置を、当該場所に進入しようとする当該車両内の画面上に表示することができる。したがって、当該車両のドライバは、死角となる場所の移動体の状況を具体的に把握することができる。従って、出会い頭衝突の事故を未然に防止することができ、交差点での安全運転を支援することができる。
本発明の接近移動体表示システムは、交差点など見通しの悪い場所の近くに設置され、道路の交通状況を繰り返して撮像するカメラと、前記カメラで撮像された各画像情報を送信する画像送信装置と、車載装置とを備え、前記車載装置は、受信部と、前記画像送信装置から送信され前記受信部で受信された各画像情報に基づいて当該道路を移動する移動体を認識し、前記認識された移動体の位置を算出する演算部と、前記算出された移動体の位置を当該車両内の画面に表示する表示部と、前記画像の撮像時点と前記移動体の位置の表示時点との差に基づいて、前記算出した移動体の位置を補正する補正部とを有するものである(請求項9)。
このシステムは、交差点等見通しの悪い場所を移動する接近移動体の位置を、当該場所に進入しようとする当該車両内の画面上に表示することができる。この処理を繰り返して行い、表示を更新していけば、当該車両のドライバは、死角となる場所の移動体の移動状況を、時々刻々と連続的に把握することができる。従って、出会い頭衝突の事故を未然に防止することができ、交差点での安全運転を支援することができる。
このシステム構成によれば、画像送信装置は、前記カメラで撮像された各画像情報を送信するだけでよく、前記画像送信装置から送信された各画像情報に基づいて当該道路を移動する移動体を認識する処理、前記認識された移動体の位置を算出する処理は、前記車載装置で行う。したがって、路上側の処理機能が軽減され、路上側の管理者の責任が軽減し、かつ車載装置のメーカの技術競争が助長されるため、システムの高度化が促進できるメリットがある。
前記画像送信装置は、画像情報と共に、さらに当該見通しの悪い場所の形状の情報を送信するものであれば、車載装置は、この情報に基づいて車内の画面に当該場所形状を表示することができるので、ドライバは移動体と出会うことが予想される交差点の様子を事前に把握できる。よって一層の危険防止を図ることができる。
なお前記移動体の検出処理や位置の算出処理は、必ずしも、車載装置で行う必要はなく、路上に設置した画像処理装置で行ってもよい。
なお前記移動体の検出処理や位置の算出処理は、必ずしも、車載装置で行う必要はなく、路上に設置した画像処理装置で行ってもよい。
この場合、本発明の接近移動体表示システムは、交差点など見通しの悪い場所の近くに設置され、道路の交通状況を繰り返して撮像するカメラと、前記カメラで撮像された各画像情報に基づいて、前記道路を移動する移動体を認識し、前記認識された移動体の位置を算出して、送信する画像処理装置と、車載装置とを備え、前記車載装置は、受信部と、前記画像処理装置から送信された前記移動体の位置を前記車両内の画面に表示する表示部と、前記画像の撮像時点と前記移動体の位置の表示時点との差に基づいて、前記算出した移動体の位置を補正する補正部とを有するものである(請求項10)。
このシステムでは、画像処理装置は、前記カメラで撮像された各画像情報を送信するだけでなく、各画像情報に基づいて当該道路を移動する移動体を認識する処理、前記認識された移動体の位置を算出する処理も行う。路上側の処理機能が重くなるが、車載装置の機能は少なくてよいので、車載装置の低価格化が可能になると予想される。したがって、本システムの普及促進が期待できるメリットがある。
本発明の接近移動体表示方法は、カメラで道路の交通状況を繰り返して撮像し、前記カメラで撮像された各画像情報に基づいて前記道路を移動する移動体を認識し、前記認識された移動体の位置を算出し、前記移動体の位置を、前記画像の撮像時点と前記移動体の位置の表示時点との差に基づいて、前記算出した移動体の位置を補正した上で前記車両内の画面に表示する方法である(請求項11)。
この方法によって、交差点等見通しの悪い場所を移動する接近移動体の位置を、当該場所に進入しようとする当該車両内の画面上に表示することができる。この処理を繰り返して行い、表示を更新していけば、当該車両のドライバは、死角となる場所の移動体の移動状況を、時々刻々と連続的に把握することができる。従って、出会い頭衝突の事故を未然に防止することができ、交差点での安全運転を支援することができる。
以上のように本発明によれば、自車両から死角となる移動体の接近情報をカメラで認識し、ドライバから把握しやすい情報に変換して情報提供するため、ドライバは、違和感や錯覚無く接近車両を認知することが可能となる。この結果、出会い頭衝突(交差側車両との衝突)や右直(右折時の死角となる直進バイク等との衝突)の事故などを未然に防止し、交差点での安全運転を支援することができる。また、入手した移動体の位置データから、遅れ時間分を考量して表示時点での移動体の位置を推定して提供できるため、より正確な情報提供が可能となる。
以下、本発明の実施の形態を、添付図面を参照しながら詳細に説明する。
−接近移動体表示方法−
図1及び図2は、接近移動体表示方法を実施するためのカメラの配置図である。
図1では、カメラ3を、建物が密集した交差点4に配置し、図2では、建物が密集したカーブ5に配置している。いずれも、通行車両にとって、見通しの悪い場所にカメラ3を配置している。カメラの設置場所は、電柱、陸橋、歩道橋、ビル等、地上設備上の任意の場所でよい。
−接近移動体表示方法−
図1及び図2は、接近移動体表示方法を実施するためのカメラの配置図である。
図1では、カメラ3を、建物が密集した交差点4に配置し、図2では、建物が密集したカーブ5に配置している。いずれも、通行車両にとって、見通しの悪い場所にカメラ3を配置している。カメラの設置場所は、電柱、陸橋、歩道橋、ビル等、地上設備上の任意の場所でよい。
カメラ3の撮像方向は、交差点4にカメラ3を設置した場合、当該交差点4への、監視対象とする1本の流入路の方向である。カーブ5にカメラ3を設置した場合は、当該カーブ5から見たいずれかの方向の道路である。
交差点4が4本の流入路を持つ場合、各流入路を監視対象とするためには、各流入路を向いた4台のカメラ3を設置するとよい。しかし、すべての流入路にカメラ3を設置できなくても、少なくとも1本の流入路にカメラ3を向けることができれば、当該流入路を監視できることになる。
交差点4が4本の流入路を持つ場合、各流入路を監視対象とするためには、各流入路を向いた4台のカメラ3を設置するとよい。しかし、すべての流入路にカメラ3を設置できなくても、少なくとも1本の流入路にカメラ3を向けることができれば、当該流入路を監視できることになる。
カーブ5についても同様で、当該カーブ5から見た両方向にカメラ3を設置するとよいが、少なくとも1方向にカメラ3を向けることができれば、当該方向の道路を監視できることになる。
以下、交差点4の1本の流入路にカメラ3を配置した図1の構成を例にとって、接近移動体表示方法を説明する。
以下、交差点4の1本の流入路にカメラ3を配置した図1の構成を例にとって、接近移動体表示方法を説明する。
図3は、道路座標系とカメラ座標系との相対関係を示す座標図である。
道路(背景)の座標系を(X,Y,Z)、カメラ3の座標系を(X′,Y′,Z′)とし、原点はともにカメラ3のレンズ中心とする。
道路座標系は、監視対象である道路方向をY軸(前方向を正)、これと直角な道路面上の方向をX軸(右方向を正)、路面と垂直な方向をZ(上方を正)とする。
道路(背景)の座標系を(X,Y,Z)、カメラ3の座標系を(X′,Y′,Z′)とし、原点はともにカメラ3のレンズ中心とする。
道路座標系は、監視対象である道路方向をY軸(前方向を正)、これと直角な道路面上の方向をX軸(右方向を正)、路面と垂直な方向をZ(上方を正)とする。
またカメラ座標系は、カメラ3の光軸をY′軸、これに垂直な平面上のカメラ3の右方向をX′軸、カメラ3の上方向をZ′軸とする。
さらに、カメラ3座標軸の道路座標軸に対する回転角(カメラ3の姿勢)を、それぞれθ(ピッチ角)、φ(ロール角)、ψ(ヨー角)とし、全て右ねじの進む方向を正(θ:水平面より上向きが正、φ:右回りが正、ψ:左回りが正)とする。θ、φ、ψはいずれも既知とする。
さらに、カメラ3座標軸の道路座標軸に対する回転角(カメラ3の姿勢)を、それぞれθ(ピッチ角)、φ(ロール角)、ψ(ヨー角)とし、全て右ねじの進む方向を正(θ:水平面より上向きが正、φ:右回りが正、ψ:左回りが正)とする。θ、φ、ψはいずれも既知とする。
このとき道路座標系とカメラ座標系との変換式は、次の式で表現できる。
ここで、行列の各要素は、次のとおりである。
P11=cos φcos ψ−sin θsin φsin ψ
P12=cos φsin ψ+sin θsin φcos ψ
P13=−cos θsin φ
P21=−cos θsin ψ
P22=cos θcos ψ
P23=sin θ
P31=sin φcos ψ+sin θcos φsin ψ
P32=sin φsin ψ−sin θcos φcos ψ
P33=cos θcos φ
図4は、カメラ3の画像面を示す図であり、右方向をx軸、上方向をy軸とする。x軸は前記X′軸と一致し、y軸は前記Z′軸と一致する。
P11=cos φcos ψ−sin θsin φsin ψ
P12=cos φsin ψ+sin θsin φcos ψ
P13=−cos θsin φ
P21=−cos θsin ψ
P22=cos θcos ψ
P23=sin θ
P31=sin φcos ψ+sin θcos φsin ψ
P32=sin φsin ψ−sin θcos φcos ψ
P33=cos θcos φ
図4は、カメラ3の画像面を示す図であり、右方向をx軸、上方向をy軸とする。x軸は前記X′軸と一致し、y軸は前記Z′軸と一致する。
このとき、カメラ座標系の点(X,Y,Z)は、カメラ3の画像面上の点(x,y)に次のように変換される。fはレンズの焦点距離である。Hを路面からカメラ3までの高さとする。
x=f・X′/Y′ (1)
y=f・Z′/Y′ (2)
いま、監視対象であるカメラ3の前方の道路に移動体Cが存在するとする。移動体Cは、歩行者、二輪車、自動車など動くものなら何でもよい。
x=f・X′/Y′ (1)
y=f・Z′/Y′ (2)
いま、監視対象であるカメラ3の前方の道路に移動体Cが存在するとする。移動体Cは、歩行者、二輪車、自動車など動くものなら何でもよい。
移動体Cの特徴点に注目する。例えば、移動体Cが四輪自動車であるとすると、前輪の2つのタイヤに注目する。前輪の2つのタイヤの道路接地点同士を結んだ線分の中心を「移動体Cの特徴点」とする。
移動体Cが二輪車であれば、前輪のタイヤの道路接地点を「移動体Cの特徴点」とする。歩行者であれば、両足の道路接地点同士を結んだ線分の中心を「移動体Cの特徴点」とする。
移動体Cが二輪車であれば、前輪のタイヤの道路接地点を「移動体Cの特徴点」とする。歩行者であれば、両足の道路接地点同士を結んだ線分の中心を「移動体Cの特徴点」とする。
移動体Cの特徴点は道路接地面に存在するので、その高さZは、−Hである。
移動体Cの特徴点を道路座標系で表せば、(X,Y,−H)となる。
これを前記行列式に代入すれば、X′,Z′,Y′をそれぞれX,Yで表すことができる。さらに、前記レンズ変換式(1)(2)を用いれば、カメラ3の画像面上の点x,yをX,Yで表すことができる。
移動体Cの特徴点を道路座標系で表せば、(X,Y,−H)となる。
これを前記行列式に代入すれば、X′,Z′,Y′をそれぞれX,Yで表すことができる。さらに、前記レンズ変換式(1)(2)を用いれば、カメラ3の画像面上の点x,yをX,Yで表すことができる。
言い換えれば、カメラ3の撮像画像から車両を認識して切り出すことにより、移動体Cの特徴点の撮像画像上の座標(x0,y0)が得られたとすれば、これに基づいて方程式(1)(2)を解いて、移動体Cのカメラ3からの相対位置X,Yを算出することができる。なお、カメラ3の経緯度表現による絶対位置が分かっているならば、移動体Cの位置を絶対位置で表すこともできる。
以上のように移動体Cの位置が特定できれば、移動体Cの位置を画面上に表示することができる。
図5は、前記移動体Cの位置を道路図形と重ねて表示した場合の画面図である。画面は、例えば車載テレビジョンや車載ナビゲーション装置の画面14を用いる。この画面14には、自車両Aの位置とともに、交差点4を含む実際の道路地図が表示されている。前記移動体Cの位置を、この道路上に表示する。なお、車両が道路上を走行することを前提としたマップマッチング技術を用いれば、移動体Cの位置を道路上に、より正確に表示することができる。
図5は、前記移動体Cの位置を道路図形と重ねて表示した場合の画面図である。画面は、例えば車載テレビジョンや車載ナビゲーション装置の画面14を用いる。この画面14には、自車両Aの位置とともに、交差点4を含む実際の道路地図が表示されている。前記移動体Cの位置を、この道路上に表示する。なお、車両が道路上を走行することを前提としたマップマッチング技術を用いれば、移動体Cの位置を道路上に、より正確に表示することができる。
前記移動体Cの特徴点を、車載テレビジョン画面や、車載ナビゲーション装置の画面14に3次元表示された道路図形の上に投影することもできる。この前提として、車載装置は、3次元表示可能な道路図形のデータベースを持っているか、あるいは地上装置から取得可能な状態にある必要がある。
図6は、画面14に3次元表示された道路図形に、前記移動体の位置を重ねて表示した状態を示す画面図である。車両Aは、交差点4に向かって走行中である。画面14には、自車両Aの前方にある交差点4が写されていて、交差点4に近づく移動体Cが表示されている。ドライバは、画面14を見れば、交差点4に近づくこの移動体Cを認識することができる。実際、移動体CがビルディングBの陰になっている場合でも、移動体Cは表示可能である。
図6は、画面14に3次元表示された道路図形に、前記移動体の位置を重ねて表示した状態を示す画面図である。車両Aは、交差点4に向かって走行中である。画面14には、自車両Aの前方にある交差点4が写されていて、交差点4に近づく移動体Cが表示されている。ドライバは、画面14を見れば、交差点4に近づくこの移動体Cを認識することができる。実際、移動体CがビルディングBの陰になっている場合でも、移動体Cは表示可能である。
自車両Aのドライバは、この画面14を見て、前記移動体Cと自車両Aとの相対位置関係を把握することができる。この処理を繰り返して行い、表示を更新していけば、当該車両のドライバは、移動体Cの移動状況を、時々刻々と連続的に把握することができる。
実際の移動体Cが建物の陰に隠れていても、画面14には移動体Cが存在するかのように映るので、ドライバは、移動体Cが次の交差点4に現れることを予想できる。
実際の移動体Cが建物の陰に隠れていても、画面14には移動体Cが存在するかのように映るので、ドライバは、移動体Cが次の交差点4に現れることを予想できる。
従って、交差点4での出会い頭衝突事故が起こらないように減速などすることができる。
以上のように移動体Cの位置が特定できれば、次に、ドライバの視点Eから移動体Cを見た場合の、移動体Cが見える方向を算出することもできる。
以下、単純化するために、場所が直角交差点であるとし、移動体Cの位置座標X,Yの、X座標値を0とおく。自車両Aの位置X,Yの、Y座標値も0とおく。また自車両Aの走行方向は、−X方向であるとする。
以上のように移動体Cの位置が特定できれば、次に、ドライバの視点Eから移動体Cを見た場合の、移動体Cが見える方向を算出することもできる。
以下、単純化するために、場所が直角交差点であるとし、移動体Cの位置座標X,Yの、X座標値を0とおく。自車両Aの位置X,Yの、Y座標値も0とおく。また自車両Aの走行方向は、−X方向であるとする。
図7は、自車両Aと移動体Cとの位置関係を表す平面図である。
自車両Aのドライバの視点Eとカメラ3との距離をXa、移動体Cの特徴点とカメラ3との距離をYbとしている。
距離Xaは、自車両Aにおいて後述するように検出可能であり、距離Ybは前述したように撮像画像から求めることができる。したがって、ドライバの視点Eから見た移動体Cの方向Tが決定でき、ドライバの視点Eから見た移動体Cが見える水平角度αが決定できる。ドライバの視点Eから移動体Cまでの距離Wも算出できる。
自車両Aのドライバの視点Eとカメラ3との距離をXa、移動体Cの特徴点とカメラ3との距離をYbとしている。
距離Xaは、自車両Aにおいて後述するように検出可能であり、距離Ybは前述したように撮像画像から求めることができる。したがって、ドライバの視点Eから見た移動体Cの方向Tが決定でき、ドライバの視点Eから見た移動体Cが見える水平角度αが決定できる。ドライバの視点Eから移動体Cまでの距離Wも算出できる。
なお、移動体Cの位置と自車両Aの位置とを、経緯度表現した場合であっても、ドライバの視点Eから見た移動体Cが見える水平角度α、ドライバの視点Eから移動体Cまでの距離Wは、算出できる。
図8は、方向Tを横軸、路面と垂直な方向Zを縦軸にとった場合の座標図である。ドライバの視点Eの地上からの高さをhとする。このhは、運転席の椅子の高さやドライバの座高に基づいて決まるが、ドライバにより変わるため、システムとしては平均的な数値を入れておき、使用時にマンマシン操作で容易に変更できるようにしておけばよい。
図8は、方向Tを横軸、路面と垂直な方向Zを縦軸にとった場合の座標図である。ドライバの視点Eの地上からの高さをhとする。このhは、運転席の椅子の高さやドライバの座高に基づいて決まるが、ドライバにより変わるため、システムとしては平均的な数値を入れておき、使用時にマンマシン操作で容易に変更できるようにしておけばよい。
ドライバの視点Eから移動体Cまでの距離Wは前述したように算出できる。移動体Cの特徴点は、道路接地面に存在する。したがって、ドライバの視点Eから見た移動体Cを見下ろす角度βを算出することができる。
以上のようにして求められた角度α、βに基づいて、ドライバの視点Eから移動体Cがどのように見えるかを決定することができる。
以上のようにして求められた角度α、βに基づいて、ドライバの視点Eから移動体Cがどのように見えるかを決定することができる。
以上の検討では、単純化するために、交差点4は、直角交差点であるとしたが、直角でなくともよい。移動体Cの位置X,Yの座標値は0でなくてもよく、自車両Aの位置X,Yの座標値も0でなくてもよい。このように一般化した場合の自車両A、カメラ3、移動体Cを含む平面図を、図9に示す。
図9では、自車両Aのドライバの視点Eの座標を(Xa,Ya)、移動体Cの特徴点の座標を(Xb,Yb)としている。また自車両Aの走行方向をPで表している。自車両Aの走行方向Pとドライバの視点Eの座標(Xa,Ya)は、後述するように検出可能である。ドライバの視点Eとカメラ3との距離は√(Xa2+Ya2)、移動体Cの特徴点とカメラ3との距離は√(Xb2+Yb2)となる。
図9では、自車両Aのドライバの視点Eの座標を(Xa,Ya)、移動体Cの特徴点の座標を(Xb,Yb)としている。また自車両Aの走行方向をPで表している。自車両Aの走行方向Pとドライバの視点Eの座標(Xa,Ya)は、後述するように検出可能である。ドライバの視点Eとカメラ3との距離は√(Xa2+Ya2)、移動体Cの特徴点とカメラ3との距離は√(Xb2+Yb2)となる。
このような一般的な場合であっても、図7、図8を用いて解説した前記幾何学的考察を当てはめて、ドライバの視点Eから見た移動体Cが見える水平角度α、ドライバの視点Eから見た移動体Cを見下ろす角度βを算出することができる。
次に、車両A内のヘッドアップディスプレイの画面で、移動体Cの画像を作り出すことを試みる。なお、ヘッドアップディスプレイ表示には、車両のフロントガラスとは別に用意した表示板に表示する場合や、フロントガラスに直接表示する場合が含まれる。以下、フロントガラスに直接表示する場合を想定して説明する。
次に、車両A内のヘッドアップディスプレイの画面で、移動体Cの画像を作り出すことを試みる。なお、ヘッドアップディスプレイ表示には、車両のフロントガラスとは別に用意した表示板に表示する場合や、フロントガラスに直接表示する場合が含まれる。以下、フロントガラスに直接表示する場合を想定して説明する。
図10は、フロントガラスの画面u,vを表す画面図である。横方向をu、縦方向をvにとっている。ドライバの視点Eとフロントガラスとの距離は既知であり、あらかじめ設定できる。ドライバの視点Eから移動体Cの特徴点までの方向α、βが分かっているので、移動体Cの特徴点をフロントガラスの画面上の点u0,v0に投影することができる。この投影点(u0,v0)が決まれば、その点を基準にして、一定の移動体C′を作画することができる。
移動体Cが建物や樹木のために隠れて見えないときでも、この作画された移動体C′がフロントガラスに写るので、ドライバの注意を引くことができ、衝突の危険性を避けることができる。
実際に移動体Cがフロントガラスから見えている場合は、移動体Cとこの作画された移動体C′とが重なって見えるが、ドライバの注意を引くためには、好ましいと考える。
実際に移動体Cがフロントガラスから見えている場合は、移動体Cとこの作画された移動体C′とが重なって見えるが、ドライバの注意を引くためには、好ましいと考える。
−接近移動体表示システム及び装置−
次に、前記接近移動体表示方法を実施するための、本発明の接近移動体表示システムの構成を説明する。
図11は、接近移動体表示システムの全体構成を示す概念図である。接近移動体表示システムは、カメラ3と、画像送信装置6と、車載装置7とを含む。
次に、前記接近移動体表示方法を実施するための、本発明の接近移動体表示システムの構成を説明する。
図11は、接近移動体表示システムの全体構成を示す概念図である。接近移動体表示システムは、カメラ3と、画像送信装置6と、車載装置7とを含む。
カメラ3は、前述したように、交差点4、カーブ5など見通しの悪いところに配置されている。その高さ、姿勢、倍率(若しくは焦点距離)は、固定されているか、あるいは所望の値に設定可能となっている。
画像送信装置6は、カメラ3で撮像した画像データ等を送信する装置である。カメラ3と同じ筐体に収納されていてもよく、別の筐体に収納されていてもよい。別の筐体に収納されている場合は、カメラ3と通信回線で結ばれている。画像データの送信媒体は、車載装置7に送信することを考慮すれば、無線あるいは光が適当である。光ビーコン等によるスポットの路車間通信よりも、無線LAN等の路車間通信がさらに望ましい。変調方式や符号化方式は、任意である。
画像送信装置6は、カメラ3で撮像した画像データ等を送信する装置である。カメラ3と同じ筐体に収納されていてもよく、別の筐体に収納されていてもよい。別の筐体に収納されている場合は、カメラ3と通信回線で結ばれている。画像データの送信媒体は、車載装置7に送信することを考慮すれば、無線あるいは光が適当である。光ビーコン等によるスポットの路車間通信よりも、無線LAN等の路車間通信がさらに望ましい。変調方式や符号化方式は、任意である。
画像送信装置6から車載装置7に送られるデータは、画像データの他に、カメラ3の位置データ、時刻データ、カメラ3の姿勢、高さ、倍率のデータなどがある。その他、交差点形状のデータも含めてもよい。
カメラ3の位置は、次のような方法で設定する。
(1)カメラ3の取り付け前の調査で把握し、予め画像送信装置6に記憶させておく。
カメラ3の位置は、次のような方法で設定する。
(1)カメラ3の取り付け前の調査で把握し、予め画像送信装置6に記憶させておく。
(2)GPS(Global Positioning System)受信装置を利用して位置を検出する。カメラ3の設置位置は、一度設置されるとほぼ動くことがないので、GPSの検出位置精度を向上させるため、過去の検出データ平均値を用いたり、CEP(Circular Error Probable,確率誤差円、位置検出の信頼度、自乗平均誤差の約2倍)の良好な時点の検出データの平均値を用いたりしてもよい。
時刻は、時刻タイマーを持っていても、長い年月の間には時刻ずれが発生し得る。このため、GPSや電波時計により正確な時刻を得て、定期的に補正してもよい。また他の装置との通信で正確な時刻を入手して補正してもよい。
図12は、画像送信装置6から車載装置7に各種データを送信するスケジュールを示すフローチャートである。画像送信装置6は、一定の処理周期になれば(ステップS1)、カメラ3から撮像画像を取得し(ステップS2)、車載装置7との通信が確立していれば(ステップS3)、時刻、撮像画像、カメラ3の位置、カメラ3の姿勢、交差点形状などのデータを車載装置7に送信する(ステップS4)。また、差分画像を得るため、移動体のない時の撮像画像も送信することが好ましい。
図12は、画像送信装置6から車載装置7に各種データを送信するスケジュールを示すフローチャートである。画像送信装置6は、一定の処理周期になれば(ステップS1)、カメラ3から撮像画像を取得し(ステップS2)、車載装置7との通信が確立していれば(ステップS3)、時刻、撮像画像、カメラ3の位置、カメラ3の姿勢、交差点形状などのデータを車載装置7に送信する(ステップS4)。また、差分画像を得るため、移動体のない時の撮像画像も送信することが好ましい。
車載装置7は、画像処理機能やマンマシン機能を持った車載コンピュータ16、電波時計11、位置方位検出装置12、通信装置13、ディスプレイ14、スピーカ15等で構成される。
前記通信装置13は、画像送信装置6から送られてくるデータを受信するものであり、復調方式や復号化方式は、画像送信装置6のものに対応している。
前記通信装置13は、画像送信装置6から送られてくるデータを受信するものであり、復調方式や復号化方式は、画像送信装置6のものに対応している。
電波時計11は、現在時刻を知るものであるが、これに限られない。画像送信装置6から時刻データが送られてくるのであれば、この時刻データを参照してもよいし、この他GPS、放送媒体、公衆通信媒体などから時刻が分かるのであれば、これを参照してもよい。
位置方位検出装置12は、当該車両の位置と方位を検出するための装置である。なお、車載装置7の位置検出は、例えばGPSを利用する。GPSを利用する以外にも、車両が道路上を走行することを前提としたマップマッチング、車載搭載センサ等、車載ナビゲーションで使用される諸技術を利用してもよい。また、直前で交信した路側装置、例えば光ビーコンから絶対位置を取得し、これと自車両の距離計を利用して、現在位置を検出してもよい。なお位置の表現は、経緯度による絶対的表現と、交差点4からの距離のような相対的表現があり、どちらを利用してもよい。
位置方位検出装置12は、当該車両の位置と方位を検出するための装置である。なお、車載装置7の位置検出は、例えばGPSを利用する。GPSを利用する以外にも、車両が道路上を走行することを前提としたマップマッチング、車載搭載センサ等、車載ナビゲーションで使用される諸技術を利用してもよい。また、直前で交信した路側装置、例えば光ビーコンから絶対位置を取得し、これと自車両の距離計を利用して、現在位置を検出してもよい。なお位置の表現は、経緯度による絶対的表現と、交差点4からの距離のような相対的表現があり、どちらを利用してもよい。
さらに、車両の位置とともに、車両の方位を検出する。この車両の方位は、地磁気方位センサ、ジャイロセンサなど車載ナビゲーションで使用される技術を利用可能である。また、現在の位置と直近に検出した位置との差分をとることにより、方位を検出してもよい。
ディスプレイ14には、図形表示可能なフロントディスプレイ、車載テレビジョン画面、車載ナビゲーション装置の画面を利用する。車載テレビジョン画面、車載ナビゲーション装置の画面を「モニター画面」という。
ディスプレイ14には、図形表示可能なフロントディスプレイ、車載テレビジョン画面、車載ナビゲーション装置の画面を利用する。車載テレビジョン画面、車載ナビゲーション装置の画面を「モニター画面」という。
フロントディスプレイ14は、画像投影装置を用いて、運転席の近くのガラスに、図形等の画像を表示することができるものである。車両のフロントガラスに図形等の画像を表示する技術は公知である(特開平8-108773号公報参照)。
スピーカ15は、交差点4などでの出会い頭衝突事故を予知した場合に、ドライバにアナウンスするためのものである。
スピーカ15は、交差点4などでの出会い頭衝突事故を予知した場合に、ドライバにアナウンスするためのものである。
車載コンピュータ16は、画像送信装置6から送られてくる画像データに基づいて、接近移動体の存在を認識し、その位置を算出し、自車両との出会い頭衝突の可能性を推定し、表示用、音声出力用のデータを作成する。
以下、この車載コンピュータ16の機能を、フローチャート(図13,図14)に基づいて詳細に説明する。
以下、この車載コンピュータ16の機能を、フローチャート(図13,図14)に基づいて詳細に説明する。
車載コンピュータ16は、一定の処理周期になれば(ステップT1)、画像送信装置6との通信が確立しているかどうかを確認し(ステップT2)、確立していれば、画像送信装置6から、撮像時刻、撮像画像(移動体のない時の撮像画像を含む)、カメラ3の位置、カメラ3の姿勢、交差点形状などのデータを受信する(ステップT3)。
そして、撮像画像に基づいて、移動体を認識する(ステップT4)。この移動体の認識は、移動体のない時の撮像画像との差分をとることにより行うことができる。この差分画像を微分処理して輪郭を先鋭にし、移動体の部分を切り出し、その特徴点を特定する。以上の移動体認識処理の詳細は、例えば特開昭62-126499号公報参照。
そして、撮像画像に基づいて、移動体を認識する(ステップT4)。この移動体の認識は、移動体のない時の撮像画像との差分をとることにより行うことができる。この差分画像を微分処理して輪郭を先鋭にし、移動体の部分を切り出し、その特徴点を特定する。以上の移動体認識処理の詳細は、例えば特開昭62-126499号公報参照。
次に、前後の画像との比較により、当該切り出された移動体がカメラ3に向かって接近しているのか遠ざかっているのかを判断し(ステップT5)、遠ざかる移動体であれば、処理を中断する。
このようにして、カメラ3に向かって接近する移動体のみを特定する。
次に移動体に対して、テンプレートを適用して種類を判別するとともに、前記接近移動体表示方法で説明した、カメラ3の撮像画像内の移動体Cの特徴点の座標(x0,y0)に基づいて、接近移動体の位置を算出する(ステップT6)。なお、前記移動体の種類としては、車両、二輪車、人の別があり、車両の場合はバス、トラック、セダン型乗用車、ワゴン型乗用車などがある。
このようにして、カメラ3に向かって接近する移動体のみを特定する。
次に移動体に対して、テンプレートを適用して種類を判別するとともに、前記接近移動体表示方法で説明した、カメラ3の撮像画像内の移動体Cの特徴点の座標(x0,y0)に基づいて、接近移動体の位置を算出する(ステップT6)。なお、前記移動体の種類としては、車両、二輪車、人の別があり、車両の場合はバス、トラック、セダン型乗用車、ワゴン型乗用車などがある。
なお、この接近移動体の位置は、カメラ撮像時の位置であるため、厳密に言えば、ディスプレイ14で移動体を表示する時点の位置とずれが生じる。そのため、移動体表示時刻の位置を、カメラ撮像時の位置に基づいて推定する必要があるので、その推定処理を説明する(ステップT7)。
移動体の位置のX座標を、簡単のため0とおき、Y座標だけで議論する。移動体表示時刻をtとする。
移動体の位置のX座標を、簡単のため0とおき、Y座標だけで議論する。移動体表示時刻をtとする。
移動体表示時刻tの位置Yは、過去に得られた複数データ(ti,Yi)(tは時刻、iは整数を表す)を用いて、以下の方法で推定する。
(a)1次式を利用した例
Y=at+b
で推定する。係数a,bは、過去のデータから線形回帰や最小自乗法で算出可能である。前記係数aに基づいて当該移動体の速度Vを算出し、直前のデータ(t0,Y0)と時間遅れ(t−t0)とから、移動体表示時刻tの位置Yを、Y=Y0+V(t−t0) で算出する。なお直前のデータの変わりに、過去のデータの平均値等を基準としてもよい。
(b)2次式を利用した例
Y=at2+bt+c
で推定する。係数a,b,cは、過去のデータから線形回帰や最小自乗法で算出可能である。前記係数a,bに基づいて、移動体の速度Vと加速度Aを算出し、直前のデータ(t0,Y0)と時間遅れ(t−t0)とから、移動体表示時刻tの位置Yを、Y=Y0+V(t−t0)+A(t−t0)2/2 で算出する。なお直前のデータの変わりに、過去のデータの平均値等を基準としてもよい。
(a)1次式を利用した例
Y=at+b
で推定する。係数a,bは、過去のデータから線形回帰や最小自乗法で算出可能である。前記係数aに基づいて当該移動体の速度Vを算出し、直前のデータ(t0,Y0)と時間遅れ(t−t0)とから、移動体表示時刻tの位置Yを、Y=Y0+V(t−t0) で算出する。なお直前のデータの変わりに、過去のデータの平均値等を基準としてもよい。
(b)2次式を利用した例
Y=at2+bt+c
で推定する。係数a,b,cは、過去のデータから線形回帰や最小自乗法で算出可能である。前記係数a,bに基づいて、移動体の速度Vと加速度Aを算出し、直前のデータ(t0,Y0)と時間遅れ(t−t0)とから、移動体表示時刻tの位置Yを、Y=Y0+V(t−t0)+A(t−t0)2/2 で算出する。なお直前のデータの変わりに、過去のデータの平均値等を基準としてもよい。
このようにして、移動体表示時刻における移動体の位置を推定することができる。
以上の推定処理を用いれば、画像送信装置の処理時間、通信時間、車載装置7への提供タイミング等の遅れを補償するために、入手した移動体の複数の位置データから、遅れ時間分を考量して表示時点での移動体の位置を推定して提供できるため、より正確な情報提供が可能となる。
以上の推定処理を用いれば、画像送信装置の処理時間、通信時間、車載装置7への提供タイミング等の遅れを補償するために、入手した移動体の複数の位置データから、遅れ時間分を考量して表示時点での移動体の位置を推定して提供できるため、より正確な情報提供が可能となる。
次に、移動体表示時刻における移動体の位置に基づいて、フロントガラスへの表示、又はモニター画面への表示を行う。
図14は、接近移動体を、自車両Aの画面上へ表示する場合の手順を示すフローチャートである。
フロントガラスへの表示を行う場合は(ステップT8でYES)、前述したように、ドライバの視点Eから接近移動体までの方向α、βが分かるので、その方向をフロントガラスへ投影することによって表示することができる(ステップT9,T10)。表示図形の形は、前記車種を判別するのに用いたテンプレートを参考にして行う。例えばテンプレートがバスであれば、バスの形をした図形を表示する。図形の大きさも、自車両から接近移動体までの距離Wと、標準的なバスの大きさを参考にして、実際に見たような大きさとなるように設定する。
図14は、接近移動体を、自車両Aの画面上へ表示する場合の手順を示すフローチャートである。
フロントガラスへの表示を行う場合は(ステップT8でYES)、前述したように、ドライバの視点Eから接近移動体までの方向α、βが分かるので、その方向をフロントガラスへ投影することによって表示することができる(ステップT9,T10)。表示図形の形は、前記車種を判別するのに用いたテンプレートを参考にして行う。例えばテンプレートがバスであれば、バスの形をした図形を表示する。図形の大きさも、自車両から接近移動体までの距離Wと、標準的なバスの大きさを参考にして、実際に見たような大きさとなるように設定する。
モニター画面への表示を行う場合は(ステップT11でYES)、図5に示したように、交差点4を含むナビゲーション用の平面道路地図の上に表示することができる。この場合、接近移動体Cの位置は、交差点形状とともに、そのまま道路地図上に表示される(ステップT12,T13)。
また、図6に示したように、立体道路地図と重ねてもよい。
また、図6に示したように、立体道路地図と重ねてもよい。
このようなフロントガラスあるいはモニター画面への表示をすれば、接近移動体の算出位置と自車両位置が、時々刻々変化するため、ドライバは、出会い頭衝突の危険度が分かり易い。
次に、オプションとして、接近移動体が車両や二輪車の場合、現在の走行速度を続けた場合に交差点4に到着する時間tsと、安全余裕度Δtとを基にして、自車両が、時間ts−Δtからts+Δtの範囲に交差点4に到達してしまう走行速度の範囲(「走行速度の危険範囲」という)を求め、自車速度と共に表示することが好ましい。
次に、オプションとして、接近移動体が車両や二輪車の場合、現在の走行速度を続けた場合に交差点4に到着する時間tsと、安全余裕度Δtとを基にして、自車両が、時間ts−Δtからts+Δtの範囲に交差点4に到達してしまう走行速度の範囲(「走行速度の危険範囲」という)を求め、自車速度と共に表示することが好ましい。
接近移動体の速度をv1,接近移動体から交差点4までの距離をs1、交差点4への到達時間tsとすると、
ts=s1/v1
となる。また自車両の危険速度をv2,交差点4までの距離をs2とすると、
ts−Δt≦s2/v2≦ts+Δt
を満たすv2の範囲が、走行速度の危険範囲となる(ステップT14)。
ts=s1/v1
となる。また自車両の危険速度をv2,交差点4までの距離をs2とすると、
ts−Δt≦s2/v2≦ts+Δt
を満たすv2の範囲が、走行速度の危険範囲となる(ステップT14)。
本表示は、図19に示すように、自車両の速度表示用のパネル上で行ってもよい(ステップT15)。図19で、"K"で示した範囲が走行速度の危険範囲に相当する。
なお上式では、安全余裕度を時間Δtで定義したが、距離で定義してもよい。また速度のみを用いて定式化したが、加速度も考量して定式化してもよい。
また、自車両が走行速度危険範囲内に入っている場合には、スピーカ15から音声で警告してもよい(ステップT16)。
なお上式では、安全余裕度を時間Δtで定義したが、距離で定義してもよい。また速度のみを用いて定式化したが、加速度も考量して定式化してもよい。
また、自車両が走行速度危険範囲内に入っている場合には、スピーカ15から音声で警告してもよい(ステップT16)。
移動体が自転車や人の場合には、走行速度危険範囲を求めなくても、移動体の交差点4までの距離に応じて警告をしてもよい。
今までは、車載装置7で移動体の存在判定や位置検出を行っていたが、路上側で、移動体の存在判定や位置検出を行ってもよい。
この場合の接近移動体表示システムの構成を図15に示す。
今までは、車載装置7で移動体の存在判定や位置検出を行っていたが、路上側で、移動体の存在判定や位置検出を行ってもよい。
この場合の接近移動体表示システムの構成を図15に示す。
図15は、接近移動体表示システムの全体構成を示す概念図である。この図15の構成と、図11との違いは、車載装置7の移動体の存在判定機能と、位置算出機能とが、画像処理装置6aの機能となっていることである。
これらの機能を含めた、画像処理装置6aの処理手順を、フローチャート(図16)を用いて説明する。
これらの機能を含めた、画像処理装置6aの処理手順を、フローチャート(図16)を用いて説明する。
画像処理装置6aは、一定の処理周期になれば(ステップU1)、カメラ3から撮像画像を取得し(ステップU2)、撮像画像に基づいて、移動体を認識する(ステップU3)。この移動体の認識は、図11において説明したのと同様、平常時の撮像画像との差分をとることにより行うことができる。この差分画像を微分処理して輪郭を先鋭にし、移動体の部分を切り出し、その特徴点を特定する。
次に、前の画像との比較により、当該切り出された移動体がカメラ3に向かって接近しているのか遠ざかっているのかを判断し(ステップU4)、遠ざかる移動体であれば、処理を中断する。
このようにして、カメラ3に向かって接近する移動体のみを特定する。
次に移動体に対して、テンプレートを適用してその種類を判別するとともに、前記接近移動体表示方法で説明した、カメラ3の撮像画像内の移動体Cの特徴点の座標(x0,y0)に基づいて、接近移動体の位置を算出する(ステップU5)。
このようにして、カメラ3に向かって接近する移動体のみを特定する。
次に移動体に対して、テンプレートを適用してその種類を判別するとともに、前記接近移動体表示方法で説明した、カメラ3の撮像画像内の移動体Cの特徴点の座標(x0,y0)に基づいて、接近移動体の位置を算出する(ステップU5)。
次に、車載装置7との通信が確立しているかどうかチェックし(ステップU6)、確立していれば、画像処理装置6aは、撮像時刻、接近移動体の位置、接近移動体の種類、交差点形状などのデータを車載装置7に送信する(ステップU7)。
次に車載装置7の処理に移る。
図17を参照して、車載コンピュータ16は、一定の処理周期になれば(ステップV1)、画像処理装置との通信が確立しているかどうかを確認し(ステップV2)、確立していれば、画像処理装置6aから、撮像時刻、接近移動体の位置、接近移動体の種類、交差点形状などのデータを受信する(ステップV3)。
次に車載装置7の処理に移る。
図17を参照して、車載コンピュータ16は、一定の処理周期になれば(ステップV1)、画像処理装置との通信が確立しているかどうかを確認し(ステップV2)、確立していれば、画像処理装置6aから、撮像時刻、接近移動体の位置、接近移動体の種類、交差点形状などのデータを受信する(ステップV3)。
次に、移動体表示時刻における移動体の位置を推定し(ステップV4)、移動体表示時刻における移動体の位置に基づいて、フロントガラスへの表示、又はモニター画面への表示を行う。
フロントガラスへの表示を行う場合は(ステップV5でYES)、ドライバの視点Eから接近移動体までの方向に基づいて、その方向をフロントガラスへ投影することによって表示する(ステップV6,V7)。
フロントガラスへの表示を行う場合は(ステップV5でYES)、ドライバの視点Eから接近移動体までの方向に基づいて、その方向をフロントガラスへ投影することによって表示する(ステップV6,V7)。
モニター画面への表示を行う場合は(ステップV8でYES)、ナビゲーション用の交差点4を含む道路地図の上に表示する(ステップV10)。
また、自車両が走行速度危険範囲内に入っている場合には(ステップV11)、走行速度の危険範囲表示(ステップV12)を行い、音声での警告(ステップV13)を行う。
以上で、本発明の実施の形態を説明したが、本発明の実施は、前記の形態に限定されるものではない。例えば、カメラ3の設置位置として、図1では交差点4、図2ではカーブ5上の位置を例示した。これらは終日見通しの悪い場所である。しかし、普段見通しがよい場所でも、他車両の陰になってしまうと見通しが悪くなり、事故が起こりやすくなる場所がある。例えば、図18に示したような、右折待ち車両Fの陰になる対向車線17がある。このような場合、図18に示すように対向車線17を見渡すことができる位置にカメラ3aを設置するとよい。本発明の方法により、カメラ3aの撮像画像に基づいて、右折待ち車両Fの陰になった移動体Gの映像を、自車両の画面に表示することとすれば、出会い頭の事故を防ぐことができる。
また、自車両が走行速度危険範囲内に入っている場合には(ステップV11)、走行速度の危険範囲表示(ステップV12)を行い、音声での警告(ステップV13)を行う。
以上で、本発明の実施の形態を説明したが、本発明の実施は、前記の形態に限定されるものではない。例えば、カメラ3の設置位置として、図1では交差点4、図2ではカーブ5上の位置を例示した。これらは終日見通しの悪い場所である。しかし、普段見通しがよい場所でも、他車両の陰になってしまうと見通しが悪くなり、事故が起こりやすくなる場所がある。例えば、図18に示したような、右折待ち車両Fの陰になる対向車線17がある。このような場合、図18に示すように対向車線17を見渡すことができる位置にカメラ3aを設置するとよい。本発明の方法により、カメラ3aの撮像画像に基づいて、右折待ち車両Fの陰になった移動体Gの映像を、自車両の画面に表示することとすれば、出会い頭の事故を防ぐことができる。
また、接近車両の位置算出処理を、車載装置7で行った場合と、画像処理装置6aで行って場合とを示したが、画像処理装置6aと車載装置7との両方で行って、算出結果の一致性を車載装置7でチェックすることにより、ミスを少なくする方法をとってもよい。
なお以上の実施形態では、単眼カメラ3の場合であるが、勿論ステレオカメラ3でもよい。
なお以上の実施形態では、単眼カメラ3の場合であるが、勿論ステレオカメラ3でもよい。
また、対象とする画像処理装置6aは、必ずしも1台ではなく、複数存在してもよい。また同じ道路にカメラ3を複数設置し、複数の撮像データを利用することにより、移動体の位置算出の精度を高めてもよい。
また移動体が、同一道路に複数存在する場合には、全てを情報提供の対象としてもよいし、先頭の移動体に限定してもよい。
また移動体が、同一道路に複数存在する場合には、全てを情報提供の対象としてもよいし、先頭の移動体に限定してもよい。
その他、本発明の範囲内で種々の変更を施すことが可能である。
3,3a カメラ
4 交差点
5 カーブ
6 画像送信装置
6a 画像処理装置
7 車載装置
11 電波時計
12 位置方位検出装置
13 通信装置
14 ディスプレイ、画面
15 スピーカ
16 車載コンピュータ
17 対向車線
4 交差点
5 カーブ
6 画像送信装置
6a 画像処理装置
7 車載装置
11 電波時計
12 位置方位検出装置
13 通信装置
14 ディスプレイ、画面
15 スピーカ
16 車載コンピュータ
17 対向車線
Claims (11)
- 接近移動体を車両内の画面に表示するための接近移動体表示装置であって、
カメラで繰り返し撮像された道路の交通状況の画像を受信する受信部と、
前記画像に基づいて前記道路を移動する移動体を認識し、前記認識された移動体の位置を算出する演算部と、
前記移動体の位置を、前記車両内の画面に表示する表示部と、
前記画像の撮像時点と前記移動体の位置の表示時点との差に基づいて、前記算出した移動体の位置を補正する補正部とを有することを特徴とする接近移動体表示装置。 - 前記表示部は、前記移動体の位置を道路図形と重ねて表示する請求項1に記載の接近移動体表示装置。
- 前記表示部は、前記移動体の位置を3次元表示された道路図形と重ねて表示する請求項1又は請求項2に記載の接近移動体表示装置。
- 前記表示部は、前記移動体の位置と当該車両の位置との相対位置関係に基づき、当該車両の走行方向を基準とした前記移動体の方向を特定し、前記特定された方向に基づいて、移動体の位置を表示する請求項1から請求項3のいずれかに記載の接近移動体表示装置。
- 前記表示部は、ドライバの視点を基準として、前記移動体の位置を表示する請求項4に記載の接近移動体表示装置。
- 前記表示部は、前記移動体の位置をヘッドアップディスプレイに表示する請求項4又は請求項5に記載の接近移動体表示装置。
- 前記演算部は、移動体が前記カメラに接近しているか遠ざかっているかを判定することができる請求項1から請求項6のいずれかに記載の接近移動体表示装置。
- 接近移動体を車両内の画面に表示するための接近移動体表示装置であって、
交差点など見通しの悪い場所に接近する移動体の位置を受信する受信部と、
前記移動体の位置を前記車両内の画面に表示する表示部と、前記移動体の位置の受信時点と前記移動体の位置の表示時点との差に基づいて、前記算出した移動体の位置を補正する補正部とを有することを特徴とする接近移動体表示装置。 - 接近移動体を車両内の画面に表示するための接近移動体表示システムであって、
交差点など見通しの悪い場所の近くに設置され、道路の交通状況を繰り返して撮像するカメラと、
前記カメラで撮像された各画像情報を送信する画像送信装置と、
車載装置とを備え、
前記車載装置は、受信部と、前記画像送信装置から送信され前記受信部で受信された各画像情報に基づいて当該道路を移動する移動体を認識し、前記認識された移動体の位置を算出する演算部と、前記算出された移動体の位置を当該車両内の画面に表示する表示部と、前記画像の撮像時点と前記移動体の位置の表示時点との差に基づいて、前記算出した移動体の位置を補正する補正部とを有することを特徴とする接近移動体表示システム。 - 接近移動体を車両内の画面に表示するための接近移動体表示システムであって、
交差点など見通しの悪い場所の近くに設置され、道路の交通状況を繰り返して撮像するカメラと、
前記カメラで撮像された各画像情報に基づいて、前記道路を移動する移動体を認識し、前記認識された移動体の位置を算出して、送信する画像処理装置と、
車載装置とを備え、
前記車載装置は、受信部と、前記画像処理装置から送信された前記移動体の位置を前記車両内の画面に表示する表示部と、前記画像の撮像時点と前記移動体の位置の表示時点との差に基づいて、前記算出した移動体の位置を補正する補正部とを有することを特徴とする接近移動体表示システム。 - 接近移動体を車両内の画面に表示するための接近移動体表示方法であって、
カメラで道路の交通状況を繰り返して撮像し、
前記カメラで撮像された各画像情報に基づいて前記道路を移動する移動体を認識し、
前記認識された移動体の位置を算出し、
前記移動体の位置を、前記画像の撮像時点と前記移動体の位置の表示時点との差に基づいて、前記算出した移動体の位置を補正した上で前記車両内の画面に表示することを特徴とする接近移動体表示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007281954A JP2008059609A (ja) | 2007-10-30 | 2007-10-30 | 接近移動体表示装置、システム及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007281954A JP2008059609A (ja) | 2007-10-30 | 2007-10-30 | 接近移動体表示装置、システム及び方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005029630A Division JP4277217B2 (ja) | 2005-02-04 | 2005-02-04 | 接近移動体表示装置、システム及び方法、並びに衝突情報提供装置及び方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008059609A true JP2008059609A (ja) | 2008-03-13 |
Family
ID=39242186
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007281954A Pending JP2008059609A (ja) | 2007-10-30 | 2007-10-30 | 接近移動体表示装置、システム及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008059609A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009301494A (ja) * | 2008-06-17 | 2009-12-24 | Sumitomo Electric Ind Ltd | 画像処理装置及び画像処理方法 |
JP2011175507A (ja) * | 2010-02-25 | 2011-09-08 | Mazda Motor Corp | 駐車支援システム |
JP2016062368A (ja) * | 2014-09-18 | 2016-04-25 | 日本精機株式会社 | 車両用周辺情報表示システム及び表示装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06215294A (ja) * | 1993-01-13 | 1994-08-05 | Mitsubishi Electric Corp | 交差点情報伝達装置 |
JP2001101566A (ja) * | 1999-09-30 | 2001-04-13 | Toshiba Corp | 交通安全確認システム |
JP2003030799A (ja) * | 2001-07-19 | 2003-01-31 | Mitsubishi Motors Corp | 障害物情報呈示装置 |
JP2004145479A (ja) * | 2002-10-22 | 2004-05-20 | Aisin Seiki Co Ltd | 周辺車両情報提供装置 |
JP2004295596A (ja) * | 2003-03-27 | 2004-10-21 | Honda Motor Co Ltd | 車両の走行支援情報表示装置 |
-
2007
- 2007-10-30 JP JP2007281954A patent/JP2008059609A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06215294A (ja) * | 1993-01-13 | 1994-08-05 | Mitsubishi Electric Corp | 交差点情報伝達装置 |
JP2001101566A (ja) * | 1999-09-30 | 2001-04-13 | Toshiba Corp | 交通安全確認システム |
JP2003030799A (ja) * | 2001-07-19 | 2003-01-31 | Mitsubishi Motors Corp | 障害物情報呈示装置 |
JP2004145479A (ja) * | 2002-10-22 | 2004-05-20 | Aisin Seiki Co Ltd | 周辺車両情報提供装置 |
JP2004295596A (ja) * | 2003-03-27 | 2004-10-21 | Honda Motor Co Ltd | 車両の走行支援情報表示装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009301494A (ja) * | 2008-06-17 | 2009-12-24 | Sumitomo Electric Ind Ltd | 画像処理装置及び画像処理方法 |
JP2011175507A (ja) * | 2010-02-25 | 2011-09-08 | Mazda Motor Corp | 駐車支援システム |
JP2016062368A (ja) * | 2014-09-18 | 2016-04-25 | 日本精機株式会社 | 車両用周辺情報表示システム及び表示装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4277217B2 (ja) | 接近移動体表示装置、システム及び方法、並びに衝突情報提供装置及び方法 | |
JP4311420B2 (ja) | 接近移動体表示装置、システム及び方法 | |
US11158076B2 (en) | Imaging control device and method, and vehicle | |
US11108992B2 (en) | Imaging control device and method, and vehicle | |
JP6780661B2 (ja) | 画像処理装置および方法、プログラム、並びに画像処理システム | |
JP4311426B2 (ja) | 移動体を表示するための表示システム、車載装置及び表示方法 | |
JP2008217813A (ja) | 衝突情報提供装置及び方法 | |
WO2019111702A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US9126533B2 (en) | Driving support method and driving support device | |
US11076141B2 (en) | Image processing device, image processing method, and vehicle | |
JP7196063B2 (ja) | 撮像制御装置、および撮像制御装置の制御方法、並びに移動体 | |
US20080091352A1 (en) | Automobile collision avoidance system | |
WO2019073920A1 (ja) | 情報処理装置、移動装置、および方法、並びにプログラム | |
CN112119282A (zh) | 信息处理装置、移动装置、方法和程序 | |
US20190163997A1 (en) | Control system | |
US11590985B2 (en) | Information processing device, moving body, information processing method, and program | |
JP2008041058A (ja) | 死角移動体を報知するための報知システム、画像処理装置、車載装置及び報知方法 | |
JP2008046761A (ja) | 移動体画像処理システム、装置及び方法 | |
JP2017126213A (ja) | 交差点状況確認システム、撮像装置、車載装置、交差点状況確認プログラムおよび交差点状況確認方法 | |
JP2008059609A (ja) | 接近移動体表示装置、システム及び方法 | |
EP4273834A1 (en) | Information processing device, information processing method, program, moving device, and information processing system | |
KR101484856B1 (ko) | 차량의 위험 감지 장치 및 그 방법 | |
WO2022196316A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
KR20230018591A (ko) | 센서를 이용한 차량의 주행제어장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080123 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100909 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110106 |