JP2008059264A5 - - Google Patents

Description

運転支援装置

本発明は、運転者に対して撮影装置で撮影される道路及び移動体に係る情報を伝える運転支援装置に関するものであって、より詳しくは、車載情報端末等に関するものである。

背景技術として、車両の走行環境又はドライバの操作意図に基づいて警告ランプ及び警告音を変更する運転支援装置が知られている（例えば、特許文献１参照）。
特開２００２−１１４１１８号公報（段落００５９参照）

複数の危険が移動体の周辺に存在する場合、警告ランプ及び警告音が変更されるだけでは、危険の存在位置や危険の程度など危険の全体状況をユーザに把握させることができないという課題があった。

本発明に係る運転支援装置は、撮影装置で撮影される道路及び移動体に係る情報を表示装置を介して運転者に伝える運転支援装置であって、前記表示装置に対して前記道路に係る道路地図及び前記移動体に係る移動体画像を表示させ、前記道路に対する前記移動体の位置関係と前記道路地図に対する前記移動体画像の表示位置関係とを同一にする処理部を備え、この処理部は、前記表示装置に対して前記移動体に係る速度を具体化する速度シンボルを前記移動体画像とともに表示させることを特徴とする。本発明における字句の解釈は、次のとおりである。

「道路地図」とは、地図（道路形状）を源泉として得られる図形である。「道路地図」の「輪郭線」は、強調表示されてもよい。また、「道路地図」は、その「輝度」を下げて表示されてもよい。

「移動体画像」としては、撮影装置で得られる映像のうち移動体に対応する部分や記憶媒体に予め記憶された移動体イラスト等がある。

「速度シンボル」とは、移動体に係る速度を具体化するものであって、「移動体画像」とともに表示される。例えば、「速度シンボル」として、「漫画符号」等が採用される。これらの画像に対応するデータは、記憶媒体に予め記憶されている。

「格子図形」とは、一定の間隔で存在する線図である。

「移動体画像」が「互いに重な」って表示される場合、「移動体画像の一方」は、「透過表示」される。

「複数」の「移動体」が「互いに予め定められた距離内」にある場合、これらの「移動体」を代表する「代表画像」が表示される。

「道路地図を表示するための規準となる視点」は、「移動体間の位置関係」に応じて決定される。「位置関係」とは、移動体間の距離及び定点から観た移動体の存在方向が互いになす角度を含む概念である。

「前記道路に対する前記移動体の位置関係と前記道路地図に対する前記移動体画像の表示位置関係とを同一にする」ためには、源泉として、撮影装置で得られる映像及び道路地
図が少なくとも用いられる。処理アルゴリズムとして、画像認識アルゴリズムや境界判定アルゴリズム等が用いられる。

「処理部」とは、ハードウエア又はハードウエアとソフトウエアとの協働によって本願発明に係る情報処理を実現する部位である。

本発明は、撮影装置で撮影される周囲の状況を概略化することで、ユーザに対して周囲の状況を把握させ易くするという効果を有する。

本発明に係る運転支援装置を実施するための最良の形態は、図１乃至図６で示される。

＜表示例＞本実施の形態に係る表示例は、図１で示される。道路地図、移動体画像、速度シンボル、付属物画像及び格子画像が表示される（図１（ａ）参照）。これらの画像は、撮影された周囲の状況（図１（ｂ）参照）を概略化したものである。しかも、道路地図に対する移動体画像の表示位置関係は、道路に対する移動体の映像中における位置関係と同一である。

道路地図は、撮影される道路に係る地図である。道路地図の輪郭は、撮影される道路が曲がっている場合であっても、直線で表示される。また、道路地図の輪郭は、強調表示される。移動体画像は、撮影される移動体に係る画像であり、本実施の形態では、移動体イラストである。速度シンボルは、移動体画像とともに表示される。速度シンボルは、移動体に係る速度を具体化したものであり、本実施の形態では、漫画符号である。付属物画像は、撮影される道路付属物に係る画像であり、本実施の形態では、映像の一部である。格子画像は、予め定められた間隔で存在する線図であり、本実施の形態では、道路画像の輪郭に沿って表示される。この表示例を実現するためのハードウエア及びソフトウエアは、次のとおりである。

＜ハードウエア構成＞本実施の形態に係る運転支援装置のハードウエア構成は、図２で示される。運転支援装置１は、処理部２を備える。処理部２は、Ｉ／Ｏ３、ＲＯＭ４、ＨＤＤ５、ＣＰＵ６、ＲＡＭ７、描画ＩＣ８、ＶＲＡＭ９、音声ＩＣ１０及びＧＰＳレシーバ１１を備える。

Ｉ／Ｏ３には、操作装置２１、スピーカ２２、表示装置２３、撮影装置３１及び航法センサ３２が接続されている。撮影装置３１は、図示されない移動体に設けられており、移動体の前方を撮影している。航法センサ３２は、移動体に設けられた速度センサ及び方位センサである。

ＲＯＭ４には、起動時等に必要な基本的なプログラム（例えば、ＢＩＯＳ等）が記憶されている。

ＨＤＤ５には、本実施の形態に係る処理に必要な各種プログラム及び内部データが記憶されている。また、ＨＤＤ４には、地図、移動体画像や速度シンボルなどが記憶されている。

＜メイン処理＞本実施の形態に係るメイン処理は、図３で示される。メイン処理は、移動体画像処理、道路地図処理と、合成処理とからなる。これらの処理は、ＣＰＵ６がＨＤＤ５からＲＡＭ７に展開された各種プログラムを実行することで実現される。

＜移動体画像処理＞移動体画像処理では、移動体画像を描画するための要素（以下、移動体要素という）が撮影装置３１で得られる映像から求められる。移動体要素として、道路と移動体との相対位置、移動体の速度、移動体の種別及び合成フラグがある（図４参照）。

前処理として、移動体の輪郭及び道路の白線は、ＲＡＭ７に記憶される映像から得られる。得られた移動体の輪郭及び道路の白線はＲＡＭ７に記憶される。ここでは、画像認識用の周知の関数（ｆｉｓｈｅｒｆａｃｅアルゴリズムや隠れマルコフモデルなど）が呼び出されている。

道路と移動体との相対位置は、ＲＡＭ７に記憶される移動体の輪郭及び道路の白線から得られる。得られた相対位置は、ＲＡＭ７に記憶される。ここでは、点Ｐ（ｘ、ｙ）は「ｙ≧ｆ（ｘ）」及び「ｙ＜ｆ（ｘ）」の何れを満たすかを判定するための関数が呼び出されている。この関数を利用するためには、点Ｐは、移動体の輪郭内部に存在する１点に定められる。また、「ｙ＝ｆ（ｘ）」は、道路の白線を直線に近似したものに定められる。さらに、複数の直線がなす角度は、８方向（隣り合う方向ベクトルが４５度をなす）や１６方向（隣り合う方向ベクトルが２２．５度をなす）などに正規化されている。

移動体の速度は、ＲＡＭ７に記憶される映像から得られる。得られた移動体の速度は、ＲＡＭ７に記憶される。ここでは、映像をなす複数のフレームから動的オブジェクトの速度を得るための周知の関数が呼び出されている。

移動体の種別は、ＲＡＭ７に記憶される移動体の輪郭から得られる。得られた移動体の種別は、ＲＡＭ７に記憶される。ここでは、移動体の輪郭と移動体の種別との対応関係が前述の内部データの一部としてＨＤＤ５に記憶されているので、この内部データと移動体の輪郭との比較が行われている。

以上の処理に加えて、付属物画像が映像から切り出される。付属物画像に係る付属物の位置は、道路との相対位置として得られる。付属物と道路との相対位置は、ＲＡＭ７に記憶される。

＜道路地図処理＞道路地図処理では、道路地図を描画するための要素（以下、道路要素という）がＨＤＤ５に記憶される地図及びＧＰＳレシーバ１１で得られる現在地を用いて決定される。道路要素として、道路地図、整形条件及び輪郭線強調フラグがある（図５参照）。これらの要素に加えて、格子画像を描画するための要素が得られる。

道路地図は、ＨＤＤ５に記憶される地図及びＧＰＳレシーバ１１で得られる現在地を用いて得られる。得られた道路地図は、ＲＡＭ７に記憶される。ここでは、道路地図は、現在地周辺の道路に係るものである。

整形条件は、ＲＡＭ７に記憶される道路地図から得られる。整形条件は、ＲＡＭ７に記憶される。道路地図では、複数の道路がなす角度（交差角度、接続角度）や道路の幅等は、様々な値を取り得る。そこで、道路地図を見やすくするために、整形条件では、複数の道路がなす角度は、８方向（隣り合う方向ベクトルが４５度をなす）や１６方向（隣り合う方向ベクトルが２２．５度をなす）などに正規化されている。また、道路の道幅は、全道路に均等な割合で又は道路種別毎に定められる割合で拡張される。

輪郭線強調フラグは、操作装置２１でのユーザによる操作によってＲＡＭ７に記憶される。本実施の形態では、輪郭線強調フラグの設定要否が設定メニューとして表示装置２３に表示される。

格子画像は、ＲＡＭ７に記憶される道路地図及び整形条件から得られる。得られた格子画像は、ＲＡＭ７に記憶される。ここでは、格子画像は、整形条件で整形された道路地図の輪郭線に平行な線分である。

＜合成処理＞合成処理では、合成のための要素（以下、合成要素という）が、前述の移動体要素及び道路要素から得られる。合成要素として、移動体画像、速度シンボル及び移動体画像の表示位置がある（図６参照）。

移動体画像は、ＲＡＭ７に記憶される移動体の種別から得られる。得られた移動体画像は、ＲＡＭ７に記憶される。ここでは、移動体の種別と移動体画像との対応関係が前述の内部データの一部としてＨＤＤ５に記憶されているので、この内部データと移動体の種別との比較が行われている。

速度シンボルは、ＲＡＭ７に記憶される移動体の速度から得られる。得られた速度シンボルは、ＲＡＭ７に記憶される。ここでは、移動体の速度と速度シンボルとの対応関係が前述の内部データの一部としてＨＤＤ５に記憶されているので、この内部データ及び移動体の速度が比較されている。

なお、付属物画像の表示位置も、ＲＡＭ７に記憶される道路と付属物との相対位置から前述と同様に得られる。

＜表示処理＞表示処理では、表示例（図１（ａ）参照）の画像が、前述の合成要素及び道路要素から得られる。具体的には、描画ＩＣ８が前述の合成要素及び道路要素に従って、道路地図、移動体画像、速度シンボル、付属物画像及び格子画像をＶＲＡＭ９に展開し、ＶＲＡＭ９に展開された各画像を順に表示装置２３に出力する。ここでは、移動体画像の周辺に道路画像が存在すれば、その道路画像の輝度は、下げられる。

＜本実施の形態における効果＞本実施の形態によれば、道路地図、移動体画像、速度シンボル、付属物画像及び格子画像が、撮影された周囲の状況（図１（ｂ）参照）を概略化したものとして表示される（図１（ａ）参照）ので、ユーザは周囲の状況を把握し易くなる。

本実施の形態によれば、道路地図に対する移動体画像の表示位置関係は、道路に対する移動体の映像中における位置関係と同一であるので、ユーザは移動体と道路との位置関係を正確に把握することができる。

本実施の形態によれば、移動体画像の周辺に道路画像が存在すれば、その道路画像の輝度は下げられるので、移動体画像が相対的に目立ち、ユーザは、注意すべき対象である移動体を把握しやすい。

＜変形例１＞本実施の形態に係る合成処理では、移動体間の距離は考慮されていないが、これが考慮されてもよい。具体的には、一の移動体及び他の移動体が一定距離以内にあれば、合成表示フラグがＲＡＭ７に設定される。また、これらの移動体に係る移動体要素がポインタリストに追加される。一の移動体及び他の移動体が一定距離以内になければ、合成表示フラグがＲＡＭ７に設定されず、これらの移動体に係る移動体要素がポインタリストに追加されるにすぎない。合成表示フラグが設定されていれば、同一種別の合成表示用の移動体画像がＲＡＭ７に記憶される。しかも、合成表示用の移動体画像（「代表画像」に相当する）は、合成される移動体の数Ｎに応じて（２≦Ｎ＜３、３≦Ｎ＜６、６≦Ｎ）異なってもよい。この変形例によれば、ユーザは、どれくらいの移動体が重なっている
のかを短時間で把握できる。

＜変形例２＞本実施の形態に係る合成処理では、移動体の距離を考慮することなく移動体画像の重なりを解消することも可能である。具体的には、移動体画像が互いに重なる場合、視線の地面に対する角度が大きくなるように視点及び注視点が変更される。ここでは、視線角度が大きくなるように変更が行われているが、視線の水平方向を変更するように視点が変更されてもよい。また、視線の垂直角度及び水平角度の両方が変更されてもよい。変更された視線角度が一定の範囲を超えた場合（例えば、視線垂直角度が地面と垂直になった場合、視線水平角度が初期設定の水平角度と同一（１１週した）になった場合）、合成処理は終了する。他方、変更された視線角度が一定の範囲を超えていない場合、重なり判定が再度実行される。この変形例によれば、移動体画像の重なり度合いの少ない表示が可能になる。

＜変形例３＞本実施の形態に係る合成処理では、移動体画像の重なりが許容されてもよい。具体的には、一の移動体画像及び他の移動体画像が重なるか否かが現在の視点から判定される。重なり判定のアルゴリズムとしては、各移動体画像のバウンダリボックスがスクリーン面に投影され、投影で得られた２次元形状領域が互いに重なり合うか否かが２次元の重なり判定アルゴリズムで行われる。もちろん、重なり判定アルゴリズムは、この方法に限らず、３次元物体を３次元空間上のある一点から見た場合に複数物体の重なりを判定できる方法であれば足りる。一の移動体画像及び他の移動体画像が重なれば、半透明フラグがＲＡＭ７に設定される。表示処理では、半透明フラグが設定されていれば、そのフラグに係る移動体画像は、半透明で表示される。この変形例によれば、移動体画像が互いに重なる場合であっても、ユーザは、移動体画像の数を把握しやすくなる。
＜変形例４＞本実施の形態に係る移動体画像処理では、移動体の速度は、次の方法で求められてもよい。映像から得られるフレーム間での移動体の動きから速度を求める方法がある。また、撮影装置３１がステレオカメラであれば、移動体との距離及び複数フレーム画像の解析から移動体の速度を求める方法がある。また、撮影装置３１が赤外線カメラであれば、画像と距離とが同時に得られるので、この距離から速度を求める方法が採用される。さらに、レーダーがあれば、レーダーから速度を求める方法が採用される。
＜変形例５＞本実施の形態では、付属物画像は、地図から得られてもよい。このとき、一定階数以下の建造物や一定面積以下の建造物等は、表示されなくてよい。また、自車から一定距離以内の物体は、表示されなくてもよい。また、進行方向を基準として一定角度以内にある物体及び各移動体から一定角度以内にある物体のみが表示されてもよい。もちろん、これらの表示方法が組み合わせて用いられてもよい。
＜変形例６＞本実施の形態に係る道路地図処理では、現在地周辺の目標となるランドマーク、信号機、街路樹など道路付属物が地図から読み出されてもよい。

本発明は、ユーザに対して周囲の状況を把握させ易くするという効果を有し、車載情報端末等に有用である。

（ａ）本実施の形態に係る表示例を示す図（ｂ）本実施の形態に係る撮影風景を示す図 本実施の形態に係る運転支援装置のハードウエア構成を示す図 本実施の形態におけるメイン処理の流れを示すフロー図 本実施の形態に係る移動体要素を示す図 本実施の形態に係る道路要素を示す図 本実施の形態に係る合成要素を示す図

１ 運転支援装置
２ 処理部
２３ 表示装置

Claims (3)

1. 撮影装置で撮影される道路及び移動体に係る情報を表示装置を介して運転者に伝える運転支援装置であって、
   前記表示装置に対して前記道路に係る道路地図及び前記移動体に係る移動体画像を表示させ、前記道路に対する前記移動体の位置関係と前記道路地図に対する前記移動体画像の表示位置関係とを同一にする処理部を備え、
   前記処理部は、前記表示装置に対して前記移動体に係る速度を具体化する速度シンボルを前記移動体画像とともに表示させることを特徴とする運転支援装置。
2. 前記処理部は、前記速度シンボルを漫画符号とすることを特徴とする請求項１に記載の運転支援装置。
3. 前記処理部は、前記移動体の複数が互いに予め定められた距離内にある場合、前記表示装置に対して前記移動体の複数を代表する代表画像を表示させることを特徴とする請求項１に記載の運転支援装置。