JP2009151607A - 車載システム - Google Patents

Abstract

【課題】任意の路面標示を適正に検出する「車載システム」を提供する。
【解決手段】画像補正部２は、カメラ１がフレーム周期で逐次撮影した各画像に歪み補正や視点変換を施して、車両１００の後方直後の路面領域を上方の視点から観察した場合に得られる画像を補正画像２２０として生成する。画像合成部３は、画像補正部２によって以上のようにしてフレーム周期で逐次生成される補正画像２２０から、同じ垂直方向座標範囲内の画像部分を抽出して合成し、車両１００が走行してきた路面全体を上方の視点から観察した場合に得られる画像を路面画像３００として生成する。路面標示画像抽出部４は、画像合成部３が生成した路面画像３００から、路面標示が写り込んでいる部分を路面標示画像４３０として抽出する。
【選択図】図１

Description

本発明は、自動車に搭載された車載システムにおいて、路面標示の情報をユーザに提示する技術に関するものである。

自動車に搭載された車載システムにおいて、路面標示の情報をユーザに提示する技術としては、ラインカメラを用いて路面を左右方向に撮影し、撮影した画像中の車両左右方向中央部分の白線領域の時間経過に伴う左右方向位置の移動に応じて、路面の矢印標示を検出する技術が知られている（特許文献１）。

また、自動車に搭載された車載システムにおいて、路面標示の情報をユーザに提示する技術としては、カメラを用いて路面の二次元画像を撮影し、二次元画像中に写り込んだ路面標示を検出する技術も知られている（たとえば、特許文献２）。
特開平6-251298号公報 特開2006-172262号公報

前記特許文献１記載の技術によれば、矢印表示などの単純な路面標示しか検出することはできず、方面標示などの複雑な形状を有する路面標示や、予め形状が既知でない路面標示については、これをユーザの利用に供することができない。
一方、前記特許文献２の技術によれば、渋滞等によって他車と接近しており、当該他車によって隠蔽されて路面標示の一部しかカメラによって撮影できない場合には、適正に路面標示を検出することができなくなる。
そこで、本発明は、任意の路面標示を適正に検出し、ユーザの利用に供することができる車載システムを提供することを課題とする。

前記課題達成のために、本発明は、自動車に搭載される車載システムを、前記自動車後方または前方の路面を含む画像を逐次撮影するカメラと、前記カメラが逐次撮影した各画像の各々から、当該画像中の路面が写り込んでいる部分の一部を抽出して合成し、前記自動車が走行した路面の様子を連続的に表す画像を路面画像として生成する路面画像生成手段と、前記路面画像生成手段が生成した路面画像から、路面標示が表れている部分を路面標示画像として抽出する路面標示画像抽出手段とを含めて構成したものである。

このような車載システムによれば、カメラが逐次撮影した各画像の各々から、当該画像中の路面が写り込んでいる部分の一部を抽出して合成し、前記自動車が走行した路面の様子を連続的に表す画像を路面画像として生成するので、他車が接近しているなどのために一時に路面標示の一部しかカメラによって撮影できない場合にも、適正に、以上のように生成した路面画像より路面標示を検出して、検出した路面標示を表す路面標示画像を生成することができる。また、任意の路面標示について、路面標示の全体が表れた路面標示画像を生成し、ユーザの利用に供することができる。

よって、本発明によれば、任意の路面標示を適正に検出することができるようになる。
ここで、このような車載システムには、さらに、前記路面標示画像抽出手段が抽出した路面標示画像を、前記自動車が走行している車線を識別可能な形態で表示する路面標示画像表示手段を設けたり、前記路面標示画像抽出手段が前記自動車が過去所定距離を走行する期間中に抽出した各路面標示画像を表示する路面標示画像表示手段を設けたり、前記路面標示画像抽出手段が抽出した路面標示画像より、当該路面標示画像に表れている路面標示の内容を認識する路面標示認識手段を設けるようにしてもよい。

以上のように、本発明によれば、任意の路面標示を適正に検出し、ユーザの利用に供することができる車載システムを提供することができる。

以下、本発明の実施形態を説明する。
図１ａに、本実施形態に係る車載システムの構成を示す。
本実施形態に係る車載システムは自動車に搭載されるシステムであり、図示するように、車載システムは、カメラ１、画像補正部２、画像合成部３、路面標示画像抽出部４、表示画像生成部５、表示装置６、路面標示認識部７、自動車の車速や旋回の角速度などの各種状態を検出する車両状態センサ８、現在位置や目的地までの経路案内を行うナビゲーション装置９を有する。なお、画像補正部２、画像合成部３、路面標示画像抽出部４、表示画像生成部５、路面標示認識部７は、マイクロプロセッサや、メモリや、その他の周辺デバイスを有する一般的な構成を備えたコンピュータによって、予め用意されたプログラムを実行することにより具現化するプロセスとして実現されるものであって良い。

さて、このような構成において、カメラ１は図１ｂに示すように車両１００の後部に搭載され、車両１００後方の車両直後の路面を含む画像を撮影する。
一方、画像補正部２は、カメラ１が所定のフレーム周期で逐次撮影した各画像に歪み補正や視点変換を施して、図２ａに示す車両１００の後方直後の路面領域２００を上方の視点から観察した場合に得られる画像を補正画像として生成する。
すなわち、画像補正部２は、図２ｂに示すようにカメラ１によって撮影される撮影画像２１０内の、車両１００の後方直後の路面領域２００が写り込む部分画像領域２１１に対して、図中に矢印で示したような所定の座標変換処理を施して、車両１００の後方直後の路面領域２００を上方の視点から観察した補正画像２２０を生成する。

次に、画像合成部３は、画像補正部２によって以上のようにしてフレーム周期で逐次生成される補正画像２２０から、同じ垂直方向座標範囲内の水平ラインの画像部分を抽出して合成し、車両１００が走行してきた路面全体を上方の視点から観察した場合に得られる画像を路面画像として生成する。

すなわち、画像合成部３は、画像補正部２が図３ａ１、ａ２、ａ３に示すようにフレーム周期で補正画像２２０を生成する度に、画像配置処理と補間処理を行う。
画像配置処理では、今回生成された補正画像２２０より所定の垂直方向座標範囲内の１または複数の水平ラインよりなる画像部分２２１を抽出し、図３ｂに示すように、路面画像３００上に配置する。ここで、今回生成された補正画像２２０（図３ｂでは図３ａ３の時刻tの補正画像２２０）の画像部分２２１の路面画像３００上の配置位置は、前回配置した画像部分２２１（図３ｂでは図３ａ２の時刻ｔ-１の補正画像２２０の画像部分２２１）からΔy上方向にずらした位置とする。ここで、車両状態センサ８で検出した車速をV、フレーム周期をtとして、補正画像２２０の一画素に写り込む路面部分の車両前後方向の長さをＬとして、Δy=Vt/Lによって算出する。

ただし、ここでは車両１００が車線に沿って直進したものと見なして、路面画像３００を生成している。
そして、補間処理では、路面画像３００の今回配置した画像部分と、前回路面画像に配置した画像部分との間の部分を線形補間などの補間法によって、図３ｃに示すように補間する。
次に、路面標示画像抽出部４は、以上のように画像合成部３が生成した路面画像３００から、路面標示が写り込んでいる部分を路面標示画像として抽出する処理を行う。
すなわち、路面標示画像抽出部４は、図４ｂに示すように、画像合成部３によって生成された路面画像３００の車両１００が走行した車線部分４１０の輝度の車線前後方向の二乗平均平方根 (Root Mean Square) : RMSの推移を図４ａに示すように求め、RMSが所定のしきい値Thを超えている区間を路面標示が存在する区間である路面標示区間４２０として検出し、路面画像３００中の路面標示区間４２０の画像部分を、図４ｃに示すように路面標示画像４３０として抽出する。なお、図４ｂ中、１１０は車両１００の走行軌跡を路面画像３００上で表したものである。

より、具体的には、路面標示画像抽出部４は、路面画像３００に前回画像合成部３によって追加された画像部分中の車両１００が走行した車線部分のRMSが所定のしきい値Thを超えていない状態において、路面画像３００に今回画像合成部３によって追加された画像部分中の車両１００が走行した車線部分のRMSが所定のしきい値Thを超えていることが検出されたときに、今回追加された画像部分の下端の垂直方向座標を開始座標に設定する。また、路面画像３００に前回画像合成部３によって追加された画像部分中の車両１００が走行した車線部分のRMSが所定のしきい値Thを超えている状態において、路面画像３００に今回画像合成部３によって追加された画像部分中の車両１００が走行した車線部分のRMSが所定のしきい値Thを超えていないことが検出されたときに、今回追加された画像部分の上端の垂直方向座標を終了座標に設定する。そして、設定した終了座標と直前に設定した開始座標との距離を求め、求めた距離が所定距離以上であれば、路面画像３００の、設定した終了座標と直前に設定した開始座標との間の部分を路面標示画像４３０として抽出する。ここで、前記所定距離は、路面標示が路面画像３００中で取り得る最小距離を予め設定しておく。

なお、路面標示画像抽出部４では、RMSに代えて路面画像３００の車両１００が走行した車線部分４１０の輝度の明度や分散を用いて、明度や分散が所定のしきい値を超えている区間を路面標示区間４２０として検出するようにしたり、路面画像３００の車両１００が走行した車線部分４１０の白線/黄線のパターンに応じて路面標示区間４２０を検出するようにしてもよい。ここで、路面標示の白/黄線よりも路面の輝度が小さいことより、RMSや明度や分散は路面標示が存在する場合に、より大きな値をとることになる。

次に、表示画像生成部５は、路面標示画像抽出部４が新たな路面標示画像４３０を抽出したならば、路面標示画像４３０が所定のサイズとなるように拡大縮小する。そして、図４ｄに示すように、路面標示画像４３０の車両１００が走行した車線部分を強調した画像を、路面標示提示画像４４０として生成する。図示した例では、矩形４４１で、路面標示画像の車両１００が走行した車線部分を囲むことにより、当該車線部分を強調表示するようにしている。

そして、表示画像生成部５は、図５ａに示すような、過去所定距離、車両１００が走行する間に生成した路面標示提示画像４４０を、より最近に生成した路面標示提示画像４４０がより上に位置するように配置した表示画像５００を生成し、表示装置６に表示する。
なお、図５ａは、図５ｄの走行軌跡１１０で示すように車両１００が走行した場合に表示される表示画像５００を表すものであり、表示画像５００は、路面上に路面標示が存在する区間５１３、５１２、５１１についての路面標示提示画像４４０が、より最近に走行した区間の路面標示提示画像４４０がより上に位置するように配置されたものとなっている。

なお、表示画像生成部５が生成する路面標示提示画像４４０は、図５ｂに表示画像５００を示すように、路面標示画像の車両１００が走行した車線部分の上に車両１００の走行位置を示すマーク４４２を配置することにより、当該車線部分を強調表示するものとしたり、図５ｃに示すように路面標示画像の車両１００が走行した車線以外の車線部分をマスクすることにより、路面標示画像の車両１００が走行した車線部分を強調表示するものとしたりしてもよい。

また、表示画像生成部５は、最後に生成した路面標示提示画像４４０のみを表示画像５００として表示装置６に表示するようにしてもよい。
次に、路面標示認識部７は、路面標示画像抽出部４が生成した路面標示画像に含まれる現在走行中の車線の路面標示の内容を認識し、ナビゲーション装置９に通知する。そして、ナビゲーション装置９は、通知された路面標示の内容に応じた案内を行う。
すなわち、たとえば、ナビゲーション装置９は、次分岐を直進する経路を案内しているときに、路面標示認識部７から左折の路面標示を認識したことが通知されたときには、「この先の分岐を直進です。直進車線に車線変更してください」といったような音声案内を行う。または、たとえば、路面標示認識部７が「新宿」方面の方面案内の路面標示を認識したことが通知されたときに、ナビゲーション装置９は、「この車線は新宿方面に向かいます」といったような音声案内を行う。

以上、本発明の実施形態について説明した。
ところで、以上の実施形態において画像補正部２において生成する補正画像２２０は、図３に示したように画像合成部３において路面画像３００に含める画像部分２２１のみを含むものとしてもよい。
また、画像合成部３では、路面画像３００を次のようにして生成するようにしてもよい。
すなわち、前述した画像配置処理と補間処理を、図３ａ１、ａ２、ａ３に示す、路面画像３００中の二つの垂直方向座標範囲内の画像部分２２１、２２２の各々について、それぞれ行って路面画像３００を二つ作成し、作成した二つの路面画像３００を、画像部分２２１と画像部分２２２の垂直方向座標の差分ずらして合成し、最終的な路面画像３００として路面標示画像抽出部４に引き渡すようにしてもよい。

また、以上の実施形態では、画像合成部３において、車両１００が直進しているものとして路面画像３００を生成したが、これは車両１００の旋回運動も考慮して路面画像３００を生成するようにしてもよい。
すなわち、車両状態センサ８で検出した車速と角速度より車両１００の速度Vと、回転速度Rvを求め、今回生成された補正画像２２０の画像部分２２１の路面画像３００上の配置領域を、前回配置した画像部分２２１の配置領域をθ回転し、θ方向にVt/Laずらした位置とする。ただし、フレーム周期をｔとしてθはθ=Rvtによって算出し、Laは補正画像２２０における一画素として写り込む路面部分の一方向についての長さの平均値とする。

また、以上の実施形態において、カメラ１は、車両１００の前部に搭載され、車両１００前方の車両直前の路面を含む画像を撮影するものであってもよい。
以上のように本実施形態によれば、他車が接近しているなどのために一時に路面標示の一部しかカメラ１によって撮影できない場合にも適正に、走行してきた路面の全体を表す路面画像３００を生成し、当該路面画像３００中に含まれる路面標示部分を路面標示画像３０として抽出し、ユーザの利用に供することができる。

本発明の実施形態に係る車載システムの構成を示すブロック図である。 本発明の実施形態に係る画像補正部の処理例を示す図である。 本発明の実施形態に係る画像合成部の処理例を示す図である。 本発明の実施形態に係る路面標示画像抽出部の処理例を示す図である。 本発明の実施形態に係る表示画像生成部の処理例を示す図である。

符号の説明

１…カメラ、２…画像補正部、３…画像合成部、４…路面標示画像抽出部、５…表示画像生成部、６…表示装置、７…路面標示認識部、８…車両状態センサ、９…ナビゲーション装置、１００…車両。

Claims (5)

1. 自動車に搭載される車載システムであって、
   前記自動車後方または前方の路面を含む画像を逐次撮影するカメラと、
   前記カメラが逐次撮影した各画像の各々から、当該画像中の路面が写り込んでいる部分の一部を抽出して合成し、前記自動車が走行した路面の様子を連続的に表す画像を路面画像として生成する路面画像生成手段と、
   前記路面画像生成手段が生成した路面画像から、路面標示が表れている部分を路面標示画像として抽出する路面標示画像抽出手段とを有することを特徴とする車載システム。
2. 請求項１記載の車載システムであって、
   前記路面標示画像抽出手段が抽出した路面標示画像を、前記自動車が走行している車線を識別可能な形態で表示する路面標示画像表示手段を有することを特徴とする車載システム。
3. 請求項１記載の車載システムであって、
   前記路面標示画像抽出手段が前記自動車が過去所定距離を走行する期間中に抽出した各路面標示画像を表示する路面標示画像表示手段を有することを特徴とする車載システム。
4. 請求項１、２または３記載の車載システムであって、
   前記路面標示画像抽出手段が抽出した路面標示画像より、当該路面標示画像に表れている路面標示の内容を認識する路面標示認識手段を有することを特徴とする車載システム。
5. 自動車に搭載される車載システムであって、路面標示を検出する路面標示検出方法であって、
   カメラで前記自動車後方または前方の路面を含む画像を逐次撮影するステップと、
   前記カメラが逐次撮影した各画像の各々から、当該画像中の路面が写り込んでいる部分の一部を抽出して合成し、前記自動車が走行した路面の様子を連続的に表す画像を路面画像として生成するステップと、
   前記路面画像から、路面標示が表れている部分を路面標示画像として抽出するステップとを有することを特徴とする路面標示検出方法。