JP2005341153A - 停車位置検出装置 - Google Patents

Abstract

【課題】 停車時に車両に対する停車線の位置情報・距離情報を運転者に提供することが可能な停車位置検出装置を提供すること。
【解決手段】本発明に係る停車位置検出装置１は、車両１５に設置されて車両１５周辺の停止線２０の撮影を行うカメラ８と、カメラ８により撮影されたカメラ画像を俯瞰画像に画像変換する画像変換手段２と、俯瞰画像２より一方向加算の強度プロファイルと一方向に直交する他方向加算の強度プロファイルを作成する強度プロファイル作成手段４と、強度プロファイル作成手段４により作成された一方向加算及び他方向加算の強度プロファイルのピーク強度位置を求めることにより、車両１５に対する停止線２０の位置を検出する制御手段５とを有する。
【選択図】 図１

Description

本発明は、カメラにより撮影された画像に基づいて、停車位置に設けられた停止線を検出する停車位置検出装置に関する。

従来より、車両の縦列駐車や車庫入れ等の停車作業を補助する停車補助装置が多数開発されている。例えば、車両後方の様子を広角カメラで撮影し、ハンドルの操舵角に基づいて算出された走行予想軌跡を求め、カメラ画像上に、固定された又はハンドル舵角に対して可変する走行予想軌跡をスーパーインポーズ表示させる停車補助装置が考案されている（例えば、特許文献１参照。）。
特開平１１−３３４４７０号公報

しかしながら、上述した停車補助装置では、広角で撮影されたカメラ映像に走行予想軌跡を表示させているだけであるため、車両停車位置に対する車両の位置関係を把握することが容易ではないという問題があった。また、車両から後方停止線までの距離を判断する場合、運転者は広角度で撮影されたカメラ画像だけで距離を判断するしかなく、車両と後方停止位置との間隔を定量化することができなかった。

本発明は、上記課題に鑑みてなされたものであり、停車時に車両に対する停車線の位置情報・距離情報を運転者に提供することが可能な停車位置検出装置を提供することを課題とする。

上記課題を解決するために、本発明に係る停車位置検出装置は、車両に設置されて車両周辺の停止線の撮影を行うカメラと、該カメラにより撮影されたカメラ画像を俯瞰画像に画像変換する画像変換手段と、前記俯瞰画像のうち一方向に整列される座標の輝度を積分することによって当該一方向における積分輝度を求め、求められた該積分輝度を前記一方向に直交する他方向の座標別に検出することによって一方向加算の強度プロファイルを作成し、さらに前記俯瞰画像の前記他方向に配列される座標の輝度を積分することによって当該他方向における積分輝度を求め、求められた前記他方向における積分輝度を前記他方向に直交する前記一方向の座標別に検出することによって他方向加算の強度プロファイルを作成する強度プロファイル作成手段と、該強度プロファイル作成手段により作成された前記一方向加算及び前記他方向加算の強度プロファイルのピーク強度位置を求めることにより、前記車両に対する前記停止線の位置を検出する制御手段とを有することを特徴とする。

また本発明に係る他の停車位置検出装置は、車両に設置されて車両周辺の停止線の撮影を行うカメラと、該カメラにより撮影されたカメラ画像を画像変換して正俯瞰画像を作成すると共に、該正俯瞰画像を９０度回転させて縦横比を前記正俯瞰画像と等しくした回転俯瞰画像を作成する画像変換手段と、前記正俯瞰画像及び前記回転俯瞰画像のそれぞれについて、一方向に整列される座標の輝度を積分することによって当該一方向における積分輝度を求め、求められた該積分輝度を前記一方向に直交する他方向の座標別に検出することによって、前記正俯瞰画像の強度プロファイルと前記回転俯瞰画像の強度プロファイルとを作成する強度プロファイル作成手段と、該強度プロファイル作成手段により作成された前記俯瞰画像の強度プロファイルと前記回転俯瞰画像の強度プロファイルとのそれぞれのピーク強度位置を求めることにより、前記車両に対する前記停止線の位置を検出する制御手段とを有することを特徴とする。

さらに本発明に係る他の停車位置検出装置は、車両に設置されて車両周辺の停止線の撮影を行うカメラと、該カメラにより撮影されたカメラ画像を画像変換して正俯瞰画像を作成し、該正俯瞰画像と当該俯瞰画像を９０度回転させて縦横比を前記正俯瞰画像と等しくした回転俯瞰画像とを連結させて合成俯瞰画像を作成する画像変換手段と、前記合成俯瞰画像のうち前記正俯瞰画像と前記回転俯瞰画像との連結境界線に平行な方向に整列される座標の輝度を積分することによって当該方向における積分輝度を求め、求められた該積分輝度を前記連結境界線に直行する方向の座標別に検出することによって強度プロファイルを作成する強度プロファイル作成手段と、該強度プロファイル作成手段により作成された強度プロファイルのピーク強度位置を求めることにより、前記車両に対する前記停止線の位置を検出する制御手段とを有することを特徴とする。

また、本発明に係る他の停車位置検出装置は、車両に設置されて車両周辺の停止線の撮影を行うカメラと、該カメラにより撮影されたカメラ画像を俯瞰画像に画像変換する画像変換手段と、前記俯瞰画像を一方向に整列する複数の短冊状領域に分割し、分割された前記短冊状領域における前記一方向の座標の輝度を積分することによって当該一方向における積分輝度を求め、求められた該積分輝度を前記一方向に直交する他方向の座標別に検出することによって前記短冊領域毎に強度プロファイルを作成する強度プロファイル作成手段と、該強度プロファイル作成手段により作成された強度プロファイルのピーク強度位置を短冊領域毎に検出し、検出された各ピーク強度位置を連続的につなぐことによって、前記車両に対する前記停止線の傾きを検出する制御手段とを有することを特徴とする。

さらに、本発明に係る他の停車位置検出装置は、車両に設置されて車両周辺の停止線の撮影を行うカメラと、該カメラにより撮影されたカメラ画像を俯瞰画像に画像変換する画像変換手段と、前記俯瞰画像のうち一方向に整列される座標の輝度を積分することによって当該一方向における積分輝度を求め、求められた該積分輝度を前記一方向に直交する他方向の座標別に検出することによって強度プロファイルを作成する強度プロファイル作成手段と、該強度プロファイル作成手段により作成された強度プロファイルにおけるピーク強度の強度値とピーク幅との比に基づいて、前記車両に対する前記停止線の傾きを検出する制御手段とを有することを特徴とする。

上述した停車位置検出装置において、前記強度プロファイル作成手段が、前記画像変換手段により変換された画像の走査に合わせて積分輝度を求める１つの加算機で前記強度プロファイルを作成する様にしても良い。

また、本発明に係る停車位置検出装置が、前記制御手段により検出された前記停止線に関する情報を音声によって出力する音声出力手段を有する構成としてもよい。

さらに、停車位置検出装置が、前記制御手段により検出された前記停止線に関する情報を前記カメラ画像に付加する画像合成手段と、該画像合成手段で合成されたカメラ画像を出力する表示手段とを有していてもよい。

また、前記画像合成手段が、略箱状の車両イメージ画像と該車両イメージ画像との位置関係が変化するコ字状を呈する停止線イメージ画像とを前記停止線に関する情報として前記カメラ画像に付加することにしてもよく、又は、前記画像合成手段が、前記停止線と前記車両との距離を示す数字を前記停止線に関する情報として前記カメラ画像に示される前記停止線近傍に付加することにしてもよい。

さらに、停車位置検出装置において、前記カメラとして、前記車両の後方に位置する後方停止線を撮影する後方撮影用カメラと、前記車両の側方に位置する側方停止線を撮影する側方撮影用カメラとを有し、前記画像変換部が、前記後方撮影用カメラにより撮影されたカメラ画像を後方俯瞰画像に画像変換すると共に、前記側方撮影用カメラにより撮影されたカメラ画像を側方俯瞰画像に画像変換し、前記強度プロファイル作成手段が、前記後方俯瞰画像と前記側方俯瞰画像との強度プロファイルを作成し、前記制御手段が、前記強度プロファイル作成手段により作成された前記後方俯瞰画像と前記側方俯瞰画像との強度プロファイル毎にピーク強度位置を検出して、前記車両に対する前記側方停止線及び前記後方停止線の位置を検出する構成としてもよい。

また、前記制御手段が、前記車両のギアがリバースに設定されてから、一定時間内に前記車両の車両速度が一定速度以下となりかつハンドルの操舵角が一定角度以下となった場合に前記カメラによる撮影を開始することとしてもよい。

このように、カメラにより撮影されたカメラ画像を俯瞰画像に画像変換し、変換された俯瞰画像より強度プロファイルを作成して、停止線の位置を検出することができるので、車両が停止線に対してどれだけずれているかを定量的に検出することができる。このため、この検出結果をカメラ画像に付加して運転者に提示することによって、運転者はカメラ画像だけなく、車両から停止線までの定量的な距離値に基づいて駐車状態を正確に判断することができる。

以下、本発明に係る停車位置検出装置について、図面を用いて説明を行う。

図１に示すように、本発明に係る停車位置検出装置１は、画像変換部（画像変換手段）２と、画像変換用データが記録されたＲＯＭ３と、強度プロファイル作成部（強度プロファイル作成手段）４と、制御部（制御手段）５と、メモリ６と、画像合成部７とを備えており、停車位置検出装置１には、カメラ８と、モニタ（表示手段）９と、スピーカ（音声出力手段）１０と、舵角センサ１１と、車速センサ１２とが接続されている。

停車位置検出装置１は、図２に示す車両１５のインストルメントパネル内部等に設置されており、モニタ９はインストルメントパネル上であって運転者が視認しやすい位置に設置され、スピーカ１０は車両ドア等に設置されている。カメラ８は、広角撮像が可能なＣＣＤカメラであり、車両１５後方の路面状態を斜めに見下ろすようにして車両１５後部中央に設置されている。図３は、カメラ８により撮影された車両１５後方の様子を示した画像であり、画像中心部１６に比べて周辺部１７が湾曲した状態となって撮影される。カメラ８により撮影された画像は、一時的にメモリ６に記憶される。

画像変換部２は、カメラ８により撮影された画像を俯瞰画像（車両１５上方より路面を見下ろしたような画像）に変換する処理を行う。画像変換部２は、撮影された画像をメモリ６から読み出し、ＲＯＭ３に記憶された画像変換用データを用いて画像の歪みを修整して俯瞰画像へ画像変換する。また、画像変換部２は、必要に応じて画像の拡大、縮小、回転を行う。図４は、図３に示した画像を、画像変換部２で俯瞰変換したものである。俯瞰画像の黒色部分１８は、カメラ８で撮影することができない死角部分を示している。なお、カメラ８で撮影された画像を俯瞰画像に変換する技術は、特開平３−９９９５２号公報、特開平９−１７１３４８号公報、特開２００１−１１４０４８号公報、特開２００１−１１６５６７号公報等で公開されており、いわゆる当業者に公知の技術であるため、その詳細な説明は省略する。

画像変換部２は、俯瞰変換された俯瞰画像を、９０度回転させてメモリ６に一時的に記憶させる。なお、９０度に回転させた俯瞰画像は、後述する強度プロファイル作成処理（図７のステップ１１）に応じて縦横比を変更する場合があるため、必ずしも縦横比が回転前の画像と同じ比率になるとは限らない。

強度プロファイル作成部４は、画像変換部２で俯瞰変換された俯瞰画像より強度プロファイルを作成する。強度プロファイルとは、俯瞰画像の縦方向（一方向）の各画素の輝度を積分して縦方向（一方向に直交する他方向）の座標列の輝度の積分値（強度）を算出し、この強度を横方向に座標別に並べたグラフを意味する。なお同様に、俯瞰画像の横方向（操作線方向）の各画素の輝度を積分して横方向の座標列の輝度の積分値（強度）を算出し、この強度を縦方向に座標別に並べたグラフも同様に強度プロファイルという。なお、便宜上前者を垂直加算の強度プロファイルとし、後者を水平加算の強度プロファイルとする。

図４に示すように、舗装された路面１９は、一般的に輝度の低いグレー系統の色彩で構成され、路面に示される白色の停止線２０、レーンマーカー等は路面１９よりも輝度の高い明るい色彩で構成される。このため、停止線２０が撮影された垂直加算又は水平加算の強度プロファイルの強度分布は他の部分に比べて高い強度値を示すこととなる。図５は、図４に示した俯瞰画像を９０度回転させた画像（縦横比は、回転前の俯瞰画像と異なる）と、この画像に基づいて算出された垂直加算の強度プロファイル（画面の下に示すグラフ参照）と水平加算の強度プロファイル（画面の右に示すグラフ参照）とを示している。

制御部５は、強度プロファイル作成部４により作成された強度プロファイルより、高いピーク強度を示した箇所を求めることによって、車両１５に対する停止線２０の位置を検出することが可能となる。図５に示す強度プロファイルにおいては、俯瞰画像に示される停止線２０の位置に高いピーク強度２１が示されている。制御部５が行う具体的な停止線２０の検出処理については後述する。

また、制御部５は、検出した停止線２０の位置・距離等から運転者に警報を行う必要がある（警報することが望ましい）と判断した場合に、スピーカ１０を介して警報を発令する。

画像合成部７は、制御部５の指示に基づいて、カメラ８で撮影された画像に停止線２０に関する情報を付加（スーパーインポーズ）してモニタ９に表示させる。

舵角センサ１１は、ハンドルの回転角度に応じて舵角パルス信号を発するセンサであり、制御部５は舵角センサ１１より舵角パルスを取得することによってハンドルの舵角を検出する。また、車速センサ１２は車両速度に応じて車速パルス信号を発生させるセンサであり、制御部５は車速センサ１２より車速パルスを取得することによって車両速度を検出する。

図６は、停車位置検出装置１における停止線検出警報処理を示したフローチャートである。なお、本実施例における停止線検出警報処理では、車両１５が停止し、ハンドルがほぼニュートラル位置に切り戻された状態における停止線２０の位置検出を前提として説明を行うものとする。但し、本発明に係る停車位置検出装置１では、必ずしも車両１５が停止していることを要件とはせず、車両１５が縦列駐車又は車庫入れ動作を行っている状態、例えば、車両速度が５ｋｍ／ｈ以下である場合等において次述する停止線検出警報処理を行ってもよい。

制御部５は、舵角センサ１１より受信する舵角パルス信号に基づいてハンドルの操舵角度を検出（ステップ１）し、車速センサ１０より受信する車速パルス信号に基づいて、車両１５の車両速度を検出する（ステップ２）。制御部５は、検出したハンドルの操舵角度及び車両速度に基づいて、ハンドルがほぼニュートラルな状態となって車両が停止しているかどうか否か、具体的には、検出された車両速度が０ｋｍ／ｈであり、且つ、ハンドルの操舵角がほぼニュートラルとなっているか否かを判断する（ステップ３）。

ハンドルがニュートラルな状態ではない場合又は車両１５が停止していない場合、（ステップ３においてＮＯの場合）、制御部５は、停止線検出警報処理を終了する。ハンドルがほぼニュートラルな状態であって、車両１５が停止している場合には（ステップ３においてＹＥＳの場合）、制御部５は停止線検出処理を行う（ステップ４）。

制御部５は、停止線検出処理において、図７に示すように、上述した画像変換部２に対してカメラ８で撮影された画像をＲＯＭ３に記憶された画像変換用データを用いて俯瞰画像に画像変換（ステップ１０）させ、変換された俯瞰画像に基づいて、強度プロファイル作成部４に水平加算の強度プロファイルと垂直加算の強度プロファイルとを作成させる（ステップ１１）。

制御部５は、作成された水平加算の強度プロファイルより俯瞰画像における縦方向、具体的には車両前後方向における停止線２０の位置を検出し、さらに、垂直加算の強度プロファイルにより俯瞰画像の横方向、具体的には車両左右方向における停止線２０の位置を検出して、俯瞰画像における車両前後方向及び車両左右方向の停止線２０の位置を求める（ステップ１２）。

その後、制御部５は、求めた停止線２０位置と車両１５位置との距離を算出し（ステップ１３）、算出された停止線２０位置と車両１５位置との距離に基づいて、次述する位置情報画像付加処理（ステップ１５）においてカメラ画像に付加（スーパーインポーズ）させる位置情報画像を作成する（ステップ１４）。

制御部５は、画像合成部７に、ステップ１４で作成された画像情報をカメラで撮影されたカメラ画像に付加（スーパーインポーズ）させて（位置情報画像付加処理、ステップ１５）、モニタ９に表示させる（ステップ１６）。

図８は、図７に示すフローチャートのステップ１６において、カメラ画像に画像情報を付加した画像例を示したものである。制御部５は、カメラ画像の上部中央に、車両１５後部をイメージした車両画像２５と、この車両画像２５の周囲に停止線２０をイメージしたコ字状の停止線画像２６とを表示させる。制御部５は、強度プロファイルより検出した停止線２０と車両２５との距離に基づいて、停止線画像２６に対する車両画像２５の位置を移動させることによって、運転者が停止線２０に対して車両１５がどれだけずれているかを、モニタ９を見るだけで直感的に判断できるように表示することが可能となる。

また、図９は、ステップ１６においてカメラ画像に画像情報を付加した他の画像例を示したものである。図９に示す画像例では、車両画像２５と停止線画像２６とをカメラ画像の中央上部ではなく画像右端部に表示させることによって、運転者が停止線２０に対して車両１５がどれだけずれているかを、モニタ９を見るだけで直感的に判断できるように表示することが可能となる。さらに、停止線画像２６の下側に車両１５と左右の停止線２０ａまでの距離と後方停止線２０ｂまでの距離とを表示させることによって、運転者に具体的な距離を示すことができるので、運転者は停止線２０位置に対する車両１５の停車位置を絶対的な数値を用いて判断することができる。さらに、図１０に示すように、俯瞰画像の後方停止線２０ａ近傍に車両１５と後方停止線２０ａとの距離を数字で示し、俯瞰画像の左右の停止線２０ａ近傍に車両１５と左右の停止線２０ａとの距離を数字で示すことによって、車両１５位置を運転者に示す方法を用いてもよい。

その後、制御部５は、ステップ１３において検出された距離に基づいて、運転手に警報が必要であるか否かの判断を行い（ステップ１７）、警報を行う必要があると判断した場合には、スピーカより警報音を発生させて運転手に警報を行い（ステップ１８）、停止線検出処理を終了する（ステップ１８）。警報を行う必要がないと判断した場合、制御部５は、警報を行うことなく停止線検出処理を終了する。

このように、カメラ８により撮影された画像を俯瞰画像に画像変換し、変換された俯瞰画像より水平加算及び垂直加算の強度プロファイルを作成して、停止線２０の位置を検出することができるので、車両１５が左右に位置する停止線２０ａに対して、どちらかにどれだけずれているか、後方の停止線２０ｂからどれだけ離れているのかを定量的に検出することができる。このため、この検出結果をカメラ画像に付加して運転者に提示することによって、運転者は広角度で撮影されて湾曲したカメラ画像だけなく、車両１５から停止線２０までの定量的な距離値及び、停止線画像２６に対する車両画像２５の位置変化に基づいて車両１５の駐車状態を正確に判断することができる。

実施例２においては、停車位置検出装置１による停止線検出処理の検出速度向上を図るための方法を説明する。停車位置検出装置１が停車線２０の検出を行う場合には、強度プロファイル作成部４が俯瞰画像から水平加算の強度プロファイルと垂直加算の強度プロファイルとを作成する処理（図７に示すステップ１１の処理）が必要となる。

強度プロファイル作成部４が、俯瞰画像から垂直加算の強度プロファイルを作成する場合には、メモリ６に記憶された俯瞰画像の縦方向の各画素の輝度を積分して縦方向の座標列の輝度値（強度）を算出し、この強度を横方向に座標別に並べる必要があり、また同様に、俯瞰画像から水平加算の強度プロファイルを作成する場合には、俯瞰画像の横方向（操作線方向）の各画素の輝度を積分して横方向の座標列の輝度値（強度）を算出し、この強度を縦方向に座標別に並べたグラフを作成する必要がある。

このように水平加算の強度プロファイルと垂直加算の強度プロファイルとを作成する処理は一般的な処理に比べて処理負担が重く、また画像を一時的に記憶しておくための容量の大きなメモリが必要とされる。このため、停止線検出処理をリアルタイムで行う必要がある場合には、かなり高速の加算機を用意するか、多数の並列加算機を用意する必要が生ずるという問題がある。一方で、モニタ９の映像は、上から下に向かって水平方向に順々に走査されて表示されるため、加算機をこの走査に合わせて用いることによって走査処理と輝度の加算処理とを同時に行わせることができ、水平加算の強度プロファイルを１つの加算機でリアルタイムに作成することができる。

そこで、本実施例においては、水平加算の強度プロファイルを作成するための加算機を１つだけ用いて、水平方向と垂直方向の強度プロファイルを作成する方法を説明する。

まず制御部５は、画像変換部２に対して、図１１（ａ）に示すように、カメラ画像に基づいて画像上が車両後方を示す正俯瞰画像３０を作成させ、強度プロファイル作成部４に正俯瞰画像３０に基づく水平加算の強度プロファイルを作成させる。また制御部５は、図１１（ｂ）に示すように、画像変換部２に対して正俯瞰画像３０を９０度回転させて正俯瞰画像３０と縦横比が等しい回転俯瞰画像３１を作成させ、強度プロファイル作成部４に回転俯瞰画像３１に基づく水平加算の強度プロファイルを作成させる。この俯瞰画像３０、３１の作成処理のために、ＲＯＭ３には正俯瞰画像作成用のデータと回転俯瞰画像作成用のデータとが記憶されている。

このようにして１つの加算機を用いて正俯瞰画像３０と回転俯瞰画像３１とに基づく２つの強度プロファイルを１つの加算機で交互に作成することにより、最小限の加算機だけで水平加算と垂直加算の強度プロファイルを作成して、停止線２０の位置を検出することができるので、停車位置検出装置１のコスト低減を図ることが容易となる。

一方で、１つの加算機で交互に正俯瞰画像３０の強度プロファイルと回転俯瞰画像３１の強度プロファイルとを作成する方法では、水平加算の強度プロファイルと垂直加算の強度プロファイルとが完成するまでに２つの加算機を用いる場合に比べて２倍の時間がかかってしまうという問題がある。そこで、１度の走査処理で垂直加算及び水平加算の強度プロファイルを作成することによって停止線位置検出処理の迅速化を図る方法を説明する。

図１２は、１度の走査処理で垂直加算及び水平加算の強度プロファイル作成を行うための合成俯瞰画像３２と、合成俯瞰画像３２より作成された強度プロファイル（図１２の右に示す強度プロファイル）３３とを示している。

制御部５は、画像合成部２に、正俯瞰画像３０と回転俯瞰画像３１とを作成させ、さらに、正俯瞰画像３０と回転俯瞰画像３１とを上下で連結させて高さ方向の解像度を半分に圧縮させることによって合成俯瞰画像３２を作成する。

合成俯瞰画像３２を用いて、１つの加算機で正俯瞰画像３０と回転俯瞰画像３１との連結境界線に平行な方向に整列される座標の輝度を積分することによってこの方向における積分輝度を求め、求められた積分輝度を連結境界線に直行する方向の座標別に検出することによって水平加算の強度プロファイル３３を作成すると、１つの強度プロファイル３３において水平方向成分における強度プロファイルと垂直方向成分における強度プロファイルとを一度に作成することが可能となる。このように、正俯瞰画像３０と回転俯瞰画像３１とを用いて合成俯瞰画像３２を作成し、合成俯瞰画像３２を用いて１つの加算機の水平加算の強度プロファイル３３を作成することによって、１回の走査処理において、水平方向成分と垂直方向成分との両方の強度プロファイルを求めることができるので、停止線検出処理の高速化を図ることが容易となる。なお、正俯瞰画像３０と回転俯瞰画像３１とを上下で連結させてから解像度を半分に圧縮させることによって合成俯瞰画像３２を作成するので、実施例１で説明を行った方法よりも停止線２０の検出精度が低下してしまうが、低解像度ながらも垂直方向成分の強度プロファイルと水平方向成分の強度プロファイルとを求めて停止線２０の位置検出を行うため、位置検出に関する信頼性を十分に確保することが可能である。

本発明に係る停車位置検出装置１では、車両１５が停車位置にほぼ正しく停車されていることを前提として、車両１５と停止線２０とのずれ量を定量化して運転者に知らせることを特徴とするものであるが、強度プロファイルを用いた停止線の検出処理を応用することによって、車両１５が停止線２０に対して斜めに停車していることを検出し、俯瞰画像における停止線の傾きを求めることが可能となる。従って、この停止線２０の車両１５に対する傾斜状態を検出することによって、停止位置に対する車両１５の停止方向のずれ角度等を数値で示したり、車両１５が大きく傾斜している場合に運転者に警報を発したりことが可能となる。

図１３（ａ）は、車両１５が停車位置に対して傾いている場合に、車両１５後方を示したカメラ画像に基づいて作成した俯瞰画像３５を示したものである。図１３（ａ）に示すように、左右の停止線２０ａが画面右方向に傾斜し、車両１５後方の停止線２０ｂが画面下方向に傾斜している。

図１３（ａ）に示す俯瞰画像３５のうち、垂直方向に延びる短冊形状の領域Ｓ１〜Ｓ４を等間隔に抽出し、抽出された領域Ｓ１〜Ｓ４毎に垂直水平方向の強度プロファイルを作成する。図１３（ｂ）は各領域Ｓ１〜Ｓ４の強度プロファイルを示している。停止線２０（２０ａ、２０ｂ）は通常直線で示されているので、各強度プロファイルにおいてピーク強度を示す箇所を求めて、連続してつなぎ合わせることによって車両１５後方の停止線２０ｂの位置を求めることが可能となる。具体的には、求められたピーク強度を示す箇所を領域Ｓ１〜Ｓ４毎に抽出し、最小二乗法等を用いることによって停止線２０ｂの傾斜状態を求める。

例えば、図１３（ｂ）において示される領域Ｓ１〜Ｓ４の強度プロファイルのうちピーク強度を示す３７ａ〜３７ｄを結んだ線３８の傾きを求めることによって、停止線２０ｂの傾斜状態を求めることができる。

同様にして、水平方向に延びる短冊形状の複数の領域について垂直方向の強度プロファイルを求め、ピーク強度を示す箇所をつなぎ合わせることによって車両の左右に設置される停止線２０ａの傾斜状態を求めることができる。

このようにして停止線２０ａ、２０ｂの傾きを求めることによって、運転者に対して車両１５に対する停止線２０ａ、２０ｂの位置を定量的に知らせることができ、必要に応じて警報を発することが可能となる。

さらに、複数の領域を抽出して、領域毎に強度プロファイルを作成することが種手の制約により困難である場合には、俯瞰画像より求められるピーク幅を求めることによって停止線２０の傾斜について判断することができる。例えば、図１４に示す俯瞰画像において、水平加算の強度プロファイル３９を作成した場合、俯瞰画像の車両１５後方側の停止線２０ｂは傾斜しているので、ピークの幅（ピーク幅）Ｌが傾斜していない場合に比べて広くなり、さらにそのピークの強度値の値が低くなる傾向がある。そのため、ピーク幅Ｌとピーク強度値Ｈとの比率などに関する停止線２０の傾斜関係等を予め調べておくことによって、停止線２０の傾斜を一定の精度で求めることが可能となる。

なお、強度プロファイルのピーク幅Ｌ等に基づいて停止線２０の傾斜状態を検出する方法では、ピーク幅Ｌとピーク強度Ｈとの比率が大きければ大きいほど停止線が傾いているものと判断することができるが、この検出方法では停止線２０ｂの傾斜角度を厳密に算出することはできないので、ピーク幅Ｌが一定幅以上を示す場合には他の方法を用いて停止線２０の傾斜角度を求めることによって、誤った傾斜判断を行うことを防止することができる。

以上、実施例１〜３において、車両１５後部にカメラ８が設置された停車位置検出装置１の停止線検出警報出処理を説明したが、実施例４においては、車両１５後部だけでなく、車両１５のサイドミラー近傍に停止線２０を検出するためのカメラを設置する場合について説明する。

停止線２０の検出を行う場合、車両１５後部に取り付けられるカメラ８は広角で撮影を行うため、カメラ画像の周縁部が歪んでしまう傾向がある。このため、車両１５の左右側方から車両後方に延びる停止線２０ａはカメラ画像において大きく歪んで撮影されてしまうことに加え、左右方向の映像は、カメラ８の死角となるため、カメラ画像を俯瞰画像に画像変換した場合に死角部分として黒く表示されてしまって左右の停止線２０ａを十分に示すことができないおそれもある。そこで、左右のサイドミラー近傍にカメラを設けることによって、車両１５後方を示すカメラとは別に、左右の停止線２０ａ位置を精度よく求めることが可能となる。

図１５（ａ）は、左側のサイドミラー近傍に設けられるカメラで左側の停止線２０ａを撮影した画像４０であり、画像の中心部を上下に貫く白線が停止線２０ａを示している。このカメラ画像を画像変換部２によって、図１５（ｂ）に示すように俯瞰画像４１に画像変換し、俯瞰画像４１に基づいて、強度プロファイル作成部４で水平加算の強度プロファイル（図１５（ｂ）右側の強度プロファイル）を作成すると、車両１５側方から停止線２０ａまでの位置を強度プロファイルのピーク強度の位置から求めることができる。サイドミラー近傍に設けるカメラは、右側又は左側のどちらか一方のサイドミラー近傍のみに設けてもよいし、左右両方のサイドミラー近傍に設けてもよい。左右両方のサイドミラー近傍にカメラをそれぞれ追加設置することによって、３台のカメラで左右及び車両後方の停止線２０を精度よく検出することができる。また、サイドミラー近傍に取り付けられるカメラの映像においても、実施例２で説明したように１つの加算機で俯瞰画像を作成することができ、また、実施例３で説明したように、停止線の傾斜状況を検出することが可能である。

以上、本発明に係る停車位置検出装置１を実施例１〜実施例４において説明したが、停車位置検出装置１は、車両１５の停車作業中に、車両１５の停止位置に対する停止状態を運転者に示し、必要に応じて警報を行うことを目的とするため、正確に車両１５が停車作業状態になっていることを検出して上述した処理を実行させる必要がある。そのため、実施例１に示す車両速度情報及びハンドルの操舵角情報だけで車両１５が停止していることを判断するのではなく、ギアがリバースに設定されてから一定時間経過するまでに車両速度が所定速度（閾値）以下になり、操舵角度がほぼニュートラル状態（舵角が閾値以下）となって場合に、停止線検出処理を開始するようにしてもよい。

図１６は、図６に示した停止線検出警報処理を示す他のフローチャートである。制御部５は、まず、ギアがどこに設定されているかを検出し（ステップ２０）、ギアがリバースに設定されている場合（ステップ２１でＹＥＳの場合）には、停止線検出処理（ステップ４）を開始するか否かの時間を判断するためのタイマ動作を開始させ（ステップ２２）、ギアがリバースに設定されていない場合（ステップ２１でＮＯの場合）には、停止線検出警報処理を終了する。

タイマを動作させた後、制御部５は、タイマが一定時間経過したか否か（タイムアウトになったか否か）を判断し（ステップ２３）、タイムアウトになった場合（ステップ２３でＹＥＳの場合）には停止線検出警報処理を終了し、タイムアウトになっていない場合（ステップ２３でＮＯの場合）には、舵角センサ１１より受信する舵角パルス信号に基づいてハンドルの操舵角度を検出（ステップ１）する。操舵角検出（ステップ１）を行った後、制御部５は、車速センサ１０より受信する車速パルス信号に基づいて、車両１５の車両速度を検出する（ステップ２）。制御部５は、検出したハンドルの操舵角度及び車両速度に基づいて、ハンドルがほぼニュートラルな状態となって車両が停止しているかどうか否かを判断する（ステップ３）。

ハンドルがニュートラルな状態ではない場合又は車両が停止していない場合、（ステップ３においてＮＯの場合）、制御部５は、タイマが一定時間経過したか否か（タイムアウトになったか否か）の判断処理（ステップ２３）に移行する。ハンドルがほぼニュートラルな状態であって、車両が停止している場合には（ステップ３においてＹＥＳの場合）、制御部５は停止線検出処理を行う（ステップ４）。

このようにして、ギアがリバースに設定されてから予め定められた一定時間に車両速度及び操舵角が一定の条件を満たした場合にのみ、停止線検出処理を開始させることによって、停止線検出処理を適切なタイミングで安定的に動作させることが可能となる。

以上、本発明に係る停止位置検出装置１を、図面を用いて説明したが、本発明に係る停止位置検出装置１は上述したものに限定されるものではない。実施例１〜４に示した停止位置検出装置１では、スピーカ１０から警報を行う構成としたが、モニタ９により運転者が車両１５と停止線２０との位置を把握することが可能であるならば、警報を発する機能を必ずしも設ける必要はない。また、スピーカからの警報の代わりに、車両１５から停止線２０までの距離を音声により運転者に知らせるようにしてもよい。

さらに、実施例１においてはカメラ８を車両後部中央に１台だけ設けた例を示し、実施例４では、サイドミラー近傍にカメラを設置して、カメラを２台又は３台用いて停止線２０を検出する方法を示したが、カメラの設置台数及び設置位置は上述したものに限定されず、カメラを３台以上設けてもよいし、設置位置を車両後部及びサイドミラー近傍以外に設置してもよい。

本発明に係る停車位置検出装置の概略構成を示したブロック図である。 本発明に係る停車位置検出装置を搭載した車両を示す斜視図である。 カメラにより撮影された車両後方の画像を示した図である。 図３に示した画像を俯瞰変換処理した俯瞰画像である。 図４に示した画像を９０度回転させた画像と、この画像に基づいて作成された水平加算及び垂直加算の強度プロファイルとを示した図である。 制御部が行う停止線検出警報処理を示したフローチャートである。 図６に示す停止線検出処理の内容を示したフローチャートである。 カメラ画像に位置情報画像を付加した画像を示した図である。 カメラ画像に位置情報画像を付加した他の画像を示した図である。 カメラ画像に位置情報画像を付加した他の画像を示した図である。 俯瞰画像を示した図であって、（ａ）は正俯瞰画像を示し、（ｂ）は回転俯瞰画像を示している。 合成俯瞰画像と合成俯瞰画像より作成される強度プロファイルを示した図である。 車両後方を示した俯瞰画像と、その俯瞰画像のうち複数に区分けした領域毎に作成した強度プロファイルを示した図であって、（ａ）は俯瞰画像を示し、（ｂ）は領域毎に作成された強度プロファイルを示している。 車両に対して停止線が傾斜した俯瞰画像と、この俯瞰画像に基づいて作成された強度プロファイルとを示した図である。 車両のサイドミラー近傍に設けられたカメラで撮影されたカメラ画像とそのカメラ画像を画像変換して作成された俯瞰画像と、該俯瞰画像に基づいて作成された強度プロファイルとを示した図であって、（ａ）はカメラ画像を示し、（ｂ）は俯瞰画像と強度プロファイルとを示している。 図６に示した停止線検出警報処理と異なるフローチャートを示した図である。

符号の説明

１ 車両停止位置検出装置
２ 画像変換部（画像変換手段）
４ 強度プロファイル作成部（強度プロファイル作成手段）
５ 制御部（制御手段）
６ メモリ
７ 画像合成部（画像合成手段）
８ カメラ
９ モニタ（表示手段）
１０ スピーカ（音声出力手段）
１１ 舵角センサ
１２ 車速センサ
２０、２０ａ、２０ｂ 停止線
２１、４３ ピーク強度
２５ 車両画像（車両イメージ画像）
２６ 停止線画像（停止線イメージ画像）
３０、４１ 正俯瞰画像（俯瞰画像）
３１ 回転俯瞰画像
４０ カメラ画像
３２ 合成俯瞰画像

Claims (12)

1. 車両に設置されて車両周辺の停止線の撮影を行うカメラと、
   該カメラにより撮影されたカメラ画像を俯瞰画像に画像変換する画像変換手段と、
   前記俯瞰画像のうち一方向に整列される座標の輝度を積分することによって当該一方向における積分輝度を求め、求められた該積分輝度を前記一方向に直交する他方向の座標別に検出することによって一方向加算の強度プロファイルを作成し、さらに前記俯瞰画像の前記他方向に配列される座標の輝度を積分することによって当該他方向における積分輝度を求め、求められた前記他方向における積分輝度を前記他方向に直交する前記一方向の座標別に検出することによって他方向加算の強度プロファイルを作成する強度プロファイル作成手段と、
   該強度プロファイル作成手段により作成された前記一方向加算及び前記他方向加算の強度プロファイルのピーク強度位置を求めることにより、前記車両に対する前記停止線の位置を検出する制御手段と
   を有することを特徴とする停車位置検出装置。
2. 車両に設置されて車両周辺の停止線の撮影を行うカメラと、
   該カメラにより撮影されたカメラ画像を画像変換して正俯瞰画像を作成すると共に、該正俯瞰画像を９０度回転させて縦横比を前記正俯瞰画像と等しくした回転俯瞰画像を作成する画像変換手段と、
   前記正俯瞰画像及び前記回転俯瞰画像のそれぞれについて、一方向に整列される座標の輝度を積分することによって当該一方向における積分輝度を求め、求められた該積分輝度を前記一方向に直交する他方向の座標別に検出することによって、前記正俯瞰画像の強度プロファイルと前記回転俯瞰画像の強度プロファイルとを作成する強度プロファイル作成手段と、
   該強度プロファイル作成手段により作成された前記俯瞰画像の強度プロファイルと前記回転俯瞰画像の強度プロファイルとのそれぞれのピーク強度位置を求めることにより、前記車両に対する前記停止線の位置を検出する制御手段と
   を有することを特徴とする停車位置検出装置。
3. 車両に設置されて車両周辺の停止線の撮影を行うカメラと、
   該カメラにより撮影されたカメラ画像を画像変換して正俯瞰画像を作成し、該正俯瞰画像と当該俯瞰画像を９０度回転させて縦横比を前記正俯瞰画像と等しくした回転俯瞰画像とを連結させて合成俯瞰画像を作成する画像変換手段と、
   前記合成俯瞰画像のうち前記正俯瞰画像と前記回転俯瞰画像との連結境界線に平行な方向に整列される座標の輝度を積分することによって当該方向における積分輝度を求め、求められた該積分輝度を前記連結境界線に直交する方向の座標別に検出することによって強度プロファイルを作成する強度プロファイル作成手段と、
   該強度プロファイル作成手段により作成された強度プロファイルのピーク強度位置を求めることにより、前記車両に対する前記停止線の位置を検出する制御手段と
   を有することを特徴とする停車位置検出装置。
4. 車両に設置されて車両周辺の停止線の撮影を行うカメラと、
   該カメラにより撮影されたカメラ画像を俯瞰画像に画像変換する画像変換手段と、
   前記俯瞰画像を一方向に整列する複数の短冊状領域に分割し、分割された前記短冊状領域における前記一方向の座標の輝度を積分することによって当該一方向における積分輝度を求め、求められた該積分輝度を前記一方向に直交する他方向の座標別に検出することによって前記短冊領域毎に強度プロファイルを作成する強度プロファイル作成手段と、
   該強度プロファイル作成手段により作成された強度プロファイルのピーク強度位置を短冊領域毎に検出し、検出された各ピーク強度位置を連続的につなぐことによって、前記車両に対する前記停止線の傾きを検出する制御手段と
   を有することを特徴とする停車位置検出装置。
5. 車両に設置されて車両周辺の停止線の撮影を行うカメラと、
   該カメラにより撮影されたカメラ画像を俯瞰画像に画像変換する画像変換手段と、
   前記俯瞰画像のうち一方向に整列される座標の輝度を積分することによって当該一方向における積分輝度を求め、求められた該積分輝度を前記一方向に直交する他方向の座標別に検出することによって強度プロファイルを作成する強度プロファイル作成手段と、
   該強度プロファイル作成手段により作成された強度プロファイルにおけるピーク強度の強度値とピーク幅との比に基づいて、前記車両に対する前記停止線の傾きを検出する制御手段と
   を有することを特徴とする停車位置検出装置。
6. 前記強度プロファイル作成手段は、前記画像変換手段により変換された画像の走査に合わせて積分輝度を求める１つの加算機で前記強度プロファイルを作成することを特徴とする請求項２乃至請求項５のいずれか１項に記載の停車位置検出装置。
7. 前記制御手段により検出された前記停止線に関する情報を音声によって出力する音声出力手段を有することを特徴とする請求項１乃至請求項６のいずれか１項に記載の停車位置検出装置。
8. 前記制御手段により検出された前記停止線に関する情報を、前記カメラ画像に付加する画像合成手段と、
   該画像合成手段で合成されたカメラ画像を出力する表示手段と
   を有することを特徴とする請求項１乃至請求項７のいずれか１項に記載の停車位置検出装置。
9. 前記画像合成手段は、略箱状の車両イメージ画像と該車両イメージ画像との位置関係が変化するコ字状を呈する停止線イメージ画像とを前記停止線に関する情報として前記カメラ画像に付加することを特徴とする請求項８に記載の停車位置検出装置。
10. 前記画像合成手段は、前記停止線と前記車両との距離を示す数字を前記停止線に関する情報として前記カメラ画像に示される前記停止線近傍に付加することを特徴とする請求項８に記載の停車位置検出装置。
11. 前記カメラとして、前記車両の後方に位置する後方停止線を撮影する後方撮影用カメラと、前記車両の側方に位置する側方停止線を撮影する側方撮影用カメラとを有し、
    前記画像変換部は、前記後方撮影用カメラにより撮影されたカメラ画像を後方俯瞰画像に画像変換すると共に、前記側方撮影用カメラにより撮影されたカメラ画像を側方俯瞰画像に画像変換し、
    前記強度プロファイル作成手段は、前記後方俯瞰画像と前記側方俯瞰画像との強度プロファイルを作成し、
    前記制御手段は、前記強度プロファイル作成手段により作成された前記後方俯瞰画像と前記側方俯瞰画像との強度プロファイル毎にピーク強度位置を検出して、前記車両に対する前記側方停止線及び前記後方停止線の位置を検出することを特徴とする請求項１乃至請求項１０のいずれか１項に記載の停車位置検出装置。
12. 前記制御手段は、前記車両のギアがリバースに設定されてから、一定時間内に前記車両の車両速度が一定速度以下となりかつハンドルの操舵角が一定角度以下となった場合に前記カメラによる撮影を開始することを特徴とする請求項１乃至請求項１１のいずれか１項に記載の停車位置検出装置。

Images