JP2005039599A - 車両周辺監視装置 - Google Patents

Abstract

【課題】 車両周辺監視装置において、ガイド指標を適切な位置に表示できるようにする。
【解決手段】 車両に設置されて自車両周辺を撮影するカメラ装置１と、自車両に対して所定の位置に設定した補助線に対応するガイド指標の画像を生成し、カメラ装置で撮影した撮影画像にガイド指標を重ねてディスプレイ２に表示するモニタコントロールユニット４を備えている。モニタコントロールユニットはガイド指標生成部１１とスーパーインポーザ１３とからなる。ガイド指標生成部は、左サイド・ターンランプ３１のオン、オフ信号をライト・コントロールユニット９から受け、左サイド・ターンランプの点灯時と消灯時の撮影画像を差し引き処理して、左サイド・ターンランプの画像上の位置を検出し、基準位置からのズレ量に基づいてガイド指標の位置を補正し、補正したガイド指標位置をスーパーインポーザに送り、ガイド指標の画像を撮影画像に重ね合わさせる。
【選択図】 図１

Description

本発明は、運転者から見えにくい車両周辺の状況を車内のディスプレイに表示する車両周辺監視装置に関するものである。

従来から車両後部にカメラ装置を設置して、運転者から見えにくい後方の撮影画像を車内のディスプレイに表示する各種の車両後方監視装置が知られている。例えば、特許文献１に開示された車両後方監視装置は、シフトレバーをバック位置に操作したときに、ディスプレイの表示が車両後方を撮影した撮影画像に切り替わり、記憶しておいた適切な距離目安となるガイド指標を撮影画像に重畳表示する。運転者はそれを目印にして車両を後退させることができる。
特許第３１８３２８４号公報

ところで、上述した車両後方監視装置においては、自車両を基準とした３次元座標上で自車両に対して所定の位置に設定した補助線の位置を、カメラ装置の光軸のピッチ角α、ヨー角β、カメラ装置の取り付け高さＨ、焦点距離ｆを用いて、カメラ装置の撮影画像上の２次元座標に変換する式（特願２００２−２０７３５８参照）に基づき、撮影画像上のガイド指標の位置座標データとして予め算出して記憶しておき、撮影画像上に重ねてガイド指標を表示する。
または地上においた実際のマーキングを画像処理して、予め用意したロジックに基づいて撮影画像上にガイド指標を表示する位置座標データを得、それに基づいて撮影画像上に重ねてガイド指標を表示する。

しかしながら、上記位置座標データは、設計値通りの位置と取り付け角度でカメラ装置が設置されていることを前提にしたものであり、実際には車両１台ごとにカメラ装置取り付け位置、取り付け角度などの取り付け状態が微妙に異なるため、ガイド指標の撮影画像上の表示位置の調整を、工場出荷時またはディーラから客への引渡し前の整備時などに手作業で行う必要があった。また、このような調整を省略する場合は、ガイド指標の表示位置のずれがあっても問題にならないように、ガイド指標が自車両から遠い位置に余裕を大きくとって表示する必要があった。
さらに、経年変化などによりカメラ装置の取り付け部の角度などが変化することに対して、対応できるようにはなっていなかった。
したがって本発明の目的は、上記の問題に鑑み、車両ごとのカメラ装置取り付け状態のばらつきおよび、取り付け状態の経年変化に対して、撮影画像上に重ねるガイド指標の表示位置を容易に補正できる車両周辺監視装置を提供することである。

このため、本発明は、車両に設置されて自車両周辺を撮影する撮像手段と、自車両に対して所定の位置に設定した補助線に対応する画像としてガイド指標を生成するガイド指標生成部とを備え、撮像手段で撮影した撮影画像にガイド指標を重ねてディスプレイに表示する車両周辺監視装置において、ガイド指標生成部は、撮影画像における自車両の特定部位を検出する検出手段と、特定部位の撮影画像における検出位置の基準位置からのズレ量を算出するズレ量算出手段とを有し、ズレ量に基づいてガイド指標の位置を補正するものとした。

本発明では、自車両の特定部位を撮影画像中から検出し、基準位置からのズレ量に基づいて、ガイド指標の位置を補正計算し、ガイド指標を撮影画像に重ねてディスプレイに表示するので、撮像手段の取り付け角度、位置が車両一台ごとにばらついても、撮影画像上のガイド指標の位置が、自車両に対して所定の位置に設定した補助線に対応した撮影画像上の位置からずれることが防止できる。また、複雑な調整作業を行わずとも自動的にガイド指標の表示位置が調整される。
さらに、ガイド指標の撮影画像上での表示位置精度が高いので、ガイド指標の当初の位置設定段階で、自車両から遠い側に表示するように余裕を見て設定する量が小さくできる。

以下本発明の実施の形態を図面に基づいて説明する。
図１は車両左前輪近傍をカメラ装置で映して、その画像を車内に設置されたディスプレイに表示する車両周辺監視装置の構成を示すブロック図である。なお、図１には主要部品の設置位置を示すため、車体イメージを破線で示している。

車両２０の左前部ドア２５ａに取り付けられた左ドアミラー２４ａのケース内部に、カメラ装置１が設置されている。カメラ装置１は図示しないレンズを左ドアミラー２４ａのカバーから、車体前方左前輪近傍を撮影可能に前方に向けてある。このとき、車体左前部側面の特定部位、ここでは左サイド・ターンランプ３１がカメラ装置１の撮影画像中に含まれるようにする。
カメラ装置１は、図示しない撮像面に例えばＣＣＤ素子を使用する。

カメラ装置１は、モニタコントロールユニット（以後「ＭＣＵ」と称する）４に接続し、撮影画像はＭＣＵ４のガイド指標生成部１１とスーパーインポーザ１３それぞれに送られる。なお、ＭＣＵ４はマイクロコンピュータを用いて構成される。
ガイド指標生成部１１は、不揮発性の内部メモリ１９ａ、１９ｂ、１９ｃと、画像メモリ１９ｄを有する。
ガイド指標生成部１１にはターンシグナルランプ３１の点灯を制御するライト・コントロールユニット（以後ライトＣ／Ｕと称する）９からの左サイド・ターンランプ３１のオン、オフ信号が入力される。なお、図１ではライトＣ／Ｕ９と左サイド・ターンランプ３１の接続を省略して表示している。
ガイド指標生成部１１が生成したガイド指標の画像は、スーパーインポーザ１３に送られる。スーパーインポーザ１３はカメラ装置からの撮影画像とガイド指標生成部１１からのガイド指標の画像を重ね合わせて監視画像とし、インストルメントパネルなど車室内前部に配置された例えば液晶表示装置のディスプレイ２に送る。なお、ディスプレイ２は、ナビゲーションシステムまたはＴＶの表示装置と兼用でもよい。

次に、ＭＣＵ４の詳細な説明を行う。
ガイド指標生成部１１は、撮影画像上のガイド指標の標準表示位置（以下、撮影画像上のガイド指標の標準表示位置を「ガイド指標標準位置」と称する）を内部メモリ１９ａに、左サイド・ターンランプ３１の撮影画像上の基準位置（ｘ_Ｍ，ｙ_Ｍ）を内部メモリ１９ｂにそれぞれ予め記憶している。

ガイド指標生成部１１はカメラ装置１の撮影した撮影画像上にガイド指標を重ね合わせる表示位置を、後述のフローで説明するように必要に応じ補正計算をし、その結果を内部メモリ１９ｃに記憶する。ガイド指標生成部１１は所定のガイド指標の画像を生成するため、内部メモリ１９ｃに補正されたガイド指標の表示位置が記憶されていればそれを読み出し、そうでなければ内部メモリ１９ａからガイド指標標準位置を読み出し、読み出した位置にガイド指標を表示する画像を生成する。
以下、撮影画像上のガイド指標の表示位置を「ガイド指標位置」と称する。

次に、図２、図３に基づいてカメラ装置１による左前部車輪近傍監視の監視画像の説明をする。ここでカメラ装置１はレンズ収差などの影響はなくディスプレイ２の表示画面にはレンズからの距離に関係なく明瞭な撮影画像が表示されているものとして説明する。
ガイド指標は、例えば幅寄せ操作時の目安になる自車両から所定の位置の地面上に描いた仮想の補助線をカメラ装置１で撮影したときに撮影画像上に映る位置に、仮想の補助線の部分を車両周辺の撮影画像に重ねて表示したものである。

図２は、自車両と上記補助線との位置を、上方から見た図である。
この例では、第１の補助線は車両２０の左車体側端線５４で、ドアミラー２４ａの左先端から鉛直に下ろした地面上の位置を通り、車体前後方向と平行に引いた直線であり、この直線の前端は車両先端から余裕代としてさらに例えば１０ｃｍ前方に伸ばした位置としてある。さらに第２の補助線は、この左車体側端線５４の前端から、右側に直角に短い直線を引いたものであり、これを左角車体先端線５５と呼ぶ。
図３は、この２つの仮想の補助線に対応するガイド指標を撮影画像上に重ねた監視画像である。ディスプレイ２には図２に示した左車体側端線５４に対応するガイド指標（左車体側端線）３４、左角車体先端線５５に対応するガイド指標（左角車体先端線）３５が表示される。

次に、図４、図５に基づいてカメラ装置の撮影画像にガイド指標を重ねて表示するフローを説明する。これらはガイド指標生成部１１のプログラムとして実行される。
すでに、ガイド指標３４、３５の標準表示位置は内部メモリ１９ａに、左サイド・ターンランプ３１の基準位置は内部メモリ１９ｂにそれぞれ記憶されているとする。
ＭＣＵ４が起動されるとまずステップ１０１で、ガイド指標位置の補正が行われたかどうかを表すフラグＬｃを、まだ補正が行われていないことを意味する０にセットする。

ステップ１０２では、ライトＣ／Ｕ９から左サイド・ターンランプ３１のオン信号を受けているか（つまり点灯しているか）どうかチェックする。
オン信号を受けたときステップ１０３に進み、オン信号を受けていないときは、ステップ１１５に進む。
ステップ１０３では、フラグＬｃが０かどうかをチェックする。フラグＬｃ＝０の場合はステップ１０４に進み、フラグＬｃ≠０の場合はステップ１１５に進む。
ステップ１０４では、第１の画像として左サイド・ターンランプ３１が点灯した状態の撮影画像（図６の（ａ）参照）を画像メモリ１９ｄに取り込み、その後ステップ１０５に進む。

ステップ１０５では、ライトＣ／Ｕ９から左サイド・ターンランプ３１のオフ信号を受けているか（つまり消灯しているか）どうかチェックする。
オフ信号を受けたときステップ１０６に進み、第２の画像として左サイド・ターンランプ３１が点灯していない状態の撮影画像（図６の（ｃ）参照）を画像メモリ１９ｄに取り込み、その後ステップ１０７に進む。
オフ信号を受けていないときは、ステップ１０５を繰り返す。

ステップ１０７では、画像メモリ１９ｄから第１と第２の画像を読み出し、第１の画像の輝度分布（図６の（ｂ）参照）から第２の画像の輝度分布（図６の（ｄ）参照）の画素ごとに輝度の差し引き計算をして、輝度の差分布（図６の（ｅ）参照）を得て、バッファに記憶する。
なお、図６では、現実には４００×２４０程度の画素数を１０×７で簡略表現して示す。
ステップ１０８では、バッファに記憶した輝度の差分布に対して、フィルタリング処理を行う。所定値以下の輝度の差を０と置き換え、輝度の差Ｄ_ｘ、ｙの分布を得る。図６の（ｆ）の例示では、３以下は０としている。この処理により、太陽の射し込みなどのノイズによる輝度の差の分布が生じる場合に、それが除去される。

ステップ１０９では、撮影画像中の左サイド・ターンランプ３１の重心位置（ｘ_Ｇ，ｙ_Ｇ）を算出する。
重心位置（ｘ_Ｇ，ｙ_Ｇ）は、内部メモリ１９ｂに記憶された左サイド・ターンランプ３１の基準位置（ｘ_Ｍ，ｙ_Ｍ）を中心に所定の半径内の画素に対して、ステップ１０８で求めたフィルタリング処理後の輝度の差Ｄ_ｘ、ｙの分布から、画素のｘ座標値、ｙ座標値それぞれに画素の輝度の差Ｄ_ｘ、ｙを乗じた上でそれぞれの総和Σ（ｘ・Ｄ_ｘ、ｙ）、Σ（ｙ・Ｄ_ｘ、ｙ）を取り、各画素の輝度の差Ｄ_ｘ、ｙの総和Σ（Ｄ_ｘ、ｙ）で除することにより求まる。
ステップ１１０では、重心位置（ｘ_Ｇ，ｙ_Ｇ）から基準位置（ｘ_Ｍ，ｙ_Ｍ）を引いて、ズレ量（δ_ｘ，δ_ｙ）を求める。

ステップ１１１では、内部メモリ１９ａからガイド指標標準位置を読み込む。
ステップ１１２では、ガイド指標位置の補正計算をする。
例えば、ガイド指標の各部位のガイド指標位置の補正は以下のように行う。
ｘ’_ｍ＝ｘ_ｍ＋α_ｘ・δ_ｘ ・・・・（１）
ｙ’_ｍ＝ｙ_ｍ＋α_ｙ・δ_ｙ ・・・・（２）
ここで、ｘ’_ｍ、ｙ’_ｍは補正後のガイド指標位置のｘ、ｙ座標、ｘ_ｍ、ｙ_ｍはガイド指標標準位置のｘ、ｙ座標を示し、α_ｘ、α_ｙは予め計算または実測により決めた所定の係数である。

車両ごとのカメラ装置取り付け位置や角度（つまり取り付け状態）のばらつきは比較的小さく、またドアミラーに固定されたカメラ装置の取りつけ状態の経年変化も比較的小さいこと、およびカメラ装置からガイド指標が指し示す前輪近傍の実際の位置までの距離と、カメラ装置から左サイド・ターンランプの位置までの距離とに大きな差が無いことから、カメラ装置の取り付け状態の変化による補正は式（１）、（２）で示すような線形近似で十分補正できる。

ステップ１１３では、補正したガイド指標位置を内部メモリ１９ｃに記憶する。
ステップ１１４では、ガイド指標位置を補正したことを表すように、フラグＬｃを１とする。ステップ１１４の後ステップ１１５に進む。
ステップ１１５では、すでにガイド指標位置の補正計算結果が内部メモリ１９ｃに記憶されている場合はそれを読み込み、無い場合は内部メモリ１９ａに記憶されているガイド指標標準位置を読み込む。
ステップ１１６では、読み込まれたガイド指標位置に基づいて、ガイド指標の画像を生成し、スーパーインポーザ１３に出力する。
これにより、スーパーインポーザ１３は、ガイド指標生成部１１からのガイド指標の画像を撮影画像にスーパーインポーズして監視画像としてディスプレイ２に表示する。
ステップ１１６の後、ステップ１０２に戻り、ガイド指標生成部１１は、ガイド指標の画像生成の処理を続ける。

ＭＣＵ４が起動した状態で、左サイド・ターンランプ３１が何度もオン状態になっても、ステップ１０２とステップ１０３によって最初の１回だけガイド指標位置の補正がなされ、以後はその補正結果が使用される。
また、ＭＣＵ４起動後、ステップ１０２で左サイド・ターンランプ３１がオンの状態になっていない（運転者がターンシグナルスイッチで左ターンの操作をしない）間は、ステップ１１５で前回補正されたガイド指標位置が読み込まれ使用される。

本実施の形態においては、カメラ装置１が本発明の撮像手段を構成し、フローチャートのステップ１０１からステップ１０９が本発明の検出手段を、ステップ１１０はズレ量算出手段を構成する。
また左サイド・ターンランプ３１は、本発明の車両の特定部位に対応する。

以上のように本実施の形態によれば、カメラ装置１の左ドアミラー２４ａのケース内部への取り付け位置や角度が、車両ごとに基準値からずれても、また車両に取り付け後の経年変化でずれても、撮影画像において検出された左サイド・ターンランプ３１の座標位置に基づいて、基準位置からのズレ量を算出し、ガイド指標を撮影画像上に表示する位置を補正するので、ガイド指標位置の補正が極めて容易である。
従って、ガイド指標の位置精度の高い表示が可能であり、ガイド指標を自車両からやや遠い側に表示する余裕を小さくすることができ、運転者がガイド指標に従って安全にぎりぎりまで自車両を幅寄せできる。

また、ＭＣＵ４を起動している状態で、左サイド・ターンランプ３１がオン状態になった最初の１回だけ自動的にガイド指標位置を補正するので、操作者が意識しなくとも補正ができる。
また、工場出荷時またはディーラから客への引渡し前のガイド指標位置の設定作業が極めて容易になり、作業の工数が低減できる。

さらに、左サイド・ターンランプ３１の基準位置からのズレ量を検出する方法として、左サイド・ターンランプ３１の点灯時と消灯時の撮影画像の輝度の差し引き計算結果を利用するので、ノイズの影響が低減し容易に特定部位の位置検出ができる。
また、カメラ装置の取り付け状態の変化量は小さいことから、左サイド・ターンランプ３１の基準位置から所定の半径内の画素のみで特定部位の重心計算を行うことで、計算時間が短縮される。

本実施の形態においては、カメラ装置１の撮影範囲に含まれる自車両の特定部位として、左サイド・ターンランプ３１としたが、それに限定されるものではない。撮影画像に含まれる前照灯、または左前部・ターンランプなど他の灯火としてもよい。
また、本実施の形態では右ハンドル車を例に説明したがこれに限定されない。
さらに、本実施の形態においては、左ドアミラーに内蔵のカメラ装置による車両周辺監視を例に説明したが、カメラ装置を車両後部の車幅方向中央上部に、カメラの光軸を後ろ下方に向け、自車両の後部灯火が撮影画像の視野に含まれるように設定する場合にも適用できる。

なお、本実施の形態では、式（１）、（２）に示す線形補正に基づいて、自車両の左サイド・ターンランプ３１の撮影画像上のズレ量δ_ｘ、δ_ｙからガイド指標位置を補正するとしたが、例えば車両前方水平方向を基準とし、カメラ装置１の光軸の標準の方向（ピッチ角、ヨー角）を設定し、撮影画像上の左サイド・ターンランプ３１のズレ量δ_ｘ、δ_ｙから光軸の現在の方向を算出し、カメラ位置を基準にした３次元座標上の補助線の位置から撮影画像における２次元座標上のガイド指標位置を再計算する補正の方法でもよい。

実施の形態の全体構成を示す図である。 ガイド指標に対応する仮想の補助線の自車両との位置関係を示す図である。 監視画像を示す図である。 ガイド指標の表示のフローを示す図である。 ガイド指標の表示のフローを示す図である。 ズレ量検出を説明する図である。

符号の説明

１ カメラ装置
２ ディスプレイ
４ モニタコントロールユニット
９ ライト・コントロールユニット
１１ ガイド指標生成部
１３ スーパーインポーザ
１９ａ、１９ｂ、１９ｃ 内部メモリ
１９ｄ 画像メモリ
２０ 車両
２４ａ 左ドアミラー
２５ａ 左前部ドア
３１ 左サイド・ターンランプ
３４ ガイド指標
３５ ガイド指標
５４ 左車体側端線（補助線）
５５ 左角車体先端線（補助線）

Claims (4)

1. 車両に設置されて自車両周辺を撮影する撮像手段と、自車両に対して所定の位置に設定した補助線に対応する画像としてガイド指標を生成するガイド指標生成部とを備え、前記撮像手段で撮影した撮影画像に前記ガイド指標を重ねてディスプレイに表示する車両周辺監視装置において、
   前記ガイド指標生成部は、前記撮影画像における自車両の特定部位を検出する検出手段と、
   前記特定部位の前記撮影画像における検出位置の基準位置からのズレ量を算出するズレ量算出手段とを有し、
   前記ズレ量に基づいて前記ガイド指標の位置を補正することを特徴とする車両周辺監視装置。
2. 前記自車両の特定部位が灯火であって、
   前記検出手段は、前記灯火の点灯時の撮影画像と消灯時の撮影画像とに基づいて、当該灯火の位置を検出することを特徴とする請求項１に記載の車両周辺監視装置。
3. 前記ガイド指標生成部は、前記ズレ量に所定の係数を乗じて、前記ガイド指標の位置座標に加算して当該ガイド指標の位置を補正するものであることを特徴とする請求項１または２に記載の車両周辺監視装置。
4. 自車両周辺の撮影画像に、自車両に対して所定の位置に設定した補助線に対応するガイド指標を重ねて、ディスプレイに表示する車両周辺監視装置において、
   前記撮影画像上の、前記ガイド指標の標準位置座標を予め記憶し、
   さらに、前記撮影画像における自車両の特定部位の基準位置座標を予め記憶し、
   前記撮影画像における前記特定部位の検出位置と前記基準位置座標とのズレ量に基づいて、前記ガイド指標の位置を補正することを特徴とする車両周辺監視装置におけるガイド指標の位置補正方法。

Images