JP2011077806A - 車両周辺監視装置 - Google Patents

Abstract

【課題】複数のカメラの撮影画像を俯瞰画像に変換し、立体物の歪が少ない俯瞰画像を表示することができる車両周囲監視装置を提供する。
【解決手段】本発明の車両周囲監視装置は、俯瞰画像生成部３１が、複数のカメラ２１により撮影された車両周囲の画像を俯瞰画像に変換し、合成領域選択部３４は、状態情報取得部３３からの自車両の位置や周辺環境情報に基づいて、俯瞰画像の合成に利用する領域を選択する。俯瞰画像合成部３５は、合成領域選択部３４の出力に基づいて、俯瞰画像を合成し、表示部４０が俯瞰画像を表示する。
【選択図】図１

Description

本発明は、車両に搭載されたカメラで撮影した車両周辺の複数の画像を合成し、その合成画像を運転者等に提供する車両周辺監視装置に関するものである。

従来の車両周辺監視装置として、車両周辺を撮影対象とし、その撮影対象の一部が重複するように配置された複数のカメラで撮影した画像を、平面を仮定した地面を、上空からの視点で見た俯瞰画像へと変換して、複数の俯瞰画像から１つの合成画像を生成し、表示する装置が知られている（特許文献１参照）。

特開２００７−１８０７２０号公報

しかしながら、従来の車両周辺監視装置では、下記の問題を生じる。

図１１は、自車両に取り付けたカメラから撮像領域に存在する車両を撮像し、俯瞰画像を生成する場合に生ずる問題を説明する図である。カメラ１は自車両に取り付けられており、撮像領域にある他車両がある空間領域の各立体点２、３、４は地面５に投影され、俯瞰画像１０の各変換点１２、１３、１４へと対応づけられる。ここで例えば変換点１２と変換点１３の間の俯瞰画像１０は車両の下の地面にあたる領域１５を撮像したものであり、俯瞰画像１０には地面が投影されることになる。これにより本来は車両が存在する領域なのに、その車両の下の地面が表示されてしまうという問題（図１２（a））が発生する。また、例えば立体点３と立体点４が作る領域１６は地面１０に対して限りなく垂直な面であるため、俯瞰画像１０の変換点１３と変換点１４の間は限りなく小さい領域となることが望ましい。しかしながら、実際の画像は車両が投影方向に伸びて元の形状が分からなくなる問題（図１２（b））が発生する。これらの問題は（１）撮像するカメラから実際に撮像する立体物までの距離が遠いこと、（２）撮像範囲に立体物が存在する場合も地面を投影面にしていることが原因で発生している。ここで（２）の地面を投影面に設定することは、周囲の物体までの距離を把握しやすくなるメリットがあるため、この地面を投影面にするという前提条件は維持しても、（１）の立体物までの距離は、カメラの設置位置や俯瞰画像で利用する領域を工夫することで、上記の問題を生じない画像を表示することができる。

本発明は、従来の問題を解決するためになされたもので、複数のカメラの撮影画像を俯瞰画像に変換・合成して表示する車両周囲監視装置において、複数カメラ画像の中から表示画像の合成に使用する画像領域を選択し、実際の駐車シーンに合わせて、立体物の歪が少なく、正確な画像を表示することができる車両周囲監視装置を提供することを目的とする。

本発明の車両周囲監視装置は、自車両の走行状態や周囲の状況を把握する状態情報取得手段と、前記状態情報取得手段の情報に基づいて、俯瞰画像生成手段により変換された複数の俯瞰画像の中から表示画像合成に利用する俯瞰画像の部分領域を選択する合成領域選択手段とを有する構成である。

本発明は、状態情報取得手段の情報に基づいて、俯瞰画像生成手段により変換された複数の俯瞰画像の中から表示画像合成に利用する俯瞰画像の部分領域を選択する合成領域選択手段を設けることにより、駐車シーンでの運転に適した正確な表示画像を表示することができる。

本発明の一実施の形態における車両周囲監視装置の構成を示すブロック図 同装置において、車体へのカメラの取付け位置を示す図 同装置において、各カメラが撮影した画像を示す図 同装置において、重複領域を持つ複数の俯瞰画像を示す図 同装置において、マッピングテーブルを利用した俯瞰画像の生成を示す図 同装置において、複数の俯瞰画像を合成した画像を示す図 同装置において、２つのカメラに着目した場合のカメラ境界候補領域を示す図 同装置において、駐車シーンにおける自車両の移動を示す図 同装置において、駐車シーンにおけるカメラ境界の遷移を示す図 同装置の動作を説明するフロー図 地面を投影面として俯瞰画像を生成した場合に生じる問題を示す図 従来の表示画像と同装置による表示画像を示す図

以下、本発明の一実施の形態の車両周囲監視装置について、図面を用いて説明する。

図１は、本発明の一実施の形態における車両周囲監視装置の構成を示すブロック図である。

撮影部２０は、ＣＣＤ、ＣＭＯＳデバイス等の固体撮像素子を有する複数のカメラ２１により構成される。カメラ２１は魚眼レンズなどの高視野角のレンズを使って広範囲が撮影できるものを利用する。

図２は６つのカメラを設置し、車両の全周囲がカメラ画像によって確認できるようにしている。カメラ２１ａ〜２１ｆは車両に設置されている。カメラ２１ａ、２１ｂは車両側方のサイドミラーに設置され、カメラ２１ｃは車両後方の中心近くに設置され、カメラ２１ｄは車両前方中心のバンパー付近に設置され、カメラ２１e、２１ｆは、車両後方コーナのランプ近傍に設置されている。各カメラで撮影された画像は、図３の３０１、３０２、３０３、３０４、３０５、３０６に示すような画像となる。

画像処理部３０は、複数のカメラ２１からの撮影画像を入力し、これらの撮影画像を加工して、表示部４０へ出力する。ここでの加工処理は、視点変換画像の作成や複数画像の合成、イラスト画像とカメラ画像との合成処理である。

表示部４０は、液晶ディスプレイ、プラズマディスプレイ等の表示デバイスを用いる。このディスプレイは、車両搭載型のＧＰＳ端末ディスプレイ（いわゆるカーナビゲーションシステムのディスプレイ）と共用でもよい。

車両情報収集部５０は、自車両の状態を検知する装置やセンサであり、シフトレバー５１、車速センサ５２などであり、画像処理部３０へ信号を出力する。

ソナーセンサ６０は、自車両の外側に取り付けられたセンサであり、車両周囲に障害物
がないかどうかを判別し、画像処理部３０へ信号を出力する。

画像処理部３０の俯瞰画像生成部３１は、複数のカメラ２１から取り込んだカメラ画像を、指定された仮想視点から地面を投影面として俯瞰した画像に変換する。俯瞰画像はある仮想視点位置から地面に対して垂直に見下ろした画像となる。本実施の形態では、複数のカメラ入力が存在するので、各カメラ画像に対して別々に俯瞰画像変換処理を行う。図４は、図３のカメラ画像３０１〜３０６を、車両の上方から見下ろした俯瞰画像４０１〜４０６に変換した図である。

マッピングテーブル３２は、俯瞰画像生成部３１と接続されており、カメラ画像と俯瞰画像との関係を対応付けたテーブルである。各カメラ画像の画素座標と対応する俯瞰画像の画素座標とが１対となり記述されている。図５はマッピングテーブルを参照してカメラ画像の画素座標を獲得する方法を示した図である。図５において、マッピングテーブル５０１は俯瞰画像の座標とカメラ画像の座標が１対１で対応づけられたテーブルである。俯瞰画像５０２のある座標５１１に対応するカメラ画像の座標５１２を知りたい場合は、マッピングテーブル５０１の俯瞰画像座標一覧の中から座標５１１を探し、該当するカメラ画像の座標５１２を獲得する。複数のカメラに対して、それぞれマッピングテーブルを持つ。マッピングテーブルは合成画像の生成処理を高速に行うために、ＲＯＭ、またはＲＡＭに格納されている。

状態情報取得部３３は、ＣＡＮ通信などの車内ネットワークを経由して、シフトレバー５１によるシフトポジションや車速センサ５２による車速、舵角など自車両の走行情報を取得するインタフェース回路である。また、自車両に取り付けられたソナーセンサ６０の検知結果など、車両周囲の環境情報を取得するためのインタフェースとしても利用する。

合成領域選択部３４は、俯瞰画像から実際に表示画像を合成するのに使用する領域を選択する処理である。この領域の選択処理はカメラ間の重複領域に対してどちらのカメラ画像をどこまで利用するか、車両情報や環境情報を状態情報取得部３３から入手し、予め設けられたルールに基づいて設定する。図６は、図４の俯瞰画像４０１〜４０６を合成して１つの表示画像を生成した図である。図６において、俯瞰画像４０１、４０５の重複領域６０１、俯瞰画像４０２、４０６の重複領域６０２であり、重複領域におけるカメラ境界の設定方法は後述する。

俯瞰画像合成部３５は、俯瞰画像生成部３１で変換した複数の俯瞰画像に対して、合成領域選択部３４で設定されたカメラ境界に基づいて必要な領域を抽出し、１つの表示画像を合成する。

以上のように構成された車両周囲監視装置について、以下にその動作を説明する。

ここで説明を簡単にするために、図７に示すように車両のサイドミラーとリアコーナに取り付けられた２つのカメラに着目する。この２つのカメラ２１ａ、２１ｅは、車両側方を撮像する向きに取り付けられており、地面を投影面として俯瞰画像を生成した場合、重複領域７０２が生じる。合成領域選択部３４は、この重複領域７０２の中で、どちらのカメラ画像をどこまで使うかを設定する。図７ではデフォルトのカメラ境界７０１を設定している。また、リアコーナのソナーセンサ６０は、検出範囲７０３に存在する立体物を検出する。図８は後退によって駐車スペースに自車両を駐車するシーンを表し、図９はその際のカメラ境界の推移を表す。図１０は、車両周囲監視装置の動作を示したフロー図である。また図１２（ｃ）、（ｄ）は、カメラ境界を移動した場合に改善される表示画像を示した図である。

図１０において、ステップＳ００１では、状態情報取得部３３で取得したシフトポジションの情報を確認する。シフトがリバース状態であれば、ステップＳ００２に進み、カメラ２１が車両周辺画像を撮影する。続いてステップＳ００３に進み、俯瞰画像生成部３１はカメラ画像を俯瞰画像へ変換する。更にステップＳ００４に進み、リアコーナに取り付けられたソナーセンサ６０が、物体を検出したかどうかを状態情報取得部３３で確認する。通常、後退によって駐車を開始するタイミングでの自車両の状態としては、図８(a)の状態である。図９において、(a)はソナーセンサ６０が検出範囲７０３において物体を検出していないので、ステップＳ００５に進み、カメラ境界の位置を確認する。合成領域選択部３４において、初期状態ではカメラ境界はデフォルト位置に設定されているので、そのままステップＳ０１２へ進み、俯瞰画像合成部３５にて表示画像が合成され、ステップＳ０１３で表示部４０に出力される。その後再びステップ００１に戻る。

続いて自車両の後退とともに、隣接領域の車両がソナーセンサ６０の検出範囲７０３に入る。これはソナーセンサ６０が隣接する駐車スペースにある車両を検出したタイミングであり、図８(b)の状態である。ソナーセンサ６０が物体検知をした場合、ステップＳ００４からステップＳ００６に進む。このタイミングは物体の初検出になるので、ステップＳ００７に進み、状態情報取得部３３は自車両の移動量を初期化する（物体の初期検出位置を移動量０とする）。それと同時に状態情報取得部３３は車速センサ５２から取得した車速情報を蓄積し、物体の初期検出位置からの自車両の移動量算出を開始する。ステップＳ００８では、合成領域選択部３４は、カメラ境界が移動可能な範囲の終端かどうかを判定する。図９（ｂ）の物体を検出したタイミングでは、カメラ境界はまだデフォルト位置にあるのでステップＳ００９に進み、車両の移動量に応じてカメラ境界の移動を開始する。カメラ境界は車両のサイドに取り付けられたカメラ２１ａの領域が拡大し、リアコーナに取り付けられたカメラ２１ｅの領域が縮小するように移動する。この結果、表示画像を合成するのに使用される俯瞰画像の領域が設定される。ステップＳ０１２では俯瞰画像合成部３５が表示画像を合成し、ステップＳ０１３で表示部４０は合成画像を表示する。その後再びステップ００１に戻る。

続いて隣接する駐車スペースにある車両をソナーセンサ６０で検出しながら後退しているタイミングは図８(c)の状態である。ソナーセンサ６０は物体の検出状態を継続しているので、ステップＳ００６からステップＳ０１０に進む。状態情報取得部３３は車速センサ５２から得た車速情報に基づいて、物体の初期検出位置からの自車両の移動量を更新する。ステップＳ００８において、合成領域選択部３４がカメラ境界の移動可能範囲の終端まで移動したと判定するまではステップＳ００９に進み、自車両の物体検出位置からの移動量に基づいてカメラ境界の位置を決定する。図９(c)は、ステップＳ００８において合成領域選択部３４がカメラ境界の移動可能範囲の終端まで移動したと判定するタイミングであり、この場合はこれ以上カメラ境界が移動することはないので、ステップＳ０１２へ進み、俯瞰画像合成部３５が表示画像を合成し、ステップＳ０１３で表示部４０は合成画像を表示する。その後再びステップ００１に戻る。
最後に自車両がほぼ駐車スペースにおさまり、隣接する駐車スペースにある車両をソナーセンサ６０が検出しなくなったタイミングは図８(d)の状態である。物体の検出がない場合、ステップＳ００４からステップＳ００５に進み、合成領域選択部３４がカメラ境界の位置を確認する。ここではカメラ境界が終端まで移動しているのでステップＳ０１１に進み、カメラ境界がデフォルトの位置に戻るように移動を開始する。この移動は状態情報取得部３３で算出した自車両の移動量に関係なく、合成領域選択部３４がタイマー（フレーム数）を設定し、段階を踏んでカメラ境界がデフォルト位置に戻るように移動させる。ここで決まったカメラ境界に基づいて俯瞰画像の利用領域を抽出し、ステップＳ０１２に進んで俯瞰画像合成部３５が表示画像の合成を行う。表示画像の合成処理を例えば30フレーム/秒で実現することにより、一般的な動画に対しても表示画像の合成を実現することができる。

以上のように、駐車シーンの各状況において合成領域選択部３４がカメラ境界を切り換えることにより、図１２（a）の車両の下の地面が表示される問題や、図１２（b）の立体物が投影方向に伸びる問題を解決し、それぞれ図１２（c）や図１２（d）のように、実物に近い、立体歪が少ない画像を表示することができると共に、自車両の状況に応じて車両周囲の画像を適切に切り換え、駐車シーンでの運転に適した車両周囲監視装置を提供することができる。

なお、上記の実施の形態では、ソナーセンサ６０により物体を検出したが、例えばカメラ画像を利用した画像認識により物体検出を行ってもかまわない。

また、上記の実施の形態では、隣接する領域の物体検出をトリガーにしてカメラ境界を移動する例を示したが、例えば地面上に描画された駐車枠などを画像認識によって検出し、これをトリガーにカメラ境界の移動を制御してもかまわない。

以上のように、本発明にかかる車両周囲監視装置は、状態情報取得手段の情報に基づいて、俯瞰画像生成手段により変換された複数の俯瞰画像の中から表示画像合成に利用する俯瞰画像の部分領域を選択する合成領域選択手段を設けることにより、駐車シーンでの運転に適した正確な表示画像を表示する車両周辺監視装置として有用である。

２１ カメラ
３１ 俯瞰画像生成部
３３ 状態情報取得部
３４ 合成領域選択部
３５ 俯瞰画像合成部

Claims (1)

1. 車両周囲の領域を撮影する複数のカメラと、
   前記複数のカメラにより撮影された複数の画像を俯瞰画像に変換する俯瞰画像生成手段と、
   自車両の走行状態や周囲の状況を把握する状態情報取得手段と、
   前記状態情報取得手段の情報に基づいて、前記俯瞰画像生成手段により変換された複数の俯瞰画像の中から表示画像合成に利用する俯瞰画像の部分領域を選択する合成領域選択手段と、
   前記合成領域選択部が選択した俯瞰画像の部分領域を用いて、俯瞰画像を合成する俯瞰画像合成手段とを備えた車両周辺監視装置。