JP2007089081A - 車両用画像表示装置 - Google Patents

Abstract

【課題】 車両周囲に存在する障害物等をより正確に見易く表示することができ、事前に危険を報知することができる「車両用画像表示装置」を提供する。
【解決手段】 車両用画像表示装置１００は、車両の周囲を撮像する複数の撮像カメラ１０２〜１０８と、撮像カメラからの画像信号を車両上方の視点から見下ろしたときの画像信号に変換して画像信号を合成する画像処理部１１０と、画像処理部１１０により処理された画像信号を表示する表示手段１１８と、車両の走行状態を示す車両情報を取得する車両情報取得部１１２とを有する。画像処理部１１０はさらに、車両情報取得部１１２からの車両情報に基づき車両の運転状態を判定する判定手段（１１６）と、判定手段の判定結果に基づき合成される画像信号の境界を変更する変更手段（１１６）を含む。
【選択図】 図１

Description

本発明は、車両に搭載された複数の撮像カメラにより撮像された画像を表示する画像表示装置に関し、特に、車両の真上方向から見下ろすように車両の全周囲を表示する技術に関する。

自動車への撮像カメラの搭載率の向上に伴い、画像合成を用いたアプリケーションが急拡大している。このようなアプリケーションの多くは、運転者の運転を支援し、車両の走行時の安全性を向上させるものである。例えば、車両周辺の障害物の映像を提供する車載画像システムは、遠方の障害物を撮影するカメラシステム(コーナーモニターシステム、リアビュウカメラシステムなど)と、車両近傍の死角障害物を撮影するシステム（サイドビュウカメラシステム）とをそれぞれ備えたものがある。また、画角の狭い撮像カメラを用いたシステムでは、駆動装置により撮像カメラの向きを可変できるようにし、車両の周囲の障害物を映し出すようにしている。さらに、超広角の撮像カメラを用いたシステムでは、撮像された画像データを合成し、自車周囲の３６０度を映し出すことを可能に、その中から必要とする水平方向の範囲の画像データを切り出し、またはトリミングし、その画像を表示している。

特許文献１は、車両周辺画像処理装置に関し、バックによる駐車時に運転者に分かり易い画面表示を提供する。これによれば、シフト位置がバックであるか否かを判定し、バックと判定されると、カメラで撮影した画像の座標変換（鳥瞰図変換）により鳥瞰図画像を得、さらに、ステアリング角が一定値より大きい場合には、モニタに鳥瞰図画像を表示するものである。

特開２００４−２５４２１９号

車の前後左右に複数の撮像カメラ（例えば魚眼カメラ）を取り付け、撮影した画像信号を視点変換（座標変換）し、あたかも自車を真上から見たように、自車周囲の画像をモニタに映し出す表示が提案されている。トップビュー表示は、例えば図１０に示すように、車両の前方のカメラで撮像された画像信号１０、左右のカメラで撮像された画像信号１２、１４、および車両の後方で撮像された画像信号１６を基準点Ｏを基準に視点変換し、車両の真上から放射状に見下ろすように合成された画像である。

トップビュー表示により上空から見下ろした俯瞰画像を生成する際、撮像カメラ間の画像の繋ぎ目部分（境界部分）の重ね合わせ方により立体物の表示に違和感を生じたり、周辺の立体物による死角が発生するという問題がある。例えば図１１（ａ）に示すように、車両の側部に沿ってガードレール２０などが存在するとき、画像信号２２と画像信号２４の境界部分２６や、画像信号２２と画像信号２８の境界部分３０において、ガードレール２０の大きさにズレが生じてしまい、表示に違和感を与えてしまう。これは、画像信号２４や画像信号２８を生成する撮像カメラと画像信号２２を生成する撮像カメラの取り付け位置や撮像方向が異なるためである。また、図１１（ｂ）に示すように、車両の左側部が画像信号４０で表され、車両の前方が画像信号４２で表されているとき、車両左前方に障害物Ｗ１があると、障害物Ｗ１が前方に引きのばされたように表示されてしまい、領域４４部分が死角になる。さらに、死角領域４４に障害物が存在し、その方向へ車両が向かうならば、障害物に衝突してしまうという危険性がある。

本発明は、上記従来の課題を解決するために成されたものであり、車両周囲に存在する障害物等の物体をより正確に見易く表示することができ、事前に危険を報知することができる車両用画像表示装置および表示方法を提供することを目的とする。

本発明に係る車両用画像表示装置は、車両の周囲を撮像する複数の撮像カメラを含み、複数の撮像カメラにより撮像された画像信号を出力する撮像手段と、撮像手段からの画像信号を車両上方の視点から見下ろしたときの画像信号に変換して画像信号を合成する画像処理手段と、画像処理手段により処理された画像信号を表示する表示手段と、車両の走行状態を示す車両情報を取得する車両情報取得手段とを有し、前記画像処理手段はさらに、車両情報取得手段からの車両情報に基づき車両の運転状態を判定する判定手段と、判定手段の判定結果に基づき合成される画像信号の境界を変更する変更手段を含むものである。

好ましくは画像処理手段は、車両情報取得手段からの車両情報に基づき車両の運転状態を判定する判定手段と、判定手段の判定結果に基づき一方の撮像カメラにより撮像された画像信号を他方の撮像カメラにより撮像された画像信号より優先されるように合成される画像の境界を変更する変更手段を含む。さらに好ましくは画像処理手段は、合成される画像信号の境界を決定するための複数のパターン情報を記憶する記憶手段を含み、前記変更手段は、記憶手段から車両の運転状態に応じたパターン情報を読み出し、当該パターン情報に従い境界を変更する。

車両情報は、例えば、ハンドル舵角、ギアポジション、車速パルスに加え、ウインカーやその他車両の走行特性に関する情報を含むものであっても良い。判定手段、これらの情報に基づき車両の前進、後進、または右左折を判定する。

本発明に係る車両用画像表示方法は、車両の周囲を撮像する複数のカメラにより撮像された画像信号を車両上方の視点から見たときの画像信号に変換し、変換された画像信号を合成して表示するものであり、車両の走行状態を示す車両情報を取得するステップと、取得された車両情報に基づき運転状態を判定するステップと、判定された運転状態に応じて合成される画像の境界を選択するステップとを有する。

本発明に係る車両用画像表示装置によれば、車両情報に基づき運転状態を判定し、その運転状態に応じて画像される合成位置または境界を変更するようにしたので、障害物等の立体物を違和感のないようにより正確に表示し、かつ、表示領域において障害物等による死角を低減もしくはなくすことができる。これにより、車両の周辺状況を迅速に、かつ見易い表示をユーザーに提供することができ、駐車支援を含む安全運転の支援をより確実に図ることができる。

以下、本発明の最良の実施の形態について図面を参照して詳細に説明する。

図１は、本発明の実施例に係る車両用画像表示装置の構成を示すブロック図である。車両用画像表示装置１００は、撮像カメラ１０２、１０４、１０６、１０８と、撮像カメラ１０２〜１０８により撮像された画像信号を受け取り、トップビュー表示のための視点変換等の処理を行う画像処理部１１０と、車速パルス、ハンドル舵角、ギアポジション等の車両情報を取得する車両情報取得部１１２と、画像の合成位置または境界を決定するための複数の合成パターンを記憶する合成パターンメモリ１１４と、画像処理部１１０からの画像信号と車両情報取得部１１２からの車両情報を受け取り、画像合成方法を制御する出力制御部１１６と、出力制御部１１６により合成された画像信号を表示するディスプレイ１１８とを含んでいる。

撮像カメラ１０２〜１０８は、ＣＣＤやＣＭＯＳイメージセンサを用いて構成される。撮像カメラ１０２は、例えば図２に示すように、車両前方のバンパーなどに取り付けられ、車両の前方を視野角θ１で撮像する。撮像カメラ１０４、１０６は、車両のドアミラーから車両の側部を視野角θ２、θ３で撮像する。撮像カメラ１０８は、車両の後部バンパーなどに取り付けられ、車両の後方を視野角θ４で撮像する。撮像カメラの視野角θ１、θ２、θ３、θ４は、隣接する撮像カメラの視野角と端部がオーバーラップし、撮像カメラ１０２〜１０８により車両の全周囲を撮像できるようになっている。

画像処理部１１０は、撮像カメラ１０２〜１０８の画像信号を入力し、入力した画像信号をディジタル信号に変換するとともに、トップビュー表示をするために、画像信号を視点変換（座標変換）する。視点変換の処理は、ソフトウエアにより実行するものでも、ハードウエア回路により実行するものであってもよい。

車両情報取得部１１２は、例えば、車内用通信バス等に接続され、バス通信を介して、車速パルス信号、ハンドル舵角信号、ギアポジション信号を取得する。これらの情報は、車両の運転状態を判定するために用いられる。

合成パターンメモリ１１４は、画像をトリミングする位置または画像の境界を決定するための合成パターンを記憶する。図３は、本実施例の合成パターンの例を示す図である。図３(ａ)は、視点変換表示の基本合成パターンである。基本合成パターンは、車両の前方となる領域を、撮像カメラ１０２により撮像された画像信号Ａで表示し、車両の側方となる領域を、撮像カメラ１０４、１０６により撮像された画像信号Ｂ、Ｃでそれぞれ表示し、車両の後方となる領域を、撮像カメラ１０８により撮像された画像信号Ｄで表示する。すなわち、画像信号Ａと画像信号Ｂは境界１２０で合成され、画像信号Ａと画像信号Ｃは境界１２２で合成され、画像信号Ｂと画像信号Ｄは境界１２４で合成され、画像信号Ｃと画像信号Ｄは境界１２６で合成される。この基本合成パターンは、車両が通常走行時、すなわち一定速度で直進をしているときに選択される。

図３（ｂ）ないし（ｇ）は、図３（ａ）の基本合成パターンの境界を変更した合成パターンを示している。図３（ｂ）は、画像信号Ａと画像信号Ｂが境界１２０ａで合成されるパターンである。図３(ｃ)は、画像信号Ａと画像信号Ｃが境界１２２ａで合成されるパターンである。図３（ｄ）は、画像信号Ａが、境界１２０ａ、１２２ａで画像信号Ｂ、Ｃと合成されるパターンである。図３（ｅ）は、画像信号Ｂと画像信号Ｄが境界１２４ａで合成されるパターンであり、図３（ｆ）は、画像信号Ｃと画像信号Ｄが境界１２６ａで合成されるパターンである。図３（ｇ）は、画像信号Ｄが境界１２４ａ、１２６ａで画像信号Ｃ、Ｄと合成されるパターンである。

出力制御部１１６は、例えばマイクロコンピュータを用いて構成され、画像の合成方法を制御するためのプログラムをＲＯＭやＲＡＭ等を含んでいる。出力制御部１１６は、車両情報に基づき運転状態を判定し、合成パターンメモリ１１４から運転状態に該当する合成パターンを読み出し、当該合成パターンに従い画像の切り出しもしくは合成を行う。

撮像カメラ１０２〜１０８によって撮像された画像信号は、それぞれ隣接する撮像カメラの画像信号と重複した画像信号を含んでいる。このため、トップビュー表示において、重複する画像信号をトリミングする必要がある。その場合、合成される画像の境界領域に障害物を表示すると、障害物の立体的な表示が不自然になったり、不連続となったり、あるいは障害物により死角領域が生じる。出力制御部１１６は、合成パターンメモリ１１４から適切な合成パターンを選択することにより、合成される画像信号の境界を変更し、できるだけ障害物を違和感なく表示させ、かつ、障害物による死角領域が発生しないようにする。

次に、車両用画像表示装置の動作について、図４のフローチャートを参照して説明する。出力制御部１１６は、初期状態として、基本合成パターン（図３(ａ)）を選択するように予め設定されている。つまり、視点変換表示の開始時や装置が初期化されたときには、基本合成パターンが選択される。

車両の動作開始に伴い、撮像カメラ１０２〜１０８は車両周囲を撮像し、その画像信号が画像処理部１１０に出力される。画像処理部１１０は、画像信号を視点変換し、変換された画像信号を出力制御部１１６へ供給する。出力制御部１１６は、初期状態のときには、基本合成パターンに従い画像信号をトリミングし、画像信号を合成する。

出力制御部１１６は、車両情報取得部１１２から車両情報を取得し（ステップＳ１０１）、車両情報に基づき車両の運転状態を判定する（ステップＳ１０２）。運転状態の判定は、取得された車両情報が変化したとき、あるいは一定の時間毎に行うようにしてもよい。

例えば、ギアが３速もしくはオーバードライブであり、車速パスルにより算出された車速が一定以上であり、ハンドル舵角が一定以下であれば、出力制御部１１６は、車両が直進していると判定する。また、車速が一定以下であってハンドル舵角が一定以上であれば、クランク、Ｓ字、交差点等を車両が右左折をすると判定する。さらに、ギアがバック（後進）であって、ハンドル舵角が一定以上であれば、車両が後方右左折をすると判定する。

出力制御部１１６は、運転状態を判定すると、その判定結果に基づき、基本合成パターンを変更すべきか否かを判定する（ステップＳ１０３）。基本合成パターンを変更すべきと判定すると、出力制御部１１６は、合成パターンメモリ１１４から運転状態に該当する合成パターンを読み出し（ステップＳ１０４）、その合成パターンに従い画像信号を合成する（ステップＳ１０５）。合成された画像信号は、ディスプレイ１１８にトップビュー表示される（ステップＳ１０６）。

次に、具体的な運転状態と合成パターンの関係を説明する。基本合成パターンは、図３（ａ）に示すように、車両が一定速度で直進するときに適したパターンである。出力制御部１１６は、車両の速度、ハンドル操舵、およびギアポジションから車両が直進しているか否かを判定し、直進であると判定したときは、基本合成パターンを選択する。直進は、最も頻度の高い走行状態である。直進時に、車両の前方を遮るような障害物は少なく、主に車両の側部に縁石、ガードレール、隣の車などが存在する。例えば図５に示すように、車両と並行して側部にガードレール２０等が存在するとき、基本合成パターンであれば、車両の側部の全域が撮像カメラ１０４により撮像された画像信号Ｂで表示されるため、ガードレール２０が画像の境界に跨ることが解消もしくは減少され、境界部分においてガードレールの形状が不連続となるような違和感を抑制することができる。

出力制御部１１６は、車両が直進以外の右左折をすると判定したとき、図３に示す合成パターンから該当する合成パターンを選択する。車速パルス、ハンドル操舵およびギアポジションから、車両がハンドルを切りながら後退すると判定したときには、出力制御部１１６は、合成パターンを図３（ｅ）、（ｆ）または（ｇ）に切替える。

例えば、図６（ａ）に示すように、車両が後進しながら左折するとき、車両の斜め後方に障害物Ｗ１があると、車両の側部を撮像した画像信号Ｂでは、障害物Ｗ１による死角領域２００を含んでしまう。この場合、図３(ｅ)に示す合成パターンに切替え、車両後方の左側部分を撮像カメラ１０８による画像信号Ｄに担当させることで、障害物Ｗ１の死角を解消することができる。同様に、車両が後方に右折する場合には、図３（ｆ）の合成パターンに切替える。また、駐車場に車両を入れるとき、後方の右左折後に車両を後方に直進させるが、この場合には、図３(ｅ)または（ｆ）から、図３（ｇ）の合成パターンに切り替えるようにしてもよい。

さらに出力制御部１１６は、車速パルス、ハンドル舵角およびギアポジションから、車両が前進で右左折すると判定したとき、合成パターンを図３（ｂ）、（ｃ）、または（ｄ）に切り替える。

例えば図７（ａ）に示すように、車両が前進しながら左折するとき、車両の斜め前方に障害物Ｗ２があると、その領域を撮像した撮像カメラ１０４の画像信号Ｂは、障害物Ｗ２による死角領域２０２を含んでしまう。そこで、出力制御部１１６は、図３（ｂ）に示す合成パターンに切替え、車両前方の左側部分を撮像カメラ１０２による画像信号Ａに担当させることで、障害物Ｗ２による死角を解消することができる。同様に、車両が前進で右折する場合には、図３(ｃ)の合成パターンに切替える。また、車両の低速で前方に直進するような場合には、図３（ｃ）に示すような合成パターンに切替えるようにしてもよい。

本実施例の車両用画像表示装置によれば、車両の運転状態に応じて画像の合成位置または境界を変更するようにしたので、トップビュー表示において立体的な障害物を違和感なく、見やすく表示することができ、さらに障害物による死角を低減もしくは解消することができる。

次に、本発明の第２の実施例について説明する。第２の実施例は、車両用画像表示装置をナビゲーションに適用したものである。図８に示すように、ナビゲーションシステム２００は、車両用画像表示装置に加えて、ナビゲーションに要する機能を実行するナビゲーション機能部２１０と、ユーザからの入力を受け取る入力部２２０とを備えている。ナビゲーション機能部２１０は、ＧＰＳ装置や自立航法用センサにより自車位置を算出し、自車位置から目的地までの最適な経路を探索し、探索した経路をディスプレイ１１８を利用して案内する。ディスプレイ１１８には、自車位置周辺の道路地図が表示され、かつ、そこに自車位置を示すマークが合成して表示される。

ユーザは、入力部２２０を介してディスプレイ１１８への表示態様を指示することができる。例えば、ディスプレイ１１８に、ナビゲーションによる案内を表示させたり、これを切替えてトップビュー表示を行わせることができる。あるいは、ディスプレイ１１８に、２画面表示として、ナビゲーション案内表示とともにトップビュー表示を表示させることができる。

さらにナビゲーションシステムは、ユーザによる入力以外に、車両が前進または後進時に右左折をするような場合に、自動的に、ディスプレイにトップビュー表示を切替えるようにしてもよい。さらに、目的地に駐車場が選択された場合には、車両のギアがバックになったとき、撮像カメラによる画像を自動的にディスプレイに表示するようにしてもよい。

上記実施例では、４つの撮像カメラ１０２〜１０８を用いて視点変換表示を行う例を示したが、撮像カメラの数はこれに限定されるものではない。例えば図９に示すように、車両の周囲に８つの撮像カメラを取り付け、各撮像カメラにより車両の周辺領域３００、３０２、３０４、３０６、３０８、３１０、３１２、３１４を撮像し、これらの画像信号を視点変換し、合成するようにしてもよい。

上記実施例では、合成パターンメモリに画像の切り出しを決定するための複数の合成パターンを格納し、これを用いて画像合成を行うようにしたが、必ずしも合成パターンを記憶しておく必要はない。例えば、出力制御部１１６は、車両の運転状態に応じて合成される画像の境界を変更するようにし、境界の位置は、その都度、計算等により算出するようにしてもよい。

上記実施例では、車両の全周囲の合成画像を生成する例を示したが、これに限らず、車両の前方、後方または側部など車両の周辺の一部の画像を生成するシステムであってもよい。また、障害物が検知され、これを視点変換表示するに際し、音声等により警告をユーザーに与えるようにしてもよい。

以上、本発明の好ましい実施の形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

本発明に係る車両用画像表示装置は、車両等の安全運転支援システムとして利用することができる。利用態様として、ナビゲーション装置や他のコンピュータ等の電子装置と機能的に結合することが可能である。

図１は、本発明の実施例に係る車両用画像表示装置の構成を示すブロック図である。 車両に取り付けられた撮像カメラの配置を示す平面図である。 視点変換表示における画像の合成パターンを説明する図である。 本実施例の車両用画像表示装置の動作を説明するフローチャートである。 車両が直進するときの合成パターンを説明する図である。 車両が後方に左折するときに選択される合成パターンを説明する図である。 車両が前方に左折するときに選択される合成パターンを説明する図である。 本発明の第２の実施例に係るナビゲーションシステムの構成を示すブロック図である。 撮像カメラの他の取り付け例を説明する図である。 視点変換表示を説明する図である。 従来の視点変換表示の課題を説明する図である。

符号の説明

１００：車両用画像表示装置
１０２、１０４、１０６、１０８：撮像カメラ
１１０：画像処理部
１１２：車両情報取得部
１１４：合成パターンメモリ
１１６：出力制御部
１１８：ディスプレイ
１２０、１２２、１２４、１２６：境界
１２０ａ、１２２ａ、１２４ａ、１２６ａ：境界
１３０、１３２：死角領域

Claims (7)

1. 車両の周囲を撮像する複数の撮像カメラを含み、複数の撮像カメラにより撮像された画像信号を出力する撮像手段と、
   撮像手段からの画像信号を車両上方の視点から見下ろしたときの画像信号に変換して画像信号を合成する画像処理手段と、
   画像処理手段により処理された画像信号を表示する表示手段と、
   車両の走行状態を示す車両情報を取得する車両情報取得手段とを有し、
   前記画像処理手段はさらに、車両情報取得手段からの車両情報に基づき車両の運転状態を判定する判定手段と、判定手段の判定結果に基づき合成される画像信号の境界を変更する変更手段を含む、車両用画像表示装置。
2. 車両の周囲を撮像する複数の撮像カメラを含み、複数の撮像カメラにより撮像された画像信号を出力する撮像手段と、
   撮像手段からの画像信号を車両上方の視点から見下ろしたときの画像信号に変換して画像信号を合成する画像処理手段と、
   画像処理手段により処理された画像信号を表示する表示手段と、
   車両の走行状態を示す車両情報を取得する車両情報取得手段とを有し、
   前記画像処理手段はさらに、車両情報取得手段からの車両情報に基づき車両の運転状態を判定する判定手段と、判定手段の判定結果に基づき一方の撮像カメラにより撮像された画像信号を他方の撮像カメラにより撮像された画像信号より優先されるように合成される画像の境界を変更する変更手段を含む、
   車両用画像表示装置。
3. 画像処理手段はさらに、合成される画像信号の境界を決定するための複数のパターン情報を記憶する記憶手段を含み、前記変更手段は、記憶手段から車両の運転状態に応じたパターン情報を読み出し、当該パターン情報に従い境界を変更する、請求項１または２に記載の車両用画像表示装置。
4. 車両情報は、少なくともハンドル舵角およびギアポジション情報を含み、判定手段は、これらの情報に基づき車両の前進、後進、または右左折を判定する、請求項１ないし３いずれか１つに記載の車両用画像表示装置。
5. 請求項１ないし４いずれか１つに記載の車両用画像表示装置と、目的地までの経路を探索し探索経路を前記表示手段に表示可能なナビゲーション手段とを含む、ナビゲーションシステム。
6. 車両の周囲を撮像する複数のカメラにより撮像された画像信号を車両上方の視点から見たときの画像信号に変換し、変換された画像信号を合成して表示する車両用画像表示方法であって、
   車両の走行状態を示す車両情報を取得するステップと、
   取得された車両情報に基づき運転状態を判定するステップと、
   判定された運転状態に応じて合成される画像の境界を変更するステップと、
   を有する車両用画像表示方法。
7. 車両用画像表示方法はさらに、画像の境界を決定するための複数のパターンをメモリに記憶するステップを含み、前記境界を変更するステップは、運転状態に対応するパターンをメモリから読み出し、当該パターンに従い境界を変更する、請求項６に記載の車両用画像表示方法。

Images