JP2010093567A - 画像処理装置 - Google Patents

Abstract

【課題】車両外部に取り付けられたカメラの画像を車両外部に設定した仮想視点からの画像に変換するにあたり、自車両によって生じる死角部分の画像を透過合成によって把握し易くする。
【解決手段】車両周囲画像表示システムは、少なくとも前記死角領域を含む車両周囲の領域の画像を撮影する撮影部１と、撮影部１により撮影された画像を車両周辺の予め設定された仮想視点からの俯瞰画像に変換する俯瞰画像変換部２２と、予め設定された仮想視点からの画像に対応した車両イラストを指定したブレンド比率で俯瞰画像にブレンド合成する画像合成部２４と、画像合成部２４により車両イラストがブレンド合成された俯瞰画像を表示する表示装置３とを備える。
【選択図】図１

Description

本発明は、車両の周囲を撮影する複数のカメラを用いた車両周囲画像表示システムに関するものであり、特に、それぞれのカメラ画像を合成して、ユーザにとって車両の周囲の状況が分かりやすい画像を提示する技術に属する。

乗用車などの車両を運転する際、運転者にとって、車両の後方および側方の障害物の有無は確認しにくい。そこで、近年、車両の後方および側方をカメラで撮像し、撮像画像をモニタに表示することで、運転者の周囲監視や運転を補助する車両周囲画像表示システムの普及が進んでいる。このような車両周囲画像表示システムを用いることにより、例えば、駐車場に前向きに停車している車両を、後退させつつ駐車場から出す際に、後方の状況をモニタ上で容易に確認することができ、運転者はより安全に運転を行うことができる。

このような車両周囲画像表示システムを発展させたものとして、例えば特許文献１のように、それぞれ異なる位置にされ、異なる方向を向いた複数のカメラを用いて車両周囲を撮像し、複数の撮像画像を合成して、車両の上方の仮想視点から車両の周囲を見下ろした画像を生成することで、自車両の状態を客観的に把握しやすくする方法が知られている。

また、例えば特許文献２のように、運転者の視点位置に視点変換した画像を生成し、車体の輪郭線（スケルトン）を画像上に合成することで、車両と外部の位置関係がわかりやすくする方法が知られている。
特許第３３８１３５１号公報 特開２００４−３５０３０３号公報

しかしながら、特許文献１のように車両の上方の仮想視点から車両の周囲を見下ろした画像は、画像としてカバーできる範囲が狭いため、遠方に存在する障害物を確認する用途には向かないという問題がある。

また、特許文献２においては車体が透けるイメージで死角を減らすことは可能であるが、得られる画像はあくまでもドライバー視線のものであり、車両全体を客観的に捉えることはできないという問題がある。

本発明は、かかる点に鑑みてなされたもので、車両から遠方の領域と車両近接領域との双方を含み且つ車両を客観的に捉えた視界を、死角を形成することなく確保することができる車両周囲画像表示システムを提供することを目的とする。

本発明の画像処理装置は、車両周囲の領域の画像を撮影する撮影部、及び該撮像手段による撮影画像に基づく俯瞰画像を表示する表示部と接続された画像処理装置であって、撮影部により撮影された画像を車両周辺の予め設定された仮想視点からの俯瞰画像に変換する俯瞰画像生成部と、俯瞰画像に合成すべき車両イラストのブレンド比率を、所定の初期値から、所定の変更幅に従って順次決定するブレンド比率決定部と、ブレンド比率決定部によりブレンド比率が決定される度に、予め設定された仮想視点からの画像に対応した車両イラストを、設定されたブレンド比率で俯瞰画像にブレンド合成して、表示部に順次的に送る画像合成部とを備える。表示部は、画像合成部から順次的に送られてくる合成俯瞰画像を更新して表示する。

この構成により、例えば車両の上方から斜めに見下ろした視線に変換することで遠方の視界を確保し、自車両と周辺状況との位置関係を示すための車両イラストが死角を作らないように透過合成することで車両近接領域においても視界を確保することができる。

以下、本発明の実施の形態について、図面を参照して説明する。

図１は本発明の一実施形態に係る車両周囲画像表示システムの全体構成を示すブロック図である。図１において、車両周囲画像表示システムは、撮像部１と、撮像部１に接続可能な画像処理装置２、画像処理装置２に接続された表示装置３およびモード入力部４とを備えている。

撮像部１はＣＣＤ、ＣＭＯＳデバイス等の固体撮像素子を有するカラーまたはモノクロのデジタルカメラ１１０によって構成される。本発明では例示的に、Ｎ個のカメラ１１０−１〜１１０−Ｎが車両に設置される。ここで、Ｎは２以上の自然数である。各カメラ１１０としては、例えば魚眼レンズなどの高視野角のレンズを使って広範囲が撮像できるものが利用される。

画像処理装置２は、複数のカメラ１１０からの撮影画像を入力し、これらの撮影画像を加工して、表示装置３へ出力する。ここでの加工は、視点変換画像の作成やイラスト画像を俯瞰画像と合成する演算である。

表示装置３は、液晶ディスプレイ、プラズマディスプレイ等の表示デバイスを用いる。ここでいうディスプレイは、車両搭載型のＧＰＳ端末ディスプレイ（いわゆるカーナビゲーションシステムのディスプレイ）と共用したものであってもよい。

モード入力部４は、ユーザが予め登録されているモードの切り替えのために使用するスイッチ、ボタン、または入力デバイスである。本発明のモード入力部４は、車両の外に設定した仮想視点から俯瞰した画像に変換した際、自車両の存在する位置に表示する車両イラストを透過させるかどうか、すなわちイラスト表示モード／透過モードの２つの状態を切り替えるためのボタンである。

イラスト格納部２１は、予め設定されている仮想視点から俯瞰した自車両のイラストが格納されている。ここで車両イラストは例えばビットマップ形式で保存された画像ファイルである。

俯瞰画像変換部２２は、各カメラ１１０から出力されたカメラ画像を、予め設定されている仮想視点から俯瞰した画像に変換する。この仮想視点からの俯瞰画像に変換する処理は、予め入力と出力の関係を対応づけたマッピングテーブルを参照する方法を用いる。本発明の俯瞰画像変換部２２は、マッピングテーブルを参照する方法で、例えば車両後方の上空から斜め前方を見下ろした俯瞰画像を生成する。複数のカメラ入力が存在する場合は、俯瞰画像の生成のため、各カメラ入力画像に対して別々に俯瞰画像変換処理を行う。

ブレンド比率制御部２３は、モード入力部４で切り替えがあった場合、俯瞰画像と車両イラストとを合成するときに必要なブレンド比率を決定する。俯瞰画像と車両イラストに割り当てられるブレンド比率は合計１００％となるように設定される。

画像合成部２４は、ブレンド比率制御部２３で決定したブレンド比率に応じて、俯瞰画像と車両イラストとを合成し、１フレーム分の画像を生成する。

次に、このように構成された車両周囲画像表示システムの全体の動作について説明する。図２は、車両周囲画像表示システムの動作の一例を示すフロー図である。

ここでは、イラスト表示モードから透過モードへの切り替えを行うに伴って車両イラストのブレンド比率をフレーム毎に徐々に低減させる場合を例に挙げて説明する。

ステップＳ１０１では、俯瞰画像変換部２２にて１つの仮想視点を設定し、その仮想視点で俯瞰画像を合成するためのマッピングテーブルを生成する。仮想視点からの俯瞰画像を生成する方法としては、例えば特許第３３００３３４号公報に開示された方法を使用する。

カメラ入力が複数ある場合は、各カメラ１１０の画像が１つの仮想視点から見た画像に変換されるように、各カメラ入力に対して画像変換用のマッピングテーブルを作成する。

ステップＳ１０２では、ブレンド比率制御部２３は、ブレンド比率の初期化を行う。本例はイラスト表示モードから透過モードへの切り替えであるため、ブレンド比率の初期値は、車両イラストが１００％であり、俯瞰画像は０％である。

ステップＳ１０３では、俯瞰画像変換部２２は、撮像部１における複数のカメラ１１０からそれぞれ画像を獲得する。画像は各カメラ１１０について同じタイミングに取得される。

図３は、Ｎ個のカメラ１１０の例示として、４つのカメラ１１０−１、１１０−２、１１０−３、１１０−４を車両２００に設置し、車両の全周囲の視界１１０ａ−１、１１０ａ−２、１１０ａ−３、１１０ａ−４がカメラ画像によって確認できるようにした例である。

４つのカメラ１１０−１、１１０−２、１１０−３、１１０−４がそれぞれ実際に撮像した画像は図４に示すような画像となる。

ステップＳ１０４では、俯瞰画像変換部２２は、各カメラ１１０−１〜１１０−４から得た画像を仮想視点からの俯瞰画像に変換する。複数のカメラ１１０−１〜１１０−４がある場合は、カメラ１１０ごとに変換して得た俯瞰画像を合成して１つの画像が生成される。

図５は２つのカメラ１１０−２、１１０−３の画像を仮想視点からの俯瞰画像に変換し、この２つの俯瞰画像を貼り合わせて１つの俯瞰画像を作成した例である。

ステップＳ１０５では、画像合成部２４は、現在のブレンド比率に応じて俯瞰画像と車両イラストとを合成する。車両イラストはイラスト格納部２１に保存されている。例えば車両イラストのブレンド比率が１００％の場合、車両イラストの存在する領域の画素は、車両イラストの画素を１．００倍し、俯瞰画像の画素を０．００倍して加算合成することで生成する。また、例えば車両イラストのブレンド比率が５０％の場合、車両イラストの存在する領域の画素は、車両イラストの画素を０．５０倍し、俯瞰画像の画素を０．５０倍して加算合成することで生成される。なお、車両イラストの存在しない領域に関してはブレンド比率に関係なく俯瞰画像の画素をそのまま使用する。

図６に仮想視点から俯瞰した車両イラストの例（図６（ａ））と、車両イラストのブレンド比率を１００％で俯瞰画像と合成した例（図６（ｂ））を示す。

ステップＳ１０６では、表示装置３は、車両イラストと俯瞰画像とを合成して得た画像を表示する。

ステップＳ１０７では、ブレンド比率制御部２３は、車両イラストのブレンド比率が０％になったか否かを判断する。車両イラストのブレンド比率が０％の場合は、透過モードへの切り替えが完了しているため、画像処理装置２は動作を終了する。車両イラストのブレンド比率が０％でない場合は、透過モードへの切り替えが未だ完了していないため、ブレンド比率制御部２３は、ステップＳ１０８に進み、ブレンド比率の変更を行う。

ステップＳ１０８では、ブレンド比率制御部２３は、予め設定された変更幅（−５０％）に従ってブレンド比率の変更を行う。本例はイラスト表示モードから透過モードへの切り替えであるため、ブレンド比率制御部２３は、車両イラストのブレンド比率を低減させる処理を行う。つまり、例えば、現在の車両イラストのブレンド比率が１００％の場合は、変更後の車両イラストのブレンド比率は５０％となる。このとき、車両イラストと俯瞰画像とに割り当てられるブレンド比率の合計は１００％に維持されるため、俯瞰画像のブレンド比率は０％から５０％に変更される。

ちなみに、イラスト表示モードから透過モードへの切り替えを−５０％の変更幅で行う場合には、３フレームで切り替えが完了することとなる。したがって、仮想視点が車両の右前方上空から車両の左後方を見下ろすものである場合は、図７に示すように３つの異なる合成画像が矢印で表された順番で表示される。また、仮想視点が車両の中央前方上空から車両の中央後方を見下ろすものである場合は、図８に示すように３つの異なる合成画像が矢印で表された順番で表示される。また、仮想視点が車両左側から車両右側を見るものである場合は、図９に示すように３つの異なる画像が矢印で表された順番で表示される。なお、透過モードからイラスト表示モードへの切り替えの場合、図７、図８および図９において画像表示順を表す矢印の向きは逆となる。

ステップＳ１０８でのブレンド比率変更が行われた後は、処理はステップＳ１０３に戻る。

以上のようにして、イラスト表示モードから透過モードへの切り替えが行われる。

イラスト表示モードと透過モードの切り替え時は、ブレンド比率が少しずつ変わるので、車両イラストのフェードイン、フェードアウトの効果が得られる。

本発明の車両周囲画像表示装置では、上述の一連の動作を例えばＮＴＳＣ規格の２９．９７ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）で処理することにより、一般的な動画像を取り扱うことが可能となる。

以上、本発明の実施形態について説明した。

なお、以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されない。つまり、上記装置の構成および動作等についての説明は例であり、本発明の範囲においてこれらの例に対する様々な変更および追加が可能であることは明らかである。

例えば、図２を用いて説明した例では、１つの仮想視点を設定しているが、複数の仮想視点を設定し当該複数の仮想視点から俯瞰した画像を用意しても良い。この場合、スイッチ等で仮想視点を切り替えられるようにしても良い。

また、スイッチで切り替えてイラスト表示モードと透過モードを切り替える例を示したが、車両の走行状況などをトリガーにして自動的にイラスト表示モードと透過モードを切り替えるようにしても良い。

また、イラスト表示モードと透過モードの切り替え時にブレンド合成を用いる例を示したが、例えばモードはイラスト表示モードと透過モードの中間のモードが複数あっても良い。

また、ブレンド比率の変更幅は−５０％の例を示したが、フェードイン、フェードアウトの効果にあわせて、例えば−５％などの別の値に自由に設定して良い。透過モードからイラスト表示モードへの切り替えの場合は、変更幅は正の値となる。

また、車両イラスト全体を透過合成する例を示したが、車両イラストの中でも透過が必要領域のみブレンド合成をするように設定しても良い。

また、カメラ１１０の数Ｎ（図１参照）に制限はない。

本発明の実施の形態における車両周囲画像表示システムの構成図 図１に示す車両周囲画像表示システムの動作を示すフロー図 車体へのカメラ１１０の取付け位置例を示す図 各カメラ１１０から撮像した画像例を示す図 仮想視点からの俯瞰画像変換例を示す図 （ａ）は仮想視点から俯瞰した車両イラスト例を示す図、（ｂ）は仮想視点から俯瞰した車両イラストと俯瞰画像とのブレンド合成例を示す図 １つの仮想視点を設定した場合におけるイラスト表示モードと透過モードの切り替え例を示す図 別の仮想視点を設定した場合におけるイラスト表示モードと透過モードの切り替え例を示す図 さらに別の仮想視点を設定した場合におけるイラスト表示モードと透過モードの切り替え例を示す図

符号の説明

１ 撮像部
１１０−１、１１０−２、１１０−３、１１０−４ カメラ
２ 画像処理装置
２１ イラスト格納部
２２ 俯瞰画像変換部
２３ ブレンド比率制御部
２４ 画像合成部
３ 表示装置
４ モード入力部
２００ 車両

Claims (1)

1. 自車両により視界が遮られることによって生じる死角領域の画像を表示する車両用周辺画像表示システムにおいて、
   少なくとも前記死角領域を含む車両周囲の領域の画像を撮影する撮影手段と、
   前記撮影手段により撮影された画像を車両周辺の予め設定された仮想視点からの俯瞰画像に変換する俯瞰画像生成手段と、
   前記予め設定された仮想視点からの画像に対応した車両イラストを指定したブレンド比率で前記俯瞰画像にブレンド合成する画像合成手段と、
   前記画像合成手段により車両イラストがブレンド合成された俯瞰画像を表示する表示手段と、
   を備えることを特徴とする車両周囲画像表示システム。
   

Images