JP2007149011A - 車両周辺視認装置 - Google Patents

Abstract

【課題】画面観察者の好みに応じた画像を表示したり、運転状況に応じて適切な画像を表示することが可能な、車両周辺視認装置を得る。
【解決手段】記憶部６には、複数の座標変換テーブルＡ〜Ｄが記憶されている。画像処理部５は、選択部７から入力された選択信号ＳＬに基づいて、記憶部６に記憶されている複数の座標変換テーブルＡ〜Ｄの中から一つの座標変換テーブルを選択して読み出す。そして、カメラ１ａから入力された原画像に対して、記憶部６から読み出した座標変換テーブルを用いて、画像加工処理を行う。その際、画像処理部５は、座標データが与えられている画素には座標変換処理後の補正画像を表示し、一方、ＯＳＤデータが与えられている画素にはＯＳＤ画像を表示する。
【選択図】図１

Description

本発明は、車両周辺視認装置に関する。

フロントカメラ、バックカメラ、サイドカメラ、バンパーカメラ等の車載カメラによって車両の周辺領域を撮像し、撮像された画像を車室内のディスプレイに表示させる車両周辺視認装置が実用化されつつある。

ここで、車載カメラによって撮像された画像にはレンズ特性に応じた画像歪みが生じているため、画面観察者が受ける違和感を低減して視認性を向上すべく、画像歪みを補正した後の画像がディスプレイに表示される。

従来の車両周辺視認装置では、画像歪みを補正するためのキャリブレーションパターンが一種類しか準備されていないため、歪み補正の態様が常に固定されている。

本発明はかかる事情に鑑みて成されたものであり、予め複数のキャリブレーションパターンを準備しておき、その中から場面に応じて所望のキャリブレーションパターンを選択可能とすることにより、画面観察者の好みに応じた画像を表示したり、運転状況に応じて適切な画像を表示することが可能な、車両周辺視認装置を得ることを目的とする。

第１の発明に係る車両周辺視認装置は、車両の周辺領域を撮像する撮像手段と、画像歪みを補正するための複数の画像加工用座標変換テーブルが記憶された記憶手段と、前記複数の画像加工用座標変換テーブルの中から、所望の画像加工用座標変換テーブルを選択する選択手段と、前記撮像手段によって撮像された撮像画像に対して、前記選択手段によって選択された画像加工用座標変換テーブルを用いて画像加工を行う画像処理手段と、前記画像処理手段によって画像加工された補正画像を表示する表示手段とを備える。

第２の発明に係る車両周辺視認装置は、第１の発明に係る車両周辺視認装置において特に、前記複数の画像加工用座標変換テーブルの各々には、前記撮像画像に代えてＯＳＤ画像を表示すべき画素に関するデータが含まれており、前記表示手段には、前記選択手段によって選択された画像加工用座標変換テーブルに対応する、前記補正画像と前記ＯＳＤ画像とが合成された合成画像が表示されることを特徴とする。

第１の発明に係る車両周辺視認装置によれば、画像歪み補正用の複数の画像加工用座標変換テーブルが記憶手段に記憶されており、選択手段は、複数の画像加工用座標変換テーブルの中から、所望の画像加工用座標変換テーブルを選択する。そして、画像処理手段は、撮像手段によって撮像された撮像画像に対して、選択手段によって選択された画像加工用座標変換テーブルを用いて画像加工を行う。従って、複数の画像加工用座標変換テーブルの中から場面に応じて所望の画像加工用座標変換テーブルを選択でき、画面観察者の好みに応じた画像を表示手段に表示したり、運転状況に応じて適切な画像を表示手段に表示することが可能となる。

第２の発明に係る車両周辺視認装置によれば、補正画像とＯＳＤ画像とが合成された合成画像が、表示手段に表示される。従って、撮像手段によって撮像された一つの撮像画像を、例えば、車両の左方及び右方の２方向のカメラによって撮像された二つの撮像画像として表示したり、車両の前方、左方、及び右方の３方向のカメラによって撮像された三つの撮像画像として表示することが可能となる。その結果、画面観察者の視認性を向上することができる。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、異なる図面において同一の符号を付した要素は、同一又は相応する要素を示すものとする。

図１は、本発明の実施の形態に係る車両周辺視認装置の第１の構成を示すブロック図であり、図２は、本発明の実施の形態に係る車両周辺視認装置の第２の構成を示すブロック図である。

図１を参照して、車両周辺視認装置は、カメラ１ａと、カメラ１ａの後段に接続されたＥＣＵ２と、ＥＣＵ２に接続された表示部３及び選択部７とを備えている。カメラ１ａは、フロントカメラ、バックカメラ、サイドカメラ、バンパーカメラ等の車載カメラである。また、カメラ１ａは、ＣＣＤ撮像装置等の撮像部４を備えており、車両の周辺領域を撮像する。撮像部４には、少なくとも水平方向に広画角（１８０°程度）のレンズ系が装着されている。表示部３は、液晶表示装置等であり、車室内において運転者に視認可能な箇所（例えばインストルメントパネル等）に配設されている。ＥＣＵ２は、画像処理部５と記憶部６とを備えている。

図２を参照して、車両周辺視認装置は、カメラ１ｂと、カメラ１ｂに接続された表示部３及び選択部７とを備えている。カメラ１ｂは、カメラ１ａと同様に、車両の周辺領域を撮像するフロントカメラ、バックカメラ、サイドカメラ、バンパーカメラ等の車載カメラである。また、カメラ１ｂは、撮像部４、画像処理部５、及び記憶部６を備えている。つまり、図２に示した車両周辺視認装置は、図１に示した車両周辺視認装置におけるＥＣＵ２の機能を、カメラ１ｂに持たせたものである。

図３は、図１，２に示した記憶部６の記憶内容を示す図である。記憶部６には、画像歪みを補正するための複数のキャリブレーションパターンに対応して、画像加工用の複数の座標変換テーブルＡ〜Ｄが記憶されている。各座標変換テーブルＡ〜Ｄには、画像歪みを補正するための撮像画像−表示画像間での座標変換を示す座標データのみならず、撮像画像に代えてＯＳＤ（on-screen display）画像を表示すべき画素に関するＯＳＤデータが含まれている。例えば、座標変換テーブルを構成する各画素データの所定ビットがフラグとして設定されており、そのフラグが「０」に設定されている画素データは座標データを示し、「１」に設定されている画素データはＯＳＤデータを示す。座標データには、撮像画像−表示画像間での座標変換の対応関係が記述されている。ＯＳＤデータには、ＯＳＤ画像の輝度データ（Ｙ）及び色差データ（Ｃｂ，Ｃｒ）、あるいはＲＧＢデータが記述されている。

図４〜８は、図３に示した座標変換テーブルＡ〜Ｄの作成方法を示す図である。図４を参照して、格子模様が描かれた３面状のボード１０ａをカメラ１によって撮像し（図４（Ａ））、得られた撮像画像（図４（Ｂ））のうちの特定部分（白線の内側部分）に関して、図４（Ｃ）の画像となるように各点の座標変換を行う。この座標変換テーブルが、図３に示した座標変換テーブルＡとして得られる。

図５を参照して、格子模様が描かれた３面状のボード１０ｂをカメラ１によって撮像し（図５（Ａ））、得られた撮像画像（図５（Ｂ））のうちの特定部分（白線の内側部分）に関して、図５（Ｃ）の画像となるように各点の座標変換を行う。この座標変換テーブルが、図３に示した座標変換テーブルＢとして得られる。

図６を参照して、格子模様が描かれた２面状のボード１０ｃをカメラ１によって撮像し（図６（Ａ））、得られた撮像画像（図６（Ｂ））のうちの特定部分（白線の内側部分）に関して、図６（Ｃ）の画像となるように各点の座標変換を行う。この座標変換テーブルが、図３に示した座標変換テーブルＣとして得られる。

図７を参照して、格子模様が描かれた半円状のボード１０ｄをカメラ１によって撮像し（図７（Ａ））、得られた撮像画像（図７（Ｂ））のうちの特定部分（白線の内側部分）に関して、図７（Ｃ）の画像となるように各点の座標変換を行う。この座標変換テーブルが、図３に示した座標変換テーブルＤとして得られる。

なお、以上では４種類の座標変換テーブルＡ〜Ｄを準備する例について説明したが、４種類に限らず、２種類以上（つまり複数）の座標変換テーブルを準備すれば良い。

図８は、図１，２に示した撮像部４によって撮像された原画像の一例を示す図である。カメラ１ａ，１ｂのレンズ特性に起因して、画像歪みが生じていることが分かる。この原画像の画像データは、画像処理部５に入力される。

画像処理部５は、選択部７から入力された選択信号ＳＬに基づいて、記憶部６に記憶されている複数の座標変換テーブルＡ〜Ｄの中から一つの座標変換テーブルを選択して読み出す。そして、カメラ１ａ，１ｂから入力された原画像に対して、記憶部６から読み出した座標変換テーブルを用いて、画像加工処理を行う。その際、画像処理部５は、上記の座標データが与えられている画素には、座標変換処理後の補正画像を表示する。一方、上記のＯＳＤデータが与えられている画素には、ＯＳＤ画像を表示する。その結果、補正画像とＯＳＤ画像とが合成された合成画像が画像処理部５によって作成されて、表示部３に表示される。

図９〜１４は、表示部３に表示される画像の例を示す図である。図９（Ａ）は、図４に対応する座標変換テーブルＡを用いて画像加工処理がなされた画像である。図９（Ａ）に示した補正画像のうち、キャリブレーションがなされていない四隅の部分に、黒塗りのマスク画像（ＯＳＤ画像）を合成したものが、図９（Ｂ）に示す合成画像である。

ＯＳＤ画像のパターンとしては、図９（Ｂ）とは異なるパターンを採用することもできる。図１０に示す合成画像は、図９（Ａ）に示した補正画像に、画面を三分割するようなパターンのＯＳＤ画像を合成したものである。図１０に示した合成画像によると、あたかも前方、左方、及び右方の三方向を独立に撮像したような画像を表示部３に表示でき、運転者の視認性の向上を図ることができる。

さらに、車両走行中に白線認識処理等の運転支援を行う場合には、図９（Ａ）に示した補正画像のうち中央部分のみを切り出して拡大し、その拡大画像を用いて白線認識処理を行うことも可能である。

図１１（Ａ）は、図８に示した原画像に対して、図５に対応する座標変換テーブルＢを用いて画像加工処理がなされた画像である。図１１（Ａ）に示した補正画像のうち、キャリブレーションがなされていない四隅の部分に、黒塗りのマスク画像（ＯＳＤ画像）を合成したものが、図１１（Ｂ）に示す合成画像である。

図１２（Ａ）は、図８に示した原画像に対して、図６に対応する座標変換テーブルＣを用いて画像加工処理がなされた画像である。図１２（Ａ）に示した補正画像のうち、キャリブレーションがなされていない四隅の部分に、黒塗りのマスク画像（ＯＳＤ画像）を合成したものが、図１２（Ｂ）に示す合成画像である。

ＯＳＤ画像のパターンとしては、図１２（Ｂ）とは異なるパターンを採用することもできる。図１３に示す合成画像は、図１２（Ａ）に示した補正画像に、画面を二分割するようなパターンのＯＳＤ画像を合成したものである。このＯＳＤ画像には、左右に分割された二画面の間に、自車両を模した表示も含まれている。図１３に示した合成画像によると、あたかも左方及び右方の二方向を独立に撮像したような画像を表示部３に表示でき、運転者の視認性の向上を図ることができる。

図１４（Ａ）は、図８に示した原画像に対して、図７に対応する座標変換テーブルＤを用いて画像加工処理がなされた画像である。図１４（Ａ）に示した補正画像のうち、キャリブレーションがなされていない四隅の部分に、黒塗りのマスク画像（ＯＳＤ画像）を合成したものが、図１４（Ｂ）に示す合成画像である。

図１，２を参照して、選択部７は、運転者が操作可能な切換スイッチであり、運転者は、表示部３に表示される画像が好みの画像となるように、座標変換テーブルＡ〜Ｄを手動で選択可能である。

あるいは選択部７は、カーナビゲーションシステムの地図データや、シフトポジションに関するシフト信号を外部から入力し、これらのデータや信号に基づいて、座標変換テーブルＡ〜Ｄを自動的に選択する。例えば、上記地図データと、自車両の位置や向きに関する信号とに基づいて、自車両が狭い脇道から広い交差道路に進入する状況と判断した場合には、車両の左右方向を視認性良く観察したいため、選択部７は、車両の左右方向に関する歪みが少ない座標変換テーブルＡ（図４に対応する）を自動的に選択する。あるいは、シフト信号に基づいて、シフトレバーがパーキングポジションからドライブポジションにシフトされたことを検出した場合には、自車両が駐車状態から発進する状況と判断して、座標変換テーブルＡを自動的に選択するとともに、自車両直前の死角エリアを拡大して表示する。

このように、本実施の形態に係る車両周辺視認装置によれば、画像歪み補正用の複数の座標変換テーブルＡ〜Ｄが記憶部６に記憶されており、選択部７は、複数の座標変換テーブルＡ〜Ｄの中から、所望の座標変換テーブルを選択する。そして、画像処理部５は、撮像部４によって撮像された撮像画像（原画像）に対して、選択部７によって選択された座標変換テーブルを用いて画像加工処理を行う。従って、複数の座標変換テーブルＡ〜Ｄの中から場面に応じて所望の座標変換テーブルを選択でき、画面観察者の好みに応じた画像を表示部３に表示したり、運転状況に応じて適切な画像を表示部３に表示することが可能となる。

また、本実施の形態に係る車両周辺視認装置によれば、補正画像とＯＳＤ画像とが合成された合成画像が、表示部３に表示される。従って、キャリブレーションパターンに応じて様々なパターンのＯＳＤ画像を設定しておくことにより、撮像部４によって撮像された一つの画像を、例えば、車両の左方及び右方の２方向のカメラによって撮像された二つの画像として表示したり、車両の前方、左方、及び右方の３方向のカメラによって撮像された三つの画像として表示することが可能となる。その結果、画面観察者の視認性を向上することができる。

本発明の実施の形態に係る車両周辺視認装置の第１の構成を示すブロック図である。 本発明の実施の形態に係る車両周辺視認装置の第２の構成を示すブロック図である。 図１，２に示した記憶部の記憶内容を示す図である。 図３に示した座標変換テーブルの作成方法を示す図である。 図３に示した座標変換テーブルの作成方法を示す図である。 図３に示した座標変換テーブルの作成方法を示す図である。 図３に示した座標変換テーブルの作成方法を示す図である。 図３に示した座標変換テーブルの作成方法を示す図である。 表示部に表示される画像の例を示す図である。 表示部に表示される画像の例を示す図である。 表示部に表示される画像の例を示す図である。 表示部に表示される画像の例を示す図である。 表示部に表示される画像の例を示す図である。 表示部に表示される画像の例を示す図である。

符号の説明

３ 表示部
４ 撮像部
５ 画像処理部
６ 記憶部
７ 選択部

Claims (2)

1. 車両の周辺領域を撮像する撮像手段と、
   画像歪みを補正するための複数の画像加工用座標変換テーブルが記憶された記憶手段と、
   前記複数の画像加工用座標変換テーブルの中から、所望の画像加工用座標変換テーブルを選択する選択手段と、
   前記撮像手段によって撮像された撮像画像に対して、前記選択手段によって選択された画像加工用座標変換テーブルを用いて画像加工を行う画像処理手段と、
   前記画像処理手段によって画像加工された補正画像を表示する表示手段と
   を備える、車両周辺視認装置。
2. 前記複数の画像加工用座標変換テーブルの各々には、前記撮像画像に代えてＯＳＤ画像を表示すべき画素に関するデータが含まれており、
   前記表示手段には、前記選択手段によって選択された画像加工用座標変換テーブルに対応する、前記補正画像と前記ＯＳＤ画像とが合成された合成画像が表示される、請求項１に記載の車両周辺視認装置。