JP2008174075A - 車両周辺監視装置、その表示方法 - Google Patents

Abstract

【課題】撮像した画像を、表示の際により有効に利用する。
【課題手段】車両周辺監視装置は、車両に搭載されたカメラから前記車両の周辺の撮像画像を取得する撮像画像取得手段と、表示装置の画面上に、第１の表示エリアと第２の表示エリアとを設け、第１の表示エリアに、車両の周辺の第１の範囲の撮像画像を表示し、第２の表示エリアに、第１の範囲より外にある第２の範囲の撮像画像を圧縮して表示する表示手段とを備える。
【選択図】図１

Description

本発明は、車両周辺を監視するための技術に関する。

車両に搭載したカメラにより車両周辺の画像を取得し、取得した画像を表示装置に表示することで、車両周辺の監視を可能とする装置がある（特許文献１等参照）。

特開２００６−２９８２１７号公報

しかし、従来の技術では、撮像した画像を十分に利用しているとは言えない。具体的には、従来の技術では、カメラで撮像した画像のうち、車両付近の所定範囲の画像のみを表示する。そのため、撮像していても表示に生かされない画像がある。これでは、障害物を撮像していても、ユーザ（ドライバー）に障害物の存在を知らせることができない場合がある。

本発明は、上記課題を解決すべくなされたものであり、撮像した画像を、表示の際により有効に利用することを目的とする。

上記課題を解決すべく、本発明は、撮像画像のうち、画面に収まりきれない部分を圧縮して表示する。

例えば、本発明の車両周辺監視装置は、車両に搭載されたカメラから前記車両の周辺の撮像画像を取得する撮像画像取得手段と、表示装置の画面上に、第１の表示エリアと第２の表示エリアとを設け、前記第１の表示エリアに、前記車両の周辺の第１の範囲の撮像画像を表示し、前記第２の表示エリアに、前記第１の範囲より外にある第２の範囲の撮像画像を圧縮して表示する表示手段とを備える。

また、本発明の車両周辺監視装置は、車両に搭載されたカメラから車両周辺の撮像画像を取得する手段と、前記カメラの視点位置と撮像方向に関する情報を取得する手段と、前記カメラの視点位置と撮像方向に基づいて、前記カメラの撮像画像を地上面に投影した地上投影画像に変換する画像変換手段と、表示装置の画面上に、第１の表示エリアと第２の表示エリアとを設け、前記第１の表示エリアに、車両周辺の第１の範囲に相当する、前記地上投影画像を表示し、前記第２の表示エリアに、前記車両からみて前記第１の範囲より外側の第２の範囲に相当する前記地上投影画像を、予め定めた方法により圧縮して表示する表示手段とを備える。

以下に、本発明の一実施形態について、図面を参照して説明する。

図１は、本発明の一実施形態が適用された車両周辺監視装置１の概略構成図である。図示するように、車両に搭載される車両周辺監視装置１は、制御装置１０と、カメラ２０と、入力装置３０と、表示装置４０と、音声出力装置５０とを備えて構成される。

カメラ２０は、車両周辺（近傍）の画像を取得するための撮像装置である。図２（ａ）、（ｂ）、（ｃ）、（ｄ）、及び(ｅ)は、車両の正面、右側面、上面、左側面、背面からみた様子を示す。図示すように、カメラ２０は、車両５００の前後左右に搭載された４台の小型カメラ２０Ｆ、２０Ｂ、２０Ｌ、２０Ｒからなる。それぞれのカメラ２０Ｆ、２０Ｂ、２０Ｌ、２０Ｒは、やや下を向いており、車両の前方、後方、左側方向、右側方向の地上面を撮像する。カメラ２０は、台座の回転により撮像範囲の変更が可能である。台座の回転は、モータにより行われ、後述するカメラ制御部１２で制御される。

図１に戻って説明する。入力装置３０は、ユーザからの指示を受け付けるための装置であり、タッチパネルやハードスイッチなどで構成される。

表示装置４０は、液晶表示装置などからなり、制御装置１０で生成されたグラフィックス情報を表示するユニットである。

音声出力装置５０は、スピーカなどからなり、制御装置１０で生成された音声情報を出力するユニットである。

制御装置１０は、他の装置（カメラ２０、入力装置３０、表示装置４０、音声出力装置５０など）を制御するための装置である。制御装置１０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、他の装置（カメラ２０、入力装置３０、表示装置４０、音声出力装置５０など）とのインターフェース、これらを接続するバス、などからなる汎用的なコンピュータシステムにより構成される。

制御装置１０は、その機能部として、主制御部１１と、カメラ制御部１２と、カメラ画像処理部１３と、入力内容解析部１４と、表示処理部１５と、音声処理部１６と、を備える。これらの機能部は、ＣＰＵがメモリにロードした所定のプログラムを実行することにより達成される。そのため、ＲＯＭには、各処理を行うためのプログラムが記憶されている。

主制御部１１は、様々な処理を行う中心的ユニットである。例えば、カメラ制御部１２に、カメラ２０の制御を指示する。また、カメラ画像処理部１３に、カメラ２０で撮像した画像を取得するように指示したり、取得した画像を、地上面に投影した画像（「地上投影画像」という）に変換するように指示したりする。また、入力内容解析部１４を介してユーザからの要求を受け付け、受け付けた要求に対応する処理が実行されるように、各機能部を制御する。また、表示処理部１５を介して、表示装置４０に、画像の表示を行う。また、音声処理部１６を介して、音声出力装置５０から、音声の出力を行う。

カメラ制御部１２は、各カメラ２０の動作を制御する。例えは、各カメラ２０の撮像の開始・終了タイミングや、撮像範囲を設定する。また、撮像した画像のカメラ画像処理部１３への送信を制御する。また、各カメラ２０の撮像範囲を特定するための情報として、各カメラ２０の視点位置及び撮像方向を、カメラ画像処理部１３に送る。なお、カメラ制御部１２は、車両内の所定の位置を基準とした各カメラ２０の設置位置を予め記憶している。カメラ２０の向きを変更した場合は、変更した角度に基づいて、視点位置及び撮像方向を算出し直す。

カメラ画像処理部１３は、各カメラ２０で撮像した画像を、画像データとして取得する。また、各カメラ２０の撮像範囲を特定する情報（視点位置、撮像方向）に基づいて、各カメラ２０から取得した画像を、公知の方法により、地上投影画像に変換する。

図３は、地上投影画像の生成方法を説明するための図である。カメラ画像処理部１３は、カメラ制御部１２から、各カメラ２０の視点Ｐの位置（車両内の所定位置を原点とする三次元空間における座標位置）と視線方向（撮像方向）Ｋを取得している。撮像方向Ｋは、撮像画像５１０の中心と垂直に交わる。また、カメラの視点Ｐから撮像画像５１０までの距離は、予め定められている。カメラ画像処理部１３は、撮像画像５１０を、カメラ２０の視点Ｐの位置から撮像方向Ｋに向けて、地上面５２０に投影し、地上投影画像５３０を生成する。こうして生成される地上投影画像５３０は、車両の上空から車両周辺を鳥瞰したような画像となる。

図１に戻って説明する。入力内容解析部１４は、入力装置３０を介して入力されたユーザからの要求を解析し、その結果を主制御部１１に送る。

表示処理部１５は、表示装置４０に、ユーザからの指示を受け付けるためのメニューや、カメラ画像処理部１３で生成された車両周辺の地上投影画像を表示する。また、後述するように、表示処理部１５は、車両周辺の地上投影画像のうち、車両を中心とする所定範囲内については、そのまま表示する。一方、所定範囲外については、圧縮して表示する。

音声処理部１６は、主制御部１１からの指示に従って、音声出力装置５０を介して、警告音や、ユーザに対するメッセージを音声出力する。

［動作の説明］次に、本実施形態の車両周辺監視装置１の特徴的な動作について説明する。

図４は、車両周辺の画像を表示する処理のフロー図である。

このフローは、ユーザから入力装置３０を介して、車両周辺の画像を表示するように要求された場合に、定期的に行われる。

まず、カメラ画像処理部１３は、各カメラ２０Ｆ、２０Ｂ、２０Ｌ、２０Ｒから、撮像して得られた画像（「カメラ画像」という）を取得する（Ｓ１１）。

次に、カメラ画像処理部１３は、取得した各カメラ画像に基づいて、上述したように、地上投影画像を生成する。

図５は、生成された地上投影画像２１０を示す。地上投影画像２１０は、４台のカメラ２０Ｆ、２０Ｂ、２０Ｌ、２０Ｒの画像から生成される。したがって、車両周辺の地上投影画像２１０は、車両５０１の周辺を４つに分割したエリアに対応した４つの画像（前方エリア画像２１０Ｆ、後方エリア画像２１０Ｂ、左側エリア画像２１０Ｌ，右側エリア画像２１０Ｒ）からなる。

次に、カメラ画像処理部１３は、地上投影画像２１０の一部を圧縮する処理を行う（図４のＳ１３）。

具体的には、カメラ画像処理部１３は、車両周辺の地上投影画像２１０に対して、圧縮せずに表示する範囲（「非圧縮表示範囲」という）２１１と、圧縮して表示する範囲（「圧縮表示範囲」という）２１２とを設定する。例えば、カメラ画像処理部１３は、車両５０１を中心として、所定の大きさの長方形を設定して、非圧縮表示範囲２１１とする。その外側に、さらに大きい、所定の大きさの長方形を設定して、その長方形内のうち非圧縮表示範囲２１１を除く範囲を、圧縮表示範囲２１２とする。

そして、カメラ画像処理部１３は、圧縮表示範囲２１２に含まれている地上投影画像２１２Ｆ、２１２Ｂ、２１２Ｌ，２１２Ｒを、図６に示すように、車両の位置する方向に向けて、所定のサイズになるように圧縮し、圧縮画像２１３Ｆ、２１３Ｂ、２１３Ｌ、２１３Ｒを生成する。具体的には、車両５０１の前方の圧縮表示範囲２１２の地上投影画像２１２Ｆについては、車両の後方向に圧縮する。車両５０１の後方の圧縮表示範囲２１２の地上投影画像２１２Ｂについては、車両の前方向に圧縮する。車両５０１の左側の圧縮表示エリア２１２の地上投影画像２１２Ｌについては、車両５０１の右方向に圧縮する。車両５０１の右側の圧縮表示エリア２１２の地上投影画像２１２Ｒについては、車両５０１の左方向に圧縮する。

カメラ画像処理部１３は、例えば、圧縮方向の複数のドットを１つのドットに纏めることで画像の圧縮を行う。このとき、圧縮する複数のドットの色諧調の平均値を圧縮後の１つのドットの色諧調とする。

このような圧縮によれば、図５及び図６に示すように、圧縮表示範囲２１２の地上投影画像２１２Ｌに障害物Ｑが含まれている場合でも、圧縮画像２１３Ｌに障害物Ｑの形跡が残される。

こうして一部を圧縮した地上投影画像が生成されると、主制御部１１は、表示処理部１５に、車両周辺の画像を表示するように指示する。

これを受けて、表示処理部１５は、表示装置４０の表示画面４００に車両周辺を示す画像を表示する（図４のＳ１４）。

図７は、表示画面の一例を示す図である。

図示するように、表示処理部１５は、表示画面４００のほぼ中央に、車両を示すアイコン（「車両アイコン」という）４０１を表示する。また、車両アイコン４０１を中心にして外側に向かって順番に、非圧縮画像を表示するためのエリア（「非圧縮画像表示エリア」という）４１０と、圧縮画像を表示するためのエリア（「圧縮画像表示エリア」という）４２０と、警告を表示するためのエリア（「警告表示エリア」という）４３０とを設ける。そして、非圧縮画像表示エリア４１０に、非圧縮表示範囲２１１の地上投影画像２１１Ｆ、２１１Ｂ、２１１Ｌ、２１１Ｒを、車両４０１に対する位置に対応させて、それぞれ表示する。また、圧縮画像表示エリア４２０に、Ｓ１３で生成した圧縮画像２１３Ｆ、２１３Ｂ、２１３Ｌ、２１３Ｒを、車両４０１に対する位置に対応させて、それぞれ表示する。

次に、表示処理部１５は、圧縮表示範囲２１２の地上投影画像２１０（圧縮後の画像でもよい）に大きな変化があったか否か判定する（図４のＳ１５）。

そのため、カメラ画像処理部１３は、前回の表示処理において生成した地上投影画像２１０を保存している。表示処理部１５は、前回の表示処理にてカメラ画像処理部１３にて保存していた圧縮表示範囲２１２の地上投影画像２１０と、今回Ｓ１２にて生成された圧縮表示範囲２１２の地上投影画像２１０について、対応するドットごとに、色諧調値の変化を求める。このとき、地上投影画像２１２Ｆ、２１２Ｂ、２１２Ｌ、２１２Ｒごとに、変化の合計を求め、合計が所定の値を超えるか否か判定し、超える場合に、大きな変化があったと判定する。

圧縮表示範囲２１２の地上投影画像２１２Ｆ、２１２Ｂ、２１２Ｌ、２１２Ｒのいずれか（ただし、２以上の場合もある）所定の変化があった場合（Ｓ１６）、表示処理部１５は、変化があった地上投影画像２１２Ｆ、２１２Ｂ、２１２Ｌ、２１２Ｒに対応する警告エリア４３０（４３０Ｆ、４３０Ｂ、４３０Ｌ、４３０Ｒ）に、所定の警告表示を行う。このとき、主制御部１１は、音声処理部１６を介して、音声出力装置５０に、警告を示す効果音やメッセージを出力してもよい。

図７では、車両の右方向の圧縮表示範囲２１２の地上投影画像２１２Ｌに、新たに障害物Ｑが入り込んだ場合に、車両の右側方向に対応する警告エリア４３０Ｌに、警告を促すべく点滅表示４３１を行っている様子を示している。

以上、図４で示したフローについて説明した。

本実施形態によれば、そのまま表示しようとしても表示画面に収めることができない撮像画像を圧縮して表示する。したがって、撮像した画像を、なるべく表示に寄与させることができる。これによりユーザは、障害物の存在をより着実に知ることができる。

本実施形態では、車両の近くは、そのまま表示し、遠い部分のみを圧縮して表示する。圧縮して表示すると多少画像の鮮明性が低下するが、遠い部分では、障害物の存在が分かればよいので、問題とならない。

また、圧縮して表示する範囲において障害物が進入するなどの変化が生じた場合に、撮像画像とは別に、警告を表示する。これによりユーザに対して、注意を喚起することができる。また、警告は、撮像方向に対応して表示されるので、ユーザに注意を喚起すべき方向を容易に知らせることができる。

なお、本発明は、経路探索や経路誘導を行う車載用ナビゲーション装置に適用することができる。

また、通信ネットワークにより撮像画像を外部の機器に送信して、外部の機器において、上記した方法で撮像画像を表示するようにしてもよい。

図１は、本発明の一実施形態が適用された車両周辺監視装置の概略構成図である。 図２は、カメラの搭載位置を示す図である。 図３は、撮像画像を地上面に投影する様子を示す図である。 図４は、表示処理のフロー図である。 図５は、地上面に投影した画像の車両との位置関係を示す図である。 図６は、画像の圧縮を説明するための図である。 図７は、表示画面例を示す図である。

符号の説明

１…車両周辺監視装置、
１０…制御装置、１１…主制御部、１２…カメラ制御部、１３…カメラ画像処理部、１４…入力内容解析部、１５…表示処理部、１６…音声処理部、
２０…カメラ、
３０…入力装置、
４０…表示装置、
５０…音声出力装置

Claims (8)

1. 車両周辺監視装置であって、
   車両に搭載されたカメラから前記車両の周辺の撮像画像を取得する撮像画像取得手段と、
   表示装置の画面上に、第１の表示エリアと第２の表示エリアとを設け、
   前記第１の表示エリアに、前記車両の周辺の第１の範囲の撮像画像を表示し、前記第２の表示エリアに、前記第１の範囲より外にある第２の範囲の撮像画像を圧縮して表示する表示手段と
   を備えることを特徴とする車両周辺監視装置。
2. 請求項１に記載の車両周辺監視装置であって、
   前記表示手段は、
   前記第２の範囲の撮像画像を、車両の存在する方向に圧縮して表示する
   ことを特徴とする車両周辺監視装置。
3. 請求項１に記載の車両周辺監視装置であって、
   前記撮像画像取得手段は、
   複数のカメラによる複数の撮像範囲の撮像画像をそれぞれ取得し、
   前記第１の表示エリアは、画面上の車両位置の周囲のエリアであり、
   前記第２の表示エリアは、前記第１の表示エリアの周囲のエリアであり、
   前記表示手段は、
   前記第１の表示エリア及び前記第２の表示エリアに、取得した複数の撮像画像を、その撮像範囲の位置が前記画面上の車両位置を基準とした位置に対応するように表示する
   ことを特徴とする車両周辺監視装置。
4. 請求項１に記載の車両周辺監視装置であって、
   前記第２の範囲の画像の変化を判定する変化判定手段を備え、
   前記表示手段は、
   前記変化判定手段により前記第２の範囲の画像に所定の変化があったと判定された場合、警告の表示を行う
   ことを特徴とする車両周辺監視装置。
5. 請求項４に記載の車両周辺監視装置であって、
   前記表示手段は、
   画面上の車両位置に対応させて、前記第２の範囲の画像の圧縮画像を表示し、
   前記警告を、変化が判定された画像の表示位置に対応させて、表示する
   ことを特徴とする車両周辺監視装置。
6. 車両に搭載されたカメラから車両周辺の撮像画像を取得する手段と、
   前記カメラの視点位置と撮像方向に関する情報を取得する手段と、
   前記カメラの視点位置と撮像方向に基づいて、前記カメラの撮像画像を地上面に投影した地上投影画像に変換する画像変換手段と、
   表示装置の画面上に、第１の表示エリアと第２の表示エリアとを設け、
   前記第１の表示エリアに、車両周辺の第１の範囲に相当する、前記地上投影画像を表示し、
   前記第２の表示エリアに、前記車両からみて前記第１の範囲より外側の第２の範囲に相当する前記地上投影画像を、予め定めた方法により圧縮して表示する表示手段と
   を備えることを特徴とする車両周辺監視装置。
7. 車両周辺監視装置の表示方法であって、
   車両に搭載されたカメラから前記車両の周辺の撮像画像を取得する撮像画像取得ステップと、
   表示装置の画面上に、第１の表示エリアと第２の表示エリアとを設け、
   前記第１の表示エリアに、前記車両の周辺の第１の範囲の撮像画像を表示し、前記第２の表示エリアに、前記第１の範囲より外にある第２の範囲の撮像画像を圧縮して表示する表示ステップと
   を備えることを特徴とする車両周辺監視装置の表示方法。
8. 車両周辺監視装置の表示方法であって、
   車両に搭載されたカメラから車両周辺の撮像画像を取得するステップと、
   前記カメラの視点位置と撮像方向に関する情報を取得するステップと、
   前記カメラの視点位置と撮像方向に基づいて、前記カメラの撮像画像を地上面に投影した地上投影画像に変換する画像変換ステップと、
   表示装置の画面上に、第１の表示エリアと第２の表示エリアとを設け、
   前記第１の表示エリアに、車両周辺の第１の範囲に相当する、前記地上投影画像を表示し、
   前記第２の表示エリアに、前記車両からみて前記第１の範囲より外側の第２の範囲に相当する前記地上投影画像を、予め定めた方法により圧縮して表示する表示ステップと
   を備えることを特徴とする車両周辺監視装置の表示方法。

Images