JP2018121223A - 画像処理装置および車載撮像装置 - Google Patents

Abstract

【課題】運転者の誤認識を回避することができる車載撮像装置を提供する。【解決手段】画面に写る地面には、自車からの距離の目安線４１ａ、４１ｂ、４１ｃが描かれる。地面から立体物４３が存在すると、マーキング生成部は、距離データで特定される距離に応じて、画面に写る物体４３に合わせて目安線４１ａ、４１ｂを選択する。マーキング生成部から出力される画像信号では、目安線４１ａ、４１ｂと立体物４３との重なりは防止されることができる。【選択図】図４

Description

本発明は、画面に写る地面に、自車両からの距離に応じて予め設定された目安線を描く画像処理装置に関する。

特許文献１は車両後方監視装置を開示する。車両後方監視装置は、車両の後退時に、モニターの画面に距離の目安となるマーキングポイントを表示する。車両後方監視装置は路面上の基準物に基づき幾何学的にマーキングポイントの平面座標を演算する。

特開平７−２３９９９９号公報

車両の後退時に車両の後方に別の車両といった立体物が存在する場合に、画面上で立体物（例えば他車両）にマーキングポイント（目安線）が重なると、そのマーキングポイントは実際には自車両と立体物とを結んだ直線の先にある地面までの距離を示すこととなる。しかし、画面上では目安線と立体物が重なって表示されるため、運転者が本来地面までの距離を示すマーキングポイントが示す距離を立体物までの距離と誤認し、距離を正しく認識することができないおそれがあった。

本発明は、運転者の誤認識を回避することができる車載撮像装置を提供することを目的とする。

本発明の一形態によれば、車両に搭載された撮像装置から出力された画像を処理する画像処理装置であって、前記画像に前記車両からの距離または／および前記車両の進行方向を示す目安線を重畳する重畳処理部を備え、前記画像に含まれる立体物と前記目安線が重ならない部分に前記画像に前記目安線を重畳することを特徴とした画像処理装置は提供される。

これにより、立体物と目安線との重なりは防止される。運転者の誤認識は確実に回避されることができる。

車載撮像装置は画像処理装置を含むことができる。こうして車載撮像装置は画像処理装置の利点を享受することができる。運転支援装置は車載撮像装置を備えることができる。運転支援装置は画像処理装置の利点を享受することができる。

以上のように開示の装置によれば、運転者の誤認識を回避することができる車載撮像装置は提供される。

一実施形態に係る車両すなわち自動車の全体像を概略的に示す斜視図である。 運転支援装置の構成を概略的に示すブロック図である。 マーキング生成部で生成される目安線群の一具体例を示す画像である。 マスクデータ生成部で生成されるマスク領域の一具体例を示す画像である。 マーキング生成部から出力される画像信号の一具体例を示す画像である。

以下、添付図面を参照しつつ本発明の一実施形態を説明する。

図１は一実施形態に係る車両である車両１１を概略的に示す。車両１１の車体１２には運転支援装置１３が搭載される。運転支援装置１３はナビゲーション装置１４を備える。ナビゲーション装置１４はディスプレイパネル（表示装置）１５を有する。ディスプレイパネル１５は例えば車両１１のダッシュボードに組み込まれることができる。ディスプレイパネル１５の表示画面には地図その他の情報が表示されることができる。

運転支援装置１３はカメラ装置１６を備える。カメラ装置１６は例えば車体１２の後部に設置される。カメラ装置１６は例えば車両１１のリアバンパーの上方に取り付けられる。カメラ装置１６の光軸１７は例えば水平面に対して所定の角度に設定される。光軸１７は、車両１１から後方に離れるにつれて地面に近づくように傾斜する。カメラ装置１６は車体１２後方の被写体を撮像する。ここでは、光軸１７に対して水平方向および垂直方向にいずれも少なくとも±９０°の画角範囲で被写体の撮像画像は取得される。

カメラ装置１６は魚眼レンズ２１と撮像素子２２および画像処理部２３からなる撮像装置１９と、画像処理装置２４を有する。撮像装置１９が撮像した画像を画像処理装置２４が処理することにより画像信号を生成する。画像信号では、ディスプレイパネル１５の表示画面に表示される表示画像が特定される。カメラ装置１６はナビゲーション装置１４に接続される。ナビゲーション装置１４にはカメラ装置１６から画像信号が供給される。ディスプレイパネル１５の表示画面には画像信号に基づき車両１１の後方の画像が映し出されることができる。この運転支援装置１３では、例えば駐車場で駐車スペースに後退走行で進入する際に運転者は車体１２の後方の様子を確認することができる。こうして運転支援装置１３は運転者の後方確認を支援することができる。

運転支援装置１３は測距センサ１８を備える。測距センサ１８は例えば車体１２の後部に設置される。測距センサ１８は例えば車両１１のリアバンパーに埋め込まれる。測距センサ１８の検出軸は例えば地面に平行に設定される。測距センサ１８は、例えば車両１１のリアバンパーの上方に取り付けられたカメラ装置１６で撮像された後方の画像に含まれる立体物（例えば他車両や壁等）までの距離を測定する。測距センサ１８は、測定した距離を特定する距離データを出力する。測距センサ１８には赤外線センサや超音波センサその他が用いられればよい。

図２に示されるように、撮像装置１９は魚眼レンズ２１を備える。その結果、被写体から反射する光束は、光軸１７に対して水平方向および垂直方向にいずれも少なくとも±９０°の画角範囲で入射する。入射した光束は撮像素子２２の表面で結像する。

撮像装置１９は撮像素子２２を備える。撮像素子２２は結像した光束を電気信号に変換する。撮像素子２２はマトリクス状に配置された画素を備える。撮像素子２２の撮像面に設定される二次元座標系に従って個々の画素の位置は特定される。例えばベイヤー配列ではＲＧＧＢ（赤緑緑青）の電気信号で被写体の色が表現される。

撮像装置１９は画像生成部２３を備える。画像生成部２３は撮像素子２２に電気的に接続される。画像生成部２３は画素の位置すなわちアドレスを順次指定しながら画素の電気信号を読み出す。画像生成部２３はデジタルの撮像信号を出力する。撮像信号は画素ごとに画像情報を特定する。

画像処理装置２４は画像生成部２３から撮像信号を受信する。画像処理装置２４は、例えば、いくつかの画像処理用ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）２５などを有する。画像処理用ＬＳＩ２５は、魚眼レンズ２１の特性に起因し歪みを有する画像について歪み補正等の画像変換を施した第１画像信号を出力する形状変換部２８と、距離データで特定される距離に応じて、画面に写る地面に距離の目安線を描画する第２画像信号を出力するマーキング生成部２９と、形状変換部２８およびマーキング生成部２９に接続されて、第１画像信号の表示画像に第２画像信号の目安線を重畳する重畳処理部３１と、重畳処理部３１に接続されて、距離の目安線が重畳された画像信号を出力する出力ポート３２とを有する。

形状変換部２８には画像処理部２３、画像メモリ２６および記憶部２７が接続される。形状変換部２８には画像処理部２３から撮像信号が供給される。形状変換部２８は、原画像を特定する原画像データに座標変換を施し表示画像を生成する。ここで言う画像変換とは例えば魚眼レンズに起因する歪んだ画像を補正する変換を示す。補正にあたって形状変換部２８は画像メモリ２６に原画像データを格納し、記憶部２７に保存されるルックアップテーブル３４を参照する。ルックアップテーブル３４では原画像の各画素に表示画面の画素が指定される。形状変換部２８は第１画像信号を出力する。第１画像信号では表示画像が特定される。

マーキング生成部２９には記憶部２７が接続される。記憶部２７にはマーキングデータ３５が記憶される。マーキング生成部２９は記憶部２７からマーキングデータ３５を取得する。マーキングデータ３５は、表示画像に、自車からの距離に応じて予め設定された線と車両の進行方向を示す線からなる目安線を重畳するためのデータである。

マーキング生成部２９は、距離データで特定される距離に応じて目安線をマスクするマスクデータ生成部３６を有する。マスクデータ生成部３６には記憶部２７と入力部３７が接続される。マスクデータ生成部３６は、入力部３７から入力された距離データで特定される距離以上の距離に対応する目安線を隠すマスク領域を特定するマスクデータを生成する。マーキング生成部２９は、マスクデータの働きで、距離データに基づき目安線の一部をマスクする。こうしてマーキングデータ３５で特定される目安線の重畳範囲は変更される。

マスクデータ生成部３６には、距離データを取得する入力部３７が接続される。入力部３７からマスクデータ生成部３６には距離データが供給される。入力部３７は測距センサ１８から距離データを取得する。

マスクデータの生成にあたってマスクデータ生成部３６は、記憶部２７に記憶される座標値テーブル３８を参照する。座標値テーブル３８では、特定の距離ごとに画面の縦方向値（ｙ値）を特定する。ｙ値とは図４に示すように画面の上端を起点としたマスクの縦方向の長さを規定するものである。マスクデータ生成部３６は、距離データで特定される距離ごとにｙ値を取得する。ｙ値に基づき画面上でマスク領域は特定される。マーキング生成部２９はマスクされた目安線に基づき第２画像信号を生成する。

ナビゲーション装置１４は演算処理部３９を備える。演算処理部３９は画像処理装置２４の出力ポート３２に接続される。接続にあたって例えばコネクタが用いられることができる。演算処理部３９は例えば図示しないＭＰＵ（マイクロプロセッサユニット）およびメモリを有することができる。例えばメモリに格納されるソフトウェアに従ってＭＰＵは動作することができる。演算処理部３９はソフトウェアで実行される処理に従ってカメラ装置１６から画像信号を取得することができる。演算処理部３９はナビゲーション装置１４のナビゲーション動作と運転支援動作とを切り替えることができる。例えば車両１１のギアがバックに入れられると、演算処理部３９は車両１１からギアがバックに入ったという信号を受けてナビゲーション動作から運転支援動作にナビゲーション装置１４を切り替えることができる。

ディスプレイパネル１５は演算処理部３９に電気的に接続される。ディスプレイパネル１５には演算処理部３９から画像情報が供給される。供給される画像情報に応じてディスプレイパネル１５の表示画面には地図や車体１２後方の画像が映し出されることができる。

次に運転支援装置１３の動作を間単に説明する。車両１１のギアがバックギアに入れられると、演算処理部３６は車両１１からギアがバックに入ったという信号を受けてナビゲーション動作から運転支援動作にナビゲーション装置１４を切り替える。撮像素子２２で被写体の画像は電気信号に変換される。画像生成部２３は撮像信号を出力する。撮像信号では車体１２後方の原画像が特定される。形状変換部２８は、撮像信号に基づき、歪みの少ない表示画像を生成する。

マーキング生成部２９は目安線を生成する。目安線の描画にあたってマーキング生成部２９は記憶部２７からマーキングデータ３５を取得する。第２画像信号は形状変換部２８から出力された第１画像信号に重畳処理部３１で重畳され、図３に示されるような画像が生成される。ここでは、車両１１のリアバンパーから後方に５０ｃｍの位置を示す第１目安線４１ａ、後方に１ｍの位置を示す第２目安線４１ｂ、後方に２ｍの位置を示す第３目安線４１ｃ、および車両の進行方向を示す第４目安線４１ｄで目安線は構成されている。

図４に示されるように、マスクデータ生成部３６はマスク領域４２を生成する。マスク領域４２の生成にあたってマスクデータ生成部３６は入力部３７から距離データを取得する。マスクデータ生成部３６は、距離データで特定される距離に応じて、記憶部２７の座標値テーブル３８を参照する。車体１２の後方に、地面から立体物４３が存在すると、座標値テーブル３８から車両１１のリアバンパーから立体物４３までの距離に応じたマスクの縦方向の長さを規定するｙ値が取得される。ｙ値に基づき画面上でマスク領域４２は特定される。

なお、図４はマスク領域４２の領域を分かりやすくするため、撮像画像および目安線を合わせて描いているが、マスクデータ生成部３６で生成されるのはマスク領域４２のみである。

図５に示されるように、マーキング生成部２９は、特定されたマスク領域４２と重なる目安線４１ａ、４１ｂ、４１ｃ、４１ｄの部分をマスクする。マスクされていない部分の目安線だけを第２画像信号として出力する。

なお、図５はマスクされていない目安線の状態を分かりやすくするため、撮像画像等に重ねる形で目安線を表示しているが、マーキング生成部２９から出力される第２画像信号には目安線４１ａおよび４１ｂの全てと目安線４１ｄの一部のみしか存在しない。また、図５で示される画像は本発明の適用によりディスプレイパネル１５に表示される画像に等しい。

形状変換部２８から出力された第１画像信号と、マーキング２９から出力された第２画像信号は重畳処理部で合成され、ポート３２から出力される。そしてポート３２と接続されたナビゲーション装置１４のディスプレイパネル１５に画像として表示される。

以上により目安線４１ａ、４１ｂ、４１ｃ、４１ｄと立体物４３との重なることなくディスプレイパネル１５に表示される。こうして運転者の誤認識は確実に回避されることができる。

なお、本実施形態では目安線の一部にマスクを施し、立体物と目安線が重ならない部分にのみ目安線を重畳することにより、物体と目安線の重なりをなくす方法を例示したが、これに限定されるものではなく、例えば表示画面上で見た場合に、車両から遠ざかる方向に長さが異なる目安線を多数記憶しておき、距離に応じて特定の目安線を読み出し重畳してもよいし、距離を基に演算にて目安線を生成し重畳してもよい。

また、本実施形態では測距センサにより車両と物体との距離を検知する方法を例示したが、これに限定されるものではなく、例えば画像認識等を用いて物体までの距離を求めてもよいし、距離は求めずに、物体を画像認識し、その物体と画面上で重なる目安線の一部を重畳させなくすることで、画面に表示させない方法でも同様の効果を得ることができる。

１３…運転支援装置、１６…車載撮像装置、２４…画像処理装置、２７…記憶部（フラッシュメモリ）、２９…マーキング生成部、３５…マーキングデータ、３７…入力部、３８…テーブル（座標値テーブル）、４１ａ…目安線（第１目安線）、４１ｂ…目安線（第２目安線）、４１ｃ…目安線（第３目安線）、４１ｄ…目安線（第４目安線）。

Claims (3)

1. 車両に搭載された撮像装置から出力された画像を処理する画像処理装置であって、
   前記画像に前記車両からの距離または／および前記車両の進行方向を示す目安線を重畳する重畳処理部を備え、
   前記画像に含まれる立体物と前記目安線が重ならない部分に前記画像に前記目安線を重畳することを特徴とした画像処理装置。
2. 請求項１に記載の画像処理装置を含むことを特徴とする車載撮像装置。
3. 請求項２に記載の車載撮像装置を備えることを特徴とする運転支援装置。