JP2012061989A

JP2012061989A - 画像処理装置、及び、画像処理方法

Info

Publication number: JP2012061989A
Application number: JP2010208965A
Authority: JP
Inventors: Kimiaki Shima; 公章四間; Yukie Sei; 幸栄清; Satoru Harumoto; 哲春本
Original assignee: Denso Ten Ltd
Current assignee: Denso Ten Ltd
Priority date: 2010-09-17
Filing date: 2010-09-17
Publication date: 2012-03-29

Abstract

【課題】ユーザが車両を一旦停車させた後に後進させながらハンドルを操舵して駐車させる縦列駐車をする場合に、車両を適切な位置に一旦停車させることによって適切な駐車をさせることができる技術を提供する。
【解決手段】画像処理装置は、表示画像において、車両が縦列駐車される場合の駐車開始位置において車両の側面と他の物体との間隔として必要な間隔を示す指標を表示画像に重畳してディスプレイへ表示させるため、ユーザは車両を縦列駐車させる際に、ディスプレイへ表示された表示画像の指標を参考にすれば駐車開始位置において車両の側面と他の物体との間隔として必要な間隔をとることができ、車両を適切に縦列駐車させることができる。
【選択図】図１６

Description

本発明は、ディスプレイへ表示させる画像を処理する技術に関する。

近年、ユーザが車両を縦列駐車させる際に、車載の画像処理装置が車載のディスプレイへ、車載カメラから取得した画像を出力して表示させるとともに、駐車スペースへ車両を導く走行経路を示す指標をその画像へ表示させる技術が開発されている。

この技術によれば、ユーザはディスプレイに映る画像に含まれる走行経路を示す指標に従って車両を後進させれば適切に縦列駐車させることができる。

このような技術は、例えば、特許文献１に記載されている。

特開２００１−１０４３１号公報

しかし、ユーザが車両を縦列駐車させる場合には、車両を適当な駐車開始位置に一旦停車させたあとに後進させることになるが、一旦停車させたときの車両と車両の周辺の他の物体との間隔、例えば、車両と隣の駐車車両との間隔が不適切な場合は、そのあとの縦列駐車を適切に行えない虞がある。

本発明は、上記課題に鑑みてなされたものであり、ユーザが車両を一旦停車させたあとに縦列駐車をさせる場合に、車両を適切な駐車開始位置に停車させることができる技術を提供することを目的とする。

上記課題を解決するため、請求項１の発明は、車両に搭載される画像処理装置であって、前記車両の周辺を撮影するカメラの撮影画像に基づいて表示すべき表示画像を生成する生成手段と、前記車両が縦列駐車される場合の駐車開始位置において前記車両の側面と他の物体との間隔として必要な間隔を示す指標を、前記表示画像に重畳する重畳手段と、前記指標が重畳された前記表示画像をディスプレイへ出力して表示させる出力手段とを備えることを特徴とする。

また、請求項２の発明は、請求項１に記載の画像処理装置において、前記表示画像は、前記車両の周辺を撮影する複数のカメラの撮影画像に基づいて生成される、仮想視点から見た前記車両及び前記車両の周辺の様子を示す合成画像であることを特徴とする。

また、請求項３の発明は、請求項１または２の何れかに記載の画像処理装置において、前記指標は、前記表示画像において、前記表示画像に含まれる前記車両を基準とした相対的な位置に表示されることを特徴とする。

また、請求項４の発明は、請求項１乃至３の何れかに記載の画像処理装置において、前記重畳手段は、ユーザ操作に応答して、前記指標を前記表示画像に重畳することを特徴とする。

また、請求項５の発明は、請求項１乃至４の何れかに記載の画像処理装置において、前記重畳手段は、前記車両のシフト位置が”Ｒ”である場合に、前記指標を前記表示画像に重畳するのを停止することを特徴とする。

また、請求項６の発明は、請求項１乃至５の何れかに記載の画像処理装置において、ユーザ操作に応答して、自動で前記車両を駐車スペースへ駐車させる制御をする駐車制御装置へ前記制御を実行させる指示をする指示手段を更に備えることを特徴とする。

また、請求項７の発明は、請求項１乃至５の何れかに記載の画像処理装置において、前記重畳手段は、前記車両が縦列駐車される場合の駐車スペースへ車両を導く走行経路を示す指標を前記表示画像に重畳することを特徴とする。

また、請求項８の発明は、車両に搭載される画像表示システムであって、請求項１乃至７の何れかに記載の画像処理装置と、前記指標が重畳された前記表示画像を表示するディスプレイとを備えることを特徴とする。

また、請求項９の発明は、画像を処理する画像処理方法であって、前記車両の周辺を撮影するカメラの撮影画像に基づいて表示すべき表示画像を生成する工程と、前記車両が縦列駐車される場合の駐車開始位置において前記車両の側面と他の物体との間隔として必要な間隔を示す指標を、前記表示画像に重畳する工程と、前記指標が重畳された前記表示画像をディスプレイへ出力して表示させる工程とを備えることを特徴とする。

請求項１から１０の発明によれば、画像処理装置は、表示画像において、車両が縦列駐車される場合の駐車開始位置において車両の側面と他の物体との間隔として必要な間隔を示す指標を表示画像に重畳してディスプレイへ表示させるため、ユーザは車両を縦列駐車させる際に、ディスプレイへ表示された表示画像の指標を参考にすれば駐車開始位置において車両の側面と他の物体との間隔として必要な間隔をとることができ、車両を適切に縦列駐車させることができる。

また、請求項２の発明によれば、画像処理装置は、その指標を表示画像である、車両の周辺を撮影する複数のカメラの撮影画像に基づいて生成された仮想視点から見た車両及び車両の周辺の様子を示す合成画像へ重畳してディスプレイへ出力して表示させるため、ユーザは車両を縦列駐車させる際に、ディスプレイへ表示された表示画像の指標を参考にすれば駐車開始位置において車両の側面と他の物体との間隔として必要な間隔をとりやすくでき、車両を適切に縦列駐車させやすくできる。

また、請求項３の発明によれば、画像処理装置は、表示画像において車両を基準とした相対的な位置へ指標を重畳するため、ユーザは車両を縦列駐車させる際に、ディスプレイへ表示された表示画像の指標を参考にすれば駐車開始位置において車両の側面と他の物体との間隔として必要な間隔をとりやすくでき、車両を適切に縦列駐車させやすくできる。

また、請求項４の発明によれば、画像処理装置は、ユーザ操作に応答して、その指標を表示画像へ重畳してディスプレイへ表示させるため、ユーザは車両を縦列駐車させる際に、ディスプレイへ表示された表示画像の指標を参考にすれば駐車開始位置において車両の側面と他の物体との間隔として必要な間隔をとることができ、車両を適切に縦列駐車させることができる。

また、請求項５の発明によれば、画像処理装置は、車両のシフト位置が”Ｒ”である場合に、その指標を表示画像へ重畳するのを停止し、その指標が重畳されなかった表示画像をディスプレイへ表示させるため、ユーザが車両を縦列駐車における後進を開始するときにその指標が重畳されない表示画像をディスプレイへ表示させることができ、ユーザはディスプレイ映る車両を縦列駐車させるときに不要となる指標が重畳されない表示画像を参考にすれば車両を駐車させることができる。

また、請求項６の発明によれば、画像処理装置は、ユーザ操作に応答して、車両を駐車スペースへ駐車させる制御をする駐車制御装置へその制御を実行させる指示をするため、ユーザは車両を自動で駐車スペースへ駐車させることができ、駐車するための運転を省略することができる。

また、請求項７の発明によれば、画像処理装置は、車両が縦列駐車される場合の駐車スペースへ車両を導く走行経路を示す指標を表示画像に重畳するため、ユーザはディスプレイに表示された走行経路を示す指標を参考にすれば適切に車両を駐車させることができる。

図１は、車両を示す図である。図２は、画像処理システムなどのシステムブロック図である。図３は、車両を示す図である。図４は、画像生成処理を説明する図である。図５は、車両の縦列駐車の一例を説明する図である。図６は、駐車スペースを推定する処理の一例を示す図である。図７は、車両の縦列駐車の一例を説明する図である。図８は、車両の縦列駐車の一例を説明する図である。図９は、指標を説明する図である。図１０は、指標が重畳された合成画像の一例を示す図である。図１１は、指標が重畳された合成画像の一例を示す図である。図１２は、指標が重畳された合成画像の一例を示す図である。図１３は、指標が重畳された合成画像の一例を示す図である。図１４は、指標が重畳された合成画像の一例を示す図である。図１５は、指標が重畳された合成画像の一例を示す図である。図１６は、画像処理装置が実行する処理を説明する図である。図１７は、画像処理システムなどのシステムブロック図である。図１８は、指標が重畳された合成画像の一例を示す図である。図１９は、指標が重畳された合成画像の一例を示す図である。図２０は、指標が重畳された合成画像の一例を示す図である。図２１は、画像処理装置が実行する処理を説明する図である。図２２は、車両の車庫入れの一例を説明する図である。図２３は、駐車スペースを推定する処理の一例を示す図である。図２４は、駐車スペースを推定する処理の一例を示す図である。図２５は、指標が重畳された合成画像の一例を示す図である。図２６は、指標が重畳された合成画像の一例を示す図である。図２７は、指標が重畳された合成画像の一例を示す図である。図２８は、指標が重畳された合成画像の一例を示す図である。図２９は、車両を示す図である。図３０は、車両の周辺画像の一例を示す図である。図３１は、車両を示す図である。図３２は、車両の周辺画像の一例を示す図である。

以下、図面を参照しつつ本発明の実施の形態について説明する。

＜第１の実施の形態＞
＜システム構成＞
まず、第１の実施の形態の画像表示システムの構成を図１、及び、図２に基づいて説明する。画像表示システムＳＹは、画像処理装置１、及び、ディスプレイ８を備える。画像表示システムＳＹは、車両１９の運転席と助手席との間のセンターコンソール上部に、ディスプレイ８を表出させて搭載される。

また、画像表示システムＳＹは、フロントカメラ９、右サイドカメラ１０、左サイドカメラ１１、リヤカメラ１２（以降において、カメラ９〜１２という）、及び、駐車制御装置１８を信号線により電気的に接続している。

更に、画像表示システムＳＹは、カメラスイッチ１３、及び、シフトポジションセンサ１４などと信号線により電気的に接続されている。

フロントカメラ９は、図３に示すように車両１９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸は車両１９の直進方向へ向けられている。

右サイドカメラ１０は、図３に示すように右サイドミラーに設けられており、その光軸は車両１９の直進方向を基準にした右方向に沿って外部へ向けられている。

左サイドカメラ１１は、図３に示すように左サイドミラーに設けられており、その光軸は車両１９の直進方向を基準にした左方向に沿って外部へ向けられている。

リヤカメラ１２は、図３に示すように車両１９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸は車両１９の直進方向の逆方向へ向けられている。

なお、フロントカメラ９やリヤカメラ１２の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。

カメラ９〜１２のレンズとしては魚眼レンズなどが採用されており、カメラ９〜１２は１８０度以上の画角を有している。このため、これら４つの撮像部を利用することで、車両１９の全周囲の撮影が可能となっている。

カメラスイッチ１３は、ディスプレイ８の表示面の枠に備わっている。カメラスイッチ１３は、ユーザによってオン操作された場合に画像処理装置１へオン信号を出力し、画像処理装置１に対してカメラ９〜１２が撮影した撮影画像に基づいて生成された表示画像をディスプレイ８へ表示させる。また、ユーザによってオフ操作された場合に画像処理装置１へオフ信号を出力し、画像処理装置１に対してカメラ９〜１２が撮影した撮影画像に基づいて生成された表示画像をディスプレイ８へ表示させる。

シフトポジションセンサ１４は、車両１９のセンターコンソール中央部に備わるシフトレバー近傍に設定される。シフトポジションセンサ１４は、ユーザによって車両１９に備わる変速シフトポジションが変更された場合に、変更されたシフトポジションを検知する。そして、シフトポジションセンサ１４は、検知したシフトポジションを示す信号を画像表示システムＳＹへ出力する。

右サイド超音波センサ１５は、右サイドピラー付近に設けられている。右サイド超音波センサ１５が、超音波を送信する方向は車両１９の直進方向を基準にした右方向である。右サイド超音波センサ１５は、駐車制御装置１８からの命令により超音波を送信するとともに、送信した超音波を受信した際の信号を駐車制御装置１８へ出力する。

左サイド超音波センサ１６は、右サイドピラー付近に設けられている。左サイド超音波センサ１６が、超音波を送信する方向は車両１９の直進方向を基準にした左方向である。左サイド超音波センサ１６は、駐車制御装置１８からの命令により超音波を送信するとともに、送信した超音波を受信した際の信号を駐車制御装置１８へ出力する。

なお、画像処理装置１が実行する超音波センサを用いた物体の検出処理については後述する駐車スペース推定処理において説明する。

ディスプレイ８は、例えば、タッチパネルディスプレイであり、画像処理装置１から出力される表示画像などを表示させる。また、ディスプレイ８は、ユーザが操作可能なユーザスイッチ１７であるアイコンを表示させ、ユーザによりそのアイコンがタッチされた場合にアイコンが選択されたことを検知して画像処理装置１へその旨を出力する。

画像表示システムＳＹが備える、画像処理装置１は、情報取得部２、画像処理部３、制御部６、及び、情報出力部７などを備える。

情報取得部２は、例えば、インターフェースであり、カメラ９〜１２が撮影して出力する撮影画像、カメラスイッチ１３が出力するオン／オフ信号、シフトポジションセンサ１４が出力するシフト位置信号、右サイド超音波センサ１５が出力する超音波受信信号、及び、左サイド超音波センサ１６が出力する超音波受信信号などを取得する。

情報出力部７は、例えば、インターフェースであり、画像処理部３が生成した表示すべき表示画像をディスプレイ８へ出力して表示させる。更に、情報出力部７は、制御部６が駐車制御装置１８へ車両１９を自動で駐車させる指示を出力して車両１９を自動駐車させる。

画像処理部３は、画像生成部４、指標重畳部５などを備える。画像処理部３は、例えば、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）などのハードウェア回路である。画像生成部４は、カメラ９〜１２が撮影して得た複数の撮影画像に基づいて表示すべき表示画像を生成する。即ち、画像生成部４は、カメラ９〜１２が撮影して得た複数の撮影画像に基づいて、仮想視点から見た車両１９及び車両１９の周辺の様子を示す合成画像を生成する。画像生成部４が合成画像を生成する詳細な方法については後述する。

指標重畳部５は、車両１９を縦列駐車する場合の駐車開始位置において車両１９の側面と他の物体、例えば、他の駐車車両との間隔として必要な間隔を示す指標を合成画像へ重畳する。指標重畳部５が、指標を合成画像へ重畳する詳細な方法については後述する。

制御部６は、演算部６ａ、不揮発性記憶部６ｂ、及び、揮発性記憶部６ｃなどを備える。制御部６は、例えば、マイクロコンピュータである。演算部６ａは、例えば、ＣＰＵである。不揮発性記憶部６ｂは、例えば、ＲＯＭである、揮発性記憶部６ｃは、例えば、ＲＡＭである。制御部６は、演算部６ａが不揮発性記憶部６ｂに記憶されている種々の機能を発揮するためのプログラムを実行する。また、制御部６は、そのプログラムを発揮するために揮発性記憶部６ｃをワーキングエリアとして利用する。

演算部６ａは、指示部６ａａを備える。指示部６ａａは、情報出力部７を介して駐車制御装置１８へ車両１９を自動で駐車させる指示を出力して車両１９を自動駐車させる。指示部６ａａが駐車制御装置１８へ指示する詳細な方法については後述する。

駐車制御装置１８は、例えば、図示しない車両１９に備わるエンジン制御装置やブレーキ制御装置ステアリング制御装置などにより構成される。駐車制御装置１８は、エンジン、ブレーキ、及び、ステアリングなどを制御して車両１９を駐車スペースへ駐車させる制御を実行する。

＜画像生成処理＞
ここで、画像処理部３が備える画像生成部４が合成画像を生成する詳細な方法について詳細に説明する。

画像処理装置１が備える情報取得部２は、カメラ９〜１２が撮影した、図４に示すような、撮影画像Ｐ１〜Ｐ４をカメラ９〜１２より取得する。情報取得部２は、取得した撮影画像Ｐ１〜Ｐ４を画像処理部３へ出力する。

画像処理部３は、入力した撮影画像Ｐ１〜Ｐ４を図示しない揮発性記憶部へ記憶する。

画像処理部３が備える画像生成部４は、図示しない揮発性記憶部に記憶された、撮影画像Ｐ１〜Ｐ４を、図４に示すような、仮想的な三次元空間における立体曲面ＳＰに投影する。立体曲面ＳＰは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両１９が存在する位置として定められている。撮影画像Ｐ１〜Ｐ４に含まれる各画素の位置と、この立体曲面ＳＰの各画素の位置とは予め対応関係が定められている。このため、立体曲面ＳＰの各画素の値は、この対応関係と撮影画像Ｐ１〜Ｐ４に含まれる各画素の値とに基づいて決定される。

撮影画像Ｐ１〜Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係は、車両１９における４つの車載カメラであるカメラ９〜１２の配置（相互間距離、地上高さ、光軸角度等）に依存する。このため、この対応関係を示すテーブルデータが、図示しない不揮発性記憶部に記憶された車種別データに含まれている。

また、車種別データに含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両１９の三次元形状を示すポリゴンモデルである車両の像が仮想的に構成される。構成された車両の像は、立体曲面ＳＰが設定される三次元空間において、車両１９の位置と定められた略半球状の中心部分に配置される。

さらに、立体曲面ＳＰが存在する三次元空間に対して、画像生成部４により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両１９の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。

そして、設定された仮想視点ＶＰに応じて、立体曲面ＳＰにおける必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＳＰにおける必要な領域との関係は予め定められており、テーブルデータとして図示しない不揮発性記憶部等に予め記憶されている。一方で、設定された仮想視点ＶＰに応じてポリゴンのモデルに関してレンダリングがなされ、その結果となる二次元の車両１９の像が、切り出された画像に対して重畳される。これにより、車両１９及びその車両１９の周辺を任意の仮想視点ＶＰからみた様子を示す合成画像が生成されることになる。

例えば、視点位置が車両１９の位置の略中央の直上で、視野方向が直下方向とした仮想視点ＶＰａを設定した場合は、車両１９の略直上から車両１９を見下ろすように、車両１９及び車両１９の周辺の領域を示す合成画像ＣＰａが生成される。また、図中に示すように、視点位置が車両１９の位置の左後方で、視野方向が車両１９における略前方方向とした仮想視点ＶＰｂを設定した場合は、車両１９の左後方からその周辺全体を見渡すように、車両１９及び車両１９の周辺の領域を示す合成画像ＣＰａが生成される。

なお、実際に合成画像を生成する場合においては、立体曲面ＳＰの全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して必要となる領域の画素の値のみを撮影画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。

画像処理装置１では、このような画像生成部４の機能を利用することで、車両１９の周辺の任意の視点からみた合成画像を生成して、ディスプレイ８へ生成した合成画像ＣＰａを出力して表示させることができる。

＜自動縦列駐車制御処理＞
ここで、駐車制御装置１８が実行する自動駐車制御の詳細な処理について説明する。

一般に、縦列駐車は、例えば、図５に示すように、車両１９が走行する走行路に設定された車両の駐車可能エリアにおいて、ユーザが車両１９を既に駐車されている駐車車両２０と駐車車両２１の間に存在する駐車スペースに駐車させることをいう。

つまり、ユーザは車両１９を図５に示すＡの位置からＢの位置へ移動させるとともに、Ｂの位置において一旦停車させる。このとき、車両１９は駐車可能エリアにおいて既に駐車されている駐車車両２１の隣に位置する。そして、ユーザは車両１９を後進させつつ方向を変えてＣの位置へ移動させて駐車させる。このとき、車両１９は駐車車両２０と駐車車両２１との間の駐車スペースへ収まる。即ち、車両１９は駐車車両２０と駐車車両２１との間の駐車スペースへ、駐車車両２０や駐車車両２１などと同列（縦列）にして駐車される。

この縦列駐車の一部を、駐車制御装置１８が、車両１９を自動で縦列駐車させる。まず、ユーザは、車両１９を図５に示すＡの位置においてタッチパネルディスプレイであるディスプレイ８に表示された自動縦列駐車を開始することを受け付けるユーザスイッチ１７をタッチする。

タッチパネルディスプレイであるディスプレイ８は、表示したユーザスイッチ１７がタッチされたことを検知してその旨の信号を画像処理装置１へ出力する。

その旨の信号を受信した画像処理装置１は、駐車制御装置１８へ自動縦列駐車制御の実行をするように指示する。つまり、画像処理装置１は、ユーザ操作に応じて、駐車制御装置１８へ自動縦列駐車制御の実行をするように指示する。

（駐車スペース推定処理）
駐車制御装置１８は、画像処理装置１から自動縦列駐車制御の実行をするよう指示を受けたため、右サイド超音波センサ１５及び左サイド超音波センサ１６を用いて駐車スペース推定処理を実行する。

駐車スペース推定処理とは、ユーザが図５に示すＡの位置からＢの位置へと車両１９を移動させた際に、それら超音波センサを用いて駐車スペースを推定する処理をいう。

例えば、図６に示すように、ユーザがＡの位置からＢの位置へと車両１９を移動させた際に、車両１９に備わる右サイド超音波センサ１５のセンシング範囲ＳＳ１及び左サイド超音波センサ１６のセンシング範囲ＳＳ２において他の物体、例えば、駐車車両などが存在するか否かを検知する。

つまり、駐車制御装置１８は、それら超音波センサによって超音波を送信し、超音波を送信したときから所定時間内に、物体に当たって跳ね返った送信超音波を受信した場合に何らかの物体が存在することを検知する。それら超音波センサの送信距離は、例えば、２ｍである。即ち、駐車制御装置１８は、車両１９の両サイドから２ｍ先までに他の物体が存在するか否かを検知することができる。

従って、駐車制御装置１８は、ユーザが図５に示すＡの位置からＢの位置へと車両１９を移動させた際に、車両１９の両サイドから２ｍ先までの他の物体の存在の有無を認識することができる。

図６において、駐車制御装置１８は、車両１９がＡの位置から少し進んだ位置において駐車車両２０の存在を認識する。駐車制御装置１８は、駐車車両２０の認識したあとにおいては他の物体の存在を認識しない。駐車制御装置１８は、車両１９がＢの位置において駐車車両２０の存在を認識する。駐車制御装置１８は、駐車車両２０と駐車車両２１とを認識するとともに駐車車両２０と駐車車両２１との間のエリアに他の物体を認識しなかったため、駐車車両２０と駐車車両２１との間に駐車スペースＳＰが存在することを推定する。

更に、駐車制御装置１８は、図示しない車速センサから受信した車速と自らが備えるタイマーにより計測した時間とに基づいて駐車車両２０及び駐車車両２１の縦の長さや駐車スペースＳＰの縦の距離を認識する。

（後進駐車制御処理）
ユーザは、車両１９をＡの位置からＢの位置へ移動させて、Ｂの位置において一旦停車させる。そして、ユーザは、車両１９のシフトをＢの位置において車両１９を前進させるシフトポジション”Ｄ”から後進させるシフトポジション”Ｒ”へ変更させる。

画像処理装置１は、シフトポジションセンサ１４からシフトポジションを示す信号”Ｒ”を受信したため、後進駐車制御を開始することを受け付けるユーザスイッチ１７をタッチパネルディスプレイであるディスプレイ８へ表示する。

タッチパネルディスプレイであるディスプレイ８は、表示したユーザスイッチ１７がユーザによりタッチされたことを検知してその旨の信号を画像処理装置１へ出力する。

画像処理装置１は、その旨の信号を受信したあとに駐車制御装置１８へ後進駐車制御の実行をするように指示する。つまり、画像処理装置１は、車両１９のシフト位置が”Ｒ”である場合に駐車制御装置１８へ後進駐車制御の実行をするように指示する。

画像処理装置１から後進駐車制御の実行指示を受けた駐車制御装置１８は、認識した駐車車両２０、駐車車両２１、及び、駐車スペースＳＰの存在とともに、認識した駐車車両２０の縦の長さ、駐車車両２１の縦の長さ、及び、駐車スペースＳＰの縦の距離に基づいて、車両１９に備わるエンジン、ブレーキ、ステアリングを制御して駐車スペースＳＰへ車両１９を後進させて駐車させる。

つまり、駐車制御装置１８が実行する自動縦列駐車制御とは、ユーザが縦列駐車するためにシフトポジションを”Ｒ”に入れるために一旦停車させる位置へ車両１９を移動させる際に、駐車制御装置１８が駐車スペースを推定することをいう。更に、駐車制御装置１８が実行する自動縦列駐車制御とは、車両１９を自動で縦列駐車させるとは、ユーザにより車両１９のシフトポジションを”Ｒ”に変更されて後進駐車制御の指示を受けた場合に、車両１９をエンジン、ブレーキ、ステアリングを制御して推定した駐車スペースへ駐車させることをいう。

しかし、駐車制御装置１８が実行するこのような自動縦列駐車制御においては、ユーザが車両１９を縦列駐車させる際に一旦停車させた位置における車両１９と他の物体との間隔、例えば、車両１９を一旦停車させた位置と他の駐車車両との間隔が不適切な場合は、その後に駐車制御装置１８が後進駐車制御を実行しても適切に縦列駐車させることができない虞がある。

つまり、図７に示すように、ユーザが車両１９をＢの位置において駐車車両２１との間隔を狭くした状態で一旦停車させてしまった場合は、駐車制御装置１８が、車両１９を駐車スペースＳＰへ駐車車両２１などと同列に駐車させようとして、車両１９を後進させつつステアリングを制御するとＤの位置において駐車車両２１と接触してしまう虞がある。

他方で、図８に示すように、ユーザが車両１９をＢの位置において駐車車両２１との間隔を狭くした状態で一旦停車させた場合に、駐車制御装置１８が駐車車両２１と接触しないように車両１９を後進させならステアリングを制御すると、駐車スペースＳＰのＥの位置において車両１９を駐車車両２０や駐車車両２１などと同列（縦列）に駐車させることができない。

従って、ユーザは、車両１９を適切に縦列駐車させる場合には、車両１９を一旦停車させる位置、即ち、駐車制御装置１８が実行する後進駐車制御を開始する位置（以降、駐車開始位置という）において、車両１９の側面と他の物体との間隔として必要な間隔を確保させる必要がある。

＜指標重畳処理＞
ユーザが車両１９を駐車車開始位置においてその間隔を確保させることができるように、画像処理装置１は以降の処理を実行させる。

画像処理装置１が備える指標重畳部５は、車両１９を縦列駐車する場合の駐車開始位置において車両１９の側面と他の物体との間隔として必要な間隔を示す指標を、画像生成部４が生成した合成画像ＣＰａへ重畳する。

図９に示すように、指標ＳＨは、車両１９の像の前後方向と平行するラインＳＨ１を備える。更に、指標ＳＨは、ラインＳＨ１と直交するラインＳＨ２を備える。

そして、指標重畳部５は、図１０に示すように、合成画像ＣＰａ１において指標ＳＨが備えるラインＳＨ１を合成画像ＣＰａ１に含まれる車両１９の像の側面から所定距離を離間させた位置、例えば、車両１９の側面から１ｍ離間していると考えられる位置へ重畳させる。つまり、指標ＳＨは、表示画像である合成画像ＣＰａ１において、合成画像ＣＰａ１に含まれる車両１９の像を基準とした相対的な位置に表示される。

更に、指標重畳部５は、合成画像ＣＰａにおいてラインＳＨ２を車両１９の像の先端付近及び後端付近の何れかへ重畳させる。

ユーザが図５に示すＡの位置からＢの位置へ車両１９を移動させたとき、即ち、車両１９を駐車開始位置へ移動させるときに、画像処理装置１が指標ＳＨを合成画像ＣＰａへ重畳させる方法について説明する。

まず、図１０に示す合成画像ＣＰａ１は、ユーザが車両１９を縦列駐車させる際の図５に示すＡの位置において、車両１９に備わるカメラ９〜１３が撮影した撮影画像に基づいて画像処理装置１が備える画像生成部４が生成した合成画像ＣＰａである。

指標重畳部５は、生成された合成画像ＣＰａ１に含まれる車両１９の像の側面から所定距離を離間させた位置に指標ＳＨが備えるラインＳＨ１を重畳させる。更に、指標重畳部５は、生成された合成画像ＣＰａ１に重畳されたラインＳＨ１と直交するラインＳＨ２を車両１９の像の前端部の位置へ重畳させる。

図１０に示す合成画像ＣＰａ１に映る駐車車両２０は、ユーザが車両１９を一旦停車させる位置、即ち、駐車開始位置の付近に存在する他の物体である駐車車両２１と同列であるため、駐車車両２０は車両１９が適切な駐車開始位置へ一旦停車させる際の目安となる。このため、ユーザは、ディスプレイ８に映る合成画像ＣＰａ１に含まれる駐車車両２０の側面と、車両１９の指標ＳＨに備わるラインＳＨ１とを一致させるように車両１９を運転すれば、駐車車両２０と同列に駐車されている駐車車両２１の隣に存在する適切な駐車開始位置へ車両１９を停車させることができる。

次に、図１１に示す合成画像ＣＰａ２は、ユーザが車両１９を縦列駐車させる際の図５に示すＡの位置とＢの位置の間において、車両１９に備わるカメラ９〜１３が撮影した撮影画像に基づいて画像処理装置１が備える画像生成部４が生成した合成画像ＣＰａである。

指標重畳部５は、生成された合成画像ＣＰａ２に含まれる車両１９の像の側面から所定距離を離間させた位置に指標ＳＨが備えるラインＳＨ１を重畳させる。更に、指標重畳部５は、生成された合成画像ＣＰａ１に重畳されたラインＳＨ１と直交するラインＳＨ２を車両１９の像の前端部の位置へ重畳させる。

図１１に示す合成画像ＣＰａ２には、駐車車両２０と駐車車両２１とが映るとともにユーザが駐車しようとする駐車スペースが映る。ユーザは、既に、ディスプレイ８に映っていた合成画像ＣＰａ１に含まれる、車両１９を適切な位置に一旦停車させるための目安となる駐車車両２０の側面と指標ＳＨが備えるラインＳＨ１を一致させつつ車両１９を運転していたため、ディスプレイ８に映る合成画像ＣＰａ２に含まれる駐車車両２１の側面とラインＳＨ１とは略一致する。

しかし、駐車車両２１の側面と、駐車車両２０の側面とは必ずしも同一線上に存在するするとは限らない。つまり、駐車車両２１と駐車車両２０とが同列には駐車されているが、比較的大きくズレて縦列に駐車されている場合がある。

この場合でも、ユーザは、ディスプレイ８に映る図１１に示す合成画像ＣＰａ２を参考にして、合成画像ＣＰａ２に含まれる駐車車両２１の側面と指標ＳＨが備えるラインＳＨ１とを一致させるように車両１９を運転すれば、駐車車両２１の隣に存在する適切な駐車開始位置へ車両１９を停車させることができる。

次に、図１２に示す合成画像ＣＰａ３は、ユーザが車両１９を縦列駐車させる場合の図５に示すＢの位置へ車両１９を移動させて一旦停車させているときに、車両１９に備わるカメラ９〜１３が撮影した撮影画像に基づいて画像処理装置１が備える画像生成部４が生成した合成画像ＣＰａである。

指標重畳部５は、生成された合成画像ＣＰａ３に含まれる車両１９の像の側面から所定距離を離間させた位置に指標ＳＨが備えるラインＳＨ１を重畳させる。更に、指標重畳部５は、生成された合成画像ＣＰａ１に重畳されたラインＳＨ１と直交するラインＳＨ２を車両１９の像の後端部の位置へ重畳させる。

図１２に示す合成画像ＣＰａ３には、駐車車両２１が映る。ユーザは、既に、ディスプレイ８に映っていた合成画像ＣＰａ２に含まれる駐車車両２１の側面と指標ＳＨが備えるラインＳＨ１を一致させつつ車両１９を運転していたため、ディスプレイ８に映る合成画像ＣＰａ３に含まれる駐車車両２１の側面とラインＳＨ１とは略一致する。

このように、ユーザは、ディスプレイ８に映る合成画像ＣＰａ３に含まれる駐車車両２１の側面と、車両１９の指標ＳＨに備わるラインＳＨ１とを一致させるように車両１９を運転すれば、駐車車両２１の隣に存在する適切な駐車開始位置へ車両１９を停車させることができる。更に、ユーザは、ディスプレイ８に映る合成画像ＣＰａ３に含まれる駐車車両２１の後端部と、車両１９の指標ＳＨに備わるラインＳＨ２とを一致させるように車両１９を停車すれば、駐車車両２１の隣に存在する適切な駐車開始位置へ車両１９を停車させることができる。

＜指標重畳停止処理＞
ユーザは、適切な駐車開始位置へ車両１９を停車させたあとに、前述したように、車両１９のシフトを車両１９を前進させるシフトポジション”Ｄ”から後進させるシフトポジション”Ｒ”へ変更させる。

画像処理装置１は、その旨の信号を受信したあとに駐車制御装置１８へ後進駐車制御の実行をするように指示する。更に、画像処理装置１は、その旨の信号を受信した場合に、合成画像ＣＰａへ指標ＳＨを重畳する処理を停止する。

つまり、画像処理装置１は、車両１９のシフト位置が”Ｒ”である場合に駐車制御装置１８へ後進駐車制御の実行をするように指示するとともに、合成画像ＣＰａへ指標ＳＨを重畳する処理を停止する。

つまり、図１３、図１４、及び、図１５に示すように、画像処理装置１が備える画像生成部４は、駐車制御装置１８により後進駐車制御処理を実行されて車両１９が駐車開始位置から駐車スペースへ駐車される際の合成画像ＣＰａ４、ＣＰａ５、ＣＰａ６を生成する。

このとき、画像処理装置１が備える指標重畳部５は合成画像ＣＰａ４へ指標ＳＨを重畳する処理を停止しているため、合成画像ＣＰａ４には指標ＳＨは含まれない。

このため、ユーザは、ディスプレイ８に映る合成画像ＣＰａにおいて、車両１９が駐車制御装置１８によって駐車開始位置から駐車スペースへ駐車される際に不要になって目障りとなる指標ＳＨが表示されないため、駐車制御装置１８による後進駐車が適切にされるかどうかを確認しやすくなる。

＜画像処理のフロー＞
次に、画像処理装置１が実行する処理の流れを図１６に示す処理フローに基づいて詳細に説明する。

なお、画像処理装置１は、ユーザに操作により電源が投入され、ユーザによりカメラスイッチ１３が操作された場合に、図１６に示す処理フローを所定の周期で実行し、ユーザ操作により電源が切断された場合に、その処理フローを終了する。

まず、画像処理装置１が備える画像処理部３はカメラ９〜１３が撮影した画像を情報取得部２を介して取得する（ステップＳ１）。

次に、画像処理装置１が備える画像処理部３の画像生成部４は、取得した撮影画像に基づいて前述した表示すべき画像である合成画像ＣＰａを生成する（ステップＳ２）。

次に、画像処理装置１が備える制御部６の演算部６ａは、シフトポジションセンサ１４から受信したシフトポジション信号を情報取得部２を介して取得する。そして、演算部６ａは、受信したシフトポジション信号が”Ｒ”を示すかどうかを判定する。シフトポジション信号が”Ｒ”を示すと判定する場合はステップＳ５へ移行する（ステップＳ３においてＹＥＳ）。シフトポジション信号が”Ｒ”を示すと判定しない場合はステップＳ４へ移行する（ステップＳ３においてＮＯ）。

演算部６ａが、シフトポジション信号が”Ｒ”を示すと判定しない場合は画像処理装置１が備える画像処理部３の指標重畳部５が前述した指標重畳処理を実行して、合成画像ＣＰａへ指標ＳＨを重畳する（ステップＳ４）。

次に、画像処理装置１が備える画像処理部３は、指標ＳＨが重畳された合成画像ＣＰａを情報出力部７へ出力する処理を実行する（ステップＳ６）。

次に、画像処理装置１はエンドに移行して処理を終了させる。

また、演算部６ａが、シフトポジション信号が”Ｒ”を示すと判定する場合は画像処理装置１が備える制御部６における演算部６ａの指示部６ａａが、前述したように、駐車制御装置１８へ自動縦列駐車制御の実行をするように指示する。画像処理装置１からその指示を受けた駐車制御装置１８は、前述したように、駐車スペース推定処理、及び、後進駐車制御処理を実行する（ステップＳ５）。

次に、画像処理装置１が備える画像処理部３は、指標ＳＨが重畳された合成画像ＣＰａを情報出力部７へ出力する処理を実行する（ステップＳ６）。これにより、画像処理装置１は、ディスプレイ８へ指標ＳＨが重畳された合成画像ＣＰａを表示させることができる。

＜第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態においては、主に、第１の実施の形態と相違する構成及び処理について説明する。

第１の実施の形態では、ユーザが車両１９を縦列駐車させるために、車両１９を一旦停車させたあとに、駐車制御装置１８が後進駐車制御を実行して車両１９を駐車させると説明したが、第２の実施の形態においては、車両１９には駐車制御装置１８を備えていない替わりに、ユーザが車両１９を縦列駐車させる際にユーザの運転を支援する機能が備わっている。なお、車両１９は駐車制御装置１８を備えていないが、通常のエンジン制御装置やブレーキ制御装置などについては搭載している。

従って、主に、画像処理装置１に備わる、ユーザが車両１９を縦列駐車させるために車両１９を一旦停車させたあとのユーザの運転を支援する機能について詳細に説明する。

＜システム構成＞
まず、第２の実施の形態の画像表示システムの構成を図１７に基づいて説明する。第２の実施の形態の車両１９は、基本的には第１の実施の形態の画像表示システムと同じであるが、駐車制御装置１８を備えない点が主に相違する。これに伴って、車両１９には、右サイド超音波センサ、及び、左サイド超音波センサを備えない。更に、画像処理装置１は自らが備える制御部６における演算部６ａに指示部を備えない。即ち、車両１９は、車両１９を自動で縦列駐車させる機能を発揮させる装置を備えない。

他方で、車両１９が備える画像処理装置１は、ユーザが車両１９を縦列駐車させる際におけるユーザの運転を支援する機能を主に発揮する走行経路重畳部５ｂを、自らが備える画像処理部３における重畳部５に搭載している。

＜走行経路重畳処理＞
ユーザは、前述したように、適切な駐車開始位置へ車両１９を一旦停車させたあとに、車両１９に備わるシフトを車両１９を前進させるシフトポジション”Ｄ”から後進させるシフトポジション”Ｒ”へ変更させる。

画像処理装置１は、シフトポジションセンサ１４からシフトポジションを示す信号”Ｒ”を受信した場合に、ユーザの運転を支援する機能を開始させることを受け付けるユーザスイッチ１７をタッチパネルディスプレイであるディスプレイ８へ表示する。

タッチパネルディスプレイであるディスプレイ８は、表示したユーザスイッチ１７がユーザによりタッチされたことを検知した場合に、その旨の信号を画像処理装置１へ出力する。

画像処理装置１が備える重畳部５の走行経路重畳部５ｂは、その旨の信号を受信した場合に、画像生成部４が生成した合成画像ＣＰａへ、駐車開始位置から駐車スペースＳＰへ車両１９を導く経路、即ち、走行経路を示す指標を重畳する。つまり、画像処理装置１は、ユーザ操作に応じて合成画像ＣＰａへ走行経路を示す指標を重畳する。

図１８に示す合成画像ＣＰａ１０は、ユーザが車両１９を縦列駐車させる場合の図５に示すＢの位置へ車両１９を移動させて一旦停車させているときに、車両１９に備わるカメラ９〜１３が撮影した撮影画像に基づいて、画像処理装置１が備える画像生成部４が生成した合成画像ＣＰａである。

指標重畳部５ａは、前述したように、生成された合成画像ＣＰａ１０に含まれる車両１９の像の側面から所定距離を離間させた位置へ指標ＳＨが備えるラインＳＨ１を重畳させる。更に、指標重畳部５ａは、生成された合成画像ＣＰａ１０に重畳されたラインＳＨ１と直交するラインＳＨ２を車両１９の像の後端部の位置へ重畳させる。

走行経路重畳部５ｂは、生成された合成画像ＣＰａ１０において、合成画像ＣＰａ１０に含まれる車両１９の像の後端部であってラインＳＨ２よりも所定距離を駐車スペース方向へ離間させた位置へ走行経路を示す指標ＲＴを重畳する。

走行経路を示す指標ＲＴは、例えば、図１８に示すようなコの字のラインにより構成される。ユーザは、ディスプレイ８に表示された走行経路を示す指標ＲＴが重畳された合成画像ＣＰａ１０を参考にして車両１９を運転する。即ち、ユーザは、車両１９の移動とともに移動するように見えるディスプレイ８に映る車両１９の像の後端部を、合成画像ＣＰａ１０に含まれ、かつ、他の表示内容と相対的に固定して表示される走行経路を示す指標ＲＴのコの字型のラインの凹み部分に一致させるように車両１９を運転する。

画像生成部４は、そのような車両１９の移動に伴って変化する合成画像ＣＰａを所定の周期ごとに生成する。更に、走行経路重畳部５ｂは、車両１９の像の後端部が走行経路を示す指標ＲＴのコの字型のラインの凹み部分に一致するたびに、新たな走行経路を示す指標ＲＴを合成画像ＣＰａ１１へ重畳させる。そして、画像処理装置１は、情報出力部７を介して、そのような走行経路を示す指標ＲＴが重畳された合成画像ＣＰａを所定の周期ごとにディスプレイ８へ出力して表示させる。

このようにすれば、ディスプレイ８に表示される合成画像ＣＰａは、例えば、図１８に示す合成画像ＣＰａ１０から、図１９に示す合成画像ＣＰａ１１へと遷移する。更に、合成画像ＣＰａは、図１９に示す合成画像ＣＰａ１１から図２０に示す合成画像ＣＰａ１２へと遷移する。

また、ディスプレイ８に表示される合成画像ＣＰａに重畳される走行経路を示す指標ＲＴは、図１８に示す走行経路を示す指標ＲＴから図１９に示す走行経路を示す指標ＲＴへと遷移する。更に、走行経路を示す指標ＲＴは、図１９に示す走行経路を示す指標ＲＴから図２０に示す走行経路を示す指標ＲＴへと遷移する。

つまり、ユーザが車両１９を運転することによって移動するように見えるディスプレイ８の車両１９の像の後端部を、合成画像ＣＰａ１０に含まれ、かつ、他の表示内容と相対的に固定される走行経路を示す指標ＲＴのコの字型のラインの凹み部分へ一致させると、画像処理装置１は、新たな走行経路を示す指標ＲＴをディスプレイ８に映る合成画像ＣＰａへ重畳する。

画像処理装置１は、このような処理を車両１９が駐車スペースＳＰへ移動されるまで行う。

このため、ユーザは、車両１９の移動に連動するように見えるディスプレイ８の車両１９の像を更新表示される走行経路を示す指標ＲＴに辿らせるように車両１９を運転すれば、車両１９を駐車スペースへ適切に縦列駐車させることができる。

＜処理フロー＞
次に、画像処理装置１が実行する処理の流れを図２１に示す処理フローに基づいて詳細に説明する。

なお、画像処理装置１は、ユーザに操作により電源が投入され、ユーザによりカメラスイッチ１３が操作された場合に、図２１に示す処理フローを所定の周期で実行し、ユーザ操作により電源が切断された場合に、その処理フローを終了する。

まず、画像処理装置１が備える画像処理部３はカメラ９〜１３が撮影した画像を情報取得部２を介して取得する（ステップＳ１０）。

次に、画像処理装置１が備える画像処理部３の画像生成部４は、前述したように取得した撮影画像に基づいて表示すべき画像である合成画像ＣＰａを生成する（ステップＳ１１）。

次に、画像処理装置１が備える制御部６の演算部６ａは、シフトポジションセンサ１４から受信したシフトポジション信号を情報取得部２を介して取得する。そして、演算部６ａは、受信したシフトポジション信号が”Ｒ”を示すかどうかを判定する。シフトポジション信号が”Ｒ”を示すと判定する場合はステップＳ１４へ移行する（ステップＳ１２においてＹＥＳ）。シフトポジション信号が”Ｒ”を示すと判定しない場合はステップＳ１３へ移行する（ステップＳ１２においてＮＯ）。

演算部６ａが、シフトポジション信号が”Ｒ”を示すと判定しない場合は画像処理装置１が備える画像処理部３の指標重畳部５ａが前述した指標重畳処理を実行して、合成画像ＣＰａへ指標ＳＨを重畳する（ステップＳ１３）。

次に、画像処理装置１が備える画像処理部３は、指標ＳＨが重畳された合成画像ＣＰａを情報出力部７へ出力する処理を実行する（ステップＳ１５）。

また、演算部６ａが、シフトポジション信号が”Ｒ”を示すと判定する場合は画像処理装置１が備える制御部６における演算部６ａが、画像処理部３へその旨を示す信号を出力する。画像処理部３が備える走行経路重畳部５ｂは、その旨の信号を受信した場合に前述した走行経路重畳処理を実行する（ステップＳ１４）。

次に、画像処理装置１が備える画像処理部３は、走行経路を示す指標ＲＴが重畳された合成画像ＣＰａを情報出力部７へ出力する処理を実行する（ステップＳ１５）。これにより、画像処理装置１は、ディスプレイ８へ走行経路を示す指標ＲＴが重畳された合成画像ＣＰａを表示させることができる。

＜第３の実施の形態＞
次に、第３の実施の形態について説明する。第３の実施の形態においては、主に、第１の実施の形態と異なる処理について説明する。

第１の実施の形態では、ユーザが車両１９を縦列駐車させる場合について説明したが、第３の実施の形態においては、ユーザが車両１９を車庫へ駐車する（以降、車庫入れという）場合について説明する。なお、車庫とは、車両１９を収容するための建物、または、駐車場における駐車ラインに囲まれた駐車スペースを含む。

従って、ユーザが車両１９を車庫入れする場合において、画像処理装置１がその車庫入れを支援する機能、即ち、画像処理装置１が実行する自動車庫入制御処理について詳細に説明する。

＜自動車庫入制御処理＞
まず、駐車制御装置１８は、例えば、図示しないエンジン制御装置やブレーキ制御装置などにより構成される。駐車制御装置１８は、ユーザが車両１９を図２２に示すような車庫入れをさせる際に、車両１９をユーザが所望する駐車スペースへ自動で駐車させる機能を発揮する。

一般に、車両１９の車庫入れは、例えば、図２２に示すように、駐車場に敷かれた駐車ラインＬにより囲まれた駐車エリアにおいて、既に駐車されている駐車車両２０と駐車車両２１の間の駐車スペースへユーザが車両１９を駐車させることをいう。

つまり、ユーザは車両１９を図２２に示すＦの位置からＧの位置へ移動させるとともに、Ｇの位置において一旦停車させる。このとき、車両１９は駐車エリアにおいて既に駐車されている駐車車両２３の前方に位置する。そして、ユーザは車両１９を後進しつつ方向を変えてＨの位置へ移動させて駐車させる。このとき、車両１９は駐車車両２２と駐車車両２３との間の駐車スペースへ収まる。即ち、車両１９は駐車車両２２と駐車車両２３との間の駐車スペースへ駐車車両２２や駐車車両２３などと同列（並列）にして駐車される。

駐車制御装置１８がこの車庫入れの一部を自動で行う。まず、ユーザは車両１９を図２２に示すＦの位置においてタッチパネルディスプレイであるディスプレイ８に表示された自動で車庫入れを開始することを受け付けるユーザスイッチ１７をタッチする。

その旨の信号を受信した画像処理装置１は、駐車制御装置１８へ自動車庫入制御の実行をするように指示する。つまり、画像処理装置１は、ユーザ操作に応じて駐車制御装置１８へ自動車庫入制御の実行をするように指示する。

（駐車スペース推定処理）
駐車制御装置１８は、画像処理装置１から自動車庫入制御の実行をするよう指示を受けたため、右サイド超音波センサ１５及び左サイド超音波センサ１６を用いて駐車スペース推定処理を実行する。

駐車スペース推定処理とは、ユーザが車両１９を図２２に示すＦの位置からＧの位置へと移動させた際に、それら超音波センサを用いて駐車スペースを推定する処理をいう。

例えば、図２３に示すように、ユーザが車両１９をＦの位置からＧの位置へと移動させた際に、車両１９に備わる右サイド超音波センサ１５のセンシング範囲ＳＳ１及び左サイド超音波センサ１６のセンシング範囲ＳＳ２において他の物体、例えば、駐車車両などが存在するか否かを検知する。

つまり、駐車制御装置１８は、それら超音波センサによって超音波を送信し、超音波を送信したときから所定時間内に、物体に当たって跳ね返った送信した超音波を受信した場合に物体が存在することを検知する。それら超音波センサの送信距離は、例えば、２ｍである。即ち、駐車制御装置１８は、車両１９の両サイドから２ｍ先までに他の物体が存在するか否かを検知することができる。

従って、駐車制御装置１８は、ユーザが図２２に示すＦの位置からＧの位置へと車両１９を移動させた際に、車両１９の両サイドから２ｍ先までの他の物体の存在の有無を認識することができる。

図２２において、駐車制御装置１８は、車両１９がＦの位置において駐車車両２２の存在を認識する。駐車制御装置１８は、駐車車両２２の認識したあとにおいては他の物体の存在を認識しない。駐車制御装置１８は、車両１９がＧの位置より少し前において駐車車両２３の存在を認識する。駐車制御装置１８は、駐車車両２２と駐車車両２３とを認識するとともに駐車車両２２と駐車車両２３との間のエリアに他の物体を認識しなかったため、駐車車両２２と駐車車両２３との間に駐車スペースＳＰが存在することを推定する。

更に、駐車制御装置１８は、図示しない車速センサから受信した車速と自らが備えるタイマーにより計測した時間とに基づいて駐車車両２０及び駐車車両２１の横の長さや駐車スペースＳＰの横の距離を認識する。

更に、図２２に示すＧの位置において、画像処理装置１は、車両１９の後方に搭載されたリヤカメラ１２が取得した撮影画像に基づいて、車両１９後方の駐車スペースＳＰを推定する。つまり、画像処理装置１は、図２４に示すような撮影画像により駐車ラインＬ及び駐車車両２２や駐車車両２３などを認識する。画像処理装置１は、画像認識により駐車スペースＳＰを推定した場合は、そのデータを駐車制御装置１８へ出力する。

駐車場に駐車されている他の駐車車両に基づいて駐車スペースＳＰを推定する超音波センサでは、駐車場に他の駐車車両が存在しない場合には駐車スペースＳＰを推定することができないが、このような画像認識によれば駐車ラインＬを認識することによって駐車スペースＳＰを推定することができる。

（後進駐車制御処理）
ユーザは、車両１９を図２２に示すＦの位置からＧの位置へ移動させて、Ｈの位置において一旦停車させる。そして、ユーザは、車両１９のシフトをＧの位置において車両１９を前進させるシフトポジション”Ｄ”から後進させるシフトポジション”Ｒ”へ変更させる。

画像処理装置１は、その旨の信号を受信したあとに駐車制御装置１８へ後進駐車制御の実行をするように指示する。つまり、画像処理装置１は、ユーザ操作に応じて駐車制御装置１８へ後進駐車制御の実行をするように指示する。

画像処理装置１から後進駐車制御の実行指示を受けた駐車制御装置１８は、認識した駐車車両２２、駐車車両２３、及び、駐車スペースＳＰの存在とともに、認識した駐車車両２２の横の長さ、駐車車両２３の横の長さ、及び、駐車スペースＳＰの横の距離に基づいて、車両１９に備わるエンジン、ブレーキ、及び、ステアリングを制御して駐車スペースＳＰへ車両１９を後進させて駐車させる。

つまり、駐車制御装置１８が実行する自動車庫入制御とは、ユーザが車庫入れするためにシフトポジションを”Ｒ”に入れるために一旦停車させる位置へ車両１９を移動させる際に、駐車制御装置１８が駐車スペースＳＰを推定することをいう。更に、駐車制御装置１８が実行する自動車庫入制御とは、車両１９を自動で車庫入れさせるとは、ユーザによって車両１９のシフトポジションが”Ｒ”に変更されて後進駐車制御の指示を受けた場合に、エンジン、ブレーキ、ステアリングを制御して推定した駐車スペースＳＰへ車両１９を駐車させることをいう。

しかし、駐車制御装置１８が実行するこのような自動車庫入制御において、ユーザが車両１９を車庫入れさせる際に一旦停車させた位置と他の物体との間隔、例えば、車両１９を一旦停車させた位置と他の駐車車両との間隔が不適切な場合は、その後に駐車制御装置１８が後進駐車制御を実行しても適切に車庫入れさせることができない虞がある。

つまり、駐車ラインＬが敷かれた駐車場の多くは、駐車場における駐車スペースＳＰから所定距離（例えば、５ｍ）を離間した位置Ｘに同様の駐車エリアが設けられている。或いは、駐車エリアから所定距離を離間した位置Ｘに駐車場を仕切る金網などが設けられている。このため、図２２に示すＧの位置において、ユーザは車両１９を駐車スペースＳＰを基準に所定の角度（例えば、１５度）にして一旦駐車させなければならない。

ユーザが車両１９を図２２に示すＦの位置からＧの位置へ移動させて一旦停車する際には、Ｆの位置において、車両１９と駐車車両２２との位置関係が直角になっていることが後進駐車制御を適切するためには望ましい。

更に、図２２に示すＦの位置において、車両１９と駐車車両２２との距離が所定距離（例えば、１ｍ）を離間していることが後進駐車制御を適切にするためには望ましい。

もし、ユーザがＦの位置において、車両１９と駐車車両２２との相対角度及び相対位置をそのようにしなかったらば、図２２に示すＧの位置において所定の角度にして車両１９を一旦駐車させ難くなる、即ち、Ｇの位置において車両１９と駐車スペースＳＰとの相対位置を適切にした状態で一旦停車させ難くなる。結果、画像処理装置１による駐車スペースＳＰの推定が適切にされないなどの理由により、駐車制御装置１８が後進駐車制御を適切に実行できない虞がある。

従って、ユーザは、車両１９を車庫入れさせる場合において、車両１９を一旦停車させる位置、即ち、駐車制御装置１８が実行する後進駐車制御を開始する位置（以降、駐車開始位置という）において、車両１９と駐車スペースＳＰとの相対位置を適切な位置にさせる必要がある。

＜指標重畳処理＞
ユーザが駐車車開始位置へ車両１９を一旦停車させたときに、車両１９と駐車スペースＳＰとの相対位置が適切な位置にさせることができるように、画像処理装置１は以降の処理を実行させる。

画像処理装置１が備える指標重畳部５は、車両１９が車庫入れされる場合の駐車開始位置、即ち、車両１９と駐車スペースＳＰとの相対位置が適切な位置へ車両１９を移動させるユーザの運転を支援する指標を、画像生成部４が生成した合成画像ＣＰａへ重畳する。

図２５に示すように、指標ＳＨは、車両１９の像の前後方向と平行するラインＳＨ１を備える。更に、指標ＳＨは、ラインＳＨ１と直交するラインＳＨ２を備える。

指標重畳部５は、生成された合成画像ＣＰａに含まれる車両１９の像の側面から所定距離を離間させた位置に指標ＳＨが備えるラインＳＨ１を重畳させる。更に、指標重畳部５は、生成された合成画像ＣＰａに重畳されたラインＳＨ１と直交するラインＳＨ２を車両１９の像の後端部付近へ重畳させる。

図２２においてユーザが車両１９をＦの位置からＧの位置へ移動させて一旦停車させたあとに、Ｇの位置からＨの位置へ移動させて駐車させる場合、即ち、車庫入れをさせる場合において、画像処理装置１が指標ＳＨを合成画像ＣＰａへ重畳させる方法について説明する。

まず、図２５に示す合成画像ＣＰａ２０は、ユーザが車両１９を車庫入れする際の図２２に示すＦの位置において、車両１９に備わるカメラ９〜１３が撮影した撮影画像により画像処理装置１が備える画像生成部４が生成した合成画像ＣＰａである。

指標重畳部５は、生成された合成画像ＣＰａ２０に含まれる車両１９の像の側面から所定距離を離間させた位置に指標ＳＨが備えるラインＳＨ１を重畳させる。更に、指標重畳部５は、生成された合成画像ＣＰａ２０に重畳されたラインＳＨ１と直交するラインＳＨ２を車両１９の像の前端部付近へ重畳させる。

図２２に示すＦの位置において、ユーザは駐車車両２２と車両１９との距離が近いとＧの位置において所定の角度にして車両１９を一旦駐車させにくいため、Ｆの位置において、車両１９と駐車車両２２との相対角度を所定の角度（例えば、９０度）とし、車両１９と駐車車両２２との相対位置を所定の距離（例えば、１ｍ）とする必要がある。

このため、図２５に示すように、ユーザはディスプレイ８に映る合成画像ＣＰａ２０に含まれる駐車車両２２のボンネット端部を含むラインと、車両１９の指標ＳＨに備わるラインＳＨ１とを一致させるように車両１９を運転すれば、駐車車両２２と車両１９との相対角度及び相対位置を適切にすることができる。

次に、図２６に示す合成画像ＣＰａ２１は、ユーザが車両１９を車庫入れする際の図２２に示すＦの位置とＧの位置の間において、車両１９に備わるカメラ９〜１３が撮影した撮影画像により画像処理装置１が備える画像生成部４が生成した合成画像ＣＰａである。

指標重畳部５は、生成された合成画像ＣＰａ２１に含まれる車両１９の像の側面から所定距離を離間させた位置に指標ＳＨが備えるラインＳＨ１を重畳させる。更に、指標重畳部５は、生成された合成画像ＣＰａ１に重畳されたラインＳＨ１と直交するラインＳＨ２を車両１９の像の前端部の位置へ重畳させる。

図２６に示す合成画像ＣＰａ２１には、駐車車両２２と駐車車両２３とが映るとともにユーザが駐車しようとする駐車スペースが映る。ユーザは、このタイミングにおいて、駐車開始位置の方向へ車両１９のステアリングを操舵しつつ車両１９を移動させる。

その際には、画像処理装置１は、適切なタイミングにおいて音声などにおいてステアリング操作をユーザへ報知させる。

次に、図２７に示す合成画像ＣＰａ２２は、ユーザが車両１９を車庫入れする際の図２２に示すＧの位置、即ち、車両１９を一旦停車させている位置において、車両１９に備わるカメラ９〜１３が撮影した撮影画像により画像処理装置１が備える画像生成部４が生成した合成画像ＣＰａである。

指標重畳部５は、生成された合成画像ＣＰａ２２に含まれる車両１９の像の側面から所定距離を離間させた位置に指標ＳＨが備えるラインＳＨ１を重畳させる。更に、指標重畳部５は、生成された合成画像ＣＰａ１に重畳されたラインＳＨ１と直交するラインＳＨ２を車両１９の像の後端部の位置へ重畳させる。

図２２に示す合成画像ＣＰａ３には、駐車車両２３映る。画像処理装置１は、適切なタイミングにおいて音声などにおいてステアリング操作をユーザへ報知させるとともに車両１９を停車させる位置、即ち、駐車開始位置をユーザへ報知させる。

ユーザは、画像処理装置１により音声の案内に従えば駐車開始位置へ車両１９を一旦停車させることができる。

次に、図２８に示す合成画像ＣＰａ２３は、ユーザが車両１９を車庫入れする際の図２２に示すＨの位置、即ち、車両１９を車庫入れさせた位置において、車両１９に備わるカメラ９〜１３が撮影した撮影画像により画像処理装置１が備える画像生成部４が生成した合成画像ＣＰａである。

つまり、ユーザは、図２２に示すＦの位置において車両１９をディスプレイ８に映る指標ＳＨを参考にして、車両１９と駐車車両２２との相対角度及び相対距離を適切にでき、図２２に示すＧの位置において車両１９と駐車スペースＳＰとの相対位置を適切な位置にさせることができる。結果、適切な駐車開始位置へ車両１９を一旦停車させることができるため、駐車制御装置１８は、後進駐車制御に基づいて車両１９を図２２に示すＨの位置へ適切に車庫入れさせることができる。

以上、本発明の第１の実施の形態、第２の実施の形態、及び、第３の実施の形態について説明してきたが、この発明はこれら実施の形態に限定されるものではなく様々な変形が可能である。以下では他の実施形態である変形例について説明する。もちろん、以下で説明する形態を適宜組み合わせても良い。

＜変形例１＞
上記第１の実施の形態において、「カメラが撮影する画像は、カメラ９〜１２が撮影した画像を画像処理装置１が備える画像生成部４により合成画像が生成される。画像処理装置１が備える指標重畳部５が生成された合成画像ＣＰａへ指標ＳＨを重畳する。画像処理装置１は自らが備える情報出力部７を介してディスプレイ８へ、指標ＳＨを重畳した合成画像ＣＰａを出力して表示させる」と説明した。

しかし、画像処理装置１は、図２９に示すようなリヤカメラ１２が撮影した図３０に示すような車両１９の周辺画像Ｇ１へ指標ＳＨを重畳する。そして、画像処理装置１は、指標ＳＨが重畳された車両１９の周辺画像Ｇ１を自らが備える情報出力部７を介してディスプレイ８へ出力して表示させる。指標ＳＨを構成するラインＳＨ１は、前述したような車両１９との位置関係となるように合成画像ＣＰａへ重畳される。

更に、指標ＳＨを構成するラインＳＨ２は、車両１９の周辺画像Ｇ１において車両１９が駐車開始位置、即ち、一旦停車する位置として適切な位置に周辺の表示内容と相対的に固定して重畳される。

画像処理装置１は、リヤカメラ１２が撮影した車両１９の周辺画像Ｇ１をディスプレイ８へ出力して表示させるタイミングは、通常であれば、ユーザがシフトポジションを”Ｒ”にしたときである。しかし、ユーザが車両１９を縦列駐車させようとした際に、カメラスイッチ１３及び縦列駐車を開始するスイッチをオン操作したときに、画像処理装置１が指標ＳＨを重畳した車両１９の周辺画像Ｇ１をディスプレイ８へ出力して表示させる。

従って、ユーザは、ディスプレイ８に映る図３０に示す車両１９の周辺画像Ｇ１を参考にして、地面に表した駐車車両２１の側面の位置を意味するラインＥＧと指標ＳＨを構成するラインＳＨ１とを一致させるように車両１９を駐車開始位置へ移動させる。更に、ディスプレイ８に映る図３０に示す車両１９の周辺画像Ｇ１を参考にして、ラインＳＨ２へ車両１９の後端部が一致する位置へ車両１９を一旦停車させる。

これにより、ユーザは、車両１９を駐車開始位置へ適切に一旦停車させることができる。結果、ユーザは、車両１９を適切に縦列駐車させることができる。

＜変形例２＞
上記第１の実施の形態において、「カメラが撮影する画像は、カメラ９〜１２が撮影した画像を画像処理装置１が備える画像生成部４により合成画像が生成される。画像処理装置１が備える指標重畳部５が生成された合成画像ＣＰａへ指標ＳＨを重畳する。画像処理装置１は自らが備える情報出力部７を介してディスプレイ８へ、指標ＳＨを重畳した合成画像ＣＰａを出力して表示させる」と説明した。

しかし、画像処理装置１は、図３１に示すようなフロントカメラ９が撮影した図３２に示すような車両１９の周辺画像Ｇ２へ指標ＳＨを重畳する。そして、画像処理装置１は、指標ＳＨが重畳された車両１９の周辺画像Ｇ２を自らが備える情報出力部７を介してディスプレイ８へ出力して表示させる。指標ＳＨを構成するラインＳＨ１は、前述したような車両１９との位置関係となるように合成画像ＣＰａへ重畳される。

更に、指標ＳＨを構成するラインＳＨ２は、車両１９の周辺画像Ｇ２において車両１９が駐車開始位置、即ち、一旦停車する位置として適切な位置に周辺の表示内容と相対的に固定して重畳される。

画像処理装置１は、フロントカメラ９が撮影した車両１９の周辺画像Ｇ２をディスプレイ８へ出力して表示させるタイミングは、通常であれば、ユーザがシフトポジションを”Ｒ”にしたときである。しかし、ユーザが車両１９を縦列駐車させようとした際に、カメラスイッチ１３及び縦列駐車を開始するスイッチをオン操作したときに、画像処理装置１が指標ＳＨを重畳した車両１９の周辺画像Ｇ２をディスプレイ８へ出力して表示させる。

従って、ユーザは、ディスプレイ８に映る図３２に示す車両１９の周辺画像Ｇ２を参考にして、地面に表した駐車車両２１の側面の位置を意味するラインＥＧと指標ＳＨを構成するラインＳＨ１とを一致させるように、車両１９を駐車開始位置へ移動させる。更に、ディスプレイ８に映る図３２に示す車両１９の周辺画像Ｇ２を参考にして、ラインＳＨ２へ車両１９の前端部が一致する位置へ車両１９を一旦停車させる。

＜変形例３＞
各実施例の制御を説明する制御フローにおける各処理は、便宜上、一の系列で示しているが、細分化されたそれぞれの処理を画像処理装置１が並列に処理するものであっても良い。

１画像処理装置
４画像生成部
５指標重畳部
５重畳部
６制御部
１８駐車制御装置
１９車両

Claims

車両に搭載される画像処理装置であって、
前記車両の周辺を撮影するカメラの撮影画像に基づいて表示すべき表示画像を生成する生成手段と、
前記車両が縦列駐車される場合の駐車開始位置において前記車両の側面と他の物体との間隔として必要な間隔を示す指標を、前記表示画像に重畳する重畳手段と、
前記指標が重畳された前記表示画像をディスプレイへ出力して表示させる出力手段と
を備えることを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記表示画像は、前記車両の周辺を撮影する複数のカメラの撮影画像に基づいて生成される、仮想視点から見た前記車両及び前記車両の周辺の様子を示す合成画像であることを特徴とする画像処理装置。
請求項１または２の何れかに記載の画像処理装置において、
前記指標は、前記表示画像において、前記表示画像に含まれる前記車両を基準とした相対的な位置に表示されることを特徴とする画像処理装置。
請求項１乃至３の何れかに記載の画像処理装置において、
前記重畳手段は、ユーザ操作に応答して、前記指標を前記表示画像に重畳することを特徴とする画像処理装置。
請求項１乃至４の何れかに記載の画像処理装置において、
前記重畳手段は、前記車両のシフト位置が”Ｒ”である場合に、前記指標を前記表示画像に重畳するのを停止することを特徴とする画像処理装置。
請求項１乃至５の何れかに記載の画像処理装置において、
ユーザ操作に応答して、前記車両を駐車スペースへ駐車させる制御をする駐車制御装置へ前記制御を実行させる指示をする指示手段を更に備えることを特徴とする画像処理装置。
請求項１乃至５の何れかに記載の画像処理装置において、
前記重畳手段は、前記車両が縦列駐車される場合の駐車スペースへ前記車両を導く走行経路を示す指標を前記表示画像に重畳することを特徴とする画像処理装置。
車両に搭載される画像表示システムであって、
請求項１乃至７の何れかに記載の画像処理装置と、
前記指標が重畳された前記表示画像を表示するディスプレイと、
を備えることを特徴とする画像表示システム。
画像を処理する画像処理方法であって、
前記車両の周辺を撮影するカメラの撮影画像に基づいて表示すべき表示画像を生成する工程と、
前記車両が縦列駐車される場合の駐車開始位置において前記車両の側面と他の物体との間隔として必要な間隔を示す指標を、前記表示画像に重畳する工程と、
前記指標が重畳された前記表示画像をディスプレイへ出力して表示させる工程と
を備えることを特徴とする画像方法。