JP2012061989A - 画像処理装置、及び、画像処理方法 - Google Patents

画像処理装置、及び、画像処理方法 Download PDF

Info

Publication number
JP2012061989A
JP2012061989A JP2010208965A JP2010208965A JP2012061989A JP 2012061989 A JP2012061989 A JP 2012061989A JP 2010208965 A JP2010208965 A JP 2010208965A JP 2010208965 A JP2010208965 A JP 2010208965A JP 2012061989 A JP2012061989 A JP 2012061989A
Authority
JP
Japan
Prior art keywords
vehicle
image
image processing
display
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2010208965A
Other languages
English (en)
Inventor
Kimiaki Shima
公章 四間
Yukie Sei
幸栄 清
Satoru Harumoto
哲 春本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2010208965A priority Critical patent/JP2012061989A/ja
Publication of JP2012061989A publication Critical patent/JP2012061989A/ja
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】ユーザが車両を一旦停車させた後に後進させながらハンドルを操舵して駐車させる縦列駐車をする場合に、車両を適切な位置に一旦停車させることによって適切な駐車をさせることができる技術を提供する。
【解決手段】画像処理装置は、表示画像において、車両が縦列駐車される場合の駐車開始位置において車両の側面と他の物体との間隔として必要な間隔を示す指標を表示画像に重畳してディスプレイへ表示させるため、ユーザは車両を縦列駐車させる際に、ディスプレイへ表示された表示画像の指標を参考にすれば駐車開始位置において車両の側面と他の物体との間隔として必要な間隔をとることができ、車両を適切に縦列駐車させることができる。
【選択図】図16

Description

本発明は、ディスプレイへ表示させる画像を処理する技術に関する。
近年、ユーザが車両を縦列駐車させる際に、車載の画像処理装置が車載のディスプレイへ、車載カメラから取得した画像を出力して表示させるとともに、駐車スペースへ車両を導く走行経路を示す指標をその画像へ表示させる技術が開発されている。
この技術によれば、ユーザはディスプレイに映る画像に含まれる走行経路を示す指標に従って車両を後進させれば適切に縦列駐車させることができる。
このような技術は、例えば、特許文献1に記載されている。
特開2001−10431号公報
しかし、ユーザが車両を縦列駐車させる場合には、車両を適当な駐車開始位置に一旦停車させたあとに後進させることになるが、一旦停車させたときの車両と車両の周辺の他の物体との間隔、例えば、車両と隣の駐車車両との間隔が不適切な場合は、そのあとの縦列駐車を適切に行えない虞がある。
本発明は、上記課題に鑑みてなされたものであり、ユーザが車両を一旦停車させたあとに縦列駐車をさせる場合に、車両を適切な駐車開始位置に停車させることができる技術を提供することを目的とする。
上記課題を解決するため、請求項1の発明は、車両に搭載される画像処理装置であって、前記車両の周辺を撮影するカメラの撮影画像に基づいて表示すべき表示画像を生成する生成手段と、前記車両が縦列駐車される場合の駐車開始位置において前記車両の側面と他の物体との間隔として必要な間隔を示す指標を、前記表示画像に重畳する重畳手段と、前記指標が重畳された前記表示画像をディスプレイへ出力して表示させる出力手段とを備えることを特徴とする。
また、請求項2の発明は、請求項1に記載の画像処理装置において、前記表示画像は、前記車両の周辺を撮影する複数のカメラの撮影画像に基づいて生成される、仮想視点から見た前記車両及び前記車両の周辺の様子を示す合成画像であることを特徴とする。
また、請求項3の発明は、請求項1または2の何れかに記載の画像処理装置において、前記指標は、前記表示画像において、前記表示画像に含まれる前記車両を基準とした相対的な位置に表示されることを特徴とする。
また、請求項4の発明は、請求項1乃至3の何れかに記載の画像処理装置において、前記重畳手段は、ユーザ操作に応答して、前記指標を前記表示画像に重畳することを特徴とする。
また、請求項5の発明は、請求項1乃至4の何れかに記載の画像処理装置において、前記重畳手段は、前記車両のシフト位置が”R”である場合に、前記指標を前記表示画像に重畳するのを停止することを特徴とする。
また、請求項6の発明は、請求項1乃至5の何れかに記載の画像処理装置において、ユーザ操作に応答して、自動で前記車両を駐車スペースへ駐車させる制御をする駐車制御装置へ前記制御を実行させる指示をする指示手段を更に備えることを特徴とする。
また、請求項7の発明は、請求項1乃至5の何れかに記載の画像処理装置において、前記重畳手段は、前記車両が縦列駐車される場合の駐車スペースへ車両を導く走行経路を示す指標を前記表示画像に重畳することを特徴とする。
また、請求項8の発明は、車両に搭載される画像表示システムであって、請求項1乃至7の何れかに記載の画像処理装置と、前記指標が重畳された前記表示画像を表示するディスプレイとを備えることを特徴とする。
また、請求項9の発明は、画像を処理する画像処理方法であって、前記車両の周辺を撮影するカメラの撮影画像に基づいて表示すべき表示画像を生成する工程と、前記車両が縦列駐車される場合の駐車開始位置において前記車両の側面と他の物体との間隔として必要な間隔を示す指標を、前記表示画像に重畳する工程と、前記指標が重畳された前記表示画像をディスプレイへ出力して表示させる工程とを備えることを特徴とする。
請求項1から10の発明によれば、画像処理装置は、表示画像において、車両が縦列駐車される場合の駐車開始位置において車両の側面と他の物体との間隔として必要な間隔を示す指標を表示画像に重畳してディスプレイへ表示させるため、ユーザは車両を縦列駐車させる際に、ディスプレイへ表示された表示画像の指標を参考にすれば駐車開始位置において車両の側面と他の物体との間隔として必要な間隔をとることができ、車両を適切に縦列駐車させることができる。
また、請求項2の発明によれば、画像処理装置は、その指標を表示画像である、車両の周辺を撮影する複数のカメラの撮影画像に基づいて生成された仮想視点から見た車両及び車両の周辺の様子を示す合成画像へ重畳してディスプレイへ出力して表示させるため、ユーザは車両を縦列駐車させる際に、ディスプレイへ表示された表示画像の指標を参考にすれば駐車開始位置において車両の側面と他の物体との間隔として必要な間隔をとりやすくでき、車両を適切に縦列駐車させやすくできる。
また、請求項3の発明によれば、画像処理装置は、表示画像において車両を基準とした相対的な位置へ指標を重畳するため、ユーザは車両を縦列駐車させる際に、ディスプレイへ表示された表示画像の指標を参考にすれば駐車開始位置において車両の側面と他の物体との間隔として必要な間隔をとりやすくでき、車両を適切に縦列駐車させやすくできる。
また、請求項4の発明によれば、画像処理装置は、ユーザ操作に応答して、その指標を表示画像へ重畳してディスプレイへ表示させるため、ユーザは車両を縦列駐車させる際に、ディスプレイへ表示された表示画像の指標を参考にすれば駐車開始位置において車両の側面と他の物体との間隔として必要な間隔をとることができ、車両を適切に縦列駐車させることができる。
また、請求項5の発明によれば、画像処理装置は、車両のシフト位置が”R”である場合に、その指標を表示画像へ重畳するのを停止し、その指標が重畳されなかった表示画像をディスプレイへ表示させるため、ユーザが車両を縦列駐車における後進を開始するときにその指標が重畳されない表示画像をディスプレイへ表示させることができ、ユーザはディスプレイ映る車両を縦列駐車させるときに不要となる指標が重畳されない表示画像を参考にすれば車両を駐車させることができる。
また、請求項6の発明によれば、画像処理装置は、ユーザ操作に応答して、車両を駐車スペースへ駐車させる制御をする駐車制御装置へその制御を実行させる指示をするため、ユーザは車両を自動で駐車スペースへ駐車させることができ、駐車するための運転を省略することができる。
また、請求項7の発明によれば、画像処理装置は、車両が縦列駐車される場合の駐車スペースへ車両を導く走行経路を示す指標を表示画像に重畳するため、ユーザはディスプレイに表示された走行経路を示す指標を参考にすれば適切に車両を駐車させることができる。
図1は、車両を示す図である。 図2は、画像処理システムなどのシステムブロック図である。 図3は、車両を示す図である。 図4は、画像生成処理を説明する図である。 図5は、車両の縦列駐車の一例を説明する図である。 図6は、駐車スペースを推定する処理の一例を示す図である。 図7は、車両の縦列駐車の一例を説明する図である。 図8は、車両の縦列駐車の一例を説明する図である。 図9は、指標を説明する図である。 図10は、指標が重畳された合成画像の一例を示す図である。 図11は、指標が重畳された合成画像の一例を示す図である。 図12は、指標が重畳された合成画像の一例を示す図である。 図13は、指標が重畳された合成画像の一例を示す図である。 図14は、指標が重畳された合成画像の一例を示す図である。 図15は、指標が重畳された合成画像の一例を示す図である。 図16は、画像処理装置が実行する処理を説明する図である。 図17は、画像処理システムなどのシステムブロック図である。 図18は、指標が重畳された合成画像の一例を示す図である。 図19は、指標が重畳された合成画像の一例を示す図である。 図20は、指標が重畳された合成画像の一例を示す図である。 図21は、画像処理装置が実行する処理を説明する図である。 図22は、車両の車庫入れの一例を説明する図である。 図23は、駐車スペースを推定する処理の一例を示す図である。 図24は、駐車スペースを推定する処理の一例を示す図である。 図25は、指標が重畳された合成画像の一例を示す図である。 図26は、指標が重畳された合成画像の一例を示す図である。 図27は、指標が重畳された合成画像の一例を示す図である。 図28は、指標が重畳された合成画像の一例を示す図である。 図29は、車両を示す図である。 図30は、車両の周辺画像の一例を示す図である。 図31は、車両を示す図である。 図32は、車両の周辺画像の一例を示す図である。
以下、図面を参照しつつ本発明の実施の形態について説明する。
<第1の実施の形態>
<システム構成>
まず、第1の実施の形態の画像表示システムの構成を図1、及び、図2に基づいて説明する。画像表示システムSYは、画像処理装置1、及び、ディスプレイ8を備える。画像表示システムSYは、車両19の運転席と助手席との間のセンターコンソール上部に、ディスプレイ8を表出させて搭載される。
また、画像表示システムSYは、フロントカメラ9、右サイドカメラ10、左サイドカメラ11、リヤカメラ12(以降において、カメラ9〜12という)、及び、駐車制御装置18を信号線により電気的に接続している。
更に、画像表示システムSYは、カメラスイッチ13、及び、シフトポジションセンサ14などと信号線により電気的に接続されている。
フロントカメラ9は、図3に示すように車両19の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸は車両19の直進方向へ向けられている。
右サイドカメラ10は、図3に示すように右サイドミラーに設けられており、その光軸は車両19の直進方向を基準にした右方向に沿って外部へ向けられている。
左サイドカメラ11は、図3に示すように左サイドミラーに設けられており、その光軸は車両19の直進方向を基準にした左方向に沿って外部へ向けられている。
リヤカメラ12は、図3に示すように車両19の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸は車両19の直進方向の逆方向へ向けられている。
なお、フロントカメラ9やリヤカメラ12の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
カメラ9〜12のレンズとしては魚眼レンズなどが採用されており、カメラ9〜12は180度以上の画角を有している。このため、これら4つの撮像部を利用することで、車両19の全周囲の撮影が可能となっている。
カメラスイッチ13は、ディスプレイ8の表示面の枠に備わっている。カメラスイッチ13は、ユーザによってオン操作された場合に画像処理装置1へオン信号を出力し、画像処理装置1に対してカメラ9〜12が撮影した撮影画像に基づいて生成された表示画像をディスプレイ8へ表示させる。また、ユーザによってオフ操作された場合に画像処理装置1へオフ信号を出力し、画像処理装置1に対してカメラ9〜12が撮影した撮影画像に基づいて生成された表示画像をディスプレイ8へ表示させる。
シフトポジションセンサ14は、車両19のセンターコンソール中央部に備わるシフトレバー近傍に設定される。シフトポジションセンサ14は、ユーザによって車両19に備わる変速シフトポジションが変更された場合に、変更されたシフトポジションを検知する。そして、シフトポジションセンサ14は、検知したシフトポジションを示す信号を画像表示システムSYへ出力する。
右サイド超音波センサ15は、右サイドピラー付近に設けられている。右サイド超音波センサ15が、超音波を送信する方向は車両19の直進方向を基準にした右方向である。右サイド超音波センサ15は、駐車制御装置18からの命令により超音波を送信するとともに、送信した超音波を受信した際の信号を駐車制御装置18へ出力する。
左サイド超音波センサ16は、右サイドピラー付近に設けられている。左サイド超音波センサ16が、超音波を送信する方向は車両19の直進方向を基準にした左方向である。左サイド超音波センサ16は、駐車制御装置18からの命令により超音波を送信するとともに、送信した超音波を受信した際の信号を駐車制御装置18へ出力する。
なお、画像処理装置1が実行する超音波センサを用いた物体の検出処理については後述する駐車スペース推定処理において説明する。
ディスプレイ8は、例えば、タッチパネルディスプレイであり、画像処理装置1から出力される表示画像などを表示させる。また、ディスプレイ8は、ユーザが操作可能なユーザスイッチ17であるアイコンを表示させ、ユーザによりそのアイコンがタッチされた場合にアイコンが選択されたことを検知して画像処理装置1へその旨を出力する。
画像表示システムSYが備える、画像処理装置1は、情報取得部2、画像処理部3、制御部6、及び、情報出力部7などを備える。
情報取得部2は、例えば、インターフェースであり、カメラ9〜12が撮影して出力する撮影画像、カメラスイッチ13が出力するオン/オフ信号、シフトポジションセンサ14が出力するシフト位置信号、右サイド超音波センサ15が出力する超音波受信信号、及び、左サイド超音波センサ16が出力する超音波受信信号などを取得する。
情報出力部7は、例えば、インターフェースであり、画像処理部3が生成した表示すべき表示画像をディスプレイ8へ出力して表示させる。更に、情報出力部7は、制御部6が駐車制御装置18へ車両19を自動で駐車させる指示を出力して車両19を自動駐車させる。
画像処理部3は、画像生成部4、指標重畳部5などを備える。画像処理部3は、例えば、ASIC(Application Specific Integrated Circuit)などのハードウェア回路である。画像生成部4は、カメラ9〜12が撮影して得た複数の撮影画像に基づいて表示すべき表示画像を生成する。即ち、画像生成部4は、カメラ9〜12が撮影して得た複数の撮影画像に基づいて、仮想視点から見た車両19及び車両19の周辺の様子を示す合成画像を生成する。画像生成部4が合成画像を生成する詳細な方法については後述する。
指標重畳部5は、車両19を縦列駐車する場合の駐車開始位置において車両19の側面と他の物体、例えば、他の駐車車両との間隔として必要な間隔を示す指標を合成画像へ重畳する。指標重畳部5が、指標を合成画像へ重畳する詳細な方法については後述する。
制御部6は、演算部6a、不揮発性記憶部6b、及び、揮発性記憶部6cなどを備える。制御部6は、例えば、マイクロコンピュータである。演算部6aは、例えば、CPUである。不揮発性記憶部6bは、例えば、ROMである、揮発性記憶部6cは、例えば、RAMである。制御部6は、演算部6aが不揮発性記憶部6bに記憶されている種々の機能を発揮するためのプログラムを実行する。また、制御部6は、そのプログラムを発揮するために揮発性記憶部6cをワーキングエリアとして利用する。
演算部6aは、指示部6aaを備える。指示部6aaは、情報出力部7を介して駐車制御装置18へ車両19を自動で駐車させる指示を出力して車両19を自動駐車させる。指示部6aaが駐車制御装置18へ指示する詳細な方法については後述する。
駐車制御装置18は、例えば、図示しない車両19に備わるエンジン制御装置やブレーキ制御装置ステアリング制御装置などにより構成される。駐車制御装置18は、エンジン、ブレーキ、及び、ステアリングなどを制御して車両19を駐車スペースへ駐車させる制御を実行する。
<画像生成処理>
ここで、画像処理部3が備える画像生成部4が合成画像を生成する詳細な方法について詳細に説明する。
画像処理装置1が備える情報取得部2は、カメラ9〜12が撮影した、図4に示すような、撮影画像P1〜P4をカメラ9〜12より取得する。情報取得部2は、取得した撮影画像P1〜P4を画像処理部3へ出力する。
画像処理部3は、入力した撮影画像P1〜P4を図示しない揮発性記憶部へ記憶する。
画像処理部3が備える画像生成部4は、図示しない揮発性記憶部に記憶された、撮影画像P1〜P4を、図4に示すような、仮想的な三次元空間における立体曲面SPに投影する。立体曲面SPは、例えば略半球状(お椀形状)をしており、その中心部分(お椀の底部分)が車両19が存在する位置として定められている。撮影画像P1〜P4に含まれる各画素の位置と、この立体曲面SPの各画素の位置とは予め対応関係が定められている。このため、立体曲面SPの各画素の値は、この対応関係と撮影画像P1〜P4に含まれる各画素の値とに基づいて決定される。
撮影画像P1〜P4の各画素の位置と立体曲面SPの各画素の位置との対応関係は、車両19における4つの車載カメラであるカメラ9〜12の配置(相互間距離、地上高さ、光軸角度等)に依存する。このため、この対応関係を示すテーブルデータが、図示しない不揮発性記憶部に記憶された車種別データに含まれている。
また、車種別データに含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両19の三次元形状を示すポリゴンモデルである車両の像が仮想的に構成される。構成された車両の像は、立体曲面SPが設定される三次元空間において、車両19の位置と定められた略半球状の中心部分に配置される。
さらに、立体曲面SPが存在する三次元空間に対して、画像生成部4により仮想視点VPが設定される。仮想視点VPは、視点位置と視野方向とで規定され、この三次元空間における車両19の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。
そして、設定された仮想視点VPに応じて、立体曲面SPにおける必要な領域が画像として切り出される。仮想視点VPと、立体曲面SPにおける必要な領域との関係は予め定められており、テーブルデータとして図示しない不揮発性記憶部等に予め記憶されている。一方で、設定された仮想視点VPに応じてポリゴンのモデルに関してレンダリングがなされ、その結果となる二次元の車両19の像が、切り出された画像に対して重畳される。これにより、車両19及びその車両19の周辺を任意の仮想視点VPからみた様子を示す合成画像が生成されることになる。
例えば、視点位置が車両19の位置の略中央の直上で、視野方向が直下方向とした仮想視点VPaを設定した場合は、車両19の略直上から車両19を見下ろすように、車両19及び車両19の周辺の領域を示す合成画像CPaが生成される。また、図中に示すように、視点位置が車両19の位置の左後方で、視野方向が車両19における略前方方向とした仮想視点VPbを設定した場合は、車両19の左後方からその周辺全体を見渡すように、車両19及び車両19の周辺の領域を示す合成画像CPaが生成される。
なお、実際に合成画像を生成する場合においては、立体曲面SPの全ての画素の値を決定する必要はなく、設定された仮想視点VPに対応して必要となる領域の画素の値のみを撮影画像P1〜P4に基づいて決定することで、処理速度を向上できる。
画像処理装置1では、このような画像生成部4の機能を利用することで、車両19の周辺の任意の視点からみた合成画像を生成して、ディスプレイ8へ生成した合成画像CPaを出力して表示させることができる。
<自動縦列駐車制御処理>
ここで、駐車制御装置18が実行する自動駐車制御の詳細な処理について説明する。
一般に、縦列駐車は、例えば、図5に示すように、車両19が走行する走行路に設定された車両の駐車可能エリアにおいて、ユーザが車両19を既に駐車されている駐車車両20と駐車車両21の間に存在する駐車スペースに駐車させることをいう。
つまり、ユーザは車両19を図5に示すAの位置からBの位置へ移動させるとともに、Bの位置において一旦停車させる。このとき、車両19は駐車可能エリアにおいて既に駐車されている駐車車両21の隣に位置する。そして、ユーザは車両19を後進させつつ方向を変えてCの位置へ移動させて駐車させる。このとき、車両19は駐車車両20と駐車車両21との間の駐車スペースへ収まる。即ち、車両19は駐車車両20と駐車車両21との間の駐車スペースへ、駐車車両20や駐車車両21などと同列(縦列)にして駐車される。
この縦列駐車の一部を、駐車制御装置18が、車両19を自動で縦列駐車させる。まず、ユーザは、車両19を図5に示すAの位置においてタッチパネルディスプレイであるディスプレイ8に表示された自動縦列駐車を開始することを受け付けるユーザスイッチ17をタッチする。
タッチパネルディスプレイであるディスプレイ8は、表示したユーザスイッチ17がタッチされたことを検知してその旨の信号を画像処理装置1へ出力する。
その旨の信号を受信した画像処理装置1は、駐車制御装置18へ自動縦列駐車制御の実行をするように指示する。つまり、画像処理装置1は、ユーザ操作に応じて、駐車制御装置18へ自動縦列駐車制御の実行をするように指示する。
(駐車スペース推定処理)
駐車制御装置18は、画像処理装置1から自動縦列駐車制御の実行をするよう指示を受けたため、右サイド超音波センサ15及び左サイド超音波センサ16を用いて駐車スペース推定処理を実行する。
駐車スペース推定処理とは、ユーザが図5に示すAの位置からBの位置へと車両19を移動させた際に、それら超音波センサを用いて駐車スペースを推定する処理をいう。
例えば、図6に示すように、ユーザがAの位置からBの位置へと車両19を移動させた際に、車両19に備わる右サイド超音波センサ15のセンシング範囲SS1及び左サイド超音波センサ16のセンシング範囲SS2において他の物体、例えば、駐車車両などが存在するか否かを検知する。
つまり、駐車制御装置18は、それら超音波センサによって超音波を送信し、超音波を送信したときから所定時間内に、物体に当たって跳ね返った送信超音波を受信した場合に何らかの物体が存在することを検知する。それら超音波センサの送信距離は、例えば、2mである。即ち、駐車制御装置18は、車両19の両サイドから2m先までに他の物体が存在するか否かを検知することができる。
従って、駐車制御装置18は、ユーザが図5に示すAの位置からBの位置へと車両19を移動させた際に、車両19の両サイドから2m先までの他の物体の存在の有無を認識することができる。
図6において、駐車制御装置18は、車両19がAの位置から少し進んだ位置において駐車車両20の存在を認識する。駐車制御装置18は、駐車車両20の認識したあとにおいては他の物体の存在を認識しない。駐車制御装置18は、車両19がBの位置において駐車車両20の存在を認識する。駐車制御装置18は、駐車車両20と駐車車両21とを認識するとともに駐車車両20と駐車車両21との間のエリアに他の物体を認識しなかったため、駐車車両20と駐車車両21との間に駐車スペースSPが存在することを推定する。
更に、駐車制御装置18は、図示しない車速センサから受信した車速と自らが備えるタイマーにより計測した時間とに基づいて駐車車両20及び駐車車両21の縦の長さや駐車スペースSPの縦の距離を認識する。
(後進駐車制御処理)
ユーザは、車両19をAの位置からBの位置へ移動させて、Bの位置において一旦停車させる。そして、ユーザは、車両19のシフトをBの位置において車両19を前進させるシフトポジション”D”から後進させるシフトポジション”R”へ変更させる。
画像処理装置1は、シフトポジションセンサ14からシフトポジションを示す信号”R”を受信したため、後進駐車制御を開始することを受け付けるユーザスイッチ17をタッチパネルディスプレイであるディスプレイ8へ表示する。
タッチパネルディスプレイであるディスプレイ8は、表示したユーザスイッチ17がユーザによりタッチされたことを検知してその旨の信号を画像処理装置1へ出力する。
画像処理装置1は、その旨の信号を受信したあとに駐車制御装置18へ後進駐車制御の実行をするように指示する。つまり、画像処理装置1は、車両19のシフト位置が”R”である場合に駐車制御装置18へ後進駐車制御の実行をするように指示する。
画像処理装置1から後進駐車制御の実行指示を受けた駐車制御装置18は、認識した駐車車両20、駐車車両21、及び、駐車スペースSPの存在とともに、認識した駐車車両20の縦の長さ、駐車車両21の縦の長さ、及び、駐車スペースSPの縦の距離に基づいて、車両19に備わるエンジン、ブレーキ、ステアリングを制御して駐車スペースSPへ車両19を後進させて駐車させる。
つまり、駐車制御装置18が実行する自動縦列駐車制御とは、ユーザが縦列駐車するためにシフトポジションを”R”に入れるために一旦停車させる位置へ車両19を移動させる際に、駐車制御装置18が駐車スペースを推定することをいう。更に、駐車制御装置18が実行する自動縦列駐車制御とは、車両19を自動で縦列駐車させるとは、ユーザにより車両19のシフトポジションを”R”に変更されて後進駐車制御の指示を受けた場合に、車両19をエンジン、ブレーキ、ステアリングを制御して推定した駐車スペースへ駐車させることをいう。
しかし、駐車制御装置18が実行するこのような自動縦列駐車制御においては、ユーザが車両19を縦列駐車させる際に一旦停車させた位置における車両19と他の物体との間隔、例えば、車両19を一旦停車させた位置と他の駐車車両との間隔が不適切な場合は、その後に駐車制御装置18が後進駐車制御を実行しても適切に縦列駐車させることができない虞がある。
つまり、図7に示すように、ユーザが車両19をBの位置において駐車車両21との間隔を狭くした状態で一旦停車させてしまった場合は、駐車制御装置18が、車両19を駐車スペースSPへ駐車車両21などと同列に駐車させようとして、車両19を後進させつつステアリングを制御するとDの位置において駐車車両21と接触してしまう虞がある。
他方で、図8に示すように、ユーザが車両19をBの位置において駐車車両21との間隔を狭くした状態で一旦停車させた場合に、駐車制御装置18が駐車車両21と接触しないように車両19を後進させならステアリングを制御すると、駐車スペースSPのEの位置において車両19を駐車車両20や駐車車両21などと同列(縦列)に駐車させることができない。
従って、ユーザは、車両19を適切に縦列駐車させる場合には、車両19を一旦停車させる位置、即ち、駐車制御装置18が実行する後進駐車制御を開始する位置(以降、駐車開始位置という)において、車両19の側面と他の物体との間隔として必要な間隔を確保させる必要がある。
<指標重畳処理>
ユーザが車両19を駐車車開始位置においてその間隔を確保させることができるように、画像処理装置1は以降の処理を実行させる。
画像処理装置1が備える指標重畳部5は、車両19を縦列駐車する場合の駐車開始位置において車両19の側面と他の物体との間隔として必要な間隔を示す指標を、画像生成部4が生成した合成画像CPaへ重畳する。
図9に示すように、指標SHは、車両19の像の前後方向と平行するラインSH1を備える。更に、指標SHは、ラインSH1と直交するラインSH2を備える。
そして、指標重畳部5は、図10に示すように、合成画像CPa1において指標SHが備えるラインSH1を合成画像CPa1に含まれる車両19の像の側面から所定距離を離間させた位置、例えば、車両19の側面から1m離間していると考えられる位置へ重畳させる。つまり、指標SHは、表示画像である合成画像CPa1において、合成画像CPa1に含まれる車両19の像を基準とした相対的な位置に表示される。
更に、指標重畳部5は、合成画像CPaにおいてラインSH2を車両19の像の先端付近及び後端付近の何れかへ重畳させる。
ユーザが図5に示すAの位置からBの位置へ車両19を移動させたとき、即ち、車両19を駐車開始位置へ移動させるときに、画像処理装置1が指標SHを合成画像CPaへ重畳させる方法について説明する。
まず、図10に示す合成画像CPa1は、ユーザが車両19を縦列駐車させる際の図5に示すAの位置において、車両19に備わるカメラ9〜13が撮影した撮影画像に基づいて画像処理装置1が備える画像生成部4が生成した合成画像CPaである。
指標重畳部5は、生成された合成画像CPa1に含まれる車両19の像の側面から所定距離を離間させた位置に指標SHが備えるラインSH1を重畳させる。更に、指標重畳部5は、生成された合成画像CPa1に重畳されたラインSH1と直交するラインSH2を車両19の像の前端部の位置へ重畳させる。
図10に示す合成画像CPa1に映る駐車車両20は、ユーザが車両19を一旦停車させる位置、即ち、駐車開始位置の付近に存在する他の物体である駐車車両21と同列であるため、駐車車両20は車両19が適切な駐車開始位置へ一旦停車させる際の目安となる。このため、ユーザは、ディスプレイ8に映る合成画像CPa1に含まれる駐車車両20の側面と、車両19の指標SHに備わるラインSH1とを一致させるように車両19を運転すれば、駐車車両20と同列に駐車されている駐車車両21の隣に存在する適切な駐車開始位置へ車両19を停車させることができる。
次に、図11に示す合成画像CPa2は、ユーザが車両19を縦列駐車させる際の図5に示すAの位置とBの位置の間において、車両19に備わるカメラ9〜13が撮影した撮影画像に基づいて画像処理装置1が備える画像生成部4が生成した合成画像CPaである。
指標重畳部5は、生成された合成画像CPa2に含まれる車両19の像の側面から所定距離を離間させた位置に指標SHが備えるラインSH1を重畳させる。更に、指標重畳部5は、生成された合成画像CPa1に重畳されたラインSH1と直交するラインSH2を車両19の像の前端部の位置へ重畳させる。
図11に示す合成画像CPa2には、駐車車両20と駐車車両21とが映るとともにユーザが駐車しようとする駐車スペースが映る。ユーザは、既に、ディスプレイ8に映っていた合成画像CPa1に含まれる、車両19を適切な位置に一旦停車させるための目安となる駐車車両20の側面と指標SHが備えるラインSH1を一致させつつ車両19を運転していたため、ディスプレイ8に映る合成画像CPa2に含まれる駐車車両21の側面とラインSH1とは略一致する。
しかし、駐車車両21の側面と、駐車車両20の側面とは必ずしも同一線上に存在するするとは限らない。つまり、駐車車両21と駐車車両20とが同列には駐車されているが、比較的大きくズレて縦列に駐車されている場合がある。
この場合でも、ユーザは、ディスプレイ8に映る図11に示す合成画像CPa2を参考にして、合成画像CPa2に含まれる駐車車両21の側面と指標SHが備えるラインSH1とを一致させるように車両19を運転すれば、駐車車両21の隣に存在する適切な駐車開始位置へ車両19を停車させることができる。
次に、図12に示す合成画像CPa3は、ユーザが車両19を縦列駐車させる場合の図5に示すBの位置へ車両19を移動させて一旦停車させているときに、車両19に備わるカメラ9〜13が撮影した撮影画像に基づいて画像処理装置1が備える画像生成部4が生成した合成画像CPaである。
指標重畳部5は、生成された合成画像CPa3に含まれる車両19の像の側面から所定距離を離間させた位置に指標SHが備えるラインSH1を重畳させる。更に、指標重畳部5は、生成された合成画像CPa1に重畳されたラインSH1と直交するラインSH2を車両19の像の後端部の位置へ重畳させる。
図12に示す合成画像CPa3には、駐車車両21が映る。ユーザは、既に、ディスプレイ8に映っていた合成画像CPa2に含まれる駐車車両21の側面と指標SHが備えるラインSH1を一致させつつ車両19を運転していたため、ディスプレイ8に映る合成画像CPa3に含まれる駐車車両21の側面とラインSH1とは略一致する。
このように、ユーザは、ディスプレイ8に映る合成画像CPa3に含まれる駐車車両21の側面と、車両19の指標SHに備わるラインSH1とを一致させるように車両19を運転すれば、駐車車両21の隣に存在する適切な駐車開始位置へ車両19を停車させることができる。更に、ユーザは、ディスプレイ8に映る合成画像CPa3に含まれる駐車車両21の後端部と、車両19の指標SHに備わるラインSH2とを一致させるように車両19を停車すれば、駐車車両21の隣に存在する適切な駐車開始位置へ車両19を停車させることができる。
<指標重畳停止処理>
ユーザは、適切な駐車開始位置へ車両19を停車させたあとに、前述したように、車両19のシフトを車両19を前進させるシフトポジション”D”から後進させるシフトポジション”R”へ変更させる。
画像処理装置1は、シフトポジションセンサ14からシフトポジションを示す信号”R”を受信したため、後進駐車制御を開始することを受け付けるユーザスイッチ17をタッチパネルディスプレイであるディスプレイ8へ表示する。
タッチパネルディスプレイであるディスプレイ8は、表示したユーザスイッチ17がユーザによりタッチされたことを検知してその旨の信号を画像処理装置1へ出力する。
画像処理装置1は、その旨の信号を受信したあとに駐車制御装置18へ後進駐車制御の実行をするように指示する。更に、画像処理装置1は、その旨の信号を受信した場合に、合成画像CPaへ指標SHを重畳する処理を停止する。
つまり、画像処理装置1は、車両19のシフト位置が”R”である場合に駐車制御装置18へ後進駐車制御の実行をするように指示するとともに、合成画像CPaへ指標SHを重畳する処理を停止する。
つまり、図13、図14、及び、図15に示すように、画像処理装置1が備える画像生成部4は、駐車制御装置18により後進駐車制御処理を実行されて車両19が駐車開始位置から駐車スペースへ駐車される際の合成画像CPa4、CPa5、CPa6を生成する。
このとき、画像処理装置1が備える指標重畳部5は合成画像CPa4へ指標SHを重畳する処理を停止しているため、合成画像CPa4には指標SHは含まれない。
このため、ユーザは、ディスプレイ8に映る合成画像CPaにおいて、車両19が駐車制御装置18によって駐車開始位置から駐車スペースへ駐車される際に不要になって目障りとなる指標SHが表示されないため、駐車制御装置18による後進駐車が適切にされるかどうかを確認しやすくなる。
<画像処理のフロー>
次に、画像処理装置1が実行する処理の流れを図16に示す処理フローに基づいて詳細に説明する。
なお、画像処理装置1は、ユーザに操作により電源が投入され、ユーザによりカメラスイッチ13が操作された場合に、図16に示す処理フローを所定の周期で実行し、ユーザ操作により電源が切断された場合に、その処理フローを終了する。
まず、画像処理装置1が備える画像処理部3はカメラ9〜13が撮影した画像を情報取得部2を介して取得する(ステップS1)。
次に、画像処理装置1が備える画像処理部3の画像生成部4は、取得した撮影画像に基づいて前述した表示すべき画像である合成画像CPaを生成する(ステップS2)。
次に、画像処理装置1が備える制御部6の演算部6aは、シフトポジションセンサ14から受信したシフトポジション信号を情報取得部2を介して取得する。そして、演算部6aは、受信したシフトポジション信号が”R”を示すかどうかを判定する。シフトポジション信号が”R”を示すと判定する場合はステップS5へ移行する(ステップS3においてYES)。シフトポジション信号が”R”を示すと判定しない場合はステップS4へ移行する(ステップS3においてNO)。
演算部6aが、シフトポジション信号が”R”を示すと判定しない場合は画像処理装置1が備える画像処理部3の指標重畳部5が前述した指標重畳処理を実行して、合成画像CPaへ指標SHを重畳する(ステップS4)。
次に、画像処理装置1が備える画像処理部3は、指標SHが重畳された合成画像CPaを情報出力部7へ出力する処理を実行する(ステップS6)。
次に、画像処理装置1はエンドに移行して処理を終了させる。
また、演算部6aが、シフトポジション信号が”R”を示すと判定する場合は画像処理装置1が備える制御部6における演算部6aの指示部6aaが、前述したように、駐車制御装置18へ自動縦列駐車制御の実行をするように指示する。画像処理装置1からその指示を受けた駐車制御装置18は、前述したように、駐車スペース推定処理、及び、後進駐車制御処理を実行する(ステップS5)。
次に、画像処理装置1が備える画像処理部3は、指標SHが重畳された合成画像CPaを情報出力部7へ出力する処理を実行する(ステップS6)。これにより、画像処理装置1は、ディスプレイ8へ指標SHが重畳された合成画像CPaを表示させることができる。
次に、画像処理装置1はエンドに移行して処理を終了させる。
<第2の実施の形態>
次に、第2の実施の形態について説明する。第2の実施の形態においては、主に、第1の実施の形態と相違する構成及び処理について説明する。
第1の実施の形態では、ユーザが車両19を縦列駐車させるために、車両19を一旦停車させたあとに、駐車制御装置18が後進駐車制御を実行して車両19を駐車させると説明したが、第2の実施の形態においては、車両19には駐車制御装置18を備えていない替わりに、ユーザが車両19を縦列駐車させる際にユーザの運転を支援する機能が備わっている。なお、車両19は駐車制御装置18を備えていないが、通常のエンジン制御装置やブレーキ制御装置などについては搭載している。
従って、主に、画像処理装置1に備わる、ユーザが車両19を縦列駐車させるために車両19を一旦停車させたあとのユーザの運転を支援する機能について詳細に説明する。
<システム構成>
まず、第2の実施の形態の画像表示システムの構成を図17に基づいて説明する。第2の実施の形態の車両19は、基本的には第1の実施の形態の画像表示システムと同じであるが、駐車制御装置18を備えない点が主に相違する。これに伴って、車両19には、右サイド超音波センサ、及び、左サイド超音波センサを備えない。更に、画像処理装置1は自らが備える制御部6における演算部6aに指示部を備えない。即ち、車両19は、車両19を自動で縦列駐車させる機能を発揮させる装置を備えない。
他方で、車両19が備える画像処理装置1は、ユーザが車両19を縦列駐車させる際におけるユーザの運転を支援する機能を主に発揮する走行経路重畳部5bを、自らが備える画像処理部3における重畳部5に搭載している。
<走行経路重畳処理>
ユーザは、前述したように、適切な駐車開始位置へ車両19を一旦停車させたあとに、車両19に備わるシフトを車両19を前進させるシフトポジション”D”から後進させるシフトポジション”R”へ変更させる。
画像処理装置1は、シフトポジションセンサ14からシフトポジションを示す信号”R”を受信した場合に、ユーザの運転を支援する機能を開始させることを受け付けるユーザスイッチ17をタッチパネルディスプレイであるディスプレイ8へ表示する。
タッチパネルディスプレイであるディスプレイ8は、表示したユーザスイッチ17がユーザによりタッチされたことを検知した場合に、その旨の信号を画像処理装置1へ出力する。
画像処理装置1が備える重畳部5の走行経路重畳部5bは、その旨の信号を受信した場合に、画像生成部4が生成した合成画像CPaへ、駐車開始位置から駐車スペースSPへ車両19を導く経路、即ち、走行経路を示す指標を重畳する。つまり、画像処理装置1は、ユーザ操作に応じて合成画像CPaへ走行経路を示す指標を重畳する。
図18に示す合成画像CPa10は、ユーザが車両19を縦列駐車させる場合の図5に示すBの位置へ車両19を移動させて一旦停車させているときに、車両19に備わるカメラ9〜13が撮影した撮影画像に基づいて、画像処理装置1が備える画像生成部4が生成した合成画像CPaである。
指標重畳部5aは、前述したように、生成された合成画像CPa10に含まれる車両19の像の側面から所定距離を離間させた位置へ指標SHが備えるラインSH1を重畳させる。更に、指標重畳部5aは、生成された合成画像CPa10に重畳されたラインSH1と直交するラインSH2を車両19の像の後端部の位置へ重畳させる。
走行経路重畳部5bは、生成された合成画像CPa10において、合成画像CPa10に含まれる車両19の像の後端部であってラインSH2よりも所定距離を駐車スペース方向へ離間させた位置へ走行経路を示す指標RTを重畳する。
走行経路を示す指標RTは、例えば、図18に示すようなコの字のラインにより構成される。ユーザは、ディスプレイ8に表示された走行経路を示す指標RTが重畳された合成画像CPa10を参考にして車両19を運転する。即ち、ユーザは、車両19の移動とともに移動するように見えるディスプレイ8に映る車両19の像の後端部を、合成画像CPa10に含まれ、かつ、他の表示内容と相対的に固定して表示される走行経路を示す指標RTのコの字型のラインの凹み部分に一致させるように車両19を運転する。
画像生成部4は、そのような車両19の移動に伴って変化する合成画像CPaを所定の周期ごとに生成する。更に、走行経路重畳部5bは、車両19の像の後端部が走行経路を示す指標RTのコの字型のラインの凹み部分に一致するたびに、新たな走行経路を示す指標RTを合成画像CPa11へ重畳させる。そして、画像処理装置1は、情報出力部7を介して、そのような走行経路を示す指標RTが重畳された合成画像CPaを所定の周期ごとにディスプレイ8へ出力して表示させる。
このようにすれば、ディスプレイ8に表示される合成画像CPaは、例えば、図18に示す合成画像CPa10から、図19に示す合成画像CPa11へと遷移する。更に、合成画像CPaは、図19に示す合成画像CPa11から図20に示す合成画像CPa12へと遷移する。
また、ディスプレイ8に表示される合成画像CPaに重畳される走行経路を示す指標RTは、図18に示す走行経路を示す指標RTから図19に示す走行経路を示す指標RTへと遷移する。更に、走行経路を示す指標RTは、図19に示す走行経路を示す指標RTから図20に示す走行経路を示す指標RTへと遷移する。
つまり、ユーザが車両19を運転することによって移動するように見えるディスプレイ8の車両19の像の後端部を、合成画像CPa10に含まれ、かつ、他の表示内容と相対的に固定される走行経路を示す指標RTのコの字型のラインの凹み部分へ一致させると、画像処理装置1は、新たな走行経路を示す指標RTをディスプレイ8に映る合成画像CPaへ重畳する。
画像処理装置1は、このような処理を車両19が駐車スペースSPへ移動されるまで行う。
このため、ユーザは、車両19の移動に連動するように見えるディスプレイ8の車両19の像を更新表示される走行経路を示す指標RTに辿らせるように車両19を運転すれば、車両19を駐車スペースへ適切に縦列駐車させることができる。
<処理フロー>
次に、画像処理装置1が実行する処理の流れを図21に示す処理フローに基づいて詳細に説明する。
なお、画像処理装置1は、ユーザに操作により電源が投入され、ユーザによりカメラスイッチ13が操作された場合に、図21に示す処理フローを所定の周期で実行し、ユーザ操作により電源が切断された場合に、その処理フローを終了する。
まず、画像処理装置1が備える画像処理部3はカメラ9〜13が撮影した画像を情報取得部2を介して取得する(ステップS10)。
次に、画像処理装置1が備える画像処理部3の画像生成部4は、前述したように取得した撮影画像に基づいて表示すべき画像である合成画像CPaを生成する(ステップS11)。
次に、画像処理装置1が備える制御部6の演算部6aは、シフトポジションセンサ14から受信したシフトポジション信号を情報取得部2を介して取得する。そして、演算部6aは、受信したシフトポジション信号が”R”を示すかどうかを判定する。シフトポジション信号が”R”を示すと判定する場合はステップS14へ移行する(ステップS12においてYES)。シフトポジション信号が”R”を示すと判定しない場合はステップS13へ移行する(ステップS12においてNO)。
演算部6aが、シフトポジション信号が”R”を示すと判定しない場合は画像処理装置1が備える画像処理部3の指標重畳部5aが前述した指標重畳処理を実行して、合成画像CPaへ指標SHを重畳する(ステップS13)。
次に、画像処理装置1が備える画像処理部3は、指標SHが重畳された合成画像CPaを情報出力部7へ出力する処理を実行する(ステップS15)。
次に、画像処理装置1はエンドに移行して処理を終了させる。
また、演算部6aが、シフトポジション信号が”R”を示すと判定する場合は画像処理装置1が備える制御部6における演算部6aが、画像処理部3へその旨を示す信号を出力する。画像処理部3が備える走行経路重畳部5bは、その旨の信号を受信した場合に前述した走行経路重畳処理を実行する(ステップS14)。
次に、画像処理装置1が備える画像処理部3は、走行経路を示す指標RTが重畳された合成画像CPaを情報出力部7へ出力する処理を実行する(ステップS15)。これにより、画像処理装置1は、ディスプレイ8へ走行経路を示す指標RTが重畳された合成画像CPaを表示させることができる。
次に、画像処理装置1はエンドに移行して処理を終了させる。
<第3の実施の形態>
次に、第3の実施の形態について説明する。第3の実施の形態においては、主に、第1の実施の形態と異なる処理について説明する。
第1の実施の形態では、ユーザが車両19を縦列駐車させる場合について説明したが、第3の実施の形態においては、ユーザが車両19を車庫へ駐車する(以降、車庫入れという)場合について説明する。なお、車庫とは、車両19を収容するための建物、または、駐車場における駐車ラインに囲まれた駐車スペースを含む。
従って、ユーザが車両19を車庫入れする場合において、画像処理装置1がその車庫入れを支援する機能、即ち、画像処理装置1が実行する自動車庫入制御処理について詳細に説明する。
<自動車庫入制御処理>
まず、駐車制御装置18は、例えば、図示しないエンジン制御装置やブレーキ制御装置などにより構成される。駐車制御装置18は、ユーザが車両19を図22に示すような車庫入れをさせる際に、車両19をユーザが所望する駐車スペースへ自動で駐車させる機能を発揮する。
一般に、車両19の車庫入れは、例えば、図22に示すように、駐車場に敷かれた駐車ラインLにより囲まれた駐車エリアにおいて、既に駐車されている駐車車両20と駐車車両21の間の駐車スペースへユーザが車両19を駐車させることをいう。
つまり、ユーザは車両19を図22に示すFの位置からGの位置へ移動させるとともに、Gの位置において一旦停車させる。このとき、車両19は駐車エリアにおいて既に駐車されている駐車車両23の前方に位置する。そして、ユーザは車両19を後進しつつ方向を変えてHの位置へ移動させて駐車させる。このとき、車両19は駐車車両22と駐車車両23との間の駐車スペースへ収まる。即ち、車両19は駐車車両22と駐車車両23との間の駐車スペースへ駐車車両22や駐車車両23などと同列(並列)にして駐車される。
駐車制御装置18がこの車庫入れの一部を自動で行う。まず、ユーザは車両19を図22に示すFの位置においてタッチパネルディスプレイであるディスプレイ8に表示された自動で車庫入れを開始することを受け付けるユーザスイッチ17をタッチする。
タッチパネルディスプレイであるディスプレイ8は、表示したユーザスイッチ17がタッチされたことを検知してその旨の信号を画像処理装置1へ出力する。
その旨の信号を受信した画像処理装置1は、駐車制御装置18へ自動車庫入制御の実行をするように指示する。つまり、画像処理装置1は、ユーザ操作に応じて駐車制御装置18へ自動車庫入制御の実行をするように指示する。
(駐車スペース推定処理)
駐車制御装置18は、画像処理装置1から自動車庫入制御の実行をするよう指示を受けたため、右サイド超音波センサ15及び左サイド超音波センサ16を用いて駐車スペース推定処理を実行する。
駐車スペース推定処理とは、ユーザが車両19を図22に示すFの位置からGの位置へと移動させた際に、それら超音波センサを用いて駐車スペースを推定する処理をいう。
例えば、図23に示すように、ユーザが車両19をFの位置からGの位置へと移動させた際に、車両19に備わる右サイド超音波センサ15のセンシング範囲SS1及び左サイド超音波センサ16のセンシング範囲SS2において他の物体、例えば、駐車車両などが存在するか否かを検知する。
つまり、駐車制御装置18は、それら超音波センサによって超音波を送信し、超音波を送信したときから所定時間内に、物体に当たって跳ね返った送信した超音波を受信した場合に物体が存在することを検知する。それら超音波センサの送信距離は、例えば、2mである。即ち、駐車制御装置18は、車両19の両サイドから2m先までに他の物体が存在するか否かを検知することができる。
従って、駐車制御装置18は、ユーザが図22に示すFの位置からGの位置へと車両19を移動させた際に、車両19の両サイドから2m先までの他の物体の存在の有無を認識することができる。
図22において、駐車制御装置18は、車両19がFの位置において駐車車両22の存在を認識する。駐車制御装置18は、駐車車両22の認識したあとにおいては他の物体の存在を認識しない。駐車制御装置18は、車両19がGの位置より少し前において駐車車両23の存在を認識する。駐車制御装置18は、駐車車両22と駐車車両23とを認識するとともに駐車車両22と駐車車両23との間のエリアに他の物体を認識しなかったため、駐車車両22と駐車車両23との間に駐車スペースSPが存在することを推定する。
更に、駐車制御装置18は、図示しない車速センサから受信した車速と自らが備えるタイマーにより計測した時間とに基づいて駐車車両20及び駐車車両21の横の長さや駐車スペースSPの横の距離を認識する。
更に、図22に示すGの位置において、画像処理装置1は、車両19の後方に搭載されたリヤカメラ12が取得した撮影画像に基づいて、車両19後方の駐車スペースSPを推定する。つまり、画像処理装置1は、図24に示すような撮影画像により駐車ラインL及び駐車車両22や駐車車両23などを認識する。画像処理装置1は、画像認識により駐車スペースSPを推定した場合は、そのデータを駐車制御装置18へ出力する。
駐車場に駐車されている他の駐車車両に基づいて駐車スペースSPを推定する超音波センサでは、駐車場に他の駐車車両が存在しない場合には駐車スペースSPを推定することができないが、このような画像認識によれば駐車ラインLを認識することによって駐車スペースSPを推定することができる。
(後進駐車制御処理)
ユーザは、車両19を図22に示すFの位置からGの位置へ移動させて、Hの位置において一旦停車させる。そして、ユーザは、車両19のシフトをGの位置において車両19を前進させるシフトポジション”D”から後進させるシフトポジション”R”へ変更させる。
画像処理装置1は、シフトポジションセンサ14からシフトポジションを示す信号”R”を受信したため、後進駐車制御を開始することを受け付けるユーザスイッチ17をタッチパネルディスプレイであるディスプレイ8へ表示する。
タッチパネルディスプレイであるディスプレイ8は、表示したユーザスイッチ17がユーザによりタッチされたことを検知してその旨の信号を画像処理装置1へ出力する。
画像処理装置1は、その旨の信号を受信したあとに駐車制御装置18へ後進駐車制御の実行をするように指示する。つまり、画像処理装置1は、ユーザ操作に応じて駐車制御装置18へ後進駐車制御の実行をするように指示する。
画像処理装置1から後進駐車制御の実行指示を受けた駐車制御装置18は、認識した駐車車両22、駐車車両23、及び、駐車スペースSPの存在とともに、認識した駐車車両22の横の長さ、駐車車両23の横の長さ、及び、駐車スペースSPの横の距離に基づいて、車両19に備わるエンジン、ブレーキ、及び、ステアリングを制御して駐車スペースSPへ車両19を後進させて駐車させる。
つまり、駐車制御装置18が実行する自動車庫入制御とは、ユーザが車庫入れするためにシフトポジションを”R”に入れるために一旦停車させる位置へ車両19を移動させる際に、駐車制御装置18が駐車スペースSPを推定することをいう。更に、駐車制御装置18が実行する自動車庫入制御とは、車両19を自動で車庫入れさせるとは、ユーザによって車両19のシフトポジションが”R”に変更されて後進駐車制御の指示を受けた場合に、エンジン、ブレーキ、ステアリングを制御して推定した駐車スペースSPへ車両19を駐車させることをいう。
しかし、駐車制御装置18が実行するこのような自動車庫入制御において、ユーザが車両19を車庫入れさせる際に一旦停車させた位置と他の物体との間隔、例えば、車両19を一旦停車させた位置と他の駐車車両との間隔が不適切な場合は、その後に駐車制御装置18が後進駐車制御を実行しても適切に車庫入れさせることができない虞がある。
つまり、駐車ラインLが敷かれた駐車場の多くは、駐車場における駐車スペースSPから所定距離(例えば、5m)を離間した位置Xに同様の駐車エリアが設けられている。或いは、駐車エリアから所定距離を離間した位置Xに駐車場を仕切る金網などが設けられている。このため、図22に示すGの位置において、ユーザは車両19を駐車スペースSPを基準に所定の角度(例えば、15度)にして一旦駐車させなければならない。
ユーザが車両19を図22に示すFの位置からGの位置へ移動させて一旦停車する際には、Fの位置において、車両19と駐車車両22との位置関係が直角になっていることが後進駐車制御を適切するためには望ましい。
更に、図22に示すFの位置において、車両19と駐車車両22との距離が所定距離(例えば、1m)を離間していることが後進駐車制御を適切にするためには望ましい。
もし、ユーザがFの位置において、車両19と駐車車両22との相対角度及び相対位置をそのようにしなかったらば、図22に示すGの位置において所定の角度にして車両19を一旦駐車させ難くなる、即ち、Gの位置において車両19と駐車スペースSPとの相対位置を適切にした状態で一旦停車させ難くなる。結果、画像処理装置1による駐車スペースSPの推定が適切にされないなどの理由により、駐車制御装置18が後進駐車制御を適切に実行できない虞がある。
従って、ユーザは、車両19を車庫入れさせる場合において、車両19を一旦停車させる位置、即ち、駐車制御装置18が実行する後進駐車制御を開始する位置(以降、駐車開始位置という)において、車両19と駐車スペースSPとの相対位置を適切な位置にさせる必要がある。
<指標重畳処理>
ユーザが駐車車開始位置へ車両19を一旦停車させたときに、車両19と駐車スペースSPとの相対位置が適切な位置にさせることができるように、画像処理装置1は以降の処理を実行させる。
画像処理装置1が備える指標重畳部5は、車両19が車庫入れされる場合の駐車開始位置、即ち、車両19と駐車スペースSPとの相対位置が適切な位置へ車両19を移動させるユーザの運転を支援する指標を、画像生成部4が生成した合成画像CPaへ重畳する。
図25に示すように、指標SHは、車両19の像の前後方向と平行するラインSH1を備える。更に、指標SHは、ラインSH1と直交するラインSH2を備える。
指標重畳部5は、生成された合成画像CPaに含まれる車両19の像の側面から所定距離を離間させた位置に指標SHが備えるラインSH1を重畳させる。更に、指標重畳部5は、生成された合成画像CPaに重畳されたラインSH1と直交するラインSH2を車両19の像の後端部付近へ重畳させる。
図22においてユーザが車両19をFの位置からGの位置へ移動させて一旦停車させたあとに、Gの位置からHの位置へ移動させて駐車させる場合、即ち、車庫入れをさせる場合において、画像処理装置1が指標SHを合成画像CPaへ重畳させる方法について説明する。
まず、図25に示す合成画像CPa20は、ユーザが車両19を車庫入れする際の図22に示すFの位置において、車両19に備わるカメラ9〜13が撮影した撮影画像により画像処理装置1が備える画像生成部4が生成した合成画像CPaである。
指標重畳部5は、生成された合成画像CPa20に含まれる車両19の像の側面から所定距離を離間させた位置に指標SHが備えるラインSH1を重畳させる。更に、指標重畳部5は、生成された合成画像CPa20に重畳されたラインSH1と直交するラインSH2を車両19の像の前端部付近へ重畳させる。
図22に示すFの位置において、ユーザは駐車車両22と車両19との距離が近いとGの位置において所定の角度にして車両19を一旦駐車させにくいため、Fの位置において、車両19と駐車車両22との相対角度を所定の角度(例えば、90度)とし、車両19と駐車車両22との相対位置を所定の距離(例えば、1m)とする必要がある。
このため、図25に示すように、ユーザはディスプレイ8に映る合成画像CPa20に含まれる駐車車両22のボンネット端部を含むラインと、車両19の指標SHに備わるラインSH1とを一致させるように車両19を運転すれば、駐車車両22と車両19との相対角度及び相対位置を適切にすることができる。
次に、図26に示す合成画像CPa21は、ユーザが車両19を車庫入れする際の図22に示すFの位置とGの位置の間において、車両19に備わるカメラ9〜13が撮影した撮影画像により画像処理装置1が備える画像生成部4が生成した合成画像CPaである。
指標重畳部5は、生成された合成画像CPa21に含まれる車両19の像の側面から所定距離を離間させた位置に指標SHが備えるラインSH1を重畳させる。更に、指標重畳部5は、生成された合成画像CPa1に重畳されたラインSH1と直交するラインSH2を車両19の像の前端部の位置へ重畳させる。
図26に示す合成画像CPa21には、駐車車両22と駐車車両23とが映るとともにユーザが駐車しようとする駐車スペースが映る。ユーザは、このタイミングにおいて、駐車開始位置の方向へ車両19のステアリングを操舵しつつ車両19を移動させる。
その際には、画像処理装置1は、適切なタイミングにおいて音声などにおいてステアリング操作をユーザへ報知させる。
次に、図27に示す合成画像CPa22は、ユーザが車両19を車庫入れする際の図22に示すGの位置、即ち、車両19を一旦停車させている位置において、車両19に備わるカメラ9〜13が撮影した撮影画像により画像処理装置1が備える画像生成部4が生成した合成画像CPaである。
指標重畳部5は、生成された合成画像CPa22に含まれる車両19の像の側面から所定距離を離間させた位置に指標SHが備えるラインSH1を重畳させる。更に、指標重畳部5は、生成された合成画像CPa1に重畳されたラインSH1と直交するラインSH2を車両19の像の後端部の位置へ重畳させる。
図22に示す合成画像CPa3には、駐車車両23映る。画像処理装置1は、適切なタイミングにおいて音声などにおいてステアリング操作をユーザへ報知させるとともに車両19を停車させる位置、即ち、駐車開始位置をユーザへ報知させる。
ユーザは、画像処理装置1により音声の案内に従えば駐車開始位置へ車両19を一旦停車させることができる。
次に、図28に示す合成画像CPa23は、ユーザが車両19を車庫入れする際の図22に示すHの位置、即ち、車両19を車庫入れさせた位置において、車両19に備わるカメラ9〜13が撮影した撮影画像により画像処理装置1が備える画像生成部4が生成した合成画像CPaである。
つまり、ユーザは、図22に示すFの位置において車両19をディスプレイ8に映る指標SHを参考にして、車両19と駐車車両22との相対角度及び相対距離を適切にでき、図22に示すGの位置において車両19と駐車スペースSPとの相対位置を適切な位置にさせることができる。結果、適切な駐車開始位置へ車両19を一旦停車させることができるため、駐車制御装置18は、後進駐車制御に基づいて車両19を図22に示すHの位置へ適切に車庫入れさせることができる。
以上、本発明の第1の実施の形態、第2の実施の形態、及び、第3の実施の形態について説明してきたが、この発明はこれら実施の形態に限定されるものではなく様々な変形が可能である。以下では他の実施形態である変形例について説明する。もちろん、以下で説明する形態を適宜組み合わせても良い。
<変形例1>
上記第1の実施の形態において、「カメラが撮影する画像は、カメラ9〜12が撮影した画像を画像処理装置1が備える画像生成部4により合成画像が生成される。画像処理装置1が備える指標重畳部5が生成された合成画像CPaへ指標SHを重畳する。画像処理装置1は自らが備える情報出力部7を介してディスプレイ8へ、指標SHを重畳した合成画像CPaを出力して表示させる」と説明した。
しかし、画像処理装置1は、図29に示すようなリヤカメラ12が撮影した図30に示すような車両19の周辺画像G1へ指標SHを重畳する。そして、画像処理装置1は、指標SHが重畳された車両19の周辺画像G1を自らが備える情報出力部7を介してディスプレイ8へ出力して表示させる。指標SHを構成するラインSH1は、前述したような車両19との位置関係となるように合成画像CPaへ重畳される。
更に、指標SHを構成するラインSH2は、車両19の周辺画像G1において車両19が駐車開始位置、即ち、一旦停車する位置として適切な位置に周辺の表示内容と相対的に固定して重畳される。
画像処理装置1は、リヤカメラ12が撮影した車両19の周辺画像G1をディスプレイ8へ出力して表示させるタイミングは、通常であれば、ユーザがシフトポジションを”R”にしたときである。しかし、ユーザが車両19を縦列駐車させようとした際に、カメラスイッチ13及び縦列駐車を開始するスイッチをオン操作したときに、画像処理装置1が指標SHを重畳した車両19の周辺画像G1をディスプレイ8へ出力して表示させる。
従って、ユーザは、ディスプレイ8に映る図30に示す車両19の周辺画像G1を参考にして、地面に表した駐車車両21の側面の位置を意味するラインEGと指標SHを構成するラインSH1とを一致させるように車両19を駐車開始位置へ移動させる。更に、ディスプレイ8に映る図30に示す車両19の周辺画像G1を参考にして、ラインSH2へ車両19の後端部が一致する位置へ車両19を一旦停車させる。
これにより、ユーザは、車両19を駐車開始位置へ適切に一旦停車させることができる。結果、ユーザは、車両19を適切に縦列駐車させることができる。
<変形例2>
上記第1の実施の形態において、「カメラが撮影する画像は、カメラ9〜12が撮影した画像を画像処理装置1が備える画像生成部4により合成画像が生成される。画像処理装置1が備える指標重畳部5が生成された合成画像CPaへ指標SHを重畳する。画像処理装置1は自らが備える情報出力部7を介してディスプレイ8へ、指標SHを重畳した合成画像CPaを出力して表示させる」と説明した。
しかし、画像処理装置1は、図31に示すようなフロントカメラ9が撮影した図32に示すような車両19の周辺画像G2へ指標SHを重畳する。そして、画像処理装置1は、指標SHが重畳された車両19の周辺画像G2を自らが備える情報出力部7を介してディスプレイ8へ出力して表示させる。指標SHを構成するラインSH1は、前述したような車両19との位置関係となるように合成画像CPaへ重畳される。
更に、指標SHを構成するラインSH2は、車両19の周辺画像G2において車両19が駐車開始位置、即ち、一旦停車する位置として適切な位置に周辺の表示内容と相対的に固定して重畳される。
画像処理装置1は、フロントカメラ9が撮影した車両19の周辺画像G2をディスプレイ8へ出力して表示させるタイミングは、通常であれば、ユーザがシフトポジションを”R”にしたときである。しかし、ユーザが車両19を縦列駐車させようとした際に、カメラスイッチ13及び縦列駐車を開始するスイッチをオン操作したときに、画像処理装置1が指標SHを重畳した車両19の周辺画像G2をディスプレイ8へ出力して表示させる。
従って、ユーザは、ディスプレイ8に映る図32に示す車両19の周辺画像G2を参考にして、地面に表した駐車車両21の側面の位置を意味するラインEGと指標SHを構成するラインSH1とを一致させるように、車両19を駐車開始位置へ移動させる。更に、ディスプレイ8に映る図32に示す車両19の周辺画像G2を参考にして、ラインSH2へ車両19の前端部が一致する位置へ車両19を一旦停車させる。
これにより、ユーザは、車両19を駐車開始位置へ適切に一旦停車させることができる。結果、ユーザは、車両19を適切に縦列駐車させることができる。
<変形例3>
各実施例の制御を説明する制御フローにおける各処理は、便宜上、一の系列で示しているが、細分化されたそれぞれの処理を画像処理装置1が並列に処理するものであっても良い。
1 画像処理装置
4 画像生成部
5 指標重畳部
5 重畳部
6 制御部
18 駐車制御装置
19 車両

Claims (9)

  1. 車両に搭載される画像処理装置であって、
    前記車両の周辺を撮影するカメラの撮影画像に基づいて表示すべき表示画像を生成する生成手段と、
    前記車両が縦列駐車される場合の駐車開始位置において前記車両の側面と他の物体との間隔として必要な間隔を示す指標を、前記表示画像に重畳する重畳手段と、
    前記指標が重畳された前記表示画像をディスプレイへ出力して表示させる出力手段と
    を備えることを特徴とする画像処理装置。
  2. 請求項1に記載の画像処理装置において、
    前記表示画像は、前記車両の周辺を撮影する複数のカメラの撮影画像に基づいて生成される、仮想視点から見た前記車両及び前記車両の周辺の様子を示す合成画像であることを特徴とする画像処理装置。
  3. 請求項1または2の何れかに記載の画像処理装置において、
    前記指標は、前記表示画像において、前記表示画像に含まれる前記車両を基準とした相対的な位置に表示されることを特徴とする画像処理装置。
  4. 請求項1乃至3の何れかに記載の画像処理装置において、
    前記重畳手段は、ユーザ操作に応答して、前記指標を前記表示画像に重畳することを特徴とする画像処理装置。
  5. 請求項1乃至4の何れかに記載の画像処理装置において、
    前記重畳手段は、前記車両のシフト位置が”R”である場合に、前記指標を前記表示画像に重畳するのを停止することを特徴とする画像処理装置。
  6. 請求項1乃至5の何れかに記載の画像処理装置において、
    ユーザ操作に応答して、前記車両を駐車スペースへ駐車させる制御をする駐車制御装置へ前記制御を実行させる指示をする指示手段を更に備えることを特徴とする画像処理装置。
  7. 請求項1乃至5の何れかに記載の画像処理装置において、
    前記重畳手段は、前記車両が縦列駐車される場合の駐車スペースへ前記車両を導く走行経路を示す指標を前記表示画像に重畳することを特徴とする画像処理装置。
  8. 車両に搭載される画像表示システムであって、
    請求項1乃至7の何れかに記載の画像処理装置と、
    前記指標が重畳された前記表示画像を表示するディスプレイと、
    を備えることを特徴とする画像表示システム。
  9. 画像を処理する画像処理方法であって、
    前記車両の周辺を撮影するカメラの撮影画像に基づいて表示すべき表示画像を生成する工程と、
    前記車両が縦列駐車される場合の駐車開始位置において前記車両の側面と他の物体との間隔として必要な間隔を示す指標を、前記表示画像に重畳する工程と、
    前記指標が重畳された前記表示画像をディスプレイへ出力して表示させる工程と
    を備えることを特徴とする画像方法。
JP2010208965A 2010-09-17 2010-09-17 画像処理装置、及び、画像処理方法 Withdrawn JP2012061989A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010208965A JP2012061989A (ja) 2010-09-17 2010-09-17 画像処理装置、及び、画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010208965A JP2012061989A (ja) 2010-09-17 2010-09-17 画像処理装置、及び、画像処理方法

Publications (1)

Publication Number Publication Date
JP2012061989A true JP2012061989A (ja) 2012-03-29

Family

ID=46058154

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010208965A Withdrawn JP2012061989A (ja) 2010-09-17 2010-09-17 画像処理装置、及び、画像処理方法

Country Status (1)

Country Link
JP (1) JP2012061989A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019054439A (ja) * 2017-09-15 2019-04-04 アイシン精機株式会社 画像処理装置
CN112477758A (zh) * 2019-09-12 2021-03-12 爱信精机株式会社 周边监视装置
WO2023214566A1 (ja) * 2022-05-06 2023-11-09 京セラ株式会社 情報処理装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019054439A (ja) * 2017-09-15 2019-04-04 アイシン精機株式会社 画像処理装置
JP7013751B2 (ja) 2017-09-15 2022-02-01 株式会社アイシン 画像処理装置
CN112477758A (zh) * 2019-09-12 2021-03-12 爱信精机株式会社 周边监视装置
WO2023214566A1 (ja) * 2022-05-06 2023-11-09 京セラ株式会社 情報処理装置

Similar Documents

Publication Publication Date Title
JP6801787B2 (ja) 駐車支援方法及び駐車支援装置
JP5995931B2 (ja) 駐車支援装置、駐車支援方法及び制御プログラム
JP6094266B2 (ja) 駐車支援装置、駐車支援方法およびプログラム
CN105416284B (zh) 停车辅助装置以及停车辅助方法
CN107097721B (zh) 驾驶辅助装置
US10179608B2 (en) Parking assist device
WO2014051125A1 (ja) 駐車支援装置、駐車支援方法およびプログラム
JP2012076483A (ja) 駐車支援装置
CN107925746B (zh) 周边监控装置
JP5991112B2 (ja) 駐車支援装置、制御方法、およびプログラム
JP2012056428A (ja) 運転支援装置
JPWO2019008762A1 (ja) 駐車支援方法及び駐車支援装置
WO2017179206A1 (ja) 駐車支援用表示制御装置および駐車支援用表示制御方法
CN112977428B (zh) 驻车辅助系统
JP2012076551A (ja) 駐車支援装置、駐車支援方法、及び、駐車支援システム
JP2019054420A (ja) 画像処理装置
US20220309803A1 (en) Image display system
JP7009785B2 (ja) 周辺監視装置
US20220308345A1 (en) Display device
JP5273068B2 (ja) 車両周辺監視装置
JP5617396B2 (ja) 運転支援装置
JP4092479B2 (ja) 車両用運転支援装置
JP2003252151A (ja) 駐車支援システム
JP2022023870A (ja) 表示制御装置
JP2012061989A (ja) 画像処理装置、及び、画像処理方法

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20131203