JP2016057819A - 車両用画像処理装置および車両用画像処理方法 - Google Patents

Abstract

【課題】車両を道路端へ寄せる場合において、運転者が認識すべき車両周辺情報を適切に提供する。【解決手段】画像処理装置５は、自車両の周辺を連続して撮影する前方カメラ１１、後方カメラ１２、左側方カメラ１３および右側方カメラ１４から、カメラ１１〜１４が撮影した撮影画像（以下、車両周辺画像という）を取得する。また画像処理装置５は、自車両が走行している走行道路の端付近に存在する車道外側線と自車両との間の距離（以下、外側線距離という）を計測する。そして画像処理装置５は、取得した車両周辺画像を用い、計測した外側線距離に応じて、車両周辺画像の表示態様を変化させた表示画像を作成する。【選択図】図１

Description

本発明は、車両に設置された撮影装置により撮影された画像に対して処理を行う車両用画像処理装置および車両用画像処理方法に関する。

従来、車速が低く且つハザードが作動している場合に、車両を道路端へ寄せる可能性が高いと判断し、車両の前側方を撮影した画像を車室内の表示装置に表示させることにより運転者を支援する技術が知られている（例えば、特許文献１を参照）。

特開２０１０−１５４３６号公報

しかし、車両を道路端へ寄せる場合において車両の運転者が認識すべき車両周辺状況は車両の前側方だけとは限らない。
本発明は、こうした問題に鑑みてなされたものであり、車両を道路端へ寄せる場合において、運転者が認識すべき車両周辺情報を適切に提供することを目的とする。

上記目的を達成するためになされた第１発明の車両用画像処理装置は、周辺画像取得手段と、距離計測手段と、第１画像作成手段とを備える。
周辺画像取得手段は、車両に設置されて車両の周辺を連続して撮影する撮影装置から、撮影装置が撮影した車両周辺画像を取得する。距離計測手段は、車両が走行している走行道路の端または走行道路の端付近に存在する白線と車両との間の距離である道路端距離を計測する。第１画像作成手段は、周辺画像取得手段が取得した車両周辺画像を用い、距離計測手段が計測した道路端距離に応じて、車両周辺画像の表示態様を変化させた第１表示用画像を作成する。

このように構成された第１発明の車両用画像処理装置は、道路端距離に応じて車両周辺画像の表示態様を変化させた第１表示用画像を作成するため、道路端距離に応じて表示態様が変化する車両周辺画像を車両の運転者に対して表示することが可能となる。これにより、第１発明の車両用画像処理装置は、車両の運転者が認識すべき車両周辺状況が道路端距離に応じて異なる場合であっても、車両の運転者が認識すべき車両周辺状況を示す情報を、道路端距離に応じて適切に車両の運転者へ提供することが可能となる。

上記目的を達成するためになされた第２発明の車両用画像処理方法は、周辺画像取得手順と、距離計測手順と、第１画像作成手順とを備える。
周辺画像取得手順は、車両に設置されて車両の周辺を連続して撮影する撮影装置から、撮影装置が撮影した車両周辺画像を取得する。距離計測手順は、車両が走行している走行道路の端または走行道路の端付近に存在する白線と車両との間の距離である道路端距離を計測する。第１画像作成手順は、周辺画像取得手順で取得した車両周辺画像を用い、距離計測手順で計測した道路端距離に応じて、車両周辺画像の表示態様を変化させた第１表示用画像を作成する。

このように構成された第２発明の車両用画像処理方法は、第１発明の車両用画像処理装置にて実行される方法であり、この方法を実行することで、第１発明の車両用画像処理装置と同様の効果を得ることができる。

車両用表示システム１の構成を示すブロック図である。 幅寄せ時表示処理を示すフローチャートである。 自車両と車道外側線との間の距離が長いときの状況を示す平面図と、隙間有時表示画像の構成を示す図である。 自車両と車道外側線との間の距離が短いときの状況を示す平面図と、隙間無時表示画像の構成を示す図である。 発進時表示処理を示すフローチャートである。 発進時表示画像の構成を示す図である。

以下に本発明の実施形態を図面とともに説明する。
本実施形態の車両用表示システム１は、車両に搭載され、図１に示すように、車載カメラ群２と、センサ群３と、スイッチ群４と、画像処理装置５と、表示装置６とを備える。

車載カメラ群２は、前方カメラ１１、後方カメラ１２、左側方カメラ１３および右側方カメラ１４から構成され、車両の周辺を連続して撮影する。前方カメラ１１は、車両用表示システム１を搭載した車両（以下、自車両という）の前側に取り付けられており、自車両の前方の状況を撮影する。後方カメラ１２は、自車両の後側に取り付けられており、自車両の後方の状況を撮影する。左側方カメラ１３は、自車両の左側に取り付けられており、自車両の左側方の状況を撮影する。右側方カメラ１４は、自車両の右側に取り付けられており、自車両の右側方の状況を撮影する。

センサ群３は、シフトレバー位置センサ２１、車速センサ２２、ドアロックセンサ２３およびクリアランスソナー２４から構成されている。
シフトレバー位置センサ２１は、車両のシフトレバーの位置を検出し、その検出結果を示すシフト位置信号を出力する。車速センサ２２は、車軸の回転に応じて所定角度毎にローレベルからハイレベルに変化する車速信号を出力する。ドアロックセンサ２３は、ドアのロック／アンロック状態を検出し、その検出結果を示すドアロック信号を出力する。

クリアランスソナー２４は、自車両の後側に取り付けられており、超音波を自車両の後方へ発信しその反射波を受信することにより物体の存在および位置を検出し、その検出結果を示すソナー信号を出力する。

スイッチ群４は、ハザードスイッチ３１、方向指示器スイッチ３２およびキーポジションスイッチ３３から構成されている。
ハザードスイッチ３１は、自車両のインストルメントパネル付近に設置される。そしてハザードスイッチ３１は、ハザードランプを点滅させるための点滅指示操作がハザードスイッチ３１に対して行われると、ハザードスイッチ３１がオン状態であることを示すハザード信号を出力する。

方向指示器スイッチ３２は、運転者によって操作される操作部として、自車両のステアリングホイールの取り付け軸の付近から伸びたレバーを備える。方向指示器スイッチ３２は、レバーが基準位置から上側に操作されると、左側の方向指示器を作動させる状態となり、レバーが基準位置から下側に操作されると、右側の方向指示器を作動させる状態となる。そして方向指示器スイッチ３２は、方向指示器スイッチ３２の状態が、方向指示器を作動させない状態（以下、非作動状態という）と、左側の方向指示器を作動させる状態（以下、左側作動状態という）と、右側の方向指示器を作動させる状態（以下、右側作動状態という）との何れであるかを示す方向指示信号を出力する。

キーポジションスイッチ３３は、車両のキーが挿入されるイグニッションキーシリンダに取り付けられている。イグニッションキーシリンダは、挿入された車両のキーを運転者が回転させることで、オフ（ＯＦＦ）位置、アクセサリ（ＡＣＣ）位置、イグニッション（ＩＧ）位置およびスタート（ＳＴ）位置の４つのキー位置のうちの何れか１つに切り替えられる。そしてキーポジションスイッチ３３は、イグニッションキーシリンダにおけるキーの操作位置を示すキーポジション信号を出力する。

画像処理装置５は、カメラインタフェース（以下、カメラＩ／Ｆという）４１と、車両インタフェース（以下、車両Ｉ／Ｆという）４２と、表示インタフェース（以下、表示Ｉ／Ｆという）４３と、記憶部４４と、制御部４５と、これらを結ぶバス４６とを備える。

カメラＩ／Ｆ４１は、前方カメラ１１、後方カメラ１２、左側方カメラ１３および右側方カメラ１４から撮影画像を入力するためのインタフェースである。 車両Ｉ／Ｆ４２は、各種センサ２１，２２，２３と各種スイッチ３１，３２，３３から信号を入力するためのインタフェースである。

表示Ｉ／Ｆ４３は、画像処理装置５により画像処理された画像データを表示装置６へ出力するためのインタフェースである。 記憶部４４は、各種データを記憶するための記憶装置である。

制御部４５は、ＣＰＵ５１、ＲＯＭ５２およびＲＡＭ５３等からなるマイクロコンピュータを中心に構成されている。そして制御部４５は、ＲＯＭ５２に記憶されているプログラムに基づく処理をＣＰＵ５１が実行することにより、画像処理装置５を制御する。

表示装置６は、液晶ディスプレイ等の表示画面を有するカラー表示装置であり、画像処理装置５からの画像データの入力に応じて各種画像を表示画面に表示する。
このように構成された車両用表示システム１において、画像処理装置５は、後述する幅寄せ時表示処理および発進時表示処理を実行する。

まず、画像処理装置５の制御部４５が実行する幅寄せ時表示処理の手順を説明する。この幅寄せ時表示処理は、画像処理装置５の動作中において予め設定された実行周期毎に繰り返し実行される処理である。

この幅寄せ時表示処理が実行されると、制御部４５は、図２に示すように、まずＳ１０にて、予め設定された表示終了条件が成立したか否かを判断する。本実施形態の表示終了条件は、自車両のエンジンが停止した後に自車両がキーロックされることである。具体的には、キーポジションスイッチ３３からのキーポジション信号に基づきキー位置がオフ位置であり、且つ、ドアロックセンサ２３からのドアロック信号に基づき全ドアがアンロック状態からロック状態へ遷移した場合に、表示終了条件が成立したと判断する。

ここで、表示終了条件が成立した場合には（Ｓ１０：ＹＥＳ）、幅寄せ時表示処理を一旦終了する。一方、表示終了条件が成立していない場合には（Ｓ１０：ＮＯ）、Ｓ２０にて、カメラ１１〜１４から撮影画像を取得する。そしてＳ３０にて、予め設定された幅寄せ判定条件が成立したか否かを判断する。本実施形態の幅寄せ判定条件は、ハザードスイッチ３１がオン状態であり、且つ、自車両の走行速度が予め設定された幅寄せ判定速度（本実施形態では、例えば１０ｋｍ／ｈ）以下であることである。

ここで、幅寄せ判定条件が成立していない場合には（Ｓ３０：ＮＯ）、Ｓ４０にて、幅寄せ指示フラグがセットされているか否かを判断する。ここで、幅寄せ指示フラグがセットされている場合には（Ｓ４０：ＹＥＳ）、Ｓ５０にて、自車両が停止しているか否かを判断する。そして、自車両が停止している場合には（Ｓ５０：ＹＥＳ）、Ｓ１２０に移行する。一方、自車両が停止していない場合には（Ｓ５０：ＹＥＳ）、Ｓ６０にて、幅寄せ指示フラグをクリアし、Ｓ７０に移行する。

またＳ４０にて、幅寄せ指示フラグがクリアされている場合には（Ｓ４０：ＮＯ）、Ｓ７０に移行する。
そしてＳ７０に移行すると、シフトレバー位置センサ２１からのシフト位置信号に基づいて、自車両のシフト位置がＤ（ドライブ）であるか否かを判断する。ここで、シフト位置がＤである場合には（Ｓ７０：ＹＥＳ）、Ｓ８０にて、前方カメラ１１から取得した撮影画像を示す撮影画像データを表示装置６へ出力し、幅寄せ時表示処理を一旦終了する。これにより、車両前方を示す画像が表示装置６の表示画面に表示される。

一方、自車両のシフト位置がＤでない場合には（Ｓ７０：ＮＯ）、Ｓ９０にて、自車両のシフト位置がＲ（リバース）であるか否かを判断する。ここで、シフト位置がＲでない場合には（Ｓ９０：ＮＯ）、自車両のシフト位置がＰ（パーキング）またはＮ（ニュートラル）であると判断し、幅寄せ時表示処理を一旦終了する。

一方、シフト位置がＲである場合には（Ｓ９０：ＹＥＳ）、Ｓ１００にて、後方カメラ１２から取得した撮影画像を示す撮影画像データを表示装置６へ出力し、幅寄せ時表示処理を一旦終了する。これにより、車両後方を示す画像が表示装置６の表示画面に表示される。

またＳ３０にて、幅寄せ判定条件が成立した場合には（Ｓ３０：ＹＥＳ）、Ｓ１１０にて、幅寄せ指示フラグをセットし、Ｓ１２０に移行する。
そしてＳ１２０に移行すると、左側方カメラ１３および右側方カメラ１４の撮影画像を用いて、周知の白線検出技術等に基づき、車道外側線を検出する。

次にＳ１３０にて、Ｓ１２０の処理で車道外側線を検出したか否かを判断する。ここで、車道外側線を検出していない場合には（Ｓ１３０：ＮＯ）、Ｓ７０に移行し、上述の処理を行う。

一方、車道外側線を検出した場合には（Ｓ１３０：ＹＥＳ）、Ｓ１４０にて、左側方カメラ１３または右側方カメラ１４の撮影画像のうち車道外側線が写っている撮影画像を用いて、撮影画像内において車道外側線が写っている位置に基づいて、自車両と車道外側線との間の距離（以下、外側線距離という）を算出する。

そしてＳ１５０にて、Ｓ１４０で算出した外側線距離が予め設定された隙間無判定距離未満であるか否かを判断する。なお隙間無判定距離は、自車両が幅寄せをしている道路の端と自車両との間を人が通過できない距離となるように設定される。

ここで、外側線距離が隙間無判定距離以上である場合には（Ｓ１５０：ＮＯ）、Ｓ１６０にて、Ｓ１４０で算出した外側線距離が予め設定された後方表示判定距離未満であるか否かを判断する。なお後方表示判定距離は、隙間無判定距離より長くなるように設定される。

そして、外側線距離が後方表示判定距離以上である場合には（Ｓ１６０：ＮＯ）、Ｓ７０に移行して、上述の処理を行う。一方、外側線距離が後方表示判定距離未満である場合には（Ｓ１６０：ＹＥＳ）、Ｓ１７０にて、隙間有時表示画像を作成する。

隙間有時表示画像は、図３（ａ）に示すように、自車両ＭＣが幅寄せをしている道路ＲＤの端ＲＥと自車両ＭＣとの間を人が通過できる時に表示するための画像である。
そして隙間有時表示画像は、図３（ｂ）に示すように、側方表示領域Ｒ１と後方表示領域Ｒ２が設定されている。側方表示領域Ｒ１は、左側方カメラ１３が撮影した撮影画像（以下、左側方撮影画像ともいう）と、右側方カメラ１４が撮影した撮影画像（以下、右側方撮影画像ともいう）のうち、Ｓ１２０の処理で車道外側線を検出した方の撮影画像を表示する領域である。

そしてＳ１７０では、左側方撮影画像と右側方撮影画像のうち、車道外側線が写っている撮影画像の中から、自車両の運転席より後ろ側を写している部分を抽出して、この抽出した部分の画像（以下、側方抽出画像ともいう）を側方表示領域Ｒ１に割り当てる。さらにＳ１７０では、後方カメラ１２が撮影した撮影画像（以下、後方撮影画像ともいう）を後方表示領域Ｒ２に割り当てる。これにより、隙間有時表示画像の作成が完了する。

但しＳ１７０では、クリアランスソナー２４が自車両の後方の物体を検出した場合には、クリアランスソナー２４が検出した位置情報に基づき、側方表示領域Ｒ１内と後方表示領域Ｒ２内において検出物体が写っている位置を強調表示する位置指示画像（図３（ｂ）の位置指示画像ＰＴ１，ＰＴ２を参照）を、側方抽出画像上と後方撮影画像上に重ねる。そして、位置指示画像が重ねられた状態の側方抽出画像と後方撮影画像をそれぞれ側方表示領域Ｒ１と後方表示領域Ｒ２に割り当てる。

そしてＳ１７０の処理が終了すると、図２に示すように、Ｓ１８０にて、Ｓ１７０で作成した隙間有時表示画像を示すデータを表示装置６へ出力し、幅寄せ時表示処理を一旦終了する。これにより、隙間有時表示画像が表示装置６の表示画面に表示される。

またＳ１５０にて、外側線距離が隙間無判定距離未満である場合には（Ｓ１５０：ＹＥＳ）、Ｓ１９０にて、隙間無時表示画像を作成する。
隙間無時表示画像は、図４（ａ）に示すように、自車両ＭＣが幅寄せをしている道路ＲＤの端ＲＥと自車両ＭＣとの間を人が通過できない時に表示するための画像である。

そして隙間無時表示画像は、図４（ｂ）に示すように、俯瞰表示領域Ｒ１１と後方表示領域Ｒ１２が設定されている。俯瞰表示領域Ｒ１１は、自車両とその周囲全体を俯瞰したトップビュー画像を表示する領域である。

そしてＳ１９０では、カメラ１１〜１４が撮影した撮影画像を自車両の上方の視点から見た画像に変換して繋ぎ合わせることによりトップビュー画像を作成し、このトップビュー画像を俯瞰表示領域Ｒ１１に割り当てる。さらにＳ１９０では、後方カメラ１２が撮影した撮影画像（後方撮影画像）を後方表示領域Ｒ１２に割り当てる。これにより、隙間無時表示画像の作成が完了する。

但しＳ１９０では、クリアランスソナー２４が自車両の後方の物体を検出した場合には、クリアランスソナー２４が検出した位置情報に基づき、後方表示領域Ｒ１２内において検出物体が写っている位置を強調表示する位置指示画像を、後方撮影画像上に重ねる。そして、位置指示画像が重ねられた状態の後方撮影画像を後方表示領域Ｒ１２に割り当てる。

そしてＳ１９０の処理が終了すると、図２に示すように、Ｓ２００にて、Ｓ１９０で作成した隙間無時表示画像を示すデータを表示装置６へ出力し、幅寄せ時表示処理を一旦終了する。これにより、隙間無時表示画像が表示装置６の表示画面に表示される。

次に、画像処理装置５の制御部４５が実行する発進時表示処理の手順を説明する。この発進時表示処理は、画像処理装置５の動作中において予め設定された実行周期毎に繰り返し実行される処理である。

この発進時表示処理が実行されると、制御部４５は、図５に示すように、まずＳ２１０にて、幅寄せ指示フラグがセットされているか否かを判断する。ここで、幅寄せ指示フラグがクリアされている場合には（Ｓ２１０：ＮＯ）、発進時表示処理を一旦終了する。一方、幅寄せ指示フラグがセットされている場合には（Ｓ２１０：ＹＥＳ）、Ｓ２２０にて、カメラ１１〜１４から撮影画像を取得する。そしてＳ２３０にて、予め設定された発進時表示条件が成立したか否かを判断する。本実施形態の発進時表示条件は、方向指示器スイッチ３２が左側作動状態または右側作動状態を示す方向指示信号を出力し、且つ、自車両の走行速度が予め設定された発進時表示判定速度（本実施形態では、例えば２０ｋｍ／ｈ）以下であることである。

ここで、発進時表示条件が成立していない場合には（Ｓ２３０：ＮＯ）、Ｓ２４０にて、自車両の走行速度が発進時表示判定速度を超えているか否かを判断する。ここで、自車両の走行速度が発進時表示判定速度を超えている場合には（Ｓ２４０：ＹＥＳ）、Ｓ２５０にて、幅寄せ指示フラグをクリアし、発進時表示処理を一旦終了する。一方、自車両の走行速度が発進時表示判定速度未満である場合には（Ｓ２４０：ＮＯ）、発進時表示処理を一旦終了する。

またＳ２３０にて、発進時表示条件が成立している場合には（Ｓ２３０：ＹＥＳ）、Ｓ２６０にて、発進時表示画像を作成する。発進時表示画像は、図６に示すように、側方表示領域Ｒ２１と後方表示領域Ｒ２２が設定されている。側方表示領域Ｒ２１は、左側方撮影画像と右側方撮影画像のうち、Ｓ９０の処理で車道外側線を検出していない方の撮影画像を表示する領域である。

そしてＳ２６０では、左側方撮影画像と右側方撮影画像のうち、車道外側線が写っていない撮影画像の中から、自車両の運転席より後ろ側を写している部分を抽出して、この抽出した部分の画像を側方表示領域Ｒ２１に割り当てる。さらにＳ２６０では、後方カメラ１２が撮影した撮影画像（後方撮影画像）を後方表示領域Ｒ２２に割り当てる。これにより、発進時表示画像の作成が完了する。

但しＳ２６０では、クリアランスソナー２４が自車両の後方の物体を検出した場合には、クリアランスソナー２４が検出した位置情報に基づき、側方表示領域Ｒ２１内と後方表示領域Ｒ２２内において検出物体が写っている位置を強調表示する位置指示画像を、側方抽出画像上と後方撮影画像上に重ねる。そして、位置指示画像が重ねられた状態の側方抽出画像と後方撮影画像をそれぞれ側方表示領域Ｒ２１と後方表示領域Ｒ２２に割り当てる。

そしてＳ２６０の処理が終了すると、図５に示すように、Ｓ２７０にて、Ｓ２６０で作成した発進時表示画像を示すデータを表示装置６へ出力し、発進時表示処理を一旦終了する。これにより、発進時表示画像が表示装置６の表示画面に表示される。

このように構成された画像処理装置５は、自車両の周辺を連続して撮影する前方カメラ１１、後方カメラ１２、左側方カメラ１３および右側方カメラ１４から、カメラ１１〜１４が撮影した撮影画像（以下、車両周辺画像という）を取得する（Ｓ２０）。

また画像処理装置５は、自車両が走行している走行道路の端付近に存在する車道外側線と自車両との間の距離（外側線距離）を計測する（Ｓ１４０）。
そして画像処理装置５は、取得した車両周辺画像を用い、計測した外側線距離に応じて、車両周辺画像の表示態様を変化させた隙間有時表示画像および隙間無時表示画像を作成する（Ｓ１５０〜Ｓ１７０，Ｓ１９０）。

このように画像処理装置５は、外側線距離に応じて車両周辺画像の表示態様を変化させた隙間有時表示画像および隙間無時表示画像を作成するため、外側線距離に応じて表示態様が変化する車両周辺画像を自車両の運転者に対して表示することが可能となる。これにより画像処理装置５は、自車両の運転者が認識すべき車両周辺状況が外側線距離に応じて異なる場合であっても、自車両の運転者が認識すべき車両周辺状況を示す情報を、外側線距離に応じて適切に自車両の運転者へ提供することが可能となる。

また画像処理装置５は、計測した外側線距離に基づいて、走行道路の端と自車両との間を人が通過できるか否かを判断する（Ｓ１５０，Ｓ１６０）。そして画像処理装置５は、走行道路の端と自車両との間を人が通過できると判断した場合に（Ｓ１５０：ＮＯ，Ｓ１６０：ＹＥＳ）、車両周辺画像を用いて、走行道路の端と自車両との間に向かって接近する物体を自車両の運転者が確認することが可能となる表示態様として、自車両の左側方および右側方のうち走行道路の端に近い側の後方を撮影した画像を側方表示領域Ｒ１に含む隙間有時表示画像を作成する（Ｓ１７０）。

これにより画像処理装置５は、自車両が走行道路の端へ近付いている場合において、走行道路の端と自車両との間を通過しようとしている通行人を自車両の運転者に認識させることが可能となり、自車両と通行人との接触の発生を抑制することができる。

また画像処理装置５は、走行道路の端と自車両との間を人が通過できないと判断した場合に（Ｓ１５０：ＹＥＳ）、車両周辺画像を用いて、車両の運転者が走行道路の端を確認することが可能となる表示態様として、トップビュー画像を俯瞰表示領域Ｒ１１に含む隙間無時表示画像を作成する（Ｓ１９０）。

これにより画像処理装置５は、自車両が走行道路の端へ近付いている場合において、走行道路の端と自車両との間の距離を自車両の運転者に認識させることが可能となる。このため、自車両の運転者は、走行道路の端と自車両との間隔が所望する長さになるように自車両を走行道路の端へ近付けることができる。

また画像処理装置５は、自車両の後方の状況を撮影する後方カメラ１２が撮影した撮影画像（後方撮影画像）を後方表示領域Ｒ２，Ｒ１２に含む隙間無時表示画像および隙間有時表示画像を作成する（Ｓ１７０，Ｓ１９０）。

これにより画像処理装置５は、自車両が走行道路の端へ近付いている場合において、自車両の後方から自車両へ接近する通行人を自車両の運転者に認識させることが可能となり、自車両と通行人との接触の発生を抑制することができる。

また画像処理装置５は、自車両が停止し且つ自車両の全ドアがロックされるまで、隙間無時表示画像および隙間有時表示画像の作成を継続する（Ｓ１０，Ｓ１７０，Ｓ１９０）。

これにより画像処理装置５は、自車両が走行道路の端への幅寄せを完了するまでだけではなく、幅寄せを完了して自車両の運転者が自車両から降りて離れるまで、自車両へ接近する通行人を自車両の運転者に認識させることが可能となり、自車両と通行人との接触の発生を更に抑制することができる。

また画像処理装置５は、自車両が走行道路の端で停止したか否かを判断する（Ｓ２１０）。そして画像処理装置５は、自車両が走行道路の端で停止したと判断した場合において自車両が発進するときに、車両周辺画像を用いて、自車両の左側方および右側方のうち走行道路の端から遠い側の後方を撮影した画像を側方表示領域Ｒ２１に含む発進時表示画像を作成する（Ｓ２６０）。

これにより画像処理装置５は、自車両が発進しようとしている場合において、自車両の左側および右側のうち自車両が発進しようとしている側を通過する通行人を自車両の運転者に認識させることが可能となり、自車両と通行人との接触の発生を抑制することができる。

以上説明した実施形態において、前方カメラ１１、後方カメラ１２、左側方カメラ１３および右側方カメラ１４は本発明における撮影装置、Ｓ２０の処理は本発明における周辺画像取得手段および周辺画像取得手順、Ｓ１４０の処理は本発明における距離計測手段および距離計測手順、Ｓ１５０〜Ｓ１７０，Ｓ１９０の処理は本発明における第１画像作成手段および第１画像作成手順、隙間有時表示画像および隙間無時表示画像は本発明における第１表示用画像である。

また、Ｓ１５０，Ｓ１６０の処理は本発明における通過判断手段、Ｓ２１０の処理は本発明における道路端停止判断手段、Ｓ２６０の処理は本発明における第２画像作成手段、発進時表示画像は本発明における第２表示用画像である。

以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の技術的範囲に属する限り種々の形態を採ることができる。
例えば上記実施形態では、自車両と車道外側線との間の距離（外側線距離）を算出することにより、道路の端と自車両との間を人が通過することができるか否かを判断するものを示した。しかし、人が通過することができるか否かを判断することができるのであれば、これに限定されるものではなく、例えば、自車両が幅寄せをしている道路の端と自車両との距離を算出することにより、人が通過することができるか否かを判断するようにしてもよい。

また上記実施形態では、自車両が幅寄せを行っている場合に隙間無時表示画像または隙間有時表示画像を表示するものを示したが、自車両が左折する場合に、隙間無時表示画像または隙間有時表示画像を表示するようにしてもよい。

また上記実施形態では、ハザードスイッチがオン状態であり、且つ、自車両の走行速度が例えば１０ｋｍ／ｈ以下である場合に、自車両が幅寄せを行っていると判断するものを示したが、自車両が幅寄せを行っていると判断することができるのであれば、これに限定されるものではない。例えば、ハザードスイッチがオン状態であり、且つ、自車両が道路の一番左端のレーンを走行している場合に、自車両が幅寄せを行っていると判断するようにしてもよい。なお、自車両が道路の一番左端のレーンを走行しているか否かの判断は、例えば、自車両に搭載されているナビゲーション装置から自車両の位置情報を取得することにより可能である。

また上記実施形態では、クリアランスソナー２４が自車両の後方の物体を検出した場合に、検出物体が写っている位置を強調表示する位置指示画像を表示するものを示した。しかし、車両の後方の物体を検出した場合に、後方物体を検出した旨を表示装置に表示したり、後方物体を検出した旨の音声を出力したりするようにしてもよい。

また、上記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合させたりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加または置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。

５…画像処理装置、１１…前方カメラ、１２…後方カメラ、１３…左側方カメラ、１４…右側方カメラ、４５…制御部

Claims (8)

1. 車両に設置されて前記車両の周辺を連続して撮影する撮影装置（１１，１２，１３，１４）から、前記撮影装置が撮影した車両周辺画像を取得する周辺画像取得手段（Ｓ２０）と、
   前記車両が走行している走行道路の端または前記走行道路の端付近に存在する白線と前記車両との間の距離である道路端距離を計測する距離計測手段（Ｓ１４０）と、
   前記周辺画像取得手段が取得した前記車両周辺画像を用い、前記距離計測手段が計測した前記道路端距離に応じて、前記車両周辺画像の表示態様を変化させた第１表示用画像を作成する第１画像作成手段（Ｓ１５０〜Ｓ１７０，Ｓ１９０）とを備える
   ことを特徴とする車両用画像処理装置（５）。
2. 前記距離計測手段が計測した前記道路端距離に基づいて、前記走行道路の端と前記車両との間を人が通過できるか否かを判断する通過判断手段（Ｓ１５０，Ｓ１６０）を備え、
   前記第１画像作成手段は、前記走行道路の端と前記車両との間を人が通過できると前記通過判断手段が判断した場合に、前記車両周辺画像を用いて、前記走行道路の端と前記車両との間に向かって接近する物体を前記車両の運転者が確認することが可能となる前記表示態様の前記第１表示用画像を作成する
   ことを特徴とする請求項１に記載の車両用画像処理装置。
3. 前記第１画像作成手段は、前記走行道路の端と前記車両との間に向かって接近する物体を確認することが可能となる前記表示態様として、前記車両の左側方および右側方のうち前記走行道路の端に近い側の後方を撮影した画像を含む前記第１表示用画像を作成する
   ことを特徴とする請求項２に記載の車両用画像処理装置。
4. 前記距離計測手段が計測した前記道路端距離に基づいて、前記走行道路の端と前記車両との間を人が通過できるか否かを判断する通過判断手段を備え、
   前記第１画像作成手段は、前記走行道路の端と前記車両との間を人が通過できないと前記通過判断手段が判断した場合に、前記車両周辺画像を用いて、前記車両の運転者が前記走行道路の端を確認することが可能となる前記表示態様の前記第１表示用画像を作成する
   ことを特徴とする請求項１〜請求項３の何れか１項に記載の車両用画像処理装置。
5. 前記第１画像作成手段は、前記車両の後方を撮影した画像を含む前記表示態様の前記第１表示用画像を作成する
   ことを特徴とする請求項１〜請求項４の何れか１項に記載の車両用画像処理装置。
6. 前記第１画像作成手段は、前記車両が停止し且つ前記車両のドアがロックされるまで、前記第１表示用画像の作成を継続する
   ことを特徴とする請求項１〜請求項５の何れか１項に記載の車両用画像処理装置。
7. 前記車両が前記走行道路の端で停止したか否かを判断する道路端停止判断手段（Ｓ２１０）と、
   前記車両が前記走行道路の端で停止したと前記道路端停止判断手段が判断した場合において前記車両が発進するときに、前記車両周辺画像を用いて、前記車両の左側方および右側方のうち前記走行道路の端から遠い側において前記車両へ接近する物体を前記車両の運転者が確認することが可能となる第２表示用画像を作成する第２画像作成手段（Ｓ２６０）とを備える
   ことを特徴とする請求項１〜請求項６の何れか１項に記載の車両用画像処理装置。
8. 車両に設置されて前記車両の周辺を連続して撮影する撮影装置から、前記撮影装置が撮影した車両周辺画像を取得する周辺画像取得手順（Ｓ２０）と、
   前記車両が走行している走行道路の端または前記走行道路の端付近に存在する白線と前記車両との間の距離である道路端距離を計測する距離計測手順（Ｓ１４０）と、
   前記周辺画像取得手順で取得した前記車両周辺画像を用い、前記距離計測手順で計測した前記道路端距離に応じて、前記車両周辺画像の表示態様を変化させた第１表示用画像を作成する第１画像作成手順（Ｓ１５０〜Ｓ１７０，Ｓ１９０）とを備える
   ことを特徴とする車両用画像処理方法。