JP2014129093A - 車両用周辺監視装置 - Google Patents

Abstract

【課題】車両周辺を撮影した複数の画像を合成して、車両周辺の状況を俯瞰する俯瞰画像を生成すると、障害物が歪んで表示される。
【解決手段】撮影手段３０の撮影範囲に向けて設置された障害物検出手段４０の出力のうち、所定値を下回る最小の値に対応する位置よりも車両に近い領域は、撮影手段３０で撮影した画像を第１仮想画像生成手段５０によって、車両を上空の仮想視点から見下ろした第１仮想画像に変換し、障害物検出手段４０の出力のうち、所定値を下回る最小の値に対応する位置よりも車両から遠い領域は、撮影手段３０で撮影した画像を第２仮想画像生成手段６０によって、第１仮想画像と連続する第２仮想画像に変換し、第１画像合成手段９０によって、第１仮想画像と第２仮想画像とを合成して、画像表示手段１００に表示する。
【選択図】図１

Description

本発明は、車両に設置され、車両の周辺を撮影した画像を表示する車両用周辺監視装置に関する。

近年、車両にカメラを設置し、運転者に対して死角になりやすい車両周辺の画像を撮影して表示するシステムが一般的になってきている。

特に、最近では、車両に複数のカメラを設置し、真上から見下ろすように座標変換して俯瞰画像を生成し、車両周辺に障害物がないときにはこの俯瞰画像を表示し、車両周辺に障害物が検出されたときには障害物を撮影した画像を表示する発明が提案されている（特許文献１）。

特開２００６−２７５５６号公報

しかしながら、特許文献１に開示された発明では、障害物が検出される度に、表示される画像の形態が大きく変化してしまうため、使用者は、その都度、画像の意味を考えながら内容を理解する必要がある。したがって、瞬読性が阻害されてしまうという課題がある。

本発明は上記事情に鑑みなされたもので、画像の形態を変えることなしに、障害物を歪みなく表示することができる車両用周辺監視装置を提供することを目的とする。

本発明に係る車両用周辺監視装置は、車両から車両に取り付けた障害物検出手段によって検出された障害物までの距離の範囲は、この車両を上空から俯瞰した俯瞰画像とし、その距離よりも離れた範囲は、車両から撮影された画像を合成して表示することで、画像の形態を変えることなしに、障害物を歪みなく表示するものである。

すなわち、本発明に係る第１の車両用周辺監視装置は、車両に設置され、前記車両の周辺を撮影して画像を出力する撮影手段と、前記車両に、前記撮影手段の撮影範囲に向けて設置され、前記車両から障害物までの距離を出力する障害物検出手段と、前記画像の中の、前記車両からの距離が、前記車両から障害物までの距離よりも小さい領域を、前記車両上空の所定の位置に設置した仮想視点から前記車両を見下ろした第１仮想画像に変換する第１仮想画像生成手段と、前記領域以外の領域を、前記第１仮想画像の、前記車両から遠方側の辺縁において、前記第１仮想画像と連続するように座標変換した画像に変換する第２仮想画像生成手段と、
前記第１仮想画像と前記第２仮想画像とを１枚の画像に合成する第１画像合成手段と、前記第１画像合成手段によって合成された画像を表示する画像表示手段とを備えたことを特徴とする。

このように構成された本発明に係る第１の車両用周辺監視装置によれば、撮影手段が撮影した車両周辺の画像のうち、障害物検出手段が出力した車両から障害物までの距離よりも車両に近い領域が、第１仮想画像生成手段によって車両上空の所定位置に設定した仮想視点から前記車両を見下ろした第１仮想画像に変換され、前記以外の領域が第１仮想画像と連続するように、第２仮想画像生成手段によって座標変換され、第１画像合成手段が、第２仮想画像と、第１仮想画像とを１枚の画像に合成し、画像表示手段が合成された画像を表示することによって、画像の表示形態を変えることなく、障害物を歪みなく表示することができる。

また、本発明に係る第２の車両用周辺監視装置は、車両に設置され、前記車両の周辺を撮影して画像を出力する撮影手段と、前記車両に、前記撮影手段の撮影範囲に向けて設置され、前記車両から障害物までの距離を出力する障害物検出手段と、前記画像を、前記車両上空の所定の位置に設置した仮想視点から前記車両を見下ろした第３仮想画像に変換する第３仮想画像生成手段と、前記第３仮想画像の中にある、前記車両からの距離が前記車両から障害物までの距離を超えない領域と連続するように、前記領域以外の領域を座標変換した画像に変換する第４仮想画像生成手段と、前記第３仮想画像の上に、前記第４仮想画像を上書きする第２画像合成手段と、前記第２画像合成手段によって合成された画像を表示する画像表示手段とを備えたことを特徴とする。

このように構成された本発明に係る第２の車両用周辺監視装置によれば、撮影手段が撮影した車両周辺の画像が、第３仮想画像生成手段によって車両上空の所定位置に設定した仮想視点から前記車両を見下ろした第３仮想画像に変換され、変換された第３仮想画像が、障害物検出手段によって検出された、車両から障害物までの距離を超えない位置において、第３仮想画像と連続するように、前記画像が第４仮想画像生成手段によって座標変換され、第２画像合成手段が、第３仮想画像の中の、車両から障害物までの距離を超えない位置よりも、車両から遠い領域に第４仮想画像を上書きして、画像表示手段が合成された画像を表示することによって、画像の表示形態を変えることなく、障害物を歪みなく表示することができる。

本発明に係る車両用周辺監視装置によれば、障害物の有無に拘わらず、画像の表示形態を変えることなく、障害物を歪みなく表示することができる。

本発明の第１実施形態に係る車両用周辺監視装置の概略構成を示すブロック図である。 （ａ）本発明の第１実施形態が設置された車両の左側面図である。（ｂ）図２（ａ）の上面図である。 本発明の第１実施例が動作している道路環境を説明する図である。 第１距離マーカの設定状態と、障害物検出手段の出力を説明する図である。 第１仮想画像の内容を説明する図である。 第２仮想画像の内容を説明する図である。 第１画像合成手段によって合成された画像の内容を説明する図である。 第２距離マーカの設定状態を説明する図である。 車両の全周囲に第１仮想画像を描画した例を説明する図である。 本発明の第１実施形態の処理の流れを説明するフローチャートである。 本発明の第２実施形態に係る車両用周辺監視装置の概略構成を示すブロック図である。 本発明の第２実施形態の処理の流れを説明するフローチャートである。

以下、本発明に係る車両用周辺監視装置の実施形態について、図面を参照して説明する。

本実施例は、本発明を、車両１周辺の画像をよりわかりやすい形態に変換して、車内に設置されたモニタに提示することができる、車両用周辺監視装置２に適用したものである。特に、本実施例は、車両１周辺に障害物検出手段を備え、この障害物検出手段の出力に基づいて、車両１周辺の画像をよりわかりやすい形態に変換して、車内のモニタに表示するものである。

図１は、本発明の実施形態に係る車両用周辺監視装置２の構成を示すブロック図である。本実施例に係る車両用周辺監視装置２は、図１に示す通り、車両１（図２に示す）に設置され、車両用周辺監視装置２の起動操作、終了操作を検出する起動・終了検出手段２０と、車両１の進行方向を検出する進行方向検出手段１０と、車両周辺の画像を撮影する複数のカメラで構成された撮影手段３０と、車両１の周辺の障害物の有無を検出し、その障害物までの距離に対応する値を出力する障害物検出手段４０と、撮影された車両周辺のうち、障害物検出手段４０で検出された障害物までの距離よりも車両１に近い領域を、車両１の上空から見下ろした仮想画像に変換する第１仮想画像生成手段５０と、撮影手段３０で撮影した画像の中の、障害物検出手段４０で検出した障害物までの距離よりも遠方にある領域に対して、障害物までの距離に対応する位置において、前記第１仮想画像と連続するように座標変換を行う第２仮想画像生成手段６０と、車両１から所定距離の位置に、車両１からの距離が互いに異なる、複数の距離マーカを設定する第１距離マーカ設定手段７０と、車両１から所定距離の位置に、車両１からの距離が互いに異なる、複数の距離マーカを設定する第２距離マーカ設定手段８０と、第１仮想画像と第２仮想画像とを、１枚の画像に合成する第１画像合成手段９０と、第１画像合成手段９０によって合成された画像を表示する画像表示手段１００とからなる。

ここで、進行方向検出手段１０は、詳しくは、車両１のシフトポジションを検出するシフトポジション検出部１２と、車両１の操舵角を検出する操舵角検出部１４とからなる。

起動・終了検出手段２０は、詳しくは、車両１のイグニッションスイッチの状態を判断するイグニッションスイッチ状態判断部２２と、車両用周辺監視装置２の起動を指示する起動スイッチ２４と、車両用周辺監視装置２の動作終了を指示する終了スイッチ２６と、車両１の車速を検出する車速検出部２８とからなる。

撮影手段３０は、詳しくは、図２（ａ）、（ｂ）のように車両の周辺に設置され、車両１周辺の画像情報を得る、隣り合う撮影領域が互いに重複するように配置された第１カメラ３１と、第２カメラ３２と、第３カメラ３３と、第４カメラ３４とからなる。
図２（ａ）に示すように、第１カメラ３１は車両１のフロントバンパに、第２カメラ３２は車両１の左ドアミラーに、第３カメラ３３は車両１のリアバンパにそれぞれ設置されており、図２（ａ）には図示しないが、第４カメラ３４は車両１の右ドアミラーに設置される。

また、各カメラは、図２（ｂ）に示すように配置される。すなわち、第１カメラ３１の撮影範囲と路面とは、交線１５０によって交わるように設置される。同様に、第２カメラ３２は路面と交線１５２で交わるように、第３カメラ３３は路面と交線１５４で交わるように、第４カメラ３４は路面と交線１５６で交わるように、各々が設置される。

なお、隣り合うカメラは、図２（ｂ）に示す通り、各々の撮影範囲が互いに重複し、第１カメラ３１と第２カメラ３２とは第１重複領域Ｅ１をなし、第２カメラ３２と第３カメラ３３とは第２重複領域Ｅ２をなし、第３カメラ３３と第４カメラ３４とは第３重複領域Ｅ３をなし、第４カメラ３４と第１カメラ３１とは第４重複領域Ｅ４をなすように設置される。

障害物検出手段４０は、詳しくは、図２（ａ）、（ｂ）のように車両の周辺に設置され、車両周辺の障害物までの距離を測定して出力する、第１測距部４１と、第２測距部４２と、第３測距部４３と、第４測距部４４と、進行方向検出手段１０の出力に基づいて、これらの測距部４１−４４の中から、１つまたは複数の測距部を選択する測距範囲選択部４５と、測距範囲選択部４５で選択した測距部からの出力の最小値（最小距離値）を特定する最小距離値検出部４６と、最小距離値検出部４６で検出された最小値が、予め設定された所定値よりも小さい（近い）か否かを判定するしきい値処理部４７とからなる。

ここで、各測距部４１−４４は、図２（ｂ）に示すように、第１測距部４１は車両１のフロントバンパに、第３測距部４３は車両１のリアバンパに、第２測距部４２および第４測距部４４は車両１のサイドシルにそれぞれ取り付けられている。
また、測距範囲Ｒ１を有する第１測距部４１は、第１カメラ３１の撮影範囲に向けて、測距範囲Ｒ２を有する第２測距部４２は、第２カメラ３２の撮影範囲に向けて、測距範囲Ｒ３を有する第３測距部４３は、第３カメラ３３の撮影範囲に向けて、測距範囲Ｒ４を有する第４測距部４４は、第４カメラ３４の撮影範囲に向けて、それぞれ設置されている。図２（ｂ）は、各カメラ３１−３４の撮影範囲と、各測距部４１−４４の測距範囲との関係を示す。

また、各測距部４１−４４は、１つ、もしくは複数の距離センサによって構成される。距離センサとしては、一般に超音波センサが用いられるが、その他、光学式センサや他の種類のセンサを用いても構わない。

第１仮想画像生成手段５０は、第１仮想画像の描画範囲を決定する第１仮想画像描画範囲決定部５１と、第１仮想画像を生成するための座標変換用テーブルが格納された第１座標変換データ格納部５２と、第１座標変換データ格納部５２に格納されたテーブルに基づいて、第１仮想画像を生成する第１仮想画像生成部５３とからなる。

第２仮想画像生成手段６０は、第２仮想画像を生成するための座標変換用テーブルが格納された第２座標変換データ格納部６２と、第２座標変換データ格納部６２に格納されたテーブルに基づいて、第２仮想画像を生成する第２仮想画像生成部６４とからなる。

次に、本実施例に係る車両用周辺監視装置２の作用について、図１０のフローチャートに基づいて説明する。本実施例に係る車両用周辺監視装置２は、車両１の駐車時や狭い場所での切り返し時に利用され、車両１周辺の画像をわかりやすい形態に変換して運転者に呈示し、運転動作を補助するものである。

ここで、車両１が駐車のために前方に向かって前進している場面について、本実施例の車両用周辺監視装置２の動作を説明する。

車両１は、図３に示すように、２本のレーンマーカ２００ａ、２００ｂの間にあり、かつ、車両１の左前方に、アルファベットのＡの形状を模した障害物２００ｃが置かれているものする。そして、車両１の運転者は、矢印２００ｅ（車両１の進行方向を示す）で示すように、障害物２００ｃを回避して、車両１を前方の駐車スペース２００ｄまで誘導しているものとする。
イグニッションスイッチ状態判断部２２によって、車両１のイグニッションがＯＮになっていることが確認されると（図１０のＳ１がＹｅｓのとき）、以下の一連の処理が開始される。
運転者は、車両１周辺の画像を監視したいとき、車内に設置された起動スイッチ２４を操作する。起動スイッチ２４が操作されると（図１０のＳ２がＹｅｓのとき）、第１カメラ３１から第４カメラ３４で撮影された画像は、それぞれ、図１に図示しない、各カメラ３１−３４の後段に接続されたデコーダによって、コンポジット信号からコンポーネント信号に変換され、さらに、コンポーネント信号のうち輝度信号は、図１に図示しないＡ／Ｄ変換器を通して、ディジタル化されたディジタル画像に変換される（図１０のＳ３）。第１カメラ３１から第４カメラ３４で撮影されたディジタル画像を、それぞれＩ₁（ｘ、ｙ）、Ｉ₂（ｘ、ｙ）、Ｉ₃（ｘ、ｙ）、Ｉ₄（ｘ、ｙ）とする。

なお、起動スイッチ２４が操作されると、障害物検出手段４０によって、車両１周辺の測距が開始される。

この時、進行方向検出手段１０によって、車両の進行方向の検出が行われる。車両の進行方向は、シフトポジション検出部１２で検出されたシフトポジションと、操舵角検出部１４で検出された操舵角とによって決定される（図１０のＳ４）。

例えば、シフトポジションが前進位置であり、操舵角が所定値以上左に向いていることが確認されると、車両の進行方向は左前方であると判断されるし、また、シフトポジションが後退位置であり、操舵角が所定値以上右に向いていることが確認されると、車両の進行方向は右後方であると判断される。

このようにして検出された進行方向の情報は、障害物検出手段４０に送られ、測距範囲選択部４５において、測距部４１−４４の中から、検出された進行方向の範囲を測距している、１つもしくは複数の測距部が選択される（図１０のＳ５）。ここで選択された測距部を測距部Ｋと呼ぶことにする。

続いて、測距範囲選択部４５において選択された測距部Ｋから、その測距部Ｋを構成する測距部に備えられた、全ての距離センサの出力Ｄが読み出され（図１０のＳ６）、最小距離値検出部４６にて、距離センサの出力の最小値Ｄmin（以下、単に最小値Ｄminと呼ぶ）が算出される（図１０のＳ７）。

次に、しきい値処理部４７において、最小値Ｄminが、距離の所定値Ｄ₀（以下、単に所定値Ｄ₀と呼ぶ）より小さい（近い）か否かが判断される（図１０のＳ８）。ここで、距離の所定値Ｄ₀は、運転者に対して、障害物の存在を注意喚起する必要がある最小距離を示す値であり、装置の設計パラメータとして、予め設定されたものである。最小値Ｄminが所定値Ｄ₀より小さいとき（図１０のＳ８がＹｅｓのとき）は、最小値Ｄminの値が、第１仮想画像生成手段５０に対して出力され、処理は図１０のＳ９に進む。一方、最小値Ｄminが所定値Ｄ₀以上であるとき（図１０のＳ８がＮｏのとき）は、図１０のＳ１０に進む。

例えば、図３の状態にあるときは、車両１の進行方向は前方であると判定され、測距範囲選択部４５において、測距部Ｋとして第１測距部４１が選択される。そして、第１測距部４１を構成する、１つもしくは複数の距離センサの出力の最小値Ｄminが、所定値Ｄ₀より小さいとき、最小値Ｄminが、第１仮想画像生成手段５０に送られる。

次に、図１０のＳ９では、第１仮想画像描画範囲決定部５１において、第１距離マーカ設定手段７０で設定された、車両１からの距離が互いに異なる複数の第１距離マーカＬｉのうち、最小値Ｄminを超えない、最大の距離を表す第１距離マーカＬｊが選択される。

第１距離マーカＬｊを選択する手順を図４にて説明する。

例えば、第１測距部４１から、最小値Ｄminとして、１．３ｍという値が出力されたとする。最小値Ｄmin＝１．３ｍが表す位置を、車両１の周辺に描画すると、図４の破線のようになる。

一方、第１距離マーカ設定手段７０においては、例えば、車両１からの距離が０．５ｍ、１ｍ、１．５ｍ、２ｍ、２．５ｍ、３ｍであることを示す複数の第１距離マーカＬ１、Ｌ２、Ｌ３、Ｌ４、Ｌ５、Ｌ６が設定される。これらの第１距離マーカＬｉを、車両１の全周囲に描画すると、図４に示す６本の閉曲線のようになる。

このとき、第１仮想画像描画範囲決定部５１において、最小値Ｄmin＝１．３ｍを超えない、最大距離を表す第１距離マーカＬｉが選択される。図４の場合、車両１から１ｍ離れた位置に設定された第１距離マーカＬ２が選択される。

次に、第１仮想画像生成部５３において、画像Ｉ₁（ｘ、ｙ）、画像Ｉ₂（ｘ、ｙ）、画像Ｉ₃（ｘ、ｙ）、画像Ｉ₄（ｘ、ｙ）の各々の中で、車両１から、第１距離マーカＬ２が表す１ｍまでの範囲が、車両１の真上に設置した仮想視点から見下ろした（俯瞰した）第１仮想画像に変換される（図１０のＳ１１）。

この変換は、車両の周辺を画像化する手法として、昨今、一般的に行われているため、その詳細な説明は割愛するが、予め、座標変換テーブルを準備しておき、この座標変換テーブルを参照して、入力された画像の座標値を置き換えることによって行われる。

すなわち、第１座標変換データ格納部５２に、予め作成した、仮想視点の位置と、画像を観測する方向と、観測する範囲とによって決定する第１座標変換テーブルを格納しておき、第１仮想画像生成部５３において、撮影手段３０で撮影された各々の画像の座標値を、第１座標変換テーブルによって示された座標値に置き換えることによって第１仮想画像
が生成される。
この座標変換は、予め用意されたた第１座標変換テーブルに対して、車両１から第１距離マーカＬ２の範囲にマスクＣをかけ、このマスクＣがかかっている範囲に対応する第１座標変換テーブルを使って行われる。座標変換の結果、図５に示すＭ１の領域に画像Ｉ₁（ｘ、ｙ）を座標変換した結果が格納され、Ｍ２の領域に画像Ｉ₂（ｘ、ｙ）を座標変換した結果が格納され、Ｍ３の領域に画像Ｉ₃（ｘ、ｙ）を座標変換した結果が格納され、Ｍ４の領域に画像Ｉ₄（ｘ、ｙ）を座標変換した結果が格納される。
ここで、隣り合った撮影手段は、お互いの撮影範囲が重複するように配置されているため、隣り合った撮影手段で撮影した画像には、特定の領域が一部重複して含まれる。

そのため、本実施例の場合は、図５の斜めに引いた４本の線分のように、隣り合った撮影手段で撮影した画像同士の繋ぎ目を設定し、それぞれの繋ぎ目によって区切られた各領域には、その領域の方向を撮影した撮影手段３０によって得られた画像が描画されるものとし、各領域からはみ出した画像は切り捨てるという規則に則って、隣り合った撮影手段３０によって撮影された画像の繋ぎ目が処理されるものとする。もちろん、繋ぎ目の処理は、これに留まらず、他の規則を用いて行ってもよい。
また、車両１の直近は、撮影手段３０の死角になるため、画像情報を得ることができない。したがって、黒く塗りつぶす処理を行うとともに、車両１の存在位置には、車両１を俯瞰したアイコンを表示することによって、車両１と周辺との位置関係を、より明確に表現する。

次に、第２仮想画像生成手段６０において、撮影手段３０で撮影された画像Ｉ₁（ｘ、ｙ）、Ｉ₂（ｘ、ｙ）、Ｉ₃（ｘ、ｙ）、Ｉ₄（ｘ、ｙ）を、図４の第１距離マーカＬ２の位置で第１仮想画像と連続するように、それぞれ座標変換することによって、第２仮想画像が生成される（図１０のＳ１２）。

第２仮想画像は、具体的には、以下のようにして生成される。

まず、本車両用周辺監視装置２を動作させる前に、撮影手段３０に使用する光学系のパラメータと、撮影手段３０の取り付け位置のパラメータと、図４に記載した第１距離マーカの位置情報とを用いて、座標変換前後の座標値の関係を計算によって算出し、その結果を格納した第２座標変換テーブルを作成し、作成した第２座標変換テーブルを第２座標変換データ格納部６２に格納しておく。

次に、第２座標変換テーブルに対して、車両１から第１距離マーカＬ２の範囲にマスクＣをかけ、このマスクＣがかかっていない範囲に対応する第２座標変換テーブルを使って、第２仮想画像生成部６４において、座標変換を行う。
座標変換の結果、図６に示すＮ１の領域に画像Ｉ₁（ｘ、ｙ）を座標変換した結果が格納され、Ｎ２の領域に画像Ｉ₂（ｘ、ｙ）を座標変換した結果が格納され、Ｎ３の領域に画像Ｉ₃（ｘ、ｙ）を座標変換した結果が格納され、Ｎ４の領域に画像Ｉ₄（ｘ、ｙ）を座標変換した結果が格納される。

なお、隣り合った撮影手段で撮影した画像の繋ぎ目は、第１仮想画像と同様に処理される。

次に、第１画像合成手段９０において、先に生成された第１仮想画像と、第２仮想画像とが、１枚の画像に合成される（図１０のＳ１３）。

一方、図１０のＳ８において、最小値Ｄminが所定値Ｄ₀以上であると判断されたとき（図１０のＳ８がＮｏのとき）は、第１仮想画像生成手段５０において、画像Ｉ₁（ｘ、ｙ）、画像Ｉ₂（ｘ、ｙ）、画像Ｉ₃（ｘ、ｙ）、画像Ｉ₄（ｘ、ｙ）が、それぞれ第１仮想画像に変換される（図１０のＳ１０）。ここでは、図１０のＳ１１のように、車両１から第１距離マーカＬ２の範囲に限定することなく、第１仮想画像が生成される。

次に、図１０のＳ１３で生成された、第１仮想画像と第２仮想画像の合成画像、もしくは、図１０のＳ１０で生成された第１仮想画像に対して、第２距離マーカ設定手段８０によって予め作成された、車両１から互いに異なる複数の所定距離の位置に設けた第２距離マーカＰｉのうち、第１仮想画像の中に位置する第２距離マーカＰｊが、第１画像合成手段９０によって合成される（図１０のＳ１４）。
第２距離マーカＰｉは、図８に示すように、車両１からの距離が、Ｐ１＝０．５ｍ、Ｐ２＝１ｍ、Ｐ３＝１．５ｍ、Ｐ４＝２ｍ、Ｐ５＝２．５ｍ、Ｐ６＝３ｍの位置に設置されているものとし、各マーカが表す距離に応じて、その表示色や表示形態（線の太さや線の種類）が異なるものとする。
本実施例の場合、第１仮想画像と第２仮想画像の合成画像に対して、車両１からの距離が０．５ｍの位置に設置された第２距離マーカＰ１と、車両１からの距離が１ｍの位置に設置された第２距離マーカＰ２とが合成される。このように、第２距離マーカを合成することによって、画像を見た運転者は、障害物までの距離を直感的に把握できる。
一方、図１０のＳ１０で生成された第１仮想画像に対しては、その全体に第２距離マーカＰｉが合成される。
なお、本実施例では、車両１から同じ距離を表す位置に第１距離マーカＬｉと第２距離マーカＰｉとを設定したが、これは、異なる距離の位置に設定しても構わない。
このようにして、図７に示す合成画像が得られる。この合成画像は、図１に図示しないＤ／Ａ変換器にてコンポーネント信号に再構成され、さらに、図示しないエンコーダによってコンポジット信号に変換されて、車両１に設置された、液晶モニタから構成された画像表示手段１００に表示される（図１０のＳ１５）。運転者は、画像表示手段１００に表示された画像を確認しながら、障害物２００ｃを回避して駐車操作を継続する。

なお、上記の処理を行っている間も、車速検出部２８により、車両１の車速は常に検出されており、車速が所定値を上回ったとき（図１０のＳ１６がＹｅｓのとき）は、運転者が表示用モニタに気をとられないよう、画像を非表示にして（図１０のＳ１８）、イグニッションスイッチ状態判断部２２によってイグニッションスイッチがＯＮであることを確認して（図１０のＳ１９がＮｏのとき）、図１０のＳ２に戻る。

さらに、終了スイッチ２６が操作されたとき（図１０のＳ１７がＹｅｓのとき）も、画像を非表示にして（図１０のＳ１８）、イグニッションスイッチ状態判断部２２によってイグニッションスイッチがＯＮであることを確認して（図１０のＳ１９がＮｏのとき）、図１０のＳ２に戻る。

また、イグニッションスイッチ状態判断部２２によってイグニッションスイッチがＯＦＦであることが確認されたとき（図１０のＳ１９がＹｅｓのとき）は、処理を終了する。

なお、本実施例において、距離センサの出力であるＤ＝１．３ｍの位置ではなく、Ｄ＝１．３ｍを超えない最大距離を示す第１距離マーカＬ２の位置で、第１仮想画像と第２仮想画像を合成したが、これは、時間とともに障害物までの距離が変化したとき、それに伴って、第１仮想画像と第２仮想画像との繋ぎ目の位置が頻繁に変化してしまうと、運転者に提示される合成画像がちらついて、運転者が目障りに感じるためである。

本実施例のような構成をとることによって、隣り合う２つの第１距離マーカに挟まれたゾーンが形成され、障害物までの距離が、あるゾーンに属しているときは、そのゾーンと１対１に対応する第１距離マーカの位置で、第１仮想画像と第２仮想画像とが繋ぎ合わされるため、車両１や障害物が多少移動しても、第１仮想画像と第２仮想画像の繋ぎ目の位置は即座には変更されない。したがって、表示画像の安定性が向上し、見やすい画像を提供することができる。

以上説明したように、このように構成された第１実施形態に係る車両用周辺監視装置２によれば、車両１周辺に障害物が検出されたとき、車両１から、検出された障害物までの距離に応じた位置で、車両１を俯瞰した画像と、撮影手段によって撮影された画像とが連続するように合成して表示する構成としたため、障害物を歪みなく表示することができるようになる。

ちなみに、車両１の全周囲に亘って、第１仮想画像のみで１枚の画像を生成すると、図９のような画像が得られる。図９に示すように、路面から高さがある障害物２００ｃは、車両１から遠方に倒れ込んだ、歪みを有する変換像Ｏ２として画像化される。

これ対し、本発明によって生成した車両周囲の画像は、図７のように、障害物２００ｃが、歪みのない変換像Ｏ１として画像化される。

なお、本実施例では、車両周囲に４台のカメラ３１−３４と、４つの測距部４１−４４を有する構成にて説明を行ったが、カメラと測距部は、車両の一部にのみ設置されていても構わない。即ち、車両１の前部に第１カメラ３１と第１測距部４１を有し、車両１の後部に第３カメラ３３と第３測距部４３を有する構成でも、車両１の前方と後方について、本実施例と同様の効果を得ることが可能である。

また、本実施例では、測距範囲選択部４５において、障害物までの距離を用いて、使用する測距部が選択される構成で説明したが、これは、測距範囲選択部４５において、各測距部から出力される障害物までの距離の時間変化を用いて判断してもよい。すなわち、障害物までの距離が、時間とともに近づいていることが検出されたときには、その方向を観測している測距部を選択するようにしてもよい。

これにより、例えば、縦列駐車を行うために後退しているとき、進行方向である後方のみならず、車両の後退とともに障害物が接近してくる、車両の左前方、もしくは右前方も測距範囲とすることができるため、車両周辺の必要な領域を、漏れなく画像化することができる。

本実施例は、本発明を、車両１に設置された複数のカメラで撮影した車両１周辺の状況を、運転者に見やすい形態で表示することができる、車両用周辺監視装置３に適用したものである。特に、本実施例は、車両１周辺に障害物検出手段を備え、この障害物検出手段の出力に基づいて、車両１周辺の画像を、よりわかりやすい形態に変換して、車内のモニタに表示するものである。

図１１は、本発明の実施形態に係る車両用周辺監視装置３の構成を示すブロック図である。本実施例に係る車両用周辺監視装置３は、図１１に示す通り、車両１（図２に示す）に設置され、車両用周辺監視装置２の起動操作、終了操作を検出する起動・終了検出手段２０と、車両１の進行方向を検出する進行方向検出手段１０と、車両周辺の画像を撮影する複数のカメラで構成された撮影手段３０と、車両１の周辺の障害物の有無を検出し、その障害物までの距離に対応する値を出力する障害物検出手段４０と、撮影手段３０で撮影された画像を、車両１の上空から見下ろした仮想画像に変換する第３仮想画像生成手段５５と、撮影手段３０で撮影した画像の中の、障害物検出手段４０で検出した障害物までの距離よりも遠方にある領域について、障害物までの距離に対応する位置において、前記第１仮想画像と連続するように座標変換を行う第４仮想画像生成手段６５と、車両１から所定距離の位置に、車両１からの距離が互いに異なる、複数の距離マーカを設定する第１距離マーカ設定手段７０と、車両１から所定距離の位置に、車両１からの距離が互いに異なる、複数の距離マーカを設定する第２距離マーカ設定手段８０と、第３仮想画像と第４仮想画像とを１枚の画像に合成する第２画像合成手段９５と、前記第２画像合成手段９５によって合成された画像を表示する画像表示手段１００とからなる。ここで、進行方向検出手段１０は、詳しくは、車両１のシフトポジションを検出するシフトポジション検出部１２と、車両１の操舵角を検出する操舵角検出部１４とからなる。

起動・終了検出手段２０は、詳しくは、車両１のイグニッションスイッチの状態を判断するイグニッションスイッチ状態判断部２２と、車両用周辺監視装置３の起動を指示する起動スイッチ２４と、車両用周辺監視装置３の動作終了を指示する終了スイッチ２６と、車両１の車速を検出する車速検出部２８とからなる。

撮影手段３０は、詳しくは、図２（ａ）、（ｂ）のように車両の周辺に設置され、車両周辺の画像情報を得る、隣り合う撮影領域が互いに重複するように配置された第１カメラ３１と、第２カメラ３２と、第３カメラ３３と、第４カメラ３４とからなる。

障害物検出手段４０は、詳しくは、図２（ａ）、（ｂ）のように車両の周辺に設置され、車両周辺の障害物までの距離を測定して出力する、第１測距部４１と、第２測距部４２と、第３測距部４３と、第４測距部４４と、進行方向検出手段１０の出力に基づいて使用する測距部を選択する測距範囲選択部４５と、測距範囲選択部４５で決定した測距部からの出力の最小値（最短距離値）を特定する最小距離値検出部４６と、最小距離値検出部４６で検出された最小値が、予め設定された所定値よりも小さい（近い）か否かを判定するしきい値処理部４７とからなる。

なお、撮影手段３０を構成するカメラ３１−３４、および、障害物検出手段４０を構成する測距部４１−４４は、図２（ａ）、（ｂ）に示すように、車両１に取り付けられている。その具体的なレイアウトは、第１実施例の通りである。

第３仮想画像生成手段５５は、第３仮想画像を生成するための座標変換用テーブルが格納された第１座標変換データ格納部５２と、第１座標変換データ格納部５２に格納されたテーブルに基づいて、第３仮想画像を生成する第３仮想画像生成部５４とからなる。

第４仮想画像生成手段６５は、第４仮想画像を生成するための座標変換用テーブルが格納された第２座標変換データ格納部６２と、第２座標変換データ格納部６２に格納されたテーブルに基づいて、第４仮想画像を生成する第４仮想画像生成部６６と、第４仮想画像の描画範囲を決定する第４仮想画像描画範囲決定部６８とからなる。

次に、本実施例に係る車両用周辺監視装置３の作用について、図１２のフローチャートに基づいて説明する。本実施例に係る車両用周辺監視装置３は、車両の駐車時や狭い場所での切り返し時に利用され、車両周辺の画像をわかりやすい形態に変換して運転者に呈示し、運転動作を補助するものである。

ここで、車両１が駐車のために前方に向かって前進している場面について、本実施例の車両用周辺監視装置３の動作を説明する。

車両１は、図３に示すように、２本のレーンマーカ２００ａ、２００ｂの間にあり、かつ、車両１の左前方に、アルファベットのＡの形状を模した障害物２００ｃが置かれているものとする。そして、車両１の運転者は、矢印２００ｅで示すように、障害物２００ｃを回避して、車両１を前方の駐車スペース２００ｄまで誘導しているものとする。
イグニッションスイッチ状態判断部２２によって、車両１のイグニッションがＯＮになっていることが確認されると（図１２のＳ１がＹｅｓのとき）、以下の一連の処理が開始される。
運転者は、車両１周辺の画像を監視したいとき、車内に設置された起動スイッチ２４を操作する。起動スイッチ２４が操作されると（図１２のＳ２がＹｅｓのとき）、第１カメラ３１から第４カメラ３４で撮影された画像は、それぞれ、図１１に図示しない、各カメラ３１−３４の後段に接続されたデコーダによって、コンポジット信号からコンポーネント信号に変換され、さらに、コンポーネント信号のうち輝度信号は、図１１に図示しないＡ／Ｄ変換器を通して、ディジタル化されたディジタル画像に変換される（図１２のＳ３）。第１カメラ３１から第４カメラ３４で撮影されたディジタル画像を、各々Ｉ₁（ｘ、ｙ）、Ｉ₂（ｘ、ｙ）、Ｉ₃（ｘ、ｙ）、Ｉ₄（ｘ、ｙ）とする。

なお、起動スイッチ２４が操作されると、障害物検出手段４０によって、車両周辺の測距が開始される。

この時、まず、第３仮想画像生成手段５５によって、画像Ｉ₁（ｘ、ｙ）、Ｉ₂（ｘ、ｙ）、Ｉ₃（ｘ、ｙ）、Ｉ₄（ｘ、ｙ）の各々が、車両１の真上に設置した仮想視点から、車両１を見下ろした第３仮想画像に変換される（図１２のＳ４）。

この変換は、予め、座標変換テーブルを準備しておき、この座標変換テーブルを参照して、入力された画像の座標値を置き換えることによって行われる。

すなわち、第１座標変換データ格納部５２に、予め作成した、仮想視点の位置と、画像を観測する方向と、観測する範囲とによって決定する第１座標変換テーブルを格納しておき、第３仮想画像生成部５４において、撮影手段３０で撮影された各々の画像の座標値を、第１座標変換テーブルによって示された座標値に置き換えることによって、第３仮想画像が生成される。

なお、この時、進行方向検出手段１０によって、車両の進行方向の検出が開始される。車両の進行方向は、シフトポジション検出部１２で検出されたシフトポジションと、操舵角検出部１４で検出された操舵角とによって決定される（図１２のＳ５）。

このようにして検出された進行方向の情報は、障害物検出手段４０に送られ、測距範囲選択部４５において、測距部４１−４４の中から、検出された進行方向の範囲を測距している、１つもしくは複数の測距部が選択される（図１２のＳ６）。ここで選択された測距部を測距部Ｋと呼ぶことにする。

続いて、測距範囲選択部４５において選択された測距部Ｋから、その測距部Ｋを構成する測距部に備えられた、全ての距離センサの出力Ｄが読み出され（図１２のＳ７）、最小距離値検出部４６にて、距離センサの出力の最小値Ｄmin（以下、単に最小値Ｄminと呼ぶ）が算出される（図１２のＳ８）。

次に、しきい値処理部４７において、最小値Ｄminが、距離の所定値Ｄ₀（以下、単に所定値Ｄ₀と呼ぶ）より小さい（近い）か否かが判断される（図１２のＳ９）。ここで、所定値Ｄ₀は、運転者に対して、障害物の存在を注意喚起する必要がある最小距離を示す値であり、装置の設計パラメータとして、予め設定されたものである。
最小値Ｄminが所定値Ｄ₀より小さいとき（図１２のＳ９がＹｅｓのとき）は、最小値Ｄminの値が、第４仮想画像生成手段６５に対して出力され、処理は図１２のＳ１０に進む。一方、最小値Ｄminが所定値Ｄ₀以上であるとき（図１２のＳ９がＮｏのとき）は、図１２のＳ１３に進む。
例えば、図３の状態にあるときは、車両１の進行方向は前方であると判定され、測距範囲選択部４５において、測距部Ｋとして第１測距部４１が選択される。そして、図１２のＳ１０において、第１測距部４１を構成する１つもしくは複数の距離センサの出力の最小値Ｄminが、所定値Ｄ₀より小さいとき、最小値Ｄminが、第４仮想画像生成手段６５に送られる。さらに、第４仮想画像描画範囲決定部６８において、第１距離マーカ設定手段７０で設定された、車両１からの距離が互いに異なる複数の第１距離マーカＬｉのうち、最小値Ｄminを超えない、最大の距離を表す第１距離マーカＬｊが選択される。

第１距離マーカＬｊを選択する手続きは、第１実施例と同様であるため、ここでは説明を割愛する。

本実施例の場合、第１測距部４１から、最小値Ｄminとして、１．３ｍという値が出力されたとすると、車両１から１ｍ離れた位置に設定された第１距離マーカＬ２が選択される。

次に、第４仮想画像生成手段６５において、撮影手段３０で撮影された画像Ｉ₁（ｘ、ｙ）、Ｉ₂（ｘ、ｙ）、Ｉ₃（ｘ、ｙ）、Ｉ₄（ｘ、ｙ）の中で、図４の第１距離マーカＬ２よりも車両１に対して遠方にある領域を、図４の第１距離マーカＬ２の位置で第３仮想画像と連続するように、それぞれ座標変換して、第４仮想画像が生成される（図１２のＳ１１）。

第４仮想画像の生成は、具体的には、以下のようにして行われる。

まず、本実施例を動作させる前に、撮影手段３０に使用する光学系のパラメータと、撮影手段３０の取り付け位置のパラメータと、図４に記載した第１距離マーカの位置情報とを用いて、座標変換前後の座標値の関係を計算によって算出し、その結果を格納した第２座標変換テーブルを作成し、作成した第２座標変換テーブルを第２座標変換データ格納部６２に格納しておく。

次に、第２座標変換テーブルに対して、車両１から第１距離マーカＬ２の範囲にマスクＣをかけ、このマスクＣがかかっていない範囲に対応する第２座標変換テーブルを使って、第４仮想画像生成部６６において、座標変換を行う。
座標変換の結果、図６に示すＮ１の領域に画像Ｉ₁（ｘ、ｙ）を座標変換した結果が格納され、Ｎ２の領域に画像Ｉ₂（ｘ、ｙ）を座標変換した結果が格納され、Ｎ３の領域に画像Ｉ₃（ｘ、ｙ）を座標変換した結果が格納され、Ｎ４の領域に画像Ｉ₄（ｘ、ｙ）を座標変換した結果が格納される。

なお、隣り合ったカメラで、互いに重複して撮影された領域は、第１実施例で説明した通り、予め設定された所定の繋ぎ目の位置で合成され、そこからはみ出した画像は切り捨てられる。

次に、第２画像合成手段９５において、先に生成された第３仮想画像の中の対応する位置に、第４仮想画像が上書きされて、１枚の画像に合成される（図１２のＳ１２）。

さらに、図１０のＳ１２で生成された、第３仮想画像と第４仮想画像の合成画像に、第２距離マーカ設定手段８０によって予め作成された、車両１から互いに異なる複数の所定距離の位置に設けた第２距離マーカＰｉのうち、第３仮想画像の中に位置する第２距離マーカＰｊが、第２画像合成手段９５によって合成される（図１２のＳ１３）。

第２距離マーカ設定手段８０によって、第１実施例で説明した第２距離マーカＰｉと同じもの（図８参照）が設定されているとすると、車両１からの距離が０．５ｍを表す第２距離マーカＰ１と、車両１からの距離が１ｍを表す第２距離マーカＰ２とが合成される。なお、図１２のＳ９において、最小値Ｄminが所定値Ｄ₀以上であると判断されたとき（図１２のＳ９がＮｏのとき）は、図１２のＳ１３において、第３仮想画像の全体に第２距離マーカＰｉが合成される。
このようにして得られた図７に示す合成画像は、図１１に図示しないＤ／Ａ変換器にてコンポーネント信号に再構成され、さらに、図示しないエンコーダによってコンポジット信号に変換されて、車両１に設置された、液晶モニタから構成された画像表示手段１００に表示される（図１２のＳ１４）。運転者は、画像表示手段１００に表示された画像を確認しながら、障害物２００ｃを回避して駐車操作を継続する。

以後、車速の高さや終了スイッチ２６の操作、また、イグニッションスイッチの状態をモニタして、処理の流れが制御されるが、これは、第１実施例で説明した通りであるため、説明は割愛する。

このように構成された第２実施形態に係る車両用周辺監視装置３によれば、車両１周辺に障害物が検出されたとき、車両１から、検出された障害物までの距離に応じた位置で、車両１を俯瞰した画像と、撮影手段によって撮影された画像とが連続するように合成して表示する構成としたため、障害物を歪みなく表示することができるようになる。

特に、第２実施例によると、第３仮想画像と第４仮想画像の繋ぎ目の位置の計算が、第４仮想画像を生成する際に行う１回だけで済むため、画像の合成をより一層短時間で行うことができる。

１０ 進行方向検出手段
２０ 起動・終了検出手段
３０ 撮影手段
４０ 障害物検出手段
５０ 第１仮想画像生成手段
６０ 第２仮想画像生成手段
７０ 第１距離マーカ設定手段
８０ 第２距離マーカ設定手段
９０ 第１画像合成手段
１００ 画像表示手段

Claims (12)

1. 車両に設置され、前記車両の周辺を撮影して画像を出力する撮影手段と、
   前記車両に、前記撮影手段の撮影範囲に向けて設置され、前記車両から障害物までの距離を出力する障害物検出手段と、
   前記画像の中の、前記車両からの距離が、前記車両から障害物までの距離よりも小さい領域を、前記車両上空の所定の位置に設置した仮想視点から前記車両を見下ろした第１仮想画像に変換する第１仮想画像生成手段と、
   前記領域以外の領域を、前記第１仮想画像の、前記車両から遠方側の辺縁において、前記第１仮想画像と連続するように座標変換した画像に変換する第２仮想画像生成手段と、
   前記第１仮想画像と前記第２仮想画像とを１枚の画像に合成する第１画像合成手段と、
   前記第１画像合成手段によって合成された画像を表示する画像表示手段とを備えたことを特徴とする車両用周辺監視装置。
2. 前記車両の周辺に亘って前記車両からの距離が互いに異なる複数の位置に第１距離マーカを設定する、第１距離マーカ設定手段を有し、
   前記第１画像合成手段は、前記複数の位置のうち、前記車両から障害物までの距離を超えない、前記車両から最も遠い位置に設定された前記第１距離マーカの位置から前記車両に近い範囲は前記第１仮想画像とし、前記車両から障害物までの距離を超えない、前記車両から最も遠い位置に設定された前記第１距離マーカの位置から前記車両より遠い範囲は前記第２仮想画像として、１枚の画像を合成することを特徴とする請求項１に記載の車両用周辺監視装置。
3. 前記障害物検出手段は、複数の距離センサから構成され、前記複数の距離センサから出力された値のうち、最も小さい値を、前記車両から障害物までの距離とすることを特徴とする請求項１または２に記載の車両用周辺監視装置。
4. 前記車両の進行方向を検出する進行方向検出手段を有し、前記進行方向検出手段によって検出される前記車両の進行方向に対応する位置に設置された、前記障害物検出手段を構成する距離センサから出力された値を、前記車両から障害物までの距離とすることを特徴とする請求項１または２に記載の車両用周辺監視装置。
5. 前記第１仮想画像の内部に、前記車両の周辺に亘って、前記車両からの距離が互いに異なる複数の位置に第２距離マーカを設定する第２距離マーカ設定手段を有し、前記第１画像合成手段は、前記第１画像合成手段によって合成される画像の中の、前記第１仮想画像に対応する領域の中に、前記第２距離マーカを合成することを特徴とする請求項１から４のうちいずれか１項に記載の車両用周辺監視装置。
6. 前記第１画像合成手段は、前記第２距離マーカを、前記車両からの距離に応じて異なる色、もしくは異なる形態で合成することを特徴とする請求項５に記載の車両用周辺監視装置。
7. 車両に設置され、前記車両の周辺を撮影して画像を出力する撮影手段と、
   前記車両に、前記撮影手段の撮影範囲に向けて設置され、前記車両から障害物までの距離を出力する障害物検出手段と、
   前記画像を、前記車両上空の所定の位置に設置した仮想視点から前記車両を見下ろした第３仮想画像に変換する第３仮想画像生成手段と、
   前記第３仮想画像の中にある、前記車両からの距離が前記車両から障害物までの距離を超えない領域と連続するように、前記領域以外の領域を座標変換した画像に変換する第４仮想画像生成手段と、
   前記第３仮想画像の上に、前記第４仮想画像を上書きする第２画像合成手段と、
   前記第２画像合成手段によって合成された画像を表示する画像表示手段とを備えたことを特徴とする車両用周辺監視装置。
8. 前記第３仮想画像の内部に前記車両の周辺に亘って前記車両からの距離が互いに異なる複数の位置に第１距離マーカを設定する、第１距離マーカ設定手段を有し、
   第２画像合成手段は、前記複数の位置のうち、前記車両から障害物までの距離を超えない、前記車両から最も遠い位置に設定された前記第１距離マーカの位置から前記車両より遠い範囲を前記第４仮想画像とすることを特徴とする請求項７に記載の車両用周辺監視装置。
9. 前記障害物検出手段は、複数の距離センサから構成され、前記複数の距離センサから出力された値のうち、最も小さい値を、前記車両から障害物までの距離とすることを特徴とする請求項７または８に記載の車両用周辺監視装置。
10. 前記車両の進行方向を検出する進行方向検出手段を有し、前記進行方向検出手段によって検出される前記車両の進行方向に対応する位置に設置された、前記障害物検出手段を構成する距離センサから出力された値を、前記車両から障害物までの距離とすることを特徴とする請求項７または８に記載の車両用周辺監視装置。
11. 前記第３仮想画像の内部に、前記車両の周辺に亘って、前記車両からの距離が互いに異なる複数の位置に第２距離マーカを設定する第２距離マーカ設定手段を有し、前記第２画像合成手段は、前記第２画像合成手段によって合成される画像の中の、前記第３仮想画像に対応する領域に、前記第２距離マーカを合成することを特徴とする請求項７から１０のうちいずれか１項に記載の車両用周辺監視装置。
12. 前記第２画像合成手段は、前記第２距離マーカを、前記車両からの距離に応じて異なる色、もしくは異なる形態で合成することを特徴とする請求項１１に記載の車両用周辺監視装置。