JP2017211860A - 車両周辺表示装置および車両周辺表示方法 - Google Patents

Abstract

【課題】主に、対象物の車両前後方向および車幅方向の距離を推定して、表示部に対象物の位置を表示することができるようにする。【解決手段】車両１に搭載された単眼の撮像部４と、この撮像部４によって撮像された車両１周辺の画像５を表示する表示部６と、この表示部６を制御する制御部７と、を備えた車両周辺表示装置３に関する。制御部７が、撮像部４によって撮像された画像５から、対象物２１を特定する対象物特定手段２２と、対象物２１の幅から対象物２１の車両前後方向Ｙの位置を推定する位置推定手段２４と、この位置推定手段２４で推定した車両前後方向Ｙの位置に基づいて対象物２１の車幅方向Ｘの位置座標を算出する座標変換手段２６と、この座標変換手段２６で算出された対象物２１の車幅方向Ｘの位置座標に基づいて、表示部６に対象物２１の位置を表示する表示手段２８と、を備えるようにした。【選択図】図４

Description

この発明は、車両周辺表示装置および車両周辺表示方法に関するものである。

自動車などの車両では、例えば、サイドミラーモニタなどのような車両周辺表示装置の開発が進められている。このような車両周辺表示装置は、少なくとも、車両に搭載された撮像手段と、この撮像手段によって撮像された車両周辺の画像を表示する表示器と、この表示器を制御する制御部と、を備えたものとされる（例えば、特許文献１参照）。

そして、特許文献１の車両周辺表示装置では、制御部が、撮像手段で撮影した画像を画像処理して、その撮影した画像上での車両などの障害物の高さ方向の位置を検出し、検出した高さ方向の位置に基づいて自車から車両などの障害物までの進行方向の距離を推定する機能を備えている。

特開２００６−３１３１３号公報

しかしながら、上記特許文献１に記載された車両周辺表示装置では、制御部は、撮像手段から車両など障害物までの進行方向に対する距離を、画像から推定することはできるものの、車幅方向については、自車に対して障害物がどのような位置にいるのか分からないという問題があった。

そこで、本発明は、上記した問題点を解決することを、主な目的としている。

上記課題を解決するために、本発明は、
車両に搭載された単眼の撮像部と、該撮像部によって撮像された車両周辺の画像を表示する表示部と、該表示部を制御する制御部と、を備えた車両周辺表示装置において、
前記制御部が、
前記撮像部によって撮像された画像から、対象物を特定する対象物特定手段と、
前記対象物の幅から対象物の車両前後方向の位置を推定する位置推定手段と、
該位置推定手段で推定した車両前後方向の位置に基づいて対象物の車幅方向の位置座標を算出する座標変換手段と、
該座標変換手段で算出された対象物の車幅方向の位置座標に基づいて、前記表示部に前記対象物の位置を表示する表示手段と、
を備えたことを特徴とする。

本発明によれば、上記構成によって、対象物の車両前後方向および車幅方向の距離を推定して、表示部に対象物の位置を表示することができるようになる。

本実施の形態にかかる車両周辺表示装置が設けられた車両の平面図である。 図１の車両の側面図である。 図１の車両周辺表示装置の構成図である。 図３の制御部の内部構成図である。 対象物が後続車の場合の表示例を示す図である。 対象物が歩行者の場合の表示例を示す図である。 具体的な車両周辺表示方法を示すフローチャートである。

以下、本実施の形態を、図面を用いて詳細に説明する。
図１〜図７は、この実施の形態を説明するためのものである。この場合において、車幅方向をＸ、車両前後方向をＹ、上下方向をＺとする。

＜構成＞以下、この実施例の構成について説明する。

図１の平面図（図２の側面図）に示すように、自動車などの車両１に対し、例えば、サイドミラーモニタ２などのような車両周辺表示装置３を設ける。この車両周辺表示装置３を、少なくとも、車両１に搭載された撮像部４と、この撮像部４によって撮像された車両１周辺の画像５（図３参照）を表示する表示部６と、この表示部６を制御する制御部７と、を備えたものとする。

ここで、車両１は、自車のことである。サイドミラーモニタ２は、鏡を用いたサイドミラーに替えて設置される装置である。サイドミラーモニタ２を用いることにより、例えば、車体の空力特性を向上したり、車両１のデザイン性を向上したりすることができる。

撮像部４には、単眼のカメラ４ａなどを用いることができる。単眼のカメラ４ａは、小型で低コストであるという特徴を有している。撮像部４は、例えば、車両１の外部における、フロントドア８の前部で、サイドウインドウガラス９との境界部分などに取付けられる。撮像部４は、車両１の両側部に対して左右一対設けられる。表示部６は、例えば、車室内の前部の位置などに設置される。表示部６は、各撮像部４に対応させて左右一対、または、１つにまとめて設けられる。

図３に示すように、制御部７は、撮像部４によって撮像された画像５を入力して表示部６に表示するように構成されている。また、制御部７は、撮像部４によって撮像された画像５を画像処理することができるように構成されており、画像処理の結果を表示部６に表示することなども可能とされている。

図４に示すように、制御部７は、少なくとも、演算処理装置１１（ＣＰＵ）と、記憶装置１２（メモリ）と、プログラム１３とを備えたものとされる。プログラム１３は、記憶装置１２に記憶されると共に、演算処理装置１１によって実行される。

以上のような基本的な構成に対し、この実施例では、以下のような構成を備えるようにしている。

（１）上記制御部７が、
上記撮像部４によって撮像された画像５から、対象物２１（図５または図６の表示例を参照）を特定する対象物特定手段２２と、
上記対象物２１の幅から対象物２１の車両前後方向Ｙの位置を推定する位置推定手段２４と、
この位置推定手段２４で推定した車両前後方向Ｙの位置に基づいて対象物２１の車幅方向Ｘの位置座標を算出する座標変換手段２６と、
この座標変換手段２６で算出された対象物２１の車幅方向Ｘの位置座標に基づいて、上記表示部６に上記対象物２１の位置を表示する表示手段２８と、
を備えるようにする。

ここで、対象物２１については後述する。

対象物特定手段２２は、画像認識などを行って対象物２１を特定するものである。

幅は、対象物２１における車幅方向Ｘの寸法（検出幅ｉｗｖ、図５、図６参照）のことである。

車両前後方向Ｙは、この場合、車両１の進行方向（前進方向または後退方向）などと言うことができる。

位置推定手段２４は、例えば、内部に記憶されたデータベースに基づいて、対象物２１の幅から対象物２１の車両前後方向Ｙの位置（Ｘcar：図５、Ｘh：図６参照）を推定するものである。

座標変換手段２６は、所定の計算式を用いて、対象物２１の車両前後方向Ｙの位置（Ｘcar、Ｘh）から対象物２１の車幅方向Ｘの位置座標（Ｙcar：図５、Ｙh：図６参照）を算出するものである。

表示手段２８は、図５、図６に示すように、車外映像３１と、俯瞰図３２とを並べて表示し得るようにしたものとされる。車外映像３１は、撮像部４によって撮像された画像５などとすることができる。また、俯瞰図３２は、車両１周辺を上方から見た図であり、常時表示させることもできるし、または、必要な時に表示させることもできる。俯瞰図３２を必要な時に表示させるようにする場合、例えば、ウインカーやハザードなどの操作をトリガーとして表示を切り替えるようにすることができる。

また、表示手段２８は、俯瞰図３２に対して、対象物２１の位置を、例えば、丸印などのマーク３５で表示することができる。但し、マーク３５は丸印に限るものではない。例えば、対象物２１の種類（例えば、後述するような、後続車４１や歩行者４５など）に応じて、異なるマーク３５（例えば、丸印と星印など）を使用するようにしても良い。

更に、座標変換手段２６または表示手段２８は、対象物２１の車両前後方向Ｙの位置および車幅方向Ｘの位置座標を、俯瞰図３２上の対象物２１の位置に変換し得るようになっている。

（２）具体的には、上記対象物２１は、図５に示すように、後続車４１（などの車両１）とすることができる。

ここで、対象物２１を後続車４１とする場合、対象物特定手段２２は、画像認識によって後続車４１を判断することになる。

そして、対象物２１を後続車４１とする場合、位置推定手段２４は、例えば、平均的な車両１の幅（幅寸法＝車幅）を基準にして、後続車４１の車両前後方向Ｙの位置を推定するようにしても良い。

または、位置推定手段２４は、例えば、車両１の大きさを大（例えば、大型車）・中（例えば、普通車）・小（例えば、小型車）などの複数段階にクラス分けして、それぞれのクラスの平均的な幅寸法を基準にして後続車４１の車両前後方向Ｙの位置を推定するようにしても良い。この場合の車両１の大きさは、例えば、対象物特定手段２２で対象物２１を特定する際に、後続車４１のナンバープレートに記載された１桁〜３桁の分類番号（いわゆる３ナンバーや５ナンバーなど）を画像認識することで得ることができる。これにより、後続車４１の車両前後方向Ｙの位置に対する推定精度を上げることができる。

あるいは、位置推定手段２４は、例えば、後続車４１の車種情報を得て、後続車４１の実際の幅寸法から車両前後方向Ｙの位置を推定するようにしても良い。この場合の後続車４１の車種情報は、対象物特定手段２２で対象物２１を特定する際に、画像認識を行って予め記憶装置１２に記憶しておいた車種データとマッチングさせることで得ることができる（車種認識）。または、車種情報は、車々間通信や車路間通信などによって得ることができる。これにより、後続車４１の車両前後方向Ｙの位置に対する推定精度を更に上げることができる。但し、後続車４１の幅寸法を得る方法は、上記に限るものではない。

（３）また、上記対象物２１は、図６に示すように、歩行者４５（などの人物）としても良い。

ここで、対象物２１を歩行者４５とする場合、対象物特定手段２２は、画像認識によって歩行者４５を判断することになる。なお、自転車や自動二輪車（バイク）などに乗っている人も歩行者４５と同様に取り扱うことが可能なので、この場合も、歩行者４５に含めることができる。

対象物２１を、歩行者４５とする場合、位置推定手段２４は、例えば、平均的な大人の幅（幅寸法＝肩幅）を基準にして、歩行者４５の車両前後方向Ｙの位置を推定するようにしても良い。

または、位置推定手段２４は、対象物特定手段２２で対象物２１を特定する際に、画像認識を行って、性別や年齢を推定し、推定した性別や年齢から統計上の体格データを用いて歩行者４５の幅寸法を得て、歩行者４５の車両前後方向Ｙの位置を推定するようにしても良い。これにより、歩行者４５の車両前後方向Ｙの位置に対する推定精度を上げることができる。但し、歩行者４５の幅寸法を得る方法は、上記に限るものではない。

また、対象物２１は、後続車４１と歩行者４５との両方とすることもできる。あるいは、例えば、車両１が所定の速度以上で走行している時には、対象物２１を後続車４１とし、車両１が所定の速度以下になったり停車したりした時には、対象物２１を歩行者４５に切り替えるようにすることなども可能である。

（４）以下、上記車両周辺表示装置３を用いた車両周辺表示方法について説明する。この車両周辺表示方法は、
車両１に搭載された単眼の撮像部４によって撮像された車両１周辺の画像５を表示部６に表示するものである。
この際、制御部７は、対象物特定手段２２によって、上記撮像部４で撮像された画像５から対象物２１を特定し、
次に、位置推定手段２４によって、上記対象物２１の幅から対象物２１の車両前後方向Ｙの位置を推定し、
そして、座標変換手段２６によって、上記位置推定手段２４で推定した車両前後方向Ｙの位置に基づいて対象物２１の車幅方向Ｘの位置座標を算出し、
最後に、表示手段２８によって、上記座標変換手段２６で算出された対象物２１の車幅方向Ｘの位置座標に基づいて、上記表示部６に上記対象物２１の位置を表示するものである。

図７は、制御部７による具体的な車両周辺表示方法を示すフローチャートである。

このフローチャートによれば、ＳＴＡＲＴで制御が開始されると、

ステップＳ１で、車両１（自車）のフロントドア８が開放されたかどうかが判断される。そして、Ｎｏの場合にはフロントドア８が開放されるまでステップＳ１を繰り返し、Ｙｅｓになったら、ステップＳ２へ進む。

ステップＳ２では、表示部６の表示をＯＮにし、ステップＳ３へ進む。

ステップＳ３では、カメラ４ａ（撮像部４）の画像５（画像データ）を取得して、ステップＳ４へ進む。

ステップＳ４では、表示手段２８が、表示部６に画像５をそのまま車外映像３１として表示し得るようにして、ステップＳ５へ進む。

ステップＳ５では、２画面表示にするかどうかを判断して、Ｙｅｓの場合にはステップＳ６へ進み、Ｎｏの場合にはステップＳ１３へ進む。

ステップＳ６では、ステップＳ４で取得した画像５（画像データ）を複製し、ステップＳ７へ進む。

ステップＳ７では、画像５（車外映像３１）を情報処理してグレースケール化し、ステップＳ８へ進む。

ステップＳ８では、対象物特定手段２２が、グレースケール化した画像５（車外映像３１）のデータに基づき画像認識技術を用いて車両検知や人検知などを行って、対象物２１の幅（車幅や肩幅など）と画像５上の中心位置座標とを取得して、ステップＳ９へ進む。

ステップＳ９では、位置推定手段２４が、画像５上の対象物２１の幅から俯瞰図３２上の車両前後方向Ｙの位置座標を算出し、ステップＳ１０へ進む。

ステップＳ１０では、座標変換手段２６が、車両前後方向Ｙの位置座標と、画像５の水平方向解像度と、水平位置座標とから、俯瞰図３２上の車幅方向Ｘの位置座標を算出し、ステップＳ１１へ進む。

ステップＳ１１では、表示手段２８が、俯瞰図３２にマーク３５をオーバレイで表示し得るようにし、ステップＳ１２へ進む。

ステップＳ１２では、ステップＳ５の車外映像３１の表示と、ステップＳ１０の俯瞰図３２とを結合して、ステップＳ１３へ進む。

ステップＳ１３では、表示部６に対して実際に画面出力を行い、ステップＳ１４へ進む。

ステップＳ１４では、車両１のＩＧＮ（イグニッションスイッチ）がＯＮからＯＦＦになったかどうかを判断し、Ｎｏの場合にはステップＳ３へ戻って処理を繰り返し、Ｙｅｓになったら、ステップＳ１５へ進む。

ステップＳ１５では、ＩＧＮ（イグニッションスイッチ）がＯＦＦから所定時間（例えば、１２０秒）経過したかどうかを判断し、Ｎｏの場合にはステップＳ３へ戻って処理を繰り返し、Ｙｅｓの場合には、ステップＳ１６へ進む。

ステップＳ１６では、表示部６の表示をＯＦＦにして、制御を終了する（ＥＮＤ）。

以上により、俯瞰図３２に対して、対象物２１が、車幅方向Ｘの位置を分かり易く処理された状態で表示される。なお、所定時間は、１２０秒に限るものではない。

以下、対象物２１が後続車４１（などの車両１）である場合の、具体的な計算方法について説明する。

まず、図１に示すように、車両１（自車）の実際の車幅をＷｒ（既知）とし、撮像部４の視野角をθ（既知）とする。また、図２に示すように、車両１（自車）に対する撮像部４の取付け高さをｈ0（既知）とし、撮像部４の取付け角（ピッチ角）をβ（既知）とし、撮像部４の焦点距離をｆ（既知）とする。なお、撮像部４の視野角θは、車体の側面の位置から外方への拡がり角とする。但し、撮像部４に車体が大きく映り込むような場合には、車体を除いた角度に補正する。

そして、図５に示すように、対象物特定手段２２による画像認識で、後続車４１の中心座標Ｃenter_ｘと、画像５上の対象物２１の幅（検出幅ｉｗｖ）を取得する（中心座標Ｃenter_ｘおよび検出幅ｉｗｖは、ここで既知となる）。

次に、車外映像３１上の車幅方向Ｘへ向いた横軸をＸｒとし、撮影した画像５の横幅をＸｒ_maxとする。

また、俯瞰図３２上の車幅方向Ｘへ向いた横軸をＸ、車両前後方向Ｙへ向いた縦軸をＹとして、撮像部４の位置を原点（Ｘ，Ｙ）＝（０，０）とする。そして、俯瞰図３２上での後続車４１の中心座標を（Ｘcar，Ｙcar）とする。Ｘcar，Ｙcarは、共に未知である。また、Ｙcarの位置における撮影した画像５の横幅をＸcar_max（未知）とする。

すると、自車と後続車４１との実際の車間距離Ｌdist（未知）は、特許文献１にて開示された式（１）によって算出できる。
Ｌdist＝ｆ×Ｗｒ／（ｉｗｖ・cosβ＋ｈ0・sinθ） ・・・（１）

そして、上記したＹcarは、式（２）によって算出される。
Ｙcar＝Ｌdist×ｉｗｖ／Ｗｒ ・・・（２）

また、上記した車外映像３１と俯瞰図３２との間には、式（３）のような関係が成立する。
Ｃenter_ｘ／Ｘｒ_max＝Ｘcar／Ｘcar_max ・・・（３）

そこで、（３）を変形すると、Ｘcarは、式（４）で得られることになる。
Ｘcar＝Ｘcar_max・Ｃenter_ｘ／Ｘｒ_max ・・・（４）

ここでは、Ｘcar_maxはまだ未知なので、Ｘcarはまだ求められない。

そこで、撮像部４の視野角θを用いると、式（５）の関係が得られる。
tanθ＝Ｘcar_max／Ｙcar ・・・（５）

最後に、式（４）に式（５）を代入すると、式（６）が得られ、ＸcarとＹcarの値を求めることが可能になる。
Ｘcar＝Ｙcar・tanθ・Ｃenter_ｘ／Ｘｒ_max ・・・（６）

これにより、俯瞰図３２に対し、後続車４１の位置を、マーク３５で表示することができる。

なお、対象物２１が歩行者４５である図６の場合についても、上記と同様にして歩行者４５の位置ＸhおよびＹhを求めることができる。なお、ＸhおよびＹhは、上記したＸcarやＹcarに相当するものである。

＜作用効果＞この実施例によれば、以下のような作用効果を得ることができる。

（作用効果１）上記した車両周辺表示装置３によれば、撮像部４で撮像した画像５から対象物２１を検知して、対象物２１の幅で対象物２１の車両前後方向Ｙおよび車幅方向Ｘの位置や距離を推定することができる。これにより、車両前後方向Ｙの距離しか分かっていない場合と比べて、自車と対象物２１との相対的な位置関係が分かり易くなる。例えば、表示部６に俯瞰図３２の中の一部などとして対象物２１の位置を表示することができるようになる。そして、この俯瞰図３２に表示された対象物２１によって、自車と対象物２１との両前後方向Ｙと車幅方向Ｘの両方に対する相対的な位置関係が視覚的に確認できるようになり、対象物２１を感覚的に把握し易くなる。また、撮像部４に立体的な画像処理に向いていない単眼のカメラ４ａを用いても上記を行うことができるので、構造的にもデータ処理的にも有利である。

（作用効果２）画像５から対象物２１として後続車４１を検知し、後続車４１の車幅で後続車４１の車両前後方向Ｙおよび車幅方向Ｘに対する距離を推定することが可能である。そして、例えば、表示部６に俯瞰図３２の中の一部などとして後続車４１の位置を表示することができるようになる。これにより、自車と後続車４１との相対的な位置関係（特に、後続車４１が自車に対してどの車線や車幅方向Ｘのどの位置にいるのか）が視覚的に確認できて、後続車４１を感覚的に把握し易くなる。よって、車線変更のタイミングや、停車中にドアを開く際の安全確認などが容易となる。

（作用効果３）また、画像５から対象物２１として歩行者４５を検知し、歩行者４５の肩幅で歩行者４５の車両前後方向Ｙおよび車幅方向Ｘに対する距離を推定することが可能である。そして、例えば、表示部６に俯瞰図３２の中の一部などとして歩行者４５の位置を表示することができるようになる。これにより、自車と歩行者４５との相対的な位置関係が視覚的に確認できて、歩行者４５を感覚的に把握し易くなる。よって、右左折の際や、停車中にドアを開いたり窓を開閉したりする際の安全確認が容易となり、歩行者４５の巻き込みや歩行者４５のドアへの衝突などを防止することができる。

（作用効果４）上記した車両周辺表示方法によれば、上記と同様の作用効果を得ることができる。

以上、実施例を図面により詳述してきたが、実施例は例示にしか過ぎないものである。よって、本発明は、実施例にのみ限定されるものではなく、要旨を逸脱しない範囲の設計の変更等があってもこの発明に含まれることは勿論である。また、例えば、各実施例に複数の構成が含まれている場合には、特に記載がなくとも、これらの構成の可能な組合せが含まれることは勿論である。また、複数の実施例や変形例が開示されている場合には、特に記載がなくとも、これらに跨がった構成の組合せのうちの可能なものが含まれることは勿論である。また、図面に描かれている構成については、特に記載がなくとも、含まれることは勿論である。更に、「等」の用語がある場合には、同等のものを含むという意味で用いられている。また、「ほぼ」「約」「程度」などの用語がある場合には、常識的に認められる範囲や精度のものを含むという意味で用いられている。

１ 車両
３ 車両周辺表示装置
４ 撮像部
５ 画像
６ 表示部
２１ 対象物
２２ 対象物特定手段
２４ 位置推定手段
２６ 座標変換手段
２８ 表示手段
４１ 後続車
４５ 歩行者
Ｘ 車幅方向
Ｙ 車両前後方向

Claims (4)

1. 車両に搭載された単眼の撮像部と、該撮像部によって撮像された車両周辺の画像を表示する表示部と、該表示部を制御する制御部と、を備えた車両周辺表示装置において、
   前記制御部が、
   前記撮像部によって撮像された画像から、対象物を特定する対象物特定手段と、
   前記対象物の幅から対象物の車両前後方向の位置を推定する位置推定手段と、
   該位置推定手段で推定した車両前後方向の位置に基づいて対象物の車幅方向の位置座標を算出する座標変換手段と、
   該座標変換手段で算出された対象物の車幅方向の位置座標に基づいて、前記表示部に前記対象物の位置を表示する表示手段と、
   を備えたことを特徴とする車両周辺表示装置。
2. 請求項１に記載の車両周辺表示装置において、
   前記対象物が、後続車であることを特徴とする車両周辺表示装置。
3. 請求項１または請求項２に記載の車両周辺表示装置において、
   前記対象物が、歩行者であることを特徴とする車両周辺表示装置。
4. 車両に搭載された単眼の撮像部によって撮像された車両周辺の画像を表示部に表示する車両周辺表示方法において、
   対象物特定手段によって、前記撮像部で撮像された画像から対象物を特定し、
   位置推定手段によって、前記対象物の幅から対象物の車両前後方向の位置を推定し、
   座標変換手段によって、前記位置推定手段で推定した車両前後方向の位置に基づいて対象物の車幅方向の位置座標を算出し、
   表示手段によって、前記座標変換手段で算出された対象物の車幅方向の位置座標に基づいて、前記表示部に前記対象物の位置を表示することを特徴とする車両周辺表示方法。