JP2010081245A - 車両用表示装置および表示方法 - Google Patents

車両用表示装置および表示方法 Download PDF

Info

Publication number
JP2010081245A
JP2010081245A JP2008246618A JP2008246618A JP2010081245A JP 2010081245 A JP2010081245 A JP 2010081245A JP 2008246618 A JP2008246618 A JP 2008246618A JP 2008246618 A JP2008246618 A JP 2008246618A JP 2010081245 A JP2010081245 A JP 2010081245A
Authority
JP
Japan
Prior art keywords
scene
vehicle
video
image
traveling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008246618A
Other languages
English (en)
Other versions
JP5262515B2 (ja
Inventor
Satoshi Chinomi
聡 知野見
Hiroyoshi Yanagi
柳  拓良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2008246618A priority Critical patent/JP5262515B2/ja
Publication of JP2010081245A publication Critical patent/JP2010081245A/ja
Application granted granted Critical
Publication of JP5262515B2 publication Critical patent/JP5262515B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】走行シーンに拘わらず、適切に車間距離を判断することができる映像表示を行う。
【解決手段】映像調整部12は、撮影部1から出力される後方映像を処理対象として、走行シーンに基づいて、後方映像に関する視点位置の調整を行う。また、表示形態決定部14は、映像調整部12による周囲映像の調整に応じて、自車両を示す車両シンボルの表示形態を決定する。映像合成部15は、調整映像に、決定された表示形態で車両シンボルを重畳させることにより提示映像を作成し、この提示映像が表示部3に表示される。
【選択図】図1

Description

本発明は、車両用表示装置および表示方法に関する。
従来より、周囲の走行環境をドライバが容易に認識することができるように、周囲映像(例えば、後方映像)を表示する手法が知られている。例えば、特許文献1には、自車と自車周辺を表した画像表示を行う手法が開示されている。かかる手法によれば、自車の外観を表す模擬画像、および、投影画像として自車を路面に垂直に投影した領域の輪郭線と自車の車輪とを表す輪郭画像を用意し、両画像を合成して自車表示画像が生成される。生成した自車表示画像が俯瞰画像上に配置されることにより、表示画像が生成される。この場合、周囲センサが検出している物体の自車までの距離が小さいほど、模擬画像の透明度を上げて投影画像が明瞭に表れるように、両画像の合成特性が制御される。
特開2007−158426号公報
ところで、特許文献1に開示された手法によれば、走行環境に拘わらず、投影画像および自車表示画像の表示比率は一定のままとなる。ドライバは表示画像に映し出された後続車両を参照し、車間距離を判断するが、走行シーンに応じて平均的な車間距離が異なるため、車間距離の判断を誤ってしまうという問題がある。
本発明はかかる事情に鑑みてなされたものであり、その目的は、走行シーンに拘わらず、適切に車間距離を判断することができる映像表示を行うことである。
かかる課題を解決するために、本発明は、車両の周囲を撮影した周囲映像を処理対象として、走行シーンに基づいて、周囲映像に関する視点位置の調整が行われる。また、調整された周囲映像の視点位置に応じて、自車両を示すシンボルの表示形態が決定される。調整が行われた周囲映像に、決定された表示形態でシンボルを重畳させた提示映像が表示される。
本発明によれば、ドライバが自車両を示すシンボルと後続車両との距離を相対的に捉えることができるので、後続車両との車間距離を走行シーンによらずに適切に判断することができる。
(第1の実施形態)
図1は、本発明の第1の実施形態にかかる車両用表示装置を概略的に示す構成図である。車両用表示装置は、車両の周囲映像(本実施形態では、車両後方の映像)を表示する装置である。本実施形態において、車両用表示装置は、撮影部1と、操作部2と、表示部3と、情報検出部4と、コントロールユニット10とを主体に構成されている。撮影部1と、操作部2と、表示部3と、情報検出部4とはコントロールユニット10に接続されている。
撮影部(撮影手段)1は、イメージセンサ(例えば、CCDまたはCMOSセンサ等)を内蔵するカメラで構成される。撮影部1は、図2に示すように、カメラ中心CCが水平ラインよりも若干下向きとなるような格好で、車両の後方、例えば、ルーフの後端部に設置されている。後方映像として広範な映像を撮影するために、撮影部1には、広角カメラが用いられる。撮影部1は、車両の周囲、具体的には、車両後方の領域を撮影して、後方映像(周囲映像)をコントロールユニット10に出力する。
操作部2は、インストルメントパネル、若しくは、ステアリングハンドルに設置されている。操作部2としては、スイッチ類を備える操作パネルやリモコン、タッチパネルなどを用いることができる。操作部2は、乗員に操作されることによって、後方映像の表示開始および表示終了の切り替えを指示する信号をコントロールユニット10に出力する。
表示部3は、車室内のインストルメントパネルに設置されており、コントロールユニット10からの出力により、後方映像を表示する。表示部3としては、液晶パネルやCRTなど周知の表示装置を利用することができる。表示部3は、例えば、ナビゲーション情報の表示に使用している表示装置などを流用することも可能である。
情報検出部4は、各種情報を検出する機能を担っており、本実施形態では、環境情報と、車両情報とを検出する。環境情報は、走行速度に影響する車両周囲の走行環境に関する情報であり、自車両が走行している道路の種別や、周囲を走行する車両(他車両)の速度などがこれに該当する。自車両が走行している道路の種別は、図示しないナビゲーション装置から得ることができる。また、他車両の速度は、赤外線センサなどを車両周囲に取り付けておいたり、後方映像をベースに画像処理から演算してもよい。一方、車両情報は、自車両の走行状態に関する情報であり、走行速度がこれに該当する。情報検出部4によって検出された情報は、コントロールユニット10によって読み込まれる。
コントロールユニット10としては、CPU、ROM、RAM、I/Oインターフェースを主体に構成されたマイクロコンピュータを用いることができる。このコントロールユニット10は、撮影部1からの信号と、操作部2からの信号と、情報検出部4からの信号とを入力として、ROMに格納された制御プログラムに従い、各種の処理を行い、後方映像(具体的には、後述する提示映像)を表示部3に出力する。コントロールユニット10は、これを機能的に捉えた場合、制御部11と、映像調整部12と、車両シンボル保存部13と、表示形態決定部14と、映像合成部15と、走行シーン判断部16とで構成される。
制御部11は、映像調整部12、表示形態決定部14、映像合成部15および走行シーン判断部16を制御する。具体的には、制御部11は、走行シーン判断部16の判断結果に基づいて、映像調整部12、表示形態決定部14および映像合成部15の動作状態を制御する。
映像調整部(調整手段)12は、撮影部1から出力される後方映像、すなわち、後方映像(動画)を構成する1フレーム相当の撮影画像を処理対象として、以下の処理を行う。具体的には、映像調整部12は、走行シーン判断部16の判断結果、具体的には、当該判断結果を受けた制御部11からの走行シーンの指示に基づいて、後方映像に関する視点位置の調整を行う。映像調整部12によって行われる後方映像の視点位置の調整は、後方映像において切り出し対象となる映像範囲(以下「切出範囲」という)の位置を調整すること、切出範囲として切り出された後方映像の伸縮率を調整することを含む。なお、映像調整部12によって行われる処理の詳細については後述する。映像調整部12によって調整された後方映像(以下「調整映像」という)は、映像合成部15に出力される。
車両シンボル保存部13は、自車両に対応するシンボル(以下「車両シンボル」という)を保存している。この車両シンボルは、後方映像に重畳的に表示することにより、自車両の位置を表すためのシンボルである。車両シンボルとしては、自車両を鉛直上方から撮影した画像を用いることができる。
表示形態決定部(決定手段)14は、走行シーン判断部16の判断結果、具体的には、当該判断結果を受けた制御部11からの走行シーンの指示に基づいて、車両シンボルの表示形態を決定する。具体的には、表示形態決定部14は、映像調整部12によって調整が行われた周囲映像(調整映像)に関する仮想的な視点位置を特定し、この特性された視点位置から俯瞰される自車両の形態と対応させて、車両シンボルの大きさ、位置および形状を決定する。なお、表示形態決定部14によって行われる処理の詳細については後述する。表示形態決定部14によって決定された表示形態は、映像合成部15に出力される。
映像合成部(合成手段)15は、映像調整部12によって調整が行われた映像に、表示形態決定部14によって決定された表示形態で表示シンボルを重畳させる。これにより、提示映像が作成される。作成された提示映像は、表示部3に対して出力され、提示映像が表示部3に表示される。
走行シーン判断部(判断手段)16は、情報検出部4によって検出される環境情報または車両情報に基づいて、走行シーンを特定する。走行シーン判断部16によって判断される走行シーンは、予め設定された基準速度よりも車両の走行速度が速い速度環境である高速シーン(第1のシーン)、または、車両の走行速度が当該基準速度以下の速度環境である低速シーン(第2のシーン)である。高速シーンは、例えば、時速60km/h以上の速度で走行するようなシーンであり、低速シーンは、例えば、時速60km/hよりも小さな速度で走行するようなシーンである。例えば、走行シーン判断部16は、車両情報である自車両の速度に基づいて、走行シーンを判断する。
なお、走行シーン判断部16は、環境情報である道路の種別、または、他車両の速度に基づいて、走行シーンを判断してもよい。例えば、道路種別が高速道路である場合には、走行シーンを高速シーンと判断し、道路種別が非高速道路(市街地道路)である場合には、走行シーンを低速シーンと判断するといった如くである。走行シーン判断部16による判断結果は、制御部11に出力される。これにより、現在の走行シーンに対応する信号が、制御部11から映像調整部12、表示形態決定部14および映像合成部15に出力される。
図3は、本発明の第1の実施形態にかかる表示方法の手順を示すフローチャートである。このフローチャートに示す処理は、例えば、乗員の操作に応じて操作部2から出力される後方映像の表示開始を指示する信号をトリガーとして、コントロールユニット10によって実行される。まず、ステップ1(S1)において、走行シーン判断部16は、走行シーンを判断する。
図4は、走行シーンの判断手順を示すフローチャートである。まず、ステップ10(S10)において、走行シーン判断部16は、平均走行速度を算出する。具体的には、走行シーン判断部16は、情報検出部4によって検出される自車両の速度を読み込むとともに、この読み込んだ自車両の速度と、従前の処理サイクルにおいて読み込まれた所定回数分の自車両の速度とに基づいて、平均走行速度を算出する。
ステップ11(S11)において、走行シーン判断部16は、平均走行速度が閾値以上であるか否かを判断する。閾値は高速シーンか低速シーンかを判別するための値であり、最適値が予め決定されている(例えば、時速60km/h)。このステップ11において肯定判定された場合、ステップ12(S12)に進む。一方、ステップ11において否定判定された場合、ステップ13(S13)に進む。
ステップ12において、走行シーン判断部16は、現在の走行シーンを高速シーンに設定する。一方、ステップ13において、走行シーン判断部16は、現在の走行シーンを低速シーンに設定する。
再び図3を参照するに、ステップ2(S2)において、走行シーン判断部16は、前回の処理サイクルの実行時に判断された走行シーンと、現在の走行シーンとを比較して、走行シーンが変化したか否かを判断する。このステップ2において肯定判定された場合、ステップ3(S3)に進む。一方、ステップ2において否定判定された場合、ステップ3の処理をスキップしてステップ4の処理に進む。
ステップ3において、後方映像を表示形態を定義するための表示パラメータが決定される。表示パラメータは、後方映像パラメータと、車両シンボルパラメータとが含まれる。後方映像パラメータは、走行シーンに応じて、後方映像を調整するためのパラメータであり、映像調整部12によって決定される。これに対して、車両シンボルパラメータは、走行シーンに応じて、車両シンボルの表示形態を決定するためのパラメータであり、表示形態決定部14によって決定される。
映像調整部12は、現在の走行シーンに基づいて、後方映像パラメータを決定することにより、後方映像の視点位置を調整する。後方映像パラメータは、後方映像において切り出し対象となる映像範囲(切出範囲)の位置と、切出範囲として切り出された後方映像の伸縮率とを示す。すなわち、映像調整部12は、後方映像パラメータにしたがって、後方映像に切出範囲の位置を設定し、この切出範囲として切り出された後方映像を伸縮率にしたがって伸縮することにより調整映像を作成する。調整映像は、撮影部1から出力される後方映像とは視点位置を異ならせた仮想的なカメラ(仮想カメラ)によって撮影された俯瞰映像として作成される。
図5は、後方映像パラメータによる映像調整の一例を示す説明図である。同図において、(a)は、撮影部1から出力される後方映像を示している。同図(a)において破線で示す範囲は切出範囲TAであり、同図(b)は、伸縮率にしたがって切出範囲TAの映像を伸縮した調整映像を示す。同図に示す調整映像を規定する映像パラメータは、走行シーンが低速シーンにおいて用いられる。
本ケースにおいて、切出範囲TAは、撮影部1から出力される後方映像と縦横比が対応し、かつ、後方映像よりも小さなサイズに設定されている。この切出範囲TAは、後方映像において予め設定された位置、具体的には、地平線より上方の領域(空に相当する領域)が、後方映像におけるそれと比較して小さな割合となるような位置に配置される。伸縮率は、この切出範囲TAの映像が、後方映像と対応する映像サイズとなるように設定されている。
このケースでは、切出範囲の後方映像が拡大される方向に調整されるので、調整映像では、切出範囲内の映像が後方映像よりも拡大されて表示される。また、切出範囲TAは、地平線より上方の領域(空に相当する領域)が小さくなるような位置に設定されている。これにより、調整映像では、地平線よりも上方の領域が狭く映し出される。このように、本ケースでは、仮想カメラにより、実際の撮影位置よりも高さ方向(鉛直方向)の位置が高く、かつ、車両よりも前方(進行方向側)に設定された視点位置から撮影された俯瞰映像を得ることができる。
図6は、後方映像パラメータによる映像調整の一例を示す説明図である。同図において、(a)は、撮影部1から出力される後方映像を示しており、図5(a)の後方映像と同一の映像である。(b)は、伸縮率にしたがって切出範囲TAを伸縮した調整映像を示す。この調整映像は、車両シンボルとともに表示部3に表示される映像に相当する。同図に示す調整映像を規定する映像パラメータは、走行シーンが高速シーンにおいて用いられる。
本ケースにおいて、切出範囲TAは、図5に示すケースと同様に、撮影部1から出力される後方映像と縦横比が対応し、かつ、後方映像よりも小さなサイズに設定されている。この切出範囲TAは、後方映像において予め設定された位置、具体的には、地平線より上方の領域(空に相当する領域)が、後方映像におけるそれと比較して大きな割合となるような位置に配置される。伸縮率は、この切出範囲TAの映像が、後方映像と対応する映像サイズとなるように設定されている。
このケースでは、切出範囲の映像が拡大される方向に調整されるので、調整映像では、切出範囲内の映像が後方映像よりも拡大されて表示される。また、切出範囲TAは、地平線より上方の領域(空に相当する領域)が大きくなるような位置に設定されている。これにより、調整映像では、地平線よりも上方の領域が大きく映し出される。このように、本ケースでは、仮想カメラにより、実際の撮影位置よりも高さ方向(鉛直方向)の位置が高く、かつ、車両よりも前方に設定された視点位置から撮影された俯瞰映像を得ることができる。また、本ケースにおける仮想カメラは、図5に示すケースと比較して、高さ方向の視点位置が低くなるものの、前方のより遠い場所に視点位置が設定された俯瞰映像を得ることができる。
つぎに、表示形態決定部14は、映像調整部12によって調整された後方映像(調整映像)に基づいて、車両シンボルパラメータを決定することにより、車両シンボルの表示形態を決定する。車両シンボルパラメータは、上述した調整映像に車両シンボルを重畳する際の、当該車両シンボルの表示形態、すなわち、大きさ、位置および形状を規定するパラメータである。映像調整部12は、車両シンボルの表示形態を決定するにあたり、制御部11を通じて、映像調整部12から調整映像、具体的には、切出範囲の位置および伸縮率を読み込む。
図7は、仮想カメラの位置を示す説明図である。表示形態決定部14は、調整映像に関する仮想的な視点位置、すなわち、調整映像を撮影することができる仮想カメラの位置を特定する。仮想カメラCvは、横方向(車両の幅方向に相当)の位置を車両の中心と対応させるとともに、縦方向(車両の前後方向)と高さ方向とを自車両が映る任意の位置におく。仮想カメラCvのカメラ中心CCvは調整映像の中心に向いているものとし、仮想カメラCvは、調整映像の範囲を撮影することができる画角を備えるものとする。また、仮想カメラのレンズモデルは、例えば、Fθレンズであると仮定する。これらの情報に基づいて、表示形態決定部14は、仮想カメラCvの位置を決定する。
図8は、車両シンボルの表示形態に関する説明図である。つぎに、表示形態決定部14は、特定された視点位置から俯瞰される、すなわち、仮想カメラによって撮影される自車両の形態と対応するように、車両シンボルの表示形態を決定する。具体的には、表示形態決定部14は、同図(a)に示すように、実際のカメラCaで鉛直上方から自車両を撮影した画像(車両シンボル)Pcを読み込む。表示形態決定部14は、車両シンボルPcについて画素Ptの並べ替えを行うことにより、仮想カメラCvから撮影した画像となるような視点変換を行う。この視点変換の結果により、自車両の表示形態が決定される。すなわち、車両シンボルPcを視点変換を行うための幾何学的な変換パラメータが、車両シンボルパラメータに相当する。
なお、表示形態決定部14は、視点変換を行わずとも、車両シンボル保存部13に、自車両を種々の視点より撮影した画像を複数保存しておくことで、仮想カメラCvの位置と対応する画像(車両シンボル)を選択する手法を採用してもよい。
再び図2を参照するに、ステップ4(S4)において、映像合成部15は、映像調整部12から出力される調整映像に、表示形態決定部14から出力される車両シンボルを重畳することにより、提示映像を作成する。調整映像に車両シンボルを重畳させる場合には、仮想カメラのカメラ中心が互いに一致するように、両者の重ね合わせが行われる。そして、映像合成部15は、作成された提示映像を表示部3に出力することにより、提示映像をモニタに表示させる。ここで、図9は、提示映像の一例を示す説明図であり、(a)は、図5(a)に示す後方映像をベースとした低速シーンでの提示映像を示し、(b)は、図6(a)に示す後方映像をベースとした高速シーンでの提示映像を示す。
ステップ5(S5)において、制御部11は、後方映像の表示を終了するか否かを判断する。具体的には、乗員の操作に応じて操作部2から出力される後方映像の表示終了を指示する信号、または、図示しないイグニッションスイッチから出力されるイグニッションオフを指示する信号を取得した場合には、終了指示を取得したと判断する。このステップ5において肯定判定された場合には、本処理を終了する。一方、ステップ5において否定判定された場合には、再度ステップ1の処理に戻る。
このように本実施形態の車両用表示装置において、映像調整部12は、撮影部1から出力される後方映像を処理対象として、走行シーンに基づいて、後方映像に関する視点位置の調整を行う。また、表示形態決定部14は、映像調整部12による周囲映像の調整に応じて、自車両を示す車両シンボルの表示形態を決定する。映像合成部15は、調整映像に、決定された表示形態で車両シンボルを重畳させることにより、提示映像を作成し、この提示映像が表示部3に表示される。
ここで、ドライバは、表示部3に映し出される提示映像を参照し、以下に示す観点から、後続車両までの距離を判断している。第1の観点は、車両シンボルの後端位置から、後続車両の先端が映る位置までの地面の長さである。なお、提示映像に車両シンボルが映っていない場合には、提示映像の下端付近に自車両の後端があると考える。第2の観点は、表示部3に映し出される後続車両の大きさである。後続車両が小さく映っている場合は、後続車両が遠くにいると判断し、大きく映っている場合は近くにいると判断する。第3の観点は、表示部3に映し出される自車両の大きさに対する後続車両の大きさの比である。自車両の大きさに対する後続車両の大きさの比が小さくなる程、後続車両が遠くにいると判断する。これに対して、自車両の大きさに対する後続車両の大きさの比が大きい程、後続車両が近くにいると判断する。
本実施形態では、後方映像の視点位置を調整し、この調整された後方映像の視点位置に応じて車両シンボルの表示形態を決定することにより、提示映像から、自車両との相対的な比較で後続車両を捉えることができる。そのため、後続車両までの距離の判断を行い易くなる。また、走行シーンに応じて視点位置を変えることができるので、走行シーンに拘わらず、提示映像から視覚的に判断される後続車両までの距離が、実際の車間距離と異なって映し出されてしまうといった問題を抑制することができる。これにより、走行シーンに拘わらず、ドライバが適切に車間距離を判断することができる。
特に本実施形態によれば、映像調整部12は、走行シーンが高速シーンである場合には、走行シーンが低速シーンである場合と比較して、視点位置が遠くに位置するように周囲映像の調整を行う。一方で、表示形態決定部14は、映像調整部12によって調整が行われた後方映像(調整映像)に関する仮想的な視点位置を特定し、この特性された視点位置から俯瞰される自車両の形態と対応させて、車両シンボルの大きさ位置および形状を決定する。図9(b)に示す高速シーンの提示映像では、図9(a)に示す低速シーンの提示映像と比較して、仮想カメラの視点が遠い位置に設定されている。そのため、高速シーンでは、車両シンボルが、低速シーンの場合と比較して表示サイズが小さくなる。また、高速シーンでは、空の映し出される領域が大きく設定されているので、仮想カメラのカメラ中心がより水平に近づいた恰好となる。そのため、高速シーンでは、仮想カメラの俯角が弱くなり、表示上の自車両から後続車両までの長さが低速シーンよりも短く映し出される。このような視覚的な効果により、高速シーンでは、低速シーンと比較して、後続車両までの車間距離が近く感じられる表示が行われる。
例えば、高速道路を走行するような高速シーンでは、一般道路を走行する低速シーンと比較して、後続車両までの平均的な車間距離が長い傾向がある。これは、先行車両が急ブレーキをかけた場合であっても、安全に回避することができる程度の車間距離を確保していることが理由の一つとして挙げられる。この場合、走行シーンに拘わらず、視点位置を固定したままの状態では、高速シーンにおいて、提示映像から視覚的に判断される後続車両までの距離が、実際の車間距離よりも遠く感じるように映し出されてしまう。この点、本実施形態では、上述した視覚的な効果により、提示映像から視覚的に判断される後続車両までの距離が、実際の車間距離よりも遠く感じるように映し出されてしまうといった事態を抑制することができる。これにより、走行シーンに拘わらず、ドライバが適切に車間距離を判断することができる。また、ドライバに後続車両の情報を正確に認識することができる。
また、本実施形態によれば、映像調整部12は、走行シーンに基づいて、切出範囲の位置を調整する。具体的には、映像調整部12は、走行シーンが高速シーンである場合には、走行シーンが低速シーンである場合と比較して、地平線よりも上方の領域が大きくなるように、切出範囲の位置を調整する。これにより、高速シーンでは、低速シーンの場合と比較して、調整映像の視点位置を遠くに設定することができるので、上記の効果を奏することができる。
なお、本実施形態では、表示形態決定部14は、自車両を写した画像である車両シンボルを、仮想カメラの視点位置に応じて視点変換することにより、表示形態を決定しているが本発明はこれに限定されない。例えば、車両シンボル保存部13は、車両を示すシンボルを表す3次元のベクトルデータを保存する。この場合、表示形態決定部14は、ベクトルデータに基づいて、仮想カメラから俯瞰される自車両の形態と対応するように、車両映像を作成してもよい。
また、走行シーンが変化した場合には、提示画像の表示形態(すなわち、調整映像の視点位置)が大きく変化することにより、ドライバが違和感を憶える可能性もある。そこで、走行シーンが切り替わった場合、一方の走行シーン(例えば、高速シーン)に対応する後方映像の調整から他方の走行シーン(例えば、低速シーン)に対応する後方映像の調整へと、後方映像の調整を段階的に遷移させてもよい。これにより、提示画像の表示形態の変化が小さくなるので、ドライバにとって違和感の少ない表示を行うことができる。
また、本実施形態では、走行シーンに応じて提示画像の表示形態を切り替えているが、操作部2によってドライバが任意に表示形態を切り替えることができるようにしてもよい。さらに、本実施形態では、走行シーンを低速シーンと高速シーンとの二段階に分けているが、さらに多くのシーンに分類してもよい。この場合、映像調整部12は、走行シーンとして走行速度が速い程、仮想カメラの視点位置を遠方に位置するように後方映像を調整すればよい。
(第2の実施形態)
以下、本発明の第2の実施形態にかかる車両用表示装置およびその表示方法について説明する。本実施形態の特徴の一つは、映像調整部12による調整映像の作成処理である。車両用表示装置のシステム構成および表示方法は、第1の実施形態のそれと基本的に同一であるため、以下、相違点を中心に説明する。
図10は、映像調整部12による映像調整の一例を示す説明図である。同図において、(a)は、撮影部1から出力される後方映像を示しており、(b)は、伸縮率にしたがって切出範囲TAを拡大した調整映像を示す。
本ケースにおいて、切出範囲TAは、上述した図5(a)に示す切出範囲TAと同様に設定されているが、切出範囲TAの縦方向の幅が下方向に向かって拡大されている。伸縮率は、切出範囲TAの映像が、後方映像と対応する映像サイズとなるように設定されている。本ケースでは、切出範囲TAの縦横比が後方映像のそれと比較して縦方向の比率が大きくなるように設定されているので、伸縮率は、縦方向の拡大率が横方向のそれよりも弱くなるように設定される。
ここで、伸縮率により切出範囲の映像が拡大される方向に調整されるので、調整映像では、切出範囲内の映像が後方映像よりも拡大されて表示される。また、伸縮率により、切出範囲TAの映像は、横方向へと大きく拡大される。これにより、調整映像では、後方映像と比較して、車線を示す白線が横方向へ延びた映像となる。このように、本ケースでは、仮想カメラにより、実際の撮影位置よりも高さ方向(鉛直方向)の位置が低く、かつ、自車両よりも後方(自車両よりも後続車両側)に設定された視点から撮影された俯瞰映像を得ることができる。なお、このケースでは、仮想カメラからの俯瞰映像に自車両が映り込むことがないので、表示形態決定部14は、車両シンボルを作成しない。そのため、同図(b)に示す調整映像自体が、映像合成部15によって作成される提示映像となる。
第1の実施形態に示す図9(a)の提示映像と、図10(b)の提示映像とを比較すると、図9(a)の提示映像の方が、図10(b)の提示映像と比較して、仮想カメラの視点が遠い位置に設定されている。このため、両者の映像を比較すると、表示上の後続車両までの距離は、車両シンボルとの相対比較により、図10(b)の提示映像よりも、図9(a)の提示映像の方が短く感じられる。すなわち、基準となる伸縮率で拡大した調整映像と、この基準の伸縮率に対して縦方向の拡大率を横方向のそれよりも小さく設定した伸縮率で拡大した調整映像とを比較した場合には、提示映像において、前者の方が後続車両までの車間距離が近く感じられる表示が行われる。したがって、高速シーンでは、低速シーンである場合と比較して、縦方向の拡大率を横方向の拡大率よりも大きく調整することにより、後続車両までの実際の距離が同じ場合であっても、高速シーンでは、低速シーンに場合と比較して、後続車両までの車間距離が近く感じられる表示を行うことができる。
図11は、映像調整部12による映像調整の一例を示す説明図である。同図において、(a)は、撮影部1から出力される後方映像を示しており、(b)は、伸縮率にしたがって切出範囲TAを拡大した調整映像を示す。
本ケースにおいて、切出範囲TAは、上述した図5(a)に示す切出範囲TAと同様に設定されているが、縦方向の幅が上方向に向かって縮小されている。伸縮率は、切出範囲TAの映像が、後方映像と対応する映像サイズとなるように設定されている。本ケースでは、切出範囲TAの縦横比が後方映像のそれと比較して縦方向の比率が小さくなるように設定されているので、伸縮率は、縦方向の拡大率が横方向のそれよりも強くなるように設定される。
ここで、伸縮率により切出範囲の映像が拡大される方向に調整されるので、調整映像では、切出範囲内の映像が後方映像よりも拡大されて表示される。また、伸縮率により、切出範囲TAの映像は、縦方向へと大きく拡大される。これにより、調整映像では、後方映像と比較して、車線を示す白線が縦方向へ延びた映像となる。このように、本ケースでは、仮想カメラにより、実際の撮影位置よりも高さ方向(鉛直方向)の位置が高く、かつ、自車両よりも前方に設定された視点から撮影された俯瞰映像を得ることができる。
図12は、図11(b)に示す調整映像に車両シンボルを重畳した提示映像を示す説明図である。上述した図9(a)の提示映像と、図12の提示映像とを比較すると、図12の提示映像の方が、図9(a)の提示映像と比較して、仮想カメラの視点が遠い位置に設定されている。このため、両者の映像を比較すると、表示上の後続車両までの距離は、車両シンボルとの相対比較により、図9(a)の提示映像よりも、図12の提示映像の方が短く感じられる。すなわち、基準となる伸縮率で拡大した調整映像と、この基準の伸縮率に対して縦方向の拡大率を横方向のそれよりも大きく設定した伸縮率で拡大した調整映像とを比較した場合には、提示映像において、後者の方が後続車両までの車間距離が近く感じられる表示が行われる。したがって、高速シーンでは、低速シーンである場合と比較して、縦方向の拡大率を横方向の拡大率よりも大きく調整することにより、後続車両までの実際の距離が同じ場合であっても、高速シーンでは、低速シーンに場合と比較して、後続車両までの車間距離が近く感じられる表示を行うことができる。
このように本実施形態において、映像調整部12は、走行シーンに基づいて、映像範囲として切り出された後方映像の伸縮率を調整する。具体的には、映像調整部12は、走行シーンが高速シーンである場合には、低速シーンである場合と比較して、映像範囲として切り出された後方映像の縦方向の拡大率を横方向の拡大率よりも大きく調整する。
かかる構成によれば、後方映像の伸縮率を調整することができるので、走行シーンが高速シーンである場合には、走行シーンが低速シーンである場合と比較して、視点位置が遠くに位置するように周囲映像の調整を行うことができる。そのため、高速シーンでは、低速シーンに場合と比較して、後続車両までの車間距離が近く感じられる表示を行うことができる。このような視覚的な効果により、提示映像から視覚的に判断される後続車両までの距離が、実際の車間距離よりも遠く感じるように映し出されてしまうといった事態を抑制することができる。これにより、走行シーンに拘わらず、ドライバが適切に車間距離を判断することができる。また、ドライバに後続車両の情報を正確に認識することができる。
(第3の実施形態)
以下、本発明の第3の実施形態にかかる車両用表示装置およびその表示方法について説明する。本実施形態の特徴の一つは、表示形態決定部14による車両シンボルの表示形態の決定処理である。車両用表示装置のシステム構成および表示方法は、第1の実施形態のそれと基本的に同一であるため、以下、相違点を中心に説明する。
図13は、映像合成部15によって作成される提示映像を示す説明図である。第1の実施形態に示すように、映像合成部15は、映像調整部12によって作成された調整映像に、表示形態決定部14によって作成された車両シンボルを重畳することにより、提示映像を作成する。この場合、表示形態決定部14は、仮想カメラで撮影した際に、撮影映像に映る自車両の形態に基づいて、車両シンボルを作成する。
ドライバは、自車両から後続車両までの距離を判断する場合、表示部3に映し出される自車両の大きさに対する後続車両の大きさの比を考慮する。同図(a)から(c)は、同一の調整映像に対して、サイズの異なる車両シンボルを表示しており、具体的には、(a)から(c)にかけて、車両シンボルのサイズが小さく表示されている。同図から分かるように、車両シンボルのサイズが大きい程、自車両から後続車両までの距離が近くなるような視覚効果を得ることができる。
このように、本実施形態では、表示形態決定部14は、高速シーンである場合、仮想カメラの視点から得られる車両シンボルを作成し、これをさらに拡大修正する。これにより、高速シーンでは、低速シーンに場合と比較して、後続車両までの車間距離が近く感じられる表示を行うことができる。このような視覚的な効果により、提示映像から視覚的に判断される後続車両までの距離が、実際の車間距離よりも遠く感じるように映し出されてしまうといった事態を抑制することができる。このため、走行シーンに拘わらず、ドライバが適切に車間距離を判断することができる。また、ドライバに後続車両の情報を正確に認識することができる。
なお、視覚的な効果は相対的な関係であるため、表示形態決定部14は、低速シーンである場合、仮想カメラの視点から得られる車両シンボルを作成し、これをさらに縮小修正してもよい。
図14は、映像合成部15によって作成される提示映像を示す。ドライバは、自車両から後続車両までの距離を判断する場合、表示部3において自車両の後端であると判断する位置から、後続車両の先端が映る位置までの地面の長さを考慮する。同図(a)から(c)は、同一の調整映像に対して、表示位置の異なる車両シンボルを表示しており、具体的には、(a)から(c)にかけて、車両シンボルの位置が前方向に表示されている。同図から分かるように、車両シンボルが後方に位置する程、自車両から後続車両までの距離が近い視覚効果を得ることができる。
このように、本実施形態では、表示形態決定部14は、高速シーンである場合、仮想カメラの視点から得られる車両シンボルを作成し、この位置をさらに後方にずらして表示する。これにより、高速シーンでは、低速シーンに場合と比較して、後続車両までの車間距離が近く感じられる表示を行うことができる。このような視覚的な効果により、提示映像から視覚的に判断される後続車両までの距離が、実際の車間距離よりも遠く感じるように映し出されてしまうといった事態を抑制することができる。このため、走行シーンに拘わらず、ドライバが適切に車間距離を判断することができる。また、ドライバに後続車両の情報を正確に認識することができる。
なお、視覚的な効果は相対的な関係であるため、表示形態決定部14は、低速シーンである場合、仮想カメラの視点から得られる車両シンボルを作成し、これをさらに前方にずらして表示してもよい。
第1の実施形態にかかる車両用表示装置を概略的に示す構成図 撮影部1の撮影範囲を示す説明図 第1の実施形態にかかる表示方法の手順を示すフローチャート 走行シーンの判断手順を示すフローチャート 後方映像パラメータによる映像調整の一例を示す説明図 後方映像パラメータによる映像調整の一例を示す説明図 仮想カメラの位置を示す説明図 車両シンボルの表示形態に関する説明図 提示映像の一例を示す説明図 映像調整部12による映像調整の一例を示す説明図 映像調整部12による映像調整の一例を示す説明図 図11(b)に示す調整映像に車両シンボルを重畳した提示映像を示す説明図 映像合成部15によって作成される提示映像を示す説明図 映像合成部15によって作成される提示映像を示す説明図
符号の説明
1…撮影部
2…操作部
3…表示部
4…情報検出部
10…コントロールユニット
11…制御部
12…映像調整部
13…車両シンボル保存部
14…表示形態決定部
15…映像合成部
16…走行シーン判断部

Claims (12)

  1. 車両の周囲映像を表示する車両用表示装置において、
    車両の周囲を撮影して、周囲映像を出力する撮影手段と、
    車両の走行シーンを判断する判断手段と、
    前記撮影手段から出力される周囲映像を処理対象として、前記判断手段によって判断された走行シーンに基づいて、周囲映像に関する視点位置の調整を行う調整手段と、
    前記調整手段によって調整された周囲映像の視点位置に応じて、前記自車両を示すシンボルの表示形態を決定する決定手段と、
    前記調整手段によって調整が行われた周囲映像に、前記決定手段によって決定された表示形態で前記シンボルを重畳させることにより、提示映像を作成する合成手段と、
    前記合成手段によって作成された提示映像を表示する表示手段と
    を有することを特徴とする車両用表示装置。
  2. 前記調整手段は、前記走行シーンが第1のシーンである場合には、前記走行シーンが前記第1のシーンよりも速度環境が遅い第2のシーンである場合と比較して、視点位置が遠くに位置するように周囲映像の調整を行うことを特徴とする請求項1に記載された車両用表示装置。
  3. 前記調整手段は、前記走行シーンに基づいて、前記周囲映像において切り出し対象となる映像範囲の位置を調整することを特徴とする請求項1または2に記載された車両用表示装置。
  4. 前記調整手段は、前記走行シーンが第1のシーンである場合には、前記走行シーンが前記第1のシーンよりも速度環境が遅い第2のシーンである場合と比較して、地平線よりも上方の領域が大きくなるように、前記周囲映像において切り出し対象となる映像範囲の位置を調整することを特徴とする請求項3に記載された車両用表示装置。
  5. 前記調整手段は、前記走行シーンに基づいて、前記映像範囲として切り出された周囲映像の伸縮率を調整することを特徴とする請求項1から4のいずれか一項に記載された車両用表示装置。
  6. 前記調整手段は、前記走行シーンが第1のシーンである場合には、前記走行シーンが前記第1のシーンよりも速度環境が遅い第2のシーンである場合と比較して、前記映像範囲として切り出された周囲映像の縦方向の拡大率を横方向の拡大率よりも大きく調整することを特徴とする請求項5に記載された車両用表示装置。
  7. 前記決定手段は、前記調整手段によって調整が行われた周囲映像に関する仮想的な視点位置を特定し、当該特性された視点位置から俯瞰される自車両の形態と対応させて、前記シンボルの大きさ、位置および形状を決定することを特徴とする請求項1から6のいずれか一項に記載された車両用表示装置。
  8. 前記決定手段は、前記決定されたシンボルの位置、または、前記決定されたシンボルの大きさを、前記走行シーンに基づいてさらに修正することを特徴とする請求項7に記載された車両用表示装置。
  9. 前記決定手段は、前記走行シーンが第1のシーンである場合には、前記走行シーンが前記第1のシーンよりも速度環境が遅い第2のシーンである場合と比較して、前記決定されたシンボルの位置を後方にずらす、または、前記決定されたシンボルの大きさを拡大することをことを特徴とする請求項8に記載された車両用表示装置。
  10. 前記調整手段は、前記走行シーンが切り替わった場合、一方の走行シーンに対応する周囲映像の調整から他方の走行シーンに対応する周囲映像の調整へと、周囲映像の調整を段階的に遷移させることを特徴とする請求項1から9のいずれか一項に記載された車両用表示装置。
  11. 前記判断手段は、車両の走行速度または当該走行速度に影響する走行環境に基づいて、走行シーンを判断することを特徴とする請求項1から10のいずれかに記載された車両用表示装置。
  12. 車両の周囲映像を表示する表示方法において、
    車両の周囲を撮影した周囲映像を処理対象として、車両の走行シーンに基づいて周囲映像の調整を行うとともに、当該周囲映像の調整に応じて前記自車両を示すシンボルの表示形態を決定することにより、前記調整が行われた周囲映像に、前記決定された表示形態で前記シンボルを重畳表示することを特徴とする表示方法。
JP2008246618A 2008-09-25 2008-09-25 車両用表示装置および表示方法 Active JP5262515B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008246618A JP5262515B2 (ja) 2008-09-25 2008-09-25 車両用表示装置および表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008246618A JP5262515B2 (ja) 2008-09-25 2008-09-25 車両用表示装置および表示方法

Publications (2)

Publication Number Publication Date
JP2010081245A true JP2010081245A (ja) 2010-04-08
JP5262515B2 JP5262515B2 (ja) 2013-08-14

Family

ID=42211200

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008246618A Active JP5262515B2 (ja) 2008-09-25 2008-09-25 車両用表示装置および表示方法

Country Status (1)

Country Link
JP (1) JP5262515B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012253428A (ja) * 2011-05-31 2012-12-20 Fujitsu Ten Ltd 情報処理システム、サーバ装置、および、車載装置
WO2015011897A1 (ja) * 2013-07-26 2015-01-29 株式会社デンソー 車両周辺監視装置およびプログラム
WO2015173961A1 (ja) * 2014-05-16 2015-11-19 富士通株式会社 モニタ装置及び表示画像切替用コンピュータプログラム
WO2016157766A1 (ja) * 2015-03-31 2016-10-06 パナソニックIpマネジメント株式会社 画像処理装置、および、電子ミラーシステム
CN108140318A (zh) * 2015-10-22 2018-06-08 日产自动车株式会社 显示控制方法及显示控制装置
JP2020145612A (ja) * 2019-03-07 2020-09-10 株式会社Jvcケンウッド 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP2020161886A (ja) * 2019-03-25 2020-10-01 株式会社ザクティ 船舶の周辺確認システム
WO2024111324A1 (ja) * 2022-11-23 2024-05-30 株式会社デンソー 表示制御装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11348659A (ja) * 1998-04-07 1999-12-21 Matsushita Electric Ind Co Ltd 車載画像表示装置
JP2001006097A (ja) * 1999-06-25 2001-01-12 Fujitsu Ten Ltd 車両の運転支援装置
JP3300334B2 (ja) * 1999-04-16 2002-07-08 松下電器産業株式会社 画像処理装置および監視システム
JP2002369186A (ja) * 2001-06-07 2002-12-20 Sony Corp 車両後方画像表示装置、車両周囲画像表示方法
JP2006171849A (ja) * 2004-12-13 2006-06-29 Nissan Motor Co Ltd 画像処理装置
JP2006331164A (ja) * 2005-05-27 2006-12-07 Matsushita Electric Ind Co Ltd 画像処理装置
JP2007325060A (ja) * 2006-06-02 2007-12-13 Matsushita Electric Ind Co Ltd 車両周囲状況確認装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11348659A (ja) * 1998-04-07 1999-12-21 Matsushita Electric Ind Co Ltd 車載画像表示装置
JP3300334B2 (ja) * 1999-04-16 2002-07-08 松下電器産業株式会社 画像処理装置および監視システム
JP2001006097A (ja) * 1999-06-25 2001-01-12 Fujitsu Ten Ltd 車両の運転支援装置
JP2002369186A (ja) * 2001-06-07 2002-12-20 Sony Corp 車両後方画像表示装置、車両周囲画像表示方法
JP2006171849A (ja) * 2004-12-13 2006-06-29 Nissan Motor Co Ltd 画像処理装置
JP2006331164A (ja) * 2005-05-27 2006-12-07 Matsushita Electric Ind Co Ltd 画像処理装置
JP2007325060A (ja) * 2006-06-02 2007-12-13 Matsushita Electric Ind Co Ltd 車両周囲状況確認装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012253428A (ja) * 2011-05-31 2012-12-20 Fujitsu Ten Ltd 情報処理システム、サーバ装置、および、車載装置
CN105453558B (zh) * 2013-07-26 2018-09-04 株式会社电装 车辆周边监视装置
WO2015011897A1 (ja) * 2013-07-26 2015-01-29 株式会社デンソー 車両周辺監視装置およびプログラム
JP2015026989A (ja) * 2013-07-26 2015-02-05 株式会社デンソー 車両周辺監視装置およびプログラム
CN105453558A (zh) * 2013-07-26 2016-03-30 株式会社电装 车辆周边监视装置以及程序
WO2015173961A1 (ja) * 2014-05-16 2015-11-19 富士通株式会社 モニタ装置及び表示画像切替用コンピュータプログラム
JPWO2015173961A1 (ja) * 2014-05-16 2017-04-20 富士通株式会社 モニタ装置及び表示画像切替用コンピュータプログラム
JP2016195301A (ja) * 2015-03-31 2016-11-17 パナソニックIpマネジメント株式会社 画像処理装置、および、電子ミラーシステム
WO2016157766A1 (ja) * 2015-03-31 2016-10-06 パナソニックIpマネジメント株式会社 画像処理装置、および、電子ミラーシステム
CN108140318A (zh) * 2015-10-22 2018-06-08 日产自动车株式会社 显示控制方法及显示控制装置
JP2020145612A (ja) * 2019-03-07 2020-09-10 株式会社Jvcケンウッド 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP2020161886A (ja) * 2019-03-25 2020-10-01 株式会社ザクティ 船舶の周辺確認システム
WO2024111324A1 (ja) * 2022-11-23 2024-05-30 株式会社デンソー 表示制御装置

Also Published As

Publication number Publication date
JP5262515B2 (ja) 2013-08-14

Similar Documents

Publication Publication Date Title
JP5262515B2 (ja) 車両用表示装置および表示方法
US10647256B2 (en) Method for providing a rear mirror view of a surroundings of a vehicle
JP5320970B2 (ja) 車両用表示装置および表示方法
EP2974909B1 (en) Periphery surveillance apparatus and program
JP5321267B2 (ja) 車両用画像表示装置及び俯瞰画像の表示方法
JP4325705B2 (ja) 表示システム及びプログラム
JP6624105B2 (ja) 画像表示装置
WO2015098156A1 (ja) 視界支援装置、視界支援方法、及び視界支援プログラム
JP6744236B2 (ja) 画像表示装置
US10965872B2 (en) Image display apparatus
JP5760999B2 (ja) 画像処理装置及び画像処理方法
JP6471522B2 (ja) カメラパラメータ調整装置
JP6929177B2 (ja) 運転支援表示方法及び運転支援表示装置
JP2013168063A (ja) 画像処理装置、画像表示システム及び画像処理方法
JP2016168877A (ja) 車両用視認装置
JP2017007481A (ja) 車載ヘッドアップディスプレイ装置及び車載表示システム
WO2015133072A1 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
JP2022095303A (ja) 周辺画像表示装置、表示制御方法
JP7000383B2 (ja) 画像処理装置および画像処理方法
JP2007110177A (ja) 画像処理装置及びプログラム
JP6394940B2 (ja) 車両用表示システム
JP6178580B2 (ja) 物体検出装置、物体検出システム及び物体検出方法
CN115176457A (zh) 图像处理设备、图像处理方法、程序和图像呈现系统
KR20160107529A (ko) 차량 이미지가 애니메이션되는 주차 안내 장치 및 방법
JP2015144406A (ja) 視界支援装置、視界支援方法、及び視界支援プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110829

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121029

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130212

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130415

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5262515

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150