JP2009248630A - 情報表示装置 - Google Patents

情報表示装置 Download PDF

Info

Publication number
JP2009248630A
JP2009248630A JP2008096008A JP2008096008A JP2009248630A JP 2009248630 A JP2009248630 A JP 2009248630A JP 2008096008 A JP2008096008 A JP 2008096008A JP 2008096008 A JP2008096008 A JP 2008096008A JP 2009248630 A JP2009248630 A JP 2009248630A
Authority
JP
Japan
Prior art keywords
image
line
area
presentation
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008096008A
Other languages
English (en)
Other versions
JP5326328B2 (ja
Inventor
Lucian Gheorghe
ルチアン ギョルゲ
Shinichi Nishioka
慎一 西岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2008096008A priority Critical patent/JP5326328B2/ja
Publication of JP2009248630A publication Critical patent/JP2009248630A/ja
Application granted granted Critical
Publication of JP5326328B2 publication Critical patent/JP5326328B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)

Abstract

【課題】認識性に優れる情報表示装置を提供する。
【解決手段】情報表示装置は、三次元形状を有する提示面の面形状を設定し、提示面の面形状と対応させて後方画像を変形させるとともに、変形させた撮像画像を提示画像として表示部20に表示する。
【選択図】図1

Description

本発明は、情報表示装置に関する。
従来より、カメラから得られる撮像画像に基づいて、車両周辺を監視する装置が知られている(例えば、特許文献1参照)。この装置によれば、広い視野角の画像を提示するため、カメラから得られる撮像画像を処理対象として、画像が複数の領域に区分けされるとともに、区分毎に縮小または拡大といった処理が施される。具体的には、画像の縦方向に延在する2つの区切り線を境に、画像が左右の処理範囲および中央の処理範囲の3つに区分けされる。そして、例えば、左右の処理範囲は水平方向に拡大処理され、中央の処理範囲は水平方向に縮小処理される。これにより、左右の処理範囲の視認性の向上が図られる。
特開2005−110202号公報
しかしながら、特許文献1に開示された手法によれば、画像を水平方向に縮小および拡大するため、画像に基づく方向認識または距離認識において、実際の位置との間に誤差が生じるという不都合がある。
本発明はかかる事情に鑑みてなされたものであり、その目的は、認識性に優れる情報表示装置を提供することである。
かかる課題を解決するために、本発明は、三次元形状を有する提示面の面形状を設定し、提示面の面形状と対応させて後方画像を変形させるとともに、変形させた撮像画像を提示画像として表示手段に表示する。
本発明によれば、ユーザが、提示画像における物体から想像する実空間上の位置を、物体の実際の実空間上の位置と概ね同じ位置に認識することができる。そのため、提示画像に基づいて、方向認識または距離認識を精度よく行うことができ、認識性の向上を図ることができる。
(第1の実施形態)
図1は、本発明の実施形態にかかる情報表示装置が適用された車両の運転席前方を模式的に示す説明図であり、図2は、本実施形態にかかる情報表示装置のシステム構成を示すブロック図である。この情報表示装置は、ユーザであるドライバーに情報を表示する車両用の装置であり、コントロールユニット10と、表示部(表示手段)20とを主体に構成される。
コントロールユニット10は、システム全体を統合的に制御する機能を担っている。コントロールユニット10は、例えば、CPU、ROM、RAM、I/Oインターフェースを主体に構成されたマイクロコンピュータを用いることができる。このコントロールユニット10には、車速センサ1、ウィンカセンサ2、シフトポジションセンサ3、後方カメラ4およびナビゲーション装置5からの情報が入力される。
車速センサ1は、車両の速度(車速)を検出する。ウィンカセンサ2は、ウィンカの動作を検出する。シフトポジションセンサ3は、シフトレバーのポジションを検出する。後方カメラ(撮像手段)4は、図3に示すように、車両(ユーザ)の後方および側方を含むモニタリング領域の景色を撮像し、撮像画像である後方画像を出力する。本実施形態において、後方カメラ4は、概ね180°の撮影範囲を有する広角カメラであり、ルーフの中央に取り付けられている。後方カメラ4には、イメージセンサ(例えば、CCDまたはCMOSセンサ等)が内蔵される。
また、コントロールユニット10は、ナビゲーション装置5の情報も読み込むことができる。ナビゲーション装置5は、ナビゲーション情報に基づいて、ドライバーに地理的な情報等を提示する装置である。ナビゲーション情報は、例えば、ナビゲーション装置5と一体化されたハードディスク装置に格納される。ナビゲーション情報は、経路検索や経路案内に用いられる情報であり、ノードデータおよび道路データを主体に構成される。ナビゲーション情報において、各道路は、交差・分岐・合流等の地点に対応するノードによって分割されており、個々のノード間の接続が道路リンクとして規定される。そのため、個々のノードを介して道路リンクを接続することにより、一連の道路形状が規定される。ノードデータは、個々のノード毎に、ノードを識別する識別番号(ノードID)、緯度および経度を用いた絶対位置情報、ノードに接続する道路リンクの固有番号(リンクID)などが互いに関連付けられたデータである。道路データは、個々の道路リンク毎に、道路リンクを識別する固有番号(リンクID)、道路リンクに該当する道路の長さ、幅、勾配、路面状態、曲率半径、種別(高速道路、自動車専用道路、一般道路)などが関連付けられたデータである。なお、ナビゲーション装置5は、道路側に設けられた道路側インフラと路車間通信を行うことにより、ナビゲーション情報を把握してもよい。
本実施形態との関係において、コントロールユニット10は、三次元形状を有する提示面の面形状を設定する(面設定手段)。また、コントロールユニット10は、設定される提示面の面形状と対応させて、後方カメラ4から出力される後方画像を変形させるとともに、変形させた後方画像を提示画像として表示部20に表示する(制御手段)。
また、コントロールユニット10は、ドライバーの運転シーンに基づいて、モニタリング領域において方向認識が重要となる領域を方向領域として設定する(領域設定手段)。この場合、コントロールユニット10は、設置される方向領域と位置的に対応する提示画像の領域において、方向認識誤差が小さくなるように提示面の面形状を最適化する。また、コントロールユニット10は、方向認識誤差を評価する評価関数を有し、この評価関数が最小となるように提示面の面形状を設定する。この評価関数は、提示画像の三次元形状に起因する誤差と、提示画像の両端および中央までの距離および面の反射角度に起因する誤差とを評価する。
さらに、コントロールユニット10は、ドライバーの運転シーンに基づいて、モニタリング領域において距離認識が重要となる領域を距離領域として設定する(領域設定手段)。この場合、コントロールユニット10は、設定される距離領域と位置的に対応する提示画像の領域が相対的に拡大表示されるように、提示面の面形状を設定する。
表示部20は、図1に示すように、ドライバーの前方のコンソールボックスに配置されている。この表示部20は、コントロールユニット10に制御され、ドライバーに種々の情報を表示する。表示部20は、液晶ディスプレイなどの周知の表示装置を用いることができる。
図4は、本発明の第1の実施形態にかかる後方画像の表示処理の手順を示すフローチャートである。このフローチャートに示す処理は、所定の周期で呼び出され、コントロールユニット10によって実行される。
ステップ1(S1)において、運転シーンが検出される。コントロールユニット10は、ナビゲーション装置5から情報を読み込む。そして、コントロールユニット10は、ナビゲーション装置5の情報に基づいて、現在の走行環境が、高速道路であるか、市街地であるか、それともそれら以外であるかを判定する。また、コントロールユニット10は、シフトポジションセンサ3からシフトレバーのポジションを読み込む。そして、コントロールユニット10は、シフトレバーのポジションに基づいて、前進状態にあるのかそれとも後進状態にあるのかを判定する。
さらに、コントロールユニット10は、右折、左折、右車線へのレーンチェンジ、または、左車線へのレーンチェンジが行われるか否か判定する。具体的には、コントロールユニット10は、ナビゲーション装置5から経路情報を読み込む。この経路情報は、始点から終点までの一連の経路における案内誘導を示す情報であり、始点および終点は、ドライバーによって設定される。コントロールユニット10は、この経路情報を参照し、右左折またはレーンチェンジが行われるか否かを判定する。なお、コントロールユニット10は、ウィンカセンサ2の検出信号を読み込み、この検出信号に基づいて、右左折またはレーンチェンジが行われるか否かを判定してもよい。
コントロールユニット10は、これらの判定結果に基づいて、シーン1からシーン8に予め分類された8つの運転シーンの中から、現在の運転シーンを検出する。シーン1は、高速道路および市街地以外の走行環境における前進であり、シーン2は、後進である。シーン3は、高速道路において直進である。シーン4は、高速道路で右車線にレーンチェンジであり、シーン5は、高速道路で左車線にレーンチェンジである。シーン6は、市街地において直進である。シーン7は、市街地において右車線にレーンチェンジまたは右折であり、シーン8は、市街地において左車線にレーンチェンジまたは左折である。
ステップ2(S2)において、コントロールユニット10は、運転シーンに基づいて、方向領域および距離領域を設定する。ここで、方向領域は、モニタリング領域において、方向の認識が重要となる領域である。距離領域は、モニタリング領域において、距離の認識が重要となる領域である。
図5および図6は、方向領域および距離領域の説明図である。図5および図6に示すように、モニタリング領域において、方向領域および距離領域は、後方カメラ4を起点とする4つのライン、具体的には、カメラライン、αライン、α’ライン、γラインおよびγ’ラインによって定義される。ここで、カメララインは、車両後方に延在する。αラインは、カメララインに対して交角αとなるラインであり、カメララインよりも左側に設定される。α’ラインは、αラインに対して交角α’となるラインであり、αラインよりも左側に設定される。βラインは、カメララインに対して交角γとなるラインであり、カメララインよりも右側に設定される。γ’ラインは、γラインに対して交角γ’となるラインであり、γラインよりも左側に設定される。モニタリング領域は、αラインとβラインとに挟まれて主として車両後方を含む領域、αラインとα’ラインとに挟まれて左後方を含む領域、および、βラインとβ’ラインとに挟まれて右後方を含む領域に区分される。
これらのラインを規定する角度α,α’,γ,γ’は、実験やシミュレーションを通じて、運転シーン毎に、シーンに対応する最適値が予め設定される。例えば、自車両が高速道路で直進する場合、自車両の後方領域(自車両と同じ走行レーン)は、後続車両に対する距離認識の重要度が高い傾向を有する。また、このケースでは、自車両の右後方領域または左後方領域(隣の走行レーン)は、他車両に対する方向認識の重要度が高い傾向を有する。一方で、自車両が右車線にレーンチェンジを行おうとする場合、自車両の後方領域は、方向認識の重要度が高くなる一方、距離認識の重要度が低くなる傾向を有する。また、このケースでは、右後方領域は、方向認識に加え距離認識の重要度が高くなる傾向を有する。
図5に示すように、運転シーンがシーン1である場合、αラインとγラインと間の領域、αラインとα’ラインと間の領域およびγラインとγ’ラインと間の領域が、方向領域Aかつ距離領域Bにそれぞれ設定される。一方、運転シーンがシーン2である場合、αラインとγラインとの間の領域が、距離領域Bに設定される。また、αラインとα’ラインとの間の領域およびγラインとγ’ラインとの間の領域が、方向領域Aおよび距離領域Bにそれぞれ設定される。ここで、シーン1およびシーン2において、角度α,γは互いに同じ角度であり、角度α’,γ’は互いに同じ角度である。
図6に示すように、運転シーンがシーン3である場合、αラインとγラインとの間の領域が、距離領域Bに設定される。αラインとα’ラインとの間の領域およびγラインとγ’ラインとの間の領域が、方向領域Aにそれぞれ設定される。ここで、角度α,γは互いに同じ角度であり、角度α’,γ’は互いに同じ角度である。シーン3における角度α,γは、シーン1の角度α,γよりも小さな角度に設定され、また、シーン3における角度α’,γ’は、シーン1の角度α’,γ’よりも小さな角度に設定される。
運転シーンがシーン4である場合、αラインとγラインとの間の領域が、方向領域Aおよび距離領域Bに設定される。αラインとα’ラインとの間の領域が、領域C、すなわち、方向領域Aまたは距離領域Bに属さない領域に設定される。γラインとγ’ラインとの間の領域が、距離領域Bに設定される。ここで、角度γは、シーン3の角度γよりも小さな角度に設定される。角度γ’は、γ’ラインとカメララインとの交角が、シーン3におけるγ’ラインとカメララインとの交角よりも大きくなるように設定される。また、角度α,α’は、シーン3の角度α,α’と同じ角度に設定される。
運転シーンがシーン5である場合、αラインとγラインとの間の領域が、方向領域Aおよび距離領域Bに設定される。γラインとγ’ラインとの間の領域が、領域Cに設定される。αラインとα’ラインとの間の領域が、距離領域Bに設定される。ここで、角度αは、シーン3の角度αよりも小さな角度に設定される。角度α’は、α’ラインとカメララインとの交角が、シーン3におけるα’ラインとカメララインとの交角よりも大きくなるように設定される。また、角度γ,γ’は、シーン3の角度γ,γ’と同じ角度に設定される。
運転シーンがシーン6である場合、αラインとγラインとの間の領域が、距離領域Bに設定される。αラインとα’ラインとの間の領域およびγラインとγ’ラインとの間の領域が、方向領域Aに設定される。ここで、角度α,γは互いに同じ角度であり、角度α’,γ’は互いに同じ角度である。また、角度α,γは、シーン3の角度α,γよりも大きな角度に設定される。角度α’,γ’は、シーン3の角度α’,γ’よりも小さな角度に設定される。この場合、角度α’は、α’ラインとカメララインとの交角が、シーン3におけるα’ラインとカメララインとの交角と同じになるように、角度が設定される。
運転シーンがシーン7である場合、αラインとγラインとの間の領域が、方向領域Aおよび距離領域Bに設定される。αラインとα’ラインとの間の領域が、領域Cに設定され、γラインとγ’ラインとの間の領域が、距離領域Bに設定される。ここで、角度γは、シーン3の角度γよりも小さな角度に設定される。角度γ’は、γ’ラインとカメララインとの交角が、シーン4におけるγ’ラインとカメララインとの交角よりも大きくなるようにが設定される。また、角度α,α’は、シーン3の角度α,α’と同じ角度に設定される。
運転シーンがシーン8である場合、αラインとγラインとの間の領域が、方向領域Aおよび距離領域Bに設定される。γラインとγ’ラインとの間の領域が、領域Cに設定され、αラインとα’ラインとの間の領域が、距離領域Bに設定される。ここで、角度αは、シーン3の角度αよりも小さな角度に設定される。角度α’は、α’ラインとカメララインとの交角が、シーン5におけるα’ラインとカメララインとの交角よりも大きくなるように設定される。また、角度γ,γ’は、シーン3の角度γ,γ’と同じ角度に設定される。
コントロールユニット10は、運転シーン毎に、シーンにおいて設定される角度α,γ,α’,γ’と、各ラインによって規定される領域の種別(方向領域A,距離領域Bおよび領域C)とを定義したテーブルを保持している。そして、コントロールユニット10は、ステップ2において検出された運転シーンに基づいて、距離領域Aまたは方向領域Bを設定する。
ステップ3(S3)において、コントロールユニット10は、提示形状を算出する。コントロールユニット10は、後方カメラ4からの後方画像を表示部20に表示させる場合、三次元形状を有する仮想的な提示面の面形状と対応させて、後方カメラ4からの後方画像を変形させる。これにより、変形させた後方画像が表示部20に表示される。換言すれば、コントロールユニット10は、後方カメラ4からの後方画像を提示面に貼り付けた上で、これを表示部20に表示させる。すなわち、提示面の面形状を設定することにより、後方画像の提示形状が算出される。
図7は、提示面Sの説明図である。ここで、Z軸は、車両の前後方向に対応し、X軸は、車両の横方向に対応し、Y軸は、車両の高さ方向に対応する。提示面Sは、ZX平面において規定される曲線であるコントロールカーブCを、Y方向に延ばすことによって定義される。換言すれば、コントロールカーブCの算出が、提示面Sの算出となる。提示面Sは、後述するように、表示部20に表示される後方画像が、ドライバーに向かって凸となるような三次元形状を有している。
図8は、コントロールカーブCの説明図である。本実施形態において、コントロールカーブCは、6つの特徴点P1〜P6を用いて形状が定義される。ここで、特徴点P1〜P6は、X軸の増加方向に沿って、P1,P3,P5,P6,P4,P2,P1の順番で配置されている。同図(a)に示すコントロールカーブCは、カーブが特徴点P1〜P6をそれぞれ通るようにコントロール点が配置される二次のスプライン曲線である(以下「純スプラインカーブ」という)。一方、同図(b)に示すコントロールカーブCは、複合カーブである。具体的には、この複合カーブは、特徴点P1から特徴点P3を経由して特徴点P5へ至る範囲が、純スプラインカーブのそれと形状的に対応するとともに、特徴点P2から特徴点P4を経由して特徴点P6へ至る範囲が、純スプラインカーブのそれと形状的に対応する。また、複合カーブは、特徴点P5とP6との間が直線となる。すなわち、複合カーブは、純スプラインカーブと、直線とによって構成される複合的なカーブである。本実施形態において、6つの特徴点P1〜P6のうち、特徴点P1,P5の間に位置する特徴点P3と、特徴点P2,P6の間に位置する特徴点P4とは、変極点として機能する。これらの特徴点P1〜P6は、後述するルールにしたがって、コントロールユニット10によってその配置が設定される。
図9は、特徴点P1〜P6とモニタリング領域との対応関係を示す説明図である。特徴点P1は、最も左端と対応し、XZ平面(その座標(X,Z))において、座標(−R,0)に配置される。一方、特徴点P2は、最も右端と対応し、XZ平面において、座標(R,0)に配置される。
これに対して、特徴点P5,P6は、運転シーンに応じて設定される角度α,γおよび後述するパラメータk1,k2に基づいて、配置される。具体的には、特徴点P5は、角度αに基づいて、XZ平面において、座標(−R×sin(α)×k1,R×cos(α))に配置される。一方、特徴点P6は、角度γに基づいて、XZ平面において、座標(R×sin(γ)×k2,R×cos(γ))に配置される。
図10は、運転シーンとパラメータk1,k2との対応関係を示す説明図である。k1,k2は、X軸方向への大きさを調整するパラメータである。図10に示すように、パラメータk1,k2は、運転シーン毎に、その値が予め設定されている。具体的には、パラメータk1,k2は、自車両の後方領域において、距離認識の重要度が高い程大きな値になる傾向を有する。また、パラメータk1,k2は、自車両の左後方領域または右後方領域において距離認識の重要度が高い程小さな値になる傾向を有する。このような傾向を考慮して、パラメータk1,k2は、実験やシミュレーションを通じて、最適値が設定されている。ここで、図9において、パラメータk1,k2は、「1」にそれぞれ設定されている。
図11は、変極点P3,P4の説明図である。3次元形状の提示面Sに対応して変形された後方画像に基づいて、モニタリング領域における方向認識を行う場合、ドライバーが安定的に方向認識を行うためには、提示面Sは滑らかな形状に設定されることが好ましい。すなわち、コントロールカーブCは、滑らかな曲線形状に設定されることが好ましい。そこで、変極点P3は、変極点P3用のカーブCP3上に配置し、変極点P4は、変極点P4用のカーブCP4上に配置する。
変極点P3,P4の配置は、評価関数EE(P)に基づいて設定される。
(数式1)
EE(P)=IE(P)×RA(P)
評価関数EE(P)は、コントロールカーブC上の任意の点Pにおいて、方向認識誤差を評価する関数である。
方向認識誤差は、後方画像上の点Pに表示される物体に基づいてドライバーが想像する物体の実空間上の位置と、その物体が実際に存在する実空間上の位置との間の開き角である。人間は、平面形状の鏡を眺めた場合、鏡に映った物体の位置を実際に存在する位置よりも遠くにあると錯覚する傾向がある。そのため、平面形状の鏡を眺めた場合と同様に、凸面形状の鏡を眺めた場合も、自分よりも外側に映っている物体(すなわち、人間の左右後方に存在する物体)について、実際の位置よりも外側の位置に存在すると感じると考えられる。これにより、物体の実際の位置とドライバーが想像する物体の位置との間に誤差が生じる。したがって、これと同様に、提示面Sの三次元形状に対応して後方カメラ4からの後方画像を変形させた場合にも、実際の位置と想像の位置との間に誤差が生じる。この誤差が、数式1に示す評価関数EE(P)によって表される。
図12は、数式1における関数IE(P)と点Pの角度θとの関係を示す説明図である。同図(a)に示すように、角度θは、ZX座標において、変形された後方画像上の点Pと原点とを結ぶ線分と、Z軸との角度である。ここで、角度θは、点PのX座標が負の値である場合、負の値をとり、点PのX座標が正の値である場合、正の値をとる。コントロールユニット10は、同図(b)に示すような関数IE(P)と角度θとの対応関係を保持しており、角度θに基づいて、関数IE(P)の値を読み込む。この関数IE(P)は、提示面Sに対応して変形された後方画像である提示画像の三次元形状に起因する誤差を評価する機能を担っている。
そして、実空間の位置が実際に分かっている点、すなわち、原点(0,0)、特徴点P1(−R,0)、特徴点P2(R,0)を利用して、点Pの表面の角度(ドライバーから見た反射角度)による修正を行う。なお、端部に対応する特徴点P1,P2、または、中心に対応する原点から離れる程、修正しにくくなる。
図13は、数式1における関数RA(P)と角度θとの対応関係を示す説明図である。同図(a)は、変極点P3に関する関数RA(P)と点Pの角度θとの対応関係を示し、同図(b)は、変極点P4に関する関数RA(P)と角度θとの対応関係を示す。ここで、同図(a)に示すように、関数RA(P)と角度θとの対応関係は、変極点P3が特徴点P1から離れる程、矢印方向にシフトする。また、同図(b)に示すように、関数RA(P)と角度θとの対応関係は、変極点P4が特徴点P2から離れる程、矢印方向にシフトする。
コントロールユニット10は、変極点P3用のカーブCP3上に変極点P3を配置し、そして、特徴点P1,P3,P5を通るコントロールカーブC上の点Pに対する関数RA(P)を、図13(a)に示す関数RA(P)と角度θとの対応関係から読み出す。また、コントロールユニット10は、変極点P4用のカーブCP4上に変極点P4を配置し、そして、特徴点P2,P4,P6を通るコントロールカーブC上の点Pに対する関数RA(P)を、図13(b)に示す関数RA(P)と角度θとの対応関係から読み出す。この際、変極点P3,P4は、カーブCP3,CP4上に設定され、かつ、図14に示す角度範囲となるように設定される。この関数RA(P)は、提示画像の両端および中央までの距離および表面の反射角度に起因する誤差を評価する機能を担っている。
コントロールユニット10は、関数IE(P)の値と、関数RA(P)の値とに基づいて、EE(P)を算出することができる。そして、コントロールユニット10は、変極点P3,P4を通る生成可能なコントロールカーブCの中から、EE(P)の積分が最小となる変極点P3,P4を選択(設定)する。この変極点P3,P4の設定により、方向認識の重要度が高い領域における方向認識誤差が小さくなるように、提示面Sの形状が最適化される。
このようにして、変極点を含む特徴点P1〜P6が決定されると、コントロールユニット10は、これらの特徴点P1〜P6に基づいて、コントロールカーブCを設定する。これにより、提示面Sの面形状が設定される。
ステップ4(S)において、コントロールユニット10は、画像表示を行う。具体的には、コントロールユニット10は、算出された提示面Sの面形状と対応させて、後方カメラ4から得られた後方画像を変形させ、これにより、提示画像を作成する。
図15は、モニタリング領域を示す説明図である。モニタリング領域には、黒点示すように、後方カメラ4を中心とする所定半径の円周上に、等ピッチでパイロンが配置されている。図16は、後方カメラ4からの後方画像と、特徴点P1〜P6およびコントロールカーブCとの位置的な関係を示す説明図である。コントロールユニット10は、提示画像の作成にあたり、後方画像の左端を特徴点P1の位置に貼り付け、後方画像の右端を特徴点P2の位置に貼り付ける。また、コントロールユニット10は、カメララインとの交角が角度αとなるαラインに対応する画像上の位置(以下「α位置」という)を、特徴点P5に貼り付け、カメララインとの交角が角度γとなるγラインに対応する画像上の位置(以下「γ位置」という)を、特徴点P6に貼り付ける。さらに、コントロールユニット10は、リニアマッピングにより、後方画像の左端からα位置までの画像を、特徴点P1から特徴点P5までのコントロールカーブCに貼り付け、後方画像の右端からγ位置までの画像を、特徴点P2から特徴点P6までのコントロールカーブCに貼り付ける。同様に、コントロールユニット10は、リニアマッピングにより、α位置からγ位置までの画像を、特徴点P5から特徴点P6までのコントロールカーブCに貼り付ける。
そして、コントロールユニット10は、作成された提示画像が表示されるように、表示部20を制御する。図17は、図15に示すモニタリング領域を後方カメラ4で撮像した場合における、表示部20に表示される画像(提示画像)を示す説明図である。同図において、(a)は、運転シーンとしてシーン3が検出されたケースにおける提示画像を示し、(b)は、運転シーンとしてシーン7が検出されたケースにおける提示画像を示す。
このように本実施形態によれば、情報表示装置は、三次元形状を有する提示面の面形状を設定し、提示面の面形状と対応させて後方画像を変形させるとともに、変形させた後方画像を提示画像として表示部20に表示する。これにより、ドライバーが、提示画像における物体から想像する実空間上の位置と、物体の実際の実空間上の位置とを概ね同じ位置に認識することができる。そのため、提示画像に基づいて、方向認識または距離認識を精度よく行うことができる。
また、本実施形態によれば、変極点P3,P4の設定により、方向領域と位置的に対応する提示画像の領域において方向認識誤差が小さくなるように、提示面の面形状が最適化される。これにより、提示画像に基づく方向認識において、誤差が抑制されるので、精度よく方向認識を行うことができる。また、本実施形態によれば、方向認識誤差を評価する評価関数EE(P)が最小となるように、提示面の面形状が設定される。これにより、方向認識誤差が最小化されるので、方向認識を精度よく行うことができる。
また、本実施形態によれば、パラメータk1,k2により、距離領域と位置的に対応する提示画像の領域が相対的に拡大表示されるように、提示面の面形状が設定される。これにより、距離認識を安定して行うことができる。そのため、多少の認識誤差があっても、ドライバーの誤差に対する補正がしやすくなる。
(第2の実施形態)
図18は、第2の実施形態にかかる情報表示装置のシステム構成を示すブロック図である。この第2の実施形態にかかる情報表示装置が、第1の実施形態のそれと相違する点は、提示画像によりドライバーへの注意喚起を行うことである。なお、本実施形態にかかる情報表示装置において、システム構成および画像表示の処理手法は、第1の実施形態と基本的に同じであり、以下、相違点を中心に説明を行う。
本実施形態では、コントロールユニット10には、視線カメラ6からの情報(撮像画像)が入力される。視線カメラ6は、眼部を中心としたドライバーの顔を含む景色を撮像するカメラであり、例えば、インストルメントパネルに取り付けられている。視線カメラ6には、イメージセンサ(例えば、CCDまたはCMOSセンサ等)が内蔵されている。
本実施形態において、コントロールユニット10は、モニタリング領域において、ドライバーに急接近する物体を検出する(物体検出手段)。この場合、コントロールユニット10は、ドライバーに急接近する物体が検出された場合、提示画像において、物体が表示される位置と位置的に対応する箇所の面形状を経時的に揺動変化させるように、提示面の面形状を設定する。また、コントロールユニット10は、ユーザの視線を検出する(視線検出手段)。この場合、コントロールユニット10は、視線検出の検出結果に基づいて、ユーザが表示部20を視認したことを判断した場合、揺動変化を終了させる。
図19は、本実施形態にかかる後方画像の表示処理の手順を示すフローチャートである。このフローチャートに示す処理は、所定の周期で呼び出され、コントロールユニット10によって実行される。
まず、第1の実施形態と同様に、ステップ1において、コントロールユニット10は、運転シーンを検出し、ステップ2において、コントロールユニット10は、運転シーンに基づいて、方向領域および距離領域を設定する。
ステップ2に続くステップ5(S5)において、コントロールユニット10は、自車両に急接近する物体を検出したか否かを判断する。具体的には、コントロールユニット10は、後方カメラ4から後方画像を読み込む度に、画像処理により、物体認識を行う。そして、コントロールユニット10は、時系列的に認識される物体の変化(例えば、後方画像に占める物体の大きさ変化、または、画像処理により得られる物体までの相対距離の変化)に基づいて、物体が自車両に急接近するか否かを判断する。
このステップ5において肯定判定された場合、すなわち、物体が急接近する場合には、ステップ6(S6)に進む。これに対して、ステップ5において否定判定された場合、すなわち、物体が急接近しない場合には、ステップ7(S7)に進む。
ステップ6において、コントロールユニット10は、視線カメラ6からの撮像画像に基づいて、ドライバーの視線方向を検出する。
そして、ステップ7において提示形状が算出され、ステップ8(S8)において画像表示が行われる。ステップ7において、コントロールユニット10は、提示形状を算出する。提示形状の算出処理、および、画像の表示処理は、第1の実施形態におけるステップ3,4の処理と基本的に同様である。しかしながら、ステップ5において肯定判定されたケースでは、処理の内容が、以下の点において相違する。具体的には、コントロールユニット10は、第1の実施形態に示す特徴点P1〜P6(変極点P3,4を含む)に加え、新たな変極点DPを配置する。ここで、変極点DPは、急接近している物体が表示されるであろう位置に配置される。
図20は、変極点DPを例示する説明図である。コントロールユニット10は、画像表示において、変極点DPをZ軸と平行に振動させることにより、急接近する物体を強調的に表示する。コントロールユニット10は、検出された視線方向に基づいて、ドライバーが表示部20を視認している場合には、変極点DPの振動を停止させるとともに、変極点DPを削除する。
このように本実施形態によれば、変極点DPにより、急接近する物体が表示される位置と位置的に対応する箇所の面形状を経時的に揺動変化させるように、提示面の面形状が設定される。これにより、ドライバーに急接近する物体を早期に認識させることができる。
また、本実施形態によれば、ドライバーが表示部を視認したことを判断した場合、揺動変化を終了させる。これにより、画像の変形を最適に行うことができる。
以上、本発明の実施形態にかかる情報表示装置について説明したが、本発明は上述した実施形態に限定されることなく、その発明の範囲内において種々の変形が可能である。例えば、情報表示装置は、車両用としてだけでなく、種々の用途で適用することができる。このケースでは、情報を表示する表示手段は、ユーザの前方に配置されている。また、撮像手段は、ユーザの後方および側方を含むモニタリング領域の景色を撮像する。
情報表示装置が適用された車両の運転席前方を模式的に示す説明図 第1の実施形態にかかる情報表示装置のシステム構成を示すブロック図 モニタリング領域の説明図 第1の実施形態にかかる後方画像の表示処理の手順を示すフローチャート 方向領域および距離領域の説明図 方向領域および距離領域の説明図 提示面Sの説明図 コントロールカーブCの説明図 特徴点P1〜P6とモニタリング領域との対応関係を示す説明図 運転シーンとパラメータk1,k2との対応関係を示す説明図 変極点P3,P4の説明図 数式1における関数IE(P)と点Pの角度θとの関係を示す説明図 数式1における関数RA(P)と角度θとの対応関係を示す説明図 角度範囲の説明図 モニタリング領域を示す説明図 後方カメラ4からの後方画像と特徴点P1〜P6およびコントロールカーブCとの位置的な関係を示す説明図 表示部20に表示される画像(提示画像)を示す説明図 第2の実施形態にかかる情報表示装置のシステム構成を示すブロック図 第2の実施形態にかかる後方画像の表示処理の手順を示すフローチャート 変極点DPを例示する説明図
符号の説明
1 車速センサ
2 ウィンカセンサ
3 シフトポジションセンサ
4 後方カメラ
5 ナビゲーション装置
6 視線カメラ
10 コントロールユニット
20 表示部

Claims (7)

  1. 情報表示装置において、
    ユーザの前方に配置されており、情報を表示する表示手段と、
    ユーザの後方および側方を含むモニタリング領域の景色を撮像し、撮像画像を出力する撮像手段と、
    三次元形状を有する提示面の面形状を設定する面設定手段と、
    前記面設定手段によって設定される提示面の面形状と対応させて、前記撮像手段から出力される撮像画像を変形させるとともに、当該変形させた撮像画像を提示画像として前記表示手段に表示する制御手段と
    を有することを特徴とする情報表示装置。
  2. ユーザであるドライバーの運転シーンに基づいて、前記モニタリング領域において方向認識が重要となる領域を方向領域として設定する領域設定手段をさらに有し、
    前記面設定手段は、前記領域設定手段によって設定される前記方向領域と位置的に対応する前記提示画像の領域において、方向認識誤差が小さくなるように前記提示面の面形状を最適化することを特徴とする請求項1に記載された情報表示装置。
  3. 前記面設定手段は、前記提示画像に含まれる物体に基づいてユーザが想像する実空間上の位置と、前記物体の実際の実空間上の位置との開き角を前記方向認識誤差として評価する評価関数を有し、当該評価関数が最小となるように前記提示面の面形状を設定することを特徴とする請求項2に記載された情報表示装置。
  4. 前記評価関数は、前記提示画像の三次元形状に起因する誤差と、前記提示画像の両端および中央までの距離および表面の反射角度に起因する誤差とを評価することを特徴とする請求項3に記載された情報表示装置。
  5. ユーザであるドライバーの運転シーンに基づいて、前記モニタリング領域において距離認識が重要となる領域を距離領域として設定する領域設定手段をさらに有し、
    前記面設定手段は、前記領域設定手段によって設定される前記距離領域と位置的に対応する前記提示画像の領域が相対的に拡大表示されるように、前記提示面の面形状を設定することを特徴とする請求項1に記載された情報表示装置。
  6. 前記モニタリング領域において、ユーザに急接近する物体を検出する物体検出手段をさらに有し、
    前記設定手段は、前記物体検出手段によってユーザに急接近する物体が検出された場合、前記提示画像において、前記物体検出手段によって検出される物体が表示される位置と位置的に対応する箇所の面形状を経時的に揺動変化させるように、前記提示面の面形状を設定することを特徴とする請求項1から5のいずれか一項に記載された情報表示装置。
  7. ユーザの視線を検出する視線検出手段をさらに有し、
    前記設定手段は、前記視線検出手段の検出結果に基づいて、ユーザが前記表示手段を視認したことを判断した場合、前記揺動変化を終了させることを特徴とする請求項6に記載された情報表示装置。
JP2008096008A 2008-04-02 2008-04-02 情報表示装置 Active JP5326328B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008096008A JP5326328B2 (ja) 2008-04-02 2008-04-02 情報表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008096008A JP5326328B2 (ja) 2008-04-02 2008-04-02 情報表示装置

Publications (2)

Publication Number Publication Date
JP2009248630A true JP2009248630A (ja) 2009-10-29
JP5326328B2 JP5326328B2 (ja) 2013-10-30

Family

ID=41309738

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008096008A Active JP5326328B2 (ja) 2008-04-02 2008-04-02 情報表示装置

Country Status (1)

Country Link
JP (1) JP5326328B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014036268A (ja) * 2012-08-07 2014-02-24 Honda Motor Co Ltd 移動体の周辺画像表示装置
CN110505469A (zh) * 2018-05-17 2019-11-26 株式会社电装 用于车辆的环绕监测系统及其方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0948282A (ja) * 1995-08-08 1997-02-18 Mazda Motor Corp 車両用間接視認装置
JP2004147210A (ja) * 2002-10-25 2004-05-20 Matsushita Electric Ind Co Ltd 運転支援装置
JP2006080626A (ja) * 2004-09-07 2006-03-23 Aisin Seiki Co Ltd 広角画像の補正方法及び車両の周辺監視システム
JP2007288586A (ja) * 2006-04-18 2007-11-01 Matsushita Electric Ind Co Ltd 車両周囲状況確認装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0948282A (ja) * 1995-08-08 1997-02-18 Mazda Motor Corp 車両用間接視認装置
JP2004147210A (ja) * 2002-10-25 2004-05-20 Matsushita Electric Ind Co Ltd 運転支援装置
JP2006080626A (ja) * 2004-09-07 2006-03-23 Aisin Seiki Co Ltd 広角画像の補正方法及び車両の周辺監視システム
JP2007288586A (ja) * 2006-04-18 2007-11-01 Matsushita Electric Ind Co Ltd 車両周囲状況確認装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014036268A (ja) * 2012-08-07 2014-02-24 Honda Motor Co Ltd 移動体の周辺画像表示装置
CN110505469A (zh) * 2018-05-17 2019-11-26 株式会社电装 用于车辆的环绕监测系统及其方法

Also Published As

Publication number Publication date
JP5326328B2 (ja) 2013-10-30

Similar Documents

Publication Publication Date Title
JP2020102241A (ja) 画像処理装置
JP6775188B2 (ja) ヘッドアップディスプレイ装置および表示制御方法
JP5783155B2 (ja) 表示装置
JP5935636B2 (ja) 交差点案内システム、方法およびプログラム
US9269007B2 (en) In-vehicle display apparatus and program product
JP6459205B2 (ja) 車両用表示システム
JP6379779B2 (ja) 車両用表示装置
WO2019097755A1 (ja) 表示装置及びコンピュータプログラム
EP2605231A2 (en) Display system, display method and display program supporting a lane change in a vehicle
US11525694B2 (en) Superimposed-image display device and computer program
JPWO2014174575A1 (ja) 車両用ヘッドアップディスプレイ装置
JP2015215510A (ja) 表示装置および表示方法
JP2012220489A (ja) 道案内情報のウィンドシールド表示装置及びその方法
JP4946682B2 (ja) 車両用走行支援装置
JP2013168063A (ja) 画像処理装置、画像表示システム及び画像処理方法
CN104471354A (zh) 交叉路口引导系统、方法以及程序
JP7365594B2 (ja) 表示システム
JP7151073B2 (ja) 表示装置及びコンピュータプログラム
JP2007102691A (ja) 車両用視界支援装置
JP2015226304A (ja) 車両用投影装置及びヘッドアップディスプレイシステム
JP2007257299A (ja) 車外認識装置
JP2007008382A (ja) 視覚情報呈示装置及び視覚情報呈示方法
JP6186905B2 (ja) 車載表示装置およびプログラム
CN113165510A (zh) 显示控制装置、方法和计算机程序
JP2005148973A (ja) 情報提示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110315

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121127

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130312

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130708

R150 Certificate of patent or registration of utility model

Ref document number: 5326328

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150