JP2014213636A

JP2014213636A - 車両用表示装置

Info

Publication number: JP2014213636A
Application number: JP2013090319A
Authority: JP
Inventors: 小幡　喜重郎; Kijuro Obata; 喜重郎小幡; 三宅　隆; Takashi Miyake; 隆三宅
Original assignee: Alpine Electronics Inc
Current assignee: Alpine Electronics Inc
Priority date: 2013-04-23
Filing date: 2013-04-23
Publication date: 2014-11-17

Abstract

【課題】外部光の照射方向の変化に応じて、仮想光源の位置を変更することで、オブジェクトに対する視覚効果をより現実的に表現する車両用表示装置を提供する。
【解決手段】車両用表示装置における制御部１８０は、画像処理プログラムに従い機能し、走行中の運転手の顔画像を取得する顔画像取得手段３００と、車内の各方向に応じて設置された複数の光センサから出力を取得する光センサ出力取得手段３１０と、外部光の照射方向を検知する照射方向検知手段３２０と、照射方向検知手段３２０から順次出力される照射方向情報に基づき、外部光の照射方向の変化を判別する照射方向変化判別手段３３０と、照射方向の変化に基づき、オブジェクトに対する仮想光源の位置を設定する仮想光源設定手段３４０と、仮想光源に基づき、オブジェクトに対して光沢、質感、及び陰影などの視覚効果を反映させる視覚効果反映手段３５０とを備えている。
【選択図】図３

Description

本発明は、オブジェクトをグラフィック表示する車両用表示装置において、外部光の照射方向に応じて、仮想光源の位置を変更する技術に関する。

車両用の表示部であるメータパネルには、液晶ディスプレイ（ＬＣＤ）などのフラットパネルが用いられており、スピードメータ、タコメータのような計器を従来のアナログメータのようにグラフィック表示を行うものが増えてきている。

このようなアナログメータには、例えばリング状の外縁が描画されている。そして、グラフィック表示上において、仮想の光源を設定することで、実物のアナログメータのように見えるように視覚効果が表現されている。これにより、アナログメータに対して、実物のような光沢、質感及び陰影を演出している。このような手法は、例えば、コンピュータの演算によって３次元空間内の仮想的な立体物を２次元である平面上の情報に変換することで奥行き感のある画像を作る３次元コンピュータグラフィックスとして知られている。

特許文献１には、仮想的な計器の画像を表示する車両用表示装置であって、実物の計器が持つ質感や立体感など十分に再現でき、車両の乗員に立体的な画像として認識されるように表示する車両用表示装置に関する技術が開示されている（特許文献１）。

特開２０１１−１２１５４４号公報

仮想の光源は、例えば、定位置に固定されているため、外部光の照射方向や運転手の挙動に連動することがなかった。これに対して、特許文献１には、車両の車速やエンジンの回転数に応じて、仮想光源の位置を移動させる技術について開示している。しかしながら、車両の周辺環境や車内状況を配慮したものではないため、実物のアナログメータにおける視覚効果を十分に表現するものではなく、実物の見え方とは違いがあり、ユーザーにとって違和感があった。

本発明は、このような従来の課題を解決し、外部光の照射方向の変化に応じて、仮想光源の位置を変更することで、各種メータ等のオブジェクトに対する視覚効果をより現実的に表現する、車両用表示装置を提供することを目的とする。

本発明に係る車両用電子装置は、仮想的な立体の計器を含むオブジェクトの画像データをグラフィック表示する車両用表示装置であって、前記オブジェクトの画像データを表示する表示手段と、車内空間において外部光の照射方向を検知する検知手段と、前記照射方向の検知結果に基づき、前記オブジェクトに対する仮想光源の位置を設定する仮想光源設定手段と、前記仮想光源の設定に応じて、前記オブジェクトの画像データに視覚効果を反映させる視覚効果反映手段とを有する。

好ましくは、前記検知手段は、運転手の顔を撮像するカメラを含み、前記カメラで撮像された撮像データに含まれる顔画像の輝度情報に基づき外部光の照射方向を決定する。また、前記検知手段は、前記顔画像を複数の領域に分割し、複数の領域の中から輝度情報が最も高い領域を照射方向に対応する領域として選択する。

好ましくは、前記検知手段は、前記顔画像から運転手の視線方向を検知する視線検知手段を含み、前記仮想光源設定手段は、検知された視線方向に応じて、仮想光源の位置を設定する。また、前記検知手段は、外部光の色情報を検出する色情報検出手段を含み、前記視覚効果反映手段は、前記色情報に応じてオブジェクトの画像データに視覚効果を与えることもできる。

好ましくは、前記検知手段は、車内の各方向に対応して配置された複数の光学センサを含み、複数の光学センサの出力に基づき外部光の照射方向を検知することができる。

本発明によれば、オブジェクトをグラフィック表示する車両用表示装置において、外部光を検知して、仮想光源の位置を変更することで、オブジェクトに対する視覚効果をより現実的に表現することができる。

本発明の実施例に係る車両用表示装置の構成例を示すブロック図である。メータ表示部の表示例を示す図である。図３（Ａ）は、第１の実施例による車両用表示装置の制御部の構成を示す機能ブロック図、図３（Ｂ）は、第２の実施例による車両用表示装置の制御部の構成を示す機能ブロック図である。車両の内部に配置された車載カメラの配置例を示す図である。本発明の第１の実施例によるオブジェクトに対する視覚効果反映の手順に関するフローチャートである。取得された顔画像を示す図であり、図６（Ａ）は、照射方向を９方向に特定する領域区分けを示し、図６（Ｂ）は、照射方向を８方向に特定する領域区分けを示す。仮想光源の設定例を説明する図である。本発明の第２の実施例によるオブジェクトに対する視覚効果反映の手順に関するフローチャートである。

本発明の実施の形態について図面を参照して詳細に説明する。図１は、車両用表示装置の構成例を示す例である。車両用表示装置１０は、車両のスピード、エンジンの回転数、燃料残量など、走行や車両に関する各種計測データを取得する計測データ取得部１００と、計測データ取得部１００により取得されたデータに基づき、現在の走行情報や車両情報を運転手に提示するメータ表示部１１０と、自車位置周辺の道路地図を表示し、目的地までの誘導経路を案内するナビゲーション部１２０と、車両周辺や運転手の挙動を把握するため、複数のカメラにより撮像された画像情報などを取得する環境情報取得部１３０と、スマートフォンやその他電子装置等と無線や有線により通信を行うことができる通信部１４０と、誘導経路の案内を表示したり、案内に伴う音声や運転手への警告を発する出力部１５０と、プログラムやデータ等を記憶する記憶部１６０と、ユーザーからの指示を受け取る入力部１７０と、マイクロコントローラやマイクロプロセッサ等を含みプログラムを実行することで各部を制御する制御部１８０を含んで構成される。但し、図１に示される構成は一例であって、車両用表示装置は必ずしもこれに限定されるものではない。

メータ表示部１１０は、ＬＣＤのようなフラットパネルが用いられ、実物のアナログメータが配置されているように、各種計器がグラフィック表示されている。図２は、メータ表示部１１０の表示例を示す図である。例えば、メータ表示部１１０の中央には、車両の走行スピードを提示するスピードメータ１１１、その左側には、エンジンの回転数を提示するタコメータ１１２、そして、右側には、燃料残量および冷却水の温度を提示する計測メータ１１３を示すオブジェクトがグラフィック表示されている。これらオブジェクトであるアナログ計器の外縁１１４は、実物で使用される素材と同様の素材により表現されており、照射光による光沢、質感、及び陰影などの視覚効果が表現され、高級感やリアル感が演出されている。視覚効果は、外縁１１４以外にも、目盛りを指し示す針部や目盛りの表示板などにも適用される。

環境情報取得部１３０は、例えば、車両外部に設置された複数の撮像カメラの撮像データを取得することができる。例えば、車両前方を映し出す撮像カメラの出力を取得することで、前方車両との車間距離の算出に利用したり、車両後方を映し出す撮像カメラの出力を取得することで、バック走行時における車両後方の画像を運転手に提供することができる。また、環境情報取得部１３０は、車両内部に設置された１つもしくは複数の撮像カメラの撮像データを取得することができ、これにより、運転手の挙動や状態を検知することができる。さらに好ましい態様では、環境情報取得部１３０は、車内に設置された１つもしくは複数の光を受光する光センサの出力を取得し、これを外部光の照射方向の検知に利用することができる。

記憶部１６０には、メータ表示部１１０に表示させるグラフィック画像を生成する画像処理プログラムが記憶されており、制御部１８０は、この画像処理プログラムを読み込むことで、計測データ取得部１００により取得された各種データ、例えば、スピード、エンジンの回転数、燃料残量に関する情報に基づき、グラフィック画像を生成することができる。

図３（Ａ）は、本発明の第１の実施例における車両用表示装置の制御部の構成を示す機能ブロック図である。制御部１８０は、記憶部１６０から読み込まれた画像処理プログラムに従い、画像処理機能を実行する。制御部１８０は、環境情報取得部１３０を介して、走行中の運転手の顔画像データを取得する顔画像取得手段３００と、車内の各方向に応じて設置された複数の光センサから出力を取得する光センサ出力取得手段３１０と、顔画像取得手段３００や光センサ出力取得手段３１０からの情報に基づき、外部光の照射方向を検知する照射方向検知手段３２０と、照射方向検知手段３２０から順次出力される照射方向情報に基づき、外部光の照射方向の変化を判別する照射方向変化判別手段３３０と、照射方向変化判別手段３３０から出力される照射方向の変化に基づき、オブジェクトに対する仮想光源の位置を設定ないし変更する仮想光源設定手段３４０と、仮想光源設定手段３４０により設定された仮想光源に基づき、オブジェクトに対して光沢、質感、及び陰影などの視覚効果を反映させる視覚効果反映手段３５０とを備えている。視覚効果反映手段３５０は、公知の３次元コンピュータグラフィックスの手法を用い、メータ表示部１１０に表示される計器等の画像データに陰影処理などを行う。

図４は、車両の内部に配置された車載カメラの配置例を示す図である。車載カメラ４００は、例えば、コラムカバー４０２上に配置されている。そして、撮像カメラ４００は、ステアリング４０４の合間を通して、運転手４０６の顔を撮像している。撮像された顔画像は、外部光の照射方向検知、及び運転手の視線検知以外、例えば、わき見運転や居眠り運転の防止のために利用することもできる。撮像カメラ４００により撮像された撮像データは、環境情報取得部１３０へ提供される。

光センサ出力取得手段３１０は、上記したように環境情報取得手段１３０を介して、光センサの出力を取得し、これにより外部光の照射方向を検知するための情報を出力する。光センサは、車内の複数箇所に設置されており、例えば、運転席の窓側、助手席の窓側、左右後部座席の窓側など、外部光が照射する箇所であって、車両内部の各方向に対応する各位置にそれぞれ配置される。照射方向検知手段３２０は、各方向に対応する複数の光センサの出力を解析することで、外部光の照射方向を検知することができる。

仮想光源設定手段３４０は、仮想光源の位置を変更する以外に、仮想光源の種類を設定することもできる。例えば、点光源や面光源を設定することができる。また、照射方向検知手段３２０が、照射光方向とともに、照射光の色情報等を同時に検知することもでき、仮想光源設定手段３４０は、その色情報に応じて、例えば、朝日、夕陽、またはトンネル内のランプなどを表現する光源の種類を設定することができる。これにより、車両用表示装置１０は、そのときの状況に応じた視覚効果を表現することができる。

次に、図５に示すフローチャートに従って、車両用表示装置におけるオブジェクトに対する視覚効果反映の手順について説明する。まず、メータ表示部１１０は、記憶部１６０に記憶された画像処理プログラムに従い、図２に示すように、制御部１８０によって生成された各種計器が表現されたオブジェクトを表示する（Ｓ１０１）。通常、前回車両を使用した際の仮想光源の位置がそのまま設定されているが、ユーザーが適宜設定を行ってもよい。例えば、初期設定として仮想光源の位置は、予め上方に設定され、それに応じた視覚効果が表現される。

次に、顔画像取得手段３００は、環境情報取得部１３０を介して、運転手の顔画像を取得する（Ｓ１０２）。図６は、取得された顔画像を模式的に表した図である。顔画像５００は、運転手を正面から撮像したものであり、本実施例では、後述するように照射方向検知手段３２０が外部光の照射方向を特定するため、顔画像エリアを複数の領域に分割する。図６（Ａ）は、外部光の照射方向を９方向で判定するために顔画像エリアが行列方向にＡ〜Ｉの９つ（３行×３列）の領域に分割された例であり、図６（Ｂ）は、外部光の照射方向を８方向で判定するために顔画像エリアが中心から半径方向にＡ〜Ｈの８つに均等に分割された例である。外部光の各照射方向に対する顔画像の領域区分けは、予め設定されるが、ユーザが設定を変更することもできる。

照射方向検知手段３２０は、顔画像取得手段３００から運転手の顔画像を受け取ると、輪郭抽出技術やパターン認識技術などを用いて図６に示すような顔領域５０２を抽出する（Ｓ１０３）。そして、照射方向検知手段３２０は、抽出された顔領域５０２に基づき、照射光５０４の影響が特に強い位置を特定する（Ｓ１０４）。図６（Ａ）を参照すると、例えば、照射光５０４の影響が強い部位は、反射光も強いため、画像上では輝度が高くなる。このような現象を利用して、照射方向検知手段３２０は、複数の分割された領域の輝度を比較し、輝度が最も高い領域あるいは相対的に高い領域を照射光５０４の影響が強い部位として特定する。

こうして、照射方向検知手段３２０は、特定された照射光５０４の位置に応じて、外部光の照射方向を検知する（Ｓ１０５）。例えば、照射光５０４が領域Ａにあった場合、外部光は運転手の右上方から照射されていると判定される。また、照射光５０４が領域Ｂにあった場合、外部光は上方から照射されていると判定される。検知された照射方向は、それぞれ領域−Ｉに対応するため、照射方向検知手段３２０は、対応する領域情報を照射方向の検知結果として出力する。また、照射光５０４の位置が複数の領域、例えば、領域Ａと領域Ｂに跨った場合には、検知結果として領域情報Ａ，Ｂを出力することもできる。図６（Ｂ）の分割例を用いた場合も、同様に領域情報が検知結果として出力される。また、照射方向検知手段３２０は、特定した照射光５０４の領域に含まれる画像データから相対的に輝度が高い部分の色情報を検知することもできる。

さらに他の好ましい態様では、照射方向検知手段３２０は、顔画像の輝度情報に代えて、光センサ出力取得手段３１０で得られた情報を利用することで、外部光の照射方向を検知することができる。例えば、光センサが顔領域の上下左右の４方向に対応するように設置されている場合には、４つの光センサの出力レベルを比較し、受光レベルが最も高い光センサの方向を外部光の照射方向とすることができる。

さらに他の好ましい態様では、照射方向検知手段３２０は、顔画像の輝度情報と光センサの出力の双方を利用して外部光の照射方向の検知を行うことができる。例えば、光センサからの出力情報を、顔画像の輝度情報に重み付けすることで照射方向を検知するようにしてもよい。これにより、検知精度を高めることができる。

次に、照射方向変化判別手段３３０は、照射方向検知手段３２０によって出力された照射方向である領域情報を順次受け取り、その照射方向に変化があるか否かを判別する（Ｓ１０６）。照射方向に変化がない場合には、ステップＳ１０２に戻り、ステップＳ１０２ないしステップＳ１０５のルーチンが繰り返される。照射方向に変化があった場合には、照射方向変化判別手段３３０は、照射方向検知手段３２０により受け取った領域情報を仮想光源設定手段３４０に出力する。

次に、仮想光源設定手段３４０は、受け取った照射方向に対応する領域情報に基づき、仮想光源の位置を変更する（Ｓ１０７）。図７は、仮想光源の設定例を模式的に説明する図である。図７には、メータ表示部１１０と、車載カメラ４００から撮像された顔画像５００と、メータ表示部１１０から距離ｄの位置に仮定された仮想平面６００との空間関係が示されている。メータ表示部１１０側が車両前方であり、顔画像５００側が車両後方である。よって、顔画像５００は背面側からの視点で描かれている。仮想平面６００には、顔画像５００における領域情報Ａ−Ｉに対応するように、９つの仮想点ａ−ｉが設定されている。

仮想光源設定手段３４０は、これら仮想点ａ−ｉを基準として仮想光源の位置を変更する。例えば、現在、仮想光源が仮想点ｂに設定されていると仮定する。そして、仮想光源設定手段３４０が、照射方向に対応する領域情報Ｃを受け取ると、その領域情報Ｃに対応する仮想点ｃに仮想光源の位置を移動させる。このとき、仮想光源の位置をスムーズに移動させることで、オブジェクトに対する視覚効果をより自然に変化させることができる。また、仮想光源設定手段３４０は、視線検知手段３６０により取得された運転手の視線方向に応じて、仮想光源の位置を微調整することができる。

視覚効果反映手段３５０は、仮想光源設定手段３５０により変更された仮想光源位置に応じて、メータ表示部１１０に表示するグラフィック表示のオブジェクトに対して視覚効果を反映させる（Ｓ１０８）。これにより、メータ表示部１１０に映し出されるオブジェクトには、より現実的な光沢や質感、および陰影が演出される。

次に、本発明の第２の実施例について説明する。上記実施例では、運転者の視線方向が固定された状態で、照射方向を設定している。つまり、運転者の視線方向が、運転者の顔のほぼ中心に相当する領域Ｅにあることを前提としている。第２の実施例では、運転者の視線方向から仮想光源の位置を設定し、オブジェクトのリアルな画像を表示させる。図３（Ｂ）は、本発明の第２の実施例による車両用表示装置の制御部の機能ブロック図である。第２の実施例では、制御部１８０は、顔画像取得手段３００により取得された顔画像に基づき、運転手の視線方向を検知する視線検知手段３６０を備える。視線検知手段３６０は、公知の画像解析技術により、顔領域内の瞳を抽出しその動きまたは方向を検知する。視線検知手段３６０による検知結果が仮想光源設定手段３４０に提供され、仮想光源設定手段３４０は、検知された運転手の視線方向に応じて仮想光源の位置を設定する。これにより、運転手の顔の向きやその移動に伴う視線方向の変化があった場合にでも、メータ表示部１１０に表示されるオブジェクトに対する視覚効果がより自然なものになる。

図８に、第２の実施例によるオブジェクトに視覚効果反を与える動作フローを示す。なお、第２の実施例では、仮想光源設定手段３４０は、照射方向変化判別手段３３０による判別結果を用いずに、視線検知手段３６０により取得された運転手の視線方向に応じて仮想光源の位置を設定する。メータ表示部１１０によって各種計器が表現されたオブジェクトが表示され（Ｓ２０１）、顔画像取得手段３００によって顔画像が取得され（Ｓ２０２）、照射方向検知手段３２０は、取得された顔画像から図６に示すような顔領域を抽出する（Ｓ２０３）。次に、視線検知手段３６０は、顔領域に含まれる目の動きを抽出し、視線方向が図６（Ａ）に示す領域情報Ａ−Ｉのいずれに該当するかを判定することで、視線方向を検知する（Ｓ２０４）。検知された視線方向は、仮想光源設定手段３４０に提供され、仮想光源設定手段３４０は、視線方向に変化があるか否かを判定する（Ｓ２０５）。視線方向に変化があれば、仮想光源の位置を変更する（Ｓ２０６）。例えば、視線方向が領域ＢからＣへ変更されたならば、仮想光源設定手段３４０は、仮想点ｂを仮想点ｃに変更する。そして、視覚効果反映手段３５０は、３次元コンピュータグラフィックスによりオブジェクトに視覚効果を与えこれをメータ表示部１１０に表示させる（Ｓ２０７）。

なお、本発明は、第１の実施例と第２の実施例とを組み合わせるものであってもよい。第１の実施例によって決定された外部光の照射方向に基づく仮想点と、第２の実施例によって決定された視線方向に基づく仮想点とを比較し、両仮想点が一致すれば、仮想点を変更しないが、両仮想点が異なる場合には、その中間に仮想点を設定するようにしてもよい。例えば、照射方向の仮想点がｂであり、視線方向の仮想点がｃであるとき、仮想点ｂとｃとを連結する線分上の点、例えば１／２の点を仮想点にするようにしてもよい。

以上により、メータ表示部にグラフィック表示される各種計器等に、外部光に応じた視覚効果を反映させて表示することができ、ユーザーは、よりリアルで高級感のあるグラフィック表示から必要な情報を得ることができる。

上記実施例では、運転手の顔画像を取得するため１つの撮像カメラを用いた実施例を記載したが、これに限らず、複数の撮像カメラを用いてもよい。また、配置位置についてもコラムカバー上に限らず、運転手を正面から撮像できる位置であれば、フロントガラスの上部やバックミラーなどであってもよい。また、上記実施例では、外部光の照射方向を検知するため、運転手の顔画像を用いたが、これに限らず、その他、対象物体の画像を用いてもよい。

上記実施例では、仮想光源の位置を仮想平面に配列された仮想点を基準に変更したが、これに限らす、仮想曲面や３次元状の仮想空間などに配列された仮想点を設定してもよい。

本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された発明の要旨の範囲において、種々の変形・変更が可能である。

１０：車両用表示装置１００：計測データ取得部
１１０：メータ表示部１３０：画像取得部
１６０：記憶部１８０：制御部
３００：顔画像取得手段３１０：光センサ出力取得手段
３２０：照射方向検知手段３３０：照射方向変化判別手段
３４０：仮想光源設定手段３５０：視覚効果反映手段
３６０：視線検知手段４００：車載カメラ
５００：顔画像５０２：顔領域
６００：仮想平面

Claims

仮想的な立体の計器を含むオブジェクトの画像データをグラフィック表示する車両用表示装置であって、
前記オブジェクトの画像データを表示する表示手段と、
車内空間において外部光の照射方向を検知する検知手段と、
前記照射方向の検知結果に基づき、前記オブジェクトに対する仮想光源の位置を設定する仮想光源設定手段と、
前記仮想光源の設定に応じて、前記オブジェクトの画像データに視覚効果を反映させる視覚効果反映手段と、
を有する、車両用表示装置。
前記検知手段は、運転手の顔を撮像するカメラを含み、前記カメラで撮像された撮像データに含まれる顔画像の輝度情報に基づき外部光の照射方向を決定する、請求項１に記載の車両用表示装置。
前記検知手段は、前記顔画像を複数の領域に分割し、複数の領域の中から輝度情報が最も高い領域を照射方向に対応する領域として選択する、請求項２に記載の車両用表示装置。
前記検知手段は、前記顔画像から運転手の視線方向を検知する視線検知手段を含み、前記仮想光源設定手段は、検知された視線方向に応じて、仮想光源の位置を設定する、請求項２に記載の車両用表示装置。
前記検知手段は、外部光の色情報を検出する色情報検出手段を含み、前記視覚効果反映手段は、前記色情報に応じてオブジェクトの画像データに視覚効果を与える、請求項１に記載の車両用表示装置。
前記検知手段は、車内の各方向に対応して配置された複数の光学センサを含み、複数の光学センサの出力に基づき外部光の照射方向を検知する、請求項１に記載の車両用表示装置。