JP2019162932A - 画像表示装置、移動体、画像表示方法およびプログラム - Google Patents

Abstract

【課題】移動体の走行中の背景の変化に対してＨＵＤ装置などの表示装置の視認性を高く保つ。【解決手段】表示画像を表示する表示手段を備えた画像表示装置において、前記表示画像に重畳していない非背景領域の色または明るさの少なくとも何れか一方に係る情報を検出する検出手段と、前記検出手段で検出した非背景領域の色または明るさの少なくとも何れか一方に係る情報をもとに、前記表示画像の表示を変換する変換手段と、を備える。【選択図】図９

Description

本発明は、画像表示装置、移動体、画像表示方法およびプログラムに関する。

従来、車載のＨＵＤ（Head Up Display）装置において、表示画像の視認性をいかに向上させるかが大きな課題となっている。車載のＨＵＤ装置では、表示画像光をコンバイナ等により反射させて虚像を生成し、生成した虚像を運転者が視認する。このとき、虚像を透かして路面などの背景が表示画像に重なるため、ＨＵＤ装置の表示画像の背景は走行中に大きく変化する。このように虚像に重畳する背景の輝度や色域が大きく変化する場合、背景輝度や背景色によってＨＵＤ装置の視認性は大きく変化することになるので、背景によっては視認性が著しく低下する。

また、特許文献１には、車のガラスの外側の背景色又は背景照度を検出し、検出された背景色又は背景照度に応じて表示色を決定し、決定された表示色で虚像を表示するように光源からの有色光を制御する技術が開示されている。

しかしながら、従来の技術によれば、走行中の車などの移動体に表示される表示画像の背景の変化に対して、常に表示画像の視認性を高く保つことが困難であるという問題があった。

本発明は、上記に鑑みてなされたものであって、移動体の走行中の背景の変化に対してＨＵＤ装置などの表示装置の視認性を高く保つことを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、表示画像を表示する表示手段を備えた画像表示装置において、前記表示画像に重畳していない非背景領域の色または明るさの少なくとも何れか一方に係る情報を検出する検出手段と、前記検出手段で検出した非背景領域の色または明るさの少なくとも何れか一方に係る情報をもとに、前記表示画像の表示を変換する変換手段と、を備えることを特徴とする。ここでいう明るさには、輝度、照度、光度、全光束ならびにそれらの測定結果をもとに算出される値を含む。

本発明によれば、移動体の走行中の背景の変化に対して表示装置の視認性を高く保つことができる、という効果を奏する。

図１は、実施の形態にかかる自動車用ＨＵＤ装置における表示エリアに表示される虚像の一例を示す正面図である。 図２は、自動車用ＨＵＤ装置を搭載した自動車の構成を模式的に示す一部破断の模式側面図である。 図３は、自動車用ＨＵＤ装置の光学系の内部構成を模式的に示すブロック図である。 図４は、自動車用ＨＵＤ装置の制御系の内部構成を示すブロック図である。 図５は、自動車用ＨＵＤ装置及び周辺装置の概略構成を示すブロック図である。 図６は、背景色域の取得と画像の色変換との関係を示す図である。 図７は、自動車用ＨＵＤ装置における画像表示にかかる機能を示す機能ブロックである。 図８は、画像表示処理の流れを概略的に示すフローチャートである。 図９は、色情報取得範囲の一例を示す図である。 図１０は、色情報取得範囲の別の一例を示す図である。 図１１は、色情報取得範囲の別の一例を示す図である。 図１２は、色情報取得範囲の別の一例を示す図である。 図１３は、色変換処理の一例を示す図である。 図１４は、色変換処理の別の一例を示す図である。 図１５は、色変換処理の別の一例を示す図である。 図１６は、色変換処理の効果を示す図である。 図１７は、自動車用ＨＵＤ装置を搭載した自動車の構成を模式的に示す一部破断の模式側面図である。

以下に添付図面を参照して、画像表示装置、移動体、画像表示方法およびプログラムの実施の形態を詳細に説明する。

図１は、実施の形態にかかる自動車用ＨＵＤ装置２００における表示エリアに表示される虚像の一例を示す正面図である。図１に示す虚像は、フロントガラス３０２越しに運転者３００から見る自車両３０１の前方風景に重ねて表示エリアに表示される虚像の一例である。また、図２は自動車用ＨＵＤ装置２００を搭載した自動車の構成を模式的に示す一部破断の模式側面図である。

図２において、画像表示装置である自動車用ＨＵＤ装置２００は、例えば、移動体としての走行体である自車両３０１のダッシュボード内に設置される。ダッシュボード内の自動車用ＨＵＤ装置２００から発せられる画像光である投射光Ｌが光透過部材としてのフロントガラス３０２で反射され、視認者である運転者３００に向かう。これにより、運転者３００は、後述するナビゲーション画像等のＨＵＤ表示画像を虚像Ｇとして視認することができる。なお、フロントガラス３０２の内壁面に光透過部材としてのコンバイナを設置し、コンバイナによって反射する投射光Ｌによって運転者に虚像を視認させるように構成してもよい。

フロントガラス３０２の上部に、ＨＵＤ装置２００の表示情報及びその背景画像を含む前方画像をフロントガラス３０２越しに撮影する前方撮影用カメラ１１０、表示画像の周囲にある環境光の明るさ及び色度を検出する環境光センサ１５０が設けられる。ここでいう明るさには、輝度、照度、光度、全光束ならびにそれらの測定結果をもとに算出される値を含む。

本実施形態においては、運転者３００から虚像Ｇまでの距離が４ｍ以上となるように、自動車用ＨＵＤ装置２００の光学系等が構成されている。従来の一般的な自動車用ＨＵＤ装置は、運転者３００から虚像Ｇまでの距離が２ｍ程度であった。運転者３００は、通常、車両前方の無限遠点を注視しているか、数十ｍ先の先行車を注視している。このような遠方に焦点を合わせている運転者３００が２ｍ先の虚像Ｇを視認しようとする場合、焦点距離が大きく異なるので、眼球の水晶体を大きく動かす必要がある。そのため、虚像Ｇに焦点を合わせるまでの焦点調整時間が長くなり、虚像Ｇの内容を認識するまでに時間がかかるうえ、運転者３００の眼球が疲労しやすいという不具合が生じる。また、虚像Ｇの内容に運転者が気付きにくく、虚像Ｇによって情報を運転者へ適切に提供することが困難である。

本実施形態のように虚像Ｇまでの距離が４ｍ以上であれば、従来よりも、眼球の水晶体を動かす量が減り、虚像Ｇへの焦点調整時間を短縮して虚像Ｇの内容を早期に認識できるようになり、また運転者３００の眼球の疲労を軽減することができる。更には、虚像Ｇの内容に運転者が気付きやすくなり、虚像Ｇによって情報を運転者へ適切に提供することが容易になる。虚像Ｇまでの距離が４ｍ以上であれば、眼球をほとんど輻輳運動させることなく虚像Ｇに焦点を合わせることができる。したがって、運動視差を利用して距離感（知覚距離の変化）や奥行き感（知覚距離の違い）を知覚させる効果が眼球の輻輳運動によって薄まってしまうことが抑制される。よって、画像の距離感や奥行き感を利用した運転者の情報知覚効果を有効に発揮させることができる。

ここで、図３は自動車用ＨＵＤ装置２００の光学系の内部構成を模式的に示すブロック図である。図３に示すように、ＨＵＤ装置２００は、光学系２３０内に、赤色、緑色、青色のレーザ光源２０１Ｒ，２０１Ｇ，２０１Ｂと、各レーザ光源に対して設けられるコリメータレンズ２０２，２０３，２０４と、２つのダイクロイックミラー２０５，２０６とを備える。ＨＵＤ装置２００はさらに、光量調整部２０７と、光走査手段としての光走査装置２０８と、自由曲面ミラー２０９と、光発散部材としてのマイクロレンズアレイ２１０と、光反射部材としての投射ミラー２１１とから構成されている。本実施形態に係る光源ユニット２２０は、レーザ光源２０１Ｒ，２０１Ｇ，２０１Ｂ、コリメータレンズ２０２，２０３，２０４、ダイクロイックミラー２０５，２０６が、光学ハウジングによってユニット化されている。

レーザ光源２０１Ｒ，２０１Ｇ，２０１ＢとしてはＬＤ（半導体レーザ素子）を利用することができる。赤色レーザ光源２０１Ｒから射出される光束の波長は例えば６４０ｎｍであり、緑色レーザ光源２０１Ｇから射出される光束の波長は例えば５３０ｎｍであり、青色レーザ光源２０１Ｂから射出される光束の波長は例えば４４５ｎｍである。

自動車用ＨＵＤ装置２００は、マイクロレンズアレイ２１０上に結像される中間像を自車両３０１のフロントガラス３０２に投射することで、その中間像の拡大画像を運転者３００に虚像Ｇとして視認させる。レーザ光源２０１Ｒ，２０１Ｇ，２０１Ｂから発せられる各色レーザ光は、それぞれ、コリメータレンズ２０２，２０３，２０４で略平行光とされ、２つのダイクロイックミラー２０５，２０６により合成される。合成されたレーザ光は、光量調整部２０７で光量が調整された後、光走査装置２０８のミラーによって二次元走査される。光走査装置２０８で二次元走査された走査光Ｌ’は、自由曲面ミラー２０９で反射されて歪みを補正された後、マイクロレンズアレイ２１０に集光され、中間像を描画する。

なお、本実施形態では、中間像の画素（中間像の一点）ごとの光束を個別に発散させて出射する光発散部材として、マイクロレンズアレイ２１０を用いているが、他の光発散部材を用いてもよい。また、中間像Ｇ’の形成方法としては、液晶ディスプレイ（ＬＣＤ）や蛍光表示管（ＶＦＤ）を利用した方式でもよい。ただし、大きな虚像Ｇを高い輝度で表示させるには、本実施形態のようにレーザ走査方式が好ましい。

また、液晶ディスプレイ（ＬＣＤ）や蛍光表示管（ＶＦＤ）などを利用した方式では、虚像Ｇが表示される表示領域内の非画像部分にも僅かながら光が照射され、これを完全に遮断することが難しい。そのため、当該非画像部分を通じた自車両３０１の前方風景の視認性が悪いというデメリットがある。これに対し、本実施形態のようにレーザ走査方式によれば、虚像Ｇの表示領域内の非画像部分については、レーザ光源２０１Ｒ，２０１Ｇ，２０１Ｂを消灯させることにより当該非画像部分に光が照射されるのを完全に遮断することができる。よって、当該非画像部分を通じた自車両３０１の前方風景の視認性が自動車用ＨＵＤ装置２００から照射される光によって低下する事態を回避でき、前方風景の視認性が高いというメリットがある。

更に、運転者に警告等を行うための警告画像の輝度を段階的に高めることで警告の度合いを強めるような場合、表示エリア７００内に表示されている各種画像のうちの警告画像の輝度だけを段階的に高めるという表示制御が必要になる。このように表示エリア７００内の一部画像について部分的に輝度を高めるような表示制御を行う場合も、レーザ走査方式が好適である。液晶ディスプレイ（ＬＣＤ）や蛍光表示管（ＶＦＤ）などを利用した方式では、表示エリア７００内に表示されている警告画像以外の画像についても輝度が高まってしまう。そのため、警告画像とそれ以外の画像との間の輝度差を広げることができず、警告画像の輝度を段階的に高めることで警告の度合いを強めるという効果が十分に得られないからである。

光走査装置２０８は、ＭＥＭＳ（Micro Electro Mechanical Systems）等の公知のアクチュエータ駆動システムでミラーを主走査方向及び副走査方向に傾斜動作させ、ミラーに入射するレーザ光を二次元走査（ラスタスキャン）する。ミラーの駆動制御は、レーザ光源２０１Ｒ，２０１Ｇ，２０１Ｂの発光タイミングに同期して行われる。光走査装置２０８は、本実施形態の構成に限らず、例えば、互いに直交する２つの軸回りをそれぞれ揺動あるいは回動する２つのミラーからなるミラー系で構成してもよい。

図４は、自動車用ＨＵＤ装置２００の制御系２５０の内部構成を示すブロック図である。図４において、自動車用ＨＵＤ装置２００の制御系は、ＦＰＧＡ２５１、ＣＰＵ２５２、ＲＯＭ２５３、ＲＡＭ２５４、インターフェイス（以下、Ｉ／Ｆという）２５５、バスライン２５６、ＬＤドライバ２５７、ＭＥＭＳコントローラ２５８を備えている。

ＦＰＧＡ２５１は、ＬＤドライバ２５７により、光源ユニット２２０のレーザ光源２０１Ｒ，２０１Ｇ，２０１Ｂを動作制御し、ＭＥＭＳコントローラ２５８により、光走査装置２０８のＭＥＭＳ２０８ａを動作制御する。

ＣＰＵ２５２は、自動車用ＨＵＤ装置２００の各機能を制御する。ＲＯＭ２５３は、ＣＰＵ２５２が自動車用ＨＵＤ装置２００の各機能を制御するために実行する画像処理用プログラム等の各種プログラムを記憶している。ＲＡＭ２５４はＣＰＵ２５２のワークエリアとして使用される。

本実施の形態の自動車用ＨＵＤ装置２００で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、本実施形態の自動車用ＨＵＤ装置２００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の自動車用ＨＵＤ装置２００で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

また、本実施形態の自動車用ＨＵＤ装置２００で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

Ｉ／Ｆ２５５は、外部コントローラ等と通信するためのインターフェイスであり、例えば、自車両３０１のＣＡＮ（Controller Area Network）を介して、車両ナビゲーション装置４００、各種センサ装置５００等に接続される。また、Ｉ／Ｆ２５５には、自動車用ＨＵＤ装置２００の表示情報及びその背景画像を含む前方画像をフロントガラス３０２越しに撮影する前方撮影用カメラ１１０が接続される。Ｉ／Ｆ２５５には、環境光の明るさ及び色度を検出する環境光センサ１５０が接続される。

制御系２５０は、詳細後述するように、本発明に係る表示画像の色変換処理を実行することで、ＨＵＤ装置２００により表示される表示画像の色を変換することを特徴とする。

図５は、自動車用ＨＵＤ装置２００及び周辺装置の概略構成を示すブロック図である。本実施形態においては、虚像Ｇによって運転者へ提供する運転者提供情報を取得する情報取得手段として、車両ナビゲーション装置４００、センサ装置５００などが設けられている。自動車用ＨＵＤ装置２００は、主に、表示手段としての画像光投射手段を構成する光学系２３０と、表示制御手段としての制御系２５０とから構成される。

本実施形態に係る車両ナビゲーション装置４００は、自動車等に搭載される公知の車両ナビゲーション装置を広く利用することができる。車両ナビゲーション装置４００からは、虚像Ｇに表示させるルートナビゲーション画像を生成するために必要な情報が出力され、この情報は制御系２５０に入力される。例えば、図１に示すように、自車両３０１が走行している道路の車線（走行レーン）の数、次に進路変更（右折、左折、分岐等）すべき地点までの距離、次に進路変更する方向などの情報を示す画像が含まれている。これらの情報が車両ナビゲーション装置４００から制御系２５０に入力される。これにより、制御系２５０の制御の下、自動車用ＨＵＤ装置２００によって以下のように表示される。すなわち、走行レーン指示画像７１１、車間距離提示画像７１２、進路指定画像７２１、残り距離画像７２２、交差点等名称画像７２３などのナビゲーション画像が表示エリア７００の上段表示領域Ａに表示される。

また、図１に示した画像例では、表示エリア７００の下段表示領域Ｂに、道路の固有情報（道路名、制限速度等）を示す画像が表示される。この道路の固有情報も、車両ナビゲーション装置４００から制御系２５０に入力される。制御系２５０は、当該道路固有情報に対応する道路名表示画像７０１、制限速度表示画像７０２、追い越し禁止表示画像７０３等を、自動車用ＨＵＤ装置２００によって表示エリア７００の下段表示領域Ｂに表示させる。

図５のセンサ装置５００は、自車両３０１の挙動、自車両３０１の状態、自車両３０１の周囲の状況などを示す各種情報を検出するための１又は２以上のセンサで構成されている。センサ装置５００からは、虚像Ｇとして表示させる画像を生成するために必要なセンシング情報が出力され、このセンシング情報は制御系２５０に入力される。例えば、図１に示した画像例には、自車両３０１の車速を示す車速表示画像７０４（図１では、「８３ｋｍ／ｈ」という文字画像）を、表示エリア７００の下段表示領域Ｂに表示させる。そのため、自車両３０１のＣＡＮ情報に含まれる車速情報がセンサ装置５００から制御系２５０に入力され、制御系２５０の制御の下、自動車用ＨＵＤ装置２００によって当該車速を示す文字画像が表示エリア７００の下段表示領域Ｂに表示される。

センサ装置５００は、自車両３０１の車速を検出するセンサ以外にも、例えば、
（１）自車両３０１の周囲（前方、側方、後方）に存在する他車両、歩行者、建造物（ガードレールや電柱等）との距離を検出するレーザレーダ装置や撮像装置、自車両の外部環境情報（外気温、明るさ、天候等）を検出するためのセンサ、
（２）運転者３００の運転動作（ブレーキ走査、アクセル開閉度等）を検出するためのセンサ、
（３）自車両３０１の燃料タンク内の燃料残量を検出するためのセンサ、
（４）エンジンやバッテリー等の各種車載機器の状態を検出するセンサ
などが挙げられる。このような情報をセンサ装置５００で検出して制御系２５０へ送ることで、それらの情報を虚像Ｇとして自動車用ＨＵＤ装置２００により表示して運転者３００へ提供することができる。

次に、自動車用ＨＵＤ装置２００によって表示される虚像Ｇについて説明する。本実施形態における自動車用ＨＵＤ装置２００において、虚像Ｇによって運転者３００へ提供する運転者提供情報は、運転者３００にとって有用な情報であればどのような情報であってもよい。本実施形態では、運転者提供情報を受動情報と能動情報とに大別している。

受動情報とは、所定の情報提供条件が満たされたタイミングで運転者３００によって受動的に認知される情報である。したがって、自動車用ＨＵＤ装置２００の設定タイミングで運転者３００へ提供される情報は受動情報に含まれ、また、情報が提供されるタイミングと情報の内容との間に一定の関係性をもつ情報が受動情報に含まれる。受動情報としては、例えば、運転時の安全性に関わる情報、ルートナビゲーション情報などが挙げられる。運転時の安全性に関わる情報として、自車両３０１と先行車両３５０との車間距離情報（車間距離提示画像７１２）、運転に関わる緊急性のある情報（運転者に緊急操作を指示する緊急操作指示情報などの警告情報あるいは注意喚起情報等）などがある。また、ルートナビゲーション情報は、予め設定された目的地までの走行ルートを案内するための情報であり、公知の車両ナビゲーション装置によって運転者へ提供されるものである。ルートナビゲーション情報としては、直近の交差点で走行すべき走行レーンを指示する走行レーン指示情報（走行レーン指示画像７１１）や、次に直進方向から進路変更すべき交差点や分岐点での進路変更操作を指示する進路変更操作指示情報などが挙げられる。進路変更操作指示情報として、交差点等においていずれの進路をとるべきかの進路指定を行う進路指定情報（進路指定画像７２１）、進路変更操作を行う交差点等までの残り距離情報（残り距離画像７２２）、交差点等の名称情報（交差点等名称画像７２３）がある。

能動情報とは、運転者自らが決めるタイミングで運転者３００によって能動的に認知される情報である。能動情報は、運転者３００の希望するタイミングで運転者へ提供されれば十分な情報であり、例えば、情報が提供されるタイミングと情報の内容との間の関係性が低い又は無いような情報は、能動情報に含まれる。能動情報は、運転者３００の希望するタイミングで運転者３００が取得する情報であることから、ある程度の長い期間あるいは常時、表示され続けるような情報である。例えば、自車両３０１が走行している道路の固有情報、自車両３０１の車速情報（車速表示画像７０４）、現在時刻情報などが挙げられる。道路の固有情報としては、例えば、その道路名情報（道路名表示画像７０１）、その道路の制限速度等の規制内容情報（制限速度表示画像７０２、追い越し禁止表示画像７０３）、その他当該道路に関わる情報として運転者３００にとって有用なものが挙げられる。

本実施形態では、このようにして大別される受動情報と能動情報を、虚像Ｇを表示可能な表示エリア７００内のそれぞれ対応する表示領域に表示させる。具体的には、本実施形態では、表示エリア７００を上下方向に２つの表示領域に区分し、そのうちの上段表示領域Ａには主に受動情報に対応する受動情報画像を表示し、下段表示領域Ｂには主に能動情報に対応する能動情報画像を表示する。なお、能動情報画像の一部を上段表示領域Ａに表示させる場合には、上段表示領域Ａに表示される受動情報画像の視認性を優先するように能動情報画像を表示する。

また、本実施形態においては、表示エリア７００に表示される虚像Ｇとして、立体視を用いて表現された立体視画像を用いている。具体的には、表示エリア７００の上段表示領域Ａに表示される車間距離提示画像７１２及び走行レーン指示画像７１１として、遠近法により表現される遠近法画像を用いている。

詳しくは、車間距離提示画像７１２を構成する５本の横線の長さを上側に向かうほど短くなるようにして、車間距離提示画像７１２を１つの消失点に向かうように透視図法により作図された遠近法画像としている。特に、本実施形態では、その消失点が運転者３００の注視点近傍に定まるように車間距離提示画像７１２が表示されることから、運転中の運転者３００に車間距離提示画像７１２の奥行き感を知覚させやすい。また、本実施形態では、更に、横線の太さが上側に向かうほど細くしたり、横線の輝度が上側に向かうほど低くなったりするようにした遠近法画像としている。これによって、運転中の運転者３００には、車間距離提示画像７１２の奥行き感を更に知覚させやすくなる。

次に、自動車用ＨＵＤ装置２００の制御系２５０がプログラムを実行することにより発揮する機能のうち、自動車用ＨＵＤ装置２００が有する特徴的な機能について説明する。

従来技術では、ＨＵＤ装置の表示画像の背景にあたる領域の二次元分布の情報を利用して背景光の色域座標領域の情報を取得する。しかしながら、従来技術によれば、背景色域の取得と画像の色変換の間のタイムラグを考慮していないため、速度や進行方向などの車両の走行による背景光の変化への対応が難しく、背景情報の取得や表示画像の色変換に使用するデバイスの性能への要求が高くなったり、表示の色変換が運転者の見ている背景に対してリアルタイム性が悪くなったりするという問題がある。

図６は、背景色域の取得と画像の色変換との関係を示す図である。図６に示すように、本実施の形態の自動車用ＨＵＤ装置２００では、走行中の車両の移動に伴う表示背景の時間変化に対して、表示画像の背景にあたる領域ではなく背景外の任意の位置の二次元分布を取得し、その色域座標領域の情報を取得する。これにより、色変換時の運転者の視認する実際の背景色域と色補正に使用する背景色域のずれを解消し、二次元分布の検出と表示の色変換の間にタイムラグがあっても、走行中の車両の著しい背景の変化において表示の視認性に確保できる。加えて、デバイスによる遅延が相殺されるため、二次元分布の検出や、色度座標領域の作成、色変換など本実施の形態の自動車用ＨＵＤ装置２００におけるデバイスにより低廉なデバイスを使用することができる。

ここで、図７は自動車用ＨＵＤ装置２００における画像表示にかかる機能を示す機能ブロック図、図８は画像表示処理の流れを概略的に示すフローチャートである。

図７に示すように、自動車用ＨＵＤ装置２００の制御系２５０は、画像表示にかかる機能部として、検出手段１０１と、変換手段１０２と、を備えている。

検出手段１０１は、表示画像に重畳していない非背景領域の色または明るさの少なくとも何れか一方に係る情報を検出する。より詳細には、検出手段１０１は、非背景領域の二次元分布を検出する。ここでいう明るさには、輝度、照度、光度、全光束ならびにそれらの測定結果をもとに算出される値を含む。

変換手段１０２は、検出手段１０１で検出した非背景領域の色または明るさの少なくとも何れか一方に係る情報をもとに、表示画像の表示を変換する。より詳細には、変換手段１０２は、検出した二次元分布から非背景領域における色度座標領域を決定し、表示画像の色度が色度座標領域内に含まれる場合に、表示画像の色度を、色度座標領域の外側の領域の色度に色変換する。

図８に示すように、まず、検出手段１０１は、非背景領域の二次元分布を検出する（ステップＳ１）。

ここで、図９は色情報取得範囲の一例を示す図である。図６からも分かるように、非背景領域において色変換時に運転者の視認する背景領域は、走行体の移動によって変化する。移動に合わせて取得範囲を変更しても良いが、この場合、検出器側にアクチュエータなど駆動系が必要となる。そのため、図９に示すように、二次元分布の検出と色度座標領域の作成の範囲を十分に広くする方が良い。すなわち、変換手段１０２は、非背景領域と背景領域の両者を含む領域の二次元分布を検出する。

次いで、変換手段１０２は、背景光色度座標領域を決定する（ステップＳ２）。

また、図１０は色情報取得範囲の別の一例を示す図である。図１０に示すように、色変換に使用する色度座標領域として、検出した二次元分布の内から任意の範囲のみの色情報を使用して作成しても良い。二次元分布の検出範囲は、検出するデバイスの性能によっては、どのタイミングにも表示画像と重畳しない領域が含まれる場合があり、任意の範囲のみを選択して色度座標領域を作成することで、過剰に表示色を制限することが回避できる。加えて、デバイス間でやり取りする情報量を小さく出来るため、各デバイスの容量を低減できるためデバイスの低廉化につながる。検出範囲の絞り方は、二次元分布の検出時に、検出範囲外にゲインを掛けても良いし、色変換に使用する色度座標領域を作成する際に検出範囲外の情報を落としても良く、検出範囲の絞り方を制限するものでは無い。

さらに、図１１は色情報取得範囲の別の一例を示す図である。図１１に示すように、表示色を変換するタイミングでの背景領域は、走行体の速度および二次元分布の検出から色変換までの遅延時間により変化するため、速度とデバイス性能に合わせて、二次元分布を検出した範囲からさらに色情報の取得範囲を絞ることも可能である。これにより、さらにデバイスの低廉化が見込める。図１１（ａ）は走行体が低速の場合を示し、図１１（ｂ）は高速の場合を示している。高速の場合の方が色情報の取得範囲がＨＵＤ表示範囲から遠いことが分かる。

さらにまた、図１２は色情報取得範囲の別の一例を示す図である。図１２に示すように、車両の進行方向が変化する場合には、ステアリングやギアなどの車両の進行方向に係わる情報を取得して、色度座標領域の取得範囲を変更することができる。図１２（ａ）は走行体が右折する場合の例を示し、図１２（ｂ）は左折する場合の例を示している。両者ともに進行方向に色情報取得範囲がシフトしていることが分かる。これにより、方向転換の差に著しい背景の変化にも視認性のロバスト性を確保することができる。

次いで、変換手段１０２は、表示画像の色度座標が背景色度座標領域内に含まれるかを判定する（ステップＳ３）。変換手段１０２は、表示画像の色度座標が背景色度座標領域内に含まれないと判定した場合（ステップＳ３のＮｏ）、ステップＳ５に進み、表示画像をそのまま表示する。

一方、変換手段１０２は、表示画像の色度座標が背景色度座標領域内に含まれると判定した場合（ステップＳ３のＹｅｓ）、色変換処理を実行して（ステップＳ４）、色変換処理後の画像を表示する（ステップＳ５）。

ここで、図１３は色変換処理の一例を示す図である。なお、本明細書において、小文字のｘｙは色度座標を意味し、大文字のＸＹＺは三刺激値の強度を意味する。図１３（ａ）の色度図に示すように、検出した各領域の二次元分布からそれぞれ任意の画素範囲における色度座標点を抽出し、その色度度座標点を包括する色度座標領域を決定し背景光の色度座標領域として色変換に使用する。なお、包括する色度座標領域の作成方法は図中では凸包を使用したが、任意の定義で作成して良い。

ここで、各色度座標点は検出手段１１０により撮影した非背景領域の二次元分布画像を用いて、この画像の任意の画素単位ごとＲＧＢ値を求める。任意の画素単位とは単一の画素でも良いし，複数の画素で良い。単一画素の場合ＲＧＢ値は画素出力のままで良い。複数画素の場合，ＲＧＢ値の導出方法は、任意の範囲に含まれる全画素の値の和をとり、任意の範囲に含まれる画素数ｎで除算し、各ＲＧＢ値の平均値Ｒａｖｅ，Ｇａｖｅ，Ｂａｖｅを算出する。
Ｒａｖｅ＝ΣＲ／ｎ
Ｇａｖｅ＝ΣＧ／ｎ
Ｂａｖｅ＝ΣＢ／ｎ
・・・（１）
取得した二次元分布中の任意の色度座標点を（ｘa，ｙa）とすると，ｘa，ｙaはそれぞれ得られた各ＲＧＢ値を、次式を用いて色度座標に変換して得られる。
ｘｗ＝Ｘｗ／（Ｘｗ＋Ｙｗ＋Ｚｗ）
ｙｗ＝Ｙｃ／（Ｘｗ＋Ｙｗ＋Ｚｗ）
・・・（２）
Ｘｗ＝０．４１２４Ｒａｖｅ＋０．３５７６Ｇａｖｅ＋０．１８０５Ｂａｖｅ
Ｙｗ＝０．２１２６Ｒａｖｅ＋０．７１５２Ｇａｖｅ＋０．０７２２Ｂａｖｅ
Ｚｗ＝０．０１９３Ｒａｖｅ＋０．１１９２Ｇａｖｅ＋０．９５０５Ｂａｖｅ
・・・（３）
（３）式は一例として、取得画像のＲＧＢ値の形式がsＲＧＢの場合を示したが、表示画像が他の形式の色空間で記載されている場合には、それに応じた色変換を実施し、（ｘa，ｙa）を求める。

色変換では、図１３（ｂ）の色度図に示すように、色変換前の表示色の色度座標Ｃが、色変換に使用する色度座標領域に含まれる場合に、色度座標領域外になるように色度座標慮域Ｃ＊に表示色を変更する。

また、図１４は色変換処理の別の一例を示す図である。検出した二次元分布から表示範囲よりも広範囲の色度座標領域を背景色度領域として使用することも可能である。図１４（ａ）に示すように、広範囲に検出した二次元分布を複数の領域に分割し、各領域の色度座標領域を取得することも考えられる。図１４（ｂ）に示すように、例えば速度と色変換のタイミングに合わせて、分割して取得した背景光の色度座標領域を選択することで、色変換の複数フレーム分の背景色度領域を1度の二次元分布の検出から作成することができる。これにより、二次元分布の検出のフレームレートを減らすことができる。

また、図１４（ｃ）に示すように、例えばステアリングなどの走行体の進行方向に係わる情報に合わせて、分割して取得した背景光の色度座標領域から、色変換に使用する背景光の色度座標領域を各領域の色度座標領域から選択することで、進行方向の変更による著しい背景の変化に対しても、表示の視認性を一定に保つことができる。

さらに、図１４（ｄ）に示すように、色変換に使用する背景光の色度座標領域を、分割した領域全てまたはその一部で取得した色度座標で共通する範囲とすることも可能である。これにより、取得によるばらつきやノイズを抑えて安定して背景光の色度座標領域を取得できる上に、色変換のフレームレートを落とすことができる。

なお、図１４で示した領域の分割は一例であり、これに限るものではない。

さらにまた、図１５は色変換処理の別の一例を示す図である。図１５（ａ）に示すように、色変換の方向は、例えば白色などの基準となる座標点と変換前の表示色の座標で決められるベクトルの方向に色度座標が変化するように色変換する方法がある。この場合、色変換前の表示色のベクトル方向と、危険や警告を示す色のベクトル方向とが重ならないように注意が必要である。同様に、色変換において予め設定された運転者の視覚特性に対して、認識に優位だと考えられる色方向を設定してその方向に色変換をすることも考えられる。

色変換の移動量では、例えば、図１５（ｂ）に示すように、色変換に使用する色度領域の外接円を作成し、その半径を移動量と置いても良い。また、図１５（ｃ）に示すように、色度座標領域から一定量のΔ以上離れるように変換しても良い。これらの場合、図１５（ｄ）に示すように、変換量にΔ分上乗せするのではなく、色変換に使用する背景光の座標領域を予め、取得した範囲より広げるという処理を追加しても良い。図１５（ｄ）では、Δを全方位で一定としたが、色空間の歪みを含めて、外周方向に対してΔを変えることも考えられる。

ここで、図１６は色変換処理の効果を示す図である。色変換前の表示色は、図１６（ａ）に示すように、表示画像を透過して常に背景も一緒に視認される自動車用ＨＵＤ装置においては、重畳する背景光の影響により、視認される表示色の色度座標は設定値ＣからＣ’へとシフトする。このシフトにより、色変換前後での表示色にずれが生じるため、色変換後の視認性が確認できない可能性がある。

これに対し、本実施の形態の自動車用ＨＵＤ装置２００では、実際に視認される表示色Ｃ’を色変換前の表示色の色度とすることが可能である。そのため、より精度良く色変換後の表示色の色度を推定することが可能になる。

実際に視認される表示色の色度Ｃ’は、路面などの代表的な走行中の背景光を含めた表示色を予め実測しても良いし、色変換のために取得した背景色度座標領域と設定の表示色の色度から推定しても良い。推定において使用する設定の表示色の色度座標点Ｃは、予め実測した値でも良いし、ＬＤ特性や動作環境に係わる情報（物理量）から計算しても良い。

また、図１６（ａ）においては、Ｃ’は背景色度座標領域の重心と表示色の色度座標点Ｃとの中心にしている。図１６（ｂ）に示すように、背景光と表示画像の輝度比に係わる情報により、背景光色度座標領域の重心座標とＣ’の距離、設定表示色の色度座標点ＣとＣ’の距離を変更しても良い。

注意や危険の意匠など、表示色の色相に意味を持たせたコンテンツにおいては、表示色の色度座標が背景光の色度座標領域に含まれない場合であっても、背景光と重畳することによって色相が変化する場合は色変換を行う必要がある。この場合、表示コンテンツによっては、色度座標中の任意の範囲を指定し、その範囲を出た場合に色変換を行う必要がある。

このように本実施の形態によれば、表示の変換に使用する色情報の取得を、任意の背景外領域を選択して取得するので、背景情報の取得、色変換に使用するデバイスの性能、車両の走行状態に寄らず、ＨＵＤ装置などの表示装置の視認性を高く保つことができる。

なお、本実施の形態においては、画像表示装置として自動車用ＨＵＤ装置２００に適用した例について説明しているが、これに限るものではなく、その他の車両又はその他の用途のＨＵＤ装置、またはディスプレイなどの画像表示装置に適用することができる。

また、色変換して補正する表示画像は、例えば自分の自動車が前方にある自動車に近接して警告する警告表示又は危険表示のみに限定してもよく、定常表示する車速や白色で表示するコンテンツにおいては色変換を行わないとすることも可能である。

また、本実施の形態においては、色変換を一定のフレームレートで実施することとして説明したが、例えば、太陽光の色変化による影響を考慮して、一定の時刻により実施する、または実施しないこととしても良いし、運転者の判断により実施する、またはしないこととしても良い。なお、運転者の判断により実施する場合、図１７に示すように、色補正をＯＮ／ＯＦＦするためのスイッチＳＷが用意される。

１０１ 検出手段
１０２ 変換手段
２００ 画像表示装置
２３０ 表示手段
３０１ 移動体

特開平６−２１１０７０号公報

Claims (19)

1. 表示画像を表示する表示手段を備えた画像表示装置において、
   前記表示画像に重畳していない非背景領域の色または明るさの少なくとも何れか一方に係る情報を検出する検出手段と、
   前記検出手段で検出した非背景領域の色または明るさの少なくとも何れか一方に係る情報をもとに、前記表示画像の表示を変換する変換手段と、
   を備えることを特徴とする画像表示装置。
2. 前記検出手段は、前記非背景領域の二次元分布を検出し、
   前記変換手段は、前記検出した二次元分布から前記非背景領域における色度座標領域を決定し、前記表示画像の色度が前記色度座標領域に含まれる場合に、前記表示画像の色度を、前記色度座標領域の外側の領域の色度に色変換する、
   ことを特徴とする請求項１に記載の画像表示装置。
3. 前記検出手段は、前記非背景領域と背景領域の両者を含む領域の二次元分布を検出する、
   ことを特徴とする請求項２に記載の画像表示装置。
4. 前記変換手段は、前記非背景領域における前記色度座標領域を、前記検出手段において検出した二次元分布の内で、任意の範囲の二次元分布の色情報を選択して決定する、
   ことを特徴とする請求項２または３に記載の画像表示装置。
5. 前記任意の範囲の二次元分布の色情報は、前記非背景領域の二次元分布の検出から前記色変換までにかかる時間と、予め取得された移動体の速度とから推定される変換のタイミングで前記表示画像と重畳すると推定される領域の二次元分布の色情報である、
   ことを特徴とする請求項４に記載の画像表示装置。
6. 前記任意の範囲の二次元分布の色情報とは、予め取得した移動体の進行方向を変える際の運転者の操作に係る情報により推定される前記移動体の進行方向に合わせて変更した領域の二次元分布の色情報である、
   ことを特徴とする請求項４に記載の画像表示装置。
7. 前記変換手段は、前記検出手段により検出した二次元分布を複数の領域に分割し、前記色度座標領域を決定する、
   ことを特徴とする請求項２ないし４の何れか一項に記載の画像表示装置。
8. 前記変換手段は、前記検出手段により検出した二次元分布を複数の領域に分割し、各領域における前記色度座標領域を決定し、前記色変換においては、前記二次元分布の検出時から色変換までの経過時間と、予め取得した移動体の速度に応じて、各領域における前記色度座標領域の内で任意の座標領域を選択し、使用する、
   ことを特徴とする請求項２ないし４の何れか一項に記載の画像表示装置。
9. 前記変換手段は、前記検出手段により検出した二次元分布を複数の領域に分割し、各領域における前記色度座標領域を決定し、前記色変換においては、予め取得した移動体の進行方向を変える際の運転者の操作に係る情報に応じて、各領域における前記色度座標領域の内で任意の座標領域を選択し、使用する、
   ことを特徴とする請求項２ないし４の何れか一項に記載の画像表示装置。
10. 前記変換手段は、前記検出手段により検出した二次元分布を複数の領域に分割し、各領域における前記色度座標領域を決定し、前記色変換においては、各領域における前記色度座標領域の全てで共通する領域を、色変換に使用する、
    ことを特徴とする請求項２ないし４の何れか一項に記載の画像表示装置。
11. 前記色変換の実行前における前記表示画像の色度とは、前記表示画像と前記表示画像と重畳する背景光とを含めた色度である、
    ことを特徴とする請求項２に記載の画像表示装置。
12. 前記表示画像の色度は、前記表示画像と前記背景光の色度と輝度に係わる情報とを元に推定される、
    ことを特徴とする請求項１１に記載の画像表示装置。
13. 前記変換手段は、前記色度座標領域と重畳した場合の色度座標点が、色度座標上の任意の範囲を外れる場合にも、前記表示画像の色度を、前記色度座標領域の外側の領域の色度に色変換する、
    ことを特徴とする請求項２に記載の画像表示装置。
14. 前記変換手段は、前記表示画像を、表示するコンテンツの意匠、またはサイズ、または表示画像内の相対的な表示位置によって分類し、分類ごとに前記色変換の方法を変更する、
    ことを特徴とする請求項２ないし１３のいずれか一項に記載の画像表示装置。
15. 前記変換手段は、前記表示画像の表示の変換を選択的に実行可能とする、
    ことを特徴とする請求項１ないし１４のいずれか一項に記載の画像表示装置。
16. 前記変換手段は、前記表示画像の表示の変換を予め設定された時間間隔で行う、
    ことを特徴とする請求項１ないし１４のいずれか一項に記載の画像表示装置。
17. 請求項１ないし１６のいずれか一項に記載の画像表示装置を備え、
    フロントガラス又はコンバイナに表示画像を表示する、
    ことを特徴とする移動体。
18. 表示画像を表示する表示手段を備えた画像表示装置で実行される画像表示方法であって、
    前記表示画像に重畳していない非背景領域の色または明るさの少なくとも何れか一方に係る情報を検出する検出工程と、
    前記検出工程で検出した非背景領域の色または明るさの少なくとも何れか一方に係る情報をもとに、前記表示画像の表示を変換する変換工程と、
    を含むことを特徴とする画像表示方法。
19. 表示画像を表示する表示手段を備えた画像表示装置を制御するコンピュータを、
    前記表示画像に重畳していない非背景領域の色または明るさの少なくとも何れか一方に係る情報を検出する検出手段と、
    前記検出手段で検出した非背景領域の色または明るさの少なくとも何れか一方に係る情報をもとに、前記表示画像の表示を変換する変換手段と、
    として機能させるためのプログラム。

Images