JP2015154420A - 表示装置 - Google Patents

Abstract

【課題】フィールドシーケンシャル方式を用いて外界背景と重畳して画像情報を表示する際に、多色／カラー化による多様な表示のみならず、高輝度環境下でも十分な表示輝度が得られる表示も実現可能な表示装置を提供する。【解決手段】この表示装置１００は、観察者の眼Ｅの前方に配置された投影面４に光学系３を介して画像情報５０を投影し、投影面４を通して視認される外界背景に画像情報５０を重畳させて表示する投影部１と、画像情報５０の表示をフィールドシーケンシャル方式により行うように投影部１を制御する制御部２とを備える。制御部２は、複数のサブフレームの少なくとも一部に、異なる表示色の画像情報５０を表示させる多色／カラー表示モードと、複数のサブフレームの全てに同一かつ単色の画像情報５０を表示する高輝度表示モードとを、切り替え可能に構成されている。【選択図】図１

Description

本発明は、表示装置に関し、特に、バイザまたはコンバイナに画像情報を投影する表示装置に関する。

従来、バイザまたはコンバイナに画像情報を投影する表示装置が知られている（たとえば、特許文献１参照）。

上記特許文献１には、自動車のフロントウィンドウに設けられたコンバイナ（投影面）に画像情報を投影し、投影面を通して視認される外界背景に投影した画像情報を重畳させて表示する表示装置（ＨＵＤ、ヘッドアップディスプレイ）が開示されている。この表示装置では、１フレーム期間を複数のサブフレームに時間分割して、投影した各サブフレームの表示を合成するフィールドシーケンシャル方式によって表示を行うように構成されている。上記特許文献１では、１フレームを光源の色数で分割し、個々のサブフレームでそれぞれ異なる色の光源発光が行われるように構成されている。また、表示される画像情報としては、速度情報、ガソリン残量や警告情報等が例示されている。なお、ヘッドアップディスプレイと同様の仕組みで、ヘルメットや眼鏡型装置のバイザを投影面として画像情報を表示する表示装置（ＨＭＤ、ヘッドマウントディスプレイ）も知られている。

特開２００９−４７８８４号公報

このようなＨＵＤやＨＭＤなどの表示装置では、表示の情報量（表示の多様性）を増大させて状況把握の容易性や装置の利便性を向上させるため、カラー（フルカラー）または多色（マルチカラー）での表示が望まれており、上記特許文献１では、多色での表示が可能である。しかしながら、ＨＵＤやＨＭＤなどの表示装置では外界背景と重畳して画像情報を表示するため、外界輝度（周囲の明るさ）によって表示の視認し易さが大きく影響を受ける。フィールドシーケンシャル方式では、表示素子にカラーフィルタが不要で、画素領域の全体を利用して表示することができるため、高輝度、高精細な表示に適しているとされているものの、上記特許文献１のように各色の光源を個々のサブフレームに割り当てて多色表示を行う表示装置では、特に昼間晴天時などの高輝度環境下で十分な表示輝度が得られないという問題点がある。このような問題は、太陽光が遮蔽されない空中（上空）で利用される航空機（飛行機やヘリコプタ等）に搭載される表示装置において特に顕著である。

この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、フィールドシーケンシャル方式を用いて外界背景と重畳して画像情報を表示する際に、多色／カラー化による多様な表示のみならず、高輝度環境下でも十分な表示輝度が得られる表示も実現可能な表示装置を提供することである。

上記目的を達成するために、この発明の一の局面における表示装置は、多色光源と、表示素子とを含み、観察者の眼の前方に配置されたバイザまたはコンバイナからなる投影面に光学系を介して画像情報を投影し、投影面を通して視認される外界背景に画像情報を重畳させて表示する投影部と、画像情報の表示を、１フレーム期間を複数のサブフレームに時間分割して、投影した各サブフレームの表示を合成するフィールドシーケンシャル方式により行うように投影部を制御する制御部とを備え、制御部は、複数のサブフレームの少なくとも一部に、互いに異なる表示色の画像情報を表示させる多色／カラー表示モードと、複数のサブフレームの全てに同一かつ単色の画像情報を表示する高輝度表示モードとを、切り替え可能に構成されている。

この発明の一の局面による表示装置では、上記のように、投影画像の表示をフィールドシーケンシャル方式で行う場合に、複数のサブフレームの少なくとも一部に、互いに異なる表示色の画像情報を表示させる多色／カラー表示モードと、複数のサブフレームの全てに同一かつ単色の画像情報を表示する高輝度表示モードとを、切り替え可能なように制御部を構成することによって、高輝度の表示が必要ない夜間や悪天候時などの場合には、多色／カラー表示モードにより多様な画像表示を行うことができるとともに、高輝度が必要な場合には、高輝度表示モードに切り替えて画像表示を行うことができる。高輝度表示モードでは、複数のサブフレームの全て（１フレーム全体）に同一かつ単色の画像情報を表示することによって、その画像情報の１フレーム中における積算表示時間（光源の発光時間）を最大限増加させることができるので、画像情報の表示輝度を最大化することができる。この結果、フィールドシーケンシャル方式により外界背景と重畳して画像情報を表示する表示装置においても、多色／カラー化による多様な表示（多色／カラー表示モード）のみならず、高輝度環境下でも十分な表示輝度が得られる表示（高輝度表示モード）も実現することができる。

上記一の局面による表示装置において、好ましくは、画像情報は、投影面を通して視認される外界背景に対応する画像と、画像とは異なる情報表示のためのシンボルとを含み、制御部は、少なくとも多色／カラー表示モードについて、シンボルのみを表示するシンボル表示モードと、画像とシンボルとを合成して表示する合成表示モードとに切り替え可能に構成されている。このように構成すれば、シンボル表示モードと合成表示モードとを切り替えることによって、必要に応じたさらに多様な表示が可能となるので、状況把握の容易性または利便性をさらに向上させることができる。たとえば、夜間の低輝度環境下において、低照度カメラなどにより撮影した画像を合成表示モードで投影面に投影すれば、暗くて視認できない投影面越しの背景を画像表示によって補完することが可能となる。

この場合、好ましくは、制御部は、合成表示モードにおいて、画像とシンボルとを別々のサブフレームで表示して重畳させることにより、画像とシンボルとを合成表示させるように構成されている。このように構成すれば、画像とシンボルとを別々のサブフレームに表示するだけでよいので、画像とシンボルとを画像処理（信号処理）によって予め合成しておく必要がないとともに、画像処理によって予め合成する場合に画像とシンボルとの重複部分に生じる画素情報の欠落などが生じることもない。この結果、画像処理に伴う処理負荷を低減しつつ、合成に起因する画質劣化を抑制することができる。

上記一の局面による表示装置において、好ましくは、制御部は、外界の輝度を検出する輝度検出部により検出された輝度情報に基づいて、少なくとも多色／カラー表示モードと高輝度表示モードとを切り替えるように構成されている。このように構成すれば、輝度情報によって得られる外界の輝度に応じて、現在の輝度環境下でも表示を十分に視認可能な表示輝度が得られる表示モードを自動で選択することができる。この結果、状況に応じた適切な表示輝度で画像情報を表示することができるので、ユーザ（観察者）の利便性をさらに向上させることができる。

この場合、好ましくは、制御部は、輝度検出部により検出された輝度情報に基づき、少なくとも昼間の外界輝度に相当する高輝度環境下において高輝度表示モードで画像情報を表示させるとともに、夜間の外界輝度に相当する低輝度環境下において多色／カラー表示モードで画像情報を表示させるように構成されている。このように構成すれば、特に輝度差が大きくなる昼間と夜間とで、表示を十分に視認可能な適切な表示輝度で画像情報を表示することができるので、より一層、状況把握の容易性または利便性を向上させることができる。また、夜間などの低輝度環境下では目視による外界の状況把握が困難になるため、より多様な情報表示が可能な多色／カラー表示モードで画像情報を表示することによって、外界の状況把握を容易化することができるようになる。

上記一の局面による表示装置において、好ましくは、制御部は、複数のサブフレームの一部で画像情報を表示させるとともに、複数のサブフレームの残りの一部では画像情報を非表示にする低輝度表示モードにも切り替え可能に構成されている。このように構成すれば、夜間などの高輝度の表示が必要ない環境下で視認性を確保するのに十分な表示輝度を確保しながら、一部のサブフレームでの画像情報を非表示とすることによって電力消費や処理負荷等を抑制することができる。この結果、多様な表示が可能な多色／カラー表示および高輝度表示に加えて、さらに消費電力を抑制した高効率な表示モードでの表示を実現することができる。

上記一の局面による表示装置において、好ましくは、投影面を通して視認される外界背景と同一方向のセンサ画像を取得するように配置され、かつ、それぞれ異なる特性を有する複数の画像センサからのセンサ画像信号を取得する信号処理部をさらに備え、制御部は、複数の画像センサにより得られた１または複数のセンサ画像を複数のサブフレームに表示させることにより、同一または異なるセンサ画像を合成して表示するように構成されている。このように構成すれば、特性の異なる複数の画像センサから得られたセンサ画像を、投影面を通して視認される外界背景に重ねて表示することができるので、特に夜間などの低輝度環境下や、視界が悪化する悪天候下において、目視では把握できない投影面越しの背景をセンサ画像の表示によって補完することが可能となる。これにより、外界の状況が肉眼では把握困難な場合でも、状況把握を容易化することができるようになる。

この場合、好ましくは、信号処理部は、画像センサにより得られたセンサ画像に対して、表示画素数に対応したサイズにスケーリングする処理と、センサ画像の特徴部を抽出する抽出処理および抽出した特徴部を強調する強調処理を含む画像処理と、複数のセンサ画像の合成処理とを行うように構成され、制御部は、少なくとも、センサ画像、画像処理後の処理後センサ画像、および、合成処理後の合成画像の内からそれぞれのサブフレームに表示する画像を選択して表示することにより、選択された画像を合成して表示するように構成されている。このように構成すれば、特性の異なる複数のセンサ画像に対して、画像処理や合成処理を施して視認性を向上させた上で、投影面に表示することができるようになる。この結果、ユーザ（観察者）は、たとえば強調表示された画像情報から、外界での重要な情報を容易に読み取ることができるので、外界の状況把握をより一層容易化することができる。

上記一の局面による表示装置において、好ましくは、制御部は、観察者の注視を要する画像情報である特定画像情報を表示させる場合に、現在の表示モードに関わらず、高輝度表示モードにより特定画像情報を表示するように構成されている。このように構成すれば、注視を要する特定画像情報（たとえば、注意または警告表示や、視野内の物体など）が発生した場合に、高輝度表示モードによって特定画像情報を容易に認識できるようにすることができる。この結果、ユーザ（観察者）が特定画像情報を見落とすことが抑制されるので、ユーザ（観察者）の利便性をさらに向上させることができる。

本発明によれば、上記のように、フィールドシーケンシャル方式を用いて外界背景と重畳して画像情報を表示する際に、多色／カラー化による多様な表示のみならず、高輝度環境下でも十分な表示輝度が得られる表示も実現することができる。

本発明の第１実施形態による表示装置の全体構成を示した模式図である。 本発明の第１実施形態による表示装置の画像表示方法を説明するための模式図である。 本発明の第１実施形態による表示装置が切り替え可能な動作形態の一覧表である。 画像処理による合成とサブフレームを用いた合成との相違を説明するための概念図である。 本発明の第２実施形態による表示装置の全体構成を示した模式図である。 本発明の第２実施形態による表示装置における動作形態の切り替え動作の一例を示した遷移図である。 本発明の第３実施形態による表示装置の全体構成を示した模式図である。 本発明の第３実施形態による表示装置におけるセンサ画像の合成表示および特定画像情報の表示を説明するための概念図である。 本発明の第１実施形態による表示装置の投影部の変形例を示した模式図である。

以下、本発明を具体化した実施形態を図面に基づいて説明する。

（第１実施形態）
まず、図１〜図３を参照して、本発明の第１実施形態による表示装置１００の全体構成について説明する。第１実施形態では、表示装置１００は、自動車、航空機、船舶など、人を搭乗させて移動する移動体のうち、特に航空機（飛行機やヘリコプタ）などの上空（空中）を移動する移動体に搭載（または移動体に搭乗する操作者に装着）される表示装置に、本発明を適用した例について説明する。

図１に示すように、第１実施形態による表示装置１００は、ユーザ（観察者、パイロット）の眼Ｅの前方に配置されたバイザまたはコンバイナからなる投影面４に光学系３を介して画像情報５０を投影し、投影面４上で、投影面４を通じて視認される外界背景に画像情報５０を重畳させて表示する投影部１を備える。この種の表示装置１００には、ユーザのヘルメットや眼鏡型装置に設けられたバイザの表面を投影面４とするタイプのヘッドマウントディスプレイ（ＨＭＤ）や、ユーザの視線前方に配置されたコンバイナの表面を投影面４とするタイプのヘッドアップディスプレイ（ＨＵＤ）が含まれる。

表示装置１００は、上記した投影部１と、投影部１を制御する制御部２と、投影部１から出射された画像光（画像情報５０を構成する光）をコリメートして投影面４に照射するための光学系３とを備えている。投影面４を構成するバイザまたはコンバイナは、外界光を透過させつつ、投影部１から出射された画像光をユーザ側に反射させるように構成されている。

投影部１は多色光源１１と、表示素子１２とを含む。多色光源１１は、赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）の光を個別に照射することが可能なように構成されている。具体的には、多色光源１１は、それぞれＬＥＤからなる赤色光源１１ａと、緑色光源１１ｂと、青色光源１１ｃとを単一素子に集積したワンチップの発光素子からなる。多色光源１１は、制御部２の後述する表示制御部２２によって、赤色光源１１ａ、緑色光源１１ｂおよび青色光源１１ｃの各光源の発光タイミングや発光輝度レベルが制御されるように構成されている。

表示素子１２は、所定解像度に相当する複数（多数）の画素を行列状に有し、多色光源１１から出射された各色の光を用いて画像形成を行うフィールドシーケンシャル方式の表示素子からなる。表示素子としては、透過型ＬＣＤ、反射型ＬＣＤ（ＬＣＯＳ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｏｎ Ｓｉｌｉｃｏｎ）やＭＥＭＳミラーデバイス（たとえば、ＤＭＤ（登録商標））などを用いることが可能であるが、ここでは、透過型ＬＣＤを採用した例について説明する。透過型の表示素子１２は、多色光源１１の光出射方向前方に配置され、多色光源１１から出射された各色の光の透過性（透過〜不透過）を画素毎に制御することにより、画像形成および階調表現を行うことが可能なように構成されている。表示素子１２は、制御部２の表示制御部２２によって制御される。

光学系３は、複数のレンズからなり、表示素子１２の光出射方向前方に配置されている。光学系３は、入射した画像光を投影面４に投影し、平行光（コリメート光）を表示する機能を有する。これにより、投影面４に投影された画像情報５０は、ユーザ（観察者）に対して、投影面４を通して見る外界背景と同等の遠方に結像する。この結果、外界背景を視認する場合と画像情報５０の表示を読み取る場合とで焦点の切り替えが不要となる。

制御部２は、表示信号発生部２１と表示制御部２２とを主として含み、表示する画像情報５０を生成するとともに、投影部１を制御して画像情報５０を表示させるように構成されている。第１実施形態では、図２に示すように、制御部２は、１フレーム期間を複数のサブフレームに時間分割して、投影した各サブフレームの表示を合成するフィールドシーケンシャル方式により画像情報５０の表示を行うように、投影部１を制御する。第１実施形態では、１フレームを６０Ｈｚで表示し、各フレームを３つのサブフレームに時間分割することにより、１８０Ｈｚで多色光源１１および表示素子１２を制御（駆動）する例について説明する。なお、カラー表示を行うためには、サブフレームの分割数は少なくとも多色光源１１の発光色数だけあればよい。ＲＧＢの３原色でカラー表示を行う場合、１フレームを最低３つのサブフレームに分割すればよく、４以上のサブフレームに分割してもよい。

ここで、画像情報５０は、投影面４（図１参照）を通して視認される外界背景に対応する画像５１と、画像５１とは異なる情報表示のためのシンボル５２（文字情報や線画（ライン））とを含む。図２では、画像５１とシンボル５２とを合成して表示させた表示画面の例を示している。「サブフレーム１」には、方位表示のシンボル５２が「光源１」により表示され、「サブフレーム２」には、高度表示のシンボル５２が「光源２」により表示され、「サブフレーム３」には、画像が「光源３」により表示される。この結果、３つのサブフレームによって、２種類のシンボル５２と、１つの画像５１とが合成された１フレーム分の画像情報５０が構成される。「光源１」〜「光源３」は、多色光源１１の各色の光源（赤色光源１１ａ、緑色光源１１ｂおよび青色光源１１ｃ）であってもよいし、同一色の光源（たとえば、緑色光源１１ｂのみ）であってもよい。外界が明るい（昼間などの日照下）場合には、画像５１およびシンボル５２が背景に重畳されて視認される。一方、夜間など外界が暗い場合には、背景がほとんど視認できなくなる。図２のような画像５１は、特に夜間などに視認できない背景を、視線方向を撮影した画像５１によって補完する用途に用いることが可能である。画像５１は、他にも予め記憶された地図情報や、ナビゲーション用の画像などであってもよい。

図１に示すように、表示信号発生部２１は、投影部１から出力（表示）する画像情報５０を生成する機能を有する。表示信号発生部２１は、外部の制御装置（航空機の制御装置）とデータバスにより接続され、画像情報５０として表示する各種情報（たとえば、方位、高度、残燃料などの飛行諸元等の情報や、ユーザへの通知、警報情報など）を取得する。また、表示信号発生部２１は、外部のカメラや画像情報５０の蓄積手段からビデオ（画像）信号を取得するように構成されている。そして、表示信号発生部２１は、データバスから取得した情報に基づいて情報表示用のシンボル５２（図２参照）を生成し、必要な場合にはビデオ信号（画像５１、図２参照）と合成することにより、投影部１から出力する画像情報５０を生成する。

表示制御部２２は、表示信号発生部２１によって生成された画像情報５０を投影面４に投影させるように、投影部１の多色光源１１と表示素子１２とを同期制御するように構成されている。すなわち、表示制御部２２は、各サブフレームに対応するタイミングで多色光源１１のいずれかの光源（赤色光源１１ａ、緑色光源１１ｂおよび青色光源１１ｃ）の発光および非発光や、発光輝度レベル等を制御する。また、表示制御部２２は、表示信号発生部２１から得られたサブフレーム毎の画像情報に基づいて、画素毎の駆動信号を表示素子１２に入力することにより、画素毎のオンオフ（透過、不透過）や階調（透過率）等を制御する。これらの結果、所望の画像情報５０が投影面４に投影される。

ここで、第１実施形態では、制御部２は、複数のサブフレームの少なくとも一部に、互いに異なる表示色の画像情報５０を表示させる多色／カラー表示モードと、複数のサブフレームの全てに同一かつ単色の画像情報５０を表示する高輝度表示モードとを、切り替え可能に構成されている。また、制御部２は、シンボル５２のみを表示するシンボル表示モードと、画像５１とシンボル５２とを合成して表示する合成表示モードとに切り替え可能に構成されている。第１実施形態では、制御部２は、これらの表示モードを組み合わせて、図３に示す８種類の動作形態での表示制御を選択的に実行することが可能となっている。これらの動作形態は、たとえば、図示していない入力手段を用いたユーザの選択操作によって、切り替えられる。

図３には、８つの動作形態を一覧表の形式で示している。左端列６１の番号は、動作形態の識別番号（１〜８）であり、「表示モード」の列６２は、シンボル表示モードと合成表示モード（シンボル＋画像）との区別を表す。「表示色」の列６３は、単色（モノクロ）の表示モードと、多色（マルチカラー）またはカラー（フルカラー）の多色／カラー表示モードとの区別を表す。「必要輝度」の列６４は、各動作形態での表示がどの程度の表示輝度が必要とされる状況に対応可能かを表している。つまり、「必要輝度」欄が「高」であれば、昼間の晴天時などの高輝度表示が必要とされる環境での表示にも対応可能な動作形態であることを示している。

「表示素子／光源動作タイミング」の列６５は、フィールドシーケンシャル方式による表示に際して、各サブフレームでの表示素子１２が形成する画像情報５０の種類と、多色光源１１の発光色とを表している。各サブフレームにおける表示素子１２の動作は、シンボル５２のみの画像情報を示す「Ｓ」、画像５１のみの画像情報を示す「Ｉ」、シンボル５２と画像５１とを合成した画像情報を示す「ＳＩ」のいずれかに、その画像情報の表示色（ＲＧＢのいずれか）を付加した形式によって表している。また、各サブフレームにおける多色光源１１の動作（発光色）は、赤発光の「Ｒ」、緑発光の「Ｇ」、青発光の「Ｂ」のいずれかで表される。それぞれのサブフレームには単一色が割り当てられる。

動作形態１は、シンボル表示モード＋高輝度表示モードの形態であり、最も高輝度の表示に対応した形態である。動作形態１では、画像情報５０がシンボル５２のみにより構成され、複数（３つ）のサブフレームの全てに同一の画像情報５０で、かつ、単色（緑）の画像情報５０が表示される。動作形態１では、１フレームの間継続して同一の画面が投影されるため、１フレーム中で画像情報５０が表示されている積算時間が最大化される。この結果、昼間の晴天時などの必要輝度（外界輝度）が高い状況下でも、十分に視認可能なモノクロ（単色）の高輝度表示が可能である。

動作形態２は、シンボル表示モード＋低輝度表示モード（モノクロ）の形態である。低輝度表示モードでは、制御部２は、１フレームのうち、複数のサブフレームの一部で画像情報５０を表示させるとともに、複数のサブフレームの残りの一部では画像情報５０を非表示にするように構成されている。動作形態２では、低輝度表示モードとして、３つのサブフレームのうち１つで画像情報５０を表示させるとともに、残りの２つのサブフレームでは画像情報５０を非表示にする例を示している。また、動作形態２では、画像情報５０がシンボル５２のみにより構成され、かつ、単色（緑）で表示される。非表示のサブフレームが含まれる分だけより低輝度表示が可能となるため、動作形態２は、夜間などの低輝度状況下での表示に適しているとともに、電力消費を抑制した高効率な動作形態である。

動作形態３は、シンボル表示モード＋多色表示モードの形態である。多色表示モードは、複数（３つ）のサブフレームの一部に、互いに異なる表示色の画像情報５０を表示させる表示モードである。多色表示モードでは、原則として表示色の異なるサブフレームに表示させる画像情報５０は、重なり合わない異なる表示領域に表示されることにより、混色されない。また、動作形態３では、シンボル５２のみが表示される。このため、図３に示した動作形態３の例では、サブフレーム毎にＧ（緑）のシンボルＳＧ、Ｒ（赤）のシンボルＳＲ、青（Ｂ）のシンボルＳＢの各画像情報５０が、投影面４上でそれぞれ個別に表示される。シンボル５２のみを表示する場合、階調表現（明暗または濃淡）を含む画像表示と比較して、画像情報５０の表示輝度を高く設定することが可能であるため、動作形態３は、たとえば夕方（薄暮）や悪天候時（雨、霧など）などの中間レベルの外界輝度状況下でも十分な表示輝度を得ることが可能である。

動作形態４は、合成表示（シンボル＋画像）モード＋高輝度表示モードの形態である。動作形態４では、画像情報５０がシンボル５２と画像５１とにより構成され、複数（３つ）のサブフレームの全てに同一の画像情報５０（シンボル５２＋画像５１）が単色（緑）で表示される。この動作形態４では、高輝度表示モードで表示するために、表示信号発生部２１においてシンボル５２と画像５１とが予め合成処理された画像情報（ＳＩＧ）が、各サブフレームにおいて表示される。したがって、１フレーム中の各サブフレームの画像情報５０は、同一となる。この動作形態４では、高輝度表示モードで表示するため、階調表現を有する画像が画像情報５０に含まれる場合でも、動作形態３と同様の中間レベルの外界輝度状況下で十分な表示輝度を得ることが可能である。

動作形態５は、合成表示（シンボル＋画像）モード＋低輝度表示モード（モノクロ）の形態である。動作形態５では、動作形態２と同様、３つのサブフレームのうち１つで画像情報５０を表示させるとともに、残りの２つのサブフレームでは画像情報５０を非表示にする例を示している。また、動作形態５では、表示信号発生部２１においてシンボル５２と画像５１とが予め合成処理された画像情報（ＳＩＧ）が単色（緑）で表示される。動作形態５は、夜間などの低輝度状況下での表示に適しているとともに、電力消費を抑制した高効率な動作形態である。

動作形態６は、合成表示（シンボル＋画像）モード＋多色表示モードの形態である。動作形態６では、シンボル５２が多色で表現され、画像５１が単色表示される。すなわち、サブフレーム１（緑）では、表示信号発生部２１においてシンボル５２と画像５１とが予め合成処理された画像情報（ＳＩＧ）が表示され、サブフレーム２（赤）および３（青）では、それぞれ赤表示されるシンボルＳＲおよび青表示されるシンボルＳＢが表示される。この動作形態６は、夜間などの低輝度状況下での表示に適している。

動作形態７は、合成表示（シンボル＋画像）モード＋多色表示モードの形態である。この動作形態７では、画像５１が多色で表示され、シンボル５２が単色となる。また、動作形態７の場合、制御部２は、合成表示モードにおいて、画像５１とシンボル５２とを別々のサブフレームで表示して重畳させることにより、画像５１とシンボル５２とを合成表示させるように構成されている。すなわち、動作形態７では、サブフレーム１（緑）で緑表示されるシンボルＳＧが表示され、サブフレーム２（緑）で緑表示される画像ＩＧが表示される結果、同一色の画像とシンボルとが合成されて表示される。また、残りのサブフレーム３では、別の画像５１が赤表示（ＩＲ）または青表示（ＩＢ）される。従って、動作形態７では、画像ＩＧと画像ＩＲまたはＩＢとの２つの画像が、それぞれ異なるサブフレームに表示されることによって、互いに合成される。ただし、両画像に重複領域が存在しない場合には、表示色の異なる２種類の画像が個別に表示された状態で合成されることになる。この動作形態７は、夜間などの低輝度状況下での表示に適している。

動作形態８は、合成表示（シンボル＋画像）モード＋カラー表示モードの形態である。各サブフレームでは、表示信号発生部２１においてシンボルと画像とが予め合成処理された各色の画像情報（ＳＩＧ、ＳＩＲ、ＳＩＢ）が、それぞれ対応する表示色（Ｇ、Ｒ、Ｂ）で表示される。サブフレームの各画像情報５０は、表示色成分に応じて階調が異なるだけの同一の画像情報である。これにより、１フレーム中に表示された各色の画像情報５０が合成されることにより各色成分が混色されて、（フル）カラー表示が実現される。この動作形態８は、夜間などの低輝度状況下での表示に適している。

第１実施形態では、以上の８種類の動作形態が必要に応じて選択されることにより、制御部２は、複数の表示色によって表示の情報量を増大させた多色／カラー表示モード（動作形態３および６〜８）と、より高輝度の環境下での表示に対応させた高輝度表示モード（動作形態１および４）とを切り替えることが可能である。さらに、第１実施形態では、制御部２は、シンボルと画像との合成表示によって表示の情報量を増大させた合成表示モード（動作形態４〜８）や、より高効率な表示に対応させた低輝度表示モード（動作形態２および５）にも切り替えることが可能となっている。

第１実施形態では、以下のような効果を得ることができる。

第１実施形態では、上記のように、投影画像の表示をフィールドシーケンシャル方式で行う場合に、複数のサブフレームの少なくとも一部に、互いに異なる表示色の画像情報５０を表示させる多色／カラー表示モード（動作形態３および６〜８）と、複数のサブフレームの全てに同一かつ単色の画像情報５０を表示する高輝度表示モード（動作形態１および４）とを、切り替え可能なように制御部２を構成することによって、高輝度の表示が必要ない夜間や悪天候時などの場合には、多色／カラー表示モードにより多様な画像表示を行うことができるとともに、高輝度が必要な場合には、高輝度表示モードに切り替えて画像表示を行うことができる。高輝度表示モードでは、１フレーム中における積算表示時間（光源の発光時間）を最大限増加させることができるので、画像情報５０の表示輝度を最大化することができる。この結果、フィールドシーケンシャル方式により外界背景と重畳して画像情報５０を表示する表示装置１００においても、多色／カラー化による多様な表示（多色／カラー表示モード）のみならず、高輝度環境下でも十分な表示輝度が得られる表示（高輝度表示モード）も実現することができる。

また、第１実施形態では、上記のように、制御部２は、少なくとも多色／カラー表示モードについて、シンボル５２のみを表示するシンボル表示モード（動作形態１〜３）と、画像５１とシンボル５２とを合成して表示する合成表示モード（動作形態４〜８）とに切り替え可能なように制御部２を構成する。これにより、シンボル表示モードと合成表示モードとを切り替えることによって、必要に応じたさらに多様な表示が可能となるので、状況把握の容易性または利便性をさらに向上させることができる。たとえば、夜間の低輝度環境下において、低照度カメラなどにより撮影した画像５１を合成表示モードで投影面４に投影すれば、暗くて視認できない投影面４越しの背景を画像表示によって補完することが可能となる。

また、第１実施形態では、上記のように、合成表示モードである動作形態７において、画像５１とシンボル５２とを別々のサブフレームで表示して重畳させることにより、画像５１とシンボル５２とを合成表示させるように制御部２を構成する。このように構成すれば、画像５１とシンボル５２とを別々のサブフレームに表示するだけでよいので、画像５１とシンボル５２とを画像処理（信号処理）によって予め合成しておく必要がないとともに、画像処理によって予め合成する場合に画像５１とシンボル５２との重複部分に生じる画素情報の欠落などが生じることもない。この結果、画像処理に伴う処理負荷を低減しつつ、合成に起因する画質劣化を抑制することができる。

より具体的には、たとえば動作形態４〜６により実行される合成表示モードのように、表示信号発生部２１においてシンボルと画像とが予め合成処理された画像情報（ＳＩＧ）をサブフレームに表示する場合には、図４に示すように、合成処理の際にシンボルと画像との重複領域の画素情報が欠落する（いずれか一方のみに書き換えられる）場合がある。なお、図４では、欠落部分の説明のために、本来表示されない欠落部分を破線で示している。これに対して、動作形態７により実行される合成表示モードでは、シンボル５２と画像５１とが別個のサブフレームで表示されて合成されることから、画素情報の欠落を防止することができる。このため、より高精細（高視認性）の表示が可能である。

また、第１実施形態では、上記のように、複数のサブフレームの一部で画像情報５０を表示させるとともに、複数のサブフレームの残りの一部では画像情報５０を非表示にする低輝度表示モード（動作形態２および５）にも切り替え可能なように制御部２を構成する。これにより、夜間などの高輝度の表示が必要ない環境下で視認性を確保するのに十分な表示輝度を確保しながら、一部のサブフレームでの画像情報５０を非表示とすることによって電力消費等を抑制することができる。この結果、多様な表示が可能な多色／カラー表示および高輝度表示に加えて、より低輝度表示が可能でさらに消費電力を抑制した高効率な表示モードでの表示を実現することができる。

（第２実施形態）
次に、図５および図６を参照して、本発明の第２実施形態による表示装置について説明する。第２実施形態では、動作形態１〜８の切り替えをユーザの操作に基づいて行う例を示した上記第１実施形態とは異なり、外界輝度検出部から取得した輝度情報に基づいて、動作形態１〜８の切り替えを外界輝度に応じて制御部が行う例について説明する。なお、第２実施形態において、上記第１実施形態と同様の構成については同一の符号を付し、説明を省略する。

図５に示すように、第２実施形態による表示装置２００の制御部１０２は、外界の輝度を検出する輝度検出部１０５により検出された輝度情報に基づいて、多色／カラー表示モードと高輝度表示モードとを切り替えるように構成されている。より具体的には、制御部１０２は、表示モードおよび表示色の設定情報と、輝度情報とに基づいて、動作形態１〜８の切り替えを行うように構成されている。

輝度検出部１０５は、輝度センサなどからなり、たとえば表示装置２００で視認しようとする方向の外界から照射される光を受光し、受光量（すなわち外界輝度レベル）に応じた輝度情報（輝度レベル信号）を出力する。制御部１０２は、輝度検出部１０５と接続されており、輝度検出部１０５から輝度情報（輝度レベル信号）を取得するように構成されている。得られた輝度情報と予め設定された閾値との比較により、制御部１０２は、たとえば昼間の外界輝度に相当する高輝度環境下にあるか、夜間の外界輝度に相当する低輝度環境下にあるかが判別可能である。制御部１０２には、それぞれの動作形態１〜８において、表示（視認）可能な外界輝度（必要輝度）の閾値が設定されている。

これにより、第２実施形態では、制御部１０２は、輝度検出部１０５により検出された輝度情報に基づき、少なくとも昼間の外界輝度に相当する高輝度環境下において高輝度表示モード（動作形態１）で画像情報５０を表示させるとともに、夜間の外界輝度に相当する低輝度環境下において多色／カラー表示モード（動作形態３、６〜８）で画像情報５０を表示させるように構成されている。

図６には、８つの動作形態の切り替え制御の一例を示している。左端の「設定」欄１６１は、制御部１０２に予め設定される設定事項（表示モードおよび表示色）を示している。制御部１０２は、表示モードおよび表示色の設定内容に応じて、異なる動作形態を選択して切り替えるように構成されている。より具体的には、第２実施形態では、制御部１０２は、予め設定された表示モードおよび表示色での表示が可能な動作形態を原則とし、各表示モードでの視認性の上限または下限を示す範囲（後述する閾値）を超えた場合に、設定された表示モードおよび表示色とは異なる動作形態への切り替えを許容する制御を行うように構成されている。つまり、制御部１０２は、できるだけユーザにより設定された表示モードおよび表示色での表示を継続するように動作形態の切り替えを行う。

図６の右側の欄１６２は、設定内容毎の輝度情報に基づく切り替え動作の内容を示している。右側欄１６２の左側に行くほど外界輝度レベル（輝度情報）が低く、右側に行くほど外界輝度レベル（輝度情報）が高くなる。以下、設定内容毎の動作形態の切り替え制御について説明する。

「シンボルモード、モノクロ」設定では、動作形態はシンボルモードかつモノクロ表示モードの動作形態１および２のみが選択される。制御部１０２は、閾値Ｄ以上の外界輝度レベルでは、全てのサブフレームに同一のシンボル表示を行う高輝度表示モードでの表示を行う動作形態１を選択する。一方、閾値Ｄ未満の外界輝度レベルでは、制御部１０２は、動作形態２の低輝度表示モードを選択する。閾値Ｄは、全てのサブフレームに同一表示を行う高輝度表示モードでの低輝度調整限界に対応している。すなわち、閾値Ｄは、高輝度表示モードのままで、多色光源１１の発光輝度や表示素子１２の階調制御によって表示品質を損なわずに低下させることが可能な表示輝度の下限値である。閾値Ｄ未満の外界輝度レベルは、夜間の外界輝度に相当する低輝度環境の輝度レベルである。外界輝度レベルが閾値Ｄ未満の場合には、低輝度表示モードでも十分な視認性を得ることができるため、低輝度表示モードに切り替えられる。

「シンボルモード、多色」設定では、動作形態はシンボルモードかつ多色表示モードの動作形態３を原則とする。制御部１０２は、外界輝度レベルが閾値Ａ以上の場合にのみ、動作形態１を選択する。閾値Ａは、動作形態３によるシンボル＋多色表示モードでの視認限界輝度に対応している。すなわち、閾値Ａは、動作形態３のままで、ユーザ（観察者）が視認可能な外界輝度の上限値であり、たとえば昼間の晴天時の外界輝度に相当する。閾値Ａ以上の高レベルの外界輝度の場合には、制御部１０２は、「多色」の設定であっても、視認性を考慮してモノクロの動作形態１を選択する。一方、閾値Ａ未満の外界輝度レベル（たとえば薄暮、悪天候時、夜間など）では、設定内容を優先して動作形態３が選択される。

「シンボル＋画像モード、モノクロ」設定では、モノクロ表示の動作形態１、４および５が選択される。制御部１０２は、外界輝度レベルが閾値Ｂ以上の場合に、動作形態１を選択する。外界輝度レベルが閾値Ｂ未満かつ閾値Ｄ以上の場合には、制御部１０２は、動作形態４を選択する。そして、外界輝度レベルが閾値Ｄ未満の低輝度環境では、制御部１０２は、動作形態５を選択する。閾値Ｂは、モノクロ表示で（シンボル＋）画像表示を行う動作形態４のままで、ユーザ（観察者）が視認可能な外界輝度の上限値である。閾値Ｂ以上の高レベルの外界輝度の場合には、制御部１０２は、「シンボル＋画像」の設定であっても、視認性を考慮してシンボルのみの動作形態１を選択する。

「シンボル＋画像モード、多色／カラー」設定では、多色／カラー表示の動作形態（６、７、８）と、シンボル＋画像表示の動作形態４と、高輝度表示の動作形態１とが選択される。制御部１０２は、外界輝度レベルが閾値Ｂ以上の場合に、動作形態１を選択する。外界輝度レベルが閾値Ｂ未満かつ閾値Ｃ以上の場合には、制御部１０２は、動作形態４を選択する。そして、外界輝度レベルが閾値Ｃ未満の場合には、制御部１０２は、動作形態６〜８のいずれかを選択する。したがって、「シンボル＋画像モード、多色／カラー」設定では、制御部１０２は、少なくとも夜間の外界輝度に相当する閾値Ｄ未満の外界輝度レベルにおいて、多色／カラー表示の動作形態６〜８を選択する。動作形態６〜８のいずれを選択するかは、ユーザの設定による。閾値Ｃは、多色（カラー）表示で（シンボル＋）画像表示を行う動作形態６〜８のままで、ユーザ（観察者）が視認可能な外界輝度の上限値である。閾値Ｃの中間レベル以上（たとえば薄暮、昼間の悪天候時など）の外界輝度の場合には、制御部１０２は、「多色／カラー」の設定であっても、視認性を考慮してモノクロの動作形態４を選択する。但し、ユーザの設定を最大限反映させるため、閾値Ｄよりも高い閾値Ｃまでは、動作形態６〜８が選択される。

以上の切り替え制御により、制御部１０２は、ユーザによる切り替え操作入力を受け付けることなく、外界輝度に応じて自動的に動作形態（表示モード）の切り替えを行うように構成されている。また、制御部１０２は、ユーザにより設定された表示モードを原則として最大限反映させつつ、視認性の観点から必要な場合には、設定内容とは異なる動作形態に切り替える。なお、ユーザによる操作入力があれば、その操作を優先させて動作形態（表示モード）の切り替えを行ってもよい。

第２実施形態のその他の構成は、上記第１実施形態と同様である。

第２実施形態では、以下のような効果を得ることができる。

第２実施形態では、上記第１実施形態と同様に、高輝度の表示が必要ない夜間や悪天候時などの場合には、多色／カラー表示モードにより多様な画像表示を行うことができるとともに、高輝度が必要な場合には、高輝度表示モードに切り替えて画像表示を行うことができる。この結果、多色／カラー化による多様な表示（多色／カラー表示モード）のみならず、高輝度環境下でも十分な表示輝度が得られる表示（高輝度表示モード）も実現することができる。

また、第２実施形態では、上記のように、外界の輝度を検出する輝度検出部１０５により検出された輝度情報に基づいて、多色／カラー表示モードと高輝度表示モードとを切り替えるように制御部１０２を構成する。これにより、輝度情報によって得られる外界の輝度に応じて、現在の輝度環境下でも表示を十分に視認可能な表示輝度が得られる表示モード（動作形態）を自動で選択することができる。この結果、状況に応じた適切な表示輝度で画像情報５０を表示することができるので、ユーザ（観察者）の利便性をさらに向上させることができる。

また、第２実施形態では、上記のように、輝度検出部により検出された輝度情報に基づき、少なくとも昼間の外界輝度に相当する高輝度環境下（閾値Ａ以上）において高輝度表示モードで画像情報を表示させるとともに、夜間の外界輝度に相当する低輝度環境下（閾値Ｄ未満）において多色／カラー表示モードで画像情報を表示させるように制御部１０２を構成する。これにより、特に輝度差が大きくなる昼間と夜間とで、表示を十分に視認可能な適切な表示輝度で画像情報５０を表示することができるので、より一層、状況把握の容易性または利便性を向上させることができる。また、夜間などの低輝度環境下では目視による外界の状況把握が困難になるため、より多様な情報表示が可能な多色／カラー表示モードで画像情報５０を表示することによって、外界の状況把握を容易化することができるようになる。

第２実施形態のその他の効果は、上記第１実施形態と同様である。

（第３実施形態）
次に、図７および図８を参照して、本発明の第３実施形態による表示装置について説明する。第３実施形態では、上記第１実施形態の構成に加えて、投影面４に投影する画像情報５０として、異なる特性を有する複数の画像センサからのセンサ画像を表示または合成表示するように構成した例について説明する。なお、第３実施形態において、上記第１実施形態と同様の構成については同一の符号を付し、説明を省略する。

図７に示すように、第３実施形態による表示装置３００の制御部２０２は、信号処理部２２０と、表示制御部２２とを備えている。信号処理部２２０は、投影部１から出力（表示）する画像情報５０を生成する機能を有する。表示制御部２２の構成は上記第１実施形態と同様である。

信号処理部２２０は、複数の画像センサ２０６と接続されており、これらの複数の画像センサ２０６からのセンサ画像信号を取得するように構成されている。そして、制御部２０２は、複数の画像センサ２０６により得られた１または複数のセンサ画像２５１を複数のサブフレームに表示させることにより、同一または異なるセンサ画像２５１を合成して表示するように構成されている。これらの複数の画像センサ２０６は、投影面４を通して視認される外界背景と同一方向（いわゆる「実角」）のセンサ画像２５１を取得するように配置され、かつ、それぞれ異なる特性（センサ特性）を有している。したがって、信号処理部２２０が取得するセンサ画像２５１は、ユーザ（観察者）が投影面４を通して視認する外界背景と同一方向の画像を受光して記録したものである。なお、センサ画像２５１は、本発明の「画像」の一例である。

このような画像センサ２０６は、表示装置３００が搭載される航空機等に予め設けられている他、表示装置３００自体が備えていてもよい。複数の画像センサ２０６としては、たとえば低照度センサ、ＩＩ（イメージインテンシファイア）カメラ（暗視カメラ）、近赤外カメラ、遠赤外カメラなどから構成される。これらの画像センサ２０６は、夜間や悪天候時にも画像取得が可能であり、ユーザ（観察者）が外界背景を視認できない状況において目視による外界認識を補完する外界認識手段となる。このため、画像センサ２０６としては、上記の各センサのうちから視認性改善のために適したセンサが選択され、複数が組み合わせて使用される。低照度センサやＩＩカメラは、夜間などの外界輝度レベルが低い環境下でも微弱な光を増幅して撮影することが可能である。また、近赤外カメラや遠赤外カメラは、夜間や濃霧などの悪天候時または逆光の場合などにも、熱源となる他の移動体や建造物、人や動物などを撮影することができる。

第３実施形態では、信号処理部２２０は、画像処理部２２１と、合成処理部２２２と、シンボル制御部２２３と、画像出力部２２４とを含んでいる。シンボル制御部２２３は、画像情報５０として表示する各種情報（方位、高度、残燃料などの飛行諸元等の情報や、ユーザへの通知、警報情報など）をデータバスから取得し、画像化した情報表示用のシンボル５２を生成する。また、画像出力部２２４は、合成処理部２２２から送られた画像情報５０を表示制御部２２に入力する機能を有する。

画像処理部２２１は、画像センサ２０６により得られたセンサ画像２５１に対して、表示画素数（表示素子１２の画素数）に対応したサイズにスケーリングする処理を行うように構成されている。また、画像処理部２２１は、得られたセンサ画像２５１に対して、センサ画像２５１の特徴部を抽出する抽出処理と、抽出した特徴部を強調する強調処理とを含む画像処理を行うように構成されている。

抽出処理は、たとえばセンサ画像２５１の内から所定の閾値以上の信号レベル（輝度値）の画素領域を抽出したり、他のセンサ画像２５１と対比（差分抽出など）したりする各種の方法により、特徴部を抽出するものである。また、強調処理は、抽出された特徴部の信号レベルの上昇、輪郭の縁取り、表示色の変更などの各種の方法により、特徴部を強調するものである。これらの抽出処理および強調処理は、典型的には、近（遠）赤外線カメラのセンサ画像２５１から、信号レベルの高い領域（高温領域）を抽出して、強調させるような画像処理であり、ユーザ（観察者）の外界視認性向上のために実施される。なお、画像処理部２２１が行う画像処理には、抽出および強調処理のほか、ノイズ低減やコントラスト補正などの一般的な画質補正処理が含まれる。画像処理部２２１は、個々の画像センサ２０６から得られた異なる解像度のセンサ画像２５１を、表示画素数に対応したサイズに変換し、画質補正を行った後、合成処理部２２２に送る。抽出処理や強調処理は、必要な場合に実行される。

合成処理部２２２は、画像処理部２２１から取得した複数のセンサ画像２５１の合成処理を行うように構成されている。合成処理部２２２は、複数のセンサ画像２５１を合成してサブフレームに表示する単一の画像を生成する他、必要に応じて、センサ画像２５１とシンボル制御部２２３からのシンボル５２とを合成する処理を行う。また、合成処理部２２２は、制御部２０２に設定された表示モードや表示色の設定内容に応じて、各サブフレームに表示するセンサ画像またはシンボルを選択して、画像出力部２２４に送るように構成されている。

このように、第３実施形態でサブフレームに表示される画像は、（１）単一のセンサ画像２５１に対してスケーリング処理や画質補正処理が施された画像、（２）複数のセンサ画像２５１を用いて特徴部の抽出および強調処理などの視認性向上のための画像処理が施された画像、（３）複数のセンサ画像２５１を合成して生成した単一の画像、などの各種画像が含まれる。そして、合成処理部２２２は、（１）によるセンサ画像、（２）による画像処理後の処理後センサ画像、および、（３）による合成処理後の合成画像の内から、それぞれのサブフレームに表示する画像を選択するように構成されている。

図８は、第３実施形態において表示される画像例を示す概念図である。具体的には、図８は、低照度センサまたはＩＩカメラによるセンサ画像２５１（センサ画像２５１ａとする）と、近（遠）赤外線カメラによるセンサ画像２５１（センサ画像２５１ｂとする）と、シンボル制御部２２３により生成されたシンボル５２とをサブフレームに表示し、互いに合成する例を示している。センサ画像２５１ｂには、信号レベルの高い特徴部ＣＰを抽出し、強調する画像処理を行う。特徴部ＣＰは、たとえば熱源となっている建造物の例を示している。

信号処理部２２０は、たとえば動作形態７（図３参照）により表示を行う場合、サブフレーム２に、センサ画像２５１ａを選択して表示させる（表示制御部２２に入力する）。この際、センサ画像２５１ａには、スケーリング処理や画質補正処理が実施されている。また、信号処理部２２０は、センサ画像２５１ｂに画像処理を行い、特徴部ＣＰを抽出した画像（図示せず）をサブフレーム３に表示させる。この際、特徴部ＣＰを抽出した画像には、強調処理として、たとえば信号レベルを上昇させる（より高輝度（高階調）にする）処理が行われる。そして、信号処理部２２０は、サブフレーム１に、シンボル５２を表示させる。この結果、各サブフレームのセンサ画像２５１ａと、センサ画像２５１ｂの特徴部ＣＰを抽出した処理後センサ画像（図示せず）と、シンボル５２とが合成されることにより、１フレーム分の画像情報５０が構成される。

なお、信号処理部２２０は、たとえば動作形態８（図３参照）により表示を行う場合には、センサ画像２５１ａと、センサ画像２５１ｂの特徴部ＣＰを抽出した処理後センサ画像（図示せず）と、シンボル５２とを予め合成した画像情報５０を生成して、各サブフレームに表示する。各サブフレームに表示される画像情報は、各色成分に対応して画素毎の階調のみが異なる。この結果、各サブフレームでＲＢＧの各色成分が合成されることにより、１フレーム分のフルカラーの画像情報５０が構成される。

この結果、夜間や悪天候時にも画像取得が可能な複数の画像センサ２０６を組み合わせて合成することにより、ユーザ（観察者）が肉眼では外界背景を視認できない状況でも外界視認性を向上（補完）することが可能である。

また、第３実施形態では、制御部２０２は、観察者の注視を要する画像情報である特定画像情報２５０を表示させる場合に、現在の表示モードに関わらず、高輝度表示モードにより特定画像情報２５０を表示するように構成されている。特定画像情報２５０は、たとえば、ユーザに対する警告または警戒情報であり、一例としては、予定航路からの方位の逸脱、基準以下の低高度、燃料の残量低下などを通知する情報である。また、視野内の物体（物体のセンサ画像）なども特定画像情報２５０となり得る。このような特定画像情報２５０の表示が必要となった場合、制御部２０２は、信号処理部２２０を動作形態１または４（図３参照）の高輝度表示モードで動作させる。すなわち、複数（３つ）のサブフレームの全てに、同一の特定画像情報２５０を含む画像情報５０が単色で表示される。同一の特定画像情報２５０を含む画像情報５０がシンボル５２のみの場合には、動作形態１（図３参照）で動作し、同一の特定画像情報２５０を含む画像情報５０が画像５１も含む場合には、動作形態４（図３参照）で動作することになる。

なお、図３に示したように、上記動作形態での基本表示色はＧであるが、表示色変更（Ｒ等)や、表示色変更（Ｒ等)かつフラッシングさせて基本色と交互に表示することにより、より注意を喚起することも可能である。

第３実施形態のその他の構成は、上記第１実施形態と同様である。なお、上記第２実施形態の構成に、この第３実施形態の構成を適用してもよい。

第３実施形態では、以下のような効果を得ることができる。

第３実施形態では、上記第１実施形態と同様に、高輝度の表示が必要ない夜間や悪天候時などの場合には、多色／カラー表示モードにより多様な画像表示を行うことができるとともに、高輝度が必要な場合には、高輝度表示モードに切り替えて画像表示を行うことができる。この結果、多色／カラー化による多様な表示（多色／カラー表示モード）のみならず、高輝度環境下でも十分な表示輝度が得られる表示（高輝度表示モード）も実現することができる。

また、第３実施形態では、上記のように、投影面４を通して視認される外界背景と同一方向のセンサ画像２５１を取得するように配置され、かつ、それぞれ異なる特性を有する複数の画像センサ２０６からのセンサ画像信号を取得する信号処理部２２０を設ける。そして、複数の画像センサ２０６により得られた１または複数のセンサ画像２５１を複数のサブフレームに表示させることにより、同一または異なるセンサ画像２５１を合成して表示するように制御部２０２（信号処理部２２０）を構成する。これにより、特性の異なる複数の画像センサ２０６から得られたセンサ画像２５１を、投影面４を通して視認される外界背景に重ねて表示することができるので、特に夜間などの低輝度環境下や、視界が悪化する悪天候下において、肉眼では把握できない投影面４越しの背景をセンサ画像２５１の表示によって補完することが可能となる。これにより、外界の状況が肉眼では把握困難な場合でも、状況把握を容易化することができるようになる。

また、第３実施形態では、上記のように、信号処理部２２０に、画像センサ２０６により得られたセンサ画像２５１に対して、スケーリング処理と、センサ画像２５１の特徴部を抽出する抽出処理および強調処理を含む画像処理とを実施する画像処理部２２１と、複数のセンサ画像２５１の合成処理を行う合成処理部２２２とを設ける。そして、（１）センサ画像２５１、（２）画像処理後の処理後センサ画像２５１、および、（３）合成処理後の合成画像の内からそれぞれのサブフレームに表示する画像を選択して表示することにより、選択された画像を合成して表示するように制御部２０２（信号処理部２２０）を構成する。これにより、特性の異なる複数のセンサ画像２５１に対して、画像処理や合成処理を施して視認性を向上させた上で、表示することができるようになる。この結果、ユーザ（観察者）は、たとえば強調表示された画像情報から、外界での重要な情報を容易に読み取ることができるので、外界の状況把握をより一層容易化することができる。

また、第３実施形態では、上記のように、観察者の注視を要する画像情報５０である特定画像情報を表示させる場合に、現在の表示モードに関わらず、高輝度表示モード（動作形態１または４）により特定画像情報を表示するように制御部２０２を構成する。これにより、注視を要する特定画像情報（注意または警告表示や、視野内の物体など）が発生した場合に、高輝度表示モード（動作形態１または４）によって特定画像情報を容易に認識できるようにすることができる。この結果、ユーザ（観察者）が特定画像情報を見落とすことが抑制されるので、ユーザ（観察者）の利便性をさらに向上させることができる。

第３実施形態のその他の効果は、上記第１実施形態と同様である。

なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれる。

たとえば、上記第１〜第３実施形態では、航空機（飛行機やヘリコプタ）などの上空（空中）を移動する移動体に搭載（または移動体に搭乗する操作者に装着）される表示装置に、本発明を適用した例を示したが、本発明はこれに限られない。本発明では、たとえば、自動車などの陸上移動体や、船舶など水上移動体に搭載される表示装置に本発明を適用してもよい。また、たとえば日常的にユーザに装着される表示装置（ＨＭＤ）に本発明を適用してもよい。本発明は、画像情報を外界背景に重畳して表示させる投影部を備える表示装置であれば、どのような表示装置にも適用可能である。

また、上記第１〜第３実施形態では、ＬＥＤからなる赤色光源１１ａと、緑色光源１１ｂと、青色光源１１ｃとを単一素子に集積したワンチップの発光素子を多色光源として用いる例を示したが、本発明はこれに限られない。本発明では、単一素子に集積せずに、各色の光源を個別に設けることによって多色光源を構成してもよい。たとえば、図９に示す投影部３０１の変形例における多色光源３１０のように、緑色光源１１ｂを単一の素子３１１により構成し、赤色光源１１ａと青色光源１１ｃとを単一の素子３１２により構成してもよい。これらの光源からの表示光は、ダイクロイックミラー３２０によって反射されて表示素子３３０に照射される。また、光源はＬＥＤではなく、レーザ光源などを他の光源を用いてもよいし、複数種類の光源を混在させて用いてもよい。

また、上記第１〜第３実施形態では、表示素子として透過型ＬＣＤを用いる例を示したが、本発明はこれに限られない。本発明では、上記した図９の変形例による投影部３０１のように、反射型ＬＣＤやＭＥＭＳミラーデバイスなどの反射タイプの表示素子を用いてもよい。図９の変形例では、表示素子３３０は、多色光源３１０（素子３１１および３１２）の光出射方向後方に配置される。表示素子３３０は、多色光源３１０からダイクロイックミラー３２０を介して表示素子３３０に照射された各色の光の反射を画素毎に制御することにより、画像形成および階調表現を行うことが可能なように構成されている。そして、表示素子３３０は、ダイクロイックミラー３２０および光学系３を通過させた反射光（画像情報５０を構成する画像光）を投影面４に投影するように構成されている。

また、上記第１〜第３実施形態では、１フレームを６０Ｈｚで表示し、各フレームを３つのサブフレームに時間分割することにより、１８０Ｈｚで多色光源１１および表示素子１２を制御する例を示したが、本発明はこれに限られない。本発明では、１フレームを４以上のサブフレームに分割してもよい。４つのサブフレームに分割する場合には、たとえばＲＧＢの光源の他に、Ｗ（白色）の光源を加えた４色の多色光源を採用することができる。この場合には、表示色数を増やすことにより、フィールドシーケンシャル方式に起因する色割れ（カラーブレーク）の発生を抑制することができる。

この他、たとえば多色光源はＲＧＢの各光源のみにより構成しつつ、１フレームを６以上のサブフレームに分割してもよい。この場合には、カラー表示（動作形態８）では色割れの発生を抑制することができるとともに、低輝度表示モード（動作形態２および５）では光源の発光期間（１サブフレーム分の時間間隔）をより短くすることができるので、より表示輝度を絞り込んだ低輝度表示が可能となる。

また、上記第１〜第３実施形態では、シンボルモードと合成表示モード（シンボル＋画像）とを切り替えるように制御部を構成した例を示したが本発明はこれに限られない。本発明では、用途によっては、画像のみを表示する表示モードを追加してもよい。

また、上記第１〜第３実施形態では、モノクロの高輝度表示モード（動作形態１および４）や低輝度表示モード（動作形態２および５）において、緑色光（Ｇ）で表示する例を示したが、本発明はこれに限られない。各動作形態での表示色は一例であり、表示色変更（Ｒ等)や、表示色変更（Ｒ等)かつフラッシングさせて基本色と交互に表示させてもよい。また、多色表示を２色のみに限定して表示させてもよいし、さらには何色で表示してもよい。多色表示モード（動作形態３、６および７）も同様であり、各サブフレームに表示される画像情報について何色の表示色を割り当てるかは、任意である。

また、上記第１〜第３実施形態では、低輝度表示モード（動作形態２および５）において、３つのサブフレームのうち１つで画像情報５０を表示させるとともに、残りの２つのサブフレームでは画像情報５０を非表示にする例を示したが、本発明はこれに限られない。低輝度表示モードでは、２つのサブフレームで画像情報を表示して、残り１つのサブフレームを非表示としてもよい。

また、上記第１〜第３実施形態では、８つの動作形態を切り替えるように制御部を構成した例を示したが、本発明はこれに限られない。７つ以下の動作形態を切り替えるように構成してもよいし、９つ以上の動作形態があってもよい。本発明では、少なくとも、多色表示モード（動作形態３、６および７）またはカラー表示モード（動作形態８）での動作形態と、単色の高輝度表示モード（動作形態１および４）での動作形態とが、１つずつあればよい。但し、上記第１〜第３実施形態のように８つの動作形態を切り替える構成では、さらにシンボル表示モードおよび合成表示モードと、低輝度表示モードとのそれぞれを組み合わせた表示モードが選択できるので、様々な外界輝度レベルに柔軟に対応した表示が可能であるとともに、ユーザの様々なニーズに対応することが可能な多様な情報表示を行うことができる。

また、上記第２実施形態では、外界輝度レベル（輝度情報）の閾値Ａ〜Ｄに基づいて動作形態の切り替えを行うように制御部を構成した例を示したが、本発明はこれに限られない。本発明では、閾値Ａ〜Ｄ以外の閾値によって動作形態を切り替えてもよい。また、閾値Ａ〜Ｄの他に別の閾値を追加して、輝度情報に応じた切り替え制御をより細分化してもよい。また、たとえば、昼間の外界輝度に相当する高輝度環境下において高輝度表示モードに切り替えるための閾値と、夜間の外界輝度に相当する低輝度環境下において多色／カラー表示モードに切り替えるための閾値との、２種類の閾値のみを用いてもよい。

また、上記第２実施形態では、表示モードと表示色との設定を予め行っておき、できるだけ設定された表示モードでの表示を行うように動作形態を切り替える例を示したが、本発明はこれに限られない。本発明では、表示モードと表示色との設定を行わずに、輝度情報のみに基づいて制御部が表示モード（動作形態）を切り替えてもよい。

また、上記第２実施形態では、外界輝度レベルにより、動作形態の切り替えを行なう例を示したが、本発明はこれに限られない。本発明では、各動作形態での画像情報表示輝度についても外界輝度レベルに対応して変化させる形態としてもよい。

また、上記第３実施形態では、画像センサの例として、低照度センサ、ＩＩカメラ、近赤外カメラおよび遠赤外カメラを示したが、本発明はこれに限られない。本発明では、上記以外の他の画像センサを用いてもよい。

１、３０１ 投影部
２、１０２、２０２ 制御部
３ 光学系
４ 投影面
１１、３１０ 多色光源
１２、３３０ 表示素子
５０ 画像情報
５１ 画像
５２ シンボル
１００、２００、３００ 表示装置
１０５ 輝度検出部
２０６ 画像センサ
２２０ 信号処理部
２５０ 特定画像情報
２５１ センサ画像（画像）
ＣＰ 特徴部
Ｅ 観察者の眼

Claims (9)

1. 多色光源と、表示素子とを含み、観察者の眼の前方に配置されたバイザまたはコンバイナからなる投影面に光学系を介して画像情報を投影し、前記投影面を通して視認される外界背景に前記画像情報を重畳させて表示する投影部と、
   前記画像情報の表示を、１フレーム期間を複数のサブフレームに時間分割して、投影した各サブフレームの表示を合成するフィールドシーケンシャル方式により行うように前記投影部を制御する制御部とを備え、
   前記制御部は、前記複数のサブフレームの少なくとも一部に、互いに異なる表示色の前記画像情報を表示させる多色／カラー表示モードと、前記複数のサブフレームの全てに同一かつ単色の画像情報を表示する高輝度表示モードとを、切り替え可能に構成されている、表示装置。
2. 前記画像情報は、前記投影面を通して視認される外界背景に対応する画像と、前記画像とは異なる情報表示のためのシンボルとを含み、
   前記制御部は、少なくとも前記多色／カラー表示モードについて、前記シンボルのみを表示するシンボル表示モードと、前記画像と前記シンボルとを合成して表示する合成表示モードとに切り替え可能に構成されている、請求項１に記載の表示装置。
3. 前記制御部は、前記合成表示モードにおいて、前記画像と前記シンボルとを別々の前記サブフレームで表示して重畳させることにより、前記画像と前記シンボルとを合成表示させるように構成されている、請求項２に記載の表示装置。
4. 前記制御部は、外界の輝度を検出する輝度検出部により検出された輝度情報に基づいて、少なくとも前記多色／カラー表示モードと前記高輝度表示モードとを切り替えるように構成されている、請求項１〜３のいずれか１項に記載の表示装置。
5. 前記制御部は、前記輝度検出部により検出された輝度情報に基づき、少なくとも昼間の外界輝度に相当する高輝度環境下において前記高輝度表示モードで前記画像情報を表示させるとともに、夜間の外界輝度に相当する低輝度環境下において前記多色／カラー表示モードで前記画像情報を表示させるように構成されている、請求項４に記載の表示装置。
6. 前記制御部は、前記複数のサブフレームの一部で前記画像情報を表示させるとともに、前記複数のサブフレームの残りの一部では前記画像情報を非表示にする低輝度表示モードにも切り替え可能に構成されている、請求項１〜５のいずれか１項に記載の表示装置。
7. 前記投影面を通して視認される外界背景と同一方向のセンサ画像を取得するように配置され、かつ、それぞれ異なる特性の複数の画像センサからのセンサ画像信号を取得する信号処理部をさらに備え、
   前記制御部は、前記複数の画像センサにより得られた１または複数の前記センサ画像を前記複数のサブフレームに表示させることにより、同一または異なる前記センサ画像を合成して表示するように構成されている、請求項１〜６のいずれか１項に記載の表示装置。
8. 前記信号処理部は、前記画像センサにより得られた前記センサ画像に対して、表示画素数に対応したサイズにスケーリングする処理と、前記センサ画像の特徴部を抽出する抽出処理および抽出した前記特徴部を強調する強調処理を含む画像処理と、複数の前記センサ画像の合成処理とを行うように構成され、
   前記制御部は、少なくとも、前記センサ画像、画像処理後の処理後センサ画像、および、合成処理後の合成画像の内からそれぞれの前記サブフレームに表示する画像を選択して表示することにより、選択された画像を合成して表示するように構成されている、請求項７に記載の表示装置。
9. 前記制御部は、観察者の注視を要する前記画像情報である特定画像情報を表示させる場合に、現在の表示モードに関わらず、前記高輝度表示モードにより前記特定画像情報を表示するように構成されている、請求項１〜８のいずれか１項に記載の表示装置。

Images