JP2011158547A - 映像表示装置 - Google Patents

Abstract

【課題】外界像と映像とが同系色である場合でも、見やすい映像を表示する。
【解決手段】映像を表示し、表示した映像を表す光量可変の光を供給する映像表示部１１と、映像表示部からの映像を表す光と外界からの光を重ねて観察者の眼に導き、外界の像に重ねて映像を提供するコンバイナ１５と、映像表示部からコンバイナまでの映像を表す光の光路上に位置して、提供する映像を拡大する拡大光学系１４と、コンバイナに至る外界からの光を減弱させ、光を減弱させる度合いが可変の外界光減弱部１６と、映像表示部の映像表示エリアを含む画角を有し、映像表示エリアの背景部を測光エリアとする撮像部１７と、外界像と映像とが同系色である場合に、映像に可視性を高める画像処理を施す画像処理部３４と、を備える。
【選択図】図２

Description

本発明は、外界を観察可能にすると共に、表示した映像を観察する外界の像に重ねて観察者に視認させる映像表示装置に関する。

映像を表示する表示部を観察者の頭部に固定し、映像と共に外界像も観察できるようにした映像表示装置が普及しつつある。
外界像の上に映像を重ねて表示する映像表示装置では、外界の明るさによっては、映像の観察が困難になるという問題があった。
そこで、液晶シャッターの透過光量の調節と、透過型液晶のバックライト光源の発光輝度の調節とを連動させて行うことにより、外界像と映像を良好に観察することができる映像表示装置が提案されている（例えば、特許文献１参照。）。

特開２００６−１５４４３７号公報

しかし、特許文献１に記載の発明においては、外界像と映像とが同系色である場合に、外界像と映像との区別がつきにくく、映像の観察が困難になるという問題があった。

そこで、本発明は、上記課題を解決するためになされたものであり、外界像と映像とが同系色である場合でも、見やすい映像を表示することができる映像表示蔵置を提供することを目的とする。

本発明は、映像表示装置であって、
映像を表示し、表示した映像を表す光量可変の光を供給する映像表示部と、
前記映像表示部からの映像を表す光と外界からの光を重ねて観察者の眼に導き、外界の像に重ねて映像を提供するコンバイナと、
前記映像表示部から前記コンバイナまでの映像を表す光の光路上に位置して、提供する映像を拡大する拡大光学系と、
前記コンバイナに至る外界からの光を減弱させ、光を減弱させる度合いが可変の外界光減弱部と、
前記映像表示部の映像表示エリアを含む画角を有し、前記映像表示エリアの背景部を測光エリアとする撮像部と、
外界像と映像とが同系色である場合に、前記映像に可視性を高める画像処理を施す画像処理部と、
を備えることを特徴としている。

また、本発明に係る映像表示装置は、
前記映像表示部を制御して、提供する映像の輝度を調節する映像輝度調節部と、
前記外界光減弱部を制御して、外界像の輝度を調節する外界像輝度調節部と、
前記映像輝度調節部と前記外界像輝度調節部とを連動して制御する連動制御部と、
を備えることを特徴としている。

また、本発明に係る映像表示装置は、
各画素における前記外界像のＲＧＢと前記映像のＲＧＢの差によって外界像と映像とが同系色であるか否かを判定する色判定部を備えることを特徴としている。

また、本発明に係る映像表示装置は、
前記画像処理部による映像の画像処理は、エッジ強調であることを特徴としている。

また、本発明に係る映像表示装置は、
前記画像処理部は、
カレントフレームとその直前のフレームのうち、双方のフレームにおいて外界像と映像とが同系色である場合に、映像に第１の画像処理を施し、
カレントフレームとその直前のフレームのうち、一方のフレームのみにおいて外界像と映像とが同系色である場合に、映像に第２の画像処理を施すことを特徴としている。

また、本発明に係る映像表示装置は、
前記第２の画像処理は前記第１の画像処理よりも弱めに映像を画像処理することを特徴としている。

本発明によれば、外界像と映像とが同系色である場合でも、見やすい映像を表示することができる。

映像表示装置の構成を示す外観斜視図。 映像表示装置の構成を示すブロック図。 映像と外界像の輝度調節処理の流れを示すフローチャート。 映像のエッジ強調処理の流れを示すフローチャート。

以下、本発明に係る映像表示装置の実施形態について図面を参照しながら説明する。
＜映像表示装置の構成＞
図１、図２に示すように、映像表示装置１００は、使用者（観察者）が映像を見るための本体１、バックエンド２を備えている。
本体１は、眼鏡のように耳にかけて使用し、耳にかけた際に映像の表示部分が使用者の目の前に位置する。
バックエンド２は、箱状に形成され、衣服のポケット等に入れて使用する。
本体１とバックエンド２は、両者間で信号をやりとりするケーブルＣによって接続されている。

（本体）
本体１は、フレーム１０、液晶表示素子１１、光源１２、集光レンズ１３、接眼光学系１４、ハーフミラー１５、液晶シャッター１６、カメラ１７、マイク１８、イヤホン１９を備えている。
フレーム１０は、眼鏡フレームと同様の形状に形成されており、平面視コ字状に形成されている。フレーム１０の両端部は互いに対向するように形成されており、一端部が左側のこめかみから耳にわたって、他端部が右側のこめかみから耳にわたって係止される。

液晶表示素子１１は、フレーム１０の内部に設けられている。液晶表示素子１１は、バックエンド２から送信される映像信号に基づいて映像を表示して、与えられる照明光を表示した映像によって変調することにより映像を表す光とする変調型の映像表示素子である。すなわち、液晶表示素子１１は、映像表示部として機能する。ここでは、液晶表示素子１１として、照明光を透過させつつ変調する透過型のものを採用している。
光源１２は、フレーム１０の内部に設けられている。光源１２は、発光ダイオードより成り、液晶表示素子１１に与える照明光を発する。
集光レンズ１３は、フレーム１０の内部に設けられている。集光レンズ１３は、光源１２からの照明光を略平行光束として液晶表示素子１１に導く。

接眼光学系１４は、フレーム１０の内部に設けられている。接眼光学系１４は、レンズより成り、液晶表示素子１１からの映像を表す光（以下、映像光という）Ｌ１を使用者（観察者）の眼Ｅに導いて、液晶表示素子１１が表示した映像の拡大虚像を提供する。すなわち、接眼光学系１４は、液晶表示素子１１からハーフミラー１５までの映像を表す光の光路上に位置して、提供する映像を拡大する拡大光学系として機能する。
ハーフミラー１５は、フレーム１０を装着した際に、使用者（観察者）の一方の眼に対向する位置に設けられている。ハーフミラー１５は、接眼光学系１４を経た液晶表示素子１１からの映像光Ｌ１を反射して眼Ｅに導くとともに、外界からの光（以下、外界光という）Ｌ２を透過させて眼Ｅに導く。ハーフミラー１５は、映像光Ｌ１と外界光Ｌ２を重ねて観察者の眼Ｅに導くコンバイナとして機能し、観察者の眼Ｅには、外界像に重ねて映像が提供される。

液晶シャッター１６は、外界光Ｌ２を透過させて、ハーフミラー１５に導く。液晶シャッター１６の透過率は、印加電圧に依存し、印加電圧を変えることで調節することができる。すなわち、液晶シャッター１６は、ハーフミラー１５に至る外界光を減弱させることができ、印加電圧によりその度合いが可変となった外界光減弱部として機能する。液晶シャッター１６としては、偏光板とＴＮ液晶や強誘電液晶を組み合わせたもの、あるいはゲストホスト液晶等を用いることができる。
カメラ１７は、フレーム１０におけるハーフミラー１５の上方に設けられている。すなわち、カメラ１７は、映像表示装置１００を装着した際に使用者の視界と同じ方向に画角を有するように配置されている。カメラ１７は、ハーフミラー１５における液晶表示素子１１の映像表示エリアを含む画角を有し、映像表示エリアの背景部を測光エリアとしている。すなわち、カメラ１７は、撮像部として機能する。
マイク１８、イヤホン１９は、フレーム１０の表面に設けられており、映像の送信元の管理者と本体１の装着者との間で連絡を取ることができる。すなわち、マイク１８は、本体１を装着した際に使用者の口に近い位置に、イヤホン１９は、本体１を装着した際に使用者の耳に近い位置に設けられている。

なお、液晶表示素子１１は透過型を採用しているが、照明光を反射しつつ変調する反射型を採用することも可能である。
また、接眼光学系１４としてレンズを採用しているが、レンズ以外の光学的パワーを有する素子、例えば凹面ミラー、回折格子等を用いて接眼光学系を構成してもよい。
また、提供する映像はモノクロームとすることも、カラーとすることも可能である。モノクロームの映像を提供する場合は、光源１２として単色光を発する発光ダイオードを用いればよい。カラーの映像を提供する場合は、光源１２としてそれぞれ赤色光、緑色光、青色光を発する３種の発光ダイオードを用いるとともに、液晶表示素子１１の各画素に赤色光、緑色光、青色光を選択的に透過させるカラーフィルターを備えればよい。

（バックエンド）
バックエンド２は、制御部３、操作部４を備えている。
制御部３は、映像輝度調節部３１、外界像輝度調節部３２、連動制御部３３、画像処理部３４、色判定部３５を備えている。
映像輝度調節部３１は、光源１２の発光輝度を制御する。眼Ｅに提供する映像の輝度は、映像光Ｌ１の量に依存し、映像光の量は液晶表示素子１１に与える照明光の量に依存するから、映像輝度調節部３１が光源１２の発光輝度を制御することで、映像の輝度を調節することができる。
外界像輝度調節部３２は、液晶シャッター１６の印加電圧の制御を介して液晶シャッター１６の透過率を制御する。外界像の輝度は、液晶シャッター１６を透過する外界光Ｌ２の量に依存するから、外界像輝度調節部３２が液晶シャッター１６の透過率を制御することで、外界像の輝度を調節することができる。
連動制御部３３は、映像輝度調節部３１と外界像輝度調節部３２とを連動して制御して、提供する映像と外界像の輝度を調節する。

画像処理部３４は、カメラ１７によって撮像された外界像と映像が同系色である場合に、映像に可視性を高める画像処理を施す。具体的には、画像処理部３４は、画像処理としてエッジ強調処理を行う。エッジ強調処理は、既に知られている一般的な手法で良く、その手法に何ら制限はない。
画像処理部３４は、カレントフレームとその直前のフレームのうち、双方のフレームにおいて外界像と映像とが同系色である場合に、映像に高レベルのエッジ強調処理（強めのエッジ強調：第１の画像処理）を施す。
画像処理部３４は、カレントフレームとその直前のフレームのうち、一方のフレームのみにおいて外界像と映像とが同系色である場合に、映像に低レベルのエッジ強調処理（弱めのエッジ強調：第２の画像処理）を施す。

色判定部３５は、外界像と映像が同系色であるか否かを判定する。色判定部３５による外界像と映像が同系色であるか否かの判断は、例えば、以下のように行う。液晶表示素子１１の背景部のＲＧＢ値と、映像のＲＧＢ値とを画素ごとに比較し、Ｒ、Ｇ、Ｂのいずれの値も、その差が±２０以内である場合に、その画素を同系色画素であると判断する。そして、同系色画素の数が映像の全画素数の５０％以上である場合に、外界像と映像とが同系色であると判断する。この判定基準は、自由に変更することができ、映像表示装置を用いる環境に応じて同系色の範囲を変更することができる。

操作部４は、使用者によって操作されるダイヤル式またはスライド式の操作部材を含み、操作部材の操作量（回転量または移動量）を連動制御部３３に伝達する。連動制御部３３は、操作部材の操作量に応じて提供する映像の輝度を設定する。したがって、使用者は、操作部４を介して、映像の輝度を指定することができる。
バックエンド２には、映像の送信元の管理者から作業指示等に関する映像を受信するための通信部（図示略）が備えられている。通信部は、制御部３による通信制御の下、管理者から映像を受信するほか、カメラ１７で撮像した外界像を管理者の端末に送信することができる。
バックエンド２と管理者の端末とは、通信部により無線接続されている。通信方法は自由であり、使用環境に応じて適宜変更が可能である。

＜映像の輝度調節＞
図３に示すように、映像表示装置１００においては、外界の明るさによらず、映像を観察しやすくするための処理が行われる。
制御部３は、カメラ１７から外界像の輝度情報を取得する（ステップＳ１）。このときの測光エリアは、ハーフミラー１５から視認できる映像表示エリアの背景部である。
次に、その輝度情報に基づいて、連動制御部３３が、映像輝度調節部３１と外界像輝度調節部３２の制御を行う（ステップＳ２）。外界像輝度調節部３２は液晶シャッター１６、映像輝度調節部３１は光源１２をそれぞれ調節する。

具体的には、提供される映像の輝度と外界像の輝度の差が大きい場合には、使用者は操作部４を操作し、映像の輝度を変えて、輝度差を小さくすることができる。これにより、外界像が暗いときでも明るいときでも、映像を観察することが容易になり、また、眼の疲労も招きにくくなる。
ただし、外界像がきわめて明るいとき、それに応じて映像の輝度を高めると、映像は観察し易くなるものの、眼は疲労し易くなる。これを防止するために、連動制御部３３は、提供する映像の輝度に上限を設けておき、操作部４の操作により上限値を超える輝度が指定されたときは、映像の輝度を上限値に保ったまま、液晶シャッター１６の透過率を低下させて、外界像の輝度を低下させる。これで、映像と外界像の輝度差が小さくなって、映像の観察が容易になり、眼の疲労も少なくなる。

＜映像の画像処理＞
図４に示すように、前フレーム（現在のフレームの直前のフレーム）の同系色フラグをfalseで初期化する（ステップＳ１１）。このフラグは、前フレームにおいて、外界像と映像とが同系色であったか否かを示すフラグである。
次に、制御部３は、カメラ１７により撮像された画像から外界像の色情報を取得する（ステップＳ１２）。

次に、色判定部３５は、ステップＳ２で取得した色情報からカレントフレーム（現在のフレーム）の外界像と映像とが同系色であるか否かを判定する（ステップＳ１３）。
ここで、制御部３による外界像と映像が同系色であるか否かの判定は、映像のＲＧＢ値と、当該映像の背景部のＲＧＢ値とを画素毎に比較して行う。そして、Ｒ、Ｇ、Ｂのいずれの値も、その差が±２０以内であるかどうかを判定し、差が±２０以内である場合にその画素を同系色画素であると判断する。このように画素毎に比較し、同系色と判定した画素の数が映像の全画素数の５０％以上である場合に、外界像と映像とが同系色であると判定する。

ステップＳ１３において、制御部３は、カレントフレームの映像と外界像が同系色であると判定した場合（ステップＳ１３：ＹＥＳ）、制御部３は、前フレームの同系色フラグの値がfalseかtrueかを判定する（ステップＳ１４）。

ステップＳ１４において、制御部３は、前フレームの同系色フラグがtrueであると判定した場合（ステップＳ１４：true）、すなわち、前フレームとカレントフレームのどちらにおいても、外界像と映像とが同系色である場合、画像処理部３４は、映像に高レベル（強め）のエッジ強調を施し（ステップＳ１５）、液晶表示素子１１に映像を表示する（ステップＳ１９）。

ステップＳ１４において、制御部３は、前フレームの同系色フラグがfalseであると判定した場合（ステップＳ１４：false）、すなわち、前フレームでは外界像と映像とが同系色でなかったが、カレントフレームでは同系色である場合、画像処理部３４は、映像に低レベル（弱め）のエッジ強調を施し（ステップＳ１６）、液晶表示素子１１に映像を表示する（ステップＳ１９）。

ステップＳ１３において、制御部３は、カレントフレームの映像と外界像が同系色でないと判定した場合（ステップＳ１３：ＮＯ）、制御部３は、前フレームの同系色フラグの値がfalseかtrueかを判定する（ステップＳ１７）。

ステップＳ１７において、制御部３は、前フレームの同系色フラグがtrueであると判定した場合（ステップＳ１７：true）、すなわち、前フレームでは外界像と映像とが同系色であったが、カレントフレームでは同系色でなくなった場合、画像処理部３４は、映像に低レベル（弱め）のエッジ強調を施し（ステップＳ１６）、液晶表示素子１１に映像を表示する（ステップＳ１９）。

ステップＳ１７において、制御部３は、前フレームの同系色フラグがfalseであると判定した場合（ステップＳ１７：false）、すなわち、前フレームとカレントフレームのどちらにおいても、外界像と映像とが同系色でない場合、画像処理部３４は、映像にエッジ強調は施さず（ステップＳ１８）、液晶表示素子１１に映像を表示する（ステップＳ１９）。

＜作用・効果＞
以上のように、映像表示装置１００によれば、外界像と映像とが同系色である場合には、映像の視認が困難になるが、画像処理部３４が映像に可視性を高めるエッジ強調処理を施すことにより、外界像と映像の境界が鮮明となり、外界像と映像とが同系色であっても見やすい映像を表示することができる。
また、映像表示装置１００は、映像輝度調節部３１、外界像輝度調節部３２、連動制御部３３を備えることにより、外界像の明るさに応じて映像を見やすくすることもできる。
また、制御部３は、色判定部３５を備えることにより、同系色であるか否かの判定を定量的に行うことができる。
また、画像処理部３４は、公知のエッジ強調処理によって映像と外界像を区別することができるので、特殊な画像処理を必要とせず、容易に行うことができる。
また、画像処理部３４は、カレントフレームとその直前のフレームのうち、双方のフレームにおいて外界像と映像とが同系色である場合に、映像に高レベルのエッジ強調処理（強め）を施し、カレントフレームとその直前のフレームのうち、一方のフレームのみにおいて外界像と映像とが同系色である場合に、映像に低レベルのエッジ強調処理（弱め）を施すので、使用者が首を動かすなどして、外界像と映像とが同系色である場合から、同系色でない場合へと急に遷移した場合でも、自然に表示する映像を変化させることができる。これにより、映像のちらつき等を防止することができ、眼の疲労を抑制することができる。

なお、本発明は、上記実施形態に限られるものではなく、発明の本質的部分を変更しない範囲内で自由に設計変更が可能である。
上記実施形態においては、エッジ強調の度合いを高レベル・低レベル・エッジ強調なしの３段階としたが、さらに細かくレベルを設定し、例えば、同系色画素の数に応じて、連続的にエッジ強調の度合いを変化させてもよい。
また、色判定部による同系色の判定基準も自由に変更可能である。
また、画像処理部による映像の画像処理は、エッジ強調に限らず、映像と外界像との境界の可視性を高める処理であればどのような処理であってもよい。
また、上記実施形態においては、液晶表示素子、光源、集光レンズ、接眼光学系は、本体に内蔵されているが、これらをバックエンドに設けてもよい。

１１ 液晶表示素子（映像表示部）
１４ 接眼光学系（拡大光学系）
１５ ハーフミラー（コンバイナ）
１６ 液晶シャッター（外界光減弱部）
１７ カメラ（撮像部）
３１ 映像輝度調節部
３２ 外界像輝度調節部
３３ 連動制御部
３４ 画像処理部
３５ 色判定部
１００ 映像表示装置

Claims (6)

1. 映像を表示し、表示した映像を表す光量可変の光を供給する映像表示部と、
   前記映像表示部からの映像を表す光と外界からの光を重ねて観察者の眼に導き、外界の像に重ねて映像を提供するコンバイナと、
   前記映像表示部から前記コンバイナまでの映像を表す光の光路上に位置して、提供する映像を拡大する拡大光学系と、
   前記コンバイナに至る外界からの光を減弱させ、光を減弱させる度合いが可変の外界光減弱部と、
   前記映像表示部の映像表示エリアを含む画角を有し、前記映像表示エリアの背景部を測光エリアとする撮像部と、
   外界像と映像とが同系色である場合に、前記映像に可視性を高める画像処理を施す画像処理部と、
   を備えることを特徴とする映像表示装置。
2. 前記映像表示部を制御して、提供する映像の輝度を調節する映像輝度調節部と、
   前記外界光減弱部を制御して、外界像の輝度を調節する外界像輝度調節部と、
   前記映像輝度調節部と前記外界像輝度調節部とを連動して制御する連動制御部と、
   を備えることを特徴とする請求項１に記載の映像表示装置。
3. 各画素における前記外界像のＲＧＢと前記映像のＲＧＢの差によって外界像と映像とが同系色であるか否かを判定する色判定部を備えることを特徴とする請求項１又は２に記載の映像表示装置。
4. 前記画像処理部による映像の画像処理は、エッジ強調であることを特徴とする請求項１〜３のいずれか一項に記載の映像表示装置。
5. 前記画像処理部は、
   カレントフレームとその直前のフレームのうち、双方のフレームにおいて外界像と映像とが同系色である場合に、映像に第１の画像処理を施し、
   カレントフレームとその直前のフレームのうち、一方のフレームのみにおいて外界像と映像とが同系色である場合に、映像に第２の画像処理を施すことを特徴とする請求項１〜４のいずれか一項に記載の映像表示装置。
6. 前記第２の画像処理は前記第１の画像処理よりも弱めに映像を画像処理することを特徴とする請求項５に記載の映像表示装置。

Images