JP2015023381A - 透過型表示装置および透過型表示装置の制御方法 - Google Patents

Abstract

【課題】使用者の煩わしい操作を必要とすることなく、適切な画面輝度でコンテンツを表示可能な透過型表示装置および透過型表示装置の制御方法を提供する。
【解決手段】使用者に対しコンテンツを虚像として視認させる頭部装着型表示装置ＨＭであって、所定の表示領域にコンテンツを表示する表示部４０と、コンテンツの背景色および使用環境輝度を判定し、それらの判定結果に応じて、表示領域の輝度を調整する制御部３０と、を備える。
【選択図】図４

Description

本発明は、使用者に対しコンテンツを虚像として視認させる透過型表示装置および透過型表示装置の制御方法に関するものである。

従来、透過型表示装置の一種として、眼鏡形状の透過型ディスプレイを頭部に装着して用いる頭部装着型表示装置（ヘッドマウントディスプレイ（Head Mounted Display：ＨＭＤ））が知られている。例えば、非特許文献１の頭部装着型表示装置は、視聴するコンテンツや使用環境輝度に合わせて、手動で画面輝度を調節可能となっている。使用者は、暗い背景色の電子書籍を読む場合、虚像が表示される虚像表示領域越しの外界が良く見えることにより、文字情報が見えづらくなるため、画面輝度を上げるように調節する。逆に、明るい背景色の電子書籍を読む場合は、虚像表示領域越しの外界があまり見えないことにより、文字情報が鮮明に見えるため、画面輝度を下げるように調節する。

See−Through Mobile Viewer MOVERIO BT−100 User‘s Guide エプソン販売株式会社 セイコーエプソン株式会社 第１２頁（http://dl.epson.jp/support/manual/data/moverio/bt100/U_GUIDE_BT100.PDF）

ところが、従来の頭部装着型表示装置では、使用者が手動で画面輝度を調節する必要があるため、操作が面倒であった。また、近年では、頭部装着型表示装置にマニュアルや作業指示情報等を表示するなど、業務用途としての使用が注目されているが、作業中に輝度調節を行うのは、煩わしいばかりでなく作業ミスの原因ともなるため、改善が望まれている。

本発明は、上記の問題に鑑み、使用者の煩わしい操作を必要とすることなく、適切な画面輝度でコンテンツを表示可能な透過型表示装置および透過型表示装置の制御方法を提供することを目的とする。

本発明の透過型表示装置は、使用者に対しコンテンツを虚像として視認させる透過型表示装置であって、所定の表示領域にコンテンツを表示する表示部と、コンテンツの背景色を判定する背景色判定部と、コンテンツの背景色に応じて、表示領域の輝度を調整する輝度調整部と、を備えたことを特徴とする。

本発明の透過型表示装置の制御方法は、使用者に対しコンテンツを虚像として視認させる透過型表示装置の制御方法であって、コンテンツの背景色を判定する判定ステップと、コンテンツの背景色に応じて、コンテンツを表示する表示領域の輝度を調整する輝度調整ステップと、を実行することを特徴とする。

本発明の構成によれば、コンテンツの背景色に応じて、コンテンツを表示する表示領域（画面）の輝度を調整するため、コンテンツの背景色が暗い場合でも、文字や画像が見えづらくなることがない。また、使用者の煩わしい操作を必要とすることなく、常に適切な画面輝度でコンテンツを表示することができるため、透過型表示装置を業務用途で用いる場合でも、使用者の作業負荷および作業ミスの軽減を図ることができる。
なお、「コンテンツの背景色」とは、コンテンツの背景色に起因する色相、輝度、明度、彩度などを含む概念である。
また、表示領域の輝度調整は、表示部を照射する光源（バックライト）の輝度を可変することにより行っても良いし、光変調器に対してシャッターをかけるなどの処理を行うことにより行っても良い。
また、「コンテンツ」とは、静止画像コンテンツの場合の１画像データ、動画像コンテンツの場合の１フレームデータまたはフレームデータの集合体、書籍コンテンツの場合の１ページデータまたはページデータの集合体、などを指す。したがって、例えば書籍コンテンツの場合、ページデータごとに背景色を判定して輝度調整を行っても良いし、任意の１ページにおける背景色の判定結果に応じて、コンテンツ内全てのページデータに対する輝度調整を行っても良い。

上記の透過型表示装置において、使用環境輝度を判定する使用環境輝度判定部をさらに備え、輝度調整部は、使用環境輝度に応じて、表示領域の輝度を調整することを特徴とする。

本発明の構成によれば、使用環境輝度によらず、常に適切な画面輝度でコンテンツを表示することができる。例えば、明るい使用環境では、画面輝度を上げる調整を行い、暗い使用環境では、画面輝度を下げる調整を行う（または画面輝度を変化させない）ことが考えられる。
なお、検出部は、撮像センサー（カメラ）や輝度センサーにより、使用者の周囲（前方）における使用環境輝度を検出しても良い。また、ＧＰＳ（Global Positioning System）技術やＲＦＩＤ(radio frequency identification)技術などを用いて、使用者の現在位置または作業部屋を判定し、その判定結果から使用環境輝度を特定しても良い。
また、使用環境輝度として、透過型表示装置周辺の環境照度（透過型表示装置の表示面に照射される光の量）を判定しても良い。
また、使用環境輝度として、使用者が居る場所の照度だけでなく、視点の照度（使用者の視点の先の照度）を判定し、両方の判定結果に応じて、表示領域の輝度を調整しても良い。この構成によれば、室内から明るい室外を見ているとき、室内のみで使用しているときなどの使用状況に応じて、より最適な画面輝度に調整できる。

上記の透過型表示装置において、コンテンツは、書籍コンテンツであり、背景色判定部は、書籍コンテンツのテキスト領域における背景色を判定することを特徴とする。

本発明の構成によれば、電子書籍の背景色によって文字が見えづらくなる問題を解消できる。
なお、電子書籍が文庫本など文書中心の書籍の場合、テキスト領域＝ページ領域として、書籍の背景色（紙の地色）を判定しても良い。また、判定方法としては、例えば電子書籍のフォーマットが、背景色を情報として指定する形式の場合（ＨＴＭＬなど）、その情報に基づいて背景色を判定すれば良い。また、ＰＤＦなど画像形式のフォーマットの場合、画像解析によりテキスト領域を抽出し、当該テキスト領域の画素情報に基づいて背景色を判定すれば良い。
なお、コンテンツを格納するフレームメモリーに複数のフレームが存在する場合（３Ｄコンテンツの場合や動画像コンテンツの場合など）、その中の１フレームについて背景色を判定しても良い。また、透過型表示装置に表示される画像光をＣＣＤセンサー等で読み取ることにより、背景色を判定しても良い。

上記の透過型表示装置において、テキスト領域における文字色を判定する文字色判定部をさらに備え、輝度調整部は、文字色に応じて、表示領域の輝度を調整することを特徴とする。

本発明の構成によれば、テキスト領域の背景色だけでなく文字色に応じて、より適切な画面輝度でコンテンツを表示することができる。例えば、背景色が暗い場合でも、文字色によっては画面輝度を上げない、などの方法が考えられる。

上記の透過型表示装置において、背景色判定部は、コンテンツ中において最も出現頻度の高い色を、コンテンツの背景色として判定することを特徴とする。

本発明の構成によれば、電子書籍のフォーマットが、背景色を情報として指定する形式ではない場合でも、簡単な画像解析により、コンテンツの背景色を判定することができる。

上記の透過型表示装置において、背景色判定部は、コンテンツから、所定範囲以上の同色領域を検出し、当該同色領域の色を、コンテンツの背景色として判定することを特徴とする。

本発明の構成によれば、電子書籍のフォーマットが、背景色を情報として指定する形式ではない場合でも、簡単な画像解析により、コンテンツの背景色を判定することができる。
なお、「所定範囲以上の同色領域を検出する」とは、例えば液晶表示装置の場合、所定個以上連続する同色の画素を検出することを指す。

上記の透過型表示装置において、コンテンツは、書籍コンテンツであり、背景色判定部は、書籍コンテンツの所定ページにおける所定位置のデータを検出し、当該データの色を、コンテンツの背景色として判定することを特徴とする。

本発明の構成によれば、文庫本など文書中心の書籍コンテンツの場合、表紙以外は、同じ紙色であることが多いため、所定ページにおける所定位置のデータ（液晶表示装置の場合は、画素）を検出することで、正確に背景色を判定することができる。

上記の透過型表示装置において、表示部に入射される外光の透過率を調整する透過率調整部をさらに備え、透過率調整部は、コンテンツの背景色に応じて、外光の透過率を調整することを特徴とする。

本発明の構成によれば、コンテンツの背景色に応じて、外光の透過率を調整するため、コンテンツの背景色が暗い場合でも、より文字や画像を見やすくすることができる。例えば、コンテンツの背景色が暗い場合は、透過率を下げる調整を行い、文字や画像を見やすくすることが考えられる。
なお、コンテンツの背景色だけでなく、使用環境輝度や文字色に応じて、外光の透過率を調整しても良い。また、透過率を可変する手段としては、例えば、表示部の前面（使用者側とは逆側）に電子シェードを取り付けることが考えられる。

上記の透過型表示装置において、表示部は、右目用透過表示部および左目用透過表示部を含み、輝度調整部は、右目用透過表示部により表示可能な右目用表示領域の輝度と、左目用透過表示部により表示可能な左目用表示領域の輝度を、それぞれ独立して調整することを特徴とする。

本発明の構成によれば、ヘッドマウントディスプレイなど、右目用透過表示部および左目用透過表示部を有する透過型表示装置に本発明を適用した場合、右目用表示領域と左目用表示領域の輝度を独立して調整可能であるため、使用者（個人）の目の特性（左右の目の個体差、左右の視力差等）に応じて、適切な調整を行うことができる。

本発明の一実施形態に係る頭部装着型表示装置の外観斜視図である。 （ａ）は、暗い背景を有するコンテンツの一例を示す図であり、（ｂ）は、頭部装着型表示装置による当該コンテンツの表示例を示す図である。 （ａ）は、明るい背景を有するコンテンツの一例を示す図であり、（ｂ）は、頭部装着型表示装置による当該コンテンツの表示例を示す図である。 頭部装着型表示装置の機能構成を示すブロック図である。 表示制御部の詳細ブロック図である。 変形例４に係る背景色判定方法の説明図である。 変形例５に係る表示制御部の詳細ブロック図である。

以下、添付の図面を参照し、本発明の一実施形態に係る透過型表示装置および透過型表示装置の制御方法について説明する。図１は、本発明の透過型表示装置を適用した頭部装着型表示装置ＨＭの外観斜視図である。頭部装着型表示装置ＨＭは、使用者が頭部に装着するものであり、ヘッドマウントディスプレイ（Head Mounted Display：ＨＭＤ）とも呼ばれる。本実施形態の頭部装着型表示装置ＨＭは、使用者が虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置ＨＭ（透過型頭部装着型表示装置、シースルータイプ・ヘッドマウントディスプレイ）であり、眼鏡形状を有している。

頭部装着型表示装置ＨＭは、右保持部１１と、右表示駆動部１２と、左保持部１３と、左表示駆動部１４と、右光学像表示部１５と、左光学像表示部１６と、撮像センサー１７（検出部）とを有している。

右光学像表示部１５および左光学像表示部１６は、頭部装着型表示装置ＨＭの装着時における使用者の右および左の眼前に対応する位置に配置されている。右光学像表示部１５の一端と、左光学像表示部１６の一端は、それぞれ頭部装着型表示装置ＨＭの装着時における使用者の眉間に対応する位置で接続されている。右光学像表示部１５の他端である端部ＥＲからは、右保持部１１が延伸している。同様に、左光学像表示部１６の他端である端部ＥＬからは、左保持部１３が延伸している。

右保持部１１は、右光学像表示部１５の端部ＥＲから頭部装着型表示装置ＨＭの装着時における使用者の側頭部に対応する位置にかけて、右光学像表示部１５とほぼ直角を成すように延伸して設けられた部材である。同様に、左保持部１３は、左光学像表示部１６の端部ＥＬから頭部装着型表示装置ＨＭの装着時における使用者の側頭部に対応する位置にかけて、左光学像表示部１６とほぼ直角を成すように延伸して設けられた部材である。右保持部１１と、左保持部１３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に頭部装着型表示装置ＨＭを保持する。

右表示駆動部１２は、右保持部１１の内側、換言すれば頭部装着型表示装置ＨＭの装着時における使用者の頭部に対向する側であって、右光学像表示部１５の端部ＥＲ側に配置されている。また、左表示駆動部１４は、左保持部１３の内側であって、左光学像表示部１６の端部ＥＬ側に配置されている。

撮像センサー１７は、頭部装着型表示装置ＨＭの装着時における使用者の眉間に対応する位置に配置されている。撮像センサー１７は、頭部装着型表示装置ＨＭを装着した状態における使用者の視界方向（使用者の前方）における外景を撮像する。本実施形態では、この撮像センサー１７により撮像された撮像画像から、使用環境輝度を検出する。また、撮像センサー１７は、使用者の操作を判定するためにも用いられる。頭部装着型表示装置ＨＭは、撮像画像から使用者が操作する指示体を認識し、操作信号を生成する。指示体としては、例えば、使用者の指先、使用者が装着する指輪型入力装置、使用者が持つペンのペン先、リモコンの発光体等を用いる。なお、撮像センサー１７による撮像範囲は、頭部装着型表示装置ＨＭを装着したときの使用者の視界２１（図２，３参照）よりも広い範囲であることが好ましい。

なお、本実施形態では、１つの撮像センサー１７を備えた構成を例示しているが、複数の撮像センサー１７を備えた構成でも良い。また、検出手段は、撮像センサー１７に限らず、使用環境輝度を検出したり指示体を検出したりできるものであればその種類は問わない。例えば、使用環境輝度検出用として、輝度センサーや照度センサーを用いたり、指示体検出用として、レーザーセンサーや超音波センサーを用いてもよい。

頭部装着型表示装置ＨＭは、さらに、右耳用の右イヤホン１８および左耳用の左イヤホン１９を有している。右イヤホン１８および左イヤホン１９は、使用者が頭部装着型表示装置ＨＭを装着した際に、それぞれ右および左の耳に装着される。また、特に図示しないが、右表示駆動部１２または左表示駆動部１４内には、後述する制御部３０を実現するための制御機構が内蔵されている。

次に、図２および図３を参照し、頭部装着型表示装置ＨＭを装着した使用者が視認可能な情報と、コンテンツの背景色に応じて変化する視認状態について説明する。図２（ａ）は、背景が暗い書籍コンテンツＣａの一例を示している。また、図２（ｂ）は、頭部装着型表示装置ＨＭによって当該書籍コンテンツＣａを表示した場合に使用者が視認可能な情報を示している。図２（ｂ）に示すように、頭部装着型表示装置ＨＭを装着した使用者の視界２１には、頭部装着型表示装置ＨＭが生成する虚像２２、すなわち図２（ａ）の書籍コンテンツＣａが表示されている。また、使用者は、視界２１の内、虚像２２が表示される領域以外の領域において、外景２３を見ることができる。この外景２３は、右光学像表示部１５および左光学像表示部１６が透光性を有することにより見ることができる情報である。以下、虚像２２が表示される領域を「虚像表示領域２５」と称し、これ以外の領域を「外景視認領域２６」と称する。なお、請求項における「表示領域」とは、「虚像表示領域２５」を指す。

ところで、本実施形態の頭部装着型表示装置ＨＭは、虚像表示領域２５についても、虚像２２の背後に外景２３が透けて見えるようになっている。このため、虚像２２として表示されるコンテンツの背景色（輝度）によって、文字情報等が見えづらくなる場合がある。例えば、図２（ａ）のように背景色が暗い書籍コンテンツＣａの場合、虚像２２の背後に表示される外景２３が良く見えることにより、同図（ｂ）に示すように文字情報が見えづらくなる。逆に、図３（ａ）のように背景色が明るい書籍コンテンツＣｂの場合、外景２３があまり見えないことにより、同図（ｂ）に示すように文字情報が鮮明に見える。一方、使用環境輝度によっても、文字情報の視認性は変化する。例えば、明るい使用環境では、文字情報が見えづらくなってしまう。逆に暗い使用環境では、文字情報が鮮明に見える。このため本実施形態では、コンテンツ（特に文字情報）の視認性を良好に保つべく、コンテンツの背景色や使用環境輝度に応じて画面輝度を自動調整する。詳細については、後述する。

次に、図４を参照し、頭部装着型表示装置ＨＭの機能構成について説明する。頭部装着型表示装置ＨＭは、使用者に虚像２２を視認させる表示部４０と、撮像センサー１７と、右イヤホン１８と、左イヤホン１９と、電源部７１と、インターフェース７２と、これら各部を制御する制御部３０とを有している。

電源部７１は、頭部装着型表示装置ＨＭの各部に電力を供給する。インターフェース７２は、画像（静止画像、動画像）や音声等のコンテンツの供給元となる種々の外部機器ＯＡを接続するためのものである。外部機器ＯＡとしては、例えば、パーソナルコンピュータ、携帯端末（携帯電話やスマートフォン等）、ゲーム端末等がある。インターフェース７２としては、例えばＵＳＢインターフェース、マイクロＵＳＢインターフェース、メモリーカード用インターフェース、無線ＬＡＮインターフェース等を採用することができる。

制御部３０は、ＣＰＵ（Central Processing Unit）５０と、記憶部６０とを有している。記憶部６０は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等により構成されており、コンテンツのフォーマットに対応したアプリケーション（ビューア）など、種々のコンピュータープログラムを格納している。ＣＰＵ５０は、記憶部６０からコンピュータープログラムを読み出して実行することにより、オペレーティングシステム（ＯＳ）５１や、画像処理部５２、表示制御部５３、画像解析部５４、命令実行部５５、音声処理部５６として機能する。

画像処理部５２は、インターフェース７２を介して入力されたコンテンツに基づいて表示部４０に供給するための信号を生成し、表示部４０へ送信する。表示部４０に供給するための信号は、アナログ形式とデジタル形式の場合で異なる。

例えば、アナログ形式の場合、画像処理部５２はクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、画像データＤａｔａとを生成し、送信する。具体的に画像処理部５２は、コンテンツに含まれる画像信号（例えば、１秒あたり３０枚のフレーム画像から構成されるアナログ信号）を取得し、取得した画像信号から垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃ等の同期信号を分離する。そして、画像処理部５２は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等に応じ、図示しないＰＬＬ回路等を利用してクロック信号ＰＣＬＫを生成する。また、画像処理部５２は、同期信号が分離されたアナログ画像信号を、図示しないＡ／Ｄ変換回路等を用いてデジタル画像信号に変換し、画像データＤａｔａを生成する。

一方、デジタル形式の場合、画像処理部５２は、クロック信号ＰＣＬＫと、画像データＤａｔａとを生成し、表示部４０に出力する。具体的には、コンテンツがデジタル形式の場合、クロック信号ＰＣＬＫが画像信号に同期して出力される。このため、垂直同期信号ＶＳｙｎｃおよび水平同期信号ＨＳｙｎｃおよびアナログ画像信号のＡ／Ｄ変換が不要となる。

なお、画像処理部５２は、必要に応じて画像データＤａｔａに対し、解像度変換処理や、輝度・彩度の調整といった色調補正処理や、キーストン補正処理等の画像処理を実行する。

表示制御部５３は、右表示駆動部１２および左表示駆動部１４を制御する制御信号を生成し、表示部４０に出力することにより、表示部４０における画像表示状態を制御する。具体的には、表示制御部５３は、制御信号により、右ＬＣＤ制御部８３による右ＬＣＤ８４の駆動のＯＮ／ＯＦＦや、右バックライト制御部８１による右バックライト８２の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部９３による左ＬＣＤ９４の駆動ＯＮ／ＯＦＦや、左バックライト制御部９１による左バックライト９２の駆動のＯＮ／ＯＦＦ等を個別に制御することにより、右表示駆動部１２および左表示駆動部１４のそれぞれによる画像光の生成および射出を制御する。例えばサイドバイサイド方式の３Ｄ映像データを表示する場合は、サイドバイサイドフォーマットの１画面の表示データに対して、左側半分の表示データを左目用の表示データとして、フル画面表示即ち水平方向の表示サイズを２倍にするように表示制御部５３でデータ処理して左表示駆動部へ表示データとして入力する。右側半分の表示データについても、右目用の表示データとして同様の処理を行う。また、表示制御部５３は、画像データＤａｔａの背景色や使用環境輝度に応じ、右バックライト８２および左バックライト９２の強度を調整することにより、画面輝度を調整する。ここで、輝度調整の対象となる「画面」とは、直接的には「虚像表示領域２５」であるが、「外景視認領域２６」にも影響が出ることから、本実施形態では、「虚像表示領域２５」および「外景視認領域２６」の両方を指すものとする（図２，３参照）。

画像解析部５４は、撮像センサー１７による撮像画像を解析する。例えば、撮像画像の各画素情報から、使用環境輝度を求めることができる。また、撮像画像から指示体を検出し、その情報（検出タイミング、検出位置など）を画像処理部５２や表示制御部５３に出力する。画像処理部５２や表示制御部５３は、出力された指示体の情報に基づき、画像処理や表示制御を行う。また、命令実行部５５は、指示体の操作に伴って、予め設定された各種命令を実行する。音声処理部５６は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、右イヤホン１８および左イヤホン１９に出力する。

表示部４０は、右表示駆動部１２（右目用透過表示部）と、左表示駆動部１４（左目用透過表示部）と、右光学像表示部１５としての右導光板８６と、左光学像表示部１６としての左導光板９６と、を有している。なお、以下の説明では、右光学像表示部１５（右導光板８６）と、左光学像表示部１６（左導光板９６）を総称して「光学部材」とも呼ぶ。

右表示駆動部１２は、光源として機能する右バックライト（ＢＬ）８２と、右バックライト（ＢＬ）８２の駆動制御を行う右バックライト（ＢＬ）制御部８１と、表示素子として機能する右ＬＣＤ８４と、右ＬＣＤ８４の駆動制御を行う右ＬＣＤ制御部８３と、右投写光学系８５と、を含んでいる。右バックライト制御部８１は、入力された制御信号に基づいて、右バックライト８２を駆動制御する。右バックライト８２は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部８３は、入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右目用の画像データＤａｔａとに基づいて、右ＬＣＤ８４を駆動制御する。右ＬＣＤ８４は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系８５は、右ＬＣＤ８４から射出された画像光を投写するものであり、例えば、コリメートレンズを用いて構成される。右光学像表示部１５としての右導光板８６は、光透過性の樹脂素材等によって形成され、右投写光学系８５から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼に導く。なお、右投写光学系８５と右導光板８６とを総称して「導光部」とも呼ぶ。導光部は、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方法を用いることができ、例えば回折格子（一例としてホログラム素子）を用いても良いし、半透過反射膜を用いても良い。

左表示駆動部１４は、右表示駆動部１２と同様に、左バックライト（ＢＬ）制御部９１と、左バックライト（ＢＬ）９２と、左ＬＣＤ制御部９３と、左ＬＣＤ９４と、左投写光学系９５とを含んでいる。また、左光学像表示部１６としての左導光板９６は、光透過性の樹脂素材等によって形成され、左投写光学系９５から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼に導く。

このようにして、頭部装着型表示装置ＨＭの使用者の両眼に導かれた画像光が網膜に結像することにより、使用者は、例えば図２に示すように虚像表示領域２５内に虚像２２を視認する。なお、本実施形態では、このように使用者に対して虚像２２を視認させることを、「表示する」とも表現する。

次に、図５を参照し、表示制御部５３による輝度調整について詳述する。表示制御部５３は、輝度調整に関し、主に判定部１１０および輝度調整部１２０として機能する。判定部１１０は、背景色判定部１１１および使用環境輝度判定部１１２を含んでいる。また、輝度調整部１２０は、演算部１２１および輝度制御部１２２を含んでいる。

背景色判定部１１１は、入力されたコンテンツ（画像データＤａｔａ）の背景色を判定する。例えば、コンテンツが書籍コンテンツ（電子書籍）の場合、そのテキスト領域における背景色を判定する。判定方法としては、例えば電子書籍のフォーマットが、背景色を情報として指定する形式の場合（例えば、ＸＭＬやＨＴＭＬなどのマークアップ言語を用いたもの）、その情報に基づいて背景色を判定する。また、ページごとに背景色の情報が組み込まれている場合、背景色判定部１１１は、ページごとに判定を行う。なお、所定のページのみ判定を行い、同コンテンツ内では他のページも同じ色であると看做しても良い。

また、背景色判定部１１１は、電子書籍のフォーマットが、画像ファイルとテキストファイルを含む形式の場合、テキストファイルの背景色を判定する。さらに、背景色判定部１１１は、入力されたコンテンツがＰＤＦ（Portable Document Format）やＪＰＥＧ(Joint Photographic Experts Group)など画像形式のフォーマットの場合、画像解析によりテキスト領域を抽出し、当該テキスト領域の画素情報に基づいて背景色を判定する。

なお、コンテンツに付加された付加情報（メタデータ）に基づいて、書籍コンテンツであるか否かを判別し、書籍コンテンツであると判定した場合、テキスト領域＝ページ領域として、書籍の背景色（紙の地色）を判定しても良い。また、付加情報から、書籍ジャンルや書籍名を判別可能な場合は、判別した書籍ジャンルや書籍名を検索キーとして、所定のデータベース内から、対応する背景色を検索しても良い。この場合、所定のデータベースは、頭部装着型表示装置ＨＭ内にあっても良いし、頭部装着型表示装置ＨＭがアクセス可能な所定のサーバー内にあっても良い。

使用環境輝度判定部１１２は、使用環境輝度として、使用者の前方における輝度、すなわち頭部装着型表示装置ＨＭによって透過視認可能な外景の輝度を判定する。なお、本実施形態では、撮像センサー１７により、使用環境輝度を検出しているが、これに限るものではなく、ＧＰＳ（Global Positioning System）技術やＲＦＩＤ(radio frequency identification)技術などを用いて、使用者の現在位置や作業部屋を特定し、その判定結果から使用環境輝度を判定しても良い。この場合、現在位置または作業部屋と、その場所における輝度とを対応付けた情報が、頭部装着型表示装置ＨＭ内または、頭部装着型表示装置ＨＭがアクセス可能な所定のサーバー内にあることが条件となる。また、ＧＰＳ技術を用いる場合、頭部装着型表示装置ＨＭにＧＰＳ受信機が搭載されていることが条件となる。また、ＲＦＩＤ技術を用いる場合、無線ＩＣタグが作業部屋に設けられ、且つ頭部装着型表示装置ＨＭに無線ＩＣリーダーが搭載されていることが条件となる。

演算部１２１は、背景色判定部１１１によって判定された背景色および、使用環境輝度判定部１１２によって判定された使用環境輝度に応じて、右バックライト（ＢＬ）８２および左バックライト（ＢＬ）９２の適切な輝度（または光度、照度）を算出する。算出方法としては、例えば、背景色の輝度が閾値Ｌａ１以上且つ、使用環境輝度が閾値Ｌｂ１未満の場合、適切な輝度を第１の輝度とするか、輝度調整を行わず、背景色の輝度が閾値Ｌａ１未満または、使用環境輝度が閾値Ｌｂ１以上の場合、適切な輝度を第２の輝度（但し、第１の輝度＜第２の輝度）とする、などが考えられる。つまり、背景色の輝度が低い場合、高い場合に比べて、バックライト８２，９２の輝度を上げることが好ましく、使用環境輝度が高い場合、低い場合に比べて、バックライト８２，９２の輝度を上げることが好ましい。

輝度制御部１２２は、バックライト８２，９２が、演算部１２１により算出された輝度となるように、右バックライト（ＢＬ）制御部８１および左バックライト（ＢＬ）制御部９１に命令信号を出力する。これにより、「虚像表示領域２５」および「外景視認領域２６」を含む画面の輝度が変化し、ひいてはコンテンツ（特に文字情報）の視認性が確保される。なお、左右のバックライト８２，９２は、必ずしも同じ輝度となるように制御する必要はなく、異なる輝度となるように制御しても良い。

以上説明したとおり、本実施形態によれば、コンテンツの背景色および使用環境輝度に応じて、コンテンツを表示する画面の輝度を調整するため、コンテンツの背景色が暗い場合や使用環境輝度が明るい場合でも、コンテンツの視認性を妨げることがない。また、コンテンツが、雑誌などの電子書籍の場合でも、テキスト領域を抽出して背景色を判定するため、文字の視認性を確実に確保することができる。さらに、画面輝度を調整するために使用者の操作を必要としないため、本実施形態の頭部装着型表示装置ＨＭを業務用途で用いる場合でも、使用者の作業負荷および作業ミスの軽減を図ることができる。

なお、上記の実施形態に限らず、以下の変形例を採用可能である。
（変形例１）
上記の実施形態では、テキスト領域の背景色および使用環境輝度に応じて画面輝度を調整したが、さらにテキスト領域における文字色を判定し（文字色判定部）、当該文字色に応じて画面輝度を調整しても良い。この構成によれば、テキスト領域の背景色だけでなく文字色を考慮して、より適切な画面輝度でコンテンツを表示することができる。例えば、背景色が暗い場合でも、文字色によっては画面輝度を上げない、逆に背景色が明るい場合でも、文字色によっては画面輝度を上げる、などの調整が考えられる。なお、文字色については、画像解析により文字を構成する画素を特定し、当該画素の色を文字色として判定しても良い。また、コンテンツのフォーマットが文字色を情報として指定する形式の場合、当該情報に基づいて文字色を判定しても良い。

（変形例２）
また、上記の実施形態では、コンテンツからテキスト領域を抽出して背景色を判定したが、テキスト領域の抽出を省略しても良い。例えば、コンテンツ（例えば、書籍コンテンツの場合のページデータ、またはページデータの集合体）中において最も出現頻度の高い色を、コンテンツの背景色として判定しても良い。この構成によれば、電子書籍のフォーマットが、１ページを１つの画像として取り扱う画像形式のフォーマットの場合であっても、簡単な画像解析により、コンテンツの背景色を判定することができる。

（変形例３）
また、変形例２に代えて、コンテンツ（例えば、書籍コンテンツの場合のページデータ）から、所定範囲以上の同色領域を検出し、当該同色領域の色を、コンテンツの背景色として判定しても良い。例えば、液晶表示方式の場合、所定個以上連続する同色の画素を検出し、当該画素の色を、コンテンツの背景色として判定しても良い。この場合、連続する方向は任意としても良いし、縦方向／横方向など特定方向のみ検出する構成としても良い。この構成によれば、変形例２と同様の効果が得られる。なお、本変形例と、上述した変形例２とを組み合わせ、より正確にコンテンツの背景色を判定しても良い。

（変形例４）
また、コンテンツに付加された付加情報に基づいて、書籍コンテンツであるか否かを判別し、書籍コンテンツであると判定した場合、その所定ページにおける所定位置のデータ（画素）を検出し、当該データの色を、コンテンツの背景色として判定しても良い。図６は、本変形例の説明図である。同図では、書籍コンテンツの１ページデータＤ１が表紙であり、２ページデータＤ２から本文が始まる書籍コンテンツを例示している。この場合、２ページデータＤ２の四隅の画素２１０ａ〜２１０ｄを検出し、それらの色から背景色を判定すれば良い。例えば、４つの画素のうち最も多い色を背景色とすることが考えられる。この構成によれば、文庫本など文書中心の書籍コンテンツの場合、表紙以外は同じ紙色であることが多いため、所定ページにおける所定位置の画素を検出することで、正確に背景色を判定することができる。また、複数の所定位置の画素を検出して色判定を行うことで、１の画素で不正確な色が検出された場合でも、誤判定を防止できる。

（変形例５）
また、上記の実施形態では、画面輝度を調整することにより、コンテンツの視認性を確保するものとしたが、他の方法を組み合わせても良い。図７は、本変形例に係る表示制御部５３のブロック図である。本変形例では、図５に示した例と比較して、透過率制御部１２３を追加した点が異なる。また、右光学像表示部１５および左光学像表示部１６の前面（外界側）に、それぞれ電子シェード（右シェード１３１および左シェード１３２）を追加した構成となっている。なお、請求項における「透過率調整部」とは、本変形例の演算部１２１および透過率制御部１２３に相当する。

この場合、演算部１２１は、コンテンツの背景色や使用環境輝度に応じて、左右の電子シェード１３１，１３２の透過率を算出する。また、透過率制御部１２３は、演算部１２１によって算出された透過率となるように、左右の電子シェード１３１，１３２の透過率を制御する（電子シェード１３１，１３２に印加する電圧値を可変する）。具体的には、コンテンツの背景色が暗い場合や使用環境輝度が明るい場合（画面輝度を上げる必要がある場合）、透過率制御部１２３は、右光学像表示部１５および左光学像表示部１６に入射される外光の透過率を下げるように調整する。この構成によれば、コンテンツの背景色が暗い場合や使用環境輝度が明るい場合でも、より確実にコンテンツの視認性を確保することができる。

なお、右シェード１３１および左シェード１３２のように、分離した形ではなく、一体化したシェードを用いても良い。また、画面輝度の調整と電子シェード１３１，１３２の透過率の調整とを同時に行うのではなく、選択的にいずれか一方のみを行っても良い。また、電子シェード１３１，１３２の色を変更可能な場合は、透過率に加えて色の変更を行っても良い。さらに、左右の電子シェード１３１，１３２をそれぞれ独立して制御しても良い。

（変形例６）
また、上記の実施形態では、背景色の輝度が閾値Ｌａ１未満または、使用環境輝度が閾値Ｌｂ１以上の場合、バックライト８２，９２の輝度を明るくするものとしたが、背景色の輝度と使用環境輝度をｏｒ条件ではなく、ａｎｄ条件で判定し、その判定結果に基づいてバックライト８２，９２の適切な輝度を算出しても良い。同様に、ａｎｄ条件による判定結果に基づいて電子シェード１３１，１３２の透過率を算出しても良い。

（変形例７）
また、上記の実施形態では、背景色の輝度と使用環境輝度がそれぞれ所定の閾値以上であるか否かに応じて、画面輝度を調整したが、閾値を複数設け、複数段階で、画面輝度を調整しても良い。また、背景色の輝度および／または使用環境輝度に応じて、リニアに画面輝度を調整しても良い。同様に、複数段階またはリニアに、電子シェード１３１，１３２の透過率を調整しても良い。

（変形例８）
また、上記の実施形態では、バックライト８２，９２の輝度を変更することにより画面輝度を調整したが、ＬＣＤ８４，９４に対してシャッターをかける処理（偏光板と配向膜により光の透過率を調整する処理など）を行うことにより画面輝度（この場合、虚像表示領域２５の輝度）を調整しても良い。

（変形例９）
また、上記の実施形態では、虚像表示領域２５の大きさが、外景視認領域２６の大きさよりも小さい場合を例示しているが、これに限るものではない。虚像表示領域２５と外景視認領域２６の大きさが同じである場合（言い換えれば、虚像表示領域２５が視界２１と同等の大きさの場合）、あるいは虚像表示領域２５が外景視認領域２６よりも大きい場合（言い換えれば、虚像表示領域２５が視界２１よりも大きい場合）においても、本発明を適用可能である。

（変形例１０）
また、上記の実施形態では、使用者に虚像を視認させる表示部４０や表示部４０を制御する制御部３０等を１つの筐体内（装置内）に実装して頭部装着型表示装置ＨＭを実現しているが、これらを別々の装置として実現しても良い。すなわち、表示部４０、撮像センサー１７、イヤホン１８，１９を備えた頭部装着型表示装置ＨＭ本体と、制御部３０を備えたコントローラー（図示省略）を、通信可能に構成しても良い。この場合、本体とコントローラーは有線で接続しても良いし、無線ＬＡＮや赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）等により接続しても良い。また、コントローラーの機能を、パーソナルコンピュータや携帯情報端末（ＰＡＤ、携帯電話、時計型携帯端末）等により実現しても良い。

（その他の変形例）
また、上記の実施形態では、コンテンツの背景色や使用環境輝度に応じて画面輝度を調整することにより、コンテンツの視認性を確保するものとしたが、画面輝度の調整に加え、コンテンツの色を可変しても良い。例えば、コンテンツの背景色に対して補色の関係となる色味（色相環において、背景色に対し対角線上にある色）を強くすることによりテキストの視認性を高める、などが考えられる。なお、コンテンツの色の可変制御は、テキスト領域のみ行っても良いし、１画面全体に対して行っても良い。

また、上記の実施形態において、表示制御部５３は、右バックライト８２および左バックライト９２の強度を同時に調整するものとしたが、それぞれ独立して調整可能としても良い（輝度調整部）。この構成によれば、個人の目の特性（左右の目の個体差、左右の視力差等）に応じて、適切な調整を行うことができる。なお、この場合、左右の表示領域の輝度調整の有無、左右の表示領域の輝度調整量、左右の表示領域の輝度調整方法等について、使用者が設定または選択可能であることが好ましい。また、上記のようにコンテンツの色の可変制御を行う場合、左右の表示フレームに対し、独立して色の可変制御を行っても良い。さらに、バックライト８２，９２の色や電子シェード１３１，１３２の色を調整可能な場合、左右独立してライト色やシェード色の可変制御を行っても良い。なお、バックライト／電子シェードの色可変制御についても、コンテンツの背景色に応じて、テキスト領域の文字の視認性が良くなるように、可変制御後の色（例えば、背景色に対して補色の関係となる色）を決定することが好ましい。

また、上記の輝度調整項目およびコンテンツ／バックライト／電子シェードの色可変制御項目を含め、使用者によって各種表示モードを選択可能としても良い。例えば、コンテンツの背景色のみに応じて画面輝度調整を行う第１モード、コンテンツの背景色と使用環境輝度に応じて画面輝度調整を行う第２モード、画面輝度調整を行わない第３モードのいずれかを選択可能としても良い。また、コンテンツが電子書籍か否かを判別し、電子書籍の場合のみ画面輝度調整を行う第１モード、電子書籍か否かに関わらず画面輝度調整を行う第２モード、画面輝度調整を行わない第３モードのいずれかを選択可能としても良い。また、使用者が居る場所の照度と、視点の照度を判定し、両方の判定結果に応じて画面輝度調整を行う第１モード、使用者が居る場所の照度のみに応じて画面輝度調整を行う第２モード、画面輝度調整を行わない第３モードのいずれかを選択可能としても良い。さらに、コンテンツの背景色および／または使用環境輝度に応じて、画面輝度調整およびコンテンツ／バックライト／電子シェードの色可変制御を行う第１モード、画面輝度調整のみを行う第２モード、画面輝度調整およびコンテンツ／バックライト／電子シェードの色可変制御の両方を行わない第３モードのいずれかを選択可能としても良い。

また、上記の実施形態では、透過型表示装置として両眼タイプの頭部装着型表示装置ＨＭ（光学透過型頭部装着型表示装置）を例示しているが、本発明は、例えばビデオ透過型や単眼タイプ等の他の形式の頭部装着型表示装置にも適用可能である。また、上記実施例では、眼の前方を覆う眼鏡タイプの頭部装着型表示装置ＨＭを例示しているが、これに限るものではなく、眼の前方を完全に覆わないタイプ（眼の前方の一部を覆うタイプ）の頭部装着型表示装置にも適用可能である。さらに、本発明は、頭部装着型表示装置に限らず、ヘッドアップディスプレイなど他の透過型表示装置にも適用可能である。

また、上記の実施形態では、バックライト制御部８１，９１、バックライト８２，９２、ＬＣＤ制御部８３，９３、ＬＣＤ８４，９４を含む表示駆動部１２，１４を例示したが、この様態はあくまでも一例であり、これらの構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えても良い。

例えば、有機ＥＬ（有機エレクトロルミネッセンス，Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としても良い。また、ＬＣＤに代えて、ＬＣＯＳ（Liquid crystal on silicon，ＬＣｏＳは登録商標）や、デジタル・マイクロミラー・デバイス等を用いても良い。また、レーザー網膜投影型の頭部装着型表示装置に本発明を適用することも可能である。レーザー網膜投影型の場合、「表示領域」とは、使用者の眼に認識される画像領域として定義することができる。また、頭部装着型表示装置ＨＭの光学系は、外光を、光学部材を透過させて画像光と共に使用者の眼に入射させるものであり、光学部材は画像光を部材内部に導光させるものに限らず、使用者の眼の方向に屈折または反射させるものでも良い。

また、本実施例では、光学系として投写光学系８５，９５を適用しているが、この様態はあくまでも一例である。例えば、光学系としてＭＥＭＳミラーで構成された走査光学系を採用し、走査光学系に信号光を射出する信号光変調部を備える構成としても良い。この場合、信号光変調部で形成し射出された信号光をスキャン部である走査光学系（ＭＥＭＳミラー）に入射する。走査光学系は信号光を走査光としてハーフミラー層を有する導光体に向けて射出し、ハーフミラー層の面上において走査光が走査されることにより、画像光による虚像が形成され、この虚像を使用者が眼で捉えることで画像を認識することができる。

また、上記の実施形態に示した頭部装着型表示装置ＨＭの各機能をプログラムとして提供することが可能である。また、そのプログラムを各種記録媒体（ＣＤ−ＲＯＭ、フラッシュメモリ等）に格納して提供することも可能である。すなわち、コンピューターを、頭部装着型表示装置ＨＭの各構成要素として機能させるためのプログラム、およびそれを記録した記録媒体も、本発明の権利範囲に含まれる。その他、上述した実施例によらず、頭部装着型表示装置ＨＭの装置構成や処理工程等について、本発明の要旨を逸脱しない範囲で、適宜変更が可能である。

１１…右保持部 １２…右表示駆動部 １３…左保持部 １４…左表示駆動部 １５…右光学像表示部 １６…左光学像表示部 １７…撮像センサー ２１…視界 ２２…虚像 ２３…外景 ２５…虚像表示領域 ２６…外景視認領域 １１０…判定部 １１１…背景色判定部 １１２…使用環境輝度判定部 １２０…輝度調整部 １２１…演算部 １２２…輝度制御部 １２３…透過率制御部 １３１…右シェード １３２…左シェード ＨＭ…頭部装着型表示装置

Claims (10)

1. 使用者に対しコンテンツを虚像として視認させる透過型表示装置であって、
   所定の表示領域に前記コンテンツを表示する表示部と、
   前記コンテンツの背景色を判定する背景色判定部と、
   前記コンテンツの背景色に応じて、前記表示領域の輝度を調整する輝度調整部と、を備えたことを特徴とする透過型表示装置。
2. 使用環境輝度を判定する使用環境輝度判定部をさらに備え、
   前記輝度調整部は、前記使用環境輝度に応じて、前記表示領域の輝度を調整することを特徴とする請求項１に記載の透過型表示装置。
3. 前記コンテンツは、書籍コンテンツであり、
   前記背景色判定部は、前記書籍コンテンツのテキスト領域における背景色を判定することを特徴とする請求項１または２に記載の透過型表示装置。
4. 前記テキスト領域における文字色を判定する文字色判定部をさらに備え、
   前記輝度調整部は、前記文字色に応じて、前記表示領域の輝度を調整することを特徴とする請求項３に記載の透過型表示装置。
5. 前記背景色判定部は、前記コンテンツ中において最も出現頻度の高い色を、前記コンテンツの背景色として判定することを特徴とする請求項１または２に記載の透過型表示装置。
6. 前記背景色判定部は、前記コンテンツから、所定範囲以上の同色領域を検出し、当該同色領域の色を、前記コンテンツの背景色として判定することを特徴とする請求項１または２に記載の透過型表示装置。
7. 前記コンテンツは、書籍コンテンツであり、
   前記背景色判定部は、前記書籍コンテンツの所定ページにおける所定位置のデータを検出し、当該データの色を、前記コンテンツの背景色として判定することを特徴とする請求項１または２に記載の透過型表示装置。
8. 前記表示部に入射される外光の透過率を調整する透過率調整部をさらに備え、
   前記透過率調整部は、前記コンテンツの背景色に応じて、前記外光の透過率を調整することを特徴とする請求項１ないし７のいずれか１項に記載の透過型表示装置。
9. 前記表示部は、右目用透過表示部および左目用透過表示部を含み、
   前記輝度調整部は、前記右目用透過表示部により表示可能な右目用表示領域の輝度と、前記左目用透過表示部により表示可能な左目用表示領域の輝度を、それぞれ独立して調整することを特徴とする請求項１ないし８のいずれか１項に記載の透過型表示装置。
10. 使用者に対しコンテンツを虚像として視認させる透過型表示装置の制御方法であって、
    前記コンテンツの背景色を判定する判定ステップと、
    前記コンテンツの背景色に応じて、前記コンテンツを表示する表示領域の輝度を調整する輝度調整ステップと、を実行することを特徴とする透過型表示装置の制御方法。

Images