JP2017009741A - 画像表示システム、画像表示装置、頭部装着型表示装置及びプログラム - Google Patents

Abstract

【課題】画像表示装置と頭部装着型表示装置の両者に表示させる画像が重なり合うことなく、いずれについても良好に視認可能にする。
【解決手段】ヘッドマウントディスプレイ３と通信可能な画像表示装置２は、画像表示画面内の少なくとも一部に、画像成分の存在しないブランク領域を表示するブランク表示部７０を備え、ヘッドマウントディスプレイ３は、ユーザーの視界方向におけるブランク領域の位置及びサイズを検知する検知部９６と、ユーザーが表示部１５を通してブランク領域を視認可能な画像表示領域を特定する特定部９８と、画像表示領域内に表示させる表示画像を静止得する画像制止得部１０１と、表示画像を画像表示領域内に表示させる表示制御部１０３とを備える。
【選択図】図５

Description

本発明は、画像表示システム、画像表示装置、頭部装着型表示装置及びプログラムに関し、特に画像表示装置に表示される画像と頭部装着型表示装置に表示される画像とを同時に視認するシステムに関する。

従来、ユーザーの頭部に装着し、透過型の表示手段に画像を表示させることによりユーザーが表示手段を透過して視認できる外景と画像とを同時に視認可能な頭部装着型表示装置が知られている。このような頭部装着型表示装置はユーザーの視界を遮断しないため、頭部装着型表示装置の表示手段に適宜画像を表示させながら、ユーザーは移動や作業を行うことが可能となる。例えば、パーソナルコンピュータなど表示画面に画像を表示させることが可能な画像表示装置を用いて、表示画面に画像を表示させて作業を行いながら、必要に応じて頭部装着型表示装置の表示手段に画像を表示させることが可能となり、作業効率を上げることができる。

しかし、例えばユーザーが画像表示装置の表示画面に画像を表示させながら、頭部装着型表示装置の表示手段にも画像を表示させている場合、画像表示装置と頭部装着型表示装置とは互いに連携していないことから、画像表示装置の表示画面に表示される画像と頭部装着型表示装置の表示手段に表示される画像とが互いに重なる場合があり、いずれの画像についても視認困難となる。

このような問題を解決するため、スクリーンにメインコンテンツが表示されている場合に、メインコンテンツ表示と重なり合わない位置にサブコンテンツの表示位置を決定する頭部装着型表示装置が提案されている（例えば特許文献１）。このような頭部装着型表示装置によると、サブコンテンツを表示可能な領域が存在する限りにおいて、メインコンテンツ表示とサブコンテンツとが互いに重なり合うことなく、ユーザーはいずれのコンテンツ表示も良好に視認できる。

特開２０１０−２３７５２２号公報

しかしながら、メインコンテンツ表示の大きさによってはサブコンテンツを表示可能な領域が存在しない場合がある。そうすると、サブコンテンツの表示位置を決定することができないことになる。

そこで本発明は、上記のような従来の問題点を解決課題としており、画像表示装置と頭部装着型表示装置の両者に表示させる画像のいずれについても良好に視認可能な画像表示システム、画像表示装置、頭部装着型表示装置及びプログラムを提供することを目的とする。

上記目的を達成するため、請求項１に係る発明は、透過型の表示手段を有し、前記表示手段に表示される画像と前記表示手段を透過する外景とを同時に視認可能な頭部装着型表示装置と、前記頭部装着型表示装置と通信可能な画像表示装置とを備える画像表示システムであって、前記画像表示装置は、画像表示画面内の少なくとも一部に、画像成分の存在しないブランク領域を表示するブランク表示手段を備え、前記頭部装着型表示装置は、前記頭部装着型表示装置を装着したユーザーの視界方向における前記ブランク領域の位置及びサイズを検知する検知手段と、前記検知手段により検知された前記ブランク領域の位置及びサイズに基づいて、ユーザーが前記表示手段を通して前記ブランク領域を視認可能な前記表示手段の画像表示領域を特定する特定手段と、前記特定手段により特定された前記画像表示領域内に表示させる表示画像を生成する画像生成手段と、前記画像生成手段により生成された前記表示画像を前記表示手段の前記画像表示領域内に表示させる表示制御手段とを備えることを特徴とする構成である。

請求項２に係る発明は、請求項１に記載の画像表示システムであって、前記頭部装着型表示装置は、ユーザーの視界方向の外景画像を撮像する撮像手段と、前記ブランク領域の特徴情報を記憶する記憶手段とをさらに備え、前記検知手段は、前記記憶手段に記憶される前記特徴情報を参照して、前記撮像手段により撮像された前記外景画像から前記ブランク領域の位置及びサイズを検知することを特徴とする構成である。

請求項３に係る発明は、請求項２に記載の画像表示システムであって、前記特定手段は、前記検知手段により検知された前記ブランク領域の位置及びサイズを、前記表示手段に対する前記撮像手段の相対的な位置関係に基づいて補正し、前記画像表示領域の位置及びサイズを特定することを特徴とする構成である。

請求項４に係る発明は、請求項２又は３に記載の画像表示システムであって、前記頭部装着型表示装置は、前記画像表示装置に対して前記ブランク領域の表示要求を送信する表示要求手段をさらに備え、前記ブランク表示手段は、前記頭部装着型表示装置から前記表示要求を受信すると、前記ブランク領域を表示することを特徴とする構成である。

請求項５に係る発明は、請求項２乃至４のいずれかに記載の画像表示システムであって、前記ブランク表示手段は、前記ブランク領域を表示すると、前記頭部装着型表示装置に対して前記特徴情報を送信することを特徴とする構成である。

請求項６に係る発明は、請求項１乃至５のいずれかに記載の画像表示システムであって、前記画像表示装置は、ユーザーにより操作可能な操作手段と、前記操作手段に対する操作に応じて行われる入力を受け付ける第１入力受付手段とをさらに備え、前記ブランク表示手段は、前記第１入力受付手段により受け付けられた所定の入力に応じて、前記ブランク領域の位置又はサイズを変更、若しくは新たなブランク領域を追加可能であることを特徴とする構成である。

請求項７に係る発明は、請求項６に記載の画像表示システムであって、前記画像表示装置は、前記操作手段の操作に応じて行われる入力の出力先を前記画像表示装置又は前記頭部装着型表示装置のいずれかに切り換える出力先切換手段をさらに備え、前記第１入力受付手段は、前記出力先切換手段により前記操作手段の操作に応じて行われる入力の出力先が前記画像表示装置から前記頭部装着型表示装置に切り換えられた場合に、前記操作手段の操作に基づく入力を受け付けると前記頭部装着型表示装置に対して出力し、前記頭部装着型表示装置は、前記画像表示装置から受信した前記操作手段の操作に基づく入力を受け付ける第２入力受付手段をさらに備え、前記画像生成手段は、前記第２入力受付手段により受け付けられた前記操作手段の操作に基づく入力に応じて前記表示画像を変化させることを特徴とする構成である。

請求項８に係る発明は、請求項１乃至７のいずれかに記載の画像表示システムであって、前記画像表示装置は、前記画像表示画面内にウィンドウ表示画像を有するウィンドウを表示可能であり、前記ブランク表示手段は、前記画像表示画面内における前記ウィンドウ表示画像と重畳しない領域内に前記ブランク領域を表示することを特徴とする構成である。

請求項９に係る発明は、請求項１乃至７のいずれかに記載の画像表示システムであって、前記画像表示装置は、前記画像表示画面内にウィンドウ表示画像を有するウィンドウを表示可能であり、前記ブランク表示手段は、前記ウィンドウと重畳しない領域内に前記ブランク領域を表示することを特徴とする構成である。

請求項１０に係る発明は、請求項１乃至７のいずれかに記載の画像表示システムであって、前記画像表示装置は、前記画像表示画面内に複数のウィンドウを表示可能であり、前記複数のウィンドウのうちユーザーにより選択された一のウィンドウをアクティブウィンドウとし、前記ブランク表示手段は、前記アクティブウィンドウと重畳しない領域内に前記ブランク領域を表示することを特徴とする構成である。

請求項１１に係る発明は、請求項１乃至７のいずれかに記載の画像表示システムであって、前記画像表示装置は、前記画像表示画面内にウィンドウ画像を有するウィンドウを表示可能であり、前記ブランク表示手段は、前記ウィンドウ画像の画像成分のうち隠蔽される画像成分が最少となる領域に前記ブランク領域を表示することを特徴とする請求項１乃至７のいずれかに記載の画像表示システム。

請求項１２に係る発明は、透過型の表示手段を有し、前記表示手段に表示される画像と前記表示手段を透過する外景とを同時に視認可能な頭部装着型表示装置と通信可能な画像表示装置であって、画像表示画面内の少なくとも一部に、画像成分の存在しないブランク領域を表示するブランク表示手段を備えることを特徴とする構成である。

請求項１３に係る発明は、請求項１２に記載の画像表示装置であって、ユーザーにより操作可能な操作手段と、前記操作手段に対する操作に応じて行われる入力を受け付ける入力受付手段と、前記操作手段の操作に応じて行われる入力の出力先を切り換える出力先切換手段とをさらに備え、前記入力受付手段は、前記出力先切換手段により前記操作手段の操作に応じて行われる入力の出力先が前記頭部装着型表示手段に切り換えられた場合に、前記操作手段の操作に基づく入力を受け付けると前記頭部装着型表示装置に対して出力することを特徴とする構成である。

請求項１４に係る発明は、請求項１２又は１３に記載の画像表示装置であって、前記画像表示画面内にウィンドウ表示画像を有するウィンドウを表示可能であり、前期ブランク表示手段は、前記画像表示画面内における前記ウィンドウ表示画像と重畳しない領域内に前記ブランク領域を表示することを特徴とする構成である。

請求項１５に係る発明は、請求項１２又は１３に記載の画像表示装置であって、前記画像表示画面内にウィンドウ表示画像を有するウィンドウを表示可能であり、前記ブランク表示手段は、前記ウィンドウと重畳しない領域内に前記ブランク領域を表示することを特徴とする構成である。

請求項１６に係る発明は、請求項１２又は１３に記載の画像表示装置であって、前記画像表示画面内に複数のウィンドウを表示可能であり、前記複数のウィンドウのうちユーザーにより選択された一のウィンドウをアクティブウィンドウとし、前記ブランク表示手段は、前記アクティブウィンドウと重畳しない領域内に前記ブランク領域を表示することを特徴とする構成である。

請求項１７に係る発明は、透過型の表示手段を有し、前記表示手段に表示される画像と前記表示手段を透過する外景とを同時に視認可能な頭部装着型表示装置であって、ユーザーにより装着された状態でユーザーの視界方向において、前記頭部装着型表示装置と通信可能な画像表示装置の画像表示画面内に表示される画像成分の存在しないブランク領域の位置及びサイズを検知する検知手段と、前記検知手段により検知された前記ブランク領域の位置及びサイズに基づいて、ユーザーが前記表示手段を通して前記ブランク領域を視認可能な前記表示手段の画像表示領域を特定する特定手段と、前記特定手段により特定された前記画像表示領域内に表示させる表示画像を生成する画像生成手段と、前記画像生成手段により生成された前記表示画像を前記表示手段の前記画像表示領域内に表示させる表示制御手段とを備えることを特徴とする構成である。

請求項１８に係る発明は、請求項１７に記載の頭部装着型表示装置であって、ユーザーの視界方向の外景画像を撮像する撮像手段と、前記ブランク領域の特徴情報を記憶する記憶手段とをさらに備え、前記検知手段は、前記記憶手段に記憶される前記特徴情報を参照して、前記撮像手段により撮像された前記外景画像から前記ブランク涼気の位置及びサイズを検知することを特徴とする構成である。

請求項１９に係る発明は、請求項１８に記載の頭部装着型表示装置であって、前記特定手段は、前記検知手段により検知された前記ブランク領域の位置及びサイズを、前記表示手段に対する前記撮像手段の相対的な位置関係に基づいて補正し、前記画像表示領域の位置及びサイズを特定することを特徴とする構成である。

請求項２０に係る発明は、透過型の表示手段を有し、前記表示手段に表示される画像と前記表示手段を透過する外景とを同時に視認可能な頭部装着型表示装置と通信可能な画像表示装置において実行されるプログラムであって、前記画像表示装置を、画像表示画面内の少なくとも一部に、画像成分の存在しないブランク領域を表示するブランク表示手段として機能させることを特徴とする構成である。

請求項２１に係る発明は、請求項２０に記載のプログラムであって、前記画像表示装置を、ユーザーにより操作可能な操作手段に対する操作に応じて行われる入力を受け付ける入力受付手段と、前記操作手段の操作に応じて行われる入力の出力先を前記画像表示装置又は前記頭部装着型表示装置のいずれかに切り換える出力先切換手段としてさらに機能させ、前記入力受付手段は、前記出力先切換手段により前記操作手段の操作に応じて行われる入力の出力先が前記画像表示装置から前記頭部装着型表示装置に切り換えられた場合に、前記操作手段の操作に基づく入力を受け付けると前記頭部装着型表示装置に対して出力することを特徴とする構成である。

請求項２２に係る発明は、透過型の表示手段を有し、前記表示手段に表示される画像と前記表示手段を透過する外景とを同時に視認可能な頭部装着型表示装置において実行されるプログラムであって、前記頭部装着型表示装置をユーザーにより装着された状態でユーザーの視界方向において、前記頭部装着型表示装置と通信可能な画像表示装置の画像表示画面内に表示される画像成分の存在しないブランク領域の位置及びサイズを検知する検知手段と、前記検知手段により検知された前記ブランク領域の位置及びサイズに基づいて、ユーザーが前記表示手段を通して前記ブランク領域を視認可能な前記表示手段の画像表示領域を特定する特定手段と、前記特定手段により特定された前記画像表示領域内に表示させる表示画像を生成する画像生成手段、及び、前記画像生成手段により生成された前記表示画像を前記表示手段の前記画像表示領域内に表示させる表示制御手段として機能させることを特徴とするプログラム。

本発明によれば、画像表示装置が画像成分の存在しないブランク領域を画像表示画面内に表示し、頭部装着型表示装置が表示手段を通してブランク領域を視認可能な領域に表示画像を表示させるため、ユーザーの視界には、画像表示装置に表示されている画像と頭部装着型表示装置が表示させる表示画像とが重なり合うことなく表示される。よって、画像表示画面内に画像を表示させながら、頭部装着型表示装置により表示画像を表示させる場合に、表示画像を良好に視認可能となる。

情報表示システムの全体の構成例を示す図である。 情報表示システムの処理の概要を示す図である。 頭部装着型表示装置を装着した場合の画像の表示態様の一例を示す概念図である。 画像表示装置および頭部装着型表示装置のそれぞれにおいて表示される画面構成の一例を示す図である。 画像表示装置及び頭部装着型表示装置の機能構成の一例を示すブロック図である。 ブランク領域の表示態様の一例を示す図である。 ブランク領域の表示態様の一例を示す図である。 頭部装着型表示装置を通してブランク領域を視認する場合の表示態様の一例を示す図である。 頭部装着型表示装置を通してブランク領域を視認する場合の表示態様の一例を示す図である。 頭部装着型表示装置を通してブランク領域を視認場合の表示態様の一例を示す図である。 表示中のブランク領域のサイズ、位置を変化させる場合の一例を示す図である。 表示中のブランク領域における操作入力に応じてブランク領域を新たに表示する場合の一例を示す図である。 頭部装着型表示装置の表示部に表示される表示画像の表示態様を操作手段による操作入力に基づき変化させる場合の一例を示す図である。 画像表示装置において行われる主要な処理手順の一例を示すフローチャートである。 ブランク表示処理の具体的な処理手順の一例を示すフローチャートである。 頭部装着型表示装置に置いて行われる主要な処理手順の一例を示すフローチャートである。 表示画像表示処理の具体的な処理手順の一例を示すフローチャートである。 入力受付処理の具体的な処理手順の一例を示すフローチャートである。

以下、本発明に関する好ましい実施形態について、図面を参照しつつ詳細に説明する。なお、以下に説明する実施形態において互いに共通する部材には同一符号を付しており、それらにつき重複する説明は省略する。

図１は、本実施形態における画像表示システム１の一構成例を示す図である。この画像表示システム１は、画像表示装置２と頭部装着型表示装置３とを備え、これらが無線又は有線により通信可能に接続された構成である。図１（ａ）に示すように画像表示装置２と頭部装着型表示装置３とは、ネットワークを介して相互に通信を行ってもよいし、或いは無線通信を行ってもよい。画像表示装置２は、画像を表示するための表示部２０を備えており、例えば画像表示用ディスプレイを備えるパーソナルコンピュータである。頭部装着型表示装置３は、例えば眼鏡タイプでユーザーの頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mount Display）とも呼ばれる（以下、頭部装着型表示装置３を「ヘッドマウントディスプレイ３」とする）。本実施形態におけるヘッドマウントディスプレイ３は、表示画面に表示させる画像と同時に外景を透過して視認可能である。

ヘッドマウントディスプレイ３は、外景を透過すると共に画像を表示させる表示部１５と、画像の表示を制御する制御部３０とを備える。表示部１５は、ユーザーの眼の前方数センチ程度の位置に配置される透明板を有し、その透明板に画像を表示させることでユーザーに視認させる。表示部１５による画像の表示態様は、例えば透明板に画像を投影するタイプのものであっても良いし、また透明板を液晶パネルなど構成して透明板に直接画像を表示させるタイプのものであっても良い。このような表示部１５は光を透過させるため、ユーザーは、透明板よりも更に遠くにある外景を同時に視認することが可能である。また、ヘッドマウントディスプレイ３は、所定箇所に外景画像を撮影可能な撮像部１０を備える。撮像部１０は、ヘッドマウントディスプレイ３を装着した状態におけるユーザーの視界方向の外景を撮像し、その外景画像を取得する。このようなヘッドマウントディスプレイ３を装着すると、画像表示装置２の表示部２０に表示される画像がヘッドマウントディスプレイ３の表示部１５を透過するので、ユーザーは、画像表示装置２の表示部２０の表示画面を視認しながら、同時に表示部１５に表示させた画像を視認できる。

図１（ｂ）に示すように画像表示装置２とヘッドマウントディスプレイ３は例えばＢｌｕｅｔｏｏｔｈ（登録商標）などの近距離無線通信により一対一で互いに通信可能に構成されている。また画像表示装置２およびヘッドマウントディスプレイ３はそれぞれ有線又は無線でネットワーク５に接続されており、ネットワーク５を経由して他のデバイスとデータ通信を行うことが可能である。画像表示装置２およびヘッドマウントディスプレイ３は、アクセスポイント１００にアクセスすることによりネットワーク５を経由して他のデバイスとデータ通信を行う。尚、画像表示装置２とヘッドマウントディスプレイ３とのデータ通信についてもネットワーク５を介して行うものであっても構わない。

図２は、ヘッドマウントディスプレイ３を装着したユーザーが、画像表示装置２の表示部２０に表示される画面ＰＧを見る場合におけるデータ等のやり取りの一例を示す図である。図２に示すようにユーザーがヘッドマウントディスプレイ３を装着してヘッドマウントディスプレイ３を起動しているとき、例えばヘッドマウントディスプレイ３がネットワーク５を介して表示部１５に表示させる表示データを受信すると（Ｐ１）、ヘッドマウントディスプレイ３は、画像表示装置２に対して、画像表示装置２の画面ＰＧに画像成分の存在しない領域（以下、「ブランク領域」という）を表示するよう要求する（Ｐ２）。ブランク領域の表示要求を受信すると、画像表示装置２は全画面領域である画面ＰＧ内の少なくとも一部に画像成分のない空ウィンドウなどのブランク領域を表示する（Ｐ２）。画像表示装置２は、ブランク領域を画面ＰＧ内に表示すると、ブランク領域の特徴情報をヘッドマウントディスプレイ３に対して送信する（Ｐ４）。特徴情報は、画面ＰＧ内において表示したブランク領域の特徴を示す情報であり、ヘッドマウントディスプレイ３においてブランク領域を検出可能にするための情報である。このような特徴情報は、例えばブランク領域の位置及びサイズに関する情報であってもよいし、また例えばブランク領域の外周（空ウィンドウのウィンドウ枠）の色、線の態様などであってもよい。なお、本実施形態とは異なり、ブランク領域を表示する毎に画像表示装置２からヘッドマウントディスプレイ３に対して特徴情報を送信するのではなく、ヘッドマウントディスプレイ３が予め特徴情報を記憶していてもよい。

ヘッドマウントディスプレイ３は特徴情報に基づき、画像表示装置２の画面ＰＧにおけるブランク領域を検知する。そしてヘッドマウントディスプレイ３は、ユーザーが表示部１５を通してブランク領域を視認する際にそのブランク領域が表示部１５を透過する位置及びサイズを検知する。すなわち、ヘッドマウントディスプレイ３は、ユーザーの視線を基準にして、画像表示装置２において表示されるブランク領域を表示部１５に投影したときのブランク領域の位置及びサイズを検知するのである。そしてヘッドマウントディスプレイ３は、ブランク領域を表示部１５に投影したときの位置及びサイズに基づき、ブランク領域の内側に表示させるべき表示画像を表示データに基づいて生成し、表示部１５においてブランク領域が透過する部分にその表示画像を表示させる（Ｐ５）。

図３は、ユーザーがヘッドマウントディスプレイ３の表示部１５を通して画像表示装置２の画面ＰＧを視認した場合に、表示部１５に表示画像ＳＤを表示させる一例を示す図である。ヘッドマウントディスプレイ３の撮像部１０は、ユーザーの視認方向αにおける外景画像を撮像する。図例の撮像部１０により撮像された外景画像には、画像表示装置２の全画面領域である画面ＰＧが含まれる。したがって、画像表示装置２においてブランク領域ＢＬが表示されると、そのブランク領域ＢＬが撮像部１０によって撮影される外景画像に含まれる。ヘッドマウントディスプレイ３は、この外景画像からブランク領域ＢＬの特徴情報に基づいてブランク領域ＢＬの位置及びサイズを検出すると、撮像部１０とユーザーの目の相対的な位置関係及び撮像部１０の撮影方向とユーザーの視線方向のずれに基づき、ユーザーの右目ＲＹ及び左目ＬＹのそれぞれがブランク領域ＢＬを視認したときにそのブランク領域ＢＬが表示部１５を透過する位置及びサイズを特定する。そしてヘッドマウントディスプレイ３は、ユーザーの右目ＲＹと左目ＬＹのそれぞれがブランク領域ＢＬを視認したときにブランク領域ＢＬが表示部１５を透過する領域の内側に表示させるべき表示画像ＳＤを、表示対象となる表示データに基づいて生成する。このとき、ヘッドマウントディスプレイ３は、右目ＲＹ用の表示画像ＳＤと左眼ＬＹ用の表示画像ＳＤとを個別に生成する。そしてヘッドマウントディスプレイ３は、それらの表示画像ＳＤを、表示部１５のブランク領域ＢＬが透過する部分に表示させる。そうすると、ユーザーからはブランク領域ＢＬを視認可能な領域に表示画像ＳＤが表示される。また画像表示装置２において表示されるブランク領域の内側は、余白となっており、画像成分が存在しない。そのため、ヘッドマウントディスプレイ３は、表示部１５に表示画像ＳＤを表示するとき、ブランク領域ＢＬが透過する部分の内側に表示画像ＳＤを表示させることで、表示画像ＳＤを画像表示装置２において表示されている画像と重なり合うことなく表示させることができる。その結果、ユーザーはヘッドマウントディスプレイ３で表示される表示画像ＳＤと画像表示装置２で表示される画像との双方を良好に視認することが可能となる。

図４は、図３に示すようにユーザーがヘッドマウントディスプレイ３を通して画像表示装置２の画面を視認する場合に、画像表示装置２とヘッドマウントディスプレイ３のそれぞれの画面の表示態様の一例を示す図である。図４（ａ）は、画像表示装置２の全画面領域である画面ＰＧの表示態様である。すなわち、画面ＰＧには画像Ｄ１及びＤ２を有するウィンドウＷ１が表示されていると共に、ブランク領域ＢＬが表示されている。ブランク領域ＢＬは、例えば図４（ａ）に示すように画面ＰＧで表示されているウィンドウＷ１と重なり合わない位置に表示される。そしてヘッドマウントディスプレイ３は、図４（ａ）に示す画面ＰＧを撮像部１０で撮像し、撮像部１０とユーザーの目との相対的な位置関係などに基づいて、ユーザーの右目ＲＹと左目ＬＹのそれぞれがブランク領域ＢＬを視認したときにブランク領域ＢＬが表示部１５を透過する領域を検知する。そしてヘッドマウントディスプレイ３は、表示部１５において画像を表示可能な全画面領域である画面ＨＧ上のブランク領域ＢＬが透過する領域の内側に表示画像ＳＤを表示させる（図４（ｂ））。尚、図４（ｂ）では、画面ＨＧに対して表示画像ＳＤの表示例をひとつだけ示しているが、実際には右目ＲＹ用の画面ＨＧと左目ＬＹ用の画面ＨＧとで異なる表示態様となる。そうすると、ユーザーの右目ＲＹ及び左目ＬＹは、表示部１５を透過した画像表示装置２の画面ＰＧと、表示部１５に表示される表示画像ＳＤとを同時に視認することにより、図４（ｃ）に示す態様の画面ＨＧを認識することができる。すなわち、画像表示装置２の画面ＰＧのブランク領域ＢＬとヘッドマウントディスプレイ３の画面ＨＧに表示されるＳＤとは、ユーザーによって視認されるときには互いに重なり合うため、ユーザーは画像成分が存在しないブランク領域ＢＬの内側に表示画像ＳＤが見えるのである。

次に、画像表示装置２及びヘッドマウントディスプレイ３の構成について説明する。図５は、画像表示装置２及びヘッドマウントディスプレイ３のそれぞれにおける機能構成の一例を示すブロック図である。

画像表示装置２は、ＣＰＵ４０と、画面ＰＧに画像等を表示可能な表示部２０と、ヘッドマウントディスプレイ３との通信を制御する通信制御部４１と、記憶部４３とを備える。また、画像表示装置２は、キーボードやマウスなどユーザーが操作入力可能な操作部７７を備える。ＣＰＵ４０は、記憶部４３に記憶される作業アプリケーションプログラム８０が実行されることにより作業アプリケーション６０として機能し、また、ヘッドマウントディスプレイ３との通信を行う連携アプリケーションプログラム８１が実行されることにより連携アプリケーション６３として機能する。作業アプリケーション６０は、例えばユーザーの操作に応じて所定の処理を行い、画面ＰＧに各種画像を含む作業ウィンドウを表示するアプリケーションである。連携アプリケーションは、ヘッドマウントディスプレイ３と無線通信を行うことによりヘッドマウントディスプレイ３と連携する動作を行うためのアプリケーションである。

連携アプリケーション６３は、操作部７７による操作入力を受け付ける入力受付部７２と、ブランク表示部７０と、メニュー表示部７４と、出力先切換部７６とを備える。ブランク表示部７０は、通信制御部４１がヘッドマウントディスプレイ３からブランク領域ＢＬの表示要求を受信した場合に機能し、表示部２０の少なくとも一部にブランク領域ＢＬを表示する処理部である。入力受付部７２は、ブランク表示部７０によってブランク領域ＢＬが表示されているときに、ユーザーがブランク領域ＢＬに対する操作を行うことによって操作部７７で生成される操作情報を、出力先切換部７６を介して受け付ける処理部である。メニュー表示部７４は、入力受付部７２によってブランク領域ＢＬに対するユーザーの操作が受け付けられた場合に機能し、表示部２０にメニュー画面などを表示させる処理部である。出力先切換部７６は、ユーザーの操作に基づいて操作部７７から出力される操作情報の出力先を、入力受付部７２とヘッドマウントディスプレイ３との間で切り替える処理部である。以下、これら各部について詳しく説明する。

ブランク表示部７０は表示部２０に表示される画面ＰＧ内の少なくとも一部に、画像成分の存在しないブランク領域ＢＬを表示する処理部である。本実施形態において、ブランク表示部７０はヘッドマウントディスプレイ３からブランク領域ＢＬを表示するよう表示要求を受けると、表示部２０の画面ＰＧ内にブランク領域ＢＬを表示する。なお、これとは異なり、ブランク表示部７０はヘッドマウントディスプレイ３との無線通信状態が確立されると、所定タイミングにおいてブランク領域ＢＬを画面ＰＧ内に表示させてもよい。

ブランク表示部７０は、ブランク領域ＢＬを表示すると、ヘッドマウントディスプレイ３に対してブランク領域の特徴情報を送信する。これにより、ヘッドマウントディスプレイ３は、特徴情報を参照することにより画面ＰＧを撮像した外景画像からブランク領域ＢＬを検出可能となる。なお、本実施形態とは異なり、ブランク領域ＢＬが表示され毎にブランク表示部７０からヘッドマウントディスプレイ３に特徴情報を送信するのではなく、予めヘッドマウントディスプレイ３が特徴情報を記憶しているものであっても良い。例えば、ヘッドマウントディスプレイ３で実行される連携アプリケーションプログラム１１０に、画像表示装置２のブランク表示部７０によってどのような特徴を有するブランク領域ＢＬが表示されるかが予め登録されており、ヘッドマウントディスプレイ３は、その特徴に基づいてブランク領域ＢＬを検出するようにしても良い。また画像表示装置３のブランク表示部７０は、ヘッドマントディスプレイ３からそのような特徴情報を取得し、ヘッドマントディスプレイ３で検出対象となる特徴を有するブランク領域ＢＬを表示させるようにしても良い。

図６及び図７は、ブランク表示部７０により画面ＰＧ内にブランク領域が表示される場合の表示態様の一例を示す図である。まず図６（ａ）に示すように、ブランク表示部７０は、画面ＰＧ内において既に表示されているウィンドウＷ１と重畳しない領域にブランク領域ＢＬを表示可能である。図例のように画面ＰＧ内の一部にウィンドウ画像Ｄ１やＤ２などを有する作業ウィンドウＷ１が既に表示されている場合に、ブランク表示部７０は、画面ＰＧ内のウィンドウＷ１以外の領域、すなわちウィンドウＷ１と重畳しない領域内にブランク領域ＢＬを生成する。これにより、作業アプリケーション６０が起動中であり、ユーザーが作業を行っている場合に、作業内容などを示すウィンドウＷ１と重畳しない領域内にブランク領域ＢＬを表示させることから、ウィンドウＷ１の視認性を良好に維持しながらブランク領域ＢＬを表示可能となる。そして、ブランク表示部７０によりブランク領域ＢＬが表示されると、ヘッドマウントディスプレイ３は表示部１内のブランク領域ＢＬに重ね合わせて視認できる位置に表示画像ＳＤを表示させる。よって、ユーザーは、ウィンドウＷ１に含まれる画像Ｄ１、Ｄ２と重ならない状態で表示画像ＳＤを視認可能である。

図６（ｂ）は、図６（ａ）の場合とは異なる表示例を示す図である。図６（ｂ）に示すように画像表示装置２において既に表示されている作業ウィンドウＷ１が全画面表示されている場合、或いは、全画面表示に近い状態で表示されている場合、作業ウィンドウＷ１の周囲にブランク領域ＢＬを表示させるための十分な表示領域を確保することができない。そのような場合、ブランク表示部７０は、図６（ｂ）に示すように作業ウィンドウＷ１内において、画像Ｄ１，Ｄ２と重畳しない領域にブランク領域ＢＬを表示させることが可能である。図例のようにウィンドウＷ１が略全画面表示である場合、ブランク表示部７０は、ウィンドウＷ１内において画像Ｄ１，Ｄ２と重畳しない領域を検出し、その検出した領域にブランク領域ＢＬを表示する。ユーザーはウィンドウＷ１内のウィンドウ画像Ｄ１やＤ２に注目するため、これらと重畳しない領域にブランク領域ＢＬが表示されることにより、ウィンドウＷ１内の画像Ｄ１，Ｄ２の視認性を損なうことなく表示画像ＳＤが表示される。

また作業ウィンドウＷ１が略全画面表示であるとき、その作業ウィンドウＷ１の内側の領域に画像Ｄ１，Ｄ２などと重畳させることなく、ブランク領域ＢＬを表示させるための十分な表示領域を確保することができないこともある。そのような場合、ブランク表示部７０は、作業ウィンドウＷ１に含まれる画像Ｄ１，Ｄ２と重なった状態でブランク領域ＢＬを表示させざるを得ない。ただし、そのような場合でも、ブランク表示部７０は、ブランク領域ＢＬが作業ウィンドウＷ１に含まれる画像Ｄ１，Ｄ２と重なってしまう領域をなるべく低減することが好ましい。それ故、ブランク表示部７０は、作業ウィンドウＷ１の内側に含まれる画像成分のうち、ブランク領域ＢＬによって隠蔽される画像成分が最少となる領域を検知し、その検知した領域にブランク領域ＢＬを表示可能である。例えば図７（ａ）に示すように、ウィンドウＷ１が画面ＰＧの概ね全領域に亘って表示される場合に、ブランク表示部７０は、ウィンドウＷ１に含まれる画像成分を検出し、ブランク領域ＢＬを表示することにより隠蔽される画像成分が最も少ない領域を検出する。例えば、ブランク表示部７０は、作業アプリケーション６０ｂによって表示されるウィンドウＷ１に含まれる画像を解析し、文字や線図、カラー成分などの分布密度が最も小さい領域を検出することにより、ブランク領域ＢＬによって隠蔽される画像成分が最小となる領域を特定する。ここで、ブランク表示部７０は、隠蔽される画像成分が最少であり、しかも、ブランク領域ＢＬを最大に表示可能な領域を検出するようにしてもよい。これにより、ウィンドウＷ１に含まれる画像Ｄ１，Ｄ２の視認性を損なう程度を最小限に抑えると共に、ブランク領域ＢＬが小さくなりすぎることを回避することができる。

図７（ｂ）は、画像表示装置２によって画面ＰＧ内に複数のウィンドウＷ１、Ｗ２、Ｗ３が表示されている例を示す図である。画面ＰＧ内に複数のウィンドウＷ１，Ｗ２，Ｗ３が表示されている場合、それら複数のウィンドウＷ１，Ｗ２，Ｗ３のうち、ユーザーによって選択された一のウィンドウがアクティブウィンドウとなっている。図例ではウィンドウＷ１がアクティブウィンドウに選択されている場合を例示している。このような場合、ブランク表示部７０は、アクティブウィンドウであるウィンドウＷ１と重畳しない領域にブランク領域ＢＬを表示可能である。ユーザーによりアクティブウィンドウとして選択された一のウィンドウは、ユーザーが注目する画像等が表示されている、或いはユーザーによる現在の作業に関連するウィンドウである。そこで、ブランク表示部７０は、アクティブウィンドウ以外の領域を検出し、検出された領域内にブランク領域ＢＬを表示する。これにより、ユーザーが現時点で注目しているウィンドウＷ１の視認性を損なうことなくブランク領域ＢＬを表示可能となる。

ヘッドマウントディスプレイ３の機能構成について説明する。ヘッドマウントディスプレイ３は、図５に示すように、ＣＰＵ５０と、画像表示装置２との通信を制御する通信制御部５３と、撮像部１０と、表示部１５と、記憶部５５を備える。ＣＰＵ５０は、記憶部５５に記憶される例えばメールアプリケーションプログラム１１２を実行することにより、メールアプリケーション９３として機能する。このメールアプリケーション９３は、電子メールを受信するアプリケーションである。また、画像表示装置２との通信を行う連携アプリケーションプログラム１１０を実行することにより、ＣＰＵ５０は連携アプリケーション９０として機能する。連携アプリケーション９０はさらに、入力受付部９２と、画像表示装置２に対してブランク領域ＢＬの表示を要求する要求部１０５と、撮像部１０に撮影動作を行わせ、撮像部１０で撮像された外景画像を取得する画像取得部９４と、画像取得部９４により取得された外景画像からブランク領域ＢＬを検知部９６と、表示部１５において表示画像ＳＤを表示する領域を特定する特定部９８と、表示画像ＳＤを生成する画像生成部１０１と、表示制御部１０３として機能する。

画像取得部９４は、ＣＰＵ５０において連携アプリケーション９０が起動すると、数ミリ秒程度の比較的短い時間間隔で撮像部１０に繰り返し撮影動作を行わせ、撮像部１０から外景画像を連続的に取得する。したがって、ヘッドマントディスプレイ３がユーザーの頭部に装着されている状態でユーザーの頭部の姿勢又は位置が変化すると、画像取得部９４は、その変化後の外景画像をリアルタイムで取得することができる。

検知部９６は、例えば要求部１０５によってブランク領域ＢＬの表示要求が送信された後に機能し、画像表示装置２からブランク領域ＢＬの特徴情報１１４を受信すると、それを記憶部５５に一時的に保存して管理する。また連携アプリケーションプログラム１１０において特徴情報１１４が定義されている場合、検知部９６は、連携アプリケーションプログラム１１０に定義されている特徴情報１１４を読み出し、それを記憶部５５に一時的に保存して管理する。そして検知部９６は、撮像部１０で撮影された外景画像に基づき、ヘッドマウントディスプレイ３を装着したユーザーの視界方向におけるブランク領域ＢＬの位置及びサイズを検知する。検知部９６は、画像取得部９４によって外景画像が取得される都度、その外景画像に含まれるブランク領域ＢＬの位置及びサイズを検知する。検知部９６は、外景画像に含まれるブランク領域ＢＬの位置及びサイズを検知するとき、記憶部５５に記憶されるブランク領域ＢＬの特徴情報１１４を参照して、その特徴情報１１４に示されている特徴を有する領域をブランク領域ＢＬとして検知する。

検知部９６は、画像表示装置２においてブランク領域ＢＬが表示される毎に特徴情報１１４を取得して記憶部５５に記憶する。そのため、記憶部５５には、複数のブランク領域ＢＬのそれぞれに対応する複数の特徴情報１１４が記憶されることがある。検知部９６は、記憶部５５に複数の特徴情報１１４が記憶されている場合、それら複数の特徴情報１１４のそれぞれに定められた特徴に合致する領域を外景画像から抽出することにより、外景画像から複数のブランク領域ＢＬを検出することも可能である。

特定部９８は、検知部９６により検知された外景画像におけるブランク領域ＢＬの位置及びサイズに基づいて、ユーザーが表示部１５を通してブランク領域ＢＬを視認したときにブランク領域ＢＬが表示部１５を透過するブランク透過領域を検知し、そのブランク透過領域を画像表示領域として特定する処理部である。検知部９６は、上述のように撮像部１０により撮像された外景画像に基づいて、撮像部１０から見た場合のブランク領域ＢＬの位置、サイズを検知する。図３に示すようにユーザーの目の位置と撮像部１０の位置とは異なっており、また撮像部１０による撮影方向とユーザーの目の視線方向とは異なっている。そこで、特定部９８は、検知部９６により検知された外景画像におけるブランク領域ＢＬの位置及びサイズを、表示部１５に対する撮像部１０の相対的な位置関係や撮像部１０の撮影方向とユーザーの視線方向のずれ、さらには表示部１５の位置に基づいて補正し、表示部１５において表示画像ＳＤを表示するための画像表示領域の位置及びサイズを特定する。例えば特定部９８は、予め記憶部５５に記憶される補正情報１１６に基づき、検知部９６により検知された外景画像に含まれるブランク領域ＢＬの位置及びサイズを、ユーザーが表示部１５を通してブランク領域ＢＬを見た場合に、ブランク領域ＢＬを視認可能な表示部１５内の位置及びサイズに変換する。補正情報１１６には、ユーザーがヘッドマウントディスプレイ３を装着したときのユーザーの視点位置、撮像部１０の位置、表示部１５の位置に関する情報が含まれる。これにより表示部１５をブランク領域ＢＬが透過する画像表示領域の位置及びサイズを演算により求めることが可能であり、その画像表示領域に表示画像ＳＤを表示させることにより、ユーザーにはブランク領域ＢＬの内側に表示画像ＳＤが視認されるのである。このような特定部９８による処理は、撮像部１０によって新たな外景画像が撮影される度に行われるため、ヘッドマントディスプレイ３を装着しているユーザーの頭部の姿勢又は位置が変化すると、その変化後の画像表示領域をリアルタイムで検知することが可能である。

画像生成部１０１は、特定部９８により特定された画像表示領域内に表示させる表示画像ＳＤを生成する処理部である。画像生成部１０１は、特定部９８によって特定された表示部１５上の画像表示領域のサイズに応じて、表示対象である表示データの中から画像表示領域に表示させるデータ量を算出する。表示部１５は、ユーザーの目から数ｃｍ程度離れた位置にあるため、画像表示装置２において表示されるブランク領域ＢＬが表示部１５を透過する部分として特定される画像表示領域のサイズは、ブランク領域ＢＬよりもかなり小さいものとなる。そのようなサイズの小さい画像表示領域に、表示データに含まれる全ての情報を表示させてしまうと、文字サイズなどが著しく小さくなり、ユーザーにとって判読困難な事態が生じ得る。そのため、例えば表示対象である表示データにテキストデータが含まれる場合、画像生成部１０１は、特定部９８によって特定された画像表示領域にテキストを表示するときの文字サイズが所定サイズ未満とならないようにする。すなわち、画像生成部１０１は、文字サイズを所定サイズに設定したときに、画像表示領域に表示可能なデータ量を表示データから抽出することにより、表示画像ＳＤを生成する。これにより、表示画像ＳＤが表示部１５の画像表示領域に表示されたときに、ユーザーが文字を判読することができないといった不都合が生じることを未然に防ぐことができる。

表示制御部１０３は、画像生成部１０１により生成された表示画像ＳＤを、特定部９８によって特定された表示部１５の画像表示領域内に表示させる処理部である。これにより、ユーザーは、画像表示装置２で表示されているブランク領域ＢＬの内側に表示画像ＳＤを視認することができる。このとき、画像表示装置２で表示されているブランク領域ＢＬの内側には他の画像成分が存在しないため、ユーザーは、ブランク領域ＢＬの内側において表示画像ＳＤだけを視認することができるのである。

図８乃至図１０は、ヘッドマウントディスプレイ３を装着したユーザーの頭部の姿勢又は位置が変化した場合に、表示部１５における画像表示領域の変化態様の一例を示す図である。まず図８（ａ）に示すように、例えば画像表示装置２の表示部２０で表示されているブランク領域ＢＬが表示部２０の画面ＰＧの中央に表示されており、ユーザーがそのブランク領域ＢＬを表示部２０の正面から視認しているとする。このとき、撮像部１０の画角中心線２０１を基準にすると、撮像部１０によって撮影される外景画像には、図８（ａ）に示すように左方向にθ１、右方向にθ２の広がりを有する領域にブランク領域ＢＬが検知される。このような外景画像に基づき、表示部１５において表示画像ＳＤを表示させるための画像表示領域を求めると、例えば図８（ｂ）に示すように、表示部１５の画面ＨＧにおいてユーザーの視野中心線２０２を基準に左方向にθ１'、右方向にθ２'の広がりを有する領域が画像表示領域として算出される。したがって、表示画像ＳＤは、そのような画像表示領域に表示される。

そのような状態から、例えば図９（ａ）に示すようにユーザーが頭部を矢印ｆ１方向に頭部を回転させた場合、撮像部１０によって撮影される外景画像は、図９（ａ）に示すように撮像部１０の画角中心線２０１を基準にしたとき、左方向にθ３、右方向にθ４の広がりを有する領域にブランク領域ＢＬを含む画像へと変化する。このとき、θ３＜θ１となり、θ４＞θ２となる。図９（ａ）のような外景画像に基づき、表示部１５において表示画像ＳＤを表示させるための画像表示領域を求めると、例えば図９（ｂ）に示すように、表示部１５の画面ＨＧにおいてユーザーの視野中心線２０２を基準に左方向にθ３'、右方向にθ４'の広がりを有する領域が画像表示領域として算出される。したがって、表示画像ＳＤは、そのような画像表示領域に表示され、ユーザーの頭部の姿勢変化に追従してブランク領域ＢＬが表示部１５を透過する位置に表示画像ＳＤが表示されるようになる。尚、上記においては、ユーザーが頭部を左右方向に回転させる場合を例示したが、ユーザーが頭部を上下方向に俯仰させる場合も同様である。

次に図１０（ａ）は、図８（ａ）に示す状態から、ヘッドマウントディスプレイ３を装着したユーザーが画像表示装置２から遠ざかる場合を例示している。ユーザーが画角中心線２０１を変化させることなく、頭部を矢印ｆ３方向に移動させると、撮像部１０によって撮影される外景画像は、図１０（ａ）に示すように撮像部１０の画角中心線２０１を基準にしたとき、左方向にθ５、右方向にθ６の広がりを有する領域にブランク領域ＢＬを含む画像へと変化する。このとき、θ５＜θ１となり、θ６＜θ２となる。図１０（ａ）のような外景画像に基づき、表示部１５において表示画像ＳＤを表示させるための画像表示領域を求めると、例えば図１０（ｂ）に示すように、表示部１５の画面ＨＧにおいてユーザーの視野中心線２０２を基準に左方向にθ５'、右方向にθ６'の広がりを有する領域が画像表示領域として算出される。したがって、表示画像ＳＤは、そのような画像表示領域に表示され、ユーザーの頭部の移動に追従してブランク領域ＢＬが表示部１５を透過する位置に表示画像ＳＤが表示されるようになる。尚、上記においては、ユーザーが頭部を画像表示装置２から遠ざける場合を例示したが、ユーザーが頭部を画像表示装置２に近づける場合も同様である。

ユーザーが頭部を画像表示装置２から遠ざけたり、或いは、画像表示装置２に近づけたりする場合は、表示部１５における画像表示領域のサイズが変化する。そのため、表示部１５に表示される表示画像ＳＤに含まれるデータ量は、ヘッドマウントディスプレイ３と画像表示装置２との距離が変化することに伴い、リアルタイムに変化する。

図１１及び１２は、ユーザーの操作に応じてブランク領域ＢＬの位置又はサイズを変化させる場合の一例を示す図である。画像表示装置２は、上述のとおりユーザーにより操作可能な操作部７７を備える。また、画像表示装置２において起動される連携アプリケーション８３は、ユーザーが操作部７７に対する操作を行った場合に、操作部７７から出力される操作情報を、出力切換部７６を介して入力する入力受付部７２を備えている。ブランク表示部７０は、入力受付部７２により受け付けられる操作情報に応じて、ブランク領域ＢＬの位置又はサイズを変化させることが可能である。例えば、図１１（ａ）に示すように、画像表示装置２において、表示部２０の画面ＰＧ内の所定位置にブランク領域ＢＬ１が表示されているとする。このとき、図１１（ｂ）のようにユーザーが操作部７７を操作してブランク領域ＢＬ１のサイズを大きくする操作を行うと、入力受付部７２は、そのような操作に基づく操作情報を受け付ける。そして入力受付部７２は、ブランク領域ＢＬ１のサイズを変更する操作であると判断すると、その操作情報をブランク表示部７０へ出力する。これに応じてブランク表示部７０は、操作情報に基づき、図１１（ｂ）に示すようにブランク領域ＢＬ１のサイズを変更し、新たなブランク領域ＢＬ２を表示部２０に表示する。ユーザーによって行われる操作の例として、例えばマウス操作によって画面ＰＧ内に表示されるポインターＰＴでブランク領域ＢＬ１の一コーナーを捕捉してドラッグすることによりブランク領域ＢＬのサイズを変更可能である。或いは、キーボード操作によりブランク領域ＢＬ１のサイズを入力してもよい。図１１（ｂ）に示すように、ユーザーによる操作部７７の操作に応じてブランク表示部７０がブランク領域ＢＬ１のサイズを変化させる場合、ウィンドウＷ１或いはウィンドウＷ１に含まれる画像Ｄ１、Ｄ２と重畳するようブランク領域ＢＬ２のサイズを変化させてもよい。この場合、ユーザーの操作に応じてブランク領域ＢＬ２のサイズを変化させるのであり、ユーザーにとって不都合はないからである。

また、ブランク表示部７０は、入力受付部７２により受け付けられた操作情報に応じてブランク領域ＢＬを追加して表示可能である。図１２（ａ）に示すように、ウィンドウＷ１が画面ＰＧの全画面領域に亘って表示されているためにブランク領域ＢＬ１が比較的小さいサイズで表示されている場合に、例えばユーザーが画面ＰＧ内に表示されるポインターＰＴをブランク領域ＢＬ１に重ねてクリックすることにより、図１２（ｂ）に示すように、ブランク表示部７０は新たなブランク領域ＢＬ３を表示させる。ブランク領域ＢＬ３の表示に伴い、ブランク表示部７０は、ブランク領域ＢＬ１を画面ＰＧから消去してもよいし、画面ＰＧに継続して表示させてもよい。ブランク領域ＢＬ３はウィンドウＷ１やウィンドウＷ１内の画像Ｄ１、Ｄ２と重畳する領域に表示させてもよい。この場合、ユーザーは新たなブランク領域ＢＬ３を表示させ、そこに表示画像ＳＤを表示させることを望んでいるため、ウィンドウＷ１やウィンドウ画像Ｄ１やＤ２の視認性よりもブランク領域ＢＬ３の表示を優先させるのである。

また入力受付部７２は、出力先切換部７６を介して入力する操作情報が、ブランク領域ＢＬの近傍にメニューを表示させる指示である場合、メニュー表示部７４を機能させると共に、メニュー表示部７４に対して操作情報を出力する。メニュー表示部７４は、表示部２０に表示されているブランク領域ＢＬの近傍にメニュー画面を表示させるものである。このメニュー画面には、ユーザーが選択可能な複数の選択項目が表示される。それら複数の選択項目の中には、操作情報の出力先をヘッドマウントディスプレイ３に切り換えることが可能な項目が含まれる。したがって、ユーザーは、マウス操作などを行うことによって、メニュー画面を表示させると共に、そのメニュー画面に含まれる複数の選択項目の中から操作情報の出力先をヘッドマウントディスプレイ３に切り換える項目を選択することにより、操作部７７を操作することでヘッドマウントディスプレイ３に対する操作を行うことができるようになる。より詳しく説明すると、入力受付部７２は、メニュー画面が表示されているときに出力先切換部７６を介して入力する操作情報が、操作情報の出力先をヘッドマウントディスプレイ３に切り換えるものである場合、出力先切換部７６に対して操作情報の出力の切り換えを指示する。これにより、出力先切換部７６は、その後、操作部７７から入力する操作情報の出力先をヘッドマウントディスプレイ３に切り換える。すなわち、出力先切換部７６は、画像表示装置２において連携アプリケーション６３が起動した時点の初期状態では、操作情報の出力先を入力受付部７２に設定している。そして出力先切換部７６は、入力受付部７２から出力先の切り換え指示を入力することに伴い、操作部７７から入力する操作情報を、通信制御部４１を介してヘッドマウントディスプレイ３へ出力するように出力先を切り換える。尚、入力受付部７２は、出力先切換部７６に対して出力先の切り換え指示を行うことにより、メニュー表示部７４に対してメニュー画面の削除を指示する。これにより、操作情報の出力先がヘッドマウントディスプレイ３に切り換えられることに伴い、ブランク領域ＢＬの近傍に表示されているメニュー画面が消去される。

図１３は、操作情報の出力先が画像表示装置２からヘッドマウントディスプレイ３に変更される場合の一例を示す図である。例えば出力先切換部７６による操作情報の出力先が入力受付部７２であるとき、入力受付部７２は、出力先切換部７６を介して入力する操作情報がメニュー画面を表示させる指示であれば、メニュー表示部７４を機能させることにより、図１３（ａ）に示すように、表示部２０の画面ＰＧに表示されているブランク領域ＢＬの近傍位置にメニュー画面ＫＳを表示させる。すなわち、メニュー表示部７４は、操作情報の出力先を切り換える選択項目を含むメニュー画面ＫＳを表示部２０に表示させる。そして、ユーザーが操作部７７を操作して、例えばポインターＰＴによりメニュー画面ＫＳに含まれる複数の選択項目のうち、操作情報の出力先を切り換える項目を選択すると、その操作情報が入力受付部７２に受け付けられ、入力受付部７２は出力先切換部７６に操作情報の出力先の切り換えを指示する。そして、出力先切換部７６は入力受付部７２からの指示に基づき、操作部７７から出力される操作情報の出力先をヘッドマウントディスプレイ３に切り換える。そして、出力先切換部７６は、出力先をヘッドマウントディスプレイ３に設定している間、操作部７７から出力される操作情報を、通信制御部４１を経由してヘッドマウントディスプレイ３に出力する。

ヘッドマウントディスプレイ３は、画像表示装置２から受信する操作情報を受け付ける入力受付部９２を備える。この入力受付部９２は、画像表示装置２から受信した操作情報を受け付けると、その操作情報を画像生成部１０１へ出力する。画像生成部１０１は、入力受付部９２により受け付けられる操作情報に基づき、ブランク領域ＢＬが表示部１５を透過する領域に表示している表示画像ＳＤを更新する。すなわち、上述したように表示部１５において表示画像ＳＤを表示するときには、文字サイズが所定サイズに設定されるため、表示対象である表示データの一部だけが表示画像ＳＤとして表示され、他の部分が非表示になっていることがある。そのような場合、ユーザーにとっては、表示画像ＳＤにおいて表示されていない部分を、スクロール操作などによって確認したいことがある。そのため、画像生成部１０１は、画像表示装置２から操作情報を取得すると、まず図１３（ｂ）に示すように、表示画像ＳＤの周囲にスクロールバーなどのユーザーが操作可能な操作画像ＵＤを付加すると共に、ポインターＰＴを任意の位置に表示させることにより、表示部１５に表示している表示画像ＳＤを更新する。その後、画像生成部１０１は、画像表示装置２から受信する操作情報に基づき、操作画像ＵＤに対するスクロール操作であることを検知すると、表示対象である表示データから、ユーザーのスクロール操作の操作方向及び操作量に応じて表示画像ＳＤとして表示すべきデータを抽出し、その抽出したデータに基づいて表示画像ＳＤを新たに生成する。そして画像生成部１０１は、そのようにして生成する表示画像ＳＤを表示制御部１０３へ逐次出力することにより、表示部１５に表示される表示画像ＳＤをユーザーの操作に応じて逐次更新する。

これにより、ユーザーがヘッドマウントディスプレイ３を介して視認する画像は、図１３（ｃ）に示すような画像となる。すなわち図１３（ｃ）に示すように、ヘッドマウントディスプレイ３の表示部１５の画面ＨＧにおいて表示されている表示画像ＳＤは、操作部７７の操作に応じた入力に応じて変化する。例えばユーザーが、マウス操作などを行うことにより、ポインターＰＴを移動させてスクロールバーのつまみを下方へドラッグする操作を行うと、画像生成部１０１はこれに応じて下方向にスクロールした表示画像ＳＤを新たに生成する。そして表示制御部１０３はその表示画像ＳＤを画像生成部１０１から取得し、その表示画像ＳＤを表示部１５においてブランク領域ＢＬが透過する部分に表示させる。これにより、ユーザーの操作に応じて表示画像ＳＤがスクロールするように表示されるので、ユーザーは自身の操作で表示対象である表示データに含まれる全てのデータの中身を確認することができるようになる。

また画像生成部１０１は、画像表示装置２から受信する操作情報がメニュー画面を表示させる指示である場合には、画像表示装置２で表示されるメニュー画面ＫＳと同様のメニュー画面を生成して表示部１５に表示させることができる。そのメニュー画面には、ユーザーが選択可能な複数の選択項目の中に、操作情報の出力先を画像表示装置２へ切り換える項目が含まれる。そのため、ユーザーが表示部１５にメニュー画面を表示させて操作情報の出力先を画像表示装置２へ切り換える項目を選択すると、入力受付部９２は、画像表示装置２の出力先切換部７６に対して操作情報の出力先の切換を指示する。これにより、操作部７７から出力される操作情報を再び画像表示装置２へ出力させることが可能となり、連携アプリケーション６３に、ユーザーの指示操作に基づく処理を行わせることができるようになる。

次に画像表示システム１の画像表示装置２及びヘッドマウントディスプレイ３のそれぞれで行われる具体的な処理手順について説明する。

まず、図１４は、画像表示装置２において行われる主たる処理手順の一例を示すフローチャートである。画像表示装置２は例えば電源投入に伴ってオペレーティングシステムが起動すると連携アプリケーションプログラム８１を読み出して実行する。これにより、画像表示装置２において連携アプリケーション６３が起動する。そして画像表示装置２の起動中、連携アプリケーション６３は、ＣＰＵ４０において起動された状態で常駐する。図１４に示す処理手順は、その連携アプリケーション６３によって行われる処理である。まず、画像表示装置２において起動された連携アプリケーション６３は、ヘッドマウントディスプレイ３からペアリング要求を受信する（ステップＳ１）。ペアリング要求を受信すると、ペアリング承認をヘッドマウントディスプレイ３に対して送信し（ステップＳ２）、ペアリング処理を行ってペアリングを完了させる（ステップＳ３）。これにより、画像表示装置２とヘッドマウントディスプレイ３とは互いに通信可能な状態となる。

次に、画像表示装置２は、ヘッドマウントディスプレイ３からプランク領域を表示するよう表示要求を受信したか否かを判定し（ステップＳ５）、表示要求を受信したと判定した場合（ステップＳ５でＹＥＳ）、ブランク領域ＢＬを表示するブランク表示処理を行う（ステップＳ７）。ブランク表示処理の具体的な処理手順については後述する。ブランク領域の表示要求を受信していないと判定した場合（ステップＳ５でＮＯ）、ステップＳ７をスキップする。次に、画像表示装置２は、ユーザーの操作に基づき操作情報の出力先を切り換える所定の操作が検知されたか否かを判定し（ステップＳ８）、所定の操作が検知されたと判定すると（ステップＳ８でＹＥＳ）、操作情報の出力先をヘッドマウントディスプレイ３に切り換える（ステップＳ１０）。他方、所定の操作が検知されていないと判定すると（ステップＳ８でＮＯ）、ステップＳ１０をスキップする。

さらに、画像表示装置２は、ヘッドマウントディスプレイ３から出力先の切換要求を受信したか否かを判定し（ステップＳ１２）、切換要求を受信したと判定する場合（ステップＳ１２でＹＥＳ）、操作入力の出力先をヘッドマウントディスプレイ３から画像表示装置２に切り換える（ステップＳ１４）。次に、画像表示装置２は、ブランク領域ＢＬのサイズ変更や新たなブランク領域を表示させる操作入力を検知したか否かを判定し（ステップＳ１６）、検知したと判定する場合（ステップＳ１６でＹＥＳ）、ブランク領域ＢＬのサイズを変更し、或いは新たなブランク領域ＢＬを表示させる（ステップＳ１８）。ステップＳ１６で操作入力を検知していないと判定した場合（ステップＳ１６でＮＯ）、ステップＳ１８をスキップする。

そして、ヘッドマウントディスプレイ３からブランク領域を消去させる消去要求を受信したか否かを判定し（ステップＳ２０）、受信したと判定した場合（ステップＳ２０でＹＥＳ）、ブランク領域ＢＬを表示部２０から消去する（ステップＳ２２）。他方、消去要求を受信していないと判定した場合（ステップＳ２０でＮＯ）、ステップＳ２２をスキップする。最後に、連携アプリケーション６３の終了タイミングであるか否かを判定し（ステップＳ２４）、終了タイミングであると判定した場合（ステップＳ２４でＹＥＳ）、画像処理装置２は処理を終了し、終了タイミングでないと判定した場合（ステップＳ２４でＮＯ）、ステップＳ５に戻り、連携アプリケーション終了まで以下の処理手順を繰り返す。

次に図１５は、ブランク表示処理（図１４のステップＳ７）の具体的な処理手順の一例を示すフローチャートである。まず、画像表示装置２は、画面ＰＧ内にウィンドウが表示中であるか否かを判定し（ステップＳ３２）、ウィンドウが表示中であると判定した場合（ステップＳ３２でＹＥＳ）、さらに表示中のウィンドウが複数であるか否かを判定する（ステップＳ３４）。ウィンドウが複数であると判定した場合（ステップＳ３４でＹＥＳ）、これら複数のウィンドウのうちユーザーによりアクティブウィンドウに選択されているウィンドウをさらに検知する（ステップＳ３６）。そして、画面ＰＧ内のアクティブウィンドウが表示されていない領域を検出する（ステップＳ３８）。他方、ステップＳ３４で表示中のウィンドウが１つであると判定した場合（ステップＳ３４でＮＯ）、画面ＰＧ内においてこのウィンドウが表示されていない領域を検出する（ステップＳ４０）。

画像表示装置２は、ウィンドウが表示されていない領域を検出すると、次に、ウィンドウが表示されていない領域内にブランク領域ＢＬを表示可能か否かを判定し（ステップＳ４２）、表示可能であればブランク領域ＢＬを画面ＰＧ内に表示させる（ステップＳ４４）。他方、ブランク領域ＢＬをウィンドウが表示されていない領域内に表示可能でないと判定した場合（ステップＳ４２でＮＯ）、ウィンドウ内に含まれる画像との重なりが最小で、且つブランク領域ＢＬを最大に表示可能な領域を検出した上で（ステップＳ４６）、ブランク領域ＢＬを表示する（ステップＳ４４）。ブランク領域ＢＬを表示すると、最後に特徴情報１１４を画像表示装置２に送信して処理を終了する（ステップＳ４８）。

次に、ヘッドマウントディスプレイ３において行われる処理手順の一例を説明する。図１６は、ヘッドマウントディスプレイ３において行われる主な処理手順の一例を示すフローチャートである。ヘッドマウントディスプレイ３は起動すると連携アプリケーションプログラム１１０を実行し、ヘッドマウントディスプレイ３が起動している間、連携アプリケーション９０をＣＰＵ５０に常駐させる。図１６に示す処理手順は、その連携アプリケーション９０によって行われる処理である。

まず、ヘッドマウントディスプレイ３は画像表示装置２にペアリング要求を送信し（ステップＳ１００）、画像表示装置２からペアリングの承認を受信して（ステップＳ１０２）からペアリング処理を完了させる（ステップＳ１０４）。

そして、表示データをネットワーク経由で受信したか否かを判定する（ステップＳ１０６）。例えば、ヘッドマウントディスプレイ３において起動しているメールアプリケーション９３が電子メールを受信すると、連携アプリケーション９０に対して受信した電子メールを表示データとして出力する。この場合、連携アプリケーション９０は、メールアプリケーション９３が電子メールを受信することに伴い、表示部１５への表示対象となる表示データを取得する。なお、これに限られるものではなく、連携アプリケーション９０は、表示データを無線通信により画像表示装置２から受信するものであってもよい。またこの他、連携アプリケーション９０は、ヘッドマウントディスプレイ３に予め記憶される表示データを読み出すことにより、表示データを取得するものであってもよい。

表示データを受信したと判定した場合（ステップＳ１０６でＹＥＳ）、連携アプリケーション９０は、画像表示装置２に対してブランク領域ＢＬを表示するよう表示要求を送信する（ステップＳ１０８）。他方、表示データを受信しなかったと判定した場合（ステップＳ１０６でＮＯ）にはステップＳ１０８をスキップし、さらに表示部１５に表示画像ＳＤを表示中であるか否かを判定し（ステップＳ１１０）、表示中である場合（ステップＳ１１０でＹＥＳ）、ステップＳ１１２を行う。表示画像表示処理（ステップＳ１１２）の具体的処理手順については後述する。

次に、連携アプリケーション９０は、画像表示装置２から操作部７７の操作に基づく操作情報を受信したか否かを判定し（ステップＳ１１４）、操作情報を受信したと判定した場合（ステップＳ１１４でＹＥＳ）、操作情報の入力を受け付けて処理を行う入力受付処理を実行する（ステップＳ１１６）。入力受付処理の具体的な処理手順については後述する。

さらに、連携アプリケーション９０は、表示画像を表示部１５から消去させる指示を検知したか否かを判定し（ステップＳ１１８）、検知したと判定した場合（ステップＳ１１８でＹＥＳ）には表示画像ＳＤを消去する（ステップＳ１２０）。そして画像表示装置２に対してブランク領域ＢＬを表示部２０の画面ＰＧから消去するよう消去要求を送信する（ステップＳ１２２）。ステップＳ１１８において表示画像を消去させる指示を検知しなかったと判定した場合（ステップＳ１１８でＮＯ）、ステップＳ１２０及びＳ１２２をスキップする。最後に、ヘッドマウントディスプレイ３を終了させる指示を検知したか否かを判定し（ステップＳ１２４）、終了させる指示を検知したと判定した場合（ステップＳ１２４でＹＥＳ）、ヘッドマウントディスプレイ３は終了処理を行って処理を終了する。他方、終了させる指示を検知しなかったと判定した場合（ステップＳ１２４でＮＯ）、ステップＳ１０６に戻り、ヘッドマウントディスプレイ３が終了するまで以下の処理を繰り返し実行する。

図１７は、表示画像表示処理（図１６のステップＳ１１２）の具体的な処理手順の一例を示すフローチャートである。まず、連携アプリケーション９０は、撮像部１０による撮像処理を行う（ステップＳ１４０）。次に、特徴情報１１４を既に画像表示装置２から取得済みか否かを判定し（ステップＳ１４２）、取得済みでないと判定した場合（ステップＳ１４２でＮＯ）、特徴情報１１４を取得するまで待機する。なお、図例とは異なり、予め記憶部５５に特徴情報１１４を記憶していてもよい。この場合、ステップＳ１４２を実行しない。

特徴情報１１４を取得済みであると判定した場合（ステップＳ１４２でＹＥＳ）、連携アプリケーション９０は、特徴情報１１４を参照して（ステップＳ１４４）撮像部１０により撮像された外景画像からブランク領域ＢＬを検知したか否かを判定する（ステップＳ１４６）。ブランク領域ＢＬを検知しなかったと判定した場合（ステップＳ１４６でＮＯ）、ブランク領域ＢＬを検知するまで処理を待機する。他方、ブランク領域ＢＬを検知したと判定した場合（ステップＳ１４６でＹＥＳ）、ブランク領域ＢＬの位置及びサイズを算出する（ステップＳ１４８）。そして、算出したブランク領域ＢＬの位置及びサイズから表示画像を表示させる画像表示領域の位置及びサイズを算出する（ステップＳ１４９）。例えば記憶部５５に予め記憶される補正情報１１６に基づいて算出する。

画像表示領域の位置及びサイズを算出すると、連携アプリケーション９０は、次に表示データから画像表示領域のサイズに応じたデータを抽出し、表示画像ＳＤを生成する（ステップＳ１５０）。表示画像ＳＤを生成すると、生成した表示画像ＳＤを表示部１５の画面ＨＧに表示させて処理を終了する。

図１８は、入力受付処理（図１８のステップＳ１１６）の具体的な処理手順の一例を示すフローチャートである。まず、画像表示装置２から受信した操作情報が出力先の切換を指示する操作情報か否かを判定し（ステップＳ１６０）、出力先切換を指示する操作情報であると判定した場合（ステップＳ１６０でＹＥＳ）、画像表示装置２に対し、操作部７７の操作情報の出力先を画像表示装置２に切り換えるよう切換要求を送信して（ステップＳ１６２）処理を終了する。

他方、出力先切換を指示する操作情報でないと判定した場合（ステップＳ１６０でＮＯ）、連携アプリケーション９０は、その操作情報に応じて画像表示領域に表示させる表示画像ＳＤに対応する表示データを抽出して（ステップＳ１６４）、抽出した表示データに基づいて表示画像ＳＤを生成して（ステップＳ１６６）処理を終了させる。

以上のように本実施形態の画像処理装置２は、表示部２０の画面ＰＧ内に画像成分の存在しないブランク領域ＢＬを表示させる。ブランク領域ＢＬが表示されると、ヘッドマウントディスプレイ３は、透過型の表示部１５からブランク領域ＢＬを視認できる領域に表示画像を表示させる。このような構成によれば、ユーザーは画像表示装置２においてウィンドウを表示させるなどにより作業を行いながら、ヘッドマウントディスプレイ３の表示部１５に表示画像ＳＤを表示させて必要な情報等を取得することができるようになる。

以上、本発明に関する一実施形態について説明したが、本発明は上述した実施形態に説明したものに限定されるものではなく、種々の変形例が適用可能である。

例えば上記実施形態では、主としてヘッドマウントディスプレイ３を装着したユーザーの両眼に表示画像ＳＤを視認させるよう表示画像ＳＤを表示部１５に表示する場合を例示したが、本発明はこれに限られるものではなく、左右いずれか片眼に対してのみ表示画像ＳＤが視認できるよう表示画像ＳＤを表示部１５に表示させてもよい。

１ 画像表示システム
２ 画像表示装置
３ ヘッドマウントディスプレイ（頭部装着型表示装置）
１０ 撮像部（撮像手段）
５５ 記憶部（記憶手段）
７０ ブランク表示部（ブランク表示手段）
７２ 入力受付部（第１入力受付手段）
７６ 出力先切換部（出力先切換手段）
７７ 操作部（操作手段）
９２ 入力受付部（第２入力受付手段）
９６ 検知部（検知手段）
９８ 特定部（特定手段）
１０１ 画像生成部（画像生成手段）
１０３ 表示制御部（表示制御手段）
１１４ 特徴情報

Claims (22)

1. 透過型の表示手段を有し、前記表示手段に表示される画像と前記表示手段を透過する外景とを同時に視認可能な頭部装着型表示装置と、前記頭部装着型表示装置と通信可能な画像表示装置とを備える画像表示システムであって、
   前記画像表示装置は、
   画像表示画面内の少なくとも一部に、画像成分の存在しないブランク領域を表示するブランク表示手段、
   を備え、
   前記頭部装着型表示装置は、
   前記頭部装着型表示装置を装着したユーザーの視界方向における前記ブランク領域の位置及びサイズを検知する検知手段と、
   前記検知手段により検知された前記ブランク領域の位置及びサイズに基づいて、ユーザーが前記表示手段を通して前記ブランク領域を視認可能な前記表示手段の画像表示領域を特定する特定手段と、
   前記特定手段により特定された前記画像表示領域内に表示させる表示画像を生成する画像生成手段と、
   前記画像生成手段により生成された前記表示画像を前記表示手段の前記画像表示領域内に表示させる表示制御手段と、
   を備えることを特徴とする画像表示システム。
2. 前記頭部装着型表示装置は、
   ユーザーの視界方向の外景画像を撮像する撮像手段と、
   前記ブランク領域の特徴情報を記憶する記憶手段と、
   をさらに備え、
   前記検知手段は、前記記憶手段に記憶される前記特徴情報を参照して、前記撮像手段により撮像された前記外景画像から前記ブランク領域の位置及びサイズを検知することを特徴とする請求項１に記載の画像表示システム。
3. 前記特定手段は、前記検知手段により検知された前記ブランク領域の位置及びサイズを、前記表示手段に対する前記撮像手段の相対的な位置関係に基づいて補正し、前記画像表示領域の位置及びサイズを特定することを特徴とする請求項２に記載の画像表示システム。
4. 前記頭部装着型表示装置は、
   前記画像表示装置に対して前記ブランク領域の表示要求を送信する表示要求手段、
   をさらに備え、
   前記ブランク表示手段は、前記頭部装着型表示装置から前記表示要求を受信すると、前記ブランク領域を表示することを特徴とする請求項２又は３に記載の画像表示システム。
5. 前記ブランク表示手段は、前記ブランク領域を表示すると、前記頭部装着型表示装置に対して前記特徴情報を送信することを特徴とする請求項２乃至４のいずれかに記載の画像表示システム。
6. 前記画像表示装置は、
   ユーザーにより操作可能な操作手段と、
   前記操作手段に対する操作に応じて行われる入力を受け付ける第１入力受付手段と、
   をさらに備え、
   前記ブランク表示手段は、前記第１入力受付手段により受け付けられた所定の入力に応じて、前記ブランク領域の位置又はサイズを変更、若しくは新たなブランク領域を追加可能であることを特徴とする請求項１乃至５のいずれかに記載の画像表示システム。
7. 前記画像表示装置は、
   前記操作手段の操作に応じて行われる入力の出力先を前記画像表示装置又は前記頭部装着型表示装置のいずれかに切り換える出力先切換手段、
   をさらに備え、
   前記第１入力受付手段は、前記出力先切換手段により前記操作手段の操作に応じて行われる入力の出力先が前記画像表示装置から前記頭部装着型表示装置に切り換えられた場合に、前記操作手段の操作に基づく入力を受け付けると前記頭部装着型表示装置に対して出力し、
   前記頭部装着型表示装置は、
   前記画像表示装置から受信した前記操作手段の操作に基づく入力を受け付ける第２入力受付手段、
   をさらに備え、
   前記画像生成手段は、前記第２入力受付手段により受け付けられた前記操作手段の操作に基づく入力に応じて前記表示画像を変化させることを特徴とする請求項６に記載の画像表示システム。
8. 前記画像表示装置は、前記画像表示画面内にウィンドウ表示画像を有するウィンドウを表示可能であり、
   前記ブランク表示手段は、前記画像表示画面内における前記ウィンドウ表示画像と重畳しない領域内に前記ブランク領域を表示することを特徴とする請求項１乃至７のいずれかに記載の画像表示システム。
9. 前記画像表示装置は、前記画像表示画面内にウィンドウ表示画像を有するウィンドウを表示可能であり、
   前記ブランク表示手段は、前記ウィンドウと重畳しない領域内に前記ブランク領域を表示することを特徴とする請求項１乃至７のいずれかに記載の画像表示システム。
10. 前記画像表示装置は、前記画像表示画面内に複数のウィンドウを表示可能であり、前記複数のウィンドウのうちユーザーにより選択された一のウィンドウをアクティブウィンドウとし、
    前記ブランク表示手段は、前記アクティブウィンドウと重畳しない領域内に前記ブランク領域を表示することを特徴とする請求項１乃至７のいずれかに記載の画像表示システム。
11. 前記画像表示装置は、前記画像表示画面内にウィンドウ画像を有するウィンドウを表示可能であり、
    前記ブランク表示手段は、前記ウィンドウ画像の画像成分のうち隠蔽される画像成分が最少となる領域に前記ブランク領域を表示することを特徴とする請求項１乃至７のいずれかに記載の画像表示システム。
12. 透過型の表示手段を有し、前記表示手段に表示される画像と前記表示手段を透過する外景とを同時に視認可能な頭部装着型表示装置と通信可能な画像表示装置であって、
    画像表示画面内の少なくとも一部に、画像成分の存在しないブランク領域を表示するブランク表示手段を備えることを特徴とする画像表示装置。
13. ユーザーにより操作可能な操作手段と、
    前記操作手段に対する操作に応じて行われる入力を受け付ける入力受付手段と、
    前記操作手段の操作に応じて行われる入力の出力先を切り換える出力先切換手段と、
    をさらに備え、
    前記入力受付手段は、前記出力先切換手段により前記操作手段の操作に応じて行われる入力の出力先が前記頭部装着型表示手段に切り換えられた場合に、前記操作手段の操作に基づく入力を受け付けると前記頭部装着型表示装置に対して出力することを特徴とする請求項１２に記載の画像表示装置。
14. 前記画像表示画面内にウィンドウ表示画像を有するウィンドウを表示可能であり、
    前記ブランク表示手段は、前記画像表示画面内における前記ウィンドウ表示画像と重畳しない領域内に前記ブランク領域を表示することを特徴とする請求項１２又は１３に記載の画像表示装置。
15. 前記画像表示画面内にウィンドウ表示画像を有するウィンドウを表示可能であり、
    前記ブランク表示手段は、前記ウィンドウと重畳しない領域内に前記ブランク領域を表示することを特徴とする請求項１２又は１３に記載の画像表示装置。
16. 前記画像表示画面内に複数のウィンドウを表示可能であり、前記複数のウィンドウのうちユーザーにより選択された一のウィンドウをアクティブウィンドウとし、
    前記ブランク表示手段は、前記アクティブウィンドウと重畳しない領域内に前記ブランク領域を表示することを特徴とする請求項１２又は１３に記載の画像表示装置。
17. 透過型の表示手段を有し、前記表示手段に表示される画像と前記表示手段を透過する外景とを同時に視認可能な頭部装着型表示装置であって、
    ユーザーにより装着された状態でユーザーの視界方向において、前記頭部装着型表示装置と通信可能な画像表示装置の画像表示画面内に表示される画像成分の存在しないブランク領域の位置及びサイズを検知する検知手段と、
    前記検知手段により検知された前記ブランク領域の位置及びサイズに基づいて、ユーザーが前記表示手段を通して前記ブランク領域を視認可能な前記表示手段の画像表示領域を特定する特定手段と、
    前記特定手段により特定された前記画像表示領域内に表示させる表示画像を生成する画像生成手段と、
    前記画像生成手段により生成された前記表示画像を前記表示手段の前記画像表示領域内に表示させる表示制御手段と、
    を備えることを特徴とする頭部装着型表示装置。
18. ユーザーの視界方向の外景画像を撮像する撮像手段と、
    前記ブランク領域の特徴情報を記憶する記憶手段と、
    をさらに備え、
    前記検知手段は、前記記憶手段に記憶される前記特徴情報を参照して、前記撮像手段により撮像された前記外景画像から前記ブランク領域の位置及びサイズを検知することを特徴とする請求項１７に記載の頭部装着型表示装置。
19. 前記特定手段は、前記検知手段により検知された前記ブランク領域の位置及びサイズを、前記表示手段に対する前記撮像手段の相対的な位置関係に基づいて補正し、前記画像表示領域の位置及びサイズを特定することを特徴とする請求項１８に記載の頭部装着型表示装置。
20. 透過型の表示手段を有し、前記表示手段に表示される画像と前記表示手段を透過する外景とを同時に視認可能な頭部装着型表示装置と通信可能な画像表示装置において実行されるプログラムであって、前記画像表示装置を、
    画像表示画面内の少なくとも一部に、画像成分の存在しないブランク領域を表示するブランク表示手段、
    として機能させることを特徴とするプログラム。
21. 前記画像表示装置を、
    ユーザーにより操作可能な操作手段に対する操作に応じて行われる入力を受け付ける入力受付手段、
    前記操作手段の操作に応じて行われる入力の出力先を前記画像表示装置又は前記頭部装着型表示装置のいずれかに切り換える出力先切換手段、
    としてさらに機能させ、
    前記入力受付手段は、前記出力先切換手段により前記操作手段の操作に応じて行われる入力の出力先が前記画像表示装置から前記頭部装着型表示装置に切り換えられた場合に、前記操作手段の操作に基づく入力を受け付けると前記頭部装着型表示装置に対して出力することを特徴とする請求項２０に記載のプログラム。
22. 透過型の表示手段を有し、前記表示手段に表示される画像と前記表示手段を透過する外景とを同時に視認可能な頭部装着型表示装置において実行されるプログラムであって、前記頭部装着型表示装置を、
    ユーザーにより装着された状態でユーザーの視界方向において、前記頭部装着型表示装置と通信可能な画像表示装置の画像表示画面内に表示される画像成分の存在しないブランク領域の位置及びサイズを検知する検知手段、
    前記検知手段により検知された前記ブランク領域の位置及びサイズに基づいて、ユーザーが前記表示手段を通して前記ブランク領域を視認可能な前記表示手段の画像表示領域を特定する特定手段、
    前記特定手段により特定された前記画像表示領域内に表示させる表示画像を生成する画像生成手段、及び、
    前記画像生成手段により生成された前記表示画像を前記表示手段の前記画像表示領域内に表示させる表示制御手段、
    として機能させることを特徴とするプログラム。

Images