JP2015227919A - 画像表示装置、画像表示装置を制御する方法、コンピュータープログラム、および、画像表示システム - Google Patents

画像表示装置、画像表示装置を制御する方法、コンピュータープログラム、および、画像表示システム Download PDF

Info

Publication number
JP2015227919A
JP2015227919A JP2014112601A JP2014112601A JP2015227919A JP 2015227919 A JP2015227919 A JP 2015227919A JP 2014112601 A JP2014112601 A JP 2014112601A JP 2014112601 A JP2014112601 A JP 2014112601A JP 2015227919 A JP2015227919 A JP 2015227919A
Authority
JP
Japan
Prior art keywords
image
display
unit
user
image display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014112601A
Other languages
English (en)
Inventor
総志 木村
Fusayuki Kimura
総志 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2014112601A priority Critical patent/JP2015227919A/ja
Priority to US14/471,333 priority patent/US10451874B2/en
Priority to CN201410498313.4A priority patent/CN104469464B/zh
Publication of JP2015227919A publication Critical patent/JP2015227919A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】周辺の外部装置における表示を統合することのできる画像表示装置を提供する。
【解決手段】画像表示装置は、画像表示装置に接続されている複数の外部装置を相互に識別するための複数の識別画像のうち、少なくとも一部の識別画像を一覧表示する第1の表示領域と、複数の外部装置の中から選択された一の外部装置が表示する画像である表示画像を表示する第2の表示領域と、を含む統合画像を生成する生成部と、統合画像を画像表示装置の使用者に視認させる画像表示部とを備える。
【選択図】図5

Description

本発明は、画像表示装置に関する。
頭部に装着する表示装置である頭部装着型表示装置(ヘッドマウントディスプレイ(Head Mounted Display、HMD))が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイと光源とを利用して画像を表す画像光を生成し、生成された画像光を投写光学系や導光板等を利用して使用者の眼に導くことにより、使用者に虚像を認識させる。このような頭部装着型表示装置は、例えばMicroUSB(Universal Serial Bus)等の有線インターフェイスによってスマートフォン等の外部装置と接続されて、MHL(Mobile High definition Link)等の規格に準拠して、外部装置からの映像信号を受信することができる。同様に、頭部装着型表示装置は、例えば無線LAN等の無線インターフェイスによって外部装置と接続されて、Miracast等の規格に準拠して、外部装置からの映像信号を受信することができる。頭部装着型表示装置は、このようにして受信した映像信号に基づいて、外部装置の表示画面に表示される画面と同じ虚像を頭部装着型表示装置の使用者に視認させることができる。
特許文献1には、現在の番組映像と、現在の番組映像に関する情報と、他のチャンネルの番組情報と、を1つの画面に統合して表示させることのできるAV(Audio Visual)システムが記載されている。特許文献2には、複数のコンピューター装置の表示画面に仮想画面を隣接して設け、各コンピューター装置のユーザーが仮想画面上のウィンドウを操作することができる画像表示装置が記載されている。
特許第3968467号公報 特許第5082722号公報
特許文献1に記載された技術では、AVシステムに接続されるAV機器として、アナログ放送受信ユニットとディジタル放送受信ユニットとが例示されている。すなわち、特許文献1に記載された技術では、特定の機器間における映像を対象としており汎用性が低いという課題があった。また、特許文献2に記載された技術では、コンピューター装置の表示画面とは別の表示手段、すなわち仮想画面を提供しているにすぎず、複数のコンピューター装置の表示画面を統合することはできないという課題があった。
このため、周辺の外部装置(周辺機器)における表示を統合することのできる画像表示装置が望まれていた。そのほか、画像表示装置には、汎用性の向上、ユーザビリティ―の向上、利便性の向上、信頼性の向上、製造コストの低減といった、種々の要望があった。
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
(1)本発明の一形態によれば、画像表示装置が提供される。この画像表示装置は;前記画像表示装置に接続されている複数の外部装置を相互に識別するための複数の識別画像のうち、少なくとも一部の前記識別画像を一覧表示する第1の表示領域と、前記複数の外部装置の中から選択された一の外部装置が表示する画像である表示画像を表示する第2の表示領域と、を含む統合画像を生成する生成部と;前記統合画像を前記画像表示装置の使用者に視認させる画像表示部と、を備える。この形態の画像表示装置によれば、画像表示部は、画像表示装置に接続されている複数の外部装置の複数の識別画像のうち、少なくとも一部の識別画像と、複数の外部装置の中から選択された一の外部装置が表示する画像である表示画像と、を含む統合画像を使用者に視認させることができる。このため、画像接続装置周辺の、換言すれば、画像表示装置に接続されている外部装置における表示を統合することのできる画像表示装置を提供することができる。
(2)上記形態の画像表示装置では、さらに;前記一の外部装置から前記表示画像を取得する取得部と;前記取得された表示画像を用いて、前記統合画像の前記第2の表示領域を更新する更新部と、を備えていてもよい。この形態の画像表示装置によれば、画像表示部は、複数の外部装置の中から選択された一の外部装置について、その表示画面が更新された統合画像を使用者に視認させることができる。
(3)上記形態の画像表示装置において;前記識別画像には、前記外部装置の一の時点での表示画像と、前記外部装置を識別するための情報を表す画像と、前記外部装置に割り当てられたシンボルを表す画像と、のうちの少なくともいずれかが含まれていてもよい。この形態の画像表示装置によれば、統合画像の第1の表示領域には、外部装置の一の時点での表示画像と、外部装置を識別するための情報を表す画像と、外部装置に割り当てられたシンボルを表す画像と、のうちの少なくともいずれかを含むことができる。
(4)上記形態の画像表示装置では、さらに;前記複数の外部装置の中から、前記使用者が注意を向けた外部装置を特定する外部装置特定部を備え;前記生成部は、前記複数の外部装置のうち、少なくとも過去に前記外部装置特定部によって特定された前記外部装置の前記識別画像を前記第1の表示領域に表示してもよい。この形態の画像表示装置によれば、生成部は、画像表示装置に接続されている複数の外部装置のうち、少なくとも過去に使用者が注意を向けた外部装置の識別画像を第1の表示領域に表示する。このように、使用者は、第1の表示領域に表示される外部装置を「注意を向ける」ことで選択することができるため、使用者における利便性が向上する。また、画像表示装置に数多くの外部装置が接続されている場合等における、第1の表示領域の煩雑化を抑制することができる。
(5)上記形態の画像表示装置では、さらに;前記複数の外部装置の中から、前記使用者が注意を向けた外部装置を特定する外部装置特定部を備え、前記取得部は、前記外部装置特定部によって特定された前記外部装置から前記表示画像を取得してもよい。この形態の画像表示装置によれば、取得部は、使用者が注意を向けた外部装置から表示画像を取得し、更新部は、取得された表示画像を用いて統合画像の第2の表示領域を更新する。このように、使用者は、第2の表示領域に表示される外部装置を「注意を向ける」ことで選択することができるため、使用者における利便性が向上する。
(6)上記形態の画像表示装置では、さらに;前記画像表示装置と前記複数の外部装置との間の距離をそれぞれ取得する距離取得部を備え;前記生成部は、前記取得されたそれぞれの距離に応じて、前記第1の表示領域における前記複数の識別画像の表示順序と、前記第1の表示領域における前記識別画像の大きさと、のうちの少なくとも一方を決定してもよい。この形態の画像表示装置によれば、画像表示部は、画像表示装置と複数の外部装置との間の距離に応じて、第1の表示領域における複数の識別画像の表示順序と、大きさと、のうちの少なくとも一方が変化された統合画像を使用者に視認させることができる。この結果、使用者は、第1の表示領域における表示順序または大きさによって、画像表示装置と複数の外部装置との間の距離を知ることができる。
(7)上記形態の画像表示装置において;前記生成部は、前記第1の表示領域を更新してもよい。この形態の画像表示装置によれば、生成部は、前記第1の表示領域を更新することもできる。
(8)上記形態の画像表示装置において;前記画像表示部は、さらに、前記統合画像を表す画像光を生成する表示駆動部を備え、前記生成された画像光を前記使用者の眼に射出することで前記統合画像を前記使用者に視認させてもよい。この形態の画像表示装置によれば、画像表示装置を、頭部装着型表示装置として構成することができる。
(9)上記形態の画像表示装置において;前記生成部は、前記第2の表示領域の縦横比を前記表示駆動部による前記画像光の生成可能領域の縦横比とし、前記第2の表示領域の外側に前記第1の表示領域を配置した前記統合画像を生成し;前記画像表示部は;前記使用者による操作がない場合は、前記表示駆動部に対して、前記統合画像の前記第2の表示領域に相当する部分の前記画像光を生成させ;前記使用者による操作がある場合は、前記表示駆動部に対して、少なくとも前記統合画像の前記第1の表示領域に相当する部分の前記画像光を生成させてもよい。この形態の画像表示装置によれば、画像表示部は、使用者による操作がない場合は、統合画像の第2の表示領域に相当する部分を使用者に視認させ、使用者による操作がある場合は、統合画像の第1の表示領域に相当する部分を使用者に視認させる。この結果、この形態の画像表示装置によれば、通常画面(第2の表示領域)の外側に仮想画面(第1の表示領域)を設け、使用者による操作で、通常画面と仮想画面との表示を切り替えることができる。この結果、使用者における利便性を向上させることができる。
(10)上記形態の画像表示装置において;前記画像表示部は、前記表示駆動部に前記一の外部装置に付すための付加提示用の情報であって、前記使用者へ拡張現実感を提供するための付加提示用の情報を表す画像光を生成させ、前記生成された画像光を前記使用者の眼に射出することで前記付加提示用の情報を前記使用者に視認させてもよい。この形態の画像表示装置によれば、画像表示部は、使用者が一の外部装置に対して注意を向けた場合に、使用者へ拡張現実感を提供するための付加提示用の情報を視認させることができる。この結果、使用者における利便性を向上させることができる。
(11)本発明の一形態によれば、画像表示システムが提供される。この画像表示システムは;情報処理装置と;前記情報処理装置に接続されている画像表示装置と;前記情報処理装置に接続されている複数の外部装置と、を備え;前記情報処理装置は;前記複数の外部装置を相互に識別するための複数の識別画像のうち、少なくとも一部の前記識別画像を一覧表示する第1の表示領域と、前記複数の外部装置の中から選択された一の外部装置が表示する画像である表示画像を表示する第2の表示領域と、を含む統合画像を生成する代理生成部と;前記統合画像を前記情報処理装置に送信する送信部と、を備え;前記画像表示装置は;前記情報処理装置から受信した前記統合画像を、前記画像表示装置の使用者に視認させる画像表示部を備える。この形態の画像表示システムによれば、画像接続装置周辺の、換言すれば、情報処理装置を介して画像接続装置に接続されている外部装置における表示を統合することのできる画像表示システムを提供することができる。
上述した本発明の各形態の有する複数の構成要素は全てが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな構成要素との差し替え、限定内容の一部削除を行うことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。
例えば、本発明の一形態は、生成部と、画像表示部と、の2つの要素のうちの一部または全部の要素を備えた装置として実現可能である。すなわち、この装置は、生成部を有していてもよく、有していなくてもよい。また、この装置は、画像表示部を有していてもよく、有していなくてもよい。こうした装置は、例えば画像表示装置として実現できるが、画像表示装置以外の他の装置としても実現可能である。前述した画像表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。
なお、本発明は、種々の態様で実現することが可能であり、例えば、画像表示装置、画像表示装置の制御方法、画像表示装置を用いた画像表示システム、頭部装着型表示装置、頭部装着型表示装置の制御方法、頭部装着型表示装置を用いた画像表示システム、これらの方法、装置またはシステムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体等の形態で実現することができる。
本発明の一実施形態における画像表示システム1000の概略構成を示す説明図である。 ヘッドマウントディスプレイ100の構成を機能的に示すブロック図である。 領域情報122の一例を示す説明図である。 使用者に視認される虚像の一例を示す説明図である。 統合画像表示処理の手順を示すシーケンス図である。 ステップS126で生成された統合画像の一例を示す説明図である。 統合画像更新処理の手順を示すシーケンス図である。 ヘッドマウントディスプレイ100において第2の表示領域が更新された統合画像が表示されている様子を示す説明図である。 付加的処理1の無線タグを使用する方法についての説明図である。 第2実施形態のヘッドマウントディスプレイ100aの構成を機能的に示すブロック図である。 第2実施形態の統合画像表示処理の手順を示すシーケンス図である。 第2実施形態の統合画像表示処理のステップS126で生成された統合画像の一例を示す説明図である。 第2実施形態における統合画像更新処理の手順を示すシーケンス図である。 ヘッドマウントディスプレイ100aにおいて第1の表示領域と第2の表示領域とが更新された統合画像が表示されている様子を示す説明図である。 第3実施形態のヘッドマウントディスプレイ100bの構成を機能的に示すブロック図である。 第3実施形態における領域情報122bの一例を示す説明図である。 画像処理部160bの動作の一例を説明するための説明図である。 第4実施形態の画像表示システム1000cの概略構成を示す説明図である。 サーバー900の構成を機能的に示すブロック図である。 変形例におけるヘッドマウントディスプレイの外観の構成を示す説明図である。 変形例における領域情報122xの一例を示す説明図である。
A.第1実施形態:
A−1.画像表示システムの構成:
図1は、本発明の一実施形態における画像表示システム1000の概略構成を示す説明図である。画像表示システム1000は、頭部装着型表示装置100と、コンピューター300(PC300)と、家電400と、AV(Audio Visual)機器500と、携帯端末600と、ゲーム機器700とを備えている。以降では、頭部装着型表示装置100を「画像表示装置」とも呼ぶ。同様に、PC300と、家電400と、AV機器500と、携帯端末600と、ゲーム機器700とを総称して「外部装置」とも呼ぶ。画像表示システム1000は、頭部装着型表示装置100に接続されている外部装置における表示を統合した「統合画像」を頭部装着型表示装置100に表示させるシステムである。
頭部装着型表示装置100は、頭部に装着する画像表示装置であり、ヘッドマウントディスプレイ(Head Mounted Display、HMD)とも呼ばれる。本実施形態のヘッドマウントディスプレイ100は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。PC300は、情報通信端末である。本実施形態では、PC300としてノートパソコンを例示するが、PC300は、デスクトップパソコン等の他の情報通信端末により構成されてもよい。家電400は、家庭用の電気製品である。本実施形態では、家電400として冷蔵庫を例示するが、家電400は、エアコン、電子レンジ、洗濯機、電話、ファックス、プリンター、デジタルカメラ等の他の電気製品により構成されてもよい。
AV機器500は、映像を記録、再生、変換等する映像機器と、音声を記録、再生、変換等する音響機器の総称である。本実施形態では、AV機器500としてハードディスクプレイヤーを例示するが、AV機器500は、テレビ、DVD(Digital Versatile Disk)プレイヤー、コンポーネントオーディオ、ディジタルオーディオプレイヤー等の他の映像機器や音響機器により構成されてもよい。携帯端末600は、携帯可能な情報通信端末である。本実施形態では、携帯端末600としてスマートフォン(smartphone)を例示するが、携帯端末600は、携帯電話、PDA(Personal Digital Assistant)、タブレット端末等の他の携帯情報通信端末により構成されてもよい。ゲーム機器700は、コンピューターゲームを動作させるための機器である。
上述したPC300、家電400、AV機器500、携帯端末600、ゲーム機器700の外部装置は、それぞれ、ヘッドマウントディスプレイ100と無線通信または有線通信可能に接続されている。
A−2.ヘッドマウントディスプレイの構成:
図2は、ヘッドマウントディスプレイ100の構成を機能的に示すブロック図である。図1、2に示すように、ヘッドマウントディスプレイ100は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部20と、画像表示部20を制御する制御部(コントローラー)10とを備えている。画像表示部20と制御部10とは、接続部40によって接続され、接続部40を介して各種信号の伝送を行う。接続部40には、金属ケーブルや光ファイバーを採用することができる。
A−2−1.制御部の構成:
制御部10は、ヘッドマウントディスプレイ100を制御するための装置である。制御部10は、入力情報取得部110と、記憶部120と、電源130と、無線通信部132と、GPSモジュール134と、CPU140と、インターフェイス180と、送信部(Tx)51および52とを備え、各部は図示しないバスにより相互に接続されている(図2)。
入力情報取得部110は、例えば、タッチパッド、十字キー、フットスイッチ、ジェスチャー検出、視線検出、タッチ検出、マイクロホン等の入力デバイスに対する操作入力に応じた信号を取得する。具体的には、フットスイッチは、使用者の足により操作するスイッチである。ジェスチャー検出では、カメラ等を用いて使用者のジェスチャーを検出する。この場合、ジェスチャーとコマンドとが予め対応付けられている。なお、ジェスチャー検出の際は、使用者の指先や、使用者の手に付けられた指輪や、使用者が手に持つ道具等を動き検出のための目印にしてもよい。視線検出では、赤外線センサー等を用いて使用者の視線を検出する。この場合、視線の動きとコマンドとが予め対応付けられている。タッチ検出では、ヘッドマウントディスプレイ100の筐体の任意の場所(例えば、画像表示部20の右保持部21および左保持部23(図1)の外側)に設けられた接触センサーに対する使用者のタッチ操作を検出する。
このように、入力情報取得部110は、種々の入力デバイスに対する操作入力に応じた信号を取得する。特に、フットスイッチ、視線検出、マイクロホンによる操作入力を取得することとすれば、使用者が手を用いて操作することが困難な場面(例えば、家事などの作業場面、医療現場における作業場面、建設業や製造業などの手元作業を必要とする作業場面)において、ヘッドマウントディスプレイ100が使用される場合における使用者の利便性を大きく向上させることができる。
記憶部120は、ROM、RAM、DRAM、ハードディスク等によって構成されている。記憶部120は、領域情報122と、識別画像記憶部124とを含んでいる。領域情報122は、統合画像表示処理(図5)において生成される統合画像に含まれる「領域」を規定する情報である。識別画像記憶部124は、統合画像表示処理において収集された外部装置の識別画像を記憶しておくための記憶部である。ここで、統合画像表示処理とは、統合画像を生成し、ヘッドマウントディスプレイ100に表示させる処理である。統合画像とは、ヘッドマウントディスプレイ100に接続されている複数の外部装置の識別画像と、複数の外部装置の中から使用者によって選択された一の外部装置が表示する画像である表示画像(以降、単に「表示画像」とも呼ぶ。)と、の両方を含む画像である。統合画像更新処理とは、統合画像のうち、使用者によって選択された一の外部装置の表示画像を動的に更新し、ヘッドマウントディスプレイ100に表示させる処理である。
「外部装置の識別画像」とは、ヘッドマウントディスプレイ100に接続されている外部装置を相互に識別するための画像である。本実施形態における外部装置の識別画像としては、例えば、以下のa1〜a3に例示する情報を表す画像を使用することができる。
(a1)外部装置の一の時点での表示画像。
(a2)外部装置の操作画面や設定画面の表示画像。
(a3)外部装置の一の期間の表示画像の短縮動画像。
図3は、領域情報122の一例を示す説明図である。領域情報122は、長方形状の領域(以降、「領域122」とも呼ぶ。)を有している。領域122は、ヘッドマウントディスプレイ100の表示素子(図2:右LCD241、左LCD242)の縦横比と同じ縦横比を有することが好ましい。領域122は、6つのサムネイル表示領域B1〜B6と、アクティブ表示領域BGと、を含んでいる。サムネイル表示領域B1〜B6は、統合画像表示処理(図5)において、複数の外部装置の識別画像が配置されることによって、複数の外部装置の識別画像を一覧表示させるための領域である。サムネイル表示領域B1〜B6を「第1の表示領域」とも呼ぶ。アクティブ表示領域BGは、統合画像表示処理において、複数の外部装置の中から使用者によって選択された一の外部装置の表示画像が配置されるための領域である。アクティブ表示領域BGを「第2の表示領域」とも呼ぶ。
図3の例では、サムネイル表示領域B1〜B3は、領域122の左端部に、それぞれが鉛直方向に隣接して配置されている。サムネイル表示領域B4〜B6は、領域122の右端部に、それぞれが鉛直方向に隣接して配置されている。また、サムネイル表示領域B1〜B6は、それぞれ同じ大きさの領域である。また、図3の例では、アクティブ表示領域BGは、領域122からサムネイル表示領域B1〜B6を除外した部分を占める領域である。図3において、サムネイル表示領域B1〜B6にはドットのハッチングを付し、アクティブ表示領域BGには斜線ハッチングを付す。
なお、図3に示したサムネイル表示領域B1〜B6の配置および大きさは一例であり、任意に定めることができる。例えば、サムネイル表示領域B1〜B6は、領域122の上端部や下端部に配置されてもよい。また、サムネイル表示領域B1〜B6は、領域122の四辺を取り囲むように配置されてもよい。また、サムネイル表示領域B1〜B6は、それぞれの領域が異なる大きさであってもよい。さらに、サムネイル表示領域B1〜B6は、それぞれ、領域の少なくとも一部が重なっていてもよい。ただし、アクティブ表示領域BGの視認性を向上させるために、サムネイル表示領域B1〜B6は、使用者の視界を妨げない領域122の端部に配置されることが好ましい。
電源130は、ヘッドマウントディスプレイ100の各部に電力を供給する。電源130としては、例えば二次電池を用いることができる。無線通信部132は、所定の無線通信規格(例えば、赤外線、Bluetooth(登録商標)に例示される近距離無線通信、IEEE802.11に例示される無線LAN等)に則って、外部装置との間で無線通信を行う。GPSモジュール134は、GPS衛星からの信号を受信することにより、ヘッドマウントディスプレイ100の使用者の現在位置を検出し、使用者の現在位置情報を表す現在位置情報を生成する。なお、現在位置情報は、例えば緯度経度を表す座標によって実現することができる。
CPU140は、記憶部120に格納されているコンピュータープログラムを読み出して実行することにより、生成部142、更新部144、オペレーティングシステム(ОS)150、画像処理部160、音声処理部170、表示制御部190として機能する。
生成部142は、統合画像表示処理(図5)を実行し、統合画像を生成する。生成部142は、複数の外部装置について、複数の外部装置を相互に識別するための複数の識別画像を一覧表示する第1の表示領域と、複数の外部装置の中から使用者によって選択された一の外部装置の表示画像を表示する第2の表示領域と、を含む統合画像を生成する「生成部」としての機能を実現する。更新部144は、統合画像更新処理(図7)を実行し、統合画像を更新する。更新部144は、複数の外部装置の中から使用者によって選択された一の外部装置の表示画像を取得する「取得部」としての機能と、取得された表示画像を用いて、統合画像の第2の表示領域を更新する「更新部」としての機能を実現する。
画像処理部160は、生成部142や、インターフェイス180や、無線通信部132等からOS150を介して入力される映像信号に基づいて信号を生成する。画像処理部160は、生成した信号を、接続部40を介して画像表示部20に供給することで、画像表示部20における表示を制御する。画像表示部20に供給するための信号は、アナログ形式とディジタル形式の場合で異なる。
例えば、ディジタル形式の場合、ディジタルR信号と、ディジタルG信号と、ディジタルB信号と、クロック信号PCLKとが同期した状態の映像信号が入力される。画像処理部160は、ディジタルR信号、ディジタルG信号、ディジタルB信号からなる画像データーDataに対して、必要に応じて周知の解像度変換処理、輝度彩度の調整などの種々の色調補正処理、キーストーン補正処理等の画像処理を実行する。その後、画像処理部160は、クロック信号PCLKと、画像データーDataとを、送信部51、52を介して送信する。
アナログ形式の場合、アナログR信号と、アナログG信号と、アナログB信号と、垂直同期信号VSyncと、水平同期信号HSyncとからなる映像信号が入力される。画像処理部160は、入力された信号から垂直同期信号VSyncと水平同期信号HSyncを分離し、それらの周期に応じて、図示しないPLL回路等を用いてクロック信号PCLKを生成する。また、画像処理部160は、アナログR信号と、アナログG信号と、アナログB信号とを、A/D変換回路等を用いてディジタル信号に変換する。画像処理部160は、変換後のディジタルR信号、ディジタルG信号、ディジタルB信号からなる画像データーDataに対して、必要に応じて周知の画像処理を実行した後、クロック信号PCLKと、画像データーDataと、垂直同期信号VSyncと、水平同期信号HSyncとを、送信部51、52を介して送信する。なお、以降では、送信部51を介して送信される画像データーDataを「右眼用画像データーData1」とも呼び、送信部52を介して送信される画像データーDataを「左眼用画像データーData2」とも呼ぶ。
表示制御部190は、画像表示部20が有する右表示駆動部22と左表示駆動部24とを制御する制御信号を生成する。制御信号とは、右LCD制御部211による右LCD241の駆動ON/OFF、右バックライト制御部201による右バックライト221の駆動ON/OFF、左LCD制御部212による左LCD242の駆動ON/OFF、左バックライト制御部202による左バックライト222の駆動ON/OFFを個別に切り替えるための信号である。表示制御部190は、これらの制御信号によって、右表示駆動部22と左表示駆動部24とにおける画像光の生成および射出を制御する。表示制御部190は、生成した制御信号を、送信部51、52を介して送信する。
音声処理部170は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、右イヤホン32の図示しないスピーカーと、左イヤホン34の図示しないスピーカーとに対して供給する。
インターフェイス180は、所定の有線通信規格(例えば、MicroUSB(Universal Serial Bus)、USB、HDMI(High Definition Multimedia Interface、HDMIは登録商標)、DVI(Digital Visual Interface)、VGA(Video Graphics Array)、コンポジット、RS−232C(Recommended Standard 232)、IEEE802.3に例示される有線LAN等)に則って、外部装置との間で無線通信を行う。
A−2−2.画像表示部の構成:
画像表示部20は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部20は、右表示駆動部22と、左表示駆動部24と、右光学像表示部26(図1)と、左光学像表示部28(図1)と、9軸センサー66とを含んでいる。
右表示駆動部22と左表示駆動部24とは、使用者が画像表示部20を装着した際の使用者のこめかみに対向する位置に配置されている。本実施形態における右表示駆動部22と左表示駆動部24とは、液晶ディスプレイ(Liquid Crystal Display、以下「LCD」と呼ぶ)や投写光学系を用いて、画像を表す画像光を生成し射出する。右表示駆動部22は、受信部(Rx)53と、光源として機能する右バックライト(BL)制御部201および右バックライト(BL)221と、表示素子として機能する右LCD制御部211および右LCD241と、右投写光学系251とを含んでいる。
受信部53は、送信部51から送信されるデーターを受信する。右バックライト制御部201は、入力された制御信号に基づいて、右バックライト221を駆動する。右バックライト221は、例えば、LEDやエレクトロルミネセンス(EL)等の発光体である。右LCD制御部211は、入力されたクロック信号PCLKと右眼用画像データーData1と、垂直同期信号VSyncと、水平同期信号HSyncとに基づいて、右LCD241を駆動する。右LCD241は、複数の画素をマトリクス状に配置した透過型液晶パネルである。右LCD241は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右LCD241を透過する光の透過率を変化させることにより、右バックライト221から照射される照明光を、画像を表す有効な画像光へと変調する。右投写光学系251は、右LCD241から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。
左表示駆動部24は、右表示駆動部22とほぼ同様の構成を有し、右表示駆動部22と同様に動作する。すなわち、左表示駆動部24は、受信部(Rx)54と、光源として機能する左バックライト(BL)制御部202および左バックライト(BL)222と、表示素子として機能する左LCD制御部212および左LCD242と、左投写光学系252とを含んでいる。詳細な説明は省略する。なお、本実施形態ではバックライト方式を採用することとしたが、フロントライト方式や、反射方式を用いて画像光を射出してもよい。
右光学像表示部26と左光学像表示部28とは、使用者が画像表示部20を装着した際に使用者の左右の眼前にそれぞれ位置するように配置されている(図1参照)。右光学像表示部26は、右導光板261と、図示しない調光板を含んでいる。右導光板261は、光透過性の樹脂材料等によって形成されている。右導光板261は、右表示駆動部22から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼REへ導く。右導光板261には、回折格子を用いても良いし半透過反射膜を用いても良い。調光板は、薄板状の光学素子であり、画像表示部20の表側を覆うように配置されている。調光板は、右導光板261を保護し、右導光板261の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整することができる。なお、調光板は省略可能である。
左光学像表示部28は、右光学像表示部26とほぼ同様の構成を有し、右光学像表示部26と同様に動作する。すなわち、左光学像表示部28は、左導光板262と、図示しない調光板を含み、左表示駆動部24から出力された画像光を、使用者の左眼LEへ導く。詳細な説明は省略する。
9軸センサー66は、加速度(3軸)、角速度(3軸)、地磁気(3軸)を検出するモーションセンサーである。9軸センサー66は、画像表示部20に設けられているため、画像表示部20が使用者の頭部に装着されているときには、ヘッドマウントディスプレイ100の使用者の頭部の動きを検出する動き検出部として機能する。ここで、頭部の動きとは、頭部の速度・加速度・角速度・向き・向きの変化を含む。
図4は、使用者に視認される虚像の一例を示す説明図である。図4では、使用者の視野VRを例示している。上述のようにして、ヘッドマウントディスプレイ100の使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、使用者は虚像VIを視認することができる。図4の例では、虚像VIは、ヘッドマウントディスプレイ100のOSの待ち受け画面である。また、使用者は、右光学像表示部26および左光学像表示部28を透過して外景SCを視認する。このように、本実施形態のヘッドマウントディスプレイ100の使用者は、視野VRのうち虚像VIが表示された部分については、虚像VIと、虚像VIの背後の外景SCとを見ることができる。また、使用者は、視野VRのうち虚像VIが表示されていない部分については、右光学像表示部26および左光学像表示部28を透過して外景SCを直接見ることができる。なお、本明細書において、「ヘッドマウントディスプレイ100が画像を表示する」ことには、ヘッドマウントディスプレイ100の使用者に対して虚像を視認させることも含む。
A−3.統合画像表示処理:
図5は、統合画像表示処理の手順を示すシーケンス図である。本実施形態の統合画像表示処理とは、統合画像を生成し、ヘッドマウントディスプレイ100に表示させる処理である。統合画像とは、ヘッドマウントディスプレイ100に接続されている複数の外部装置の識別画像と、複数の外部装置の中から使用者によって選択された一の外部装置の表示画像と、の両方を含む画像である。統合画像表示処理は、主として生成部142により実行される。
ステップS100において、統合画像表示処理を実行するためのアプリケーションが起動される。ステップS100のアプリケーションの起動は、入力情報取得部110が使用者による起動操作を検出したことをトリガーとしてもよく、他のアプリケーションからの起動命令の検出をトリガーとしてもよい。ステップS100のアプリケーションの起動によって、CPU140に対して、生成部142および更新部144の機能が実現される。
ステップS102において無線通信部132またはインターフェイス180は、外部装置としてのPC300が接続されたことを検出する。なお、以降では、ヘッドマウントディスプレイ100とPC300とがIEEE802.11に準拠した無線LANを用いて通信する場合を例示する。その後、生成部142は、PC300との間でコネクションを確立する。
ステップS104においてPC300は、PC300の表示画面の画像を取得する。具体的には、PC300は、以下のb1〜b3に示すいずれかのフレーム画像を取得する。なお、下記b1は上記a1に、下記b2は上記a2に、下記b3は上記a3に、それぞれ対応している。
(b1)PC300において再生中のコンテンツや、アプリケーションGUI(Graphical User Interface)等、一の時点でPC300において表示されている画面をレンダリングしたフレーム画像。
(b2)PC300の操作画面(すなわち待ち受け画面)や設定画面(すなわちOSやBIOSの設定画面)をレンダリングしたフレーム画像。
(b3)PC300において再生中のコンテンツや、アプリケーションGUI等の、一の期間の間にPC300に表示されている画面をレンダリングした複数のフレーム画像。
ステップS106においてPC300は、取得したフレーム画像をヘッドマウントディスプレイ100へ送信する。ヘッドマウントディスプレイ100の生成部142は、無線通信部132を介して、このフレーム画像を取得する。このとき、生成部142と無線通信部132とは「取得部」として機能する。
ステップS108において生成部142は、取得したフレーム画像を「外部装置の識別画像」として、識別画像記憶部124に記憶させる。なお、生成部142は、フレーム画像を縮小処理した後で識別画像記憶部124に記憶させてもよい。そうすれば、識別画像記憶部124が消費する記憶容量を低減することができる。また、ステップS108において生成部142は、PC300との間のコネクションを切断してもよい。
ステップS110において生成部142は、家電400との間で、ステップS102〜S108と同様の処理を実施する。同様に、生成部142は、ステップS112においてAV機器500との間で、ステップS114において携帯端末600との間で、ステップS116においてゲーム機器700との間で、それぞれ同様の処理を実施する。ステップS110〜S116の結果、識別画像記憶部124には、ヘッドマウントディスプレイ100に接続されている全ての外部装置の識別画像が格納される。
ステップS118において生成部142は、ヘッドマウントディスプレイ100の表示画面の画像を取得する。具体的には、ヘッドマウントディスプレイ100についての、上記b1〜b3に示すいずれかのフレーム画像を取得する。
ステップS120において生成部142は、取得したフレーム画像を「画像表示装置の識別画像」として、識別画像記憶部124に記憶させる。なお、生成部142は、フレーム画像を縮小処理した後で識別画像記憶部124に記憶させてもよい。ステップS118、S120の結果、識別画像記憶部124には、ヘッドマウントディスプレイ100自身の識別画像が格納される。
ステップS124において生成部142は、識別画像記憶部124に格納されている複数の識別画像を取得し、取得した識別画像を所定の条件に従ってソートする。ソートの条件は、例えば、識別画像の取得元である外部装置のID(例えば製品番号やシリアル番号)、識別画像の取得元である外部装置の名前(例えば製品の名称)、識別画像記憶部124における識別画像の取得順、識別画像の取得元である外部装置とヘッドマウントディスプレイ100との間の距離、外部装置の種類(例えば、PC、家電、AV機器等)等を使用することができる。なお、外部装置とヘッドマウントディスプレイ100との間の距離は、例えば、OS150が、GPSモジュール134によって検出されたヘッドマウントディスプレイ100の現在位置情報と、外部装置から取得した外部装置の現在位置情報と、を比較することによって求めることができる。この場合、OS150は「距離取得部」として機能する。なお、本実施形態における「外部装置とヘッドマウントディスプレイ100との間の距離」には、大まかな距離も含む。
ステップS126において生成部142は、ソート後の識別画像を用いて統合画像を生成する。具体的には、生成部142は、ステップS124でソートされた複数の識別画像を、それぞれ、領域情報122のサムネイル表示領域B1〜B6(第1の表示領域)に配置する。また、生成部142は、黒画像を、領域情報122のアクティブ表示領域BG(第2の表示領域)に配置する。このアクティブ表示領域BGには、後述の統合画像変更処理において、使用者によって選択された一の外部装置の表示画像が挿入される。
なお、ステップS126において生成部142は、各識別画像に対して、識別画像の形状の変更、識別画像の透過率の変更、識別画像への色変換処理、識別画像の大きさの変更、識別画像への装飾(文字、図形、記号等)の付与、等を実施してもよい。例えば、生成部142は、識別画像の大きさを変更する際に、外部装置とヘッドマウントディスプレイ100との間の距離に応じて、識別画像の大きさを決定してもよい。例えば、ヘッドマウントディスプレイ100との間の距離が近い外部装置の識別画像ほど、大きくすることとすれば、統合画像を見た使用者に対して、ヘッドマウントディスプレイ100と各外部装置との間の距離を視覚的に把握させることが可能となる。同様に、形状や、透過率、色変換処理の処理内容、装飾の内容についても、ヘッドマウントディスプレイ100と外部装置との間の距離に応じて決定されてもよい。
図6は、ステップS126で生成された統合画像の一例を示す説明図である。統合画像GIのサムネイル表示領域B1にはヘッドマウントディスプレイ100の識別画像として、ヘッドマウントディスプレイ100の一の時点での表示画像G1が配置されている。同様に、サムネイル表示領域B2にはPC300の識別画像として、PC300の一の時点での表示画像G2が、サムネイル表示領域B3には家電400の識別画像として、家電400の設定画面の表示画像G3が、サムネイル表示領域B4にはAV機器500の識別画像として、AV機器500の操作画面の表示画像G4が、サムネイル表示領域B5には携帯端末600の識別画像として、携帯端末600の一の時点での表示画像G5が、サムネイル表示領域B6にはゲーム機器700の識別画像として、ゲーム機器700の一の時点での表示画像G6が、それぞれ配置されている。なお、図6の例では、サムネイル表示領域B1〜B6の縦横比と、各外部装置の識別画像G1〜G6の縦横比とが一致していない。図5のステップS126において生成部142は、各外部装置の識別画像G1〜G6の縦横比を、サムネイル表示領域B1〜B6の縦横比にそれぞれ一致させる処理を実施してもよい。
図5のステップS128において生成部142は、ヘッドマウントディスプレイ100に統合画像を表示させる。具体的には、生成部142は、ステップS126で生成した統合画像を、画像処理部160へ送信する。統合画像を受信した画像処理部160では、上述の表示処理が行われる。この結果、ヘッドマウントディスプレイ100の使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、ヘッドマウントディスプレイ100の使用者は、視野に統合画像の虚像を視認することができる。換言すれば、ヘッドマウントディスプレイ100は、統合画像を表示することができる。
A−4.統合画像更新処理:
図7は、統合画像更新処理の手順を示すシーケンス図である。本実施形態の統合画像更新処理とは、統合画像のうち、使用者によって選択された一の外部装置の表示画像を動的に更新し、ヘッドマウントディスプレイ100に表示させる処理である。統合画像更新処理は、主として更新部144により実行される。
ステップS200において更新部144は、入力情報取得部110を介して、複数の外部装置の中から一の外部装置を選択する選択操作を取得する。この選択操作は、ヘッドマウントディスプレイ100の使用者によってなされる操作である。使用者は、ヘッドマウントディスプレイ100の備える入力デバイス(例えば、タッチパッド、十字キー、フットスイッチ、ジェスチャー検出、視線検出、タッチ検出、マイクロホン等)を使用して選択操作を実施することができる。
ステップS202において更新部144は、使用者により選択された一の外部装置に対して、表示画像の要求を送信する。図では、使用者によって選択された外部装置はPC300である例を示している。
ステップS204において表示画像の要求を受信した外部装置(PC300)は、PC300の表示画面の画像、すなわち、PC300において再生中のコンテンツや、アプリケーションGUI等の、現在PC300において表示されている画面をレンダリングしたフレーム画像を取得する。
ステップS206においてPC300は、取得したフレーム画像をヘッドマウントディスプレイ100へ送信する。ヘッドマウントディスプレイ100の更新部144は、無線通信部132を介して第1の画像を取得する。このとき、更新部144と無線通信部132とは「取得部」として機能する。
ステップS208において更新部144は、取得したフレーム画像を用いて、統合画像表示処理(図5)のステップS126で生成された統合画像のうちの、アクティブ表示領域BG(第2の表示領域)を更新する。
ステップS210において更新部144は、更新後の統合画像を表示させる。詳細は統合画像表示処理(図5)のステップS128と同様である。
ステップS212において更新部144は、ステップS200で取得した外部装置とは異なる他の外部装置の選択操作を取得するまでの間、選択された外部装置(PC300)に対して、ステップS202〜S210の処理を繰り返す。一方、他の外部装置の選択操作を取得した場合、更新部144は、他の外部装置に対して、ステップS202〜S212の処理を実行する。
図8Aは、ヘッドマウントディスプレイ100において第2の表示領域が更新された統合画像が表示されている様子を示す説明図である。図8Aに示すように、ヘッドマウントディスプレイ100の使用者は、視野VRにおいて、ヘッドマウントディスプレイ100に接続されている複数の外部装置の複数の識別画像と、複数の外部装置の中から選択された一の外部装置の表示画像と、を含む統合画像GIを、虚像VIとして視認することができる。図8Aの例において、複数の外部装置の複数の識別画像とは、図6で説明したヘッドマウントディスプレイ100の識別画像G1と、PC300の識別画像G2と、家電400の識別画像G3と、AV機器500の識別画像G4と、携帯端末600の識別画像G5と、ゲーム機器700の識別画像G6である。また、図8Aの例において、選択された一の外部装置の表示画像とは、すなわち、PC300が表示する画像である表示画像IMである。なお、本実施形態のヘッドマウントディスプレイ100は、透過型の頭部装着型表示装置である。このため、図4で説明した通り、使用者は、虚像VIを透過して背景を視認することができる。この背景については、図示の便宜上、図8Aにおける図示を省略している。
以上のように、第1実施形態の統合画像表示処理(図5)および統合画像更新処理(図7)によれば、画像表示部20は、ヘッドマウントディスプレイ100(画像表示装置)に接続されている複数の外部装置(PC300〜ゲーム機器700)の複数の識別画像G2〜G7と、複数の外部装置の中から選択された一の外部装置(上記例ではPC300)の表示画像IMと、を含む統合画像GIを使用者に視認させることができる。このため、ヘッドマウントディスプレイ100の周辺の、換言すれば、ヘッドマウントディスプレイ100に接続されている外部装置における表示を統合することのできるヘッドマウントディスプレイ100を提供することができる。なお、統合画像表示処理(図5)では、ヘッドマウントディスプレイ100に接続されている複数の外部装置の複数の識別画像G2〜G7のうちの少なくとも一部の識別画像をサムネイル表示領域B1〜B6(第1の表示領域)に含めることとしてもよい。このようにしても、ヘッドマウントディスプレイ100に接続されている少なくとも一部の外部装置における表示を統合することのできるヘッドマウントディスプレイ100を提供することができる。
また、第1実施形態の統合画像更新処理(図7)によれば、画像表示部20は、複数の外部装置(PC300〜ゲーム機器700)から選択された一の外部装置(上記例ではPC300)について、その表示画面が動的に更新された統合画像GIを使用者に視認させることができる。上記の統合画像更新処理および統合画像表示処理(図5)によれば、ヘッドマウントディスプレイ100は、統合画像のうちのアクティブ表示領域BG(第2の表示領域)のみを動的に更新し、サムネイル表示領域B1〜B6(第1の表示領域)は更新しない。このため、ヘッドマウントディスプレイ100は、各外部装置から識別画像を1回ずつ取得すれば足りることとなり、ヘッドマウントディスプレイ100と各外部装置との間の通信トラフィックを低減することができる。また、使用者によって選択された一の外部装置については、その表示画像を動的に更新することができる。
A−5.付加的処理:
なお、統合画像表示処理(図5)、または、統合画像更新処理(図7)には、以下のような処理を付加してもよい。以下に示す処理は、単独で付加してもよいし、組み合わせて付加してもよい。
A−5−1.付加的処理1:
付加的処理1では、使用者が複数の外部装置の中から一の外部装置を選択する選択操作を「使用者が一の外部装置へ注意を向けること」で実現する。本処理では、ヘッドマウントディスプレイ100のCPU140は、さらに、外部装置特定部を備える構成とする。外部装置特定部は、以下に示すc1〜c6の方法のいずれかを用いて、使用者が注意を向けたと推定される外部装置を特定し、当該外部装置を「使用者によって選択された外部装置」とする。
(c1)指向性の無線電波を使用する方法:
ヘッドマウントディスプレイ100の筐体外部の前面に対応する位置、例えば、使用者の眉間に対応する位置(換言すれば、右光学像表示部26と左光学像表示部28との間)に指向性の無線アンテナを備える構成とする。そうすれば、この無線アンテナからの電波を受信した外部装置は、使用者が頭部を向けた外部装置であると推定できる。外部装置特定部は、指向性の無線アンテナからの電波を受信した外部装置から、その旨のメッセージを受信することで、使用者が注意を向けたと推定される外部装置を特定することができる。
(c2)赤外線を使用する方法:
ヘッドマウントディスプレイ100の筐体外部の前面に対応する位置に赤外線の発光部を備える構成とする。さらに、各外部装置に赤外線の受光部を備える構成とする。そうすれば、ヘッドマウントディスプレイ100からの赤外線を受信した外部装置は、使用者が頭部を向けた外部装置であると推定できる。外部装置特定部は、赤外線を受信した外部装置から、その旨のメッセージを受信することで、使用者が注意を向けたと推定される外部装置を特定することができる。また、ヘッドマウントディスプレイ100に赤外線の受光部を設け、各外部装置に赤外線の発光部を設けてもよい。この場合、外部装置毎に赤外線の発光パターンを変えれば、赤外線を受光したヘッドマウントディスプレイ100において、使用者が注意を向けたと推定される外部装置の特定が可能である。
(c3)位置情報を使用する方法:
外部装置特定部は、GPSモジュール134(図2)により得られるヘッドマウントディスプレイ100の現在位置情報と、各外部装置から取得した各外部装置の位置情報と、を用いて、ヘッドマウントディスプレイ100と各外部装置との位置関係を求める。その後、外部装置特定部は、9軸センサー66(図2)により得られるヘッドマウントディスプレイ100の向き(使用者の頭部の向き)に基づいて、使用者が注意を向けたと推定される外部装置を特定することができる。なお、外部装置特定部は、各外部装置の位置情報を、例えば、無線通信や近距離無線通信を用いて取得することができる。
(c4)無線タグを使用する方法:
図8Bは、付加的処理1の無線タグを使用する方法についての説明図である。図8Bでは、図示の便宜上、図1のヘッドマウントディスプレイ100を簡略化して図示すると共に、3台の外部装置のみを例示する。本方法では、ヘッドマウントディスプレイ100の筐体外部の前面に対応する位置に距離計測センサー61、または、可視光カメラを備える構成とする。さらに、各外部装置に近距離無線通信が可能な無線タグRF1〜3を内蔵する構成とする。その上で、外部装置特定部は、使用者が頭部を向けた一の外部装置と、使用者(距離計測センサー61)との間の距離Lを計測する。この計測は、例えばTime−of−Flight法を使用することができる。次に外部装置特定部は、各外部装置の無線タグRF1〜3から、それぞれ、無線タグRF1〜3に予め記憶されている各外部装置とヘッドマウントディスプレイ100との間の距離L1〜L3を取得する。外部装置特定部は、計測した距離Lと、取得した距離L1〜L3と、を比較することで、使用者が注意を向けたと推定される外部装置を特定することができる。なお、各外部装置とヘッドマウントディスプレイ100との間の距離L1〜L3は、予めヘッドマウントディスプレイ100の記憶部120に記憶されていてもよいし、ヘッドマウントディスプレイ100が、ヘッドマウントディスプレイ100と外部装置との間の距離を動的に求めてもよい。また、距離L1〜L3の送信には、近距離無線通信に代えて無線通信を使用してもよい。さらに、同一距離の2つの外部装置を特定可能とするために、9軸センサー66(図2)により得られるヘッドマウントディスプレイ100の向き(使用者の頭部の向き)を併用してもよい。
(c5)画像処理を使用する方法:
ヘッドマウントディスプレイ100の筐体外部の前面に対応する位置に可視光カメラを備える構成とする。また、ヘッドマウントディスプレイ100の記憶部120には、予め、各外部装置の外見的特徴が記憶されている。外部装置特定部は、可視光カメラに使用者の視界方向の画像(以降「外景画像」とも呼ぶ。)を撮像させる。外部装置特定部は、外景画像を画像解析し、記憶部120に記憶されている外部装置の外見的特徴と照合することで、使用者が注意を向けたと推定される外部装置を特定することができる。また、以下に列挙する方法を用いてもよい。
・外部装置特定部は、可視光カメラに、ヘッドマウントディスプレイ100の使用者が一の外部装置を指さした状態の外景画像を取得させる。外部装置特定部は、外景画像を画像解析し、使用者の指の延長線上にある外部装置を特定する。
・画像表示部20の筐体内側に、例えば赤外線受発光部からなる瞳孔検出部を設ける。外部装置特定部は、可視光カメラに撮像させた外景画像と、瞳孔検出部によって検出された使用者の眼の動きと、に基づいて、使用者が視線を向けている外部装置を特定する。
(c6)マーカーを使用する方法:
ヘッドマウントディスプレイ100の筐体外部の前面に対応する位置に可視光カメラを備える構成とする。さらに、外部装置の筐体外部に拡張現実感(AR、Augmented Reality)処理において用いられるマーカーが付されている構成とする。外部装置特定部は、可視光カメラに外景画像を撮像させる。外部装置特定部は、外景画像に含まれるマーカーによって、使用者が注意を向けたと推定される外部装置を特定することができる。
統合画像表示処理(図5)に付加的処理1を適用する場合、上述のいずれかの方法で特定された外部装置に対してのみ、ステップS102のコネクションの確立および以降の処理を実施してもよい。また、上述のいずれかの方法で特定された外部装置に対してのみ、ステップS104、S106を実行させ、ステップS108を実行してもよい。使用者は、上述のいずれかの方法を用いた外部装置の特定を、複数回繰り返して行うこともできる。このようにすれば、生成部142は、ヘッドマウントディスプレイ100(画像表示装置)に接続されている複数の外部装置(PC300〜ゲーム機器700)のうち、少なくとも過去に使用者が注意を向けたと推定される外部装置の識別画像をサムネイル表示領域B1〜B6(第1の表示領域)に一覧表示する。このように、使用者は、サムネイル表示領域B1〜B6に表示される外部装置を「注意を向ける」ことで選択することができるため、使用者における利便性が向上する。また、ヘッドマウントディスプレイ100に数多くの外部装置が接続されている場合等における、サムネイル表示領域B1〜B6の煩雑化を抑制することができる。
また、統合画像表示処理(図5)に付加的処理1を適用する場合、予め定められた外部装置と、上述のいずれかの方法で特定された外部装置に対して、ステップS102以降の処理を実施してもよい。また、予め定められた外部装置と、上述のいずれかの方法で特定された外部装置に対して、ステップS104、S106を実行させ、ステップS108を実行してもよい。ここで、「予め定められた外部装置」とは、ヘッドマウントディスプレイ100の使用者によって予め指定されていてもよいし、工場出荷時等に指定されていてもよいし、所定の条件(例えば、使用者と外部装置との間の距離が所定の閾値以下)によって自動的に次第されてもよい。なお、使用者と外部装置との間の距離は、上述した方法c1〜c4によって求めることができる。このようにしても、使用者における利便性が向上すると共に、サムネイル表示領域B1〜B6の煩雑化を抑制することができる。
統合画像更新処理(図7)に付加的処理1を適用する場合、ステップS200に代えて、上述のいずれかの方法で特定された外部装置に対して、ステップS202以降の処理を実施してもよい。このようにすれば、更新部144(取得部)は、使用者が注意を向けたと推定される外部装置から、当該外部装置の表示画像を取得し、更新部144は、取得された表示画像を用いて統合画像のアクティブ表示領域BG(第2の表示領域)を更新する。このように、使用者は、アクティブ表示領域BGに表示される外部装置を「注意を向ける」ことで選択することができるため、使用者における利便性が向上する。
なお、使用者が外部装置へ頭部を向けている時間(注意を向けている時間)に応じて、統合画像表示処理(図5)に付加的処理1を適用するのか、統合画像更新処理(図7)に付加的処理1を適用するのかを決定してもよい。例えば、時間が所定の閾値よりも短い場合は統合画像表示処理に付加的処理1を適用し、長い場合は統合画像更新処理に付加的処理1を適用してもよい。
なお、上記c1〜c6はあくまで一例であり、外部装置特定部は、使用者の頭部の動きや使用者の視線などに応じて、使用者が注意を向けた外部装置を特定することができる。外部装置特定部は、上記c1〜c6を組み合わせることで、一度に複数の外部装置を特定してもよい。
A−5−2.付加的処理2:
付加的処理2では、統合画像更新処理(図7)のステップS200において、使用者によって選択された一の外部装置に対して、拡張現実感を提供するためのタグを付す。この処理において、ヘッドマウントディスプレイ100のCPU140は、さらに、付加提示用情報生成部を備える構成とする。
付加提示用情報生成部は、使用者が図7のステップS200で選択した外部装置の方向を向いた場合に、当該外部装置を識別するための付加提示用の情報を生成する。付加提示用の情報とは、外部装置に対して何らかの情報を付加、削除、強調、減衰させるための情報である。具体的には、付加提示用の情報とは、例えば、使用者が選択した外部装置である旨を知らせる文字列が含まれる吹き出し、ノート形状のタグ、使用者が選択した外部装置である旨を知らせるアイコン(絵、文字、記号等)、使用者が選択した外部装置である旨を知らせるフレーム(外部装置を装飾するように配置される枠)等である。なお、付加提示用情報生成部は、使用者がステップS200で選択した外部装置の方向を向いたか否かを、上述のc1〜c6と同様の方法を用いて判断することができる。
付加提示用情報生成部は、生成した付加提示用の情報を、画像処理部160へ送信する。統合画像を受信した画像処理部160では、上述の表示処理が行われる。この結果、ヘッドマウントディスプレイ100の使用者は、ステップS200で自身が選択した外部装置を見た際、外部装置と共に付加提示用の情報(タグ)を表す虚像を視認することができる。
なお、上述した付加提示用情報生成部に代えて、ヘッドマウントディスプレイ100のCPU140は、付加提示用情報選択部を備えてもよい。付加提示用情報選択部は、例えば記憶部120や外部のサーバー等に予め用意されている複数の付加提示用の情報から、使用者が選択した外部装置である旨を知らせるための付加提示用の情報を選択し、選択した付加提示用の情報を画像処理部160へ送信する。
このように、付加的処理2によれば、画像表示部20は、図7のステップS200によって選択された一の外部装置に付すための付加提示用の情報を、使用者に視認させることができる。この結果、使用者は、自身が選択した外部装置と他の外部装置とを区別することができるため、使用者における利便性が向上する。
B.第2実施形態:
本発明の第2実施形態では、外部装置の識別画像として、第1実施形態に例示した画像とは異なる種類の画像を使用する構成について説明する。以下では、第1実施形態と異なる構成および動作を有する部分についてのみ説明する。なお、図中において第1実施形態と同様の構成部分については先に説明した第1実施形態と同様の符号を付し、その詳細な説明を省略する。
B−1.画像表示システムの構成:
第2実施形態の画像表示システムは、ヘッドマウントディスプレイ100に代えてヘッドマウントディスプレイ100aを備える点を除き、図1に示した第1実施形態と同様である。
B−2.ヘッドマウントディスプレイの構成:
図9は、第2実施形態のヘッドマウントディスプレイ100aの構成を機能的に示すブロック図である。図2に示した第1実施形態との違いは、制御部10に代えて制御部10aを備える点である。制御部10aは、生成部142に代えて生成部142aを、更新部144に代えて更新部144aをそれぞれ備える。生成部142aは、統合画像表示処理の内容が、図5に示す第1実施形態とは異なる。更新部144aは、統合画像更新処理の内容が、図7に示す第1実施形態とは異なる。
第2実施形態の統合画像表示処理および統合画像更新処理においては、第1実施形態のa1〜a3で例示した「外部装置の識別画像」に代えて、以下のa4、a5のいずれかを「外部装置の識別画像」として使用する。
(a4)外部装置を識別するための情報を表す画像。外部装置を識別するための情報とは、例えば、外部装置のID(例えば製品番号やシリアル番号)、外部装置の名前(例えば製品の名称)、外部装置の状態(例えば製品のプロパティー)等がある。
(a5)外部装置に割り当てられたシンボルを表す画像。ここで、「シンボル」とは、例えば、外部装置の存在を表すアイコン、外部装置を抽象化して表す図形または記号等である。
B−3.統合画像表示処理:
図10は、第2実施形態の統合画像表示処理の手順を示すシーケンス図である。第2実施形態の統合画像表示処理とは、第1実施形態(図5)と同様に、統合画像を生成し、ヘッドマウントディスプレイ100aに表示させる処理である。第1実施形態と異なる点は、外部装置の識別画像として、上記a4、a5に挙げた画像を使用する点である。統合画像表示処理は、主として生成部142aにより実行される。
まず、図5で説明した第1実施形態と同様に、アプリケーションが起動され(ステップS100)、ヘッドマウントディスプレイ100aとPC300との間のコネクションが確立される(ステップS102)。
ステップS300においてPC300は、PC300の機器情報を取得する。具体的には、PC300は、以下のb4、b5に示すいずれかの情報(画像でなくともよい)を取得する。なお、下記b4は上記a4に、下記b5は上記a5に、それぞれ対応している。
(b4)PC300を識別するための情報。例えば、PC300の製造番号やシリアル番号等のID、PC300の名称、PC300のプロパティー等の状態を表す情報。
(b5)PC300のシンボルを表す画像。例えば、PC300のアイコン画像。
ステップS302においてPC300は、取得した機器情報をヘッドマウントディスプレイ100aへ送信する。ヘッドマウントディスプレイ100aの生成部142aは、無線通信部132を介して、この機器情報を取得する。このとき、生成部142aと無線通信部132とは「取得部」として機能する。
ステップS303において生成部142aは、取得した機器情報を表す画像を生成する。生成部142aは、生成した画像を「外部装置の識別画像」として、識別画像記憶部124に記憶させる。なお、上記b5のように、PC300から受信した機器情報が画像の形式である場合は、機器情報を表す画像の生成は省略可能である。
ステップS304において生成部142aは、ヘッドマウントディスプレイ100aとPC300との間のコネクションを切断する。このように、不要なコネクションをすぐに切断することにより、通信トラフィックおよび消費電力を低減させることができる。
ステップS306において生成部142は、家電400との間で、ステップS102およびステップS300〜S304と同様の処理を実施する。同様に、生成部142は、ステップS308においてAV機器500との間で、ステップS308において携帯端末600との間で、ステップS310においてゲーム機器700との間で、それぞれ同様の処理を実施する。この結果、識別画像記憶部124には、ヘッドマウントディスプレイ100aに接続されている全ての外部装置の識別画像が格納される。
ステップS314において生成部142aは、ヘッドマウントディスプレイ100の機器情報を取得する。具体的には、ヘッドマウントディスプレイ100aについての、上記b4、b5に示すいずれかの情報を取得する。
ステップS316において生成部142aは、取得した機器情報を表す画像を生成し、「画像表示装置の識別画像」として、識別画像記憶部124に記憶させる。ステップS314、S316の結果、識別画像記憶部124には、ヘッドマウントディスプレイ100a自身の識別画像が格納される。
以降、図5で説明した第1実施形態と同様に、生成部142aは、識別画像記憶部124に格納されている複数の識別画像をソートし(ステップS124)、統合画像を生成し(ステップS126)、統合画像を表示させる(ステップS128)。詳細は図5で説明した通りである。
図11は、第2実施形態の統合画像表示処理のステップS126で生成された統合画像の一例を示す説明図である。統合画像GIのサムネイル表示領域B1にはヘッドマウントディスプレイ100の識別画像として、ヘッドマウントディスプレイ100の製品番号を表す画像J1が配置されている。同様に、サムネイル表示領域B2にはPC300の識別画像として、PC300のアイコン画像J2が、サムネイル表示領域B3には家電400の識別画像として、家電400の製品の名称を表す画像J3が、サムネイル表示領域B4にはAV機器500の識別画像として、AV機器500のアイコン画像J4が、サムネイル表示領域B5には携帯端末600の識別画像として、携帯端末600の製品番号を表す画像J5が、サムネイル表示領域B6にはゲーム機器700の識別画像として、ゲーム機器700の製品番号を表す画像J6が、それぞれ配置されている。
B−4.統合画像更新処理:
図12は、第2実施形態における統合画像更新処理の手順を示すシーケンス図である。第2実施形態の統合画像更新処理とは、第1実施形態(図7)と同様に、統合画像の第2の表示領域を動的に表示させる処理である。第1実施形態と異なる点は、外部装置の識別画像として、上記a4、a5に挙げた画像を使用する点と、第2の表示領域を更新するために外部装置から取得した表示画像を利用して、識別画像記憶部124内の外部装置の識別画像を更新する点である。統合画像更新処理は、主として更新部144aにより実行される。
まず、図7で説明した第1実施形態と同様に、複数の外部装置の中から一の外部装置を選択する選択操作を取得し(ステップS200)、選択された一の外部装置から表示画面の画像(フレーム画像)を取得する(ステップS202〜S206)。
ステップS400において更新部144aは、取得したフレーム画像を「外部装置の識別画像」として、識別画像記憶部124に記憶させる。この際、更新部144aは、統合画像表示処理(図10)のステップS303で既に記憶されている同一の外部装置の識別画像を上書きする。なお、ステップS400では、取得したフレーム画像を縮小処理した後で識別画像記憶部124に記憶させてもよい。
ステップS402において更新部144aは、識別画像記憶部124に格納されている複数の識別画像を取得し、取得した識別画像を所定の条件に従ってソートする。詳細は統合画像表示処理(図5)のステップS124と同様である。
ステップS404において更新部144aは、ソート後の識別画像を用いて統合画像のサムネイル表示領域B1〜B6(第1の表示領域)を更新する。詳細は統合画像表示処理(図5)のステップS126と同様である。
ステップS408において更新部144aは、ステップS206で取得したフレーム画像を用いて、ステップS404で更新された統合画像のうちの、アクティブ表示領域BG(第2の表示領域)を更新する。
ステップS210において更新部144aは、更新後の統合画像を表示させる。詳細は統合画像表示処理(図5)のステップS128と同様である。
ステップS410において更新部144aは、ステップS200で取得した外部装置とは異なる他の外部装置の選択操作を取得するまでの間、選択された外部装置(PC300)に対して、ステップS202、S204、S206、S408、S210の処理を繰り返す。一方、他の外部装置の選択操作を取得した場合、更新部144は、他の外部装置に対して、ステップS202〜S410の一連の処理を実行する。
図13は、ヘッドマウントディスプレイ100aにおいて第1の表示領域と第2の表示領域とが更新された統合画像が表示されている様子を示す説明図である。図13に示すように、ヘッドマウントディスプレイ100aの使用者は、視野VRにおいて、ヘッドマウントディスプレイ100aに接続されている複数の外部装置の複数の識別画像と、複数の外部装置の中から選択された一の外部装置の表示画像と、を含む統合画像GIを、虚像VIとして視認することができる。図13の例において、複数の外部装置の複数の識別画像とは、図11で説明したヘッドマウントディスプレイ100aの識別画像J1と、PC300の識別画像J2と、家電400の識別画像J3と、AV機器500の識別画像J4と、携帯端末600の識別画像J5と、ゲーム機器700の識別画像J6である。ここで、PC300の識別画像J2については、統合画像更新処理(図12)のステップS400における更新後の識別画像が表示されている。また、図13の例において、選択された一の外部装置の表示画像とは、すなわち、PC300が表示する画像である表示画像IMである。なお、図8Aと同様に、図14においても、本来、虚像VIを透過する背景については図示を省略している。
以上のように、第2実施形態の統合画像表示処理(図10)および統合画像更新処理(図12)によれば、第1実施形態と同様の効果を得ることができる。さらに、第2実施形態の統合画像表示処理および統合画像更新処理では、外部装置の識別画像として、第1実施形態に例示した画像とは異なる種類の画像を使用することができる。
B−5.付加的処理:
第2実施形態においても、上述した付加的処理1、2を適用可能である。
C.第3実施形態:
本発明の第3実施形態では、結合画像のサムネイル表示領域B1〜B6(第1の表示領域)を、仮想的な表示領域とする構成について説明する。以下では、第1実施形態と異なる構成および動作を有する部分についてのみ説明する。なお、図中において第1実施形態と同様の構成部分については先に説明した第1実施形態と同様の符号を付し、その詳細な説明を省略する。
C−1.画像表示システムの構成:
第3実施形態の画像表示システムは、ヘッドマウントディスプレイ100に代えてヘッドマウントディスプレイ100bを備える点を除き、図1に示した第1実施形態と同様である。
C−2.ヘッドマウントディスプレイの構成:
図14は、第3実施形態のヘッドマウントディスプレイ100bの構成を機能的に示すブロック図である。図2に示した第1実施形態との違いは、制御部10に代えて制御部10bを備える点である。制御部10bは、領域情報122に代えて領域情報122bを、画像処理部160に代えて画像処理部160bをそれぞれ備える。
図15は、第3実施形態における領域情報122bの一例を示す説明図である。第3実施形態の領域情報122bは、図3に示した第1実施形態と同様に、6つのサムネイル表示領域B1〜B6(第1の表示領域)と、アクティブ表示領域BG(第2の表示領域)と、を含んでいる。各領域の用途は図3で説明した通りである。サムネイル表示領域B1〜B3と、サムネイル表示領域B4〜B6とは、アクティブ表示領域BGを挟んで、水平方向の左右の外側に配置されている。アクティブ表示領域BGの縦横比は、表示駆動部による画像光の生成可能領域の縦横比、換言すれば、ヘッドマウントディスプレイ100bの表示素子(図2:右LCD241、左LCD242)の縦横比と同一である。
図15の例では、サムネイル表示領域B1〜B3は、領域122bの左側の外側に、それぞれが鉛直方向に隣接して配置されている。サムネイル表示領域B4〜B6は、領域122の右側の外側に、それぞれが鉛直方向に隣接して配置されている。サムネイル表示領域B1〜B6は、それぞれ同じ大きさの領域である。図15において、サムネイル表示領域B1〜B6にはドットのハッチングを付し、アクティブ表示領域BGには斜線ハッチングを付す。
なお、図15に示したサムネイル表示領域B1〜B6の配置および大きさは一例であり、任意に定めることができる。サムネイル表示領域B1〜B6は、アクティブ表示領域BG(第2の表示領域)の外側に配置されていれば足りる。このため、例えば、サムネイル表示領域B1〜B6は、アクティブ表示領域BGの上側の外側や下側の外側に配置されていてもよい。また、サムネイル表示領域B1〜B6は、アクティブ表示領域BGの外側の四方を取り囲むように配置されていてもよい。また、サムネイル表示領域B1〜B6は、それぞれの領域が異なる大きさであってもよい。さらに、サムネイル表示領域B1〜B6は、それぞれ、領域の少なくとも一部が重なっていてもよい。
C−3.統合画像表示処理:
第3実施形態における統合画像表示処理の手順は、以下に挙げる手順d1、d2を除き、図5に示した第1実施形態と同様である。
(d1)ステップS126において、生成部142は、図15で説明した領域情報122bを用いて、統合画像を生成する。
(d2)ステップS128において、画像処理部160bは、生成部142から受信した統合画像のうち、アクティブ表示領域BG(第2の表示領域、図15において斜線のハッチングを施した領域)に相当する部分の画像のみを、ヘッドマウントディスプレイ100bに表示させる。そして、画像処理部160bは、使用者から所定の操作を取得したことをトリガーとして、サムネイル表示領域B1〜B6(第1の表示領域、図15においてドットのハッチングを施した領域)に相当する部分の画像を、ヘッドマウントディスプレイ100bに表示させる。所定のトリガーとは、例えば、ヘッドマウントディスプレイ100bの備える入力デバイス(例えば、タッチパッド、十字キー、フットスイッチ、ジェスチャー検出、視線検出、タッチ検出、マイクロホン等)による使用者の操作等を使用することができる。
図16は、画像処理部160bの動作の一例を説明するための説明図である。例えば、画像処理部160bは、使用者がヘッドマウントディスプレイ100bの左保持部23にタッチしたことをトリガーとして、図示のように、ヘッドマウントディスプレイ100bに表示させる統合画像の範囲を、図16のように左側にスライドさせる。このようにすれば、画像処理部160bは、第1の表示領域(の一部)と、第2の表示領域(の一部)とを使用者に視認させることができる。同様に、画像処理部160bは、使用者がヘッドマウントディスプレイ100bの右保持部21にタッチしたことをトリガーとして、ヘッドマウントディスプレイ100bに表示させる統合画像の範囲を右側にスライドさせる。なお、領域情報122bにおいてサムネイル表示領域B1〜B6(第1の表示領域)がアクティブ表示領域BG(第2の表示領域)の上下に設けられた場合は、使用者がヘッドマウントディスプレイ100bの筐体の上下にタッチしたことをトリガーとして、同様の処理をすることができる。
C−4.統合画像更新処理:
第3実施形態における統合画像更新処理の手順は、ステップS210における画像処理部160bの手順(上記d2と同様)を除き、図7に示した第1実施形態と同様である。
以上のように、第3実施形態の統合画像表示処理(図5)および統合画像更新処理(図7)によれば、第1実施形態と同様の効果を得ることができる。さらに、第3実施形態の統合画像表示処理および統合画像更新処理によれば、画像表示部20は、使用者による操作がない場合は、統合画像のアクティブ表示領域BG(第2の表示領域)に相当する部分を使用者に視認させ、使用者による操作がある場合は、統合画像のサムネイル表示領域B1〜B6(第1の表示領域)に相当する部分を使用者に視認させることができる。この結果、この形態のヘッドマウントディスプレイ100b(画像表示装置)によれば、通常画面(アクティブ表示領域BG、第2の表示領域)の外側に仮想画面(サムネイル表示領域B1〜B6、第1の表示領域)を設けて、使用者による操作で、通常画面と仮想画面との表示を切り替えることができる。この結果、使用者における利便性を向上させることができる。
C−5.付加的処理:
第3実施形態においても、上述した付加的処理1、2を適用可能である。
D.第4実施形態:
本発明の第4実施形態では、ヘッドマウントディスプレイが実施していた処理を他の情報処理装置(以降「サーバー」とも呼ぶ。)に実施させることで処理負荷分散を図る構成について説明する。以下では、第1実施形態と異なる構成および動作を有する部分についてのみ説明する。なお、図中において第1実施形態と同様の構成部分については先に説明した第1実施形態と同様の符号を付し、その詳細な説明を省略する。
D−1.画像表示システムの構成:
図17は、第4実施形態の画像表示システム1000cの概略構成を示す説明図である。図1に示した第1実施形態との違いは、ヘッドマウントディスプレイ100に代えてヘッドマウントディスプレイ100cを備える点と、サーバー900を備える点である。第4実施形態では、サーバー900が外部装置における表示を統合した「統合画像」を生成し、ヘッドマウントディスプレイ100cに表示させる。
ヘッドマウントディスプレイ100cは、サーバー900と、無線通信または有線通信可能に接続されている。同様に、各外部装置(PC300〜ゲーム機器700)は、サーバー900と、無線通信または有線通信可能に接続されている。なお、ヘッドマウントディスプレイ100cとサーバー900との間、または、サーバー900と各外部装置の間には、例えばルーターやアクセスポイント等のネットワーク装置、種々のアダプター等が設けられていてもよい。
D−2.ヘッドマウントディスプレイおよびサーバーの構成:
第4実施形態におけるヘッドマウントディスプレイ100cは、領域情報122と、識別画像記憶部124と、生成部142と、更新部144と、を備えない点を除いては、図2に示した第1実施形態と同様である。
図18は、サーバー900の構成を機能的に示すブロック図である。サーバー900は、CPU910と、ROM920と、RAM930と、通信インターフェイス(I/F)940と、記憶部950と、を備え、各部は図示しないバスにより相互に接続されている。
CPU910は、ROM920や記憶部950に格納されているコンピュータープログラムをRAM930に展開して実行することにより、サーバー900の各部を制御する。そのほか、CPU910は、代理生成部912、代理更新部914と、送受信部916としても機能する。代理生成部912は、後述の統合画像表示処理を実行し、統合画像を生成する。代理生成部は、第1の表示領域と、第2の表示領域と、を含む統合画像を生成する「代理生成部」としての機能を実現する。代理更新部914は、後述の統合画像更新処理を実行し、統合画像を更新する。送受信部916は、統合画像表示処理および統合画像更新処理において、ヘッドマウントディスプレイ100cとの間で、要求や統合画像を送受信する。送受信部916は、統合画像をヘッドマウントディスプレイに送信する「送信部」としての機能を実現する。
通信インターフェイス940は、無線通信インターフェイスと、有線通信インターフェイスとを含んでいる。無線通信インターフェイスは、図示しない送受信回路を含み、アンテナを介して受信した電波の復調とデーターの生成、および、アンテナを介して送信する電波の生成と変調を行う。有線通信インターフェイスは、有線ケーブルを介して他の装置と接続される。
記憶部950は、ROM、RAM、DRAM、ハードディスク等によって構成されている。記憶部950は、領域情報952と、識別画像記憶部954とを含んでいる。領域情報952の詳細は、図3に示した第1実施形態と同様である。識別画像記憶部954は、統合画像表示処理において収集された外部装置の識別画像を記憶しておくための記憶部である。
D−3.統合画像表示処理:
第4実施形態における統合画像表示処理の手順は、図5に示した第1実施形態とほぼ同様である。ただし、図5の説明のうち「ヘッドマウントディスプレイ100」を「サーバー900」と、「生成部142」を「代理生成部912」と、「記憶部120」を「記憶部950」と、「領域情報122」を「領域情報952」と、「識別画像記憶部124」を「識別画像記憶部954」と、それぞれ読み替える。そのほか、以下の読み替えを行う。
・ステップS118:サーバー900の代理生成部912は、送受信部916を介して、ヘッドマウントディスプレイ100cの表示画面の画像を取得する。
・ステップS128:サーバー900の代理生成部912は、ステップS126で生成した統合画像を、送受信部916を介してヘッドマウントディスプレイ100cへ送信する。統合画像を受信したヘッドマウントディスプレイ100cでは、画像処理部160によって図2で説明した表示処理が行われる。
D−4.統合画像更新処理:
第4実施形態における統合画像更新処理の手順は、図7に示した第1実施形態とほぼ同様である。ただし、ただし、図5の説明のうち「ヘッドマウントディスプレイ100」を「サーバー900」と、「更新部144」を「代理更新部914」と、「記憶部120」を「記憶部950」と、「領域情報122」を「領域情報952」と、「識別画像記憶部124」を「識別画像記憶部954」と、それぞれ読み替える。そのほか、以下の読み替えを行う。
・ステップS200:サーバー900の代理更新部914は、送受信部916を介して、ヘッドマウントディスプレイ100cの使用者が選択した一の外部装置の情報を取得する。ここで、一の外部装置の情報とは、当該外部装置を特定可能な情報(例えば装置名やネットワークアドレス等)を指す。
・ステップS210:サーバー900の代理更新部914は、ステップS208における更新後の統合画像を、送受信部916を介してヘッドマウントディスプレイ100cへ送信する。統合画像を受信したヘッドマウントディスプレイ100cでは、画像処理部160によって図2で説明した表示処理が行われる。
以上のように、第4実施形態の統合画像表示処理、および、統合画像更新処理によれば、第1実施形態と同様の効果を得ることができる。さらに第4実施形態によれば、統合画像表示処理と統合画像更新処理とはサーバー900が実行するため、ヘッドマウントディスプレイ100cにおける処理負荷を低減することができる。なお、第4実施形態は第1実施形態の変形として説明したが、サーバー900を利用した第4実施形態の態様は、第2、3実施形態にも適用可能である。また、サーバー900は、さらに、ヘッドマウントディスプレイ100cに送信する統合画像の圧縮や解像度の変換を施してもよい。そうすれば、ヘッドマウントディスプレイ100cにおける処理負荷をより軽減させることができるほか、サーバー900とヘッドマウントディスプレイ100cとの間における無線通信トラフィックを軽減させることができる。
D−5.付加的処理:
第4実施形態においても、上述した付加的処理1、2を適用可能である。
E.変形例:
上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。その他、以下のような変形も可能である。
・変形例1:
上記実施形態では、画像表示システムの構成について例示した。しかし、画像表示システムの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、画像表示システムを構成する各装置の追加・削除・変換等を行うことができる。また、画像表示システムを構成する装置のネットワーク構成の変更を行うことができる。
例えば、画像表示装置として、ヘッドマウントディスプレイに代えて、プロジェクター、モニター、テレビ、等を採用することができる。
例えば、上記実施形態における外部装置の1つとして、インターネットINTを介したクラウドサーバーが使用されてもよい。この場合であっても、生成部および更新部は、上記第1〜3実施形態と同様の処理を行うことにより、上記第1〜3実施形態と同様の効果を得ることができる。
・変形例2:
上記実施形態では、ヘッドマウントディスプレイの構成について例示した。しかし、ヘッドマウントディスプレイの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。
上記実施形態における制御部と、画像表示部とに対する構成要素の割り振りはあくまで一例であり、種々の態様を採用可能である。例えば、以下のような態様としてもよい。(i)制御部にCPUやメモリー等の処理機能を搭載、画像表示部には表示機能のみを搭載する態様、(ii)制御部と画像表示部との両方にCPUやメモリー等の処理機能を搭載する態様、(iii)制御部と画像表示部とを一体化した態様(例えば、画像表示部に制御部が含まれ眼鏡型のウェアラブルコンピューターとして機能する態様)、(iv)制御部の代わりにスマートフォンや携帯型ゲーム機を使用する態様、(v)制御部と画像表示部とを無線通信かつワイヤレス給電可能な構成とすることにより接続部(コード)を廃した態様。(vi)制御部からタッチパッドを廃し、画像表示部にタッチパッドを設けた態様。
上記実施形態では、説明の便宜上、制御部が送信部を備え、画像表示部が受信部を備えるものとした。しかし、上記実施形態の送信部および受信部は、いずれも、双方向通信が可能な機能を備えており、送受信部として機能することができる。また、例えば、図5に示した制御部は、有線の信号伝送路を介して画像表示部と接続されているものとした。しかし、制御部と、画像表示部とは、無線LANや赤外線通信やBluetooth等の無線の信号伝送路を介した接続により接続されていてもよい。
例えば、図2に示した制御部、画像表示部の構成は任意に変更することができる。具体的には、例えば、制御部は、上述した各種の入力デバイス(タッチパッド、十字キー、フットスイッチ、ジェスチャー検出、視線検出、マイクロホン)のほか、種々の入力デバイス(例えば、操作用スティック、キーボード、マウス等)を備えることができる。また、上記実施形態では、電源として二次電池を用いることしたが、電源としては二次電池に限らず、種々の電池を使用することができる。例えば、一次電池や、燃料電池、太陽電池、熱電池等を使用してもよい。
例えば、ヘッドマウントディスプレイは、両眼タイプの透過型ヘッドマウントディスプレイであるものとしたが、単眼タイプのヘッドマウントディスプレイとしてもよい。また、使用者がヘッドマウントディスプレイを装着した状態において外景の透過が遮断される非透過型ヘッドマウントディスプレイとして構成してもよい。上記実施形態では、画像表示部を眼鏡のように装着するヘッドマウントディスプレイであるとしているが、例えば、帽子のように装着するタイプの画像表示部等、他の形状の画像表示部を採用したヘッドマウントディスプレイとしてもよい。また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略してもよい。さらに、例えば、自動車や飛行機等の車両に搭載されるヘッドアップディスプレイ(HUD、Head-Up Display)として構成されてもよい。そのほか、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。また、ハンドヘルドディスプレイ(Hand held display)として構成されてもよい。
図19は、変形例におけるヘッドマウントディスプレイの外観の構成を示す説明図である。図19(A)の例では、画像表示部20xが、右光学像表示部26に代えて右光学像表示部26xを備え、左光学像表示部28に代えて左光学像表示部28xを備えている。右光学像表示部26xおよび左光学像表示部28xは、第1実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼および左眼の斜め上に配置されている。図19(B)の例では、画像表示部20yが、右光学像表示部26に代えて右光学像表示部26yを備え、左光学像表示部28に代えて左光学像表示部28yを備えている。右光学像表示部26yおよび左光学像表示部28yは、第1実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼および左眼の斜め下に配置されている。このように、光学像表示部は使用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のヘッドマウントディスプレイとして実現することもできる。
例えば、上記実施形態では、表示駆動部は、バックライトと、バックライト制御部と、LCDと、LCD制御部と、投写光学系を用いて構成されるものとした。しかし、上記の態様はあくまで例示である。表示駆動部は、これらの構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えていても良い。例えば、表示駆動部は、有機EL(有機エレクトロルミネッセンス、Organic Electro-Luminescence)のディスプレイと、有機EL制御部と、投写光学系とを備える構成としても良い。また、例えば、表示駆動部は、LCDに代えてデジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型の頭部装着型表示装置に対して本発明を適用することも可能である。
例えば、生成部、通知部、画像処理部、表示制御部、音声処理部等の各機能部は、CPUがROMやハードディスクに格納されているコンピュータープログラムをRAMに展開して実行することにより実現されるものとして記載した。しかし、これら機能部は、当該機能を実現するために設計されたASIC(Application Specific Integrated Circuit:特定用途向け集積回路)を用いて構成されてもよい。
・変形例3:
上記実施形態では、統合画像表示処理の一例を示した。しかし、統合画像表示処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。また、実行されるステップの順序を変更してもよい。
例えば、生成部は、識別画像の取得元である外部装置とヘッドマウントディスプレイとの間の距離に応じて、サムネイル表示領域B1〜B6の大きさを動的に変更してもよい。このようにすれば、統合画像を視認した使用者は、サムネイル表示領域B1〜B6(第1の表示領域)における各画像の大きさによって、ヘッドマウントディスプレイ(画像表示装置)と複数の外部装置との間の距離を知ることができる。
上記実施形態において、生成部は、サムネイル表示領域B1〜B6(第1の表示領域)については更新しないこととした。しかし、生成部は、所定のトリガーの発生で、サムネイル表示領域B1〜B6(第1の表示領域)を更新してもよい。所定のトリガーは任意に定めることができ、例えば、使用者による要求操作の発生や、使用者の所定の動作の発生や、前回の統合画像生成からの所定時間の経過や、ヘッドマウントディスプレイのOSや他のアプリケーションからの内部的な要求の発生等とすることができる。このようにすれば、生成部は、所定のトリガーが発生した場合に限って前記第1の表示領域を更新することができる。このため、ヘッドマウントディスプレイ(画像表示装置)と、外部装置との間の通信トラフィックを低減させることができる。
例えば、上記実施形態で説明した識別画像および統合画像は、2次元的に表現された画像を想定した。しかし、画像処理部は、右眼用画像データーと左眼用画像データーとを異なるデーターとすることで、識別画像および統合画像を3次元的に表現してもよい。この場合において、例えば、使用者と外部装置との間の距離に応じて、識別画像毎に視差を付してもよい。具体的には、使用者と外部装置との間の距離が大きい外部装置の識別画像については、遠くに視認されるような視差を付与し、使用者と外部装置との間の距離が小さい外部装置の識別画像については、近くに視認されるような視差を付与してもよい。
上記実施形態では、第1の表示領域と第2の表示領域とを含む統合画像を制御部において生成し、画像表示部において表示させる構成とした。しかし、統合画像は画像表示部により表示されれば足り、制御部において必ずしも統合画像を「生成」する必要はない。具体的には、例えば、制御部において第1の表示領域を表す画像と、第2の表示領域を表す画像とを別個に生成する。そして、生成した第1の表示領域を表す画像を、例えば右眼用画像データーとして画像処理部へ送信する。同様に、生成した第2の表示領域を表す画像を例えば左眼用画像データーとして画像処理部へ送信する。そして、これら別個の画像を画像表示部において併せて表示させることで、統合画像を表示させてもよい。
例えば、生成部は、サムネイル表示領域B1〜B6の個数を超える外部装置が存在する場合や、サムネイル表示領域の個数を超える外部装置が指定された場合に、所定の基準で、サムネイル表示領域に表示させる外部装置(識別画像)を選択してもよい。所定の基準とは、例えば、使用者による選択の頻度や、サムネイル表示領域に識別画像が追加された日時等を用いることができる。
統合画像表示処理に付加的処理1を適用する場合において、生成部は、少なくとも過去に使用者が注意を向けた外部装置の履歴を記憶部に記憶させてもよい。この場合、生成部は、記憶されている履歴を用いて、使用者による外部装置の選択を補助してもよい。また、生成部は、履歴に記憶されている外部装置の識別画像を自動的にサムネイル表示領域B1〜B6に配置してもよい。
第4実施形態の統合画像表示処理において、サーバーは、予め、ヘッドマウントディスプレイの表示画面の画像や、外部装置の表示画面の画像を取得しておいてもよい。そうすれば、サーバーが逐次これらの画像を取得する時間を削減することができるため、迅速に統合画像を表示させることができる。
・変形例4:
上記実施形態では、統合画像更新処理の一例を示した。しかし、統合画像更新処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。また、実行されるステップの順序を変更してもよい。
例えば、ステップS200では、一の外部装置の選択操作の取得に代えて、ヘッドマウントディスプレイの使用者によって選択された一のサムネイル表示領域(第1の表示領域)の先頭座標、または、使用者によって選択された一のサムネイル表示領域(第1の表示領域)の識別子、のいずれかを取得してもよい。このようにしても、上記実施形態と同様の効果を得ることができる。
例えば、ステップS200において使用者が選択可能な外部装置を、ヘッドマウントディスプレイに接続されている複数の外部装置の中から、所定の条件を満たす一部の外部装置に限ってもよい。所定の条件には、例えば、外部装置の識別画像の情報量を用いることができる。この条件によれば、識別画像の情報量が多いPCやAV機器はステップS200の選択対象となり得るが、識別画像の情報量が少ない家電はステップS200の選択対象とならない。
例えば、統合画像更新処理は、省略してもよい。また、この場合において、サムネイル表示領域(第1の表示領域)に表示されている識別画像に対する使用者の操作(視線や指先を用いた操作)を介して、外部装置の操作を可能としてもよい。
・変形例5:
上記実施形態では、領域情報の一例を示した。上記領域情報はあくまで一例であり、種々の変更が可能である。例えば、構成要素の追加、削除、変更を行うことができる。
図20は、変形例における領域情報122xの一例を示す説明図である。領域情報122xは、図3の領域情報122と同様に、ヘッドマウントディスプレイの表示素子の縦横比と同じ縦横比を有する長方形状の領域(以降、「領域122」とも呼ぶ。)を有している。領域122は、8つのサムネイル表示領域B1〜B8と、アクティブ表示領域BGと、を含んでいる。アクティブ表示領域BGは、領域122を鉛直方向および水平方向に等分し、それらの左上端部に配置されている。8つのサムネイル表示領域B1〜B8は、領域122を鉛直方向および水平方向に等分した残りの部分に順に配置されている。このような領域情報122xを用いても、上述した各実施形態と同様の効果を得ることができる。
例えば、領域情報は、1つのアクティブ表示領域を含むこととしたが、複数(2つ以上)のアクティブ表示領域を含んでいてもよい。例えば、図3に示した領域情報122において、領域122を水平方向に2等分し、上側を第1のアクティブ表示領域とし、下側を第2のアクティブ表示領域としてもよい。同様に、領域122を垂直方向に2等分し、左側を第1のアクティブ表示領域とし、右側を第2のアクティブ表示領域としてもよい。この場合、例えば、統合画像表示処理において、使用者に最初に選択された一の外部装置の表示画像を第1のアクティブ表示領域に配置し、次に選択された一の外部装置の表示画像を第2のアクティブ表示領域に配置してもよい。
例えば、記憶部には、複数の異なる領域情報が記憶されていてもよい。この場合、ヘッドマウントディスプレイの使用者の好み(設定)、使用者の視線の動き、使用者の頭部の動き、周囲の明るさ等、任意の条件によって、複数の異なる領域情報から統合画像の生成に使用される一の領域情報が選択されてもよい。
・変形例6:
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
10…制御部
20…画像表示部
22…右表示駆動部
24…左表示駆動部
26…右光学像表示部
28…左光学像表示部
32…右イヤホン
34…左イヤホン
40…接続部
51…送信部
52…送信部
53…受信部
100…ヘッドマウントディスプレイ(頭部装着型表示装置)
110…入力情報取得部(操作取得部)
120…記憶部
122…領域情報
124…識別画像記憶部
130…電源
132…無線通信部(取得部)
140…CPU
142…生成部(取得部、生成部)
144…更新部(更新部)
160…画像処理部
170…音声処理部
180…インターフェイス
190…表示制御部
201…右バックライト制御部
202…左バックライト制御部
221…右バックライト
222…左バックライト
251…右投写光学系
252…左投写光学系
261…右導光板
262…左導光板
300…コンピューター(外部装置)
400…家電(外部装置)
500…機器(外部装置)
600…携帯端末(外部装置)
700…ゲーム機器(外部装置)
900…サーバー(情報処理装置)
910…CPU
912…代理生成部(代理生成部)
914…代理更新部
916…送受信部(送信部)
920…ROM
930…RAM
940…通信インターフェイス
950…記憶部
952…領域情報
954…識別画像記憶部
1000…画像表示システム
Data…画像データー
SC…外景
RE…右眼
LE…左眼
VI…虚像
VR…視野
J1〜J6…識別画像
B1〜B6…サムネイル表示領域(第1の表示領域)
G1〜G6…識別画像
BG…アクティブ表示領域(第2の表示領域)
GI…統合画像
INT…インターネット

Claims (13)

  1. 画像表示装置であって、
    前記画像表示装置に接続されている複数の外部装置を相互に識別するための複数の識別画像のうち、少なくとも一部の前記識別画像を一覧表示する第1の表示領域と、前記複数の外部装置の中から選択された一の外部装置が表示する画像である表示画像を表示する第2の表示領域と、を含む統合画像を生成する生成部と、
    前記統合画像を前記画像表示装置の使用者に視認させる画像表示部と、
    を備える、画像表示装置。
  2. 請求項1に記載の画像表示装置であって、さらに、
    前記一の外部装置から前記表示画像を取得する取得部と、
    前記取得された表示画像を用いて、前記統合画像の前記第2の表示領域を更新する更新部と、
    を備える、画像表示装置。
  3. 請求項1または請求項2に記載の画像表示装置であって、
    前記識別画像には、前記外部装置の一の時点での表示画像と、前記外部装置を識別するための情報を表す画像と、前記外部装置に割り当てられたシンボルを表す画像と、のうちの少なくともいずれかが含まれる、画像表示装置。
  4. 請求項1から請求項3のいずれか一項に記載の画像表示装置であって、さらに、
    前記複数の外部装置の中から、前記使用者が注意を向けた外部装置を特定する外部装置特定部を備え、
    前記生成部は、前記複数の外部装置のうち、少なくとも過去に前記外部装置特定部によって特定された前記外部装置の前記識別画像を前記第1の表示領域に表示する、画像表示装置。
  5. 請求項2または請求項2に従属する請求項3から請求項4のいずれか一項に記載の画像表示装置であって、さらに、
    前記複数の外部装置の中から、前記使用者が注意を向けた外部装置を特定する外部装置特定部を備え、
    前記取得部は、前記外部装置特定部によって特定された前記外部装置から前記表示画像を取得する、画像表示装置。
  6. 請求項1から請求項5のいずれか一項に記載の画像表示装置であって、さらに、
    前記画像表示装置と前記複数の外部装置との間の距離をそれぞれ取得する距離取得部を備え、
    前記生成部は、前記取得されたそれぞれの距離に応じて、前記第1の表示領域における前記複数の識別画像の表示順序と、前記第1の表示領域における前記識別画像の大きさと、のうちの少なくとも一方を決定する、画像表示装置。
  7. 請求項1から請求項6のいずれか一項に記載の画像表示装置であって、
    前記生成部は、前記第1の表示領域を更新する、画像表示装置。
  8. 請求項1から請求項7のいずれか一項に記載の画像表示装置であって、
    前記画像表示部は、さらに、前記統合画像を表す画像光を生成する表示駆動部を備え、前記生成された画像光を前記使用者の眼に射出することで前記統合画像を前記使用者に視認させる、画像表示装置。
  9. 請求項8に記載の画像表示装置であって、
    前記生成部は、前記第2の表示領域の縦横比を前記表示駆動部による前記画像光の生成可能領域の縦横比とし、前記第2の表示領域の外側に前記第1の表示領域を配置した前記統合画像を生成し、
    前記画像表示部は、
    前記使用者による操作がない場合は、前記表示駆動部に対して、前記統合画像の前記第2の表示領域に相当する部分の前記画像光を生成させ、
    前記使用者による操作がある場合は、前記表示駆動部に対して、少なくとも前記統合画像の前記第1の表示領域に相当する部分の前記画像光を生成させる、画像表示装置。
  10. 請求項8または請求項9に記載の画像表示装置であって、
    前記画像表示部は、前記表示駆動部に前記一の外部装置に付すための付加提示用の情報であって、前記使用者へ拡張現実感を提供するための付加提示用の情報を表す画像光を生成させ、前記生成された画像光を前記使用者の眼に射出することで前記付加提示用の情報を前記使用者に視認させる、画像表示装置。
  11. 画像表示装置を制御する方法であって、
    (a)前記画像表示装置に接続されている複数の外部装置を相互に識別するための複数の識別画像のうち、少なくとも一部の前記識別画像を一覧表示する第1の表示領域と、前記複数の外部装置の中から選択された一の外部装置が表示する画像である表示画像を表示する第2の表示領域と、を含む統合画像を生成する工程と、
    (b)前記統合画像を前記画像表示装置の使用者に視認させる工程と、
    を備える、方法。
  12. コンピュータープログラムであって、
    画像表示装置に接続されている複数の外部装置を相互に識別するための複数の識別画像のうち、少なくとも一部の前記識別画像を一覧表示する第1の表示領域と、前記複数の外部装置の中から選択された一の外部装置が表示する画像である表示画像を表示する第2の表示領域と、を含む統合画像を生成する機能と、
    前記統合画像を前記画像表示装置の使用者に視認させる機能と、
    をコンピューターに実現させるための、コンピュータープログラム。
  13. 画像表示システムであって、
    情報処理装置と、
    前記情報処理装置に接続されている画像表示装置と、
    前記情報処理装置に接続されている複数の外部装置と、
    を備え、
    前記情報処理装置は、
    前記複数の外部装置を相互に識別するための複数の識別画像のうち、少なくとも一部の前記識別画像を一覧表示する第1の表示領域と、前記複数の外部装置の中から選択された一の外部装置が表示する画像である表示画像を表示する第2の表示領域と、を含む統合画像を生成する代理生成部と、
    前記統合画像を前記情報処理装置に送信する送信部と、
    を備え、
    前記画像表示装置は、
    前記情報処理装置から受信した前記統合画像を、前記画像表示装置の使用者に視認させる画像表示部を備える、画像表示システム。
JP2014112601A 2013-09-25 2014-05-30 画像表示装置、画像表示装置を制御する方法、コンピュータープログラム、および、画像表示システム Pending JP2015227919A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014112601A JP2015227919A (ja) 2014-05-30 2014-05-30 画像表示装置、画像表示装置を制御する方法、コンピュータープログラム、および、画像表示システム
US14/471,333 US10451874B2 (en) 2013-09-25 2014-08-28 Image display device, method of controlling image display device, computer program, and image display system
CN201410498313.4A CN104469464B (zh) 2013-09-25 2014-09-25 图像显示装置、控制图像显示装置的方法、计算机程序以及图像显示系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014112601A JP2015227919A (ja) 2014-05-30 2014-05-30 画像表示装置、画像表示装置を制御する方法、コンピュータープログラム、および、画像表示システム

Publications (1)

Publication Number Publication Date
JP2015227919A true JP2015227919A (ja) 2015-12-17

Family

ID=54885430

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014112601A Pending JP2015227919A (ja) 2013-09-25 2014-05-30 画像表示装置、画像表示装置を制御する方法、コンピュータープログラム、および、画像表示システム

Country Status (1)

Country Link
JP (1) JP2015227919A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017138143A1 (ja) * 2016-02-12 2017-08-17 富士通株式会社 端末装置、画面解像度調整方法、表示制御方法、画面解像度調整プログラム、及び表示制御プログラム
JP2019036914A (ja) * 2017-08-21 2019-03-07 ウエストユニティス株式会社 連携表示システム
JP2019113693A (ja) * 2017-12-22 2019-07-11 セイコーエプソン株式会社 表示システム、表示システムの制御方法、表示装置、及び、表示装置の制御方法
US10971113B2 (en) 2017-12-22 2021-04-06 Seiko Epson Corporation Display system, electronic device, and display method

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH086708A (ja) * 1994-04-22 1996-01-12 Canon Inc 表示装置
JPH11261920A (ja) * 1998-03-11 1999-09-24 Sharp Corp テレビジョン受信機の表示装置
US20020067433A1 (en) * 2000-12-01 2002-06-06 Hideaki Yui Apparatus and method for controlling display of image information including character information
JP2006031206A (ja) * 2004-07-14 2006-02-02 Sony Corp 情報処理装置および方法、並びにプログラム
JP2007279246A (ja) * 2006-04-04 2007-10-25 Sharp Corp 映像表示装置
JP2010278824A (ja) * 2009-05-29 2010-12-09 Seiko Epson Corp 画像表示システム、画像表示装置、および画像表示方法
JP2011221821A (ja) * 2010-04-09 2011-11-04 Sony Computer Entertainment Inc 情報処理システム、操作入力装置、情報処理装置、情報処理方法、プログラム及び情報記憶媒体
JP2012198668A (ja) * 2011-03-18 2012-10-18 Ns Solutions Corp 情報処理装置、拡張現実感提供方法、及びプログラム
US20130169556A1 (en) * 2012-01-04 2013-07-04 Sujin Kim Mobile terminal and control method thereof
JP2013186641A (ja) * 2012-03-07 2013-09-19 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2014006914A (ja) * 2011-07-29 2014-01-16 Canon Marketing Japan Inc 情報処理装置、制御方法、プログラム、および情報処理システム

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH086708A (ja) * 1994-04-22 1996-01-12 Canon Inc 表示装置
JPH11261920A (ja) * 1998-03-11 1999-09-24 Sharp Corp テレビジョン受信機の表示装置
US20020067433A1 (en) * 2000-12-01 2002-06-06 Hideaki Yui Apparatus and method for controlling display of image information including character information
JP2002171457A (ja) * 2000-12-01 2002-06-14 Canon Inc マルチ画面表示装置、データ放送受信装置、マルチ画面表示方法、記憶媒体およびプログラム
JP2006031206A (ja) * 2004-07-14 2006-02-02 Sony Corp 情報処理装置および方法、並びにプログラム
JP2007279246A (ja) * 2006-04-04 2007-10-25 Sharp Corp 映像表示装置
JP2010278824A (ja) * 2009-05-29 2010-12-09 Seiko Epson Corp 画像表示システム、画像表示装置、および画像表示方法
JP2011221821A (ja) * 2010-04-09 2011-11-04 Sony Computer Entertainment Inc 情報処理システム、操作入力装置、情報処理装置、情報処理方法、プログラム及び情報記憶媒体
JP2012198668A (ja) * 2011-03-18 2012-10-18 Ns Solutions Corp 情報処理装置、拡張現実感提供方法、及びプログラム
JP2014006914A (ja) * 2011-07-29 2014-01-16 Canon Marketing Japan Inc 情報処理装置、制御方法、プログラム、および情報処理システム
US20130169556A1 (en) * 2012-01-04 2013-07-04 Sujin Kim Mobile terminal and control method thereof
JP2013186641A (ja) * 2012-03-07 2013-09-19 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017138143A1 (ja) * 2016-02-12 2017-08-17 富士通株式会社 端末装置、画面解像度調整方法、表示制御方法、画面解像度調整プログラム、及び表示制御プログラム
JPWO2017138143A1 (ja) * 2016-02-12 2018-11-22 富士通株式会社 端末装置、画面解像度調整方法、表示制御方法、画面解像度調整プログラム、及び表示制御プログラム
JP2019036914A (ja) * 2017-08-21 2019-03-07 ウエストユニティス株式会社 連携表示システム
JP2019113693A (ja) * 2017-12-22 2019-07-11 セイコーエプソン株式会社 表示システム、表示システムの制御方法、表示装置、及び、表示装置の制御方法
US10732918B2 (en) 2017-12-22 2020-08-04 Seiko Epson Corporation Display system, method of controlling display system, and display device
US10971113B2 (en) 2017-12-22 2021-04-06 Seiko Epson Corporation Display system, electronic device, and display method
JP7035510B2 (ja) 2017-12-22 2022-03-15 セイコーエプソン株式会社 表示システム、及び、表示システムの制御方法
US11380287B2 (en) 2017-12-22 2022-07-05 Seiko Epson Corporation Display system, electronic device, and display method

Similar Documents

Publication Publication Date Title
CN104469464B (zh) 图像显示装置、控制图像显示装置的方法、计算机程序以及图像显示系统
JP6209906B2 (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、画像表示システム
US9784976B2 (en) Head mounted display, information processing apparatus, image display apparatus, image display system, method for sharing display of head mounted display, and computer program
JP6476643B2 (ja) 頭部装着型表示装置、情報システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US20150062164A1 (en) Head mounted display, method of controlling head mounted display, computer program, image display system, and information processing apparatus
US10073262B2 (en) Information distribution system, head mounted display, method for controlling head mounted display, and computer program
JP6380091B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP6492419B2 (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム、画像表示システム、および、情報処理装置
US20150193977A1 (en) Self-Describing Three-Dimensional (3D) Object Recognition and Control Descriptors for Augmented Reality Interfaces
US9799144B2 (en) Head mounted display, and control method for head mounted display
CN107077363B (zh) 信息处理装置、控制信息处理装置的方法、记录介质
JP2016142887A (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
US20160021360A1 (en) Display device, method of controlling display device, and program
JP2015227919A (ja) 画像表示装置、画像表示装置を制御する方法、コンピュータープログラム、および、画像表示システム
JP6229381B2 (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、画像表示システム、情報処理装置
JP2015064476A (ja) 画像表示装置、画像表示装置を制御する方法
JP2016091348A (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
US10205990B2 (en) Device for sending or receiving video, method for controlling device, and computer program
JP6828235B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の表示を共有する方法、コンピュータープログラム
JP2016142966A (ja) 頭部装着型表示装置、情報処理装置、画像表示装置、画像表示システム、頭部装着型表示装置の表示を共有する方法、コンピュータープログラム
JP6394174B2 (ja) 頭部装着型表示装置、画像表示システム、頭部装着型表示装置を制御する方法、および、コンピュータープログラム
JP2016092567A (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP6287399B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2016119544A (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160530

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170502

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181030

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190515

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190910