JP2014137396A - 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム - Google Patents

頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム Download PDF

Info

Publication number
JP2014137396A
JP2014137396A JP2013004485A JP2013004485A JP2014137396A JP 2014137396 A JP2014137396 A JP 2014137396A JP 2013004485 A JP2013004485 A JP 2013004485A JP 2013004485 A JP2013004485 A JP 2013004485A JP 2014137396 A JP2014137396 A JP 2014137396A
Authority
JP
Japan
Prior art keywords
image
head
unit
display device
mounted display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013004485A
Other languages
English (en)
Other versions
JP2014137396A5 (ja
JP6375591B2 (ja
Inventor
Shinichi Kobayashi
伸一 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2013004485A priority Critical patent/JP6375591B2/ja
Priority to CN201410014277.XA priority patent/CN103926694B/zh
Priority to US14/153,598 priority patent/US9448625B2/en
Publication of JP2014137396A publication Critical patent/JP2014137396A/ja
Publication of JP2014137396A5 publication Critical patent/JP2014137396A5/ja
Application granted granted Critical
Publication of JP6375591B2 publication Critical patent/JP6375591B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】画像表示部の動作モードとして、複数の選択可能画像が視認される第1のモードと、選択された選択可能画像に関連する関連画像を選択可能画像よりも大きい画像として視認させる第2のモードと、を有する頭部装着型表示装置を提供する。
【解決手段】透過型の頭部装着型表示装置は;操作部と;画像データを送信する制御部と;制御部から送信される画像データに基づいて生成した生成画像を使用者に視認させる画像表示部と、を備える。制御部は、画像表示部の動作モードとして、複数の選択可能画像を、前記画像表示部が前記生成画像を生成可能な領域である画像生成可能領域における中心以外に視認させる第1のモードと、複数の選択可能画像から一の選択可能画像が選択された場合に、一の選択可能画像に関連付けられた関連画像を、第1のモードにおける一の選択可能画像よりも大きい画像として視認させる第2のモードと、を有する。
【選択図】図10

Description

本発明は、頭部装着型表示装置に関する。
頭部に装着する表示装置である頭部装着型表示装置(ヘッドマウントディスプレイ(Head Mounted Display)、HMD)が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイおよび光源を利用して画像を表す画像光を生成し、生成された画像光を投写光学系や導光板を利用して使用者の眼に導くことにより、使用者に虚像を視認させる。頭部装着型表示装置には、使用者が虚像に加えて外景も視認可能な透過型と、使用者が外景を視認できない非透過型と、の2つのタイプがある。透過型の頭部装着型表示装置には、光学透過型とビデオ透過型とがある。
特許文献1には、使用者がコンテンツ映像等の虚像を視認している場合に所定の操作を行なうと、光源から光を照射しないことで使用者に虚像を視認させずに、使用者が外景を視認しやすくする制御を行なう頭部装着型表示装置が開示されている。また、特許文献2には、使用者の歩行時における歩数情報を検出して、検出した歩数情報に応じて使用者に虚像として視認させる画像の制御を行なう頭部装着型表示装置が開示されている。また、特許文献3には、使用者の動作に応じて、予め設定された情報を表す画像を使用者に視認させる装置が開示されている。
特開2012−165084号公報 特開2011−91789号公報 特開2011−14082号公報
しかし、特許文献1に記載された頭部装着型表示装置では、使用者は、映像を虚像として視認しているときに外景を視認したい場合、所定の操作を行なうことで外景を視認できるようになるものの、視認していた映像が視認できなくなり、外景と映像とを使用者に視認させる方法に改善の余地があった。また、特許文献2に記載された技術では、使用者の歩数情報によって使用者が視認する映像が制御されるため、使用者が視認する外景や映像が使用者の意思を反映していない場合があり、使用者に視認させる映像の制御について改善の余地があった。また、特許文献3に記載された技術では、使用者の動作に応じて、予め設定された情報を表す画像が使用者に視認されるが、例えば、使用者が当該画像をより大きく視認したい場合など、使用者の意思に応じて視認する画像の大きさ等を選択できない場合があり、使用者の利便性において向上の余地があった。また、使用者がより簡単な操作によって、使用者の意思を反映した画像を使用者に視認させたいという課題があった。
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
(1)本発明の一形態によれば、透過型の頭部装着型表示装置が提供される。この頭部装着型表示装置は、操作を受け付ける操作部と;画像データを送信する制御部と;使用者の頭部に装着された状態において、前記制御部から送信される前記画像データに基づいて生成した生成画像を使用者に視認させる画像表示部と、を備え;前記制御部は、前記画像表示部の動作モードとして、複数の選択可能画像を、前記画像表示部が前記生成画像を生成可能な領域である画像生成可能領域における中心以外の位置に視認させる第1のモードと、前記複数の選択可能画像から一の前記選択可能画像が前記操作に基づいて選択された場合に、前記一の選択可能画像に関連付けられた関連画像を、前記第1のモードにおける前記一の選択可能画像よりも大きい画像として視認させる第2のモードと、を有する。この形態の頭部装着型表示装置によれば、使用者は、自分の意思に応じて画像表示部の動作モードを切り替えて、見たい画像を選択できると共に、必要に応じて外景も視認できるので、使用者の利便性が向上する。
(2)上記形態の頭部装着型表示装置において、前記制御部は、前記第2のモードにおいて、前記画像生成可能領域における中心を含む位置に前記関連画像を視認させてもよい。この形態の頭部装着型表示装置によれば、使用者は、選択した画像を視認しやすく、使用者の利便性が向上する。
(3)上記形態の頭部装着型表示装置において、さらに;現在位置を検出する位置検出部と;前記位置検出部によって検出された前記現在位置が特定の地理的領域内である場合に、情報装置へと制御信号を送信する信号送信部と;前記制御信号を受信した前記情報装置から送信される特定情報を受信する情報受信部と、を備え;前記複数の選択可能画像に関連付けられた複数の関連画像のうちの少なくとも1つは、前記特定情報を表す画像であってもよい。この形態の頭部装着型表示装置によれば、特定の地理的領域内に使用者がいる場合に、特定の地理的領域に関連のある映像が送信されて、使用者に視認させることができる。よって、使用者は、特定された現在位置によって、現在位置と関連のある画像を視認でき、使用者の利便性がより向上する。
(4)上記形態の頭部装着型表示装置において、さらに;特定の信号を送信する信号送信部と;前記信号送信部から送信される前記特定の信号を受信して、情報装置が前記特定の信号に基づいて前記頭部装着型表示装置の現在位置が特定の地理的領域内であると判定した場合に、前記情報装置が送信する特定情報を受信する情報受信部と、を備え;前記複数の選択可能画像に関連付けられた複数の関連画像のうちの少なくとも1つは、前記特定情報を表す画像であってもよい。この形態の頭部装着型表示装置によれば、位置検出部がなくても、信号送信部と情報装置とによって頭部装着型表示装置と情報装置との相対的な位置関係が視認されて、信号受信部は、情報装置から送信される映像情報を受信できる。
(5)上記形態の頭部装着型表示装置において、さらに;現在位置を検出する位置検出部と;使用者の視線方向を推定する視線方向推定部と、を備え;前記制御部は、前記位置検出部によって検出された前記現在位置が特定の地理的領域内である場合に、前記視線方向と前記現在位置とに基づいて、前記画像生成可能領域における前記選択可能画像の配置を変更してもよい。この形態の頭部装着型表示装置によれば、使用者が視認している選択可能画像の配置が特定の地理的領域と関連付けられているため、使用者が感覚的に選択可能画像の位置と外景との関係を認識でき、使用者の操作性が向上する。
(6)上記形態の頭部装着型表示装置において、さらに;前記操作部の動きを検出する動き検出部を備え;前記操作は、前記動き操作部が検出した前記操作部の動きであってもよい。この形態の頭部装着型表示装置によれば、使用者は、複雑な操作を必要とせずに簡単でかつ感覚的な操作によって、複数の選択可能画像から1つの選択可能画像を選択できるので、使用者の操作性が向上する。
(7)上記形態の頭部装着型表示装置において、前記制御部は、前記画像データのうち、前記第1のモードにおいて、前記選択可能画像が前記画像生成可能領域において視認される領域とは異なる領域に対応する部分をダミーデータに置き換え、前記第2モードにおいて、前記関連画像と前記選択可能画像とが前記画像生成可能領域において視認される領域とは異なる領域に対応する部分をダミーデータに置き換えてもよい。この形態の頭部装着型表示装置によれば、画像生成可能領域における選択可能画像や関連画像以外の部分において、使用者が不必要な画像を視認しないで外景を視認でき、使用者の利便性が向上する。
(8)上記形態の頭部装着型表示装置において、さらに;前記制御部から送信される画像データに基づいて画像を表す画像光を生成する画像光生成部を備え;前記画像表示部は、前記画像光を使用者の眼に射出して前記生成画像を使用者に視認させ;前記制御部は、前記第1のモードにおいて、前記選択可能画像が前記画像生成可能領域において視認される領域とは異なる領域に対応する部分には前記画像光を生成させず、前記第2のモードにおいて、前記関連画像と前記選択可能画像が前記画像生成可能領域において視認される領域とは異なる領域に対応する部分には前記画像光を生成させなくてもよい。この形態の頭部装着型表示装置によれば、画像可能生成領域における選択可能画像や関連画像以外の部分において、使用者が不必要な画像を視認しないで外景を視認でき、使用者の利便性が向上する。
(9)上記形態の頭部装着型表示装置において、さらに;前記制御部は、前記画像生成可能領域よりも大きい領域に対応する大領域画像データを生成し、前記大領域画像データの一部を抽出して前記画像生成可能領域の大きさ以下の領域に対応する視認用画像データを前記画像表示部に送信してもよい。この形態の頭部装着型表示装置によれば、選択可能画像に関連付けられた関連画像が1つの画像データとして制御部に作成されている。よって、複数の選択可能画像から特定の選択可能画像が選択された場合に、その都度、情報装置から送信される画像を受信する必要がなく、迅速に関連画像を画像生成可能領域において生成画像を生成でき、利用者の利便性が向上する。
(10)上記形態の頭部装着型表示装置において、前記視認用画像データは、前記画像生成可能領域と同じ大きさの領域に対応する画像データであってもよい。この形態の頭部装着型表示装置によれば、使用者は、不要な操作を行なわないで、選択した関連画像を画像生成可能領域と同じ最大の大きさで視認することができる。
(11)上記形態の頭部装着型表示装置において、前記制御部は、前記第1のモードにおいて、前記画像生成可能領域における周辺部に前記選択可能画像を配置させ、前記第2のモードにおいて、前記画像生成可能領域における周辺部に前記選択可能画像を配置させると共に、前記画像生成可能領域における周辺部以外で中心を含む位置に前記関連画像を配置させてもよい。この形態の頭部装着型表示装置によれば、第1のモードでは、使用者は、視野の中心で外景を視認できると共に、中心以外で選択可能画像を視認できる。さらに、第2のモードでは、使用者は、複数の選択可能画像と、選択した選択可能画像に関連付けられた関連画像と、の両方の画像を一度に視認できるので、使用者の利便性が向上する。
(12)上記形態の頭部装着型表示装置において、前記制御部は、前記第2のモードにおいて、前記画像生成可能領域に配置されている前記関連画像に関連付けられた前記一の選択可能画像を、他の前記選択可能画像とは異なるように前記画像表示部に表示させてもよい。この形態の頭部装着型表示装置によれば、使用者は、第2のモードにおいて、選択可能画像と選択した選択可能画像に関連付けられた関連画像との関係を認識しやすく、使用者の利便性がより向上する。
(13)上記形態の頭部装着型表示装置において、前記制御部は、前記動作モードとして、前記関連画像を前記画像生成可能領域と同じ大きさの領域になるように配置させる第3のモードと、前記第1のモードと、前記第2のモードと、とを有する。この形態の頭部装着型表示装置によれば、第3のモードでは、関連画像を画像生成可能領域の全体に表示するため、画像生成可能領域に生成される生成画像の大きさに対して選択される幅が広がり、さらに使用者の利便性が向上する。
(14)本発明の他の形態によれば、情報装置と、前記情報装置から送信された特定情報を表す画像を使用者に視認させる透過型の頭部装着型表示装置と、を備える画像表示システムが提供される。この画像表示システムでは、前記頭部装着型表示装置は、現在位置を検出する位置検出部と、前記位置検出部によって検出された前記現在位置が特定の地理的領域内である場合に、前記情報装置へと制御信号を送信する信号送信部と、を有し;前記情報装置は、前記信号送信部から送信された前記制御信号を受信すると、前記特定情報を前記制御部へと送信し;前記頭部装着型表示装置は、さらに、前記情報装置から送信された前記特定情報を受信する情報受信部と、画像を使用者に視認させる動作モードを、複数の選択可能画像を前記東部装着型表示装置が前記画像を生成可能な画像生成可能領域における中心以外の位置に視認させる第1のモードと、前記複数の選択可能画像から一の前記選択可能画像が前記操作に基づいて選択された場合に、前記一の選択可能画像に関連付けられると共に前記特定情報を表す関連画像を、前記第1のモードにおける前記一の選択可能画像よりも大きい画像として視認させる第2のモードと、の間で切り替える制御部と、を有する。この形態によれば、使用者は、自分の意思に応じて画像表示部の動作モードを切り替えて、情報装置から送信される特定情報を表す関連画像を選択できると共に、必要に応じて外景も視認できるので、使用者の利便性が向上する。
上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行なうことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。
例えば、本発明の一形態は、操作部と、制御部と、画像表示部と、の3つ要素の内の一つ以上または全部の要素を備えた装置として実現可能である。すなわち、この装置は、操作部を有していてもよく、有していなくてもよい。また、装置は、制御部を有していてもよく、有していなくてもよい。また、装置は、画像表示部を有していてもよく、有していなくてもよい。操作部は、例えば、操作を受け付けてもよい。制御部は、例えば、画像データを送信してもよい。また、制御部は、画像表示部の動作モードとして、複数の選択可能画像を、画像表示部が生成画像を生成可能な領域である画像生成可能領域における中心以外の位置に視認させる第1のモードと、複数の選択可能画像から一の選択可能画像が操作に基づいて選択された場合に、一の選択可能画像に関連付けられた関連画像を、第1のモードにおける一の選択可能画像よりも大きい画像として視認させる第2のモードと、を有していてもよい。画像表示部は、使用者の頭部に装着された状態において、制御部から送信される画像データに基づいて生成した生成画像を使用者に視認させてもよい。こうした装置は、例えば、頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。このような形態によれば、装置の操作性の向上および簡易化、装置の一体化や、装置を使用する使用者の利便性の向上、等の種々の課題の少なくとも1つを解決することができる。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。
本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、頭部装着型表示装置の制御方法、頭部装着型表示システム、頭部装着型表示システムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。
本発明の第1実施形態における映像表示システム1000の概略構成を示す説明図である。 頭部装着型表示装置100の外観構成を示す説明図である。 頭部装着型表示装置100の構成を機能的に示すブロック図である。 画像光生成部によって画像光が射出される様子を示す説明図である。 使用者が視認する視野VRの一例を示す説明図である。 配信画像表示処理の流れを示す説明図である。 アイコン表示モードにおいて使用者が視認する視野VRの一例を示す説明図である。 アイコン表示モードにおいて使用者が視認する視野VRの一例を示す説明図である。 アイコン画像とアイコン画像に関連付けられた映像との関係の一例を示す説明図である。 並列表示モードにおいて使用者が視認する視野VRの一例を示す説明図である。 全画面表示モードにおいて使用者が視認する視野VRの一例を示す説明図である。 アイコン表示モードにおいて使用者が視認する視野VRの一例を示す説明図である。
次に、本発明の実施の形態を実施形態に基づいて以下の順序で説明する。
A.第1実施形態:
A−1.映像表示システムの構成:
A−2.頭部装着型表示装置の構成
A−3.配信画像表示処理:
B.変形例:
A.第1実施形態:
A−1.映像表示システムの構成
図1は、本発明の第1実施形態における映像表示システム1000の概略構成を示す説明図である。本実施形態の映像表示システム1000は、野球場BSに適用されるシステムである。図1に示す例では、野球場BSのグラウンドGRの周囲に設けられたスタンドSTで、頭部装着型表示装置100(詳細は後述する)を装着した観客SPが野球の試合を観戦している。
映像表示システム1000は、コンテンツサーバー300を備える。コンテンツサーバー300は、CPU310と、記憶部320と、無線通信部330と、映像入力インターフェイス340と、を有する。記憶部320は、例えば、ROM、RAM、DRAM、ハードディスク等、によって構成されている。CPU310は、記憶部320に格納されたコンピュータープログラムを読み出して実行することにより、情報送受信部312、映像処理部314、映像配信部316、として機能する。無線通信部330は、無線LANやブルートゥースといった所定の無線通信規格に則って、野球場BS内に存在する頭部装着型表示装置100との間で無線通信を行なう。なお、コンテンツサーバー300と頭部装着型表示装置100との間の無線通信は、コンテンツサーバー300に接続された別装置としての通信装置(例えば無線LANアクセスポイント)を介して実行されるとしてもよい。この場合には、コンテンツサーバー300の無線通信部330は省略可能である。また、コンテンツサーバー300は、直接に、または、通信装置を介して、野球場BS内に存在する頭部装着型表示装置100と無線通信できる限りにおいて、野球場BSの内外の任意の場所に設置される。
野球場BSには、野球場BS内の種々の物体(グラウンドGR、選手、スタンドST、観客、スコアボードSB等)を撮影する複数のカメラCaが設置されている。例えば、図1の例では、野球場BSのバックネット裏付近にカメラCa4が設置されており、内野席付近にカメラCa3,Ca5が設置されており、外野席付近にカメラCa1,Ca2,Ca6が設置されている。野球場BSにおけるカメラCaの設置台数や配置は、任意に変更可能である。各カメラCaとコンテンツサーバー300とは、ケーブルおよび必要により中継装置を介して接続されており、各カメラCaにより撮影された映像は、コンテンツサーバー300の映像入力インターフェイス340に入力される。コンテンツサーバー300の映像処理部314は、入力された映像に対して必要により圧縮等の処理を実行し、入力された映像を各カメラCaのリアルタイム映像として記憶部320に格納する。リアルタイム映像は、頭部装着型表示装置100に対する実質的な生放送用の映像である。また、映像処理部314は、入力映像からリプレイ映像を作成して、記憶部320に格納する。リプレイ映像は、現在より前の所定期間のシーン(ハイライトシーン)を表す映像である。また、本実施形態では、記憶部320に、選手に関する情報(選手名、所属チーム名、ポジション、成績等)や野球場BSに関する情報(球場名、収容人数、観客数、気象状況等)が予め格納されている。なお、各カメラCaとコンテンツサーバー300との接続は、有線ではなく無線によるものとしてもよい。
A−2.頭部装着型表示装置の構成:
図2は、頭部装着型表示装置100の外観構成を示す説明図である。頭部装着型表示装置100は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ(Head Mounted Display、HMD)とも呼ばれる。本実施形態の頭部装着型表示装置100は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本明細書では、頭部装着型表示装置100によって使用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。また、画像データに基づいて生成された画像光を射出することを「画像を表示する」ともいう。
頭部装着型表示装置100は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部20と、画像表示部20を制御する制御部10(コントローラー10)と、を備えている。
画像表示部20は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部20は、右保持部21と、右表示駆動部22と、左保持部23と、左表示駆動部24と、右光学像表示部26と、左光学像表示部28と、を含んでいる。右光学像表示部26および左光学像表示部28のそれぞれは、使用者が画像表示部20を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部26の一端と左光学像表示部28の一端とは、使用者が画像表示部20を装着した際の使用者の眉間に対応する位置で、互いに接続されている。
右保持部21は、右光学像表示部26の他端である端部ERから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部23は、左光学像表示部28の他端である端部ELから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部21および左保持部23は、眼鏡のテンプル(つる)のようにして、使用者の頭部に画像表示部20を保持する。
右表示駆動部22と左表示駆動部24とは、使用者が画像表示部20を装着した際の使用者の頭部に対向する側に配置されている。なお、以降では、右保持部21および左保持部23を総称して単に「保持部」とも呼び、右表示駆動部22および左表示駆動部24を総称して単に「表示駆動部」とも呼び、右光学像表示部26および左光学像表示部28を総称して単に「光学像表示部」とも呼ぶ。
表示駆動部22,24は、液晶ディスプレイ241,242(Liquid Crystal Display、以下「LCD241,242」とも呼ぶ)や投写光学系251,252等を含む(図3参照)。表示駆動部22,24の構成の詳細は後述する。光学部材としての光学像表示部26,28は、導光板261,262(図3参照)と調光板とを含んでいる。導光板261,262は、光透過性の樹脂材料等によって形成され、表示駆動部22,24から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部20の表側を覆うように配置されている。調光板は、導光板261,262を保護し、導光板261,262の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整できる。なお、調光板は省略可能である。
画像表示部20は、さらに、画像表示部20を制御部10に接続するための接続部40を有している。接続部40は、制御部10に接続される本体コード48と、右コード42と、左コード44と、連結部材46と、を含んでいる。右コード42と左コード44とは、本体コード48が2本に分岐したコードである。右コード42は、右保持部21の延伸方向の先端部APから右保持部21の筐体内に挿入され、右表示駆動部22に接続されている。同様に、左コード44は、左保持部23の延伸方向の先端部APから左保持部23の筐体内に挿入され、左表示駆動部24に接続されている。連結部材46は、本体コード48と、右コード42および左コード44と、の分岐点に設けられ、イヤホンプラグ30を接続するためのジャックを有している。イヤホンプラグ30からは、右イヤホン32および左イヤホン34が延伸している。
画像表示部20と制御部10とは、接続部40を介して各種信号の伝送を行なう。本体コード48における連結部材46とは反対側の端部と、制御部10と、のそれぞれには、互いに嵌合するコネクター(図示しない)が設けられている。本体コード48のコネクターと制御部10のコネクターとの嵌合/嵌合解除により、制御部10と画像表示部20とが接続されたり切り離されたりする。右コード42と、左コード44と、本体コード48とには、例えば、金属ケーブルや光ファイバーが採用される。
制御部10は、頭部装着型表示装置100を制御するための装置である。制御部10は、決定キー11と、点灯部12と、表示切替キー13と、トラックパッド14と、輝度切替キー15と、方向キー16と、メニューキー17と、電源スイッチ18と、を含んでいる。決定キー11は、押下操作を検出して、制御部10で操作された内容を決定する信号を出力する。点灯部12は、頭部装着型表示装置100の動作状態を、その発光状態によって通知する。頭部装着型表示装置100の動作状態としては、例えば、電源のON/OFF等がある。点灯部12としては、例えば、LED(Light Emitting Diode)が用いられる。表示切替キー13は、押下操作を検出して、例えば、コンテンツ動画の表示モードを3Dと2Dとに切り替える信号を出力する。トラックパッド14は、トラックパッド14の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド14としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー15は、押下操作を検出して、画像表示部20の輝度を増減する信号を出力する。方向キー16は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ18は、スイッチのスライド操作を検出することで、頭部装着型表示装置100の電源投入状態を切り替える。
図3は、頭部装着型表示装置100の構成を機能的に示すブロック図である。制御部10は、入力情報取得部110と、記憶部120と、電源130と、無線通信部132と、GPSモジュール134と、操作部135と、CPU140と、インターフェイス180と、送信部51(Tx51)および送信部52(Tx52)と、を備え、各部は図示しないバスにより相互に接続されている。操作部135は、使用者による操作を受け付け、決定キー11、表示切替キー13、トラックパッド14、輝度切替キー15、方向キー16、メニューキー17、電源スイッチ18、9軸センサー139、から構成されている。9軸センサー139は、加速度(3軸)、角速度(3軸)、地磁気(3軸)を検出するモーションセンサーである。9軸センサー139は、操作部135に設けられているため、使用者による操作部135の動きを検出する動き検出部として機能する。ここで、操作部135の動きとは、頭部の速度・加速度・角速度・向き・向きの変化を含む。
入力情報取得部110は、操作部135に対する操作入力に応じた信号を取得する。記憶部120は、ROM、RAM、DRAM、ハードディスク等、によって構成されている。電源130は、頭部装着型表示装置100の各部に電力を供給する。電源130としては、例えば二次電池を用いることができる。無線通信部132は、無線LANやブルートゥースといった所定の無線通信規格に則って、例えばコンテンツサーバー300といった他の機器との間で無線通信を行なう。GPSモジュール134は、GPS衛生からの信号を受信することにより、自身の現在位置を検出する。GPSモジュール134の現在位置が検出されることで、頭部装着型表示装置100の使用者の現在位置が特定される。
CPU140は、記憶部120に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム150(OS150)、画像処理部160、音声処理部170、表示制御部190、表示画像連携部142、として機能する。
画像処理部160は、インターフェイス180や無線通信部132を介して入力されるコンテンツ(映像)に基づき、クロック信号PCLK、垂直同期信号VSync、水平同期信号HSync、画像データDataを生成し、接続部40を介してこれらの信号を画像表示部20に供給する。具体的には、画像処理部160は、コンテンツに含まれる画像信号を取得する。取得した画像信号は、例えば動画像の場合、一般的に、1秒あたり30枚のフレーム画像から構成されているアナログ信号である。画像処理部160は、取得した画像信号から、垂直同期信号VSyncや水平同期信号HSync等の同期信号を分離する。また、画像処理部160は、分離した垂直同期信号VSyncや水平同期信号HSyncの周期に応じて、PLL(Phase Locked Loop)回路等(図示しない)を利用してクロック信号PCLKを生成する。
画像処理部160は、同期信号が分離されたアナログ画像信号を、A/D変換回路等(図示しない)を用いてディジタル画像信号に変換する。その後、画像処理部160は、変換後のディジタル画像信号を、対象画像の画像データData(RGBデータ)として、1フレームごとに記憶部120内のDRAMに格納する。なお、画像処理部160は、必要に応じて、画像データDataに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。
画像処理部160は、生成されたクロック信号PCLK、垂直同期信号VSync、水平同期信号HSync、記憶部120内のDRAMに格納された画像データDataを、送信部51、52を介してそれぞれ送信する。なお、送信部51を介して送信される画像データDataを「右眼用画像データ」とも呼び、送信部52を介して送信される画像データDataを「左眼用画像データ」とも呼ぶ。送信部51、52は、制御部10と画像表示部20との間におけるシリアル伝送のためのトランシーバーとして機能する。
表示制御部190は、右表示駆動部22および左表示駆動部24を制御する制御信号を生成する。具体的には、表示制御部190は、制御信号により、右LCD制御部211による右LCD241の駆動ON/OFFや、右バックライト制御部201による右バックライト221の駆動ON/OFF、左LCD制御部212による左LCD242の駆動ON/OFFや、左バックライト制御部202による左バックライト222の駆動ON/OFFなどを個別に制御することにより、右表示駆動部22および左表示駆動部24のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部190は、右表示駆動部22および左表示駆動部24の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。
表示制御部190は、右LCD制御部211と左LCD制御部212とに対する制御信号のそれぞれを、送信部51および52を介して送信する。また、表示制御部190は、右バックライト制御部201と左バックライト制御部202とに対する制御信号のそれぞれを送信する。
音声処理部170は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材46に接続された右イヤホン32内のスピーカー(図示しない)および左イヤホン34内のスピーカー(図示しない)に対して供給する。なお、例えば、Dolby(登録商標)システムを採用した場合、音声信号に対する処理がなされ、右イヤホン32および左イヤホン34のそれぞれからは、例えば周波数等が変えられた異なる音が出力される。表示画像連携部142は、使用者による野球場BSでの野球の試合の観戦を支援するためのアプリケーションプログラムである。
インターフェイス180は、制御部10に対して、コンテンツの供給元となる種々の外部機器OAを接続するためのインターフェイスである。外部機器OAとしては、例えば、パーソナルコンピューター、携帯電話端末、ゲーム端末等、がある。インターフェイス180としては、例えば、USBインターフェイス、マイクロUSBインターフェイス、メモリーカード用インターフェイス等、を用いることができる。
画像表示部20は、右表示駆動部22と、左表示駆動部24と、右光学像表示部26としての右導光板261と、左光学像表示部28としての左導光板262と、9軸センサー66と、を備えている。
9軸センサー66は、9軸センサー139と同じように、加速度(3軸)、角速度(3軸)、地磁気(3軸)を検出するモーションセンサーである。9軸センサー66は、画像表示部20に設けられているため、画像表示部20が使用者の頭部に装着されているときには、使用者の頭部の動きを検出する。9軸センサー66が検出した使用者の頭部の動きから使用者の視線方向が推定される。制御部10の表示画像連携部142は、GPSモジュール134により検出された制御部10の現在位置を表す位置情報や、9軸センサー66により推定された使用者の視線方向を表す視線方向情報を、無線通信部132を介してコンテンツサーバー300に供給する。また、9軸センサー66は、請求項における視線方向推定部として機能する。
右表示駆動部22は、受信部53(Rx53)と、光源として機能する右バックライト制御部201(右BL制御部201)および右バックライト221(右BL221)と、表示素子として機能する右LCD制御部211および右LCD241と、右投写光学系251と、を含んでいる。なお、右バックライト制御部201と、右LCD制御部211と、右バックライト221と、右LCD241と、を総称して「画像光生成部」とも呼ぶ。
受信部53は、制御部10と画像表示部20との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部201は、入力された制御信号に基づいて、右バックライト221を駆動する。右バックライト221は、例えば、LEDやエレクトロルミネセンス(EL)等の発光体である。右LCD制御部211は、受信部53を介して入力されたクロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、右眼用画像データData1と、に基づいて、右LCD241を駆動する。右LCD241は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
右投写光学系251は、右LCD241から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部26としての右導光板261は、右投写光学系251から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼REに導く。なお、右投写光学系251と右導光板261とを総称して「導光部」とも呼ぶ。
左表示駆動部24は、右表示駆動部22と同様の構成を有している。すなわち、左表示駆動部24は、受信部54(Rx54)と、光源として機能する左バックライト制御部202(左BL制御部202)および左バックライト222(左BL222)と、表示素子として機能する左LCD制御部212および左LCD242と、左投写光学系252と、を含んでいる。なお、左バックライト制御部202と、左LCD制御部212と、左バックライト222と、左LCD242と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系252は、左LCD242から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部28としての左導光板262は、左投写光学系252から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼LEに導く。なお、左投写光学系252と左導光板262とを総称して「導光部」とも呼ぶ。
図4は、画像光生成部によって画像光が射出される様子を示す説明図である。右LCD241は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右LCD241を透過する光の透過率を変化させることにより、右バックライト221から照射される照明光ILを、画像を表す有効な画像光PLへと変調する。左側についても同様である。なお、図4のように、本実施形態ではバックライト方式を採用することとしたが、フロントライト方式や、反射方式を用いて画像光を射出する構成としてもよい。
A−3.配信画像表示処理:
図5は、使用者が視認する視野VRの一例を示す説明図である。図5には、野球場BSにおいて頭部装着型表示装置100の使用者である観客SP1(図1参照)が視認する視野VRが示されている。画像表示部20が光学透過型の頭部装着型表示装置100であるため、使用者は、画像表示部20を頭部に装着した状態で透過した外景SCを視認できる。図5に示すように、使用者は、画像表示部20を透過した野球場BSのグラウンドGRやスタンドSTといった外景SCを視認している。
図6は、配信画像表示処理の流れを示す説明図である。図6に示す処理では、頭部装着型表示装置100の使用者が所定の操作を行なうことにより、コンテンツサーバー300から配信される映像(画像)が使用者に視認される。なお、野球場BSは、請求項における特定の地理的領域に相当する。
初めに、制御部10のGPSモジュール134は、使用者の現在位置を特定する(ステップS310)。次に、制御部10は、特定された現在位置が野球場BS内であるか否かを判定する(ステップS320)。制御部10は、予め映像情報を配信できるコンテンツサーバー300等を有する野球場BSといった特定の地理的領域の位置(緯度および経度)を記憶している。そのため、制御部10は、特定された現在位置が野球場BS内であるか否かを判定できる。特定された現在位置が野球場BS内ではないと判定された場合には(ステップS320:NO)、制御部10は、配信画像表示処理を終了する。現在位置が野球場BS内であると判定された場合には(ステップS320:YES)、制御部10は、画像表示部20の動作モードをアイコン表示モードに設定する(ステップS330)。制御部10の表示画像連携部142は、現在位置が野球場BS内であることを示す情報を制御信号としてコンテンツサーバー300に送信する。コンテンツサーバー300は、制御信号を受信すると、表示画像連携部142に配信する映像情報を送信する。表示画像連携部142がコンテンツサーバー300から配信される映像情報を受信すると、制御部10は、画像表示部20をアイコン表示モードに設定する。アイコン表示モードでは、画像表示部20は、複数のアイコン画像を表示する。なお、コンテンツサーバー300から配信される映像情報は、請求項における情報装置から送信される特定情報に相当する。表示画像連携部142は、請求項における信号送信部および情報受信部に相当する。
図7は、アイコン表示モードにおいて使用者が視認する視野VRの一例を示す説明図である。図7に示すように、アイコン表示モードにおいて、使用者は、アイコンICN1からアイコンICN9までの9個のアイコン(以下、「アイコン群」とも呼ぶ)と外景SCとを視認している。アイコン群は、使用者の視野VRにおいて、画像表示部20が画像を表示できる最大の領域である最大画像表示領域PNの領域における中心を除いた周辺部に表示される。本実施形態では、最大画像表示領域PNにおける横と縦との画素数のそれぞれは、960と540とであるが、他の実施形態では、異なる画素数であってもよい。なお、最大画像表示領域PNの外郭を示す点線は、本実施形態を説明するために示したものであり、実際には表示されていないため、使用者には視認されない。アイコンICN1、アイコンICN2、といったアイコン画像は、請求項における選択可能画像に相当する。また、アイコン表示モードは、請求項における第1のモードに相当し、最大画像表示領域PNは、請求項における画像生成可能領域に相当する。
アイコン表示モードにおいて、次に、制御部10は、使用者の視線方向の変化を監視する(ステップS340)。使用者の視線方向は、画像表示部20の9軸センサー66が検出した使用者の頭部の動きに基づいて推定される。アイコン表示モードにおいて、最大画像表示領域PNにおけるアイコン画像の配置は、野球場BSに対する使用者の現在位置と使用者の視線方向とに基づいて変更される。例えば、予め設定された閾値以上に頭部の向きが変化すると、視線方向の変化として検出されて(ステップS340:YES)、制御部10は、最大画像表示領域PNに表示しているアイコン画像の配置を変更する(ステップS350)。視線方向の変化が検出されなかった場合には(ステップS340:NO)、制御部10は、最大画像表示領域PNに表示しているアイコン画像の配置を変更しない。
図8は、アイコン表示モードにおいて使用者が視認する視野VRの一例を示す説明図である。図8には、野球の試合を観戦している観客SP1が、現在位置から移動せずに視線方向を左に向けた場合に視認する視野VRが示されている。図8に示すように、視線方向の変化に伴い、制御部10は、最大画像表示領域PNに表示しているアイコン画像の配置を変更する。最大画像表示領域PNに表示されているアイコン画像のうちのいくつかは、野球場BSにおける特定の位置と関連付けられて設定されており、最大画像表示領域PNにおいて特定の位置と近い位置に表示される。本実施形態では、アイコンICN6は、野球場BS内におけるバックネット裏の位置と関連付けられて設定されている。そのため、図8に示すように、使用者が左に視線方向を変化させると、視線方向を変化させる前の図7に示されたアイコンICN6の位置よりも、最大画像表示領域PNにおいて右側に表示される。
最大画像表示領域PNにおけるアイコン画像の配置が変更された場合(ステップS350)、または、視線方向の変化が検出されなかった場合には(ステップS340:NO)、制御部10は、アイコン群から特定のアイコン画像が選択される操作を監視する(ステップS360)。操作部135の9軸センサー139が操作部135における所定の動きを検出すると、制御部10は、所定の動きに対応するアイコン画像が選択された操作を検出する。
アイコン画像を選択する動作が検出されなかった場合には(ステップS360:NO)、制御部10は、引き続き、視線方向の変化を監視する(ステップS340)。
アイコン画像を選択する動作として、例えば、重力方向と水平方向とに対して左下の向きへの加速度が検出された場合には(ステップS360:YES)、制御部10は、最大画像表示領域PNにおいて左下に配置されたアイコンICN7が選択される操作を検出して、画像表示部20の動作モードを並列表示モードに変更する(ステップS370)。並列表示モードでは、アイコン表示モードで表示していたアイコン群と、選択されたアイコンICN7に関連付けられている映像(画像)と、が最大画像表示領域PNに表示される。なお、アイコン画像に関連付けられている映像は、請求項における関連画像に相当する。
図9は、アイコン画像とアイコン画像に関連付けられた映像(画像)との関係の一例を示す説明図である。図9には、制御部10が生成する画像データが示されており、生成される画像データの領域の大きさは、画像データ領域DTである。制御部10は、画像データ領域DTのうちから、最大画像表示領域PNの大きさに対応する一部の画像データをビデオメモリーに格納して、格納した画像データを画像表示部20に送信する。アイコン表示モードでは、画像データ領域DTにおける最大画像表示領域PN内の画像データが画像表示部20へと送信される。アイコンICN7が選択されると、制御部10は、アイコンICN7に関連付けられている映像IMG7を最大画像表示領域PNにおける所定の位置に表示されるようにビデオメモリーに格納する。制御部10は、格納した最大画像表示領域PNの大きさに対応する画像データを画像表示部20に送信して最大画像表示領域PNに表示させる。なお、本実施形態では、画像データ領域DTの横と縦との画素数のそれぞれは、1920と1080とであるが、他の実施形態では、異なる画素数であってもよい。また、制御部10が生成する画像データは、請求項における大領域画像データに相当し、ビデオメモリーに格納される最大画像表示領域PNの大きさに対応する画像データは、請求項における視認用画像データに相当する。
図10は、並列表示モードにおいて使用者が視認する視野VRの一例を示す説明図である。図10に示すように、最大画像表示領域PNにおいて、周辺部にアイコン群が配置され、映像IMG7が周辺部以外で中心を含む位置に配置されている。映像IMG7は、コンテンツサーバー300から配信される「センター」側から見えるリアルタイム映像である。映像IMG7は、アイコンICN7よりも大きい画像として最大画像表示領域PNに表示される。並列表示モードにおいて、アイコンICN7は、最大画像表示領域PNの中心に表示されている映像IMG7に関連があることを使用者に視認させるために、他のアイコンとは異なり、点滅して表示されている。なお、図10では、アイコンICN7を点滅表示の代わりに、ハッチングで示している。並列表示モードは、請求項における第2のモードに相当する。制御部10が第1のモードと第2のモードとを有するとは、制御部10が画像表示部20の動作モードとして、異なる第1のモードと第2のモードとを有しており、画像表示部20の動作モードを第1のモードと第2のもノードとの間で切り替え可能であることをいう。また、本実施形態における最大画像表示領域PNにおける中心とは、横の画素数960と縦の画素数540とのそれぞれに対して、中央に位置する横の画素数640と縦の画素数360のことをいい、中央に位置する横の画素数480と縦の画素数270であるとさらに好ましい。最大画像表示領域PNにおける周辺部とは、横と縦とのそれぞれにおいて、中央に位置する横の画素数480と縦の画素数270を除いた部分をいい、中央に位置する横の画素数640と縦の画素数360を除いた部分であるとさらに好ましい。なお、本実施形態では、最大画像表示領域PNの中心と使用者の視野VRの中心とが一致したが、他の実施形態では、一致していなくてもよい。また、他の実施形態では、最大画像表示領域PNにおいてアイコン画像が配置される領域が設定される態様であってもよい。
最大画像表示領域PNにおいて、アイコン表示モードにおけるアイコン画像が表示される部分と、並列表示モードにおけるアイコン画像および映像IMG7が表示される部分と、とは異なる部分に外景SCを使用者に視認させる方法は、以下に挙げる(1)、(2)のいずれか一方を用いることができる。
(1)画像処理部160は、アイコン画像および映像IMG7をビデオメモリーに格納する場合に、アイコン画像および映像IMG7に対応する部分以外の画素データを、黒色のダミードットデータに置き換える。
(2)画像処理部160は、アイコン画像や映像IMG7をビデオメモリーに格納する場合に、アイコン画像や映像IMG7に対応する部分以外に生成される画像光の有効と無効とを切り替えるための信号(Enable信号)を制御する。具体的には、画像処理部160は、アイコン画像および映像IMG7に対応する部分のEnable信号の出力値をHi(有効)とし、アイコン画像および映像IMG7に対応しない部分のEnable信号の出力値をLo(無効)とする。
次に、制御部10は、アイコン群のうちのいずれかのアイコン画像が選択される操作を監視する(図6のステップS380)。並列表示モードにおいて、いずれかのアイコン画像が選択される操作が検出されると(ステップS380:YES)、制御部10は、画像表示部20の動作モードを並列表示モードからアイコン表示モードへと変更する(ステップS330)。
ステップS380の処理において、いずれかのアイコン画像が選択される操作が検出されない場合には(ステップS380:NO)、制御部10は、映像IMG7を全画面表示に変更する操作を監視する(ステップS390)。映像IMG7を全画面表示に変更する操作が検出されない場合には(ステップS390:NO)、制御部10は、アイコン群のうちのいずれかのアイコン画像が選択される操作を監視する(ステップS380)。全画面表示に変更する操作が検出された場合には(ステップS390:YES)、制御部10は、画像表示部20の動作モードを全画面表示モードに設定する(ステップS400)。
図11は、全画面表示モードにおいて使用者が視認する視野VRの一例を示す説明図である。図11に示すように、制御部10は、最大画像表示領域PNの全体に映像IMG7を表示させ、アイコン群を非表示にする。なお、全画面表示モードは、請求項における第3のモードに相当する。
次に、制御部10は、画像表示部20の動作モードを変更する操作を監視する(ステップS410)。画像表示部20の動作モードを並列表示モードへと変更する操作が検出された場合には(ステップS410:並列)、制御部10は、画像表示部20の動作モードを全画面表示モードから並列表示モードへと変更する(ステップS370)。ステップS410の処理において、検出された操作がアイコン表示モードへと変更する操作が検出された場合には(ステップS410:アイコン)、制御部10は、画像表示部20の動作モードを全画面表示モードからアイコン表示モードへと変更する(ステップS330)。
ステップS410の処理において、画像表示部20の動作モードを変更する操作が検出されなかった場合には(ステップS410:NO)、制御部10は、配信画像表示処理を終了する操作を監視する(ステップS420)。配信画像表示処理を終了する操作が検出されない場合には(ステップS420:NO)、制御部10は、引き続き、画像表示部20の動作モードを変更する操作を監視する(ステップS410)。配信画像表示処理を終了する操作が検出された場合には(ステップS420:YES)、制御部10は、配信画像表示処理を終了して、最大画像表示領域PNに表示していた画像を非表示にする。
以上説明したように、本実施形態における頭部装着型表示装置100では、制御部10は、画像表示部20の動作モードを、アイコン表示モードと並列表示モードとの間で切り替える。アイコン表示モードでは、最大画像表示領域PNの中心以外の位置にアイコン群が表示されている。制御部10は、アイコン表示モードにおいて、使用者の操作によってアイコンICN7が選択されると、アイコンICN7に関連付けられた映像IMG7をアイコンICN7よりも大きい画像として表示する並列表示モードに設定する。そのため、この頭部装着型表示装置100では、使用者は、自分の意思に応じて画像表示部20の動作モードを切り替えて、見たい画像を選択できると共に、必要に応じて外景SCも視認できるので、使用者の利便性が向上する。
また、本実施形態における頭部装着型表示装置100では、並列表示モードにおいて、アイコンICN7に関連付けられた映像IMG7が最大画像表示領域PNの中心を含む位置に表示されるため、使用者は、選択した映像IMG7を視認しやすく、使用者の利便性が向上する。
また、本実施形態における頭部装着型表示装置100では、GPSモジュール134によって特定された使用者の現在位置が野球場BS内である場合に、表示画像連携部142は、現在位置が野球場BS内であることを示す制御信号をコンテンツサーバー300に送信し、コンテンツサーバー300から配信される映像情報を受信する。アイコン群のうちのアイコンICN7に関連付けられた映像IMG7は、コンテンツサーバー300から配信された映像である。そのため、この頭部装着型表示装置100では、特定の地理的領域内に使用者がいる場合に、特定の地理的領域に関連のある映像が配信されて、使用者に視認させることができる。よって、使用者は、特定された現在位置によって、現在位置と関連のある映像を視認でき、使用者の利便性がより向上する。
また、本実施形態における頭部装着型表示装置では、制御部10は、使用者の現在位置が野球場BS内である場合に、9軸センサー66によって推定された使用者の視線方向と、に基づいて、最大画像表示領域PNにおけるアイコン画像の配置を変更する。そのため、この頭部装着型表示装置100では、使用者が視認しているアイコン画像の配置が特定の地理的領域と関連付けられているため、使用者が感覚的にアイコン画像の位置と外景SCとの関係を認識でき、使用者の操作性が向上する。
また、本実施形態における頭部装着型表示装置100では、9軸センサー139が検出した操作部135の動きに基づいて、アイコン群からアイコンICN7が選択される。そのため、この頭部装着型表示装置100では、使用者は、複雑な操作を必要とせずに簡単でかつ感覚的な操作によって、アイコン群からアイコン画像を選択できるので、使用者の操作性が向上する。
また、本実施形態における頭部装着型表示装置100では、画像処理部160は、アイコン表示モードにおいて、最大画像表示領域PNにアイコン画像が視認される部分とは異なる部分に対応する画像データの一部をダミーデータに置き換える。画像処理部160は、並列表示モードにおいて、最大画像表示領域PNにアイコン画像および映像IMG7が視認される部分とは異なる部分に対応する画像データの一部をダミーデータに置き換える。また、この頭部装着型表示装置100では、画像処理部160は、最大画像表示領域PNにおいて、アイコン表示モードにおけるアイコン画像を視認させる部分と、並列表示モードにおけるアイコン画像および映像IMG7を視認させる部分と、に対応する部分の画像光の生成を有効にする。画像処理部160は、最大画像表示領域PNにおいて、アイコン表示モードにおけるアイコン画像を視認させない部分と、並列表示モードにおけるアイコン画像および映像IMG7を視認させない部分と、に対応する部分の画像光の生成を無効にする。そのため、この頭部装着型表示装置100では、最大画像表示領域PNにおけるアイコン画像や映像IMG7以外の部分において、使用者が不必要な画像を視認しないで外景SCを視認でき、使用者の利便性が向上する。
また、本実施形態における頭部装着型表示装置100では、制御部10は、最大画像表示領域PNよりも大きい領域である画像データ領域DTに対応する画像データを生成して、生成した画像データの一部を、最大画像表示領域PNの大きさ以下の領域に対応する画像データを画像表示部20に送信する。そのため、この頭部装着型表示装置100では、アイコン画像に関連付けられた映像が1つの画像データとして制御部10に作成されている。よって、アイコン群からアイコンICN7が選択された場合に、その都度、コンテンツサーバー300から配信される画像を受信する必要がなく、迅速に映像IMG7の映像を最大画像表示領域PNに表示でき、利用者の利便性が向上する。
また、本実施形態における頭部装着型表示装置100では、制御部10から画像表示部20へと送信される画像データは、最大画像表示領域PNと同じ大きさの領域に対応する画像データであるため、使用者は、不要な操作を行なわないで、選択した映像IMG7を最大画面で視認することができる。
また、本実施形態における頭部装着型表示装置100では、制御部10は、アイコン表示モードにおいて、最大画像表示領域PNにおける周辺部にアイコン群を配置させる。また、制御部10は、並列表示モードにおいて、最大画像表示領域PNにおける周辺部にアイコン群を配置させると共に、最大画像表示領域PNにおける周辺部以外にアイコンICN7に関連付けられた映像IMG7を表示する。そのため、この頭部装着型表示装置100では、アイコン表示モードでは、使用者は、視野の中心で外景SCを視認できると共に、中心以外でアイコン画像を視認できる。さらに、並列表示モードでは、使用者は、アイコン群と、アイコン群から選択したアイコンICN7に関連付けられた映像IMG7と、の両方の画像を一度に視認できるので、使用者の利便性が向上する。
また、この頭部装着型表示装置100では、並列表示モードにおいて、最大画像表示領域PNの中心に表示されている映像IMG7に関連付けられているアイコンICN7は、他のアイコンと異なるように表示されている。そのため、使用者は、並列表示モードにおいて、映像IMG7とアイコンICN7との関係を認識しやすく、使用者の利便性がより向上する。
また、本実施形態における頭部装着型表示装置100では、制御部10は、画像表示部20の動作モードを、映像IMG7を最大画像表示領域PNと同じ大きさで表示する全画面表示モードと、アイコン表示モードと、並列表示モードと、との間で切り替える。そのため、この頭部装着型表示装置100では、全画面表示モードでは、映像IMG7を最大画像表示領域PNの全体に表示するため、最大画像表示領域PNに表示される画像の表示態様が選択される幅が広がり、さらに使用者の利便性が向上する。
B.変形例:
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。
B1.変形例1:
上記実施形態では、アイコン表示モードにおいて選択される画像として、アイコン画像を用いたが、選択される画像はアイコン画像に限られず、種々変形可能である。図12は、アイコン表示モードにおいて使用者が視認する視野VRの一例を示す説明図である。図12では、図7に示された上記実施形態のアイコン表示モードと異なり、アイコンICN7の代わりに映像IMG7、アイコンICN2の代わりに画像IMG2、が最大画像表示領域PNに表示されている。この変形例における頭部装着型表示装置100では、アイコン画像の代わりにアイコン画像に関連付けられた映像や画像が表示されているため、使用者がアイコン画像と映像との関連性を視覚で認識しやすいので、使用者の利便性が向上する。
上記実施形態では、画像表示部20の動作モードとして、アイコン表示モードと、並列表示モードと、全画面表示モードと、を例に挙げたが、必ずしも動作モードの態様はこれに限られず、種々変形可能である。例えば、画像表示部20の動作モードは、アイコン表示モードと並列表示モードとの2つの動作モードのみであってもよいし、4つ以上の動作モードがあってもよい。
B2.変形例2:
上記実施形態では、並列表示モードにおいて、映像IMG7が最大画像表示領域PNにおける中心を含む位置に表示されたが、必ずしも中心を含む位置に表示される必要はなく、表示される位置については種々変形可能である。例えば、並列表示モードにおいて、映像IMG7がアイコン表示モードにおけるアイコンICN7よりも大きい画像として、最大画像表示領域PNの中心よりも左に寄った位置に表示されてもよい。また、アイコン表示モードで選択された映像IMG7とは別に、他のアイコン画像が追加で選択された場合に、追加で選択されたアイコン画像に関連付けられた映像が映像IMG7とは別に表示されてもよい。
また、上記実施形態では、最大画像表示領域PNの中心として、使用者の視野VRにおける中心と同一である態様としたが、最大画像表示領域PNと視野VRとにおける中心の位置関係については種々変形可能である。例えば、CCDカメラによって視線方向が特定される場合には、最大画像表示領域PNの中心が視野VRの右端や下端の位置に相当する場合もある。頭部装着型表示装置100の使用者が頭部を動かさずに左の方向を視認しようとする場合には、最大画像表示領域PNの中心であっても、視野VRの右端に相当する。また、使用者の頭部に頭部装着型表示装置100を装着する位置をずらしている場合にも、最大画像表示領域PNの中心であっても、視野VRの下端等の位置に相当する場合もある。この場合であっても、アイコン画像が最大画像表示領域PNの中心以外に配置されるため、使用者は、見たい画像を選択できると共に、必要に応じて外景SCも視認できるので、使用者の利便性が向上する。
B3.変形例3:
上記実施形態では、特定の地理的領域として、野球場BSを例に挙げたが、必ずしも野球場BSである必要はなく、種々変形可能である。例えば、特定の地理的領域は、サッカー場や陸上競技場であってもよいし、美術館や講演会場であってもよい。
例えば、頭部装着型表示装置100の使用者が自動車の運転手であり、頭部装着型表示装置100が装着されていない状態では、使用者の死角となる部分をカメラ等で撮影した映像をアイコン画像に関連付けられた映像としてもよい。9軸センサー66が検出した頭部の動きによってアイコン画像の選択が行なわれることで、使用者は、死角となる部分の映像を視認できる。この頭部装着型表示装置100では、頭部装着型表示装置100を装着していない状態では視認できない部分を使用者が視認できるので、使用者の安全性を高めることができる。また、頭部装着型表示装置100の使用者が飲食店の経営者である場合に、使用者は、飲食を提供する店内と、調理場と、食材等の在庫が保管してある倉庫内と、をわざわざその場に移動しなくても視認できる。この頭部装着型表示装置100では、使用者が移動することなく、複数の作業場を視認できるので、使用者の利便性が向上する。
また、頭部装着型表示装置100を産業用に応用することもできる。例えば、複数の産業用機械が設置されている工場内において、頭部装着型表示装置100の使用者が工場内を巡回して点検を行なう作業員の場合に、予め個々の機械に設定された操業状況に応じて表示が変わるアイコン画像を最大画像表示領域PNに表示さてもよい。また、工場以外の交通管制を行なう管制塔の管制官が頭部装着型表示装置100の使用者である場合に、使用者が遠方の映像を詳細に見たい際には、拡大した画像を最大画像表示領域PNに表示することもできる。
また、上記実施形態では、コンテンツサーバー300から配信される映像情報として、野球場BS内の使用者の現在位置とは異なる位置から視認できる映像や画像を表す情報としたが、コンテンツサーバー300から配信される情報はこれに限られず、種々変形可能である。例えば、映像IMG7のようにリアルタイム映像ではなく、リプレイ映像やハイライトシーンを表す映像がコンテンツサーバー300から配信されてもよい。また、野球の試合において、他の野球場で行なわれている試合の経過状況がコンテンツサーバー300から配信されてもよい。
また、上記実施形態では、GPSモジュール134が特定した現在位置が野球場BS内である場合に、表示画像連携部142がコンテンツサーバー300へと制御信号を送信して、コンテンツサーバー300から配信される画像を受信する態様としたが、現在位置の特定に基づいてコンテンツサーバー300からの映像を配信される態様は、種々変形可能である。例えば、表示画像連携部142が特定の信号を送信し、コンテンツサーバー300は、特定の信号を受信して、特定の信号と野球場BSとの位置関係に基づいて、頭部装着型表示装置100が野球場BS内に存在すると判定した場合に、映像情報を表示画像連携部142へと配信する。この変形例における頭部装着型表示装置100では、GPSモジュール134が制御部10に搭載されていなくても、表示画像連携部142とコンテンツサーバー300とが相互の位置関係を認識して、表示画像連携部142は、コンテンツサーバー300から配信される映像情報を受信できる。
B4.変形例4:
また、上記実施形態では、アイコン表示モードにおいて、最大画像表示領域PNにおけるアイコン画像の配置は、野球場BSに対する使用者の現在位置と使用者の視線方向とに基づいて変更される。アイコン画像の配置の変更として、アイコンICN6の位置が変更される態様があるが、アイコン画像の配置の変更態様は、これに限られず、種々変形可能である。例えば、上記実施形態では、使用者である観客SP1は、3塁側のスタンドSTにいるため、図7に示すようなアイコン群の配置になっている。それに対し、1塁側のスタンドSTにいる観客SP2が頭部装着型表示装置100を装着している場合には、「1塁側ベンチ」を表す画像のアイコンICN4と、「3塁側ベンチ」を表す画像のアイコンICN8と、の配置が、最大画像表示領域PNにおける配置と逆になっていてもよい。また、アイコン表示モードにかかわらず、並列表示モードにおいても、アイコン画像の配置が野球場BSに対する使用者の現在位置と使用者の視線方向とに応じて変更されてもよい。
また、上記実施形態では、使用者の視線方向が画像表示部20に備え付けられた9軸センサー66によって推定されたが、使用者の視線方向の推定方法はこれに限られず、種々変形可能である。例えば、CCDカメラによって使用者の眼を撮像して、撮像した画像を解析することで、使用者の視線方向が推定されてもよい。
B5.変形例5:
上記実施形態では、操作部135が制御部10に配置される態様としたが、操作部135の態様はこれに限られず、種々変形可能である。例えば、操作部135は、独立したユーザーインターフェースとして構成されていてもよい。この場合に、操作部135が制御部10に内蔵された構成を有さないため、操作部135を軽くすることができ、操作部135の操作性を向上させることができる。
B6.変形例6:
上記実施形態では、最大画像表示領域PNにおいて、アイコン画像および映像IMG7に対応する部分以外の画像データを、黒色のダミードットデータに置き換えたが、置き換えるダミーデータについては黒色に限られず、種々変形可能である。例えば、アイコン画像を囲む周辺部分の画像データについては、赤や青といったダミーデータに置き換えて、その他の部分の画像データについては、黒のダミーデータに置き換えてもよい。この変形例の頭部装着型表示装置100では、アイコン画像が赤や青といった色の枠で囲まれて最大画像表示領域PNに表示されるため、使用者は、外景SCとアイコン画像との区別がつきやすく、アイコン画像を認識しやすくなるため、使用者の利便性や操作性が向上する。
B7.変形例7:
上記実施形態では、並列表示モードにおいて、アイコンICN7は、最大画像表示領域PNの中心に表示される映像IMG7に関連しているため、他のアイコン画像と異なり、最大画像表示領域PNにおいて点滅して表示されたが、アイコンICN7の表示態様は種々変形可能である。例えば、アイコンICN7は、アイコンICN7以外のアイコン画像と同じ表示態様であってもよい。また、アイコン画像は、コンテンツサーバー300から配信されて関連付けられている映像や静止画像の内容に基づいて異なるように表示されてもよい。
上記実施形態では、頭部装着型表示装置100の実施態様について説明したが、頭部装着型表示装置100だけではなく、画像表示システムの態様として実施することも可能である。例えば、画像表示システムは、コンテンツサーバー300と、コンテンツサーバー300から配信された映像を虚像として使用者に認識させる透過型の頭部装着型表示装置100を備えていてもよい。頭部装着型表示装置100では、GPSモジュール134によって特定された現在位置が野球場BS内である場合に、表示画像連携部142は、コンテンツサーバー300に制御信号を送信する。コンテンツサーバー300は、表示画像連携部142から送信された制御信号を受信すると、映像情報を頭部装着型表示装置100に配信する。頭部装着型表示装置100では、表示画像連携部142が配信された映像情報を受信して、制御部10は、画像表示部20の動作モードをアイコン表示モードに設定する。アイコン表示モードにおいて、例えば、アイコンICN7が選択されると、制御部10は、使用者に配信された映像情報を表す映像IMG7をアイコンICN7よりも大きく視認させる。この画像表示システムでは、使用者は、自分の意思に応じて画像表示部20の動作モードを切り替えて、コンテンツサーバー300から配信される画像を選択できると共に、必要に応じて外景SCも視認できるので、使用者の利便性が向上する。
B8.変形例8:
例えば、画像光生成部は、有機EL(有機エレクトロルミネッセンス、Organic Electro-Luminescence)のディスプレイと、有機EL制御部とを備える構成としても良い。また、例えば、画像生成部は、LCDに代えて、LCOS(Liquid crystal on silicon, LCoS は登録商標)や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。レーザー網膜投影型の場合、「画像光生成部における画像光の射出可能領域」とは、使用者の眼に認識される画像領域として定義することができる。
また、例えば、ヘッドマウントディスプレイは、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のヘッドマウントディスプレイとしてもよい。また、ヘッドマウントディスプレイは、いわゆる単眼タイプのヘッドマウントディスプレイであるとしてもよい。例えば、光学像表示部が使用者の眼を覆わない単眼タイプのヘッドマウントディスプレイにおいて、最大画像表示領域PNの中心以外でなくても、使用者に視認させる生成画像の中心以外にアイコン画像を視認させる態様であってもよい。
また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略しても良い。また、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。
B9.変形例9:
上記実施形態における頭部装着型表示装置100の構成は、あくまで一例であり、種々変形可能である。例えば、制御部10に設けられた方向キー16やトラックパッド14の一方を省略したり、方向キー16やトラックパッド14に加えてまたは方向キー16やトラックパッド14に代えて操作用スティック等の他の操作用インターフェイスを設けたりしてもよい。また、制御部10は、キーボードやマウス等の入力デバイスを接続可能な構成であり、キーボードやマウスから入力を受け付けるものとしてもよい。
また、画像表示部として、眼鏡のように装着する画像表示部20に代えて、例えば帽子のように装着する画像表示部といった他の方式の画像表示部を採用してもよい。また、イヤホン32,34、カメラ61、は適宜省略可能である。また、上記実施形態では、画像光を生成する構成として、LCDと光源とを利用しているが、これらに代えて、有機ELディスプレイといった他の表示素子を採用してもよい。また、上記実施形態では、使用者の頭の動きを検出するセンサーとして9軸センサー66を利用しているが、これに代えて、加速度センサー、角速度センサー、地磁気センサーのうちの1つまたは2つから構成されたセンサーを利用するとしてもよい。また、上記実施形態では、頭部装着型表示装置100は、両眼タイプの光学透過型であるとしているが、本発明は、例えばビデオ透過型や単眼タイプといった他の形式の頭部装着型表示装置にも同様に適用可能である。
また、上記実施形態において、頭部装着型表示装置100は、使用者の左右の眼に同じ画像を表す画像光を導いて使用者に二次元画像を視認させるとしてもよいし、使用者の左右の眼に異なる画像を表す画像光を導いて使用者に三次元画像を視認させるとしてもよい。
また、上記実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、上記実施形態では、画像処理部160や音声処理部170は、CPU140がコンピュータープログラムを読み出して実行することにより実現されるとしているが、これらの機能部はハードウェア回路により実現されるとしてもよい。
また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア(コンピュータープログラム)は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやCD−ROMのような携帯型の記録媒体に限らず、各種のRAMやROM等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。
また、上記実施形態では、図2および図3に示すように、制御部10と画像表示部20とが別々の構成として形成されているが、制御部10と画像表示部20との構成については、これに限られず、種々変形可能である。例えば、画像表示部20の内部に、制御部10に形成された構成の全てが形成されてもよいし、一部が形成されてもよい。また、制御部10に形成された構成の内、操作部135のみが単独のユーザーインターフェース(UI)として形成されてもよいし、上記実施形態における電源130が単独で形成されて、交換可能な構成であってもよい。また、制御部10に形成された構成が重複して画像表示部20に形成されていてもよい。例えば、図2に示すCPU140が制御部10と画像表示部20との両方に形成されていてもよいし、制御部10に形成されたCPU140と画像表示部20に形成されたCPUとが行なう機能が別々に分けられている構成としてもよい。
また、制御部10がパーソナルコンピューター(PC)に内蔵されて、PCのモニターに代えて画像表示部20が使用される態様であってもよいし、制御部10と画像表示部20とが一体化して、使用者の衣服に取り付けられるウェアラブルコンピューターの態様であってもよい。
本発明は、上記実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行なうことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
10…制御部
11…決定キー
12…点灯部
13…表示切替キー
14…トラックパッド
15…輝度切替キー
16…方向キー
17…メニューキー
18…電源スイッチ
20…画像表示部
21…右保持部
22…右表示駆動部
23…左保持部
24…左表示駆動部
26…右光学像表示部
28…左光学像表示部
30…イヤホンプラグ
32…右イヤホン
34…左イヤホン
40…接続部
42…右コード
44…左コード
46…連結部材
48…本体コード
51…送信部
52…送信部
53…受信部
54…受信部
61…カメラ
66…9軸センサー(視線方向推定部)
100…頭部装着型表示装置
110…入力情報取得部
120…記憶部
130…電源
132…無線通信部
134…GPSモジュール(位置検出部)
135…操作部
139…9軸センサー(動き検出部)
140…CPU
142…表示画像連携部(信号送信部、情報受信部)
150…オペレーティングシステム
160…画像処理部
170…音声処理部
180…インターフェイス
190…表示制御部
201…右バックライト制御部
202…左バックライト制御部
211…右LCD制御部
212…左LCD制御部
221…右バックライト
222…左バックライト
241…右LCD
242…左LCD
251…右投写光学系
252…左投写光学系
261…右導光板
262…左導光板
300…コンテンツサーバー(情報装置)
310…CPU
312…情報送受信部
314…映像処理部
316…映像配信部
320…記憶部
330…無線通信部
340…映像入力インターフェイス
1000…映像表示システム
PCLK…クロック信号
VSync…垂直同期信号
HSync…水平同期信号
Data…画像データ
Data1…右眼用画像データ
IMG7…映像(関連画像)
IMG2…画像(関連画像)
ICN1,ICN2,ICN3,ICN4,ICN5,ICN6,ICN7,ICN8,ICN9…アイコン(選択可能画像)
OA…外部機器
SC…外景
IL…照明光
PL…画像光
PN…最大画像表示領域(画像生成可能領域)
SP,SP1,SP2,SP3…観客
VR…使用者の視野
GR…グラウンド
BS…野球場(特定の地理的領域)
ST…スタンド
SB…スコアボード
DT…画像データ領域
Ca,Ca1,Ca2,Ca3,Ca4,Ca5,Ca6…カメラ

Claims (15)

  1. 透過型の頭部装着型表示装置であって、
    操作を受け付ける操作部と、
    画像データを送信する制御部と、
    使用者の頭部に装着された状態において、前記制御部から送信される前記画像データに基づいて生成した生成画像を使用者に視認させる画像表示部と、を備え、
    前記制御部は、前記画像表示部の動作モードとして、複数の選択可能画像を、前記画像表示部が前記生成画像を生成可能な領域である画像生成可能領域における中心以外の位置に視認させる第1のモードと、前記複数の選択可能画像から一の前記選択可能画像が前記操作に基づいて選択された場合に、前記一の選択可能画像に関連付けられた関連画像を、前記第1のモードにおける前記一の選択可能画像よりも大きい画像として視認させる第2のモードと、を有する、頭部装着型表示装置。
  2. 請求項1に記載の頭部装着型表示装置であって、
    前記制御部は、前記第2のモードにおいて、前記画像生成可能領域における中心を含む位置に前記関連画像を視認させる、頭部装着型表示装置。
  3. 請求項1または請求項2に記載の頭部装着型表示装置であって、さらに、
    現在位置を検出する位置検出部と、
    前記位置検出部によって検出された前記現在位置が特定の地理的領域内である場合に、情報装置へと制御信号を送信する信号送信部と、
    前記制御信号を受信した前記情報装置から送信される特定情報を受信する情報受信部と、を備え、
    前記複数の選択可能画像に関連付けられた複数の関連画像のうちの少なくとも1つは、前記特定情報を表す画像である、頭部装着型表示装置。
  4. 請求項1から請求項3までのいずれか一項に記載の頭部装着型表示装置であって、さらに、
    特定の信号を送信する信号送信部と、
    前記信号送信部から送信される前記特定の信号を受信して、情報装置が前記特定の信号に基づいて前記頭部装着型表示装置の現在位置が特定の地理的領域内であると判定した場合に、前記情報装置が送信する特定情報を受信する情報受信部と、を備え、
    前記複数の選択可能画像に関連付けられた複数の関連画像のうちの少なくとも1つは、前記特定情報を表す画像である、頭部装着型表示装置。
  5. 請求項1から請求項4までのいずれか一項に記載の頭部装着型表示装置であって、さらに、
    現在位置を検出する位置検出部と、
    使用者の視線方向を推定する視線方向推定部と、を備え、
    前記制御部は、前記位置検出部によって検出された前記現在位置が特定の地理的領域内である場合に、前記視線方向と前記現在位置とに基づいて、前記画像生成可能領域における前記選択可能画像の配置を変更する、頭部装着型表示装置。
  6. 請求項1から請求項5までのいずれか一項に記載の頭部装着型表示装置であって、さらに、
    前記操作部の動きを検出する動き検出部を備え、
    前記操作は、前記動き操作部が検出した前記操作部の動きである、頭部装着型表示装置。
  7. 請求項1から請求項6までのいずれか一項に記載の頭部装着型表示装置であって、
    前記制御部は、前記画像データのうち、前記第1のモードにおいて、前記選択可能画像が前記画像生成可能領域において視認される領域とは異なる領域に対応する部分をダミーデータに置き換え、前記第2モードにおいて、前記関連画像と前記選択可能画像とが前記画像生成可能領域において視認される領域とは異なる領域に対応する部分をダミーデータに置き換える、頭部装着型表示装置。
  8. 請求項1から請求項7までのいずれか一項に記載の頭部装着型表示装置であって、さらに、
    前記制御部から送信される画像データに基づいて画像を表す画像光を生成する画像光生成部を備え、
    前記画像表示部は、前記画像光を使用者の眼に射出して前記生成画像を使用者に視認させ、
    前記制御部は、前記第1のモードにおいて、前記選択可能画像が前記画像生成可能領域において視認される領域とは異なる領域に対応する部分には前記画像光を生成させず、前記第2のモードにおいて、前記関連画像と前記選択可能画像が前記画像生成可能領域において視認される領域とは異なる領域に対応する部分には前記画像光を生成させない、頭部装着型表示装置。
  9. 請求項1から請求項8までのいずれか一項に記載の頭部装着型表示装置であって、さらに、
    前記制御部は、前記画像生成可能領域よりも大きい領域に対応する大領域画像データを生成し、前記大領域画像データの一部を抽出して前記画像生成可能領域の大きさ以下の領域に対応する視認用画像データを前記画像表示部に送信する、頭部装着型表示装置。
  10. 請求項9に記載の頭部装着型表示装置であって、
    前記視認用画像データは、前記画像生成可能領域と同じ大きさの領域に対応する画像データである、頭部装着型表示装置。
  11. 請求項1から請求項10でのいずれか一項に記載の頭部装着型表示装置であって、
    前記制御部は、前記第1のモードにおいて、前記画像生成可能領域における周辺部に前記選択可能画像を配置させ、前記第2のモードにおいて、前記画像生成可能領域における周辺部に前記選択可能画像を配置させると共に、前記画像生成可能領域における周辺部以外で中心を含む位置に前記関連画像を配置させる、頭部装着型表示装置。
  12. 請求項11に記載の頭部装着型表示装置であって、
    前記制御部は、前記第2のモードにおいて、前記画像生成可能領域に配置されている前記関連画像に関連付けられた前記一の選択可能画像を、他の前記選択可能画像とは異なるように前記画像表示部に表示させる、頭部装着型表示装置。
  13. 請求項11または請求項12に記載の頭部装着型表示装置であって、
    前記制御部は、前記動作モードとして、前記関連画像を前記画像生成可能領域と同じ大きさの領域になるように配置させる第3のモードと、前記第1のモードと、前記第2のモードと、とを有する、頭部装着型表示装置。
  14. 情報装置と、前記情報装置から送信された特定情報を表す画像を使用者に視認させる透過型の頭部装着型表示装置と、を備える画像表示システムであって、
    前記頭部装着型表示装置は、現在位置を検出する位置検出部と、前記位置検出部によって検出された前記現在位置が特定の地理的領域内である場合に、前記情報装置へと制御信号を送信する信号送信部と、を有し、
    前記情報装置は、前記信号送信部から送信された前記制御信号を受信すると、前記特定情報を前記頭部装着型表示装置へと送信し、
    前記頭部装着型表示装置は、さらに、前記情報装置から送信された前記特定情報を受信する情報受信部と、画像を使用者に視認させる動作モードとして、複数の選択可能画像を、前記頭部装着型表示装置が前記画像を生成可能な画像生成可能領域における中心以外の位置に視認させる第1のモードと、前記複数の選択可能画像から一の前記選択可能画像が前記操作に基づいて選択された場合に、前記一の選択可能画像に関連付けられると共に前記特定情報を表す関連画像を、前記第1のモードにおける前記一の選択可能画像よりも大きい画像として視認させる第2のモードと、を有する制御部と、を有する、画像表示システム。
  15. 操作を受け付ける操作部と、画像データを送信する制御部と、使用者の頭部に装着された状態において、前記制御部から送信される前記画像データに基づいて生成した生成画像を使用者に視認させる画像表示部と、を備える、透過型の頭部装着型表示装置の制御方法であって、
    前記画像表示部を制御する動作モードとして、複数の選択可能画像を、前記生成画像を生成可能な画像生成可能領域における中心以外の位置に視認させる第1のモードと、前記複数の選択可能画像から一の前記選択可能画像が前記操作に基づいて選択された場合に、前記一の選択可能画像に関連付けられた関連画像を、前記第1のモードにおける前記一の選択可能画像よりも大きい画像として視認させる第2のモードと、を有する工程を備える、制御方法。
JP2013004485A 2013-01-15 2013-01-15 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム Active JP6375591B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013004485A JP6375591B2 (ja) 2013-01-15 2013-01-15 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム
CN201410014277.XA CN103926694B (zh) 2013-01-15 2014-01-13 头戴式显示装置及其控制方法、以及图像显示系统
US14/153,598 US9448625B2 (en) 2013-01-15 2014-01-13 Head-mounted display device, control method for head-mounted display device, and image display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013004485A JP6375591B2 (ja) 2013-01-15 2013-01-15 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム

Publications (3)

Publication Number Publication Date
JP2014137396A true JP2014137396A (ja) 2014-07-28
JP2014137396A5 JP2014137396A5 (ja) 2016-02-25
JP6375591B2 JP6375591B2 (ja) 2018-08-22

Family

ID=51144973

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013004485A Active JP6375591B2 (ja) 2013-01-15 2013-01-15 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム

Country Status (3)

Country Link
US (1) US9448625B2 (ja)
JP (1) JP6375591B2 (ja)
CN (1) CN103926694B (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105657407A (zh) * 2015-12-31 2016-06-08 深圳纳德光学有限公司 头戴显示器及其双目3d视频显示方法和装置
JP6143242B1 (ja) * 2016-02-15 2017-06-07 株式会社菊池製作所 画像表示装置
JP2017102242A (ja) * 2015-12-01 2017-06-08 株式会社デンソーウェーブ 情報表示システム
JP2018525750A (ja) * 2015-08-28 2018-09-06 トムソン ライセンシングThomson Licensing シースルー・グラス用の補助アイテム選択
KR20190027930A (ko) * 2016-07-25 2019-03-15 매직 립, 인코포레이티드 증강 현실 및 가상 현실 안경류를 사용한 이미징 수정, 디스플레이 및 시각화
JP2020115366A (ja) * 2019-05-21 2020-07-30 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置及び表示制御方法
US11042038B2 (en) 2015-12-02 2021-06-22 Sony Interactive Entertainment Inc. Display control apparatus and display control method
JP2022078113A (ja) * 2016-04-27 2022-05-24 ロヴィ ガイズ, インコーポレイテッド 仮想現実環境を表示するヘッドアップディスプレイ上に付加的コンテンツを表示するための方法およびシステム

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8867106B1 (en) 2012-03-12 2014-10-21 Peter Lancaster Intelligent print recognition system and method
WO2016017144A1 (en) * 2014-07-31 2016-02-04 Seiko Epson Corporation Display device, control method for display device, and program
JP6344125B2 (ja) * 2014-07-31 2018-06-20 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
KR20160056133A (ko) * 2014-11-11 2016-05-19 삼성전자주식회사 이미지 표시 제어 방법 및 이를 지원하는 장치
CN104394317A (zh) * 2014-11-20 2015-03-04 段然 一种处理头戴式摄录设备摄录图像的方法
CN107533375A (zh) * 2015-06-29 2018-01-02 埃西勒国际通用光学公司 场景图像分析模块
US20180224930A1 (en) * 2015-08-04 2018-08-09 Board Of Regents Of The Nevada System Of Higher Education, On Behalf Of The University Of Nevada, Immersive virtual reality locomotion using head-mounted motion sensors
US10712566B2 (en) 2015-11-26 2020-07-14 Denso Wave Incorporated Information displaying system provided with head-mounted type display
CN105929959A (zh) * 2016-04-29 2016-09-07 四川数字工匠科技有限公司 虚拟现实头盔定位控制系统
KR102593453B1 (ko) * 2016-05-31 2023-10-24 엘지디스플레이 주식회사 가상 현실용 디스플레이 시스템 및 그 구동 방법
EP3296792A1 (en) * 2016-09-19 2018-03-21 Essilor International Method for managing the display of an image to a user of an optical system
JP6870264B2 (ja) * 2016-09-30 2021-05-12 セイコーエプソン株式会社 運動訓練装置およびプログラム
EP3316117A1 (en) * 2016-10-31 2018-05-02 Nokia Technologies OY Controlling content displayed in a display
JP2018101019A (ja) * 2016-12-19 2018-06-28 セイコーエプソン株式会社 表示装置及び表示装置の制御方法
US10539796B1 (en) * 2016-12-28 2020-01-21 Meta View, Inc. Systems and methods to provide privacy protection and brightness enhancement in an interactive environment
US10403327B2 (en) 2017-02-27 2019-09-03 Google Llc Content identification and playback
CN110573369B (zh) * 2017-04-19 2022-05-17 麦克赛尔株式会社 平视显示器装置及其显示控制方法
EP4220436A1 (en) * 2017-07-17 2023-08-02 Google LLC Methods, systems, and media for presenting media content previews
JP2019191675A (ja) * 2018-04-19 2019-10-31 セイコーエプソン株式会社 透過型頭部装着型表示装置、支援システム、表示制御方法、およびコンピュータープログラム
JP7385238B2 (ja) * 2019-01-07 2023-11-22 株式会社mediVR リハビリテーション支援装置、リハビリテーション支援方法及びリハビリテーション支援プログラム
JP6655751B1 (ja) * 2019-07-25 2020-02-26 エヌ・ティ・ティ・コミュニケーションズ株式会社 映像表示制御装置、方法およびプログラム
US11301906B2 (en) 2020-03-03 2022-04-12 BrandActif Ltd. Method and system for digital marketing and the provision of digital content
US11593843B2 (en) 2020-03-02 2023-02-28 BrandActif Ltd. Sponsor driven digital marketing for live television broadcast
SG10202001898SA (en) 2020-03-03 2021-01-28 Gerard Lancaster Peter Method and system for digital marketing and the provision of digital content
US11854047B2 (en) 2020-03-03 2023-12-26 BrandActif Ltd. Method and system for digital marketing and the provision of digital content
CN114224010A (zh) * 2022-02-09 2022-03-25 福建汇川物联网技术科技股份有限公司 一种安全帽、使用方法及建筑模型投影系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003284047A (ja) * 2002-03-25 2003-10-03 Olympus Optical Co Ltd スタジアム観戦システム、システム管理装置、可搬型モニタ装置、映像送信装置及び映像送受信装置
JP2005006193A (ja) * 2003-06-13 2005-01-06 Nec Commun Syst Ltd 動画配信方法及びシステム
JP2008096867A (ja) * 2006-10-16 2008-04-24 Sony Corp 表示装置、表示方法
JP2010151867A (ja) * 2008-12-24 2010-07-08 Brother Ind Ltd ヘッドマウントディスプレイ
JP2011048426A (ja) * 2009-08-25 2011-03-10 Toshiba Tec Corp 調理補助端末及びプログラム
JP2012008290A (ja) * 2010-06-23 2012-01-12 Softbank Mobile Corp 眼鏡型表示装置及びサーバ
JP2012203125A (ja) * 2011-03-24 2012-10-22 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6456262B1 (en) * 2000-05-09 2002-09-24 Intel Corporation Microdisplay with eye gaze detection
KR100667853B1 (ko) * 2006-01-25 2007-01-11 삼성전자주식회사 휴대용 기기의 화면 스크롤 장치 및 방법과 그 방법을수행하는 프로그램이 기록된 기록 매체
KR100891263B1 (ko) * 2007-11-15 2009-03-30 에스케이 텔레콤주식회사 단말기 움직임으로 단말기에 미디어를 재생하는 방법,시스템 및 서버
JP4824793B2 (ja) 2009-07-06 2011-11-30 東芝テック株式会社 ウエアラブル端末装置及びプログラム
JP2011091789A (ja) 2009-09-24 2011-05-06 Brother Industries Ltd ヘッドマウントディスプレイ
US20110197156A1 (en) * 2010-02-09 2011-08-11 Dynavox Systems, Llc System and method of providing an interactive zoom frame interface
US8593375B2 (en) * 2010-07-23 2013-11-26 Gregory A Maltz Eye gaze user interface and method
TW201205431A (en) * 2010-07-29 2012-02-01 Hon Hai Prec Ind Co Ltd Head wearable display system with interactive function and display method thereof
WO2012047892A2 (en) * 2010-10-04 2012-04-12 Calgon Carbon Corporation Fluid-directing multiport rotary apparatus
JP5810540B2 (ja) 2011-02-04 2015-11-11 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
US9285874B2 (en) * 2011-02-09 2016-03-15 Apple Inc. Gaze detection in a 3D mapping environment
US8611015B2 (en) * 2011-11-22 2013-12-17 Google Inc. User interface

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003284047A (ja) * 2002-03-25 2003-10-03 Olympus Optical Co Ltd スタジアム観戦システム、システム管理装置、可搬型モニタ装置、映像送信装置及び映像送受信装置
JP2005006193A (ja) * 2003-06-13 2005-01-06 Nec Commun Syst Ltd 動画配信方法及びシステム
JP2008096867A (ja) * 2006-10-16 2008-04-24 Sony Corp 表示装置、表示方法
JP2010151867A (ja) * 2008-12-24 2010-07-08 Brother Ind Ltd ヘッドマウントディスプレイ
JP2011048426A (ja) * 2009-08-25 2011-03-10 Toshiba Tec Corp 調理補助端末及びプログラム
JP2012008290A (ja) * 2010-06-23 2012-01-12 Softbank Mobile Corp 眼鏡型表示装置及びサーバ
JP2012203125A (ja) * 2011-03-24 2012-10-22 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018525750A (ja) * 2015-08-28 2018-09-06 トムソン ライセンシングThomson Licensing シースルー・グラス用の補助アイテム選択
JP2017102242A (ja) * 2015-12-01 2017-06-08 株式会社デンソーウェーブ 情報表示システム
US11768383B2 (en) 2015-12-02 2023-09-26 Sony Interactive Entertainment Inc. Display control apparatus and display control method
US11042038B2 (en) 2015-12-02 2021-06-22 Sony Interactive Entertainment Inc. Display control apparatus and display control method
CN105657407A (zh) * 2015-12-31 2016-06-08 深圳纳德光学有限公司 头戴显示器及其双目3d视频显示方法和装置
JP6143242B1 (ja) * 2016-02-15 2017-06-07 株式会社菊池製作所 画像表示装置
JP2017146373A (ja) * 2016-02-15 2017-08-24 株式会社菊池製作所 画像表示装置
JP7286828B2 (ja) 2016-04-27 2023-06-05 ロヴィ ガイズ, インコーポレイテッド 仮想現実環境を表示するヘッドアップディスプレイ上に付加的コンテンツを表示するための方法およびシステム
JP2022078113A (ja) * 2016-04-27 2022-05-24 ロヴィ ガイズ, インコーポレイテッド 仮想現実環境を表示するヘッドアップディスプレイ上に付加的コンテンツを表示するための方法およびシステム
KR102461953B1 (ko) 2016-07-25 2022-10-31 매직 립, 인코포레이티드 증강 현실 및 가상 현실 안경류를 사용한 이미징 수정, 디스플레이 및 시각화
KR20190027930A (ko) * 2016-07-25 2019-03-15 매직 립, 인코포레이티드 증강 현실 및 가상 현실 안경류를 사용한 이미징 수정, 디스플레이 및 시각화
US11808943B2 (en) 2016-07-25 2023-11-07 Magic Leap, Inc. Imaging modification, display and visualization using augmented and virtual reality eyewear
JP2020115366A (ja) * 2019-05-21 2020-07-30 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置及び表示制御方法

Also Published As

Publication number Publication date
CN103926694B (zh) 2018-12-25
US20140198033A1 (en) 2014-07-17
CN103926694A (zh) 2014-07-16
US9448625B2 (en) 2016-09-20
JP6375591B2 (ja) 2018-08-22

Similar Documents

Publication Publication Date Title
JP6375591B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム
JP6186689B2 (ja) 映像表示システム
US11231897B2 (en) Display system, display device, information display method, and program
JP6107276B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP5884576B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6459380B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP2016004340A (ja) 情報配信システム、頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP6268778B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6303274B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6135162B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム
JP6428024B2 (ja) 表示装置、表示装置の制御方法、および、プログラム
JP6252002B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2015087523A (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム
JP6369583B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2016033763A (ja) 表示装置、表示装置の制御方法、および、プログラム
JP6451222B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP6273677B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6136162B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2016142966A (ja) 頭部装着型表示装置、情報処理装置、画像表示装置、画像表示システム、頭部装着型表示装置の表示を共有する方法、コンピュータープログラム
JP6287399B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6394174B2 (ja) 頭部装着型表示装置、画像表示システム、頭部装着型表示装置を制御する方法、および、コンピュータープログラム
JP6217772B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2018107823A (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160107

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160107

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160530

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170314

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171205

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20171212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180419

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180626

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180709

R150 Certificate of patent or registration of utility model

Ref document number: 6375591

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150