JP6318596B2 - 情報処理装置および情報処理装置の制御方法 - Google Patents

情報処理装置および情報処理装置の制御方法 Download PDF

Info

Publication number
JP6318596B2
JP6318596B2 JP2013257675A JP2013257675A JP6318596B2 JP 6318596 B2 JP6318596 B2 JP 6318596B2 JP 2013257675 A JP2013257675 A JP 2013257675A JP 2013257675 A JP2013257675 A JP 2013257675A JP 6318596 B2 JP6318596 B2 JP 6318596B2
Authority
JP
Japan
Prior art keywords
unit
information processing
processing apparatus
image
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013257675A
Other languages
English (en)
Other versions
JP2015115849A (ja
JP2015115849A5 (ja
Inventor
総志 木村
総志 木村
和夫 西沢
和夫 西沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2013257675A priority Critical patent/JP6318596B2/ja
Priority to US14/555,943 priority patent/US9383581B2/en
Publication of JP2015115849A publication Critical patent/JP2015115849A/ja
Priority to US15/171,689 priority patent/US9898097B2/en
Publication of JP2015115849A5 publication Critical patent/JP2015115849A5/ja
Application granted granted Critical
Publication of JP6318596B2 publication Critical patent/JP6318596B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Description

本発明は、情報処理装置に関する。
情報処理装置の１つとして、頭部に装着する表示装置である頭部装着型表示装置（ヘッドマウントディスプレイ（Head Mounted Display）、ＨＭＤ）が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイおよび光源を利用して画像を表わす画像光を生成し、生成された画像光を投写光学系や導光板を利用して使用者の眼に導くことにより、使用者に虚像を視認させる。頭部装着型表示装置を制御するための手段として、ボタンやトラックパッドによる操作、および、各種センサーによって検出される使用者の頭部の動き等が知られている。
特許文献１には、操作部であるリモコンにジャイロセンサーを内蔵させて、ジャイロセンサーが検出した角速度に応じて操作する頭部装着型表示装置について開示されている。また、特許文献２には、複数のプレイヤーで同じゲームを体験し、かつ、ゲーム機の本体に対して、頭部装着型表示装置を着脱可能にすることで、頭部装着型表示装置の消毒を容易にさせるゲーム機について開示されている。
特開２０１１−８２７８１号公報 特開平５−３０５１８１号公報
しかし、特許文献１に記載された頭部装着型表示装置では、操作部に内蔵されたジャイロセンサーで頭部装着型表示装置の操作が行なえるものの、操作部に内蔵されたジャイロセンサーとは別のセンサーを搭載させて、別のセンサーの検出結果に応じて、ジャイロセンサーが検出した角速度による操作とは異なる操作を行なうことができないという課題があった。また、オペレーティングシステム（以下、単に「ＯＳ」とも呼ぶ）によっては、複数のセンサーの検出結果に対して、各検出結果に対応する複数の制御を行なうことができず、ＯＳ自体を変更しなくても、これらの複数の制御を行なうことができないという課題があった。なお、上述の課題は、頭部装着型表示装置に限られず、操作部を備える情報処理装置に共通する課題であった。
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。本発明の一形態によれば、情報処理装置が提供される。この情報処理装置は、操作を受け付ける操作部と、前記操作部の向きを検出する第１の検出部と、前記操作部の向きと、前記操作部が受け付けた操作における入力の向きと、に基づいて、前記操作部が受け付けた操作における入力を出力に変換する入出力変換部と、前記情報処理装置の位置と向きとの少なくとも一方である装置状態を検出する第２の検出部と、前記入出力変換部からの前記出力と前記装置状態とに基づいて、前記情報処理装置の制御処理を行なう制御処理部と、を備える。この形態によれば、操作部の向きと操作部が受け付けた操作における入力の向きに基づいて入力を出力に変換するので、使用者の操作性が向上する。
（１）本発明の一形態によれば、情報処理装置が提供される。この情報処理装置は、操作を受け付ける操作部と；前記操作部の向きを検出する第１の検出部と；前記操作部が受け付ける操作の入力を、前記操作部の向きが第１の状態の場合には、第１の規則に基づいて出力に変換し、前記操作部の向きが前記第１の状態とは異なる第２の状態の場合には、前記第１の規則とは異なる第２の規則に基づいて出力に変換する入出力変換部と；前記情報処理装置の位置と向きとの少なくとも一方である装置状態を検出する第２の検出部と；前記入出力変換部からの前記出力と前記装置状態とに基づいて、前記情報処理装置の制御処理を行なう制御処理部と、を備える。この形態の情報処理装置によれば、複数の検出部の検出結果のそれぞれに対応して異なる制御が行なわれるため、情報処理装置に対して多様な制御を行なうことができる。
（２）上記形態の情報処理装置において、前記第１の検出部は、前記操作部に配置され、前記操作部の加速度を用いて前記操作部の向きを検出してもよい。この形態の情報処理装置によれば、操作部の向きではなく、検出された加速度の向きを基準とする入力に基づく情報処理装置の制御が行なわれるため、使用者は検出された加速度の向きを基準とする入力を行なうことができ、使用者の操作性が向上する。
（３）上記形態の情報処理装置において、前記第１の状態と前記第２の状態とは、前記操作部の向きと重力方向との関係に基づいて決定されてもよい。この形態の情報処理装置によれば、前記操作部の向きと検出された重力加速度の向きとに基づいて情報処理装置の制御が行なわれるため、使用者は検出された重力加速度の向きを基準とする入力を行なうことができ、使用者の操作性が向上する。
（４）上記形態の情報処理装置において、前記第１の状態は、前記操作部の向きと前記重力方向とによって形成される操作角度が４５度以下の状態であり；前記第２の状態は、前記操作角度が４５度よりも大きい状態であってもよい。この形態の情報処理装置によれば、第１の規則に基づいて変換する角度の範囲が大きいため、操作部が受け付けた入力を出力へと変換する補正の回数が限られ、入力を出力へと変換するための制御が簡便であり、情報処理装置の付加を低減でき、また、操作部の向きを検出する頻度を少なくできる。
（５）上記形態の情報処理装置において、前記第２の状態は、前記操作角度が４５度よりも大きく１３５度以下である第３の状態と、前記操作角度が１３５度よりも大きい第４の状態と、を含み；前記入出力変換部は、前記操作部が受け付ける操作の入力を、前記第３の状態の場合には、前記第１の規則と異なる第３の規則に基づいて出力に変換し、前記第４の状態の場合には、前記第１の規則と前記第３の規則とも異なる第４の規則に基づいて出力に変換してもよい。この形態の情報処理装置によれば、変換角度が限られた数に分けられているため、操作部が受け付けた入力を出力へと補正するのが簡便であり、情報処理装置の付加を低減でき、また、操作部の向きを検出する頻度を少なくできる。
（６）上記形態の情報処理装置において、さらに；使用者の頭部に装着された状態において、画像データに基づいて画像光を形成し、前記画像光を虚像として使用者に視認させる画像表示部を備え；前記装置状態は、前記操作部または前記画像表示部の位置と向きとの少なくとも一方であり；前記制御処理部は、前記制御処理として、前記画像表示部によって形成される画像光を制御してもよい。この形態の情報処理装置によれば、使用者の状況に応じて、使用者に視認される画像や外景等が異なり、使用者の利便性が向上する。
（７）上記形態の情報処理装置において、前記第２の検出部は、前記画像表示部に配置され、前記画像表示部の位置と向きとの少なくとも一方を検出し；前記制御処理部は、前記制御処理として、前記画像表示部に形成される画像光の位置を設定してもよい。この形態の情報処理装置によれば、使用者の視線方向の変化や頭部の向き等に応じて、使用者に視認される画像や外景等が異なり、使用者の利便性がさらに向上する。
（８）上記形態の情報処理装置において、前記第１の検出部は、前記操作部の向きを、０．５秒間に１回よりも少ない頻度で検出してもよい。この形態の情報処理装置によれば、常に操作部に作用する加速度が検出される必要がなく、情報処理装置にかかる負荷を抑制した上で、使用者の利便性を向上させることができる。
（９）上記形態の情報処理装置において、前記制御処理部は、オペレーティングシステムを含み；前記入出力変換部は、デバイスドライバーまたはミドルウェアであってもよい。この形態の情報処理装置によれば、操作部に対応させた第１の検出部および入出力変換部が採用されることで、情報処理装置の制御に関する負荷を低減し、基本ソフト等のソフトウェアを変更する必要がなく、情報処理装置の開発期間を短縮できる。
上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行なうことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。
例えば、本発明の一形態は、操作部と、第１の検出部と、入出力変換部と、第２の検出部と、制御処理部と、の５つの要素の内の一つ以上または全部の要素を備えた装置として実現可能である。すなわち、この装置は、操作部を有していてもよく、有していなくてもよい。また、装置は、第１の検出部を有していてもよく、有していなくてもよい。また、装置は、入出力変換部を有していてもよく、有していなくてもよい。また、装置は、第２の検出部を有していてもよく、有していなくてもよい。また、装置は、制御処理部を有していてもよく、有していなくてもよい。操作部は、例えば、操作を受け付けてもよい。第１の検出部は、例えば、操作部の向きを検出してもよい。入出力変換部は、例えば、操作部が受け付ける操作の入力を、操作部の向きが第１の状態の場合には、第１の規則に基づいて出力に変換し、操作部の向きが第１の状態とは異なる第２の状態の場合には、第１の規則とは異なる第２の規則に基づいて出力に変換してもよい。第２の検出部は、例えば、情報処理装置の位置と向きとの少なくとも一方である装置状態を検出してもよい。制御処理部は、例えば、入出力変換部からの出力と装置状態とに基づいて、情報処理装置の制御処理を行なってもよい。こうした装置は、例えば、情報処理装置として実現できるが、情報処理装置以外の他の装置としても実現可能である。このような形態によれば、装置の操作性の向上および簡易化、装置の一体化や、装置を使用する使用者の利便性の向上、等の種々の課題の少なくとも１つを解決することができる。前述した情報処理装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。
本発明は、情報処理装置以外の種々の形態で実現することも可能である。例えば、頭部装着型表示装置、情報処理装置または頭部装着型表示装置の制御方法、情報処理システム、頭部装着型表示システム、情報処理システムまたは頭部装着型表示システムを実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。
頭部装着型表示装置１００の外観構成を示す説明図である。 頭部装着型表示装置１００の構成を機能的に示すブロック図である。 画像光生成部によって画像光が射出される様子を示す説明図である。 表示画像制御処理の流れを示す説明図である。 視線方向の変化前後で使用者が視認する視野ＶＲの概略を示す説明図である。 操作入力処理の流れを示す説明図である。 ポインター操作によるポインターＰＯの表示位置の変更についての説明図である。 ポインター操作によるポインターＰＯの表示位置の変更についての説明図である。 変形例における頭部装着型表示装置の外観構成を示す説明図である。
Ａ．実施形態：
Ａ−１．頭部装着型表示装置の構成：
図１は、頭部装着型表示装置１００の外観構成を示す説明図である。頭部装着型表示装置１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。本実施形態の頭部装着型表示装置１００は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本明細書では、頭部装着型表示装置１００によって使用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。また、画像データに基づいて生成された画像光を射出することを「画像を表示する」ともいう。
頭部装着型表示装置１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部１０（コントローラー１０）と、を備えている。
画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、１０軸センサー６６と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。
右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。
右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部」とも呼び、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。
表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む（図２参照）。表示駆動部２２，２４の構成の詳細は後述する。光学部材としての光学像表示部２６，２８は、導光板２６１，２６２（図２参照）と調光板とを含んでいる。導光板２６１，２６２は、光透過性の樹脂材料等によって形成され、表示駆動部２２，２４から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置されている。調光板は、導光板２６１，２６２を保護し、導光板２６１，２６２の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整できる。なお、調光板は省略可能である。
１０軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）、および、気圧（１軸）を検出するセンサーである。１０軸センサー６６は、画像表示部２０における表示駆動部２２の近くに内蔵されており、画像表示部２０が使用者の頭部に装着されているときには、使用者の頭部の動きや位置（以下、単に「画像表示部２０の状態」とも呼ぶ）を検出する。なお、１０軸センサー６６によって検出される画像表示部２０の状態は、請求項における装置状態に相当する。請求項における情報処理装置の装置状態とは、情報処理装置の一部の位置と向きとの少なくとも一方を含む。例えば、頭部装着型表示装置１００の一部である画像表示部２０の位置が変化し、頭部装着型表示装置１００における画像表示部２０以外の装置（例えば、制御部１０）の位置および向きが変化していない場合であっても、請求項における情報処理装置の位置が変化した場合に相当する。
画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、右コード４２と、左コード４４と、連結部材４６と、を含んでいる。右コード４２と左コード４４とは、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６は、本体コード４８と、右コード４２および左コード４４と、の分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有している。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。
画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行なう。本体コード４８における連結部材４６とは反対側の端部と、制御部１０と、のそれぞれには、互いに嵌合するコネクター（図示しない）が設けられている。本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８とには、例えば、金属ケーブルや光ファイバーを採用できる。
制御部１０は、頭部装着型表示装置１００を制御するための装置である。制御部１０は、決定キー１１と、点灯部１２と、表示切替キー１３と、トラックパッド１４と、輝度切替キー１５と、方向キー１６と、メニューキー１７と、電源スイッチ１８と、加速度センサー１９と、を含んでいる。決定キー１１は、押下操作を検出して、制御部１０で操作された内容を決定する信号を出力する。点灯部１２は、頭部装着型表示装置１００の動作状態を、その発光状態によって通知する。頭部装着型表示装置１００の動作状態としては、例えば、電源のＯＮ／ＯＦＦ等がある。点灯部１２としては、例えば、ＬＥＤ（Light Emitting Diode）が用いられる。表示切替キー１３は、押下操作を検出して、例えば、コンテンツ動画の表示モードを３Ｄと２Ｄとに切り替える信号を出力する。トラックパッド１４は、トラックパッド１４の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー１５は、押下操作を検出して、画像表示部２０の輝度を増減する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、頭部装着型表示装置１００の電源投入状態を切り替える。加速度センサー１９は、制御部１０に作用する加速度（例えば、重力加速度）を取得する。本実施形態では、加速度センサー１９は、０．５秒間に１回、定期的に、制御部１０に作用する加速度を取得する。
図２は、頭部装着型表示装置１００の構成を機能的に示すブロック図である。図２に示すように、制御部１０は、記憶部１２０と、電源１３０と、操作部１３５と、ＣＰＵ１４０と、インターフェイス１８０と、送信部５１（Ｔｘ５１）および送信部５２（Ｔｘ５２）と、を有している。操作部１３５は、使用者による操作を受け付け、決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、メニューキー１７、電源スイッチ１８、および、加速度センサー１９から構成されている。
電源１３０は、頭部装着型表示装置１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。記憶部１２０は、種々のコンピュータープログラムを格納している。記憶部１２０は、ＲＯＭやＲＡＭ等によって構成されている。ＣＰＵ１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム１５０（ＯＳ１５０）、表示制御部１９０、方向判定部１６６、画像処理部１６０、音声処理部１７０、および、入出力変換部１６９として機能する。
本実施形態で用いられるＯＳ１５０は、アンドロイド（Android（登録商標））である。アンドロイドでは、複数のセンサーから検出されたそれぞれの検出結果に対応させて複数の制御を行なうことができない。なお、本実施形態では、ＯＳ１５０として、アンドロイドを用いたが、他の実施形態では、他のＯＳが用いられてもよい。
表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなど、を個別に制御する。これにより、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号のそれぞれを、送信部５１および５２を介して送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号のそれぞれを送信する。
方向判定部１６６は、１０軸センサー６６によって特定された画像表示部２０の向きに基づいて、使用者の視線方向を特定する。本実施形態では、視線方向が変化した場合に、方向判定部１６６は、所定の単位時間における変化前の視線方向と変化後の視線方向とがなす角度の変化（以下、「変化角度」とも呼ぶ）が閾値以上であるか否かを判定する。なお、方向判定部１６６および１０軸センサー６６は、請求項における第２の検出部に相当する。
画像処理部１６０は、コンテンツに含まれる画像信号を取得する。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Phase Locked Loop）回路等（図示しない）を利用してクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等（図示しない）を用いてディジタル画像信号に変換する。その後、画像処理部１６０は、変換後のディジタル画像信号を、対象画像の画像データ（ＲＧＢデータ）として、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。なお、画像処理部１６０は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。
画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、記憶部１２０内のＤＲＡＭに格納された画像データＤａｔａ、のそれぞれを、送信部５１、５２を介して送信する。なお、送信部５１を介して送信される画像データＤａｔａを「右眼用画像データ」とも呼び、送信部５２を介して送信される画像データＤａｔａを「左眼用画像データ」とも呼ぶ。送信部５１、５２は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。
また、画像処理部１６０は、方向判定部１６６によって特定された使用者の視線方向に基づいて、画像表示部２０に表示させる表示画像の各種制御を行なう。本実施形態では、画像処理部１６０は、方向判定部１６６によって判定された視線方向の変化角度によって、画像表示部２０に表示している画像の表示有無を制御する。例えば、視線方向の変化角度が閾値以上の場合には、画像処理部１６０は、画像表示部２０に表示されていた表示画像を非表示にする。
音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内のスピーカー（図示しない）および左イヤホン３４内のスピーカー（図示しない）に対して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４のそれぞれからは、例えば周波数等が変えられた異なる音が出力される。
入出力変換部１６９は、使用者による操作入力に応じた信号と操作部１３５が形成されている制御部１０に作用する加速度を示す信号とを取得して、取得した信号に基づいてＯＳ１５０へと出力信号を送信するデバイスドライバーである。操作入力に応じた信号としては、例えば、操作部１３５におけるトラックパッド１４、方向キー１６、電源スイッチ１８、に対する操作入力がある。入出力変換部１６９は、加速度センサー１９が取得した加速度に基づいて、操作部１３５の向きと重力方向とを入力として特定する。入出力変換部１６９は、操作部１３５の向きと重力方向とがなす角度に基づいて、入力を出力信号に変換するための変換角度を決定する。変換角度とは、入力としての操作部１３５の向きと重力方向とがなす角度に対して、入出力変換部１６９がＯＳ１５０へと出力信号を送信する際に補正する角度のことである。入出力変換部１６９は、操作部１３５のトラックパッド１４が受け付けた入力を、変換角度に基づいて出力信号に変換し、ＯＳ１５０へと変換した出力信号を送信する。加速度センサー１９が取得した信号は、入出力変換部１６９に送信され、ＯＳ１５０には送信されない。なお、変換角度の詳細については、後述する。変換角度は、請求項における第１の規則および第２の規則に相当する。また、加速度センサー１９および入出力変換部１６９は、請求項における第１の検出部に相当する。
インターフェイス１８０（図２）は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ＯＡとしては、例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等、を用いることができる。
画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、１０軸センサー６６と、を備えている。
右表示駆動部２２は、受信部５３（Ｒｘ５３）と、光源として機能する右バックライト制御部２０１（右ＢＬ制御部２０１）および右バックライト２２１（右ＢＬ２２１）と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１と、を含んでいる。右バックライト制御部２０１と右バックライト２２１とは、光源として機能する。右ＬＣＤ制御部２１１と右ＬＣＤ２４１とは、表示素子として機能する。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１と、を総称して「画像光生成部」とも呼ぶ。
受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データと、に基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。なお、右投写光学系２５１と右導光板２６１とを総称して「導光部」とも呼ぶ。
左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。左表示駆動部２４は、受信部５４（Ｒｘ５４）と、光源として機能する左バックライト制御部２０２（左ＢＬ制御部２０２）および左バックライト２２２（左ＢＬ２２２）と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２と、を含んでいる。左バックライト制御部２０２と左バックライト２２２とは、光源として機能する。左ＬＣＤ制御部２１２と左ＬＣＤ２４２とは、表示素子として機能する。なお、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部２８としての左導光板２６２は、左投写光学系２５２から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼ＬＥに導く。なお、左投写光学系２５２と左導光板２６２とを総称して「導光部」とも呼ぶ。
図３は、画像光生成部によって画像光が射出される様子を示す説明図である。右ＬＣＤ２４１は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることにより、右バックライト２２１から照射される照明光ＩＬを、画像を表わす有効な画像光ＰＬへと変調する。左側についても同様である。なお、図３のように、本実施形態ではバックライト方式を採用したが、フロントライト方式や、反射方式を用いて画像光を射出する構成としてもよい。
Ａ−２．表示画像制御処理：
図４は、表示画像制御処理の流れを示す説明図である。表示画像制御処理は、画像表示部２０に画像が表示された後に、１０軸センサー６６および方向判定部１６６によって特定された使用者の視線方向の変化角度と、入出力変換部１６９が変換した出力信号と、に応じて画像表示部２０に表示される表示画像が制御される処理である。
表示画像制御処理では、初めに、画像表示部２０が、画像処理部１６０から送信された画像信号に基づいて画像を表示する（ステップＳ１１）。次に、１０軸センサー６６は、画像表示部２０の状態を検出する（ステップＳ１２）。本実施形態では、１０軸センサー６６が画像表示部２０の加速度を検出して、検出された加速度に応じた表示画像の制御が行なわれる。次に、方向判定部１６６は、検出された加速度に基づいて使用者の視線方向を特定する（ステップＳ１３）。次に、方向判定部１６６は、視線方向が変化しているか否かを判定する（ステップＳ１４）。視線方向の変化角度が閾値以上である場合には、視線方向が変化していると判定され（ステップＳ１４：ＹＥＳ）、画像処理部１６０は、画像表示部２０に表示していた表示画像を非表示にする。
図５は、視線方向の変化前後で使用者が視認する視野ＶＲの概略を示す説明図である。図５（Ａ）には、使用者の視線方向が変化する前に使用者が視認する視野ＶＲが示されている。図５（Ａ）に示すように、使用者は、表示画像ＶＩを視認している。表示画像ＶＩには、トラックパッド１４に触れた指に連動して動くポインターＰＯが含まれている。使用者の視線方向ＥＤ１は、水平方向と同じ方向である。図５（Ｂ）には、使用者の視線方向が変化した後に使用者が視認する視野ＶＲが示されている。図５（Ｂ）に示すように、使用者は、水平方向ではなく、視線を下側に落として制御部１０を注視している。この場合に、使用者の視線方向ＥＤ１は、視線方向ＥＤ２へと変化している。視線方向ＥＤ１と視線方向ＥＤ２とがなす角度α１は、予め設定された閾値以上の変化角度であるため、画像処理部１６０は、使用者の視線方向が変化した後では、表示画像ＶＩを非表示にする。
次に、方向判定部１６６は、使用者の視線方向が変化したと判定されてから所定の時間（例えば、５秒間）が経過したか否かを判定する（図４のステップＳ１６）。所定の時間が経過していないと判定された場合には（ステップＳ１６：ＮＯ）、画像処理部１６０は、所定の時間が経過するのを待つ。所定の時間が経過したと判定された場合には（ステップＳ１６：ＹＥＳ）、画像処理部１６０は、再び、表示画像ＶＩを画像表示部２０に表示する（ステップＳ１７）。次に、画像表示部２０に表示画像ＶＩが表示されている場合（ステップＳ１７）、または、ステップＳ１４の処理において視線方向の変化角度が閾値未満であり、視線方向が変化していないと判定された場合には（ステップＳ１４：ＮＯ）、制御部１０は、操作部１３５に対する操作の受付を監視する（ステップＳ１８）。操作の受付が検出されなかった場合には（ステップＳ１８：ＮＯ）、ステップＳ１２以降の処理が繰り返される。使用者の指がトラックパッド１４に触れるといったような操作の受付が検出された場合には（ステップＳ１８：ＹＥＳ）、制御部１０は、操作入力処理を行なう（ステップＳ１９）。
図６は、操作入力処理の流れを示す説明図である。操作入力処理では、初めに、加速度センサー１９が、操作部１３５が形成されている制御部１０に作用する加速度を取得する（ステップＳ３１）。次に、入出力変換部１６９は、取得された加速度と重力方向との関係に基づいて変換角度を特定する（ステップＳ３２）。次に、制御部１０は、操作部１３５のトラックパッド１４に触れている状態で使用者の指の位置が変化するなどの操作（以下、単に「ポインター操作」とも呼ぶ）の受付を監視する（ステップＳ３３）。ポインター操作が受け付けられた場合には（ステップＳ３３：ＹＥＳ）、画像処理部１６０は、受け付けたポインター操作に基づいて、表示画像ＶＩのポインターＰＯの表示位置を変更する（ステップＳ３４）。
図７および図８は、ポインター操作によるポインターＰＯの表示位置の変更についての説明図である。図７には、制御部１０において、トラックパッド１４の中心Ｏ１と決定キー１１の中心Ｏ２とを通る直線Ｌ１と、重力方向ＤＧと、トラックパッド１４上で動かされる使用者の人差し指ＦＦの操作方向ＤＲ１と、が示されている。図７に示すように、重力方向ＤＧと操作方向ＤＲ１とは、同じ方向である。また、図７には、ポインター操作を受け付けた場合の使用者の視野ＶＲが示されている。本実施形態では、初期設定として、トラックパッド１４における直線Ｌ１に沿った中心Ｏ１から中心Ｏ２への基準方向Ｄ０と重力方向ＤＧとが同じ方向の場合に変換角度が０であると設定されている。そのため、操作方向ＤＲ１が基準方向Ｄ０と同じ方向である場合には変換角度が０度であるため、入出力変換部１６９は、操作方向ＤＲ１に沿った人差し指ＦＦの動きを、同じように、操作方向ＤＲ１に沿った動きとして出力する。
図８には、基準方向Ｄ０と重力方向ＤＧとが同じ方向ではなく、制御部１０が重力方向に対して初期設定と比べて傾いている場合に、入出力変換部１６９が補正して出力する例が示されている。図８に示すように、制御部１０が傾いているため、重力方向ＤＧと基準方向Ｄ０とは、角度β１を形成する。なお、角度β１は、６０度である。この場合に、入出力変換部１６９は、重力方向ＤＧを基準として重力方向ＤＧから時計回りを正の角度として、基準方向Ｄ０に沿った操作方向ＤＲ１の人差し指ＦＦの動きを、変換角度である角度β１の分だけ補正する。すなわち、トラックパッド１４に対する操作方向ＤＲ１の相対方向は、基準方向Ｄ０と同じであっても、入出力変換部１６９が変換した後の出力信号は、加速度センサー１９によって取得された重力方向ＤＧによって異なる。ＯＳ１５０および画像処理部１６０は、入出力変換部１６９からの出力信号を受信して、図８の表示画像ＶＩに示すように、ポインターＰＯの表示位置を変更する。
表示画像ＶＩにおけるポインターＰＯの表示位置が変更される（図６のステップＳ３４）、または、ポインター操作が受け付けられなかった場合には（ステップＳ３３：ＮＯ）、制御部１０は、操作部１３５における各種ボタンに対する所定の操作（以下、「ボタン操作」とも呼ぶ）の受付を監視する（ステップＳ３５）。所定のボタン操作が受け付けられた場合には（ステップＳ３５：ＹＥＳ）、制御部１０は、ボタン操作に応じた所定の制御を行なう（ステップＳ３６）。所定の制御が行なわれる（ステップＳ３６）、または、ボタン操作が受け付けられなかった場合には（ステップＳ３５：ＮＯ）、制御部１０は、操作入力処理を終了する操作の受付を監視する（ステップＳ３７）。操作入力処理を終了する操作が受け付けられない場合には（ステップＳ３７：ＮＯ）、制御部１０は、引き続き、ステップＳ３１以降の処理を行なう。操作入力処理を終了する操作が受け付けられた場合には（ステップＳ３７：ＹＥＳ）、制御部１０は、操作入力処理を終了する。
操作入力処理が終了すると（図４のステップＳ１９）、制御部１０は、画像の表示を終了する操作の受付を監視する（ステップＳ２０）。画像の表示を終了する操作が受け付けられない場合には（ステップＳ２０：ＮＯ）、制御部１０は、引き続き、ステップＳ１２以降の処理を行なう。画像の表示を終了する操作が受け付けられた場合には（ステップＳ２０：ＹＥＳ）、制御部１０は、表示画像制御処理を終了する。
以上説明したように、本実施形態における頭部装着型表示装置１００では、加速度センサー１９によって操作部１３５が形成された制御部１０に作用する加速度が取得され、入出力変換部１６９は、制御部１０に作用する重力加速度に基づいて変換角度を特定し、変換角度に基づいて、操作部１３５が受け付けた入力を変換した出力信号をＯＳ１５０へと送信する。また、１０軸センサー６６および方向判定部１６６が使用者の視線方向を特定し、ＯＳ１５０および画像処理部１６０は、視線方向の変化に応じて画像表示部２０に表示される表示画像ＶＩの制御を行なう。そのため、本実施形態における頭部装着型表示装置１００では、複数のセンサーの検出結果のそれぞれに対応して異なる制御が行なわれるため、頭部装着型表示装置１００に対して多様な制御を行なうことができる。
また、本実施形態における頭部装着型表示装置１００では、加速度センサー１９は、操作部１３５が形成されている制御部１０に形成され、制御部１０に作用する重力加速度を取得する。そのため、本実施形態における頭部装着型表示装置１００では、操作部１３５の向きではなく、重力方向の向きを基準とした使用者の入力に対応した頭部装着型表示装置１００の制御が行なわれるため、使用者は操作部１３５の向きにかかわらず重力方向を基準とした入力を行なうことができ、使用者の操作性が向上する。
また、本実施形態における頭部装着型表示装置１００では、画像表示部２０に内蔵された１０軸センサー６６および方向判定部１６６によって特定された使用者の視線方向の変化角度が閾値以上の場合に、画像処理部１６０が画像表示部２０に表示していた表示画像ＶＩを非表示にする。そのため、本実施形態における頭部装着型表示装置１００では、使用者の視線方向に応じて表示画像ＶＩが制御されるため、使用者の状況に応じて、使用者に視認される風景等が異なり、使用者の利便性が向上する。
また、本実施形態における頭部装着型表示装置１００では、加速度センサー１９が０．５秒間に１回、定期的に、操作部１３５が形成された制御部１０に作用する加速度を取得する。そのため、本実施形態における頭部装着型表示装置１００では、常に制御部１０に作用する加速度が取得される必要がなく、制御部１０にかかる負荷を抑制した上で、使用者の利便性を向上させることができる。
また、本実施形態における頭部装着型表示装置１００では、ＯＳ１５０および画像処理部１６０によって画像表示部２０に表示される表示画像ＶＩが制御され、入出力変換部１６９はデバイスドライバーによって構成されている。そのため、本実施形態における頭部装着型表示装置１００では、操作部１３５のみに対応させた加速度センサー１９および入出力変換部１６９が採用されることで、ＣＰＵ１４０の負荷を低減し、ＯＳ１５０等のソフトウェアを変更する必要がなく、頭部装着型表示装置１００の開発期間を短縮できる。
Ｂ．変形例：
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。
Ｂ１．変形例１：
上記実施形態では、画像表示部２０に内蔵された１０軸センサー６６が画像表示部２０の状態を検出し、制御部１０に含まれる加速度センサー１９が制御部１０に作用する加速度を取得したが、各センサーの態様については種々変形可能である。例えば、制御部１０および画像表示部２０とは異なる部分に設置されたカメラによって、制御部１０の向きおよび画像表示部２０の位置の変化が検出されて、当該検出結果に基づいて画像表示部２０の表示画像ＶＩが制御されてもよい。
また、画像表示部２０に内蔵された１０軸センサー６６の代わりに、制御部１０に加速度センサー１９とは別に１０軸センサーが内蔵されてもよい。例えば、トラックパッド１４への入力が加速度センサー１９および入出力変換部１６９によって変換して出力され、制御部１０に内蔵された１０軸センサーが検出した加速度の変化によって、表示画像ＶＩに含まれるアイコンの決定等の操作が行なわれてもよい。この変形例の頭部装着型表示装置１００では、使用者は感覚的に各種操作を行なうことができ、使用者の利便性が向上する。
また、上記実施形態では、画像表示部２０の１０軸センサー６６が検出した変化角度によって、画像表示部２０の表示画像ＶＩの表示と非表示とが切り替えられたが、１０軸センサー６６の検出結果によって制御される頭部装着型表示装置１００の内容については、種々変形可能である。例えば、使用者が下を向いている場合には、表示画像ＶＩが形成される領域の中で上側に表示され、使用者が上を向いている場合には、表示画像ＶＩが当該領域の下側に表示されてもよい。すなわち、１０軸センサー６６によって検出される画像表示部２０の向きによって、表示画像ＶＩが制御されてもよい。また、頭部装着型表示装置１００が制御される内容として、画像表示部２０の表示画像ＶＩの代わりに、音声処理部１７０およびイヤホン３２，３４によって音声が出力されてもよい。また、制御部１０は、画像表示部２０を振動させる制御を行なってもよい。
また、上記実施形態では、変換角度に基づいてポインター操作を変換されてポインターＰＯの表示位置が変更されたが、操作部１３５の向きに基づいて入力が出力へと変換される規則については、これに限られず、種々変形可能である。例えば、加速度センサー１９の代わりにジャイロセンサーが制御部１０に内蔵され、操作部１３５の向きの変化として、制御部１０の角速度が検出され、角速度に基づいて、表示画像ＶＩが制御されてもよい。この場合に、制御部１０自体が１つの操作用スティックとして、左右および上下に振られることで、表示画像ＶＩにおけるポインターＰＯの表示位置が変更される。この変形例では、使用者は、操作部１３５を含む制御部１０全体を１つの操作部として操作できるため、直感的な操作を行ないやすく、使用者の操作性や利便性が向上する。
また、上記実施形態では、操作部１３５の基準方向Ｄ０と重力方向との角度β１に基づいて変換角度が特定されたが、操作部１３５の向きに基づいて特定されるのは変換角度に限られず、種々変形可能である。例えば、操作部１３５のトラックパッド１４に直交する軸と重力加速度の向きとの角度によって、操作部１３５が操作を受付可能な状態と受付不可能な状態とが切り替えられてもよい。具体的には、トラックパッド１４の裏側から表側へと向かう直交軸の向きと重力加速度の向きとがなす角度が９０度以下の場合、すなわち、トラックパッド１４の操作面が重力加速度の向きを向いている場合には、使用者が操作を行なわないと判断されて、入出力変換部１６９は、操作を受け付け不可能な省電力モードに設定してもよい。逆に、直交軸の向きと重力加速度の向きとがなす角度が９０度よりも大きい場合には、使用者が操作を行なう予定であると判断されて、入出力変換部１６９は、操作を受け付け可能な待機モードに設定してもよい。この変形例では、トラックパッド１４の操作面が重力加速度の向きを向いている場合に、入力を受け付ける待機モードにならなくてもよいので、頭部装着型表示装置１００における電力の消費を抑制できる。なお、この変形例では、直交軸と重力加速度の向きとがなす角度として、９０度といった角度を例に挙げて説明したが、角度については、これに限られず、種々変形可能である。操作部１３５が操作されることで、角度が任意に設定されてもよい。この変形例における直交軸の向きと重力加速度の向きとがなす角度が９０度以下の状態は、請求項における第１の状態に相当し、当該角度が９０度よりも大きい状態は、請求項における第２の状態に相当する。
また、操作部１３５の向きによって入力を出力へと変換する規則は、所定の操作を受け付けることによって任意に変更されてもよい。例えば、操作部１３５の向きによって特定される変換角度に基づく変換と、直交軸の向きと重力加速度の向きとがなす角度に基づく状態の設定と、が操作部１３５によって受け付けられた操作に基づいて変更されてもよい。また、画像表示部２０に形成された赤外線発光部が発光した赤外線が、トラックパッド１４の近くに形成された赤外線受光部に受光されることで、直交軸の向きと重力加速度の向きが同じ場合でも、操作部１３５が操作を受付可能な状態に設定されてもよい。この場合には、例えば、使用者が寝転んだ状態でも頭部装着型表示装置１００を操作でき、使用者の操作性および利便性が向上する。なお、この変形例における赤外線発光部および赤外線受光部に代えて、画像表示部２０に形成されたカメラによって制御部１０が撮像されることで、同様の状態に設定されてもよい。なお、画像表示部２０と操作部１３５の向きとの位置関係に応じて、入力を出力へと変換する規則が変更される設定については、種々変形可能である。この変形例における赤外線発光部が発光する赤外線が赤外線受光部に受光された状態は、請求項における第１の状態に相当し、当該赤外線が赤外線受光部に受光されていない状態は、請求項における第２の状態に相当する。
Ｂ２．変形例２：
上記実施形態では、入出力変換部１６９は、基準方向Ｄ０と重力方向ＤＧとがなす変換角度の角度β１の分だけ出力を補正したが、補正する変換角度については種々変形可能である。例えば、入出力変換部１６９は、基準方向Ｄ０と重力方向ＤＧとのなす角度β１によって、４通りの変換角度に基づいて出力を補正してもよい。角度β１が０度以上４５度以下または３１５度以上３６０度未満の場合には、入出力変換部１６９は、基準方向Ｄ０と重力方向ＤＧとが同じ方向とみなして、変換角度を０に設定する。同じように、入出力変換部１６９は、角度β１が４５度よりも大きく１３５度以下の場合には、変換角度を９０度に設定し、角度β１が１３５度よりも大きく２２５度未満の場合には、変換角度を１８０度に設定し、角度β１が２２５度以上３１５度未満の場合には、変換角度を２７０度に設定してもよい。この変形例では、変換角度が４通りしかないため、トラックパッド１４が受け付けた入力を出力へと補正するのが簡便であり、システムの付加を低減でき、また、加速度センサー１９が制御部１０に作用する加速度を取得する頻度を少なくできる。また、トラックパッド１４が受け付けた入力と共に、変換角度に基づいて、方向キー１６が受け付けた入力を出力へと補正してもよい。この変形例では、入出力変換部１６９は、角度β１を４つの範囲に分け、角度β１に応じて、トラックパッド１４が受け付けた入力を出力へと補正する。
また、上記実施形態では、基準方向Ｄ０と重力方向ＤＧとが異なる場合に、角度β１の分だけ出力が補正されたが、基準方向Ｄ０と重力方向ＤＧとが異なっている場合でも、出力の補正が行なわれなくてもよい。例えば、操作部１３５のメニューキー１７等が所定の時間以上押下される（以下、「長押し」とも呼ぶ）ことで、長押しされ始めた時点での変換角度が継続されてもよい。この変形例では、例えば、使用者が座っている状態から横たわった状態に変化して、横たわった状態で操作部１３５が操作される場合でも、使用者に対する操作部１３５の操作を受け付ける相対方向が変化しないため、使用者の利便性が向上する。
Ｂ３．変形例３：
上記実施形態では、入出力変換部１６９は、ＯＳ１５０へと出力信号を送信するデバイスドライバーであるとしたが、入出力変換部１６９の構成は、種々変形可能である。例えば、入出力変換部１６９は、システムの階層構造において、デバイスドライバーとＯＳ１５０との間に構成され、ハードウェアとソフトウェアの間に入るミドルウェア（例えば、ＨＡＬ（Hardware Abstraction Layer））に構成されてもよい。なお、請求項におけるオペレーティングシステムとは、操作部１３５が受け付けた入力や表示画像ＶＩを表示するといった入出力機能やディスクやメモリーの管理など、多くのアプリケーションソフトから共通して利用される基本的な機能を提供し、コンピュータシステム全体を管理するソフトウェアのことをいう。また、請求項におけるデバイスドライバーとは、コンピューター内部に装着された装置や、外部に接続した機器を制御または操作するためのソフトウェアのことをいう。また、請求項におけるミドルウェアとは、ＯＳ１５０上で動作し、アプリケーションソフトに対してＯＳ１５０よりも高度で具体的な機能を提供するソフトウェアのことをいう。
また、上記実施形態では、操作部を備える情報処理装置として、頭部装着型表示装置１００を例に挙げて説明したが、必ずしも頭部装着型表示装置である必要はなく、情報処理装置の態様としては種々変形可能である。例えば、情報処理装置は、画像表示部２０の代わりに、モニターのように配置されたディスプレイに画像を表示させる装置を含む装置であってもよい。
Ｂ４．変形例４：
上記実施形態では、制御部１０に操作部１３５が形成されたが、操作部１３５の態様については種々変形可能である。例えば、制御部１０とは別体で操作部１３５であるユーザーインターフェースがある態様でもよい。この場合に、操作部１３５は、電源１３０等が形成された制御部１０とは別体であるため、小型化でき、使用者の操作性が向上する。
例えば、画像光生成部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、例えば、画像生成部は、ＬＣＤに代えて、ＬＣＯＳ（Liquid crystal on silicon, LCoS は登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型の頭部装着型表示装置１００に対して本発明を適用することも可能である。
また、例えば、頭部装着型表示装置１００は、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のヘッドマウントディスプレイとしてもよい。また、頭部装着型表示装置１００は、いわゆる単眼タイプのヘッドマウントディスプレイであるとしてもよい。また、頭部装着型表示装置１００は、両眼タイプの光学透過型であるとしているが、本発明は、例えば、ビデオ透過型といった他の形式の頭部装着型表示装置にも同様に適用可能である。
また、イヤホンは耳掛け型やヘッドバンド型が採用されてもよく、省略してもよい。また、例えば、自動車や飛行機等の車両に搭載される頭部装着型表示装置として構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵された頭部装着型表示装置として構成されてもよい。
Ｂ５．変形例５：
上記実施形態における頭部装着型表示装置１００の構成は、あくまで一例であり、種々変形可能である。例えば、制御部１０に設けられた方向キー１６やトラックパッド１４の一方を省略したり、方向キー１６やトラックパッド１４に加えてまたは方向キー１６やトラックパッド１４に代えて操作用スティック等の他の操作用インターフェイスを設けたりしてもよい。また、制御部１０は、キーボードやマウス等の入力デバイスを接続可能な構成であり、キーボードやマウスから入力を受け付けるものとしてもよい。
また、画像表示部として、眼鏡のように装着する画像表示部２０に代えて、例えば帽子のように装着する画像表示部といった他の方式の画像表示部を採用してもよい。また、イヤホン３２，３４や外景撮像カメラ６１は、適宜省略可能である。また、上記実施形態では、画像光を生成する構成として、ＬＣＤと光源とを利用しているが、これらに代えて、有機ＥＬディスプレイといった他の表示素子を採用してもよい。また、上記実施形態では、使用者の頭の動きを検出するセンサーとして１０軸センサー６６を利用しているが、これに代えて、加速度センサー、角速度センサー、地磁気センサー、および、気圧センサーのうちの１つまたは２つから構成されたセンサーを利用するとしてもよい。
図９は、変形例における頭部装着型表示装置の外観構成を示す説明図である。図９（Ａ）の例の場合、図１に示した頭部装着型表示装置１００との違いは、画像表示部２０ａが、右光学像表示部２６に代えて右光学像表示部２６ａを備える点と、左光学像表示部２８に代えて左光学像表示部２８ａを備える点とである。右光学像表示部２６ａは、上記実施形態の光学部材よりも小さく形成され、頭部装着型表示装置１００ａの装着時における使用者の右眼の斜め上に配置されている。同様に、左光学像表示部２８ｂは、上記実施形態の光学部材よりも小さく形成され、頭部装着型表示装置１００ａの装着時における使用者の左眼の斜め上に配置されている。図９（Ｂ）の例の場合、図１に示した頭部装着型表示装置１００との違いは、画像表示部２０ｂが、右光学像表示部２６に代えて右光学像表示部２６ｂを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｂを備える点とである。右光学像表示部２６ｂは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼の斜め下に配置されている。左光学像表示部２８ｂは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の左眼の斜め下に配置されている。このように、光学像表示部は使用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様の頭部装着型表示装置１００として実現できる。
また、上記実施形態において、頭部装着型表示装置１００は、使用者の左右の眼に同じ画像を表わす画像光を導いて使用者に二次元画像を視認させるとしてもよいし、使用者の左右の眼に異なる画像を表わす画像光を導いて使用者に三次元画像を視認させるとしてもよい。
また、上記実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、上記実施形態では、画像処理部１６０や音声処理部１７０は、ＣＰＵ１４０がコンピュータープログラムを読み出して実行することにより実現されるとしているが、これらの機能部はハードウェア回路により実現されるとしてもよい。
また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータープログラム）は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。
また、上記実施形態では、図１および図２に示すように、制御部１０と画像表示部２０とが別々の構成として形成されているが、制御部１０と画像表示部２０との構成については、これに限られず、種々変形可能である。例えば、画像表示部２０の内部に、制御部１０に形成された構成の全てが形成されてもよいし、一部が形成されてもよい。また、上記実施形態における電源１３０が単独で形成されて、交換可能な構成であってもよいし、制御部１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、図２に示すＣＰＵ１４０が制御部１０と画像表示部２０との両方に形成されていてもよいし、制御部１０に形成されたＣＰＵ１４０と画像表示部２０に形成されたＣＰＵとが行なう機能が別々に分けられている構成としてもよい。
また、制御部１０がＰＣに内蔵されて、ＰＣのモニターに代えて画像表示部２０が使用される態様であってもよいし、制御部１０と画像表示部２０とが一体化して、使用者の衣服に取り付けられるウェアラブルコンピューターの態様であってもよい。
本発明は、上記実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行なうことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
１０…制御部（操作部）
１１…決定キー
１２…点灯部
１３…表示切替キー
１４…トラックパッド
１５…輝度切替キー
１６…方向キー
１７…メニューキー
１８…電源スイッチ
１９…加速度センサー（第１の検出部）
２０…画像表示部（画像表示部）
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３０…イヤホンプラグ
３２…右イヤホン
３４…左イヤホン
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１，５２…送信部
５３，５４…受信部
６１…外景撮像カメラ
６６…１０軸センサー（第２の検出部）
１００…頭部装着型表示装置（情報処理装置）
１２０…記憶部
１３０…電源
１３５…操作部（操作部）
１４０…ＣＰＵ
１５０…オペレーティングシステム（制御処理部）
１６０…画像処理部（制御処理部）
１６６…方向判定部（第２の検出部）
１６９…入出力変換部（第１の検出部、入出力変換部）
１７０…音声処理部
１８０…インターフェイス
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２１１…右ＬＣＤ制御部
２１２…左ＬＣＤ制御部
２２１…右バックライト
２２２…左バックライト
２４１…右ＬＣＤ
２４２…左ＬＣＤ
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
ＶＳｙｎｃ…垂直同期信号
ＨＳｙｎｃ…水平同期信号
ＰＣＬＫ…クロック信号
Ｏ１…トラックパッドの中心
Ｏ２…決定キーの中心
Ｌ１…直線
ＶＲ…視野
ＶＩ…表示画像（画像光）
ＩＬ…照明光
ＰＬ…画像光
ＦＦ…人差し指
ＰＯ…ポインター
Ｄ０…基準方向
ＤＧ…重力方向
ＥＤ１，ＥＤ２…視線方向
ＤＲ１…操作方向
α１，β１…角度
ＡＰ…先端部
ＲＥ…右眼
ＬＥ…左眼
ＥＬ，ＥＲ…端部

Claims (10)

  1. 情報処理装置であって、
    操作を受け付ける操作部と、
    前記操作部の向きを検出する第１の検出部と、
    前記操作部の向きと、前記操作部が受け付けた操作における入力の向きと、に基づいて、前記操作部が受け付けた操作における入力を出力に変換する入出力変換部と、
    前記情報処理装置の位置と向きとの少なくとも一方である装置状態を検出する第２の検出部と、
    前記入出力変換部からの前記出力と前記装置状態とに基づいて、前記情報処理装置の制御処理を行なう制御処理部と、を備える、情報処理装置。
  2. 請求項１に記載の情報処理装置であって、
    前記第１の検出部は、前記操作部に配置され、前記操作部の加速度を用いて前記操作部の向きを検出する、情報処理装置。
  3. 請求項２に記載の情報処理装置であって、
    前記操作部の向きは、重力方向に基づいて決定される、情報処理装置。
  4. 請求項３に記載の情報処理装置であって、
    前記操作部は、
    前記操作部の向きと前記重力方向とによって形成される操作角度が４５度以下の状態である第１の状態と、
    前記操作角度が４５度よりも大きい状態である第２の状態と、を取り得、
    前記入出力変換部は、前記操作部の向きが第１の状態の場合には、第１の規則に基づいて出力に変換し、前記操作部の向きが前記第１の状態とは異なる第２の状態の場合には、前記第１の規則とは異なる第２の規則に基づいて前記出力に変換する、情報処理装置。
  5. 請求項４に記載の情報処理装置であって、
    前記第２の状態は、前記操作角度が４５度よりも大きく１３５度以下である第３の状態と、前記操作角度が１３５度よりも大きい第４の状態と、を含み、
    前記入出力変換部は、前記操作部が受け付ける操作の入力を、前記第３の状態の場合には、前記第１の規則と異なる第３の規則に基づいて前記出力に変換し、前記第４の状態の場合には、前記第１の規則と前記第３の規則とも異なる第４の規則に基づいて前記出力に変換する、情報処理装置。
  6. 請求項１から請求項５までのいずれか一項に記載の情報処理装置であって、さらに、
    使用者の頭部に装着された状態において、画像データに基づいて画像光を形成し、前記画像光を虚像として使用者に視認させる画像表示部を備え、
    前記装置状態は、前記操作部または前記画像表示部の位置と向きとの少なくとも一方であり、
    前記制御処理部は、前記制御処理として、前記画像表示部によって形成される前記画像光を制御する、情報処理装置。
  7. 請求項６に記載の情報処理装置であって、
    前記第２の検出部は、前記画像表示部に配置され、前記画像表示部の位置と向きとの少なくとも一方を検出し、
    前記制御処理部は、前記制御処理として、前記画像表示部に形成される前記画像光の位置を設定する、情報処理装置。
  8. 請求項１から請求項７までのいずれか一項に記載の情報処理装置であって、
    前記第１の検出部は、前記操作部の向きを、０．５秒間に１回よりも少ない頻度で検出する、情報処理装置。
  9. 請求項１から請求項８までのいずれか一項に記載の情報処理装置であって、
    前記制御処理部は、オペレーティングシステムを含み、
    前記入出力変換部は、デバイスドライバーまたはミドルウェアである、情報処理装置。
  10. 操作を受け付ける操作部と、前記操作部の向きを検出する第１の検出部と、情報処理装置の位置と向きとの少なくとも一方である装置状態を検出する第２の検出部と、を備える、情報処理装置の制御方法であって、
    前記操作部の向きと、前記操作部が受け付ける操作における入力の向きとに基づいて、前記操作部が受け付けた操作における入力を出力に変換する入出力工程と、
    前記入出力工程において変換された前記出力と前記装置状態とに基づいて、前記情報処理装置の制御処理を行なう工程と、を備える、制御方法。
JP2013257675A 2013-12-13 2013-12-13 情報処理装置および情報処理装置の制御方法 Active JP6318596B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013257675A JP6318596B2 (ja) 2013-12-13 2013-12-13 情報処理装置および情報処理装置の制御方法
US14/555,943 US9383581B2 (en) 2013-12-13 2014-11-28 Information processing apparatus and control method of information processing apparatus
US15/171,689 US9898097B2 (en) 2013-12-13 2016-06-02 Information processing apparatus and control method of information processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013257675A JP6318596B2 (ja) 2013-12-13 2013-12-13 情報処理装置および情報処理装置の制御方法

Publications (3)

Publication Number Publication Date
JP2015115849A JP2015115849A (ja) 2015-06-22
JP2015115849A5 JP2015115849A5 (ja) 2016-12-08
JP6318596B2 true JP6318596B2 (ja) 2018-05-09

Family

ID=53368214

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013257675A Active JP6318596B2 (ja) 2013-12-13 2013-12-13 情報処理装置および情報処理装置の制御方法

Country Status (2)

Country Link
US (2) US9383581B2 (ja)
JP (1) JP6318596B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106104361B (zh) * 2014-02-18 2019-06-07 摩致实验室有限公司 与移动计算装置一起使用的头戴式显示器眼罩
JP6241426B2 (ja) * 2015-01-26 2017-12-06 コニカミノルタ株式会社 画像形成システム、画像形成装置、遠隔制御方法および遠隔制御プログラム
US10380966B2 (en) * 2015-08-31 2019-08-13 International Business Machines Corporation Power and processor management for a personal imaging system
CN107250950A (zh) * 2015-12-30 2017-10-13 深圳市柔宇科技有限公司 头戴式显示设备、头戴式显示系统及输入方法
CN106990899B (zh) * 2017-04-06 2020-10-20 Oppo广东移动通信有限公司 锁屏图片呈现方法及移动终端
JP6580624B2 (ja) * 2017-05-11 2019-09-25 株式会社コロプラ 仮想空間を提供するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
JP2018081697A (ja) * 2017-11-27 2018-05-24 株式会社東芝 システム及びウェアラブル端末
JP7044687B2 (ja) * 2018-11-09 2022-03-30 トヨタ自動車株式会社 車両の電源装置
KR20200113601A (ko) * 2019-03-26 2020-10-07 삼성전자주식회사 입력 장치 및 입력 장치와 상호 작용하는 전자 장치
US11204649B2 (en) * 2020-01-30 2021-12-21 SA Photonics, Inc. Head-mounted display with user-operated control

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2949176B2 (ja) 1992-04-30 1999-09-13 株式会社セガ・エンタープライゼス シューティングライドゲーム機
JPH07271546A (ja) * 1994-03-31 1995-10-20 Olympus Optical Co Ltd 画像表示制御方法
JP3052286B2 (ja) * 1997-08-28 2000-06-12 防衛庁技術研究本部長 飛行システムおよび航空機用擬似視界形成装置
US6972734B1 (en) * 1999-06-11 2005-12-06 Canon Kabushiki Kaisha Mixed reality apparatus and mixed reality presentation method
US20050156817A1 (en) * 2002-08-30 2005-07-21 Olympus Corporation Head-mounted display system and method for processing images
US7774075B2 (en) * 2002-11-06 2010-08-10 Lin Julius J Y Audio-visual three-dimensional input/output
JP4533087B2 (ja) * 2004-10-28 2010-08-25 キヤノン株式会社 画像処理方法、画像処理装置
KR100792290B1 (ko) * 2006-06-08 2008-01-07 삼성전자주식회사 지자기센서 및 가속도센서를 구비한 입력 장치, 입력장치의 모션에 따라 커서를 표시하는 디스플레이 장치,이를 이용한 커서 표시 방법
US20100259471A1 (en) * 2007-11-16 2010-10-14 Nikon Corporation Control device, head-mount display device, program, and control method
JP4725595B2 (ja) * 2008-04-24 2011-07-13 ソニー株式会社 映像処理装置、映像処理方法、プログラム及び記録媒体
JP5315857B2 (ja) * 2008-08-22 2013-10-16 ソニー株式会社 入力装置、制御システム及び制御方法
JP2010157106A (ja) * 2008-12-26 2010-07-15 Sony Corp 入力装置、制御装置、ハンドヘルド装置、制御システム及び制御方法
US7873849B2 (en) * 2009-09-02 2011-01-18 Apple Inc. Motion sensor data processing using various power management modes
JP2011082781A (ja) 2009-10-07 2011-04-21 Nikon Corp ヘッドマウントディスプレイ装置
US9292084B2 (en) * 2009-10-13 2016-03-22 Intel Corporation Control systems and methods for head-mounted information systems
JP2011228761A (ja) * 2010-04-15 2011-11-10 Renesas Electronics Corp リモコン装置
JP5533409B2 (ja) * 2010-08-04 2014-06-25 カシオ計算機株式会社 表示制御装置、及び、プログラム
US9081416B2 (en) * 2011-03-24 2015-07-14 Seiko Epson Corporation Device, head mounted display, control method of device and control method of head mounted display
US9217867B2 (en) * 2011-03-24 2015-12-22 Seiko Epson Corporation Head-mounted display device and control method for the head-mounted display device
US20120249416A1 (en) * 2011-03-29 2012-10-04 Giuliano Maciocci Modular mobile connected pico projectors for a local multi-user collaboration
JP5990958B2 (ja) * 2012-03-22 2016-09-14 セイコーエプソン株式会社 頭部装着型表示装置
US9916004B2 (en) * 2012-08-28 2018-03-13 Sony Mobile Communications Inc. Display device
JP2014049934A (ja) * 2012-08-31 2014-03-17 Sony Corp ヘッドマウントディスプレイ
WO2014188797A1 (ja) * 2013-05-21 2014-11-27 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
US9261700B2 (en) * 2013-11-20 2016-02-16 Google Inc. Systems and methods for performing multi-touch operations on a head-mountable device

Also Published As

Publication number Publication date
US20150168726A1 (en) 2015-06-18
US20160274680A1 (en) 2016-09-22
JP2015115849A (ja) 2015-06-22
US9383581B2 (en) 2016-07-05
US9898097B2 (en) 2018-02-20

Similar Documents

Publication Publication Date Title
JP6318596B2 (ja) 情報処理装置および情報処理装置の制御方法
US9921646B2 (en) Head-mounted display device and method of controlling head-mounted display device
JP6337433B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP5884576B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP5958689B2 (ja) 頭部装着型表示装置
JP6264871B2 (ja) 情報処理装置および情報処理装置の制御方法
JP6094305B2 (ja) 頭部装着型表示装置、および、頭部装着型表示装置の制御方法
JP6459380B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP2012203128A (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6488786B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP2015115848A (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6303274B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6427942B2 (ja) 頭部装着型表示装置、制御システム、および、頭部装着型表示装置の制御方法
JP5990958B2 (ja) 頭部装着型表示装置
JP6252002B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6136162B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6273677B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6304415B2 (ja) 頭部装着型表示装置、および、頭部装着型表示装置の制御方法
JP6669183B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2015212828A (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2017191424A (ja) 頭部装着型表示装置
JP2016146632A (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2013201636A (ja) 電子機器

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160530

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161020

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161020

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170801

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170925

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180306

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180319

R150 Certificate of patent or registration of utility model

Ref document number: 6318596

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150