JP2014165893A - Head mounted display device and method for controlling head mounted display device - Google Patents
Head mounted display device and method for controlling head mounted display device Download PDFInfo
- Publication number
- JP2014165893A JP2014165893A JP2013038161A JP2013038161A JP2014165893A JP 2014165893 A JP2014165893 A JP 2014165893A JP 2013038161 A JP2013038161 A JP 2013038161A JP 2013038161 A JP2013038161 A JP 2013038161A JP 2014165893 A JP2014165893 A JP 2014165893A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- head
- display device
- mounted display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 12
- 238000012937 correction Methods 0.000 claims description 37
- 230000000007 visual effect Effects 0.000 claims description 34
- 238000003384 imaging method Methods 0.000 claims description 24
- 230000002093 peripheral effect Effects 0.000 claims description 10
- 239000003086 colorant Substances 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 63
- 230000003287 optical effect Effects 0.000 description 39
- 230000004048 modification Effects 0.000 description 23
- 238000012986 modification Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 13
- 238000003860 storage Methods 0.000 description 9
- 210000003128 head Anatomy 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 239000002131 composite material Substances 0.000 description 6
- 101150013335 img1 gene Proteins 0.000 description 6
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000003825 pressing Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 101150071665 img2 gene Proteins 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 238000002834 transmittance Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000004270 retinal projection Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Abstract
Description
本発明は、頭部装着型表示装置に関する。 The present invention relates to a head-mounted display device.
頭部に装着する表示装置である頭部装着型表示装置(ヘッドマウントディスプレイ(Head Mounted Display)、HMD)が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイおよび光源を利用して画像を表わす画像光を生成し、生成された画像光を投写光学系や導光板を利用して使用者の眼に導くことにより、使用者に虚像を視認させる。頭部装着型表示装置には、使用者が虚像に加えて外景も視認可能な透過型と、使用者が外景を視認できない非透過型と、の2つのタイプがある。透過型の頭部装着型表示装置には、光学透過型とビデオ透過型とがある。 A head-mounted display device (Head Mounted Display, HMD) that is a display device mounted on the head is known. The head-mounted display device, for example, generates image light representing an image using a liquid crystal display and a light source, and guides the generated image light to a user's eye using a projection optical system or a light guide plate This causes the user to visually recognize the virtual image. There are two types of head-mounted display devices: a transmission type in which the user can visually recognize the outside scene in addition to a virtual image, and a non-transmission type in which the user cannot visually recognize the outside scene. The transmissive head-mounted display device includes an optical transmissive type and a video transmissive type.
例えば、特許文献1に記載された頭部装着型表示装置では、供給された原画像を表わす画像光を使用者の眼に導く場合に、使用者が透過して視認する外景を撮像して、撮像した外景の輝度を調整した補正画像が生成され、生成された補正画像と原画像とを合成することで、原画像を外景に紛れさせずに使用者に視認させる技術について開示されている。
For example, in the head-mounted display device described in
しかし、特許文献1に記載された技術では、撮像した外景に基づいて補正画像を生成して、補正画像と原画像とを合成する画像処理は重く、リアルタイムで補正画像と原画像とを合成した画像を使用者に視認させるのには困難な場合があった。また、補正画像は、撮像した外景の輝度を調整しているため、原画像の色と使用者が視認する色が異なる場合があった。そのほか、従来の頭部装着型表示装置では、その小型化、低コスト化、使い勝手の向上等が望まれていた。
However, in the technique described in
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。 SUMMARY An advantage of some aspects of the invention is to solve at least a part of the problems described above, and the invention can be implemented as the following forms.
(1)本発明の一形態によれば、透過型の頭部装着型表示装置が提供される。この頭部装着型表示装置は、使用者の頭部に装着された状態において、表示用画像データに基づいて画像光を生成して前記画像光を使用者に視認させる共に、外景を透過させる画像表示部と;外景を撮像して、外景画像を表わす外景画像データを生成する撮像部と;使用者の視野角の特性に基づいて前記表示用画像データの内の少なくとも一部のデータを選択し、前記外景画像データに基づいて選択したデータを補正する画像データ補正部と、を備える。この頭部装着型表示装置によれば、外景における色や輝度に関係なく、表示用画像データを表わす画像を使用者に視認させることができる。また、画像データ補正部は、迅速に画像表示領域に対応する部分のデータを補正し、リアルタイムで表示用画像データを表わす画像を使用者に視認させることができる。 (1) According to one aspect of the present invention, a transmissive head-mounted display device is provided. This head-mounted display device generates an image light based on display image data and allows the user to visually recognize the image light while being mounted on the user's head, and allows an image to pass through the outside scene. A display unit; an imaging unit that images an outside scene and generates outside scene image data representing the outside scene image; and at least a part of the display image data is selected based on characteristics of a viewing angle of a user An image data correction unit for correcting data selected based on the outside scene image data. According to the head-mounted display device, an image representing display image data can be visually recognized by a user regardless of the color and brightness in the outside scene. In addition, the image data correction unit can quickly correct the data corresponding to the image display area and allow the user to visually recognize an image representing the display image data in real time.
(2)上記形態の頭部装着型表示装置において、前記画像データ補正部が選択したデータは、前記画像表示部が前記画像光を生成する領域である画像表示領域に対応する部分のデータであってもよい。この形態の頭部装着型表示装置によれば、外景における色や輝度に関係なく、表示用画像データを表わす画像を使用者に視認させることができる。また、画像データ補正部は、不要な領域のデータを補正しなくてもよいため、迅速に画像表示領域に対応する部分のデータを補正し、リアルタイムで表示用画像データを表わす画像を使用者に視認させることができる。 (2) In the head-mounted display device of the above aspect, the data selected by the image data correction unit is data of a portion corresponding to an image display region that is a region where the image display unit generates the image light. May be. According to this form of the head-mounted display device, the user can visually recognize an image representing the display image data regardless of the color or brightness in the outside scene. Further, since the image data correction unit does not need to correct the data in the unnecessary area, the image data correction unit quickly corrects the data corresponding to the image display area, and provides the user with an image representing the display image data in real time. It can be visually recognized.
(3)上記形態の頭部装着型表示装置において、前記画像データ補正部は、前記画像表示領域、かつ、前記画像表示部が画像光を生成可能な領域である画像生成可能領域における周辺部分に対応する部分のデータを補正しなくてもよい。この形態の頭部装着型表示装置によれば、画像生成可能領域の周辺部では、データを補正しないので、不要な画像処理を行なわないで、より迅速に表示用画像データを生成できる。また、画像生成可能領域の中心部ではデータが補正された表示用画像データを表わす画像を使用者に視認させるため、使用者の満足度が向上する。 (3) In the head-mounted display device of the above aspect, the image data correction unit is arranged in a peripheral portion of the image display area and an image generation possible area that is an area where the image display section can generate image light. It is not necessary to correct the data of the corresponding part. According to the head-mounted display device of this aspect, since the data is not corrected in the peripheral portion of the image generation possible region, display image data can be generated more quickly without performing unnecessary image processing. In addition, since the user visually recognizes the image representing the display image data whose data has been corrected at the center of the image generation possible region, the satisfaction of the user is improved.
(4)上記形態の頭部装着型表示装置において、前記撮像部は、想定される使用者の視線方向である想定視線方向を含む外景を撮像し;前記画像データ補正部は、前記撮像部の画角が、水平方向において前記想定視線方向から左右のそれぞれに対して100度以内、かつ、垂直方向において前記想定視線方向から上に対して50度以内および下に対して75度以内の第1の領域を越える場合には、前記第1の領域を越える領域に対応する部分のデータを補正しなくてもよい。この形態の頭部装着型表示装置によれば、最も広い安定注視点視野の範囲で、データが補正されるため、使用者の視認性が向上する。 (4) In the head-mounted display device according to the above aspect, the imaging unit captures an outside scene including an assumed gaze direction that is an assumed user's gaze direction; and the image data correction unit includes: The first angle of view is within 100 degrees with respect to each of the left and right sides of the assumed line-of-sight direction in the horizontal direction, and within 50 degrees with respect to the upper side and 75 degrees with respect to the lower side in the vertical direction. If the area exceeds the first area, the data corresponding to the area exceeding the first area need not be corrected. According to the head-mounted display device of this form, the data is corrected in the range of the widest stable gazing point visual field, so that the visibility of the user is improved.
(5)上記形態の頭部装着型表示装置において、前記画像データ補正部は、前記撮像部の画角が、水平方向において前記想定視線方向から左右のそれぞれに対して45度以内、かつ、垂直方向において前記想定視線方向から上下のそれぞれに対して35度以内の第2の領域を越える場合には、前記第2の領域を越える領域に対応する部分のデータを補正しなくてもよい。この形態の頭部装着型表示装置によれば、最も狭い安定注視点視野の範囲で、データを補正しているため、使用者の視認性を維持した上で、不要な画像処理が行なわれず、より迅速にデータを補正できる。 (5) In the head-mounted display device according to the above aspect, the image data correction unit is configured such that the angle of view of the imaging unit is within 45 degrees with respect to each of the left and right sides from the assumed line-of-sight direction in the horizontal direction. When the direction exceeds the second region within 35 degrees with respect to the upper and lower directions from the assumed visual line direction, the data corresponding to the region exceeding the second region need not be corrected. According to the head-mounted display device of this embodiment, since the data is corrected in the range of the narrowest stable gazing point visual field, unnecessary image processing is not performed while maintaining the visibility of the user, Data can be corrected more quickly.
(6)上記形態の頭部装着型表示装置において、前記画像データ補正部は、前記撮像部の画角が、水平方向において前記想定視線方向から左右のそれぞれに対して30度以内、かつ、垂直方向において前記想定視線方向から上下のそれぞれに対して23度以内の第3の領域を越える場合には、前記第3の領域を越える領域に対応する部分のデータを補正しなくてもよい。この形態の頭部装着型表示装置によれば、情報受容能力に優れる有効視野では、画像表示領域に対応する部分のデータが補正され、それ以外の視野範囲では、データが補正されないので、不要な画像処理が行なわれず、より迅速に補正を行なうことができる。 (6) In the head-mounted display device of the above aspect, the image data correction unit is configured such that the angle of view of the imaging unit is within 30 degrees with respect to each of the left and right from the assumed line-of-sight direction in the horizontal direction, and When the third region within 23 degrees with respect to the upper and lower directions from the assumed visual line direction in the direction is exceeded, the data corresponding to the region exceeding the third region may not be corrected. According to the head-mounted display device of this embodiment, the data corresponding to the image display area is corrected in the effective visual field having excellent information receiving ability, and the data is not corrected in the other visual field range. Image processing is not performed, and correction can be performed more quickly.
(7)上記形態の頭部装着型表示装置において、前記撮像部は、想定される使用者の視線方向である想定視線方向を含むと共に、前記撮像部の画角が、水平方向において前記想定視線方向から左右のそれぞれに対して15度以内、かつ、垂直方向において前記想定視線方向から上下のそれぞれに対して10度以内の第4の領域を含む外景を撮像し;前記画像データ補正部は、前記第4の領域、かつ、前記画像表示領域における周辺部分に対応する部分のデータを補正してもよい。この形態の頭部装着型表示装置によれば、使用者は、最大画像表示領域に表示される画像を視認しやすく、利便性が向上する。 (7) In the head-mounted display device according to the above aspect, the imaging unit includes an assumed gaze direction that is an assumed user's gaze direction, and the angle of view of the imaging unit is the assumed gaze in a horizontal direction. Capturing an outside scene including a fourth region within 15 degrees with respect to each of the left and right directions and within 10 degrees with respect to each of the vertical directions in the vertical direction; Data of a portion corresponding to a peripheral portion in the fourth area and the image display area may be corrected. According to this form of the head-mounted display device, the user can easily view the image displayed in the maximum image display area, and convenience is improved.
(8)上記形態の頭部装着型表示装置において、前記画像データ補正部は、前記外景画像データを複数の領域に分け、前記複数の領域における各データの色を表わす指標値が所定の閾値以内である場合に、前記複数の領域における各データの前記指標値を同一の前記指標値として置き換えてもよい。この形態の頭部装着型表示装置によれば、画像処理の負担を抑制した上で、外景画像の影響を少なくした画像を使用者に視認させることができる。 (8) In the head-mounted display device according to the above aspect, the image data correction unit divides the outside scene image data into a plurality of regions, and an index value representing a color of each data in the plurality of regions is within a predetermined threshold value. In this case, the index value of each data in the plurality of areas may be replaced with the same index value. According to the head-mounted display device of this aspect, it is possible to make the user visually recognize an image with less influence of the outside scene image while suppressing the burden of image processing.
(9)上記形態の頭部装着型表示装置において、前記画像データ補正部は、供給された原画像データおよび前記外景画像データに基づいて補正画像データを生成し;前記画像表示部は、前記表示用画像データとしての前記補正画像データに基づいて画像光を生成してもよい。この形態の頭部装着型表示装置によれば、使用者に、原画像データを表わす画像とほぼ同じ画像を視認させることができる。 (9) In the head mounted display device of the above aspect, the image data correction unit generates corrected image data based on the supplied original image data and the outside scene image data; and the image display unit Image light may be generated based on the corrected image data as the image data for use. According to the head-mounted display device of this form, the user can visually recognize an image that is substantially the same as the image representing the original image data.
上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行なうことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。 A plurality of constituent elements of each embodiment of the present invention described above are not essential, and some or all of the effects described in the present specification are to be solved to solve part or all of the above-described problems. In order to achieve the above, it is possible to appropriately change, delete, replace with another new component, and partially delete the limited contents of some of the plurality of components. In order to solve some or all of the above-described problems or achieve some or all of the effects described in this specification, technical features included in one embodiment of the present invention described above. A part or all of the technical features included in the other aspects of the present invention described above may be combined to form an independent form of the present invention.
例えば、本発明の一形態は、画像表示部と、撮像部と、画像データ補正部と、の3つ要素の内の一つ以上または全部の要素を備えた装置として実現可能である。すなわち、この装置は、画像表示部を有していてもよく、有していなくてもよい。また、装置は、画像表示部を有していてもよく、有していなくてもよい。また、装置は、撮像部を有していてもよく、有していなくてもよい。また、装置は、画像データ補正部を有していてもよく、有していなくてもよい。画像表示部は、例えば、使用者の頭部に装着された状態において、表示用画像データに基づいて画像光を生成して画像光を使用者に視認させる共に、外景を透過させてもよい。撮像部は、例えば、外景を撮像して、外景画像を表わす外景画像データを生成してもよい。画像データ補正部は、使用者の視野角の特性に基づいて表示用画像データの内の少なくとも一部のデータを選択し、外景画像データに基づいて選択したデータを補正してもよい。こうした装置は、例えば、頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。このような形態によれば、装置の操作性の向上および簡易化、装置の一体化や、装置を使用する使用者の利便性の向上、等の種々の課題の少なくとも1つを解決することができる。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。 For example, one embodiment of the present invention can be realized as an apparatus including one or more or all of the three elements of the image display unit, the imaging unit, and the image data correction unit. That is, this apparatus may or may not have an image display unit. Further, the apparatus may or may not have an image display unit. Further, the apparatus may or may not have an imaging unit. The apparatus may or may not have an image data correction unit. For example, the image display unit may generate image light based on the display image data so that the user can visually recognize the image light and transmit the outside scene while being mounted on the user's head. For example, the imaging unit may capture an outside scene and generate outside scene image data representing the outside scene image. The image data correction unit may select at least a part of the display image data based on the characteristics of the viewing angle of the user, and correct the selected data based on the outside scene image data. Such a device can be realized as, for example, a head-mounted display device, but can also be realized as a device other than the head-mounted display device. According to such a form, it is possible to solve at least one of various problems such as improvement and simplification of the operability of the device, integration of the device, and improvement of convenience of the user who uses the device. it can. Any or all of the technical features of each form of the head-mounted display device described above can be applied to this device.
本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、頭部装着型表示装置の制御方法、頭部装着型表示システム、頭部装着型表示システムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。 The present invention can also be realized in various forms other than the head-mounted display device. For example, a method for controlling a head-mounted display device, a head-mounted display system, a computer program for realizing the functions of the head-mounted display system, a recording medium on which the computer program is recorded, a carrier wave including the computer program It can be realized in the form of a data signal or the like embodied therein.
次に、本発明の実施の形態を実施形態に基づいて以下の順序で説明する。
A.実施形態:
A−1.頭部装着型表示装置の構成:
A−2.補正画像表示処理:
A−3.実施形態の変形例:
B.変形例:
Next, embodiments of the present invention will be described in the following order based on the embodiments.
A. Embodiment:
A-1. Configuration of head mounted display device:
A-2. Corrected image display processing:
A-3. Variation of the embodiment:
B. Variations:
A.実施形態:
A−1.頭部装着型表示装置の構成:
図1は、頭部装着型表示装置100の外観構成を示す説明図である。頭部装着型表示装置100は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ(Head Mounted Display、HMD)とも呼ばれる。本実施形態の頭部装着型表示装置100は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本明細書では、頭部装着型表示装置100によって使用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。また、画像データに基づいて生成された画像を表わす画像光を射出することを「画像を表示する」ともいう。
A. Embodiment:
A-1. Configuration of head mounted display device:
FIG. 1 is an explanatory diagram showing an external configuration of the head-mounted
頭部装着型表示装置100は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部20と、画像表示部20を制御する制御部10(コントローラー10)と、を備えている。
The head-mounted
画像表示部20は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部20は、右保持部21と、右表示駆動部22と、左保持部23と、左表示駆動部24と、右光学像表示部26と、左光学像表示部28と、カメラ61と、を含んでいる。右光学像表示部26および左光学像表示部28は、それぞれ、使用者が画像表示部20を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部26の一端と左光学像表示部28の一端とは、使用者が画像表示部20を装着した際の使用者の眉間に対応する位置で、互いに接続されている。
The
右保持部21は、右光学像表示部26の他端である端部ERから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部23は、左光学像表示部28の他端である端部ELから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部21および左保持部23は、眼鏡のテンプル(つる)のようにして、使用者の頭部に画像表示部20を保持する。
The
右表示駆動部22と左表示駆動部24とは、使用者が画像表示部20を装着した際の使用者の頭部に対向する側に配置されている。なお、以降では、右保持部21および左保持部23を総称して単に「保持部」とも呼び、右表示駆動部22および左表示駆動部24を総称して単に「表示駆動部」とも呼び、右光学像表示部26および左光学像表示部28を総称して単に「光学像表示部」とも呼ぶ。
The right
表示駆動部22,24は、液晶ディスプレイ241,242(Liquid Crystal Display、以下「LCD241,242」とも呼ぶ)や投写光学系251,252等を含む(図2参照)。表示駆動部22,24の構成の詳細は後述する。光学部材としての光学像表示部26,28は、導光板261,262(図2参照)と調光板とを含んでいる。導光板261,262は、光透過性の樹脂材料等によって形成され、表示駆動部22,24から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部20の表側を覆うように配置されている。調光板は、導光板261,262を保護し、導光板261,262の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整できる。なお、調光板は省略可能である。
The
カメラ61は、使用者が画像表示部20を装着した際の使用者の眉間に対応する位置に配置されている。カメラ61は、使用者の眼の側とは反対側方向の外部の景色である外景を撮像し、外景画像を取得する。そのため、カメラ61は、画像表示部20を装着している使用者の前方、すなわち、想定される使用者の視線方向である想定視線方向を中心とした所定の範囲を撮像する。カメラ61は、外景画像を表わす外景画像データDTsとしてRGBデータを生成する。本実施形態におけるカメラ61は、単眼カメラであるが、ステレオカメラであってもよい。本実施形態で用いられるカメラ61の画角は、想定視線方向と同じ方向を中心として、上下においてはそれぞれ40度であり、左右においてはそれぞれ60度である。なお、カメラ61は、請求項における撮像部に相当する。一般に、人間の視野角の特性として、人間が視認できる視野は、水平方向に約200度、垂直方向における上方向に50度、垂直方向における下方向に75度であることが知られている。また、人間が視認できる視野において、特に情報受容能力に優れる有効視野は、水平方向に約30度、垂直方向に約20度であり、注視点を迅速に安定して見られる安定注視点視野は、水平方向に60度から90度の範囲、垂直方向に45度から70度の範囲である。逆に、人間の視野角において、水平方向に約30度未満、垂直方向に約20度未満の範囲では、使用者は、画像表示部20に表示される画像を視認しづらい。なお、人間が視認できる視野の範囲、安定注視点視野の下限以内の範囲、安定注視点視野の上限以内の範囲、特に情報受容能力に優れる有効視野の範囲のそれぞれは、請求項における第1の視野、第2の視野、第3の視野、第4の視野に相当する。
The
画像表示部20は、さらに、画像表示部20を制御部10に接続するための接続部40を有している。接続部40は、制御部10に接続される本体コード48と、右コード42と、左コード44と、連結部材46と、を含んでいる。右コード42と左コード44とは、本体コード48が2本に分岐したコードである。右コード42は、右保持部21の延伸方向の先端部APから右保持部21の筐体内に挿入され、右表示駆動部22に接続されている。同様に、左コード44は、左保持部23の延伸方向の先端部APから左保持部23の筐体内に挿入され、左表示駆動部24に接続されている。連結部材46は、本体コード48と、右コード42および左コード44と、の分岐点に設けられ、イヤホンプラグ30を接続するためのジャックを有している。イヤホンプラグ30からは、右イヤホン32および左イヤホン34が延伸している。
The
画像表示部20と制御部10とは、接続部40を介して各種信号の伝送を行なう。本体コード48における連結部材46とは反対側の端部と、制御部10と、のそれぞれには、互いに嵌合するコネクター(図示しない)が設けられている。本体コード48のコネクターと制御部10のコネクターとの嵌合/嵌合解除により、制御部10と画像表示部20とが接続されたり切り離されたりする。右コード42と、左コード44と、本体コード48とには、例えば、金属ケーブルや光ファイバーを採用できる。
The
制御部10は、頭部装着型表示装置100を制御するための装置である。制御部10は、決定キー11と、点灯部12と、表示切替キー13と、トラックパッド14と、輝度切替キー15と、方向キー16と、メニューキー17と、電源スイッチ18と、を含んでいる。決定キー11は、押下操作を検出して、制御部10で操作された内容を決定する信号を出力する。点灯部12は、頭部装着型表示装置100の動作状態を、その発光状態によって通知する。頭部装着型表示装置100の動作状態としては、例えば、電源のON/OFF等がある。点灯部12としては、例えば、LED(Light Emitting Diode)が用いられる。表示切替キー13は、押下操作を検出して、例えば、コンテンツ動画の表示モードを3Dと2Dとに切り替える信号を出力する。トラックパッド14は、トラックパッド14の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド14としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー15は、押下操作を検出して、画像表示部20の輝度を増減する信号を出力する。方向キー16は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ18は、スイッチのスライド操作を検出することで、頭部装着型表示装置100の電源投入状態を切り替える。
The
図2は、頭部装着型表示装置100の構成を機能的に示すブロック図である。図2に示すように、制御部10は、入力情報取得部110と、記憶部120と、電源130と、無線通信部132と、操作部135と、CPU140と、インターフェイス180と、送信部51(Tx51)および送信部52(Tx52)と、を有している。操作部135は、使用者による操作を受け付け、決定キー11、表示切替キー13、トラックパッド14、輝度切替キー15、方向キー16、メニューキー17、電源スイッチ18、から構成されている。
FIG. 2 is a block diagram functionally showing the configuration of the head-mounted
入力情報取得部110は、使用者による操作入力に応じた信号を取得する。操作入力に応じた信号としては、例えば、トラックパッド14、方向キー16、電源スイッチ18、に対する操作入力がある。電源130は、頭部装着型表示装置100の各部に電力を供給する。電源130としては、例えば二次電池を用いることができる。記憶部120は、種々のコンピュータープログラムを格納している。記憶部120は、ROMやRAM等によって構成されている。CPU140は、記憶部120に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム150(ОS150)、画像処理部160、表示制御部190、音声処理部170、画像データ処理部165、として機能する。
The input
画像処理部160は、コンテンツに含まれる画像信号を取得する。画像処理部160は、取得した画像信号から、垂直同期信号VSyncや水平同期信号HSync等の同期信号を分離する。また、画像処理部160は、分離した垂直同期信号VSyncや水平同期信号HSyncの周期に応じて、PLL(Phase Locked Loop)回路等(図示しない)を利用してクロック信号PCLKを生成する。画像処理部160は、同期信号が分離されたアナログ画像信号を、A/D変換回路等(図示しない)を用いてディジタル画像信号に変換する。その後、画像処理部160は、変換後のディジタル画像信号を、対象画像の画像データData(RGBデータ)として、1フレームごとに記憶部120内のDRAMに格納する。なお、画像処理部160は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。
The
画像処理部160は、生成されたクロック信号PCLK、垂直同期信号VSync、水平同期信号HSync、記憶部120内のDRAMに格納された画像データData、のそれぞれを、送信部51、52を介して送信する。なお、送信部51を介して送信される画像データDataを「右眼用画像データ」とも呼び、送信部52を介して送信される画像データDataを「左眼用画像データ」とも呼ぶ。送信部51、52は、制御部10と画像表示部20との間におけるシリアル伝送のためのトランシーバーとして機能する。
The
表示制御部190は、右表示駆動部22および左表示駆動部24を制御する制御信号を生成する。具体的には、表示制御部190は、制御信号により、右LCD制御部211による右LCD241の駆動ON/OFF、右バックライト制御部201による右バックライト221の駆動ON/OFF、左LCD制御部212による左LCD242の駆動ON/OFF、左バックライト制御部202による左バックライト222の駆動ON/OFFなど、を個別に制御する。これにより、表示制御部190は、右表示駆動部22および左表示駆動部24のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部190は、右表示駆動部22および左表示駆動部24の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。
The
表示制御部190は、右LCD制御部211と左LCD制御部212とに対する制御信号のそれぞれを、送信部51および52を介して送信する。また、表示制御部190は、右バックライト制御部201と左バックライト制御部202とに対する制御信号のそれぞれを送信する。
The
音声処理部170は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材46に接続された右イヤホン32内のスピーカー(図示しない)および左イヤホン34内のスピーカー(図示しない)に対して供給する。なお、例えば、Dolby(登録商標)システムを採用した場合、音声信号に対する処理がなされ、右イヤホン32および左イヤホン34のそれぞれからは、例えば周波数等が変えられた異なる音が出力される。
The
画像データ処理部165は、画像を表わす画像データであるRGBデータに各種処理を行なう。画像データ処理部165は、外景画像データDTsと、インターフェイス180を介して供給されたコンテンツの画像データである原画像データDT0と、を合成した合成画像データDTcを生成する。画像データ処理部165は、視野角の特性に基づいて、原画像データDT0の内の少なくとも一部の画像データを選択する。例えば、特に情報受容能力に優れる有効視野に対応させる場合には、使用者の視野において、水平方向に約30度以内、垂直方向に約20度以内の範囲に対応する原画像データDT0の画像データを選択する。画像データ処理部165は、外景画像データDTsに基づいて原画像データDT0において選択された画像データを補正した補正画像データDTaを生成する。補正画像データDTaは、外景画像データDTsと合成すると選択された画像データが原画像データDT0と同じになる画像データである。画像データ処理部165は、原画像データDT0から選択された画像データの範囲に応じて外景画像データDTsの一部を削除した対応外景画像データDTshを生成してから補正画像データDTaを生成する。また、本実施形態における画像データ処理部165は、外景画像データDTsまたは対応外景画像データDTshにおける各画素のRGBデータが所定の閾値以内であれば、全画素のRGBデータを同一のRGBデータに修正した修正外景画像データDTsaを生成する。修正外景画像データDTsaが生成された場合には、画像データ処理部165は、外景画像データDTsまたは対応外景画像データDTshの代わりに修正外景画像データDTsaを用いて補正画像データDTaを生成する。なお、画像データ処理部165は、請求項における画像データ補正部に相当する。また、RGBデータは、請求項における色を表わす指標値に相当し、各画素は、請求項における複数の領域に相当する。
The image
インターフェイス180は、制御部10に対して、コンテンツの供給元となる種々の外部機器OAを接続するためのインターフェイスである。外部機器OAとしては、例えば、パーソナルコンピューター(PC)や携帯電話端末、ゲーム端末等、がある。インターフェイス180としては、例えば、USBインターフェイス、マイクロUSBインターフェイス、メモリーカード用インターフェイス等、を用いることができる。
The
画像表示部20は、右表示駆動部22と、左表示駆動部24と、右光学像表示部26としての右導光板261と、左光学像表示部28としての左導光板262と、カメラ61と、を備えている。
The
右表示駆動部22は、受信部53(Rx53)と、光源として機能する右バックライト制御部201(右BL制御部201)および右バックライト221(右BL221)と、表示素子として機能する右LCD制御部211および右LCD241と、右投写光学系251と、を含んでいる。右バックライト制御部201と右バックライト221とは、光源として機能する。右LCD制御部211と右LCD241とは、表示素子として機能する。なお、右バックライト制御部201と、右LCD制御部211と、右バックライト221と、右LCD241と、を総称して「画像光生成部」とも呼ぶ。
The right
受信部53は、制御部10と画像表示部20との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部201は、入力された制御信号に基づいて、右バックライト221を駆動する。右バックライト221は、例えば、LEDやエレクトロルミネセンス(EL)等の発光体である。右LCD制御部211は、受信部53を介して入力されたクロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、右眼用画像データと、に基づいて、右LCD241を駆動する。右LCD241は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
The receiving
右投写光学系251は、右LCD241から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部26としての右導光板261は、右投写光学系251から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼REに導く。なお、右投写光学系251と右導光板261とを総称して「導光部」とも呼ぶ。
The right projection
左表示駆動部24は、右表示駆動部22と同様の構成を有している。左表示駆動部24は、受信部54(Rx54)と、光源として機能する左バックライト制御部202(左BL制御部202)および左バックライト222(左BL202)と、表示素子として機能する左LCD制御部212および左LCD242と、左投写光学系252と、を含んでいる。左バックライト制御部202と左バックライト222とは、光源として機能する。左LCD制御部212と左LCD242とは、表示素子として機能する。なお、左バックライト制御部202と、左LCD制御部212と、左バックライト222と、左LCD242と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系252は、左LCD242から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部28としての左導光板262は、左投写光学系252から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼LEに導く。なお、左投写光学系252と左導光板262とを総称して「導光部」とも呼ぶ。
The left
図3は、画像光生成部によって画像光が射出される様子を示す説明図である。右LCD241は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右LCD241を透過する光の透過率を変化させることにより、右バックライト221から照射される照明光ILを、画像を表わす有効な画像光PLへと変調する。左側についても同様である。なお、図3のように、本実施形態ではバックライト方式を採用したが、フロントライト方式や、反射方式を用いて画像光を射出する構成としてもよい。
FIG. 3 is an explanatory diagram illustrating a state in which image light is emitted by the image light generation unit. The
A−2.補正画像表示処理:
図4は、補正画像表示処理の流れを示す説明図である。補正画像表示処理では、画像データ処理部165が撮像によって生成した外景画像データDTsおよび原画像データDT0に基づいて補正画像データDTaが生成されて、補正画像データDTaを表わす画像が画像表示部20に表示される処理である。
A-2. Corrected image display processing:
FIG. 4 is an explanatory diagram showing the flow of the corrected image display process. In the corrected image display processing, corrected image data DTa is generated based on the outside scene image data DTs and original image data DT0 generated by the image
初めに、カメラ61は、外景を撮像する(ステップS310)。図5は、使用者が視認する視野VRの一例を示す説明図である。図5には、視野VRと、外景SCと、画像表示部20が生成した画像を表示できる最大の領域である最大画像表示領域PNと、カメラ61が撮像する撮像範囲RA1と、が示されている。図5では、使用者の想定視線方向が上空へと向いており、使用者は、上空の青空の色に基づく外景SCを視認する。図5に示すように、撮像範囲RA1が最大画像表示領域PNよりも大きいため、カメラ61は、最大画像表示領域PNに表示される画像に重複する外景SCを撮像できる。なお、図5では、最大画像表示領域PNの外枠および撮像範囲RA1の外枠である矩形状の線が示されているが、この線は説明の便宜上、示したものであり、使用者には視認されない。最大画像表示領域PNは、請求項における画像生成可能領域に相当する。
First, the
次に、画像データ処理部165は、外景画像データDTsのデータの内、最大画像表示領域PNに対応しない不要なデータを削除する(図4のステップS320)。図5に示す最大画像表示領域PNは、使用者の水平方向における視野角30度に相当し、使用者の垂直方向における視野角20度に相当する。本実施形態では、最大画像表示領域PNにおける全領域で画像データが補正される、すなわち、カメラ61の画角が左右方向のそれぞれに15度以内、かつ、上下方向のそれぞれに10度以内の範囲で画像データが補正される。また、換言すれば、カメラ61の画角が左右方向のそれぞれに30度以内、かつ、上下方向のそれぞれに23度以内の範囲を越える範囲では、画像データが補正されない。画像データ処理部165は、外景画像データDTsの内から最大画像表示領域PNを外れる領域に対応するデータを削除した対応外景画像データDTshを生成する。
Next, the image
次に、画像データ処理部165は、最大画像表示領域PNに表示画像が表示される画像表示領域に対応する対応外景画像データDTshの領域を特定する(図4のステップS330)。図6は、原画像データDT0が表わす画像IMG0を示す説明図である。図6に示す画像IMG0は、最大画像表示領域PNの全領域に表示される。そのため、画像データ処理部165は、最大画像表示領域PNの全領域に対応する外景画像データである対応外景画像データDTshを、補正画像データDTaを生成する補正領域の画像データとして特定する。
Next, the image
次に、画像データ処理部165は、対応外景画像データDTshにおける各画素のRGBデータが所定の閾値以内であるか否かを判定する(図4のステップS340)。図7は、対応外景画像データDTshにおける各画素のRGBデータの一例を示す説明図である。図7(a)には、対応外景画像データDTshにおける各画素の位置および名称が示されている。図7(b)には、各画素のRGBデータが示されている。例えば、画素px11は、対応外景画像データDTshにおける最も左上の画素であり、RGBデータのそれぞれが245,245,160である。また、対応外景画像データDTshにおける各画素のRGBデータのそれぞれの数値範囲は、240〜255、235〜250、155〜165であり、RGBデータのそれぞれの平均値は、247、240、160である。本実施形態では、RGBデータのそれぞれにおける最大値と最小値との差のすべてが、予め閾値として設定された20以内に収まる場合には(図4のステップS340:YES)、画像データ処理部165は、対応外景画像データDTshにおける各画素のRGBデータを各画素の平均値247、240、160に置き換える(ステップS350)。画像データ処理部165は、各画素のRGBデータを置き換えた修正外景画像データDTsaを生成した後、画像データ処理部165は、修正外景画像データDTsaおよび原画像データDT0に基づいて合成画像データDTcを生成する(ステップS350)。
Next, the image
ステップS340の処理において、対応外景画像データDTshのRGBデータのそれぞれにおける1つでも最大値と最小値との差が閾値を超える場合には(ステップS340:NO)、画像データ処理部165は、対応外景画像データDTshにおける各画素のRGBデータを平均値に置換せずに、対応外景画像データDTshおよび原画像データDT0に基づいて合成画像データDTcを生成する(ステップS350)。なお、他の実施形態では、閾値は、20ではなく、他の値であってもよいし、設定されていなくてもよい。
In the process of step S340, when the difference between the maximum value and the minimum value of each of the RGB data of the corresponding outside scene image data DTsh exceeds the threshold value (step S340: NO), the image
図8は、合成画像データDTcが表わす画像IMG1を示す説明図である。修正外景画像データDTsaと原画像データDT0とが重なった合成画像データDTcにおける各画素は、原画像データDT0における各画素のRGBデータと異なる。そのため、図8に示すように、画像IMG0を最大画像表示領域PNに表示すると、使用者には、画像IMG0ではなく、画像IMG1が視認される。 FIG. 8 is an explanatory diagram showing an image IMG1 represented by the composite image data DTc. Each pixel in the composite image data DTc in which the corrected outside scene image data DTsa and the original image data DT0 overlap is different from the RGB data of each pixel in the original image data DT0. Therefore, as shown in FIG. 8, when the image IMG0 is displayed in the maximum image display area PN, the user sees the image IMG1 instead of the image IMG0.
次に、使用者に画像IMG0を視認させるために、画像データ処理部165は、補正画像データDTaを生成して、最大画像表示領域PNに補正画像データDTaを表わす画像IMG2を表示する(ステップS370)。画像データ処理部165は、修正外景画像データDTsaと補正画像データDTaとを重ねると、原画像データDT0のRGBデータとほぼ同じになるRGBデータの補正画像データDTaを生成する。画像表示部20は、最大画像表示領域PNに画像IMG2を表示する。
Next, in order to make the user visually recognize the image IMG0, the image
図9は、使用者が視認する視野VRの一例を示す説明図である。図9に示すように、最大画像表示領域PNにおける全領域には、補正画像データDTaに基づいて画像光が生成され、外景画像データDTsを表わす外景と補正画像データDTaに基づいて生成された画像光とが重なる。そのため、使用者は、画像IMG0とほぼ同じ画像IMG0aを視認する。 FIG. 9 is an explanatory diagram illustrating an example of the visual field VR visually recognized by the user. As shown in FIG. 9, image light is generated in all areas in the maximum image display area PN based on the corrected image data DTa, and an image generated based on the outside scene representing the outside scene image data DTs and the corrected image data DTa. Light overlaps. Therefore, the user visually recognizes an image IMG0a that is substantially the same as the image IMG0.
以上説明したように、本実施形態における頭部装着型表示装置100では、画像データ処理部165は、視野角の特性に基づいて、原画像データDT0の内の少なくとも一部の画像データを選択する。画像データ処理部165は、外景画像データDTsに基づいて原画像データDT0において選択された画像データを補正した補正画像データDTaを生成する。そのため、本実施形態における頭部装着型表示装置100では、外景における色や輝度に関係なく、原画像データDT0を表わす画像IMG0または画像IMG0aを使用者に視認させることができる。また、画像データ処理部165は、使用者が視認できる視野角や、必要に応じて視認したい有効視野に応じて補正画像データDTaを生成するので、不要な範囲の画像データを補正しなくてもよい。よって、本実施形態における頭部装着型表示装置100では、迅速に補正画像データDTaを生成し、リアルタイムで画像IMG0aを使用者に視認させることができる。
As described above, in the head-mounted
また、本実施形態における頭部装着型表示装置100では、最大画像表示領域PNにおいて原画像データDT0に基づいて画像光を生成する領域に対応する部分のデータを、外景画像データDTsに基づいて生成された補正画像データDTaに補正する。そのため、本実施形態における頭部装着型表示装置100では、画像データ処理部165は、最大画像表示領域PNにおける原画像データDT0に基づいて画像光が生成される領域のみに対して補正画像データDTaを生成するので、不要な領域の画像データを補正しなくてもよい。よって、本実施形態における頭部装着型表示装置100では、迅速に補正画像データDTaを生成し、リアルタイムで画像IMG0aを使用者に視認させることができる。
In the head-mounted
また、本実施形態における頭部装着型表示装置100では、カメラ61の画角は、想定視線方向と同じ方向を中心として、上下においてはそれぞれ40度であり、左右においてはそれぞれ60度である。すなわち、カメラ61の画角が左右方向のそれぞれに30度以内、かつ、上下方向のそれぞれに23度以内の範囲を越える範囲では、画像データが補正されない。そのため、本実施形態における頭部装着型表示装置100では、情報受容能力に優れる有効視野では補正画像データDTaを生成し、それ以外の視野範囲では補正画像データDTaを生成しなので、不要な画像処理を行なわないで、より迅速に補正画像データDTaを生成できる。また、本実施形態の頭部装着型表示装置100では、使用者が視認しづらい水平方向における視野角30度以上と、垂直方向における視野角20度以上と、による領域で補正画像データDTaが生成されるため、使用者は、最大画像表示領域PNに表示される画像を視認しやすく、利便性が向上する。
In the head-mounted
また、本実施形態における頭部装着型表示装置100では、RGBデータのそれぞれにおける最大値と最小値との差のすべてが、予め閾値として設定された20以内に収まる場合には、画像データ処理部165は、対応外景画像データDTshにおける各画素のRGBデータを各画素の同一の平均値に置き換える。そのため、本実施形態における頭部装着型表示装置100では、画像処理の負担を抑制した上で、外景画像の影響を少なくした画像を使用者に視認させることができる。
Further, in the head-mounted
A−3.実施形態の変形例:
上記実施形態では、最大画像表示領域PNが使用者の水平方向における視野角30度および垂直方向における視野角20度に相当して、最大画像表示領域PNに対応しない視野角に対応する外景画像データを削除して補正画像データを生成したが、補正画像データDTaを生成する領域については、例えば、以下の第1の変形例および第2の変形例に示すように、種々変形可能である。
A-3. Variation of the embodiment:
In the above embodiment, the maximum image display area PN corresponds to the
A−3−1.第1の変形例:
第1の変形例では、カメラ61aの画角と、最大画像表示領域PNaの使用者の視野角に相当する角度、とが実施形態と異なり、他の構成については同じである。第1の変形例では、カメラ61aの画角は、想定視線方向と同じ方向を中心として、上下においてはそれぞれ90度であり、左右においてはそれぞれ90度である。最大画像表示領域PNaは、使用者の水平方向における視野角150度に相当し、使用者の垂直方向における視野角100度に相当する。
A-3-1. First modification:
In the first modification, the angle of view of the camera 61a and the angle corresponding to the viewing angle of the user of the maximum image display area PNa are different from the embodiment, and the other configurations are the same. In the first modification, the angle of view of the camera 61a is 90 degrees vertically and 90 degrees horizontally on the same direction as the assumed line-of-sight direction. The maximum image display area PNa corresponds to a viewing angle of 150 degrees in the horizontal direction of the user and corresponds to a viewing angle of 100 degrees in the vertical direction of the user.
図10は、第1の変形例における使用者が視認する視野VRの一例を示す説明図である。図10(a)には、外景SCと、補正画像生成領域CA1と、最大画像表示領域PNaと、が示されている。補正画像生成領域CA1は、使用者の水平方向における視野角90度に相当し、使用者の垂直方向における視野角70度に相当する。第1の変形例において、補正画像生成領域CA1の領域内では、補正画像データDTaが生成され、補正画像生成領域CA1の領域外、かつ、最大画像表示領域PNaの領域内では、補正画像データDTaが生成されない。そのため、補正画像生成領域CA1では、画像IMG0aが使用者に視認され、補正画像生成領域CA1の領域外、かつ、最大画像表示領域PNaの領域内では、画像IMG1が使用者に視認される。 FIG. 10 is an explanatory diagram illustrating an example of the visual field VR visually recognized by the user in the first modification. FIG. 10A shows an outside scene SC, a corrected image generation area CA1, and a maximum image display area PNa. The corrected image generation area CA1 corresponds to a viewing angle of 90 degrees in the horizontal direction of the user, and corresponds to a viewing angle of 70 degrees in the vertical direction of the user. In the first modification, the corrected image data DTa is generated within the corrected image generation area CA1, and the corrected image data DTa is generated outside the corrected image generation area CA1 and within the maximum image display area PNa. Is not generated. Therefore, the image IMG0a is visually recognized by the user in the corrected image generation area CA1, and the image IMG1 is visually recognized by the user outside the area of the corrected image generation area CA1 and in the area of the maximum image display area PNa.
図10(b)には、外景SCと、補正画像生成領域CA2と、最大画像表示領域PNaと、が示されている。補正画像生成領域CA2は、使用者の水平方向における視野角60度に相当し、使用者の垂直方向における視野角45度に相当する。第1の変形例において、補正画像生成領域CA2の領域内では、補正画像データDTaが生成され、補正画像生成領域CA2の領域外、かつ、最大画像表示領域PNaの領域内では、補正画像データDTaが生成されない。そのため、補正画像生成領域CA2では、画像IMG0aが使用者に視認され、補正画像生成領域CA2の領域外、かつ、最大画像表示領域PNaの領域内では、画像IMG1が使用者に視認される。 FIG. 10B shows an outside scene SC, a corrected image generation area CA2, and a maximum image display area PNa. The corrected image generation area CA2 corresponds to a viewing angle of 60 degrees in the horizontal direction of the user, and corresponds to a viewing angle of 45 degrees in the vertical direction of the user. In the first modification, the corrected image data DTa is generated within the corrected image generation area CA2, and the corrected image data DTa is generated outside the corrected image generation area CA2 and within the maximum image display area PNa. Is not generated. Therefore, the image IMG0a is visually recognized by the user in the corrected image generation area CA2, and the image IMG1 is visually recognized by the user outside the area of the corrected image generation area CA2 and within the area of the maximum image display area PNa.
また、図10(a)および図10(b)では、最大画像表示領域PNaの周辺部では、補正画像データDTaが生成されない。なお、第1の変形例では、最大画像表示領域PNaの周辺部とは、最大画像表示領域PNaを縦および横に4分割して、最大画像表示領域PNaを16個の領域に分割した場合に、真ん中の4個の領域を除く外側の12個の領域のことをいう。すなわち、最大画像表示領域PNaの上下左右のそれぞれにおける外側25%のことをいうが、他の実施形態では異なる割合であってもよい。最大画像表示領域PNaにおける周辺部分の割合が少なくなると、使用者の視認性が向上するため、最大画像表示領域PNaにおける周辺部は、最大画像表示領域PNaの上下左右のそれぞれにおける10%以下であるとさらに好ましい。なお、補正画像データDTaが生成されない領域である最大画像表示領域PNaの周辺部は、必ずしも上下左右に設けられる必要はなく、上下のみ、および、左右のみに設けられる態様であってもよい。 In FIGS. 10A and 10B, the corrected image data DTa is not generated in the periphery of the maximum image display area PNa. In the first modification, the peripheral portion of the maximum image display area PNa is a case where the maximum image display area PNa is divided into four parts in the vertical and horizontal directions, and the maximum image display area PNa is divided into 16 areas. This refers to the outer 12 regions excluding the middle 4 regions. That is, the outer 25% of the maximum image display area PNa in the upper, lower, left and right directions may be different ratios in other embodiments. When the ratio of the peripheral part in the maximum image display area PNa is reduced, the visibility of the user is improved. Therefore, the peripheral part in the maximum image display area PNa is 10% or less in each of the top, bottom, left and right of the maximum image display area PNa. And more preferred. It should be noted that the peripheral portion of the maximum image display area PNa that is an area where the corrected image data DTa is not generated is not necessarily provided vertically and horizontally, and may be provided only vertically and horizontally.
第1の変形例における頭部装着型表示装置100aでは、最大画像表示領域PNaの周辺部では、補正画像データDTaを生成しないので、不要な画像処理を行なわないで、より迅速に補正画像データDTaを生成できる。また、最大画像表示領域PNaの中心部では画像IMG0aを使用者に視認させるため、使用者の満足度が向上する。また、図10(a)に示すように、第1の変形例における頭部装着型表示装置100aでは、最も広い安定注視点視野の範囲で、補正画像データDTaを生成しているため、使用者の視認性が向上する。 In the head-mounted display device 100a according to the first modification, the corrected image data DTa is not generated in the peripheral portion of the maximum image display area PNa, so that the corrected image data DTa can be more quickly performed without performing unnecessary image processing. Can be generated. Further, since the image IMG0a is visually recognized by the user at the center of the maximum image display area PNa, the user's satisfaction is improved. Further, as shown in FIG. 10A, in the head-mounted display device 100a according to the first modified example, the corrected image data DTa is generated in the range of the widest stable gazing point visual field. Visibility is improved.
A−3−2.第2の変形例:
第2の変形例では、最大画像表示領域PNaにおける画像IMG0aの位置が第1の変形例と異なり、他の構成については第1の変形例と同じである。図11は、第2の変形例における使用者が視認する視野VRの一例を示す説明図である。図11には、外景SCと、補正画像生成領域CA3と、最大画像表示領域PNaと、が示されている。第2の変形例では、最大画像表示領域PNaにおける画像IMG0aが表示される位置が特定され、特定された位置に対応する外景画像データDTsのみに基づいて修正外景画像データDTsaが生成される。そのため、第2の変形例における頭部装着型表示装置100aでは、最大画像表示領域PNaにおいて画像IMG0aが表示されない画素について画像処理を行なわないで、より迅速に補正画像データDTaを生成できる。
A-3-2. Second modification:
In the second modified example, the position of the image IMG0a in the maximum image display area PNa is different from the first modified example, and the other configurations are the same as those in the first modified example. FIG. 11 is an explanatory diagram illustrating an example of a visual field VR visually recognized by the user in the second modification. FIG. 11 shows the outside scene SC, the corrected image generation area CA3, and the maximum image display area PNa. In the second modification, the position where the image IMG0a is displayed in the maximum image display area PNa is specified, and the corrected outside scene image data DTsa is generated based only on the outside scene image data DTs corresponding to the specified position. Therefore, the head-mounted display device 100a according to the second modification can generate the corrected image data DTa more quickly without performing image processing on the pixels on which the image IMG0a is not displayed in the maximum image display area PNa.
また、第2の変形例における頭部装着型表示装置100aでは、図11に示すように、最も狭い安定注視点視野の範囲で、補正画像データDTaを生成しているため、使用者の視認性を維持した上で、不要な画像処理を行なわれず、より迅速に補正画像データDTaを生成できる。 Further, in the head-mounted display device 100a in the second modified example, as shown in FIG. 11, the corrected image data DTa is generated in the range of the narrowest stable gazing point visual field. Thus, the corrected image data DTa can be generated more quickly without unnecessary image processing.
B.変形例:
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。
B. Variations:
In addition, this invention is not limited to the said embodiment, It can implement in a various aspect in the range which does not deviate from the summary, For example, the following deformation | transformation is also possible.
B1.変形例1:
上記実施形態では、画像データ処理部165が最大画像表示領域PNに表示させる補正画像データDTaを生成することによって、画像IMG0aを使用者に視認させる態様としたが、画像データ処理部165が行なう補正については、種々変形可能である。例えば、画像データ処理部165は、画像表示部20が透過させる外景SCの透過率や画像データの輝度を設定する補正を行なってもよい。
B1. Modification 1:
In the above embodiment, the image
また、上記実施形態では、画像データ処理部165は、合成画像データDTcを生成した後に、補正画像データDTaを生成したが、補正画像データDTaの生成方法については、これに限られず、種々変形可能である。例えば、画像データ処理部165は、撮像されて生成された外景画像データDTsおよび原画像データDT0に基づいて補正画像データDTaを生成してもよい。
In the above embodiment, the image
B2.変形例2:
例えば、画像光生成部は、有機EL(有機エレクトロルミネッセンス、Organic Electro-Luminescence)のディスプレイと、有機EL制御部とを備える構成としても良い。また、例えば、画像生成部は、LCDに代えて、LCOS(Liquid crystal on silicon, LCoS は登録商標)や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。レーザー網膜投影型の場合、「画像光生成部における画像光の射出可能領域」とは、使用者の眼に認識される画像領域として定義することができる。
B2. Modification 2:
For example, the image light generation unit may include an organic EL (Organic Electro-Luminescence) display and an organic EL control unit. Further, for example, the image generation unit may use LCOS (Liquid crystal on silicon, LCoS is a registered trademark), a digital micromirror device, or the like instead of the LCD. Further, for example, the present invention can be applied to a laser retinal projection type head mounted display. In the case of the laser retinal projection type, the “image light emitting area in the image light generation unit” can be defined as an image area recognized by the user's eyes.
また、例えば、ヘッドマウントディスプレイは、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のヘッドマウントディスプレイとしてもよい。また、ヘッドマウントディスプレイは、いわゆる単眼タイプのヘッドマウントディスプレイであるとしてもよい。 Further, for example, the head-mounted display may be a head-mounted display in which the optical image display unit covers only a part of the user's eye, in other words, the optical image display unit does not completely cover the user's eye. Good. The head mounted display may be a so-called monocular type head mounted display.
また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略しても良い。また、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。 Further, the earphone may be an ear-hook type or a headband type, or may be omitted. Further, for example, it may be configured as a head mounted display mounted on a vehicle such as an automobile or an airplane. Further, for example, it may be configured as a head-mounted display built in a body protective device such as a helmet.
B3.変形例3:
上記実施形態における頭部装着型表示装置100の構成は、あくまで一例であり、種々変形可能である。例えば、制御部10に設けられた方向キー16やトラックパッド14の一方を省略したり、方向キー16やトラックパッド14に加えてまたは方向キー16やトラックパッド14に代えて操作用スティック等の他の操作用インターフェイスを設けたりしてもよい。また、制御部10は、キーボードやマウス等の入力デバイスを接続可能な構成であり、キーボードやマウスから入力を受け付けるものとしてもよい。
B3. Modification 3:
The configuration of the head-mounted
また、画像表示部として、眼鏡のように装着する画像表示部20に代えて、例えば帽子のように装着する画像表示部といった他の方式の画像表示部を採用してもよい。また、イヤホン32,34は適宜省略可能である。また、上記実施形態では、画像光を生成する構成として、LCDと光源とを利用しているが、これらに代えて、有機ELディスプレイといった他の表示素子を採用してもよい。また、上記実施形態では、頭部装着型表示装置100は、両眼タイプの光学透過型であるとしているが、本発明は、例えばビデオ透過型や単眼タイプといった他の形式の頭部装着型表示装置にも同様に適用可能である。
As the image display unit, instead of the
また、上記実施形態において、頭部装着型表示装置100は、使用者の左右の眼に同じ画像を表わす画像光を導いて使用者に二次元画像を視認させるとしてもよいし、使用者の左右の眼に異なる画像を表わす画像光を導いて使用者に三次元画像を視認させるとしてもよい。
In the above-described embodiment, the head-mounted
また、上記実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、上記実施形態では、画像処理部160や音声処理部170は、CPU140がコンピュータープログラムを読み出して実行することにより実現されるとしているが、これらの機能部はハードウェア回路により実現されるとしてもよい。
In the above embodiment, a part of the configuration realized by hardware may be replaced by software, and conversely, a part of the configuration realized by software may be replaced by hardware. Good. For example, in the above-described embodiment, the
また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア(コンピュータープログラム)は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやCD−ROMのような携帯型の記録媒体に限らず、各種のRAMやROM等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。 In addition, when part or all of the functions of the present invention are realized by software, the software (computer program) can be provided in a form stored in a computer-readable recording medium. In the present invention, the “computer-readable recording medium” is not limited to a portable recording medium such as a flexible disk or a CD-ROM, but an internal storage device in a computer such as various RAMs and ROMs, a hard disk, etc. It also includes an external storage device fixed to the computer.
また、上記実施形態では、図1および図2に示すように、制御部10と画像表示部20とが別々の構成として形成されているが、制御部10と画像表示部20との構成については、これに限られず、種々変形可能である。例えば、画像表示部20の内部に、制御部10に形成された構成の全てが形成されてもよいし、一部が形成されてもよい。また、上記実施形態における電源130が単独で形成されて、交換可能な構成であってもよいし、制御部10に形成された構成が重複して画像表示部20に形成されていてもよい。例えば、図2に示すCPU140が制御部10と画像表示部20との両方に形成されていてもよいし、制御部10に形成されたCPU140と画像表示部20に形成されたCPUとが行なう機能が別々に分けられている構成としてもよい。
Moreover, in the said embodiment, as shown in FIG. 1 and FIG. 2, the
また、制御部10がパーソナルコンピューター(PC)に内蔵されて、PCのモニターに代えて画像表示部20が使用される態様であってもよいし、制御部10と画像表示部20とが一体化して、使用者の衣服に取り付けられるウェアラブルコンピューターの態様であってもよい。
Further, the
本発明は、上記実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行なうことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。 The present invention is not limited to the above-described embodiments and modifications, and can be realized with various configurations without departing from the spirit of the present invention. For example, the technical features in the embodiments and the modifications corresponding to the technical features in each form described in the summary section of the invention are to solve some or all of the above-described problems, or In order to achieve part or all of the effects, replacement or combination can be performed as appropriate. Further, if the technical feature is not described as essential in the present specification, it can be deleted as appropriate.
10…制御部
11…決定キー
12…点灯部
13…表示切替キー
14…トラックパッド
15…輝度切替キー
16…方向キー
17…メニューキー
18…電源スイッチ
20…画像表示部
21…右保持部
22…右表示駆動部
23…左保持部
24…左表示駆動部
26…右光学像表示部
28…左光学像表示部
30…イヤホンプラグ
32…右イヤホン
34…左イヤホン
40…接続部
42…右コード
44…左コード
46…連結部材
48…本体コード
51…送信部
52…送信部
53…受信部
54…受信部
61…カメラ(撮像部)
100…頭部装着型表示装置
110…入力情報取得部
120…記憶部
130…電源
132…無線通信部
135…操作部
140…CPU
150…オペレーティングシステム
160…画像処理部
165…画像データ処理部(画像データ補正部)
170…音声処理部
180…インターフェイス
190…表示制御部
201…右バックライト制御部
202…左バックライト制御部
211…右LCD制御部
212…左LCD制御部
221…右バックライト
222…左バックライト
241…右LCD
242…左LCD
251…右投写光学系
252…左投写光学系
261…右導光板
262…左導光板
DT0…原画像データ
DTa…補正画像データ
DTc…合成画像データ
DTs…外景画像データ
DTsh…対応外景画像データ
DTsa…修正外景画像データ
px11,px12,px13,px14,px51,px52…画素(領域)
IMG0,IMG0a,IMG1,IMG2…画像
RA1…撮像範囲
CA1,CA2,CA3…補正画像生成領域
OA…外部機器
SC…外景
PN…最大画像表示領域(画像生成可能領域)
VR…視野
EL,ER…端部
AP…先端部
PL…画像光
IL…照明光
LE…左眼
RE…右眼
VSync…垂直同期信号
HSync…水平同期信号
PCLK…クロック信号
DESCRIPTION OF
DESCRIPTION OF
150 ...
170 ...
242 ... Left LCD
251 ... Right projection
IMG0, IMG0a, IMG1, IMG2 ... image RA1 ... imaging range CA1, CA2, CA3 ... corrected image generation area OA ... external device SC ... outside scene PN ... maximum image display area (image generation possible area)
VR ... Field of view EL, ER ... End AP ... Tip part PL ... Image light IL ... Illumination light LE ... Left eye RE ... Right eye VSync ... Vertical sync signal HSync ... Horizontal sync signal PCLK ... Clock signal
Claims (10)
使用者の頭部に装着された状態において、表示用画像データに基づいて画像光を生成して前記画像光を使用者に視認させる共に、外景を透過させる画像表示部と、
外景を撮像して、外景画像を表わす外景画像データを生成する撮像部と、
使用者の視野角の特性に基づいて前記表示用画像データの内の少なくとも一部のデータを選択し、前記外景画像データに基づいて選択したデータを補正する画像データ補正部と、を備える、頭部装着型表示装置。 A transmissive head-mounted display device,
An image display unit configured to generate image light based on display image data and allow the user to visually recognize the image light while being attached to the user's head;
An imaging unit that images the outside scene and generates outside scene image data representing the outside scene image;
An image data correction unit that selects at least a portion of the display image data based on a viewing angle characteristic of a user and corrects the selected data based on the outside scene image data. Part-mounted display device.
前記画像データ補正部が選択したデータは、前記画像表示部が前記画像光を生成する領域である画像表示領域に対応する部分のデータである、頭部装着型表示装置。 The head-mounted display device according to claim 1,
The head-mounted display device, wherein the data selected by the image data correction unit is data of a portion corresponding to an image display region that is a region where the image display unit generates the image light.
前記画像データ補正部は、前記画像表示領域、かつ、前記画像表示部が画像光を生成可能な領域である画像生成可能領域における周辺部分に対応する部分のデータを補正しない、頭部装着型表示装置。 The head-mounted display device according to claim 2,
The image data correction unit is a head-mounted display that does not correct data in a portion corresponding to a peripheral portion in the image display region and an image generation possible region in which the image display unit can generate image light. apparatus.
前記撮像部は、想定される使用者の視線方向である想定視線方向を含む外景を撮像し、
前記画像データ補正部は、前記撮像部の画角が、水平方向において前記想定視線方向から左右のそれぞれに対して100度以内、かつ、垂直方向において前記想定視線方向から上に対して50度以内および下に対して75度以内の第1の領域を越える場合には、前記第1の領域を越える領域に対応する部分のデータを補正しない、頭部装着型表示装置。 The head-mounted display device according to claim 3,
The imaging unit captures an outside scene including an assumed line-of-sight direction, which is an assumed user's line-of-sight direction,
The image data correction unit is configured such that the angle of view of the imaging unit is within 100 degrees with respect to each of the left and right sides from the assumed sight line direction in the horizontal direction, and within 50 degrees with respect to the upper side from the assumed sight line direction in the vertical direction. The head-mounted display device does not correct the data corresponding to the area exceeding the first area when the first area within 75 degrees with respect to the lower side is exceeded.
前記画像データ補正部は、前記撮像部の画角が、水平方向において前記想定視線方向から左右のそれぞれに対して45度以内、かつ、垂直方向において前記想定視線方向から上下のそれぞれに対して35度以内の第2の領域を越える場合には、前記第2の領域を越える領域に対応する部分のデータを補正しない、頭部装着型表示装置。 The head-mounted display device according to claim 4,
In the image data correction unit, the angle of view of the imaging unit is within 45 degrees with respect to each of the left and right from the assumed visual line direction in the horizontal direction, and 35 with respect to each of the upper and lower sides from the assumed visual line direction in the vertical direction. A head-mounted display device that does not correct data in a portion corresponding to a region exceeding the second region when the second region within the second range is exceeded.
前記画像データ補正部は、前記撮像部の画角が、水平方向において前記想定視線方向から左右のそれぞれに対して30度以内、かつ、垂直方向において前記想定視線方向から上下のそれぞれに対して23度以内の第3の領域を越える場合には、前記第3の領域を越える領域に対応する部分のデータを補正しない、頭部装着型表示装置。 The head-mounted display device according to claim 5,
The image data correction unit is configured such that the angle of view of the imaging unit is within 30 degrees with respect to each of the left and right sides of the assumed sight line direction in the horizontal direction and 23 with respect to each of the upper and lower sides from the assumed sight line direction in the vertical direction. The head-mounted display device that does not correct the data corresponding to the area exceeding the third area when exceeding the third area within the range.
前記撮像部は、想定される使用者の視線方向である想定視線方向を含むと共に、前記撮像部の画角が、水平方向において前記想定視線方向から左右のそれぞれに対して15度以内、かつ、垂直方向において前記想定視線方向から上下のそれぞれに対して10度以内の第4の領域を含む外景を撮像し、
前記画像データ補正部は、前記第4の領域、かつ、前記画像表示領域における周辺部分に対応する部分のデータを補正する、頭部装着型表示装置。 The head-mounted display device according to any one of claims 3 to 6,
The imaging unit includes an assumed line-of-sight direction that is an assumed user's line-of-sight direction, and an angle of view of the imaging unit is within 15 degrees with respect to each of the left and right from the assumed line-of-sight direction in the horizontal direction, and In the vertical direction, image an outside scene including a fourth area within 10 degrees with respect to each of the upper and lower sides from the assumed visual line direction,
The head-mounted display device, wherein the image data correction unit corrects data in a portion corresponding to a peripheral portion in the fourth region and the image display region.
前記画像データ補正部は、前記外景画像データを複数の領域に分け、前記複数の領域における各データの色を表わす指標値が所定の閾値以内である場合に、前記複数の領域における各データの前記指標値を同一の前記指標値として置き換える、頭部装着型表示装置。 The head-mounted display device according to any one of claims 1 to 7,
The image data correction unit divides the outside scene image data into a plurality of regions, and when an index value representing a color of each data in the plurality of regions is within a predetermined threshold, the data of the data in the plurality of regions A head-mounted display device that replaces an index value with the same index value.
前記画像データ補正部は、供給された原画像データおよび前記外景画像データに基づいて補正画像データを生成し、
前記画像表示部は、前記表示用画像データとしての前記補正画像データに基づいて画像光を生成する、頭部装着型表示装置。 The head-mounted display device according to any one of claims 1 to 8,
The image data correction unit generates corrected image data based on the supplied original image data and the outside scene image data,
The head-mounted display device, wherein the image display unit generates image light based on the corrected image data as the display image data.
使用者の視野角の特性に基づいて前記表示用画像データの内の少なくとも一部のデータを選択し、前記外景画像データに基づいて選択したデータを補正する工程を備える、制御方法。 An image display unit that generates image light based on display image data and allows the user to visually recognize the image light and transmits the outside scene, and captures the outside scene while being mounted on the user's head. An imaging unit that generates outside scene image data representing an image, and a control method for a transmissive head-mounted display device comprising:
A control method comprising the steps of: selecting at least a part of the display image data based on a user viewing angle characteristic and correcting the selected data based on the outside scene image data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013038161A JP6273677B2 (en) | 2013-02-28 | 2013-02-28 | Head-mounted display device and method for controlling head-mounted display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013038161A JP6273677B2 (en) | 2013-02-28 | 2013-02-28 | Head-mounted display device and method for controlling head-mounted display device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014165893A true JP2014165893A (en) | 2014-09-08 |
JP6273677B2 JP6273677B2 (en) | 2018-02-07 |
Family
ID=51616076
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013038161A Active JP6273677B2 (en) | 2013-02-28 | 2013-02-28 | Head-mounted display device and method for controlling head-mounted display device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6273677B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9817236B2 (en) | 2014-11-21 | 2017-11-14 | Seiko Epson Corporation | Controller and image display system having multiple attachment members |
JP2020198115A (en) * | 2016-03-15 | 2020-12-10 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | Method of operating augmented reality (ar) system |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0894960A (en) * | 1994-09-26 | 1996-04-12 | Olympus Optical Co Ltd | See-through type picture display device |
JPH09101477A (en) * | 1995-10-04 | 1997-04-15 | Canon Inc | Information display device |
JPH10301055A (en) * | 1997-04-25 | 1998-11-13 | Sony Corp | Image display device |
JP2010085786A (en) * | 2008-09-30 | 2010-04-15 | Brother Ind Ltd | Head-mounted display device |
JP2010177788A (en) * | 2009-01-27 | 2010-08-12 | Brother Ind Ltd | Head mounted display |
JP2012244453A (en) * | 2011-05-20 | 2012-12-10 | Panasonic Corp | Image display device, image display system, and three-dimensional spectacles |
-
2013
- 2013-02-28 JP JP2013038161A patent/JP6273677B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0894960A (en) * | 1994-09-26 | 1996-04-12 | Olympus Optical Co Ltd | See-through type picture display device |
JPH09101477A (en) * | 1995-10-04 | 1997-04-15 | Canon Inc | Information display device |
JPH10301055A (en) * | 1997-04-25 | 1998-11-13 | Sony Corp | Image display device |
JP2010085786A (en) * | 2008-09-30 | 2010-04-15 | Brother Ind Ltd | Head-mounted display device |
JP2010177788A (en) * | 2009-01-27 | 2010-08-12 | Brother Ind Ltd | Head mounted display |
JP2012244453A (en) * | 2011-05-20 | 2012-12-10 | Panasonic Corp | Image display device, image display system, and three-dimensional spectacles |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9817236B2 (en) | 2014-11-21 | 2017-11-14 | Seiko Epson Corporation | Controller and image display system having multiple attachment members |
JP2020198115A (en) * | 2016-03-15 | 2020-12-10 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | Method of operating augmented reality (ar) system |
US11257285B2 (en) | 2016-03-15 | 2022-02-22 | Magic Leap, Inc. | Direct light compensation technique for augmented reality system |
JP7054406B2 (en) | 2016-03-15 | 2022-04-13 | マジック リープ, インコーポレイテッド | How to operate an Augmented Reality (AR) system |
Also Published As
Publication number | Publication date |
---|---|
JP6273677B2 (en) | 2018-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9613592B2 (en) | Head mounted display device and control method for head mounted display device | |
US9823473B2 (en) | Head-mounted display device and control method for head-mounted display device | |
JP6375591B2 (en) | Head-mounted display device, head-mounted display device control method, and image display system | |
JP5970872B2 (en) | Head-mounted display device and method for controlling head-mounted display device | |
JP6398157B2 (en) | Head-mounted display device and method for controlling head-mounted display device | |
JP6094305B2 (en) | Head-mounted display device and method for controlling head-mounted display device | |
JP6488786B2 (en) | Head-mounted display device, head-mounted display device control method, and computer program | |
JP6459380B2 (en) | Head-mounted display device, head-mounted display device control method, and computer program | |
JP2015046092A (en) | Image processing device and head-mounted type display device having the same | |
US10416460B2 (en) | Head mounted display device, control method for head mounted display device, and computer program | |
JP6318596B2 (en) | Information processing apparatus and information processing apparatus control method | |
JP2016142887A (en) | Head-mounted display device and control method of the same, and computer program | |
JP6268778B2 (en) | Head-mounted display device and method for controlling head-mounted display device | |
JP2016133399A (en) | Head-mounted display device and method of controlling head-mounted display device, and computer program | |
JP6337534B2 (en) | Head-mounted display device and method for controlling head-mounted display device | |
JP6135162B2 (en) | Head-mounted display device, head-mounted display device control method, and image display system | |
JP6252002B2 (en) | Head-mounted display device and method for controlling head-mounted display device | |
JP6331374B2 (en) | Head-mounted display device | |
JP6273677B2 (en) | Head-mounted display device and method for controlling head-mounted display device | |
JP2015087523A (en) | Head-mounted display device, method for controlling head-mounted display device, and image display system | |
JP6369583B2 (en) | Head-mounted display device and method for controlling head-mounted display device | |
JP6136162B2 (en) | Head-mounted display device and method for controlling head-mounted display device | |
JP6304415B2 (en) | Head-mounted display device and method for controlling head-mounted display device | |
JP2016186658A (en) | Head-mount type display device and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151209 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20160530 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161027 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170620 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170710 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171225 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6273677 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |