JP2010146481A - ヘッドマウントディスプレイ - Google Patents
ヘッドマウントディスプレイ Download PDFInfo
- Publication number
- JP2010146481A JP2010146481A JP2008325760A JP2008325760A JP2010146481A JP 2010146481 A JP2010146481 A JP 2010146481A JP 2008325760 A JP2008325760 A JP 2008325760A JP 2008325760 A JP2008325760 A JP 2008325760A JP 2010146481 A JP2010146481 A JP 2010146481A
- Authority
- JP
- Japan
- Prior art keywords
- hand
- user
- image
- virtual panel
- depth direction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 claims abstract description 53
- 230000009471 action Effects 0.000 claims abstract description 13
- 238000003384 imaging method Methods 0.000 claims description 142
- 239000003550 marker Substances 0.000 claims description 28
- 238000004364 calculation method Methods 0.000 claims description 24
- 238000000034 method Methods 0.000 description 243
- 230000008569 process Effects 0.000 description 242
- 210000003128 head Anatomy 0.000 description 39
- 230000003287 optical effect Effects 0.000 description 27
- 238000004458 analytical method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 210000005252 bulbus oculi Anatomy 0.000 description 5
- 239000013307 optical fiber Substances 0.000 description 5
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2380/00—Specific applications
- G09G2380/02—Flexible displays
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Controls And Circuits For Display Device (AREA)
- Position Input By Displaying (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【解決手段】各コマンドが割り当てられた仮想パネルが奥行き方向に積層配置された立体視画像である仮想パネル画像を生成し、前記画像生成部に出力する仮想パネル生成手段と、前記ユーザの手の奥行き方向位置及び動作を検出する手位置動作検出手段と、前記手位置動作検出手段が検出した前記ユーザの手の奥行き方向位置及び動作から、前記ユーザの前記仮想パネルの選択動作を検出し、当該仮想パネルに割り当てられたコマンドを選択するコマンド選択手段を有することを特徴とするヘッドマウントディスプレイ。
【選択図】図3
Description
前記頭部装着部に取り付けられ、前記ユーザに画像を視認させる画像生成部を有するヘッドマウントディスプレイにおいて、
各コマンドが割り当てられた仮想パネルが奥行き方向に積層配置されたように視認される画像である仮想パネル画像を生成し、前記画像生成部に出力する仮想パネル生成手段と、
前記ユーザの手の奥行き方向位置及び動作を検出する手位置動作検出手段と、
前記手位置動作検出手段が検出した前記ユーザの手の奥行き方向位置から、前記ユーザが選択しようとしている仮想パネルを検出し、前記ユーザの選択動作から、当該仮想パネルに割り当てられたコマンドを選択するコマンド選択手段を有することを特徴とする。
手位置動作検出手段を、
間隔をおいて頭部装着部の前部に取り付けられた複数の撮像装置と、
前記各撮像装置が撮像した撮像画像から、ユーザの手の撮像座標を算出し、当該各撮像座標から、前記ユーザの手の奥行き方向の座標を算出する手座標算出手段とから構成し、
コマンド選択手段は、前記手座標算出手段が算出した前記ユーザの手の奥行き方向の座標に基づいて、前記ユーザの手の奥行き方向の位置及び動作を算出し、当該ユーザの手の奥行き方向の位置及び動作に基づいて、仮想パネルに割り当てられたコマンドを選択することを特徴とする。
手位置動作検出手段を、
間隔をおいて頭部装着部の前部に取り付けられた複数の撮像装置と、
前記各撮像装置が撮像した撮像画像から、ユーザの手の撮像座標を算出し、当該各撮像座標から、前記ユーザの手の奥行き方向の座標を算出する手座標算出手段と、
ユーザの手の動作を検出し手動作信号を生成する、ユーザの手に取り付けられたセンサとから構成し、
コマンド選択手段は、
前記手座標算出手段が算出した前記ユーザの手奥行き方向の座標に基づいて、ユーザが選択しようとしている仮想パネルを認識し、
前記センサが検出した手動作信号から、ユーザの前記仮想パネルの選択動作を判断し、当該仮想パネルに割り当てられたコマンドを選択することを特徴とする。
仮想パネル生成手段は、
仮想パネル画像を生成する前に、
ユーザから近位置及び遠位置に仮想的に表示されるマーカ画像を生成して画像生成部に出力し、
ユーザの各マーカ画像の選択動作から手位置動作検出手段が検出したユーザの手の奥行き方向の位置情報から、前記遠位置及び近位置の奥行き方向の座標を算出し、
算出された前記近位置及び遠位置の間に、複数の仮想パネルを、積層配置して仮想パネル画像を生成することを特徴とする。
仮想パネル生成手段は、コマンド選択手段が検出したユーザの手のある位置の仮想パネルを、強調表示することを特徴とする。
コマンド選択手段は、手位置動作検出手段が検出したユーザの手の位置が、一定時間以上、所定範囲内にあると判断した場合に、前記手位置動作検出手段が検出したユーザの手のある位置の仮想パネルを選択することを特徴とする。
このため、ユーザが物理的なボタンを触ることなく、画面の切替等の操作をすることが可能となる。
なお、ユーザの頭がわずかでも動いた場合、ヘッドマウントディスプレイが表示する仮想パネルと検出された手の位置は、ユーザの視線方向に垂直な面方向では、大きくずれてしまうが、ヘッドマウントディスプレイに対するユーザの手の奥行き方向の位置関係はほぼ変化しない。通常、ヘッドマウントディスプレイを装着したユーザの頭は絶えずわずかながらでも動いているが、このようなユーザの頭の自然な動きがあっても、本発明では、ヘッドマウントディスプレイに対するユーザの手の奥行き方向の位置を検知して、コマンドを選択することとしたので、仮想パネルとユーザの手の奥行き方向の位置関係はほぼ変化しないことから、極めて誤検出の少なく、信頼性が高く、コマンドを選択することが可能となる。
また、ユーザの頭部がどの方向を向いたとしても、画像表示部で仮想パネル画像を表示することができ、ユーザが不自然な作業を強いられる状況下であっても、ユーザは仮想パネルに割り当てられたコマンドを選択することが可能となり、大変利用価値が高い。
このため、コマンドを選択するための、センサをユーザが手に装着する必要がなく、手を自由に使うことができる。
また、ユーザの頭が揺れたとしても、ユーザの頭の動きにつれて複数の撮像装置も動き、撮影装置に対するユーザの手の位置が変化しても、複数の撮像装置が撮像するユーザの手の視差は変わらないので、ヘッドマウントディスプレイに対するユーザの手の奥行き方向の座標を安定して検出することができる。
このため、ユーザの頭が動いて、撮像装置で手が振られた動作のように撮像されたとしても、ユーザの手に取り付けられたセンサで、仮想パネルの選択動作を検出するので、ユーザの頭の動きにより、仮想パネルが誤選択されることを確実に防止し、ユーザが選択を所望する仮想パネルを確実に検出することが可能となる。
このように、マーカ画像の奥行き方向の位置としてユーザが認識したい位置と、手の奥行き方向の実際の位置との対応を、ユーザ自身が決定することができるようにすると、奥行き方向に積層配置されたようにユーザが感じるよう平面上に表示された仮想パネルであっても、ユーザごとの個人差を吸収し、ユーザが操作しやすい手の動作範囲に仮想パネルを生成することが可能となる。
このため、ユーザは、コマンドを選択する前に、選択しようとしているコマンドに対応する仮想パネルを確認することができ、誤操作を回避することが可能となる。
仮想パネルは奥行き方向に積層配置されたようにユーザが感じるよう表示されているが、平面映像のため、積層されて見える仮想パネルの位置と手の奥行き方向の位置の対応が取りにくい。しかし、請求項5に記載の発明では、手のある位置の仮想パネルを強調表示することにしたので、強調表示された仮想パネルを見ながら手の奥行き位置を、ユーザが調整して誤りなく所望の仮想パネルを選択することが可能となる。
このため、ユーザが手を一定時間以上停止させるという簡単な操作で、コマンドを選択することができ、ユーザフレンドリーである。
このため、予め設定されている選択動作でしか、コマンドが選択されないので、誤ってコマンドを選択してしまうことを回避することが可能となる。なお、撮像装置が手を撮像しているときに、手を止めて頭を動かしても生じないような手の動作を、選択動作として予め設定しておけば、頭が動いても誤検出することなくユーザの手のある位置の仮想パネルを選択することができる。
以下に、図面を参照しつつ本発明の好ましい実施の形態を示す。図1は第1の実施形態のヘッドマウントディスプレイ100の全体図である。第1の実施形態のヘッドマウントディスプレイ100は、頭部装着部10、画像生成部20、撮像装置31、32、制御部40とから構成されている。
例えば、図12の(B)に示される例では、ユーザはツリー階層において「画像選択」のコマンドを選択し、第2階層において「フォルダの一覧を表示」のコマンドを選択し、第3階層において「フォルダaを選択」のコマンドを選択し、第4階層において「フォルダAを選択」のコマンドを選択し、最下階層において「ファイル1を表示」のコマンドを選択すると、ファイル1が画像生成部20で表示される。或いは、ファイルが画像生成部20で表示されている状態において、ユーザが、最下階層において「次のファイルに進む」のコマンドを選択すると、同一フォルダ内の次のファイルが画像生成部20で表示される。
制御部40は、CPU41、RAM42、ROM43、不揮発性メモリ44、右撮像装置コントローラ45、右撮像装置用VRAM46、左撮像装置コントローラ47、左撮像装置用VRAM48、画像生成部コントローラ49、画像生成部用VRAM50、インターフェース51とから構成され、これらは相互にバス55で接続されている。
図6に第1の実施形態のメイン処理のフロー図を示し、以下当該フローについて説明する。第1の実施形態のメインフロー処理が開始すると、S11「キャリブレーション」の処理に進む。S11の処理において、仮想パネル生成プログラム43aは、「キャリブレーション」処理を実行する。詳しくは、図7及び図8を用いて後述するが、この処理において、仮想パネル生成プログラム43aは、各仮想パネル501を積層配置する、奥行き方向の座標(z座標)を決定する。S11の処理が終了すると、S12「仮想パネル表示」の処理に進む。
図7にキャリブレーション処理のフロー図を示し、図8にキャリブレーション処理の説明図を示して、以下キャリブレーション処理について説明をする。なお、図8はユーザの視界を示した図である。キャリブレーション処理は、ユーザが近いと感じる位置(近位置)に、画像生成部20がマーカ画像505を表示させ(図8の(A))、ユーザが遠いと感じる位置(遠位置)に、画像生成部20がマーカ画像506を表示させ(図8の(B))、ユーザに前記マーカ画像505、506を選択させて、当該マーカ画像505、506の間に、仮想パネル501を配置するための座標を算出する処理である。このように、キャリブレーション処理を行うことにより、画像生成部20で生成させる画像のユーザ毎の遠近感の個人差を吸収し、ユーザが違和感を覚えないようにしている。
図9に手位置検出処理のフロー図を示し、以下当該フローについて説明する。手位置検出処理が開始すると、S51「右撮像装置撮像」の処理に進む。S51の処理において、右撮像装置31は、撮像処理を行い、右撮像装置31のイメージセンサの出力信号を、順次、右撮像装置コントローラ45に出力する。右撮像装置コントローラ45は、右撮像装置31のイメージセンサの各画素のR(赤)G(緑)B(青)の各原色の信号に基づいて、各画素についての各原色(R、G、B)を階調表現し、「撮像画像」を生成し、右撮像装置用VRAM46に保存する。S51の処理が終了すると、S52「色解析」の処理に進む。
図10に色解析処理のフロー図を示して、以下当該処理について説明する。色解析処理が開始すると、S61「RGB分解」の処理において、手位置検出プログラム43bは、右撮像装置用VRAM46に保存された「撮像画像」の各画素についてRGBの各原色の階調の強弱を数値化する処理を行う。S61の処理が終了すると、S63「設定色領域抽出」の処理に進む。
図13に第2の実施形態のヘッドマウントディスプレイ110のブロック図を示し、図15に第2の実施形態のヘッドマウントディスプレイ110の全体図を示して、以下、第1の実施形態と異なる点について第2の実施形態のヘッドマウントディスプレイ110について説明する。第2の実施形態では、仮想パネル501の押下を、ユーザの手に取り付けられたセンサ70が検出したユーザの手の動きにより、決定する実施形態である。
20 画像生成部
21 画像光生成部
22 コリメート光学系
23 水平走査部
23a 共振型偏向素子
23b 水平走査制御回路
23c 水平走査角検出回路
23d 反射面
24 垂直走査部
24a 偏向素子
24b 垂直走査制御回路
24c 垂直走査検出回路
24d 反射面
25 リレー光学系
26 リレー光学系
26a レンズ系
26b レンズ系
27 光ファイバ
31 右撮像装置
32 左撮像装置
40 制御部
41 CPU
42 RAM
43 ROM
43a 仮想パネル生成プログラム
43b 手位置検出プログラム
43c 手座標算出手段
43d コマンド選択手段
43e 手マッチングデータ
44 不揮発性メモリ
45 右撮像装置コントローラ
46 右撮像装置用VRAM
47 左撮像装置コントローラ
48 左撮像装置用VRAM
49 画像生成部コントローラ
50 画像生成部用VRAM
51 インターフェース
52 センサ用インターフェース
55 バス
60 操作スイッチ
61 電源ランプ
70 センサ
100 ヘッドマウントディスプレイ(第1の実施形態)
110 ヘッドマウントディスプレイ(第2の実施形態)
211 信号処理回路
212 光源部
212a Bレーザドライバ
212b Gレーザドライバ
212c Rレーザドライバ
212d Bレーザ
212e Gレーザ
212f Rレーザ
213 光合成部
213a〜213c コリメート光学系
213d〜213f ダイナミックミラー
213g 結合光学系
214a B(青)の画像信号
214b G(緑)の画像信号
214c R(赤)の画像信号
215 水平駆動信号
216 垂直駆動信号
500 仮想パネル画像
501 仮想パネル
505 マーカ画像(近位置)
506 マーカ画像(遠位置)
601 ユーザの手(指)
E 眼球
Ea 瞳孔
Claims (7)
- ユーザの頭部に装着される頭部装着部と、
前記頭部装着部に取り付けられ、前記ユーザに画像を視認させる画像生成部を有するヘッドマウントディスプレイにおいて、
各コマンドが割り当てられた仮想パネルが奥行き方向に積層配置されたように視認される画像である仮想パネル画像を生成し、前記画像生成部に出力する仮想パネル生成手段と、
前記ユーザの手の奥行き方向位置及び動作を検出する手位置動作検出手段と、
前記手位置動作検出手段が検出した前記ユーザの手の奥行き方向位置から、前記ユーザが選択しようとしている仮想パネルを検出し、前記ユーザの選択動作から、当該仮想パネルに割り当てられたコマンドを選択するコマンド選択手段を有することを特徴とするヘッドマウントディスプレイ。 - 手位置動作検出手段を、
間隔をおいて頭部装着部の前部に取り付けられた複数の撮像装置と、
前記各撮像装置が撮像した撮像画像から、ユーザの手の撮像座標を算出し、当該各撮像座標から、前記ユーザの手の奥行き方向の座標を算出する手座標算出手段とから構成し、
コマンド選択手段は、前記手座標算出手段が算出した前記ユーザの手の奥行き方向の座標に基づいて、前記ユーザの手の奥行き方向の位置及び動作を算出し、当該ユーザの手の奥行き方向の位置及び動作に基づいて、仮想パネルに割り当てられたコマンドを選択することを特徴とする請求項1に記載のヘッドマウントディスプレイ。 - 手位置動作検出手段を、
間隔をおいて頭部装着部の前部に取り付けられた複数の撮像装置と、
前記各撮像装置が撮像した撮像画像から、ユーザの手の撮像座標を算出し、当該各撮像座標から、前記ユーザの手の奥行き方向の座標を算出する手座標算出手段と、
ユーザの手の動作を検出し手動作信号を生成する、ユーザの手に取り付けられたセンサとから構成し、
コマンド選択手段は、
前記手座標算出手段が算出した前記ユーザの手奥行き方向の座標に基づいて、ユーザが選択しようとしている仮想パネルを認識し、
前記センサが検出した手動作信号から、ユーザの前記仮想パネルの選択動作を判断し、当該仮想パネルに割り当てられたコマンドを選択することを特徴とする請求項1に記載のヘッドマウントディスプレイ。 - 仮想パネル生成手段は、
仮想パネル画像を生成する前に、
ユーザから近位置及び遠位置に仮想的に表示されるマーカ画像を生成して画像生成部に出力し、
ユーザの各マーカ画像の選択動作から手位置動作検出手段が検出したユーザの手の奥行き方向の位置情報から、前記遠位置及び近位置の奥行き方向の座標を算出し、
算出された前記近位置及び遠位置の間に、複数の仮想パネルを、積層配置して仮想パネル画像を生成することを特徴とする請求項1〜3のいずれかに記載のヘッドマウントディスプレイ。 - 仮想パネル生成手段は、コマンド選択手段が検出したユーザの手のある位置の仮想パネルを、強調表示することを特徴とする請求項1〜4のいずれかに記載のヘッドマウントディスプレイ。
- コマンド選択手段は、手位置動作検出手段が検出したユーザの手の位置が、一定時間以上、所定範囲内にあると判断した場合に、前記手位置動作検出手段が検出したユーザの手のある位置の仮想パネルを選択することを特徴とする請求項1〜5のいずれかに記載のヘッドマウントディスプレイ。
- コマンド選択手段は、手位置動作検出手段が検出したユーザの手の動作が、予め設定されている選択動作であると判断した場合に、前記手位置動作検出手段が検出したユーザの手のある位置の仮想パネルを選択することを特徴とする請求項1〜5のいずれかに記載のヘッドマウントディスプレイ。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008325760A JP5262681B2 (ja) | 2008-12-22 | 2008-12-22 | ヘッドマウントディスプレイ及びそのプログラム |
PCT/JP2009/070819 WO2010073928A1 (ja) | 2008-12-22 | 2009-12-14 | ヘッドマウントディスプレイ |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008325760A JP5262681B2 (ja) | 2008-12-22 | 2008-12-22 | ヘッドマウントディスプレイ及びそのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010146481A true JP2010146481A (ja) | 2010-07-01 |
JP5262681B2 JP5262681B2 (ja) | 2013-08-14 |
Family
ID=42287544
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008325760A Expired - Fee Related JP5262681B2 (ja) | 2008-12-22 | 2008-12-22 | ヘッドマウントディスプレイ及びそのプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5262681B2 (ja) |
WO (1) | WO2010073928A1 (ja) |
Cited By (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010015553A (ja) * | 2008-06-03 | 2010-01-21 | Shimane Pref Gov | 画像認識装置および操作判定方法並びにプログラム |
JP2012043195A (ja) * | 2010-08-19 | 2012-03-01 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
JP2012053557A (ja) * | 2010-08-31 | 2012-03-15 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
WO2012147702A1 (ja) * | 2011-04-28 | 2012-11-01 | シャープ株式会社 | ヘッドマウントディスプレイ |
JP2012216123A (ja) * | 2011-04-01 | 2012-11-08 | Brother Ind Ltd | ヘッドマウントディスプレイ及びこれに用いられるプログラム |
JP2013016018A (ja) * | 2011-07-04 | 2013-01-24 | Canon Inc | 表示制御装置、制御方法及びプログラム |
JP2013045255A (ja) * | 2011-08-23 | 2013-03-04 | Kyocera Corp | 表示機器 |
JP2013210723A (ja) * | 2012-03-30 | 2013-10-10 | Sharp Corp | 表示システム |
JP2014093703A (ja) * | 2012-11-06 | 2014-05-19 | Sony Computer Entertainment Inc | ヘッドマウントディスプレイ、動き検出装置、動き検出方法、および映像提示システム |
WO2014128748A1 (ja) * | 2013-02-19 | 2014-08-28 | 株式会社ブリリアントサービス | キャリブレーション装置、キャリブレーションプログラム、およびキャリブレーション方法 |
CN104662588A (zh) * | 2012-09-27 | 2015-05-27 | 京瓷株式会社 | 显示装置、控制系统和控制程序 |
JP2015114818A (ja) * | 2013-12-11 | 2015-06-22 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2015519673A (ja) * | 2012-06-14 | 2015-07-09 | クアルコム,インコーポレイテッド | 透明なヘッドマウントディスプレイ用のユーザインターフェースとの対話 |
KR101549031B1 (ko) | 2014-04-11 | 2015-09-02 | 서울시립대학교 산학협력단 | 포인팅 기능을 제공하는 장치, 방법 및 기록매체 |
TWI501130B (zh) * | 2010-10-18 | 2015-09-21 | Ind Tech Res Inst | 虛擬觸控輸入系統 |
WO2016006759A1 (en) * | 2014-07-09 | 2016-01-14 | Lg Electronics Inc. | Display device having scope of accreditation in cooperation with depth of virtual object and controlling method thereof |
JP2016024752A (ja) * | 2014-07-24 | 2016-02-08 | セイコーエプソン株式会社 | Gui装置 |
JP2016091192A (ja) * | 2014-10-31 | 2016-05-23 | パイオニア株式会社 | 虚像表示装置、制御方法、プログラム、及び記憶媒体 |
WO2016136838A1 (ja) * | 2015-02-25 | 2016-09-01 | 京セラ株式会社 | ウェアラブル装置、制御方法及び制御プログラム |
US9547372B2 (en) | 2013-08-29 | 2017-01-17 | Seiko Epson Corporation | Image processing device and head mounted display apparatus including the same |
US9557566B2 (en) | 2012-03-07 | 2017-01-31 | Seiko Epson Corporation | Head-mounted display device and control method for the head-mounted display device |
JPWO2014128752A1 (ja) * | 2013-02-19 | 2017-02-02 | 株式会社ブリリアントサービス | 表示制御装置、表示制御プログラム、および表示制御方法 |
JP2017032870A (ja) * | 2015-08-04 | 2017-02-09 | 富士通株式会社 | 画像投影装置及び画像表示システム |
CN106664398A (zh) * | 2014-07-09 | 2017-05-10 | Lg电子株式会社 | 具有与虚拟对象的深度协作的认可范围的显示装置及其控制方法 |
US9678663B2 (en) | 2011-11-28 | 2017-06-13 | Seiko Epson Corporation | Display system and operation input method |
US9690371B2 (en) | 2013-08-29 | 2017-06-27 | Seiko Epson Corporation | Head mounted display apparatus |
JP6189496B1 (ja) * | 2016-07-20 | 2017-08-30 | 株式会社コロプラ | 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体 |
JP2018142251A (ja) * | 2017-02-28 | 2018-09-13 | 株式会社コロプラ | 仮想現実を提供するための方法、および当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 |
US10096301B2 (en) | 2014-06-11 | 2018-10-09 | Samsung Electronics Co., Ltd | Method for controlling function and electronic device thereof |
JP2018173987A (ja) * | 2018-07-04 | 2018-11-08 | 株式会社ニコン | 検出装置、電子機器、検出方法およびプログラム |
JP2019086916A (ja) * | 2017-11-02 | 2019-06-06 | オリンパス株式会社 | 作業支援装置、作業支援方法、作業支援プログラム |
JP2019123503A (ja) * | 2019-02-25 | 2019-07-25 | パイオニア株式会社 | 虚像表示装置、制御方法、プログラム、及び記憶媒体 |
JP2019169181A (ja) * | 2014-03-03 | 2019-10-03 | ノキア テクノロジーズ オーユー | 装置と別装置との間の入力軸 |
US20200129850A1 (en) * | 2017-04-28 | 2020-04-30 | Sony Interactive Entertainment Inc. | Information processing device, control method of information processing device, and program |
JP2020513618A (ja) * | 2016-12-05 | 2020-05-14 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 複合現実環境における仮想ユーザ入力制御 |
WO2020209624A1 (en) * | 2019-04-11 | 2020-10-15 | Samsung Electronics Co., Ltd. | Head mounted display device and operating method thereof |
JP2021014262A (ja) * | 2020-10-26 | 2021-02-12 | パイオニア株式会社 | 虚像表示装置、制御方法、プログラム、及び記憶媒体 |
US11036351B2 (en) | 2017-08-04 | 2021-06-15 | Sony Corporation | Information processing device and information processing method |
JP2021179733A (ja) * | 2020-05-12 | 2021-11-18 | Necプラットフォームズ株式会社 | 装着装置、処理方法、プログラム |
US11334765B2 (en) | 2017-07-26 | 2022-05-17 | Magic Leap, Inc. | Training a neural network with representations of user interface devices |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5212521B2 (ja) * | 2011-07-07 | 2013-06-19 | 株式会社ニコン | 画像表示装置 |
CN103018905A (zh) * | 2011-09-23 | 2013-04-03 | 奇想创造事业股份有限公司 | 头戴式体感操控显示系统及其方法 |
JP6149403B2 (ja) * | 2013-01-07 | 2017-06-21 | セイコーエプソン株式会社 | 表示装置、および、表示装置の制御方法 |
WO2014128749A1 (ja) * | 2013-02-19 | 2014-08-28 | 株式会社ブリリアントサービス | 形状認識装置、形状認識プログラム、および形状認識方法 |
US10007351B2 (en) | 2013-03-11 | 2018-06-26 | Nec Solution Innovators, Ltd. | Three-dimensional user interface device and three-dimensional operation processing method |
US10514767B2 (en) | 2013-04-02 | 2019-12-24 | Sony Corporation | Information processing apparatus and information processing method |
WO2015030264A1 (ja) * | 2013-08-30 | 2015-03-05 | 国立大学法人山梨大学 | クリック動作検出装置,方法およびプログラム |
GB2535730B (en) * | 2015-02-25 | 2021-09-08 | Bae Systems Plc | Interactive system control apparatus and method |
WO2016135446A1 (en) | 2015-02-25 | 2016-09-01 | Bae Systems Plc | Interactive system control apparatus and method |
JP6144743B2 (ja) * | 2015-09-30 | 2017-06-07 | 京セラ株式会社 | ウェアラブル装置 |
JP6706323B2 (ja) * | 2016-07-12 | 2020-06-03 | 富士フイルム株式会社 | 画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム |
JP6789377B2 (ja) | 2017-03-27 | 2020-11-25 | サン電子株式会社 | 画像表示システム |
JP7119398B2 (ja) * | 2018-02-06 | 2022-08-17 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及びプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH086708A (ja) * | 1994-04-22 | 1996-01-12 | Canon Inc | 表示装置 |
JP2000102036A (ja) * | 1998-09-22 | 2000-04-07 | Mr System Kenkyusho:Kk | 複合現実感提示システム、複合現実感提示方法、マン・マシーンインタフェース装置、およびマン・マシーンインタフェース方法 |
JP2005301668A (ja) * | 2004-04-12 | 2005-10-27 | Seiko Epson Corp | 情報処理装置および情報処理プログラム |
JP2008500624A (ja) * | 2004-05-24 | 2008-01-10 | 3ディー フォー オール シャミタステクニカイ フェリャズト ケーエフティー | 仮想3次元空間内で動作するシステム及び方法と視覚化システムを介してオペレーションを選択するシステム |
-
2008
- 2008-12-22 JP JP2008325760A patent/JP5262681B2/ja not_active Expired - Fee Related
-
2009
- 2009-12-14 WO PCT/JP2009/070819 patent/WO2010073928A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH086708A (ja) * | 1994-04-22 | 1996-01-12 | Canon Inc | 表示装置 |
JP2000102036A (ja) * | 1998-09-22 | 2000-04-07 | Mr System Kenkyusho:Kk | 複合現実感提示システム、複合現実感提示方法、マン・マシーンインタフェース装置、およびマン・マシーンインタフェース方法 |
JP2005301668A (ja) * | 2004-04-12 | 2005-10-27 | Seiko Epson Corp | 情報処理装置および情報処理プログラム |
JP2008500624A (ja) * | 2004-05-24 | 2008-01-10 | 3ディー フォー オール シャミタステクニカイ フェリャズト ケーエフティー | 仮想3次元空間内で動作するシステム及び方法と視覚化システムを介してオペレーションを選択するシステム |
Cited By (66)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010015553A (ja) * | 2008-06-03 | 2010-01-21 | Shimane Pref Gov | 画像認識装置および操作判定方法並びにプログラム |
US8456416B2 (en) | 2008-06-03 | 2013-06-04 | Shimane Prefectural Government | Image recognition apparatus, and operation determination method and program therefor |
JP2012043195A (ja) * | 2010-08-19 | 2012-03-01 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
US9411410B2 (en) | 2010-08-19 | 2016-08-09 | Sony Corporation | Information processing device, method, and program for arranging virtual objects on a curved plane for operation in a 3D space |
US10241582B2 (en) | 2010-08-19 | 2019-03-26 | Sony Corporation | Information processing device, information processing method, and program for graphical user interface |
JP2012053557A (ja) * | 2010-08-31 | 2012-03-15 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
CN102385438A (zh) * | 2010-08-31 | 2012-03-21 | 索尼公司 | 信息处理设备,信息处理方法和程序 |
TWI501130B (zh) * | 2010-10-18 | 2015-09-21 | Ind Tech Res Inst | 虛擬觸控輸入系統 |
JP2012216123A (ja) * | 2011-04-01 | 2012-11-08 | Brother Ind Ltd | ヘッドマウントディスプレイ及びこれに用いられるプログラム |
US9024872B2 (en) | 2011-04-28 | 2015-05-05 | Sharp Kabushiki Kaisha | Head-mounted display |
WO2012147702A1 (ja) * | 2011-04-28 | 2012-11-01 | シャープ株式会社 | ヘッドマウントディスプレイ |
JP2013016018A (ja) * | 2011-07-04 | 2013-01-24 | Canon Inc | 表示制御装置、制御方法及びプログラム |
JP2013045255A (ja) * | 2011-08-23 | 2013-03-04 | Kyocera Corp | 表示機器 |
US9678663B2 (en) | 2011-11-28 | 2017-06-13 | Seiko Epson Corporation | Display system and operation input method |
US9557566B2 (en) | 2012-03-07 | 2017-01-31 | Seiko Epson Corporation | Head-mounted display device and control method for the head-mounted display device |
JP2013210723A (ja) * | 2012-03-30 | 2013-10-10 | Sharp Corp | 表示システム |
JP2015519673A (ja) * | 2012-06-14 | 2015-07-09 | クアルコム,インコーポレイテッド | 透明なヘッドマウントディスプレイ用のユーザインターフェースとの対話 |
JP2018165994A (ja) * | 2012-06-14 | 2018-10-25 | クアルコム,インコーポレイテッド | 透明なヘッドマウントディスプレイ用のユーザインターフェースとの対話 |
JP2016197461A (ja) * | 2012-06-14 | 2016-11-24 | クアルコム,インコーポレイテッド | 透明なヘッドマウントディスプレイ用のユーザインターフェースとの対話 |
US9547374B2 (en) | 2012-06-14 | 2017-01-17 | Qualcomm Incorporated | User interface interaction for transparent head-mounted displays |
CN104662588A (zh) * | 2012-09-27 | 2015-05-27 | 京瓷株式会社 | 显示装置、控制系统和控制程序 |
JP2014093703A (ja) * | 2012-11-06 | 2014-05-19 | Sony Computer Entertainment Inc | ヘッドマウントディスプレイ、動き検出装置、動き検出方法、および映像提示システム |
US10241331B2 (en) | 2012-11-06 | 2019-03-26 | Sony Interactive Entertainment Inc. | Head mounted display, motion detector, motion detection method, image presentation system and program |
US9448405B2 (en) | 2012-11-06 | 2016-09-20 | Sony Corporation | Head mounted display, motion detector, motion detection method, image presentation system and program |
WO2014128748A1 (ja) * | 2013-02-19 | 2014-08-28 | 株式会社ブリリアントサービス | キャリブレーション装置、キャリブレーションプログラム、およびキャリブレーション方法 |
JPWO2014128752A1 (ja) * | 2013-02-19 | 2017-02-02 | 株式会社ブリリアントサービス | 表示制御装置、表示制御プログラム、および表示制御方法 |
JPWO2014128748A1 (ja) * | 2013-02-19 | 2017-02-02 | 株式会社ブリリアントサービス | キャリブレーション装置、キャリブレーションプログラム、およびキャリブレーション方法 |
US9690371B2 (en) | 2013-08-29 | 2017-06-27 | Seiko Epson Corporation | Head mounted display apparatus |
CN110068926A (zh) * | 2013-08-29 | 2019-07-30 | 精工爱普生株式会社 | 显示装置 |
US9547372B2 (en) | 2013-08-29 | 2017-01-17 | Seiko Epson Corporation | Image processing device and head mounted display apparatus including the same |
CN110068926B (zh) * | 2013-08-29 | 2022-01-18 | 精工爱普生株式会社 | 显示装置 |
US10133344B2 (en) | 2013-08-29 | 2018-11-20 | Seiko Epson Corporation | Head mounted display apparatus |
JP2015114818A (ja) * | 2013-12-11 | 2015-06-22 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2019169181A (ja) * | 2014-03-03 | 2019-10-03 | ノキア テクノロジーズ オーユー | 装置と別装置との間の入力軸 |
KR101549031B1 (ko) | 2014-04-11 | 2015-09-02 | 서울시립대학교 산학협력단 | 포인팅 기능을 제공하는 장치, 방법 및 기록매체 |
US10096301B2 (en) | 2014-06-11 | 2018-10-09 | Samsung Electronics Co., Ltd | Method for controlling function and electronic device thereof |
CN106664398A (zh) * | 2014-07-09 | 2017-05-10 | Lg电子株式会社 | 具有与虚拟对象的深度协作的认可范围的显示装置及其控制方法 |
US9721540B2 (en) | 2014-07-09 | 2017-08-01 | Lg Electronics Inc. | Display device having scope of accreditation in cooperation with depth of virtual object and controlling method thereof |
WO2016006759A1 (en) * | 2014-07-09 | 2016-01-14 | Lg Electronics Inc. | Display device having scope of accreditation in cooperation with depth of virtual object and controlling method thereof |
JP2016024752A (ja) * | 2014-07-24 | 2016-02-08 | セイコーエプソン株式会社 | Gui装置 |
JP2016091192A (ja) * | 2014-10-31 | 2016-05-23 | パイオニア株式会社 | 虚像表示装置、制御方法、プログラム、及び記憶媒体 |
JPWO2016136838A1 (ja) * | 2015-02-25 | 2017-09-14 | 京セラ株式会社 | ウェアラブル装置、制御方法及び制御プログラム |
WO2016136838A1 (ja) * | 2015-02-25 | 2016-09-01 | 京セラ株式会社 | ウェアラブル装置、制御方法及び制御プログラム |
US10477090B2 (en) | 2015-02-25 | 2019-11-12 | Kyocera Corporation | Wearable device, control method and non-transitory storage medium |
JP2017032870A (ja) * | 2015-08-04 | 2017-02-09 | 富士通株式会社 | 画像投影装置及び画像表示システム |
JP2018013937A (ja) * | 2016-07-20 | 2018-01-25 | 株式会社コロプラ | 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体 |
JP6189496B1 (ja) * | 2016-07-20 | 2017-08-30 | 株式会社コロプラ | 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体 |
US11720223B2 (en) | 2016-12-05 | 2023-08-08 | Magic Leap, Inc. | Virtual user input controls in a mixed reality environment |
JP2020513618A (ja) * | 2016-12-05 | 2020-05-14 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 複合現実環境における仮想ユーザ入力制御 |
JP2018142251A (ja) * | 2017-02-28 | 2018-09-13 | 株式会社コロプラ | 仮想現実を提供するための方法、および当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 |
US11077360B2 (en) * | 2017-04-28 | 2021-08-03 | Sony Interactive Entertainment Inc. | Information processing device, control method of information processing device, and program |
US11260287B2 (en) | 2017-04-28 | 2022-03-01 | Sony Interactive Entertainment Inc. | Information processing device, control method of information processing device, and program |
US11896893B2 (en) | 2017-04-28 | 2024-02-13 | Sony Interactive Entertainment Inc. | Information processing device, control method of information processing device, and program |
US11617942B2 (en) | 2017-04-28 | 2023-04-04 | Sony Interactive Entertainment Inc. | Information processing device, control method of information processing device, and program |
US20200129850A1 (en) * | 2017-04-28 | 2020-04-30 | Sony Interactive Entertainment Inc. | Information processing device, control method of information processing device, and program |
US11630314B2 (en) | 2017-07-26 | 2023-04-18 | Magic Leap, Inc. | Training a neural network with representations of user interface devices |
US11334765B2 (en) | 2017-07-26 | 2022-05-17 | Magic Leap, Inc. | Training a neural network with representations of user interface devices |
US11036351B2 (en) | 2017-08-04 | 2021-06-15 | Sony Corporation | Information processing device and information processing method |
JP2019086916A (ja) * | 2017-11-02 | 2019-06-06 | オリンパス株式会社 | 作業支援装置、作業支援方法、作業支援プログラム |
JP2018173987A (ja) * | 2018-07-04 | 2018-11-08 | 株式会社ニコン | 検出装置、電子機器、検出方法およびプログラム |
JP2019123503A (ja) * | 2019-02-25 | 2019-07-25 | パイオニア株式会社 | 虚像表示装置、制御方法、プログラム、及び記憶媒体 |
US11520409B2 (en) | 2019-04-11 | 2022-12-06 | Samsung Electronics Co., Ltd. | Head mounted display device and operating method thereof |
WO2020209624A1 (en) * | 2019-04-11 | 2020-10-15 | Samsung Electronics Co., Ltd. | Head mounted display device and operating method thereof |
JP2021179733A (ja) * | 2020-05-12 | 2021-11-18 | Necプラットフォームズ株式会社 | 装着装置、処理方法、プログラム |
JP7100100B2 (ja) | 2020-10-26 | 2022-07-12 | パイオニア株式会社 | 虚像表示装置、制御方法、プログラム、及び記憶媒体 |
JP2021014262A (ja) * | 2020-10-26 | 2021-02-12 | パイオニア株式会社 | 虚像表示装置、制御方法、プログラム、及び記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP5262681B2 (ja) | 2013-08-14 |
WO2010073928A1 (ja) | 2010-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5262681B2 (ja) | ヘッドマウントディスプレイ及びそのプログラム | |
JP6724987B2 (ja) | 制御装置および検出方法 | |
JP6123365B2 (ja) | 画像表示システム及び頭部装着型表示装置 | |
TWI638188B (zh) | 顯示裝置、頭部配戴型顯示裝置、顯示系統及顯示裝置之控制方法 | |
JP5293154B2 (ja) | ヘッドマウントディスプレイ | |
JP4735234B2 (ja) | 画像表示システム | |
JP2010067083A (ja) | ヘッドマウントディスプレイ | |
JP2009245392A (ja) | ヘッドマウントディスプレイ及びヘッドマウントディスプレイシステム | |
EP2570891A1 (en) | Projector | |
WO2007116743A1 (ja) | 画像表示装置 | |
CN111684336A (zh) | 使用了视网膜扫描型显示部的图像显示装置及其方法 | |
CN108693648B (zh) | 图像显示装置 | |
US20220155881A1 (en) | Sensing movement of a hand-held controller | |
US20150185321A1 (en) | Image Display Device | |
JP6394165B2 (ja) | 虚像表示装置及び方法 | |
JP2011071884A (ja) | 作業支援システム | |
JP2017084136A (ja) | ジェスチャ入力装置 | |
JPH09204287A (ja) | 処理選択方法及び装置 | |
US20220277672A1 (en) | Display device, display method, and program | |
JP2023531302A (ja) | 動的な形状スケッチングのためのシステム及び方法 | |
JP2017068001A (ja) | 表示装置及び表示装置の制御方法 | |
JP6789377B2 (ja) | 画像表示システム | |
KR20210102210A (ko) | 상호 작용을 위한 물리적 인터페이스로서의 모바일 플랫폼 | |
US20240201502A1 (en) | Wearable terminal device, program, and display method | |
US20240176459A1 (en) | Wearable terminal device, program, and display method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110310 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120814 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120919 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130118 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130301 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130318 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130402 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130415 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5262681 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |