JP2017033334A - ヘッドマウントディスプレイ、データ出力方法、及びヘッドマウントディスプレイ用プログラム。 - Google Patents
ヘッドマウントディスプレイ、データ出力方法、及びヘッドマウントディスプレイ用プログラム。 Download PDFInfo
- Publication number
- JP2017033334A JP2017033334A JP2015153271A JP2015153271A JP2017033334A JP 2017033334 A JP2017033334 A JP 2017033334A JP 2015153271 A JP2015153271 A JP 2015153271A JP 2015153271 A JP2015153271 A JP 2015153271A JP 2017033334 A JP2017033334 A JP 2017033334A
- Authority
- JP
- Japan
- Prior art keywords
- data
- user
- mounted display
- head
- sight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 16
- 210000001508 eye Anatomy 0.000 claims abstract description 41
- 230000003190 augmentative effect Effects 0.000 claims abstract description 17
- 238000003384 imaging method Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 description 12
- 238000013500 data storage Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
Abstract
【解決手段】ユーザの目を覆って、仮想現実又は拡張現実として3次元空間データを出力するヘッドマウントディスプレイ10は、ユーザの目を撮影することで、ユーザの視線を検知し、検知したユーザの視線に基づいて、3次元データとして表示された対象物を特定し、対象物を関心対象データとして出力する。
【選択図】図1
Description
前記ユーザの目を撮影することで、前記ユーザの視線を検知する撮影手段と、
前記検知したユーザの視線に基づいて、3次元データとして表示された対象物を特定し、前記対象物を関心対象データとして出力する関心データ出力手段と、
を備えることを特徴とするヘッドマウントディスプレイを提供する。
前記ユーザの目を撮影することで、前記ユーザの視線を検知するステップと、
前記検知したユーザの視線に基づいて、3次元データとして表示された対象物を特定し、前記対象物を関心対象データとして出力するステップと、
を備えることを特徴とするデータ出力方法を提供する。
前記ユーザの目を撮影することで、前記ユーザの視線を検知するステップ、
前記検知したユーザの視線に基づいて、3次元データとして表示された対象物を特定し、前記対象物を関心対象データとして出力するステップ、
を備えることを特徴とするヘッドマウントディスプレイ用プログラムを提供する。
図1は、本発明の好適な実施形態であるヘッドマウントディスプレイ10の概要を説明するための図である。ヘッドマウントディスプレイ10は、カメラ100、ディスプレイ110、視線検知部120、データ出力部130及び記憶部140から構成される。
図2は、本発明の好適な実施形態であるヘッドマウントディスプレイの構成図である。ヘッドマウントディスプレイ10は、制御部11、通信部12、撮影部13、記憶部14及び表示部15から構成される。
図3に基づいて、各構成について説明する。
図4は、ヘッドマウントディスプレイ10が実行するデータ出力処理の手順を示すフローチャートである。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
図6は、ヘッドマウントディスプレイ10のデータ記憶モジュール40が記憶する位置情報記憶テーブルを示す図である。データ記憶モジュール40は、ユーザの虹彩200の位置を示す情報である虹彩位置情報と、対象物の名称及び位置情報を示す情報である対象物位置情報とを対応付けて記憶する。図6において、データ記憶モジュール40は、虹彩位置情報として(X01,Y01)―(X02,Y02)と、対象物位置情報としてタワーA(X20,Y20)―(X25,Y40)とを対応付けて記憶する。また、データ記憶モジュール40は、虹彩位置情報として(X10,Y10)―(X11,Y11)と、対象物位置情報としてビルA(X30,Y10)―(X35,Y20)とを対応付けて記憶する。データ記憶モジュール40は、同様に、3次元空間データに存在する他の対象物等の対象物位置情報と、虹彩位置情報とを対応付けて記憶する。なお、データ記憶モジュール40は、他の対象物の対象物位置情報と、虹彩位置情報とを対応付けて記憶していても良い。また、データ記憶モジュール40は、虹彩位置情報と、3次元データに基づいた画像とを対応付けて記憶していても良い。
Claims (5)
- ユーザの目を覆って、仮想現実又は拡張現実として3次元空間データを出力するヘッドマウントディスプレイであって、
前記ユーザの目を撮影することで、前記ユーザの視線を検知する撮影手段と、
前記検知したユーザの視線に基づいて、3次元データとして表示された対象物を特定し、前記対象物を関心対象データとして出力する関心データ出力手段と、
を備えることを特徴とするヘッドマウントディスプレイ。 - 前記関心対象データ出力手段は、3次元空間内での位置情報に対応付けられた関心対象データを出力することを特徴とする請求項1に記載のヘッドマウントディスプレイ。
- 前記関心対象データ出力手段は、前記関心対象データを、画像認識したテキストデータとして出力することを特徴とする請求項1又は2に記載のヘッドマウントディスプレイ。
- ユーザの目を覆って、仮想現実又は拡張現実として3次元空間データを出力するデータ出力方法であって、
前記ユーザの目を撮影することで、前記ユーザの視線を検知するステップと、
前記検知したユーザの視線に基づいて、3次元データとして表示された対象物を特定し、前記対象物を関心対象データとして出力するステップと、
を備えることを特徴とするデータ出力方法。 - ユーザの目を覆って、仮想現実又は拡張現実として3次元空間データを出力するヘッドマウントディスプレイが実行するマウントディスプレイ用プログラムであって、
前記ユーザの目を撮影することで、前記ユーザの視線を検知するステップ、
前記検知したユーザの視線に基づいて、3次元データとして表示された対象物を特定し、前記対象物を関心対象データとして出力するステップ、
を備えることを特徴とするヘッドマウントディスプレイ用プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015153271A JP6275087B2 (ja) | 2015-08-03 | 2015-08-03 | ヘッドマウントディスプレイ、データ出力方法、及びヘッドマウントディスプレイ用プログラム。 |
US15/162,688 US20170041597A1 (en) | 2015-08-03 | 2016-05-24 | Head mounted display and method for data output |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015153271A JP6275087B2 (ja) | 2015-08-03 | 2015-08-03 | ヘッドマウントディスプレイ、データ出力方法、及びヘッドマウントディスプレイ用プログラム。 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017033334A true JP2017033334A (ja) | 2017-02-09 |
JP6275087B2 JP6275087B2 (ja) | 2018-02-07 |
Family
ID=57988203
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015153271A Active JP6275087B2 (ja) | 2015-08-03 | 2015-08-03 | ヘッドマウントディスプレイ、データ出力方法、及びヘッドマウントディスプレイ用プログラム。 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20170041597A1 (ja) |
JP (1) | JP6275087B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018128817A (ja) * | 2017-02-08 | 2018-08-16 | 株式会社コロプラ | 仮想空間を介して通信するためにコンピュータで実行される方法、当該方法をコンピュータに実行させるプログラム、および、情報制御装置 |
WO2019097726A1 (ja) | 2017-11-20 | 2019-05-23 | 楽天株式会社 | 情報処理装置、情報処理方法、および情報処理プログラム |
JP2021536054A (ja) * | 2018-09-11 | 2021-12-23 | アップル インコーポレイテッドApple Inc. | 推奨を配信する方法、デバイス、及びシステム |
CN114879851A (zh) * | 2022-07-11 | 2022-08-09 | 深圳市中视典数字科技有限公司 | 一种基于虚拟现实的数据采集方法及系统 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180074180A (ko) * | 2016-12-23 | 2018-07-03 | 삼성전자주식회사 | 가상현실 영상에 대한 정보를 제공하는 장치 및 방법 |
CN110267029A (zh) * | 2019-07-22 | 2019-09-20 | 广州铭维软件有限公司 | 一种基于ar眼镜的远程全息人物显示技术 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH086708A (ja) * | 1994-04-22 | 1996-01-12 | Canon Inc | 表示装置 |
JP2005038008A (ja) * | 2003-07-15 | 2005-02-10 | Canon Inc | 画像処理方法、画像処理装置 |
WO2014171200A1 (ja) * | 2013-04-16 | 2014-10-23 | ソニー株式会社 | 情報処理装置及び情報処理方法、表示装置及び表示方法、並びに情報処理システム |
JP2015125464A (ja) * | 2013-12-25 | 2015-07-06 | Kddi株式会社 | ウェアラブルデバイス |
JP2015132546A (ja) * | 2014-01-14 | 2015-07-23 | ソニー株式会社 | 情報処理装置および方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9342610B2 (en) * | 2011-08-25 | 2016-05-17 | Microsoft Technology Licensing, Llc | Portals: registered objects as virtualized, personalized displays |
US9996150B2 (en) * | 2012-12-19 | 2018-06-12 | Qualcomm Incorporated | Enabling augmented reality using eye gaze tracking |
JP5884811B2 (ja) * | 2013-11-18 | 2016-03-15 | コニカミノルタ株式会社 | Ar表示装置、ar表示制御装置、印刷条件設定システム、印刷システム、印刷設定表示方法およびプログラム |
-
2015
- 2015-08-03 JP JP2015153271A patent/JP6275087B2/ja active Active
-
2016
- 2016-05-24 US US15/162,688 patent/US20170041597A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH086708A (ja) * | 1994-04-22 | 1996-01-12 | Canon Inc | 表示装置 |
JP2005038008A (ja) * | 2003-07-15 | 2005-02-10 | Canon Inc | 画像処理方法、画像処理装置 |
WO2014171200A1 (ja) * | 2013-04-16 | 2014-10-23 | ソニー株式会社 | 情報処理装置及び情報処理方法、表示装置及び表示方法、並びに情報処理システム |
JP2015125464A (ja) * | 2013-12-25 | 2015-07-06 | Kddi株式会社 | ウェアラブルデバイス |
JP2015132546A (ja) * | 2014-01-14 | 2015-07-23 | ソニー株式会社 | 情報処理装置および方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018128817A (ja) * | 2017-02-08 | 2018-08-16 | 株式会社コロプラ | 仮想空間を介して通信するためにコンピュータで実行される方法、当該方法をコンピュータに実行させるプログラム、および、情報制御装置 |
WO2019097726A1 (ja) | 2017-11-20 | 2019-05-23 | 楽天株式会社 | 情報処理装置、情報処理方法、および情報処理プログラム |
JPWO2019097726A1 (ja) * | 2017-11-20 | 2019-11-21 | 楽天株式会社 | 情報処理装置、情報処理方法、および情報処理プログラム |
US11126848B2 (en) | 2017-11-20 | 2021-09-21 | Rakuten Group, Inc. | Information processing device, information processing method, and information processing program |
JP2021536054A (ja) * | 2018-09-11 | 2021-12-23 | アップル インコーポレイテッドApple Inc. | 推奨を配信する方法、デバイス、及びシステム |
CN114879851A (zh) * | 2022-07-11 | 2022-08-09 | 深圳市中视典数字科技有限公司 | 一种基于虚拟现实的数据采集方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
JP6275087B2 (ja) | 2018-02-07 |
US20170041597A1 (en) | 2017-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6275087B2 (ja) | ヘッドマウントディスプレイ、データ出力方法、及びヘッドマウントディスプレイ用プログラム。 | |
US11127210B2 (en) | Touch and social cues as inputs into a computer | |
JP6813501B2 (ja) | 拡張現実システムに結合されるプライバシーセンシティブ消費者カメラ | |
US9424461B1 (en) | Object recognition for three-dimensional bodies | |
US9105210B2 (en) | Multi-node poster location | |
US9035970B2 (en) | Constraint based information inference | |
US20120019557A1 (en) | Displaying augmented reality information | |
US8724853B2 (en) | Identifying a target object using optical occlusion | |
US20070228159A1 (en) | Inquiry system, imaging device, inquiry device, information processing method, and program thereof | |
WO2013028813A1 (en) | Implicit sharing and privacy control through physical behaviors using sensor-rich devices | |
JP2017027477A (ja) | 3次元出力サーバ、3次元出力方法及び3次元出力サーバ用プログラム。 | |
CN115512534A (zh) | 远程设备的发现和连接 | |
WO2020243562A1 (en) | Using live feeds to produce 1st person, spatial, and real life views | |
JP6280674B1 (ja) | 撮像角度調整システム、撮像角度調整方法及びプログラム | |
KR20160046399A (ko) | 텍스쳐 맵 생성 방법 및 장치와 데이터 베이스 생성 방법 | |
US11436818B2 (en) | Interactive method and interactive system | |
CN113010009B (zh) | 对象共享方法及装置 | |
JP2008172485A (ja) | ストリームデータ生成装置及び再生装置 | |
JP6404526B2 (ja) | 撮像画像共有システム、撮像画像共有方法及びプログラム | |
KR20220045799A (ko) | 전자 장치 및 그 동작 방법 | |
JP2020119495A (ja) | ウェアラブル検索システム、検索方法、及び、検索プログラム | |
JP6650998B2 (ja) | 鏡、画像表示方法及びプログラム | |
JP2015130631A (ja) | 情報処理装置及び電子機器 | |
US20220311979A1 (en) | Wearable apparatus for projecting information | |
US10397468B2 (en) | Recorded image sharing system, method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170804 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180109 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6275087 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |