JP2021527275A - 頭部装着型画像ディスプレイデバイスのための入力を提供するための方法および装置 - Google Patents
頭部装着型画像ディスプレイデバイスのための入力を提供するための方法および装置 Download PDFInfo
- Publication number
- JP2021527275A JP2021527275A JP2020570463A JP2020570463A JP2021527275A JP 2021527275 A JP2021527275 A JP 2021527275A JP 2020570463 A JP2020570463 A JP 2020570463A JP 2020570463 A JP2020570463 A JP 2020570463A JP 2021527275 A JP2021527275 A JP 2021527275A
- Authority
- JP
- Japan
- Prior art keywords
- user
- content
- area
- image display
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 161
- 238000012545 processing Methods 0.000 claims abstract description 265
- 230000009471 action Effects 0.000 claims abstract description 232
- 230000008859 change Effects 0.000 claims abstract description 64
- 230000004044 response Effects 0.000 claims description 56
- 230000001052 transient effect Effects 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 7
- 230000003247 decreasing effect Effects 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 description 24
- 210000001508 eye Anatomy 0.000 description 23
- 210000003128 head Anatomy 0.000 description 22
- 238000004891 communication Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 21
- 230000000875 corresponding effect Effects 0.000 description 20
- 230000003287 optical effect Effects 0.000 description 17
- 238000013519 translation Methods 0.000 description 15
- 238000001514 detection method Methods 0.000 description 14
- 239000000872 buffer Substances 0.000 description 11
- 230000008901 benefit Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 239000012634 fragment Substances 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000008447 perception Effects 0.000 description 5
- 239000007787 solid Substances 0.000 description 5
- 238000010079 rubber tapping Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000032258 transport Effects 0.000 description 2
- 238000012384 transportation and delivery Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 230000002747 voluntary effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
- G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Optics & Photonics (AREA)
- Architecture (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
(問題およびソリューションの説明)
Claims (26)
- ユーザによって頭部装着されるために構成される画像ディスプレイデバイスと併用するための装置であって、前記装置は、
画面と、
前記画面の第1の面積を前記ユーザの指アクションを感知するために割り当てるために構成される処理ユニットと
を備え、
前記処理ユニットは、前記装置の画面の割り当てられた第1の面積によって感知される前記ユーザの指アクションに基づいて、前記画像ディスプレイデバイスによって表示されるコンテンツの変化を生じさせるための電子信号を生成するように構成される、装置。 - 前記画面は、タッチセンサ式領域を有し、前記割り当てられた第1の面積は、前記タッチセンサ式領域の総面積未満である、請求項1に記載の装置。
- 前記処理ユニットはまた、前記ユーザの指アクションに応答して、フィードバックコンポーネントを動作させるように構成される、請求項1に記載の装置。
- 前記第1の面積は、境界を有し、前記ユーザの指アクションは、前記ユーザの指が、前記境界を交差する、そこに到達する、またはそこからの事前に規定された距離内の場所に移動することを含む、請求項3に記載の装置。
- 前記処理ユニットは、前記第1の面積に対する前記ユーザの1本以上の指間の異なる個別の空間関係に基づいて、前記フィードバックコンポーネントを動作させ、異なるタイプのフィードバックを生成するように構成される、請求項3に記載の装置。
- 前記異なる個別の空間関係は、(1)前記ユーザの1本以上の指のうちの1本、または2本の指間の点と、(2)前記割り当てられた第1の面積内の基準場所との間の異なる距離を含む、請求項5に記載の装置。
- 前記異なる個別の空間関係は、前記1本以上の指のうちの1本、または2本の指間の点が、前記割り当てられた第1の面積の境界からの異なる個別の距離に到達することを含む、請求項5に記載の装置。
- 前記割り当てられた第1の面積は、第1の境界と、第2の境界とを有し、
前記異なるタイプのフィードバックは、少なくとも第1のタイプのフィードバックと、第2のタイプのフィードバックとを含み、
前記処理ユニットは、前記ユーザの1本以上の指が、前記第1の境界を交差する、そこに到達する、またはそこから事前に規定された距離内の場所に移動するとき、前記フィードバックコンポーネントを動作させ、前記第1のタイプのフィードバックを生成するように構成され、
前記処理ユニットは、前記ユーザの1本以上の指が、前記第2の境界を交差する、そこに到達する、またはそこから事前に規定された距離内の場所に移動するとき、前記フィードバックコンポーネントを動作させ、前記第2のタイプのフィードバックを生成するように構成される、
請求項5に記載の装置。 - 前記処理ユニットは、前記画面の割り当てられた第1の面積上で実施されるピンチまたはピンチ解除アクションと関連付けられる入力信号を取得するように構成され、
前記処理ユニットは、前記ピンチまたはピンチ解除アクションと関連付けられる入力信号に基づいて、前記画像ディスプレイデバイスによって表示されるコンテンツのサイズを変化させるための電子信号を生成するように構成される、
請求項1に記載の装置。 - 前記装置の配向を感知するための配向センサをさらに備え、前記処理ユニットはまた、前記ピンチまたはピンチ解除アクションと関連付けられる入力信号および前記装置の感知された配向に基づいて、前記画像ディスプレイデバイスによって表示されるコンテンツを変化させるための電子信号を生成するように構成される、請求項9に記載の装置。
- 前記処理ユニットは、前記ピンチまたはピンチ解除アクションが、前記装置が第1の配向にある間、前記装置によって感知される場合、前記コンテンツを第1の平面において収縮または拡張させるための電子信号を生成するように構成され、
前記処理ユニットは、前記ピンチまたはピンチ解除アクションが、前記装置が前記第1の配向と異なる第2の配向にある間、前記装置によって感知される場合、前記コンテンツを第2の平面において収縮または拡張させるための電子信号を生成するように構成され、前記第2の平面は、前記第1の平面と異なる、
請求項10に記載の装置。 - 前記装置は、前記装置の長軸が、水平平面と、45°未満の角度を形成するとき、前記第1の配向を有し、
前記装置は、前記装置の長軸が、垂直平面と、45°未満の角度を形成するとき、前記第2の配向を有する、
請求項11に記載の装置。 - 前記処理ユニットは、前記画面の割り当てられた第1の面積上で実施されるスワイプアクションと関連付けられる入力信号を取得するように構成される、請求項1に記載の装置。
- 前記処理ユニットは、前記スワイプアクションと関連付けられる入力信号に応答して、前記コンテンツを移動させることによって、前記コンテンツを変化させるための電子信号を生成するように構成される、請求項13に記載の装置。
- 前記装置の配向を感知するための配向センサをさらに備え、前記処理ユニットは、前記スワイプアクションと関連付けられる入力信号および前記装置の感知された配向に基づいて、前記画像ディスプレイデバイスによって表示されるコンテンツを変化させるための電子信号を生成するように構成される、請求項13に記載の装置。
- 前記処理ユニットは、前記スワイプアクションが、前記装置が第1の配向にある間、前記装置によって感知される場合、前記コンテンツを第1の平面において移動させるための電子信号を生成するように構成され、
前記処理ユニットは、前記スワイプアクションが、前記装置が前記第1の配向と異なる第2の配向にある間、前記装置によって感知される場合、前記コンテンツを第2の平面において移動させるための電子信号を生成するように構成され、前記第2の平面は、前記第1の平面と異なる、
請求項15に記載の装置。 - 前記装置は、前記装置の長軸が、水平平面と、45°未満の角度を形成するとき、前記第1の配向を有し、
前記装置は、前記装置の長軸が、垂直平面と、45°未満の角度を形成するとき、前記第2の配向を有する、
請求項16に記載の装置。 - 前記コンテンツは、仮想3次元環境内にあり、前記処理ユニットは、前記スワイプアクションが、前記装置の配向が水平平面と略平行である間、前記装置によって感知されるとき、前記コンテンツを前記ユーザのより近くまたはそこからより遠くに移動させることによって、前記画像ディスプレイデバイスによって表示されるコンテンツを変化させるための電子信号を生成するように構成される、請求項15に記載の装置。
- 前記コンテンツは、仮想3次元環境内にあり、前記処理ユニットは、前記スワイプアクションが、前記装置の配向が水平平面と略垂直である間、前記装置によって感知されるとき、前記画像ディスプレイデバイスによって表示されるコンテンツを前記3次元環境内の垂直平面において移動させるための電子信号を生成するように構成される、請求項15に記載の装置。
- 前記装置の配向を感知するための配向センサをさらに備え、前記処理ユニットは、前記装置の感知された配向に基づいて、(1)前記コンテンツを1つ以上の方向に拡張させる、(2)前記コンテンツを回転させる、または(3)前記コンテンツを移動させるための前記電子信号を生成するように構成される、請求項1に記載の装置。
- 前記装置は、ハンドヘルド装置である、請求項1に記載の装置。
- 前記処理ユニットはまた、前記画面の第2の面積を第1のボタンとして割り当てるように構成される、請求項1に記載の装置。
- 前記処理ユニットはまた、前記画面の第2の面積をキーボードアクティブ化ボタンとして割り当てるように構成され、前記処理ユニットは、前記ユーザが前記画面の割り当てられた第2の面積にタッチすることに応答して、前記画面を動作させ、キーボードを表示するように構成される、請求項1に記載の装置。
- 前記コンテンツの変化は、前記コンテンツのサイズの変化、前記コンテンツの位置の変化、前記コンテンツの形状の変化、前記コンテンツの色の変化、前記コンテンツ内の情報の置換、前記コンテンツ内の情報の量の増減、または前述の任意の組み合わせを含む、請求項1に記載の装置。
- 方法であって、
装置の画面の第1の面積を画像ディスプレイデバイスのユーザの指アクションを感知するために割り当てることであって、前記画像ディスプレイデバイスは、ユーザによって頭部装着されるために構成され、前記装置は、前記画像ディスプレイデバイスと異なる、ことと、
前記装置の画面の割り当てられた第1の面積によって感知される前記ユーザの指アクションに基づいて、前記画像ディスプレイデバイスによって表示されるコンテンツの変化を生じさせるための電子信号を生成することと
を含む、方法。 - 命令のセットを記憶する非一過性媒体を備える製品であって、その実行は、方法を実施させ、前記方法は、
装置の画面の第1の面積を画像ディスプレイデバイスのユーザの指アクションを感知するために割り当てることであって、前記画像ディスプレイデバイスは、ユーザによって頭部装着されるために構成され、前記装置は、前記画像ディスプレイデバイスと異なる、ことと、
前記装置の画面の割り当てられた第1の面積によって感知される前記ユーザの指アクションに基づいて、前記画像ディスプレイデバイスによって表示されるコンテンツの変化を生じさせるための電子信号を生成することと
を含む、製品。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023189938A JP2024010181A (ja) | 2018-06-21 | 2023-11-07 | 頭部装着型画像ディスプレイデバイスのための入力を提供するための方法および装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862688108P | 2018-06-21 | 2018-06-21 | |
US62/688,108 | 2018-06-21 | ||
PCT/US2019/038462 WO2019246516A1 (en) | 2018-06-21 | 2019-06-21 | Methods and apparatuses for providing input for head-worn image display devices |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023189938A Division JP2024010181A (ja) | 2018-06-21 | 2023-11-07 | 頭部装着型画像ディスプレイデバイスのための入力を提供するための方法および装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021527275A true JP2021527275A (ja) | 2021-10-11 |
JP7382972B2 JP7382972B2 (ja) | 2023-11-17 |
Family
ID=68981024
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020570463A Active JP7382972B2 (ja) | 2018-06-21 | 2019-06-21 | 頭部装着型画像ディスプレイデバイスのための入力を提供するための方法および装置 |
JP2023189938A Pending JP2024010181A (ja) | 2018-06-21 | 2023-11-07 | 頭部装着型画像ディスプレイデバイスのための入力を提供するための方法および装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023189938A Pending JP2024010181A (ja) | 2018-06-21 | 2023-11-07 | 頭部装着型画像ディスプレイデバイスのための入力を提供するための方法および装置 |
Country Status (5)
Country | Link |
---|---|
US (2) | US20190391391A1 (ja) |
EP (2) | EP3811183B1 (ja) |
JP (2) | JP7382972B2 (ja) |
CN (1) | CN112585564A (ja) |
WO (1) | WO2019246516A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
USD936697S1 (en) * | 2017-09-21 | 2021-11-23 | Yuri Hosokuni | Display screen with a graphical interface for an electronic game |
USD891460S1 (en) * | 2018-06-21 | 2020-07-28 | Magic Leap, Inc. | Display panel or portion thereof with a transitional graphical user interface |
USD878396S1 (en) | 2018-06-21 | 2020-03-17 | Magic Leap, Inc. | Display panel or portion thereof with a graphical user interface |
KR20210015489A (ko) * | 2019-08-02 | 2021-02-10 | 삼성전자주식회사 | 휠 입력을 처리하는 전자 장치 및 이의 동작 방법 |
US11733789B1 (en) * | 2019-09-30 | 2023-08-22 | Snap Inc. | Selectively activating a handheld device to control a user interface displayed by a wearable device |
CN114201030A (zh) * | 2020-09-16 | 2022-03-18 | 华为技术有限公司 | 设备交互方法、电子设备及交互系统 |
CN114387151A (zh) * | 2020-10-21 | 2022-04-22 | 宏碁股份有限公司 | 3d显示系统与3d显示方法 |
CN114397996A (zh) * | 2021-12-29 | 2022-04-26 | 杭州灵伴科技有限公司 | 交互提示方法、头戴式显示设备和计算机可读介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150186024A1 (en) * | 2014-01-02 | 2015-07-02 | Samsung Electronics Co., Ltd. | Multi-window control method and electronic device supporting the same |
JP2016224595A (ja) * | 2015-05-28 | 2016-12-28 | 株式会社コロプラ | システム、方法、およびプログラム |
JP2017045472A (ja) * | 2016-11-11 | 2017-03-02 | 株式会社コロプラ | タッチパネル式装置によるヘッドマウントディスプレイ上のポインタ操作が可能なシステム、プログラム、及び方法 |
JP2017062559A (ja) * | 2015-09-24 | 2017-03-30 | 株式会社コロプラ | 仮想空間内のオブジェクトを3軸操作するためのコンピュータ・プログラム |
JP2017107549A (ja) * | 2016-11-02 | 2017-06-15 | 株式会社リコー | プログラム、方法、情報処理装置および映像表示システム |
JP2017120608A (ja) * | 2015-12-25 | 2017-07-06 | 株式会社日本デジタル研究所 | 入力インターフェース制御システム、方法およびプログラム |
JP2018032412A (ja) * | 2012-10-31 | 2018-03-01 | イマージョン コーポレーションImmersion Corporation | 触覚効果を用いてユーザインタフェース上で表面フィーチャをシミュレートする方法及び装置 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SE0601216L (sv) * | 2006-05-31 | 2007-12-01 | Abb Technology Ltd | Virtuell arbetsplats |
US8964298B2 (en) * | 2010-02-28 | 2015-02-24 | Microsoft Corporation | Video display modification based on sensor input for a see-through near-to-eye display |
US9395816B2 (en) * | 2013-02-28 | 2016-07-19 | Lg Electronics Inc. | Display device for selectively outputting tactile feedback and visual feedback and method for controlling the same |
US20140285352A1 (en) * | 2013-03-20 | 2014-09-25 | Lg Electronics Inc. | Portable device and visual sensation detecting alarm control method thereof |
WO2014185146A1 (ja) | 2013-05-15 | 2014-11-20 | ソニー株式会社 | 表示制御装置、表示制御方法および記録媒体 |
US20160054791A1 (en) * | 2014-08-25 | 2016-02-25 | Daqri, Llc | Navigating augmented reality content with a watch |
US9767613B1 (en) * | 2015-01-23 | 2017-09-19 | Leap Motion, Inc. | Systems and method of interacting with a virtual object |
US20170061700A1 (en) * | 2015-02-13 | 2017-03-02 | Julian Michael Urbach | Intercommunication between a head mounted display and a real world object |
US10338673B2 (en) * | 2015-09-16 | 2019-07-02 | Google Llc | Touchscreen hover detection in an augmented and/or virtual reality environment |
US20170293351A1 (en) * | 2016-04-07 | 2017-10-12 | Ariadne's Thread (Usa), Inc. (Dba Immerex) | Head mounted display linked to a touch sensitive input device |
US10275023B2 (en) * | 2016-05-05 | 2019-04-30 | Google Llc | Combining gaze input and touch surface input for user interfaces in augmented and/or virtual reality |
KR20170126295A (ko) * | 2016-05-09 | 2017-11-17 | 엘지전자 주식회사 | 헤드 마운티드 디스플레이 장치 및 그것의 제어방법 |
JP7385993B2 (ja) * | 2016-06-20 | 2023-11-24 | マジック リープ, インコーポレイテッド | 視覚的処理および知覚の疾患を含む神経学的疾患の評価および修正のための拡張現実ディスプレイシステム |
US10768747B2 (en) * | 2017-08-31 | 2020-09-08 | Apple Inc. | Haptic realignment cues for touch-input displays |
-
2019
- 2019-06-21 EP EP19823120.1A patent/EP3811183B1/en active Active
- 2019-06-21 EP EP23218626.2A patent/EP4325438A3/en active Pending
- 2019-06-21 CN CN201980054294.7A patent/CN112585564A/zh active Pending
- 2019-06-21 US US16/448,452 patent/US20190391391A1/en not_active Abandoned
- 2019-06-21 JP JP2020570463A patent/JP7382972B2/ja active Active
- 2019-06-21 WO PCT/US2019/038462 patent/WO2019246516A1/en active Application Filing
-
2023
- 2023-05-05 US US18/312,886 patent/US20230273431A1/en active Pending
- 2023-11-07 JP JP2023189938A patent/JP2024010181A/ja active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018032412A (ja) * | 2012-10-31 | 2018-03-01 | イマージョン コーポレーションImmersion Corporation | 触覚効果を用いてユーザインタフェース上で表面フィーチャをシミュレートする方法及び装置 |
US20150186024A1 (en) * | 2014-01-02 | 2015-07-02 | Samsung Electronics Co., Ltd. | Multi-window control method and electronic device supporting the same |
JP2016224595A (ja) * | 2015-05-28 | 2016-12-28 | 株式会社コロプラ | システム、方法、およびプログラム |
JP2017062559A (ja) * | 2015-09-24 | 2017-03-30 | 株式会社コロプラ | 仮想空間内のオブジェクトを3軸操作するためのコンピュータ・プログラム |
JP2017120608A (ja) * | 2015-12-25 | 2017-07-06 | 株式会社日本デジタル研究所 | 入力インターフェース制御システム、方法およびプログラム |
JP2017107549A (ja) * | 2016-11-02 | 2017-06-15 | 株式会社リコー | プログラム、方法、情報処理装置および映像表示システム |
JP2017045472A (ja) * | 2016-11-11 | 2017-03-02 | 株式会社コロプラ | タッチパネル式装置によるヘッドマウントディスプレイ上のポインタ操作が可能なシステム、プログラム、及び方法 |
Also Published As
Publication number | Publication date |
---|---|
US20190391391A1 (en) | 2019-12-26 |
US20230273431A1 (en) | 2023-08-31 |
EP4325438A3 (en) | 2024-04-10 |
EP3811183A1 (en) | 2021-04-28 |
EP4325438A2 (en) | 2024-02-21 |
EP3811183B1 (en) | 2024-01-03 |
EP3811183A4 (en) | 2021-08-04 |
WO2019246516A1 (en) | 2019-12-26 |
JP7382972B2 (ja) | 2023-11-17 |
CN112585564A (zh) | 2021-03-30 |
JP2024010181A (ja) | 2024-01-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7382972B2 (ja) | 頭部装着型画像ディスプレイデバイスのための入力を提供するための方法および装置 | |
JP7297216B2 (ja) | 拡張現実システムのためのタッチフリーインターフェース | |
US20210407203A1 (en) | Augmented reality experiences using speech and text captions | |
US11924055B2 (en) | Electronic device with intuitive control interface | |
EP3246788B1 (en) | Head mounted display device and method for controlling the same | |
TWI730824B (zh) | 處理第一裝置上的畫面的方法、使用包括物件的第一裝置來處理畫面的方法、與使用裝置來處理畫面的設備 | |
US9530232B2 (en) | Augmented reality surface segmentation | |
US9500867B2 (en) | Head-tracking based selection technique for head mounted displays (HMD) | |
US20150143283A1 (en) | Information processing device, display control method, and program | |
CN111324250B (zh) | 三维形象的调整方法、装置、设备及可读存储介质 | |
JP7064040B2 (ja) | 表示システム、及び表示システムの表示制御方法 | |
US11429246B2 (en) | Device, method, and graphical user interface for manipulating 3D objects on a 2D screen | |
KR102413074B1 (ko) | 사용자 단말, 전자 장치 및 이들의 제어 방법 | |
CN115191006B (zh) | 用于所显示的2d元素的3d模型 | |
KR102463080B1 (ko) | 머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 콘텐트 표시방법 | |
CN111258482A (zh) | 信息分享方法、头戴式设备及介质 | |
JPWO2020031493A1 (ja) | 端末装置および端末装置の制御方法 | |
US11775168B1 (en) | Eyewear device user interface | |
KR20220088143A (ko) | 증강 현실 콘텐츠를 제공하는 전자 장치 및 방법 | |
CN117897680A (zh) | 基于物理动作的增强现实通信交换 | |
JP2015158747A (ja) | 制御装置、情報処理装置、制御方法、情報処理方法、情報処理システム、およびウェアラブル機器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220606 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230419 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230419 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230713 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231011 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231107 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7382972 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |