JP2022121592A - ウェアラブルシステムのためのマルチモード実行およびテキスト編集 - Google Patents
ウェアラブルシステムのためのマルチモード実行およびテキスト編集 Download PDFInfo
- Publication number
- JP2022121592A JP2022121592A JP2022104508A JP2022104508A JP2022121592A JP 2022121592 A JP2022121592 A JP 2022121592A JP 2022104508 A JP2022104508 A JP 2022104508A JP 2022104508 A JP2022104508 A JP 2022104508A JP 2022121592 A JP2022121592 A JP 2022121592A
- Authority
- JP
- Japan
- Prior art keywords
- user
- input
- virtual
- wearable system
- objects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 232
- 230000003993 interaction Effects 0.000 claims description 124
- 230000009471 action Effects 0.000 claims description 92
- 238000003384 imaging method Methods 0.000 claims description 69
- 230000033001 locomotion Effects 0.000 claims description 43
- 230000000007 visual effect Effects 0.000 claims description 18
- 238000004458 analytical method Methods 0.000 claims description 17
- 238000004891 communication Methods 0.000 claims description 14
- 230000006854 communication Effects 0.000 claims description 14
- 230000035945 sensitivity Effects 0.000 claims description 5
- 230000007613 environmental effect Effects 0.000 abstract description 30
- 210000003128 head Anatomy 0.000 description 159
- 238000005266 casting Methods 0.000 description 44
- 230000008569 process Effects 0.000 description 42
- 238000009877 rendering Methods 0.000 description 42
- 238000012545 processing Methods 0.000 description 41
- 230000004044 response Effects 0.000 description 34
- 230000003287 optical effect Effects 0.000 description 32
- 238000004422 calculation algorithm Methods 0.000 description 31
- 210000001747 pupil Anatomy 0.000 description 28
- 230000008859 change Effects 0.000 description 22
- 230000000875 corresponding effect Effects 0.000 description 18
- 239000013598 vector Substances 0.000 description 18
- 230000004308 accommodation Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 15
- 238000000605 extraction Methods 0.000 description 15
- 238000013518 transcription Methods 0.000 description 14
- 230000035897 transcription Effects 0.000 description 14
- 210000003811 finger Anatomy 0.000 description 13
- 230000006870 function Effects 0.000 description 13
- 239000007787 solid Substances 0.000 description 11
- 230000006399 behavior Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 230000008901 benefit Effects 0.000 description 8
- 230000002596 correlated effect Effects 0.000 description 8
- 238000013507 mapping Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 230000004424 eye movement Effects 0.000 description 7
- 239000000835 fiber Substances 0.000 description 7
- 230000000977 initiatory effect Effects 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 7
- 239000000463 material Substances 0.000 description 7
- 230000006855 networking Effects 0.000 description 7
- 230000036544 posture Effects 0.000 description 7
- 230000002829 reductive effect Effects 0.000 description 7
- 230000003190 augmentative effect Effects 0.000 description 6
- 238000013475 authorization Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 6
- 230000004438 eyesight Effects 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 241000699666 Mus <mouse, genus> Species 0.000 description 5
- 230000004931 aggregating effect Effects 0.000 description 5
- 230000001276 controlling effect Effects 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 5
- 238000005859 coupling reaction Methods 0.000 description 5
- 210000004247 hand Anatomy 0.000 description 5
- 210000003813 thumb Anatomy 0.000 description 5
- 238000013519 translation Methods 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 239000013307 optical fiber Substances 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 230000010399 physical interaction Effects 0.000 description 4
- 230000000284 resting effect Effects 0.000 description 4
- 230000035807 sensation Effects 0.000 description 4
- 230000001953 sensory effect Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 241000699670 Mus sp. Species 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 235000013305 food Nutrition 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 230000004043 responsiveness Effects 0.000 description 3
- 230000008685 targeting Effects 0.000 description 3
- 208000003028 Stuttering Diseases 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 2
- 230000001976 improved effect Effects 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000012925 reference material Substances 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 241000256837 Apidae Species 0.000 description 1
- 241000691979 Halcyon Species 0.000 description 1
- 206010019233 Headaches Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 206010049565 Muscle fatigue Diseases 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 239000004983 Polymer Dispersed Liquid Crystal Substances 0.000 description 1
- 208000036366 Sensation of pressure Diseases 0.000 description 1
- 230000002350 accommodative effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000005253 cladding Methods 0.000 description 1
- 230000008045 co-localization Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000005056 compaction Methods 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 231100000869 headache Toxicity 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000009828 non-uniform distribution Methods 0.000 description 1
- 230000001473 noxious effect Effects 0.000 description 1
- 238000013488 ordinary least square regression Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000005043 peripheral vision Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 231100000430 skin reaction Toxicity 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- 230000021542 voluntary musculoskeletal movement Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
- G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
- G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
- G02B6/0075—Arrangements of multiple light guides
- G02B6/0076—Stacked arrangements of multiple light guides of the same or different cross-sectional area
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Optics & Photonics (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
- Position Input By Displaying (AREA)
- Document Processing Apparatus (AREA)
- Macromonomer-Based Addition Polymer (AREA)
Abstract
Description
本発明は、例えば、以下を提供する。
(項目1)
システムであって、
第1の入力モードにおける第1のユーザ入力データを入手するように構成されるウェアラブルシステムの第1のセンサと、
第2の入力モードにおける第2のユーザ入力データを入手するように構成される前記ウェアラブルシステムの第2のセンサであって、前記第2の入力モードは、前記第1の入力モードと異なる、第2のセンサと、
前記第1および第2のセンサと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記第1の入力モードにおける第1のユーザ入力データおよび前記第2の入力モードにおける第2のユーザ入力データを備えるマルチモード入力を受信することと、
前記第1のユーザ入力データに基づいて、相互作用のための第1のセットの候補オブジェクトを識別することと、
前記第2のユーザ入力データに基づいて、相互作用のための第2のセットの候補オブジェクトを識別することと、
前記第1のユーザ入力データおよび前記第2のユーザ入力データの組み合わせに基づいて、標的仮想オブジェクトを前記第1のセットの候補オブジェクトおよび前記第2のセットの候補オブジェクトから決定することと、
前記第1のユーザ入力データまたは前記第2のユーザ入力データのうちの少なくとも1つに基づいて、前記標的仮想オブジェクト上でのユーザインターフェース動作を決定することと、
前記ユーザインターフェース動作を前記標的仮想オブジェクト上で実施させる、マルチモード入力コマンドを生成することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、システム。
(項目2)
前記マルチモード入力は、以下の入力モード、すなわち、頭部姿勢、眼視線、ユーザ入力デバイス、手のジェスチャ、または音声のうちの少なくとも2つを備える、項目1に記載のシステム。
(項目3)
前記ユーザインターフェース動作は、前記標的仮想オブジェクトを選択する、移動させる、またはリサイズすることのうちの少なくとも1つを備える、項目1に記載のシステム。
(項目4)
前記ハードウェアプロセッサはさらに、前記ユーザインターフェース動作における前記標的仮想オブジェクトのための標的場所、配向、または移動のうちの少なくとも1つを決定するように構成される、項目1に記載のシステム。
(項目5)
前記標的仮想オブジェクトのための標的場所を決定するために、前記ハードウェアプロセッサは、前記標的仮想オブジェクトを載上するための物理的環境内の作業可能表面を識別するようにプログラムされる、項目4に記載のシステム。
(項目6)
前記作業可能表面は、
前記物理的環境内の物理的オブジェクト上の着目点(POI)に関する距離関数を計算することと、
平面公差外の前記POIのうちの1つ以上のものを排除することと、
残りのPOIに基づいて、前記作業可能表面の輪郭を描くことと
によって識別される、項目5に記載のシステム。
(項目7)
前記ハードウェアプロセッサは、前記標的仮想オブジェクトを前記標的場所の配向に合致するように自動的に配向するようにプログラムされる、項目5に記載のシステム。
(項目8)
前記動作は、前記第1の入力モードにおける第1のユーザ入力データに基づいて決定され、前記対象または前記パラメータのうちの少なくとも1つは、前記第1の入力モードおよび前記第2の入力モードの組み合わせに基づいて決定される、項目1に記載のシステム。
(項目9)
前記第1の入力モードは、前記ウェアラブルシステムのユーザの場所情報に基づく間接入力モードを備える、項目1に記載のシステム。
(項目10)
前記ハードウェアプロセッサは、オブジェクトが前記ユーザの閾値範囲内にあることの決定に応答して、仮想オブジェクトを前記第1のセットのオブジェクトおよび前記第2のセットのオブジェクトからの前記標的仮想オブジェクトとして識別するようにプログラムされる、項目9に記載のシステム。
(項目11)
前記ユーザインターフェース動作は、仮想アプリケーションと関連付けられ、前記仮想アプリケーションは、前記第1のセンサまたは前記第2のセンサのうちの一方に対してより応答性であるようにプログラムされる、項目1に記載のシステム。
(項目12)
前記標的仮想オブジェクトを前記第1のセットの候補オブジェクトおよび前記第2のセットの候補オブジェクトから決定するために、前記ハードウェアプロセッサは、前記第1のユーザ入力データおよび前記第2のユーザ入力データに基づいて、ツリーベースの分析を前記第1のセットの候補オブジェクトおよび前記第2のセットの前記候補オブジェクト上で実施するようにプログラムされる、項目1に記載のシステム。
(項目13)
前記標的仮想オブジェクトを前記第1のセットの候補オブジェクトおよび前記第2のセットの候補オブジェクトから決定するために、前記ハードウェアプロセッサは、
前記第1のユーザ入力データに基づいて、前記第1のセットの候補オブジェクト内の候補オブジェクトに関する第1の信頼度スコアを計算することと、
前記第2のユーザ入力データに基づいて、前記候補オブジェクトに関する第2の信頼度スコアを計算することと、
前記候補オブジェクトに関する集約されたスコアを少なくとも前記第1の信頼度スコアおよび前記第2の信頼度から計算することと、
前記集約されたスコアが閾値条件を満たすことの決定に応答して、前記候補オブジェクトを前記標的仮想オブジェクトとして設定することと
を行うようにプログラムされる、項目12に記載のシステム。
(項目14)
前記標的仮想オブジェクトを決定するために、前記ハードウェアプロセッサは、
視野内の前記仮想オブジェクトの周囲の空間の均一性、
前記ユーザの視野外にある前記仮想オブジェクトの第2の部分に対する、前記ユーザの視野内にある前記仮想オブジェクトの第1の部分に関する比例面積、または
前記仮想オブジェクトとのユーザの相互作用の履歴分析
のうちの少なくとも1つを計算することによって、仮想オブジェクトに関する信頼度スコアを計算するようにプログラムされる、項目1に記載のシステム。
(項目15)
前記ハードウェアプロセッサはさらに、前記マルチモード入力に基づいて、前記ハードウェアプロセッサをトリガし、前記標的仮想オブジェクトおよび前記ユーザインターフェース動作を決定する、前記相互作用イベントに関する開始条件を検出するようにプログラムされる、項目1に記載のシステム。
(項目16)
前記開始条件は、トリガ語句を備える、項目15に記載のシステム。
(項目17)
前記第1の入力モードは、一次入力モードであり、前記第2の入力モードは、二次入力モードであり、前記ハードウェアプロセッサは、前記第2のユーザ入力データに基づいて、前記標的仮想オブジェクトおよび前記ユーザインターフェース動作のうちの少なくとも1つにおける曖昧性を解決するようにプログラムされる、項目1に記載のシステム。
(項目18)
前記第1のユーザ入力データは、仮想オブジェクトに対する直示または照応参照を備え、ハードウェアプロセッサは、前記第2のユーザ入力データに基づいて、前記仮想オブジェクトを前記対象としての前記標的仮想オブジェクトとして識別するようにプログラムされる、項目1に記載のシステム。
(項目19)
前記ハードウェアプロセッサはさらに、少なくとも部分的に、ユーザ設定または前記ユーザの環境に基づいて、前記第1の入力モード、前記第2の入力モード、または両方の感度を自動的に有効にする、無効にする、または調節するようにプログラムされる、項目1に記載のシステム。
(項目20)
前記ハードウェアプロセッサは、少なくとも部分的に、前記マルチモード入力に基づいて、前記ユーザの視野外の標的仮想オブジェクトを識別し、ユーザ相互作用のために、前記仮想オブジェクトを前記視野内に自動的に移動させるようにプログラムされる、項目1に記載のシステム。
(項目21)
方法であって、
ユーザ入力データを入手するように構成される複数のセンサと通信するウェアラブルシステムのハードウェアプロセッサの制御下で、
ユーザと環境の相互作用イベントに関する前記ユーザ入力データを前記複数のセンサから受信するステップと、
前記ユーザ入力データを分析し、前記環境と相互作用するためのマルチモード入力を識別するステップであって、前記マルチモード入力は、第1の入力チャネルにおける第1の入力および第2の入力チャネルにおける第2の入力を備える、ステップと、
前記第1の入力および前記第2の入力に基づいて、前記環境との前記相互作用イベントを記述するために、対象、パラメータ、または動作のうちの1つ以上のものを備える、マルチモード入力コマンドを決定するステップであって、前記対象、前記パラメータ、または前記動作のうちの少なくとも1つは、前記第1の入力および前記第2の入力の組み合わせに基づいて識別される、ステップと、
前記ウェアラブルデバイスに、前記相互作用イベントのための前記マルチモード入力コマンドを実行させるステップと
を含む、方法。
(項目22)
前記動作は、前記対象を選択する、移動させる、またはリサイズすることのうちの少なくとも1つを備える、前記対象は、前記ユーザが相互作用しようとしている標的仮想オブジェクトを備える、または、前記パラメータは、前記対象の少なくとも標的場所、配向、または移動を備える、項目21に記載の方法。
(項目23)
前記標的場所は、
物理的オブジェクト上の着目点(POI)に関する距離関数を計算することと、
所与の平面公差外の前記POIのうちの1つ以上のものを排除することと、
残りのPOIに基づいて、前記物理的オブジェクト上の作業可能表面の輪郭を描くことと
によって決定される、項目22に記載の方法。
(項目24)
前記方法は、前記仮想オブジェクトを自動的に配向し、前記標的場所のものに合致させるステップを含む、項目22に記載の方法。
(項目25)
前記マルチモード入力は、以下の入力モード、すなわち、頭部姿勢、眼視線、ユーザ入力デバイス、手のジェスチャ、または音声のうちの少なくとも2つを備える、項目21に記載の方法。
(項目26)
前記第1の入力チャネルは、音声であり、前記第2の入力チャネルは、頭部姿勢または手のジェスチャである、項目25に記載の方法。
(項目27)
前記動作、対象、またはパラメータのうちの少なくとも1つはさらに、前記ユーザの環境または場所情報に基づいて識別される、項目21に記載の方法。
(項目28)
前記対象は、前記ユーザの閾値範囲内のあるグループのオブジェクトから選択される、項目27に記載の方法。
(項目29)
前記相互作用イベントは、仮想アプリケーション内で生じ、前記仮想アプリケーションは、前記第1の入力チャネルまたは前記第2の入力チャネルのうちの一方に対してより応答性であるようにプログラムされる、項目21に記載の方法。
(項目30)
前記対象は、格子ツリー分析を使用して、前記第1の入力および前記第2の入力を分析し、前記対象として設定するための仮想オブジェクトを識別することによって識別される、項目21に記載の方法。
(項目31)
前記マルチモード入力コマンドにおける前記対象または前記パラメータは、
候補オブジェクトまたはパラメータに関して、前記第1の入力と相関する第1の信頼度スコアおよび前記第2の入力と相関する第2の信頼度スコアを計算することと、
前記候補オブジェクトまたはパラメータに関する集約されたスコアを少なくとも前記第1の信頼度スコアおよび前記第2の信頼度から計算することと、
少なくとも部分的に、前記集約されたスコアに基づいて、前記候補オブジェクトまたはパラメータを、それぞれ、前記相互作用イベントのための前記対象または前記パラメータとして設定することと
によって決定される、項目21に記載の方法。
(項目32)
候補仮想オブジェクトは、前記ユーザの視野内の仮想オブジェクトの信頼度スコアに基づいて、前記対象として識別され、前記信頼度コードは、
前記視野内の前記候補仮想オブジェクトの周囲の空間の均一性、
前記ユーザの視野外の前記候補仮想オブジェクトの第2の部分に対する、前記ユーザの視野内の前記候補仮想オブジェクトの第1の部分に関する比例面積、または
前記候補仮想オブジェクトとのユーザの相互作用の履歴分析
のうちの少なくとも1つに基づいて計算される、項目21に記載の方法。
(項目33)
前記複数のセンサのうちの1つ以上のセンサから受信されたデータに基づいて、前記相互作用イベントに関する開始条件を検出するステップをさらに含み、前記開始条件は、前記受信、分析、決定、および発生ステップをトリガする、項目21に記載の方法。
(項目34)
前記第1の入力チャネルからの前記第1の入力は、一次入力であり、前記第2の入力チャネルからの前記第2の入力は、二次入力であり、前記方法は、
前記第1の入力を解析し、前記対象、前記パラメータ、および前記動作を識別するステップと、
前記第2の入力に基づいて、前記対象、前記パラメータ、または前記動作のうちの少なくとも1つにおける曖昧性を解決し、前記マルチモード入力コマンドを生成するステップと
を含む、項目21に記載の方法。
(項目35)
前記方法はさらに、少なくとも部分的に、ユーザ設定または前記ユーザの環境に基づいて、入力チャネルの感度を自動的に有効にする、無効にする、または調節するステップを含む、項目21に記載の方法。
(項目36)
前記方法はさらに、少なくとも部分的に、前記ユーザ相互作用に基づいて、前記ユーザの視野外の仮想オブジェクトを前記対象として識別するステップと、ユーザ相互作用のために、前記仮想オブジェクトを前記視野内に自動的に移動させるステップとを含む、項目21に記載の方法。
(項目37)
前記第1の入力は、前記対象として直示または照応参照を備え、前記方法はさらに、前記第2の入力に基づいて、標的オブジェクトを前記対象として選択するステップを含む、項目21に記載の方法。
(項目38)
システムであって、
3次元(3D)仮想コンテンツをユーザに提示するように構成されるウェアラブルシステムの頭部搭載型ディスプレイ(HMD)と、
個別のモダリティのユーザ入力を受信するように構成される2つ以上のユーザ入力コンポーネントであって、前記ユーザ入力コンポーネントのうちの1つは、音を捕捉するように構成されるオーディオ感知デバイスを備える、ユーザ入力コンポーネントと、
前記ディスプレイおよび前記2つ以上のユーザ入力コンポーネントに通信可能に結合されるハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記オーディオ感知デバイスから、ユーザによって発話された1つ以上の単語の発声をエンコードする発話データを受信することと、
少なくとも、前記受信された発話データに基づいて、ユーザによって発話された前記1つ以上の単語に関する書き起こし記録を取得することと、
前記ディスプレイを制御し、前記取得された書き起こし記録を表すテキスト文字の文字列をユーザに提示することと、
前記2つ以上のユーザ入力コンポーネントの別のものから、別の異なるモダリティのユーザ入力を示すユーザ入力データを受信することと、
前記他のユーザ入力コンポーネントから受信された前記ユーザ入力データが、編集するための前記テキスト文字の特定のサブセットを選択するコマンドを表すことを決定することと、
前記他のユーザ入力コンポーネントから受信された前記ユーザ入力データが、編集するための前記テキスト文字の特定のサブセットを選択するコマンドを表すことの決定に応答して、
前記2つ以上のユーザ入力コンポーネントのいずれかから続いて受信されるデータが、前記テキスト文字の特定のサブセットを特定の様式で修正するコマンドを表すかどうかを決定することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、システム。
(項目39)
前記他のユーザ入力コンポーネントは、前記ユーザの眼視線方向を示すデータを入手するように構成される眼視線追跡デバイスを備える、項目38に記載のシステム。
(項目40)
前記ハードウェアプロセッサはさらに、
少なくとも、前記眼視線追跡デバイスから受信されたデータに基づいて、前記ユーザが、閾値より長い時間周期にわたって、前記テキスト文字の特定のサブセットを固視していることを決定することと、
前記ユーザが、閾値より長い時間周期にわたって、前記テキスト文字の特定のサブセットを固視していることの決定に応答して、前記他のユーザ入力コンポーネントから受信された前記ユーザ入力データが、編集するための前記テキスト文字の特定のサブセットを選択するコマンドを表すことを決定することと
を行うようにプログラムされる、項目39に記載のシステム。
(項目41)
前記ハードウェアプロセッサはさらに、
前記オーディオ感知デバイスから、ユーザによって発話された語句の発声をエンコードする付加的発話データを受信することと、
少なくとも、前記眼視線追跡デバイスから受信されたデータおよび前記オーディオ感知デバイスから受信された付加的発話データに基づいて、前記テキスト文字の特定のサブセットを固視している間、前記ユーザが1つ以上の所定のホットワードを発声したことを決定することと、
前記テキスト文字の特定のサブセットを固視している間、前記ユーザが1つ以上の所定のホットワードを発声したことの決定に応答して、前記眼視線追跡デバイスから受信されたデータおよび前記オーディオ感知デバイスから受信された付加的発話データが、編集するための前記テキスト文字の特定のサブセットを選択するコマンドを表すことを決定することと
を行うようにプログラムされる、項目39に記載のシステム。
(項目42)
前記2つ以上のユーザ入力コンポーネントはさらに、前記ユーザの手のジェスチャを示すデータを入手するように構成されるジェスチャ追跡デバイスを備え、
前記ハードウェアプロセッサはさらに、
前記眼視線追跡デバイスから、前記ユーザの眼視線方向を示すデータを受信することと、
前記ジェスチャ追跡デバイスから、前記ユーザの手のジェスチャを示すデータを受信することと、
少なくとも、前記眼視線追跡デバイスから受信されたデータおよび前記ジェスチャ追跡デバイスから受信されたデータに基づいて、前記テキスト文字の特定のサブセットを固視している間、前記ユーザが1つ以上の所定の手のジェスチャを行なったことを決定することと、
前記テキスト文字の特定のサブセットを固視している間、前記ユーザが1つ以上の所定の手のジェスチャを行なったことの決定に応答して、前記眼視線追跡デバイスおよび前記ジェスチャ追跡デバイスから受信されたデータが、編集するための前記テキスト文字の特定のサブセットを選択するコマンドを表すことを決定することと
を行うようにプログラムされる、項目39に記載のシステム。
(項目43)
前記2つ以上のユーザ入力コンポーネントはさらに、それとの前記ユーザの物理的相互作用を示すデータを入手するように構成される、タッチセンサ式デバイスを備え、
前記ハードウェアプロセッサはさらに、
前記眼視線追跡デバイスから、前記ユーザの前記ユーザの眼視線方向を示すデータを受信することと、
前記タッチセンサ式デバイスから、前記タッチセンサ式デバイスとの前記ユーザの物理的相互作用を示すデータを受信することと、
少なくとも、前記眼視線追跡デバイスから受信されたデータおよび前記タッチセンサ式デバイスから受信されたデータに基づいて、前記テキスト文字の特定のサブセットを固視している間、前記ユーザが1つ以上の所定のタッチ入力を提供したかどうかを決定することと、
前記テキスト文字の特定のサブセットを固視している間、前記ユーザが1つ以上の所定のタッチ入力を提供したことの決定に応答して、眼視線追跡デバイスおよび前記タッチセンサ式デバイスから受信されたデータが、編集するための前記テキスト文字の特定のサブセットを選択するコマンドを表すことを決定することと
を行うようにプログラムされる、項目39に記載のシステム。
(項目44)
前記ハードウェアプロセッサは、自動発話認識(ASR)エンジンを実装し、前記書き起こし記録を取得するようにプログラムされる、項目38に記載のシステム。
(項目45)
前記ASRエンジンは、前記ASRエンジンがそのような単語を正しく書き起こした尤度を示す、前記テキストの文字列内の1つ以上の単語と関連付けられたスコアを生産するように構成される、項目44に記載のシステム。
(項目46)
前記ハードウェアプロセッサはさらに、正しい書き起こしの尤度が閾値レベルを下回る場合、前記HMDに前記1つ以上の単語を強調させるようにプログラムされる、項目45に記載のシステム。
(項目47)
システムであって、
仮想コンテンツをユーザに提示するように構成されるウェアラブルシステムのディスプレイと、
ユーザによって発話された単語を捕捉し、発話データを生成するように構成されるオーディオ感知デバイスと、
前記ユーザの視線を追跡するように構成される前記ウェアラブルシステムの眼視線追跡デバイスと、
前記ディスプレイ、前記オーディオ感知デバイス、および前記眼視線追跡デバイスに通信可能に結合されるハードウェアプロセッサであって、前記ハードウェアプロセッサは、
少なくとも部分的に、前記オーディオ感知デバイスからの前記発話データに基づいて、ユーザによって発話された1つ以上の単語のテキストへの書き起こし記録を取得することと、
前記ディスプレイを制御し、前記テキストをユーザに提示することと、
少なくとも、前記眼視線追跡デバイスから受信されたデータに基づいて、前記ユーザが編集するための前記提示されたテキストの一部を選択するコマンドを与えたことを決定することと、
編集アクションを前記提示されたテキストの一部上で実施することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、システム。
(項目48)
前記ハードウェアプロセッサはさらに、前記ユーザの視線が、少なくとも閾値時間周期にわたって、前記ディスプレイによって提示される前記提示されたテキストの一部上に留まったことを示す、前記眼視線追跡デバイスからのデータに基づいて、前記ユーザが編集するための前記所与の単語を選択するコマンドを与えたことを決定するようにプログラムされる、項目47に記載のシステム。
(項目49)
ユーザ入力デバイスをさらに備え、前記ハードウェアプロセッサはさらに、前記ユーザの視線が前記ディスプレイによって提示される前記提示されたテキストの一部上に合焦していた間、前記ユーザ入力デバイスがユーザ入力を受信したことを示す、前記ユーザ入力デバイスからのデータおよび前記眼視線追跡デバイスからのデータに基づいて、前記ユーザが編集するための前記提示されたテキストの一部を選択するコマンドを与えたことを決定するようにプログラムされる、項目47に記載のシステム。
(項目50)
前記ハードウェアプロセッサは、前記ユーザの視線が前記ディスプレイによって提示される前記提示されたテキストの一部上に合焦していた間、前記オーディオ感知デバイスが音声コマンドを受信したことを示す、前記オーディオ感知デバイスからのデータおよび前記眼視線追跡デバイスからのデータに基づいて、前記ユーザが編集するための前記提示されたテキストの一部を選択するコマンドを与えたことを決定するようにプログラムされる、項目47に記載のシステム。
(項目51)
前記ユーザの少なくとも1つの手を結像する結像システムをさらに備え、前記プロセッサは、前記ユーザの視線が前記ディスプレイによって提示される前記提示されたテキストの一部上に合焦していた間、前記ユーザがその手を用いてコマンドジェスチャを行なったことを示す、前記結像システムからのデータおよび前記眼視線追跡デバイスからのデータに基づいて、前記ユーザが編集するための前記提示されたテキストの一部を選択するコマンドを与えたことを決定するように構成される、項目47に記載のシステム。
(項目52)
前記ハードウェアプロセッサはさらに、編集するための前記所与の単語を選択するコマンドに応答して、前記ディスプレイを制御して、前記提示されたテキストの一部の代替書き起こし記録を提示するようにプログラムされる、項目47に記載のシステム。
(項目53)
前記ハードウェアプロセッサはさらに、
前記眼視線追跡デバイスから受信された付加的データに基づいて、前記ユーザが前記提示されたテキストの一部と選択された代替書き起こし記録を置換するコマンドを与えたことを決定することと、
前記テキストを改訂し、前記提示されたテキストの一部と前記選択された代替書き起こし記録を置換することと、
前記ディスプレイを制御して、前記改訂されたテキストをユーザに提示することと
を行うようにプログラムされる、項目47に記載のシステム。
(項目54)
前記ハードウェアプロセッサはさらに、1つ以上の単語が正しく書き起こされた尤度を示す、前記テキスト内のそのような単語と関連付けられたスコアを生産するようにプログラムされる、項目47に記載のシステム。
(項目55)
前記ハードウェアプロセッサはさらに、正しい書き起こし記録の尤度が閾値レベルを下回る場合、前記ディスプレイに前記1つ以上の単語を強調させるようにプログラムされる、項目54に記載のシステム。
(項目56)
方法であって、
ハードウェアプロセッサの制御下で、
ユーザから発話された入力をマイクロホンから受信するステップと、
前記発話された入力を複数の単語を含むテキストに変換するステップと、
ウェアラブルディスプレイに、前記テキストをユーザに提示させるステップと、
少なくとも、視線追跡システムからのデータに基づいて、前記表示されるテキスト内の前記提示されたテキストの一部の選択を受信するステップと、
前記ユーザに、前記提示されたテキストの一部を編集する機会を提供するステップと
を含む、方法。
(項目57)
前記提示されたテキストの一部の選択を受信するステップは、
前記ユーザの視線が、少なくとも所定の閾値時間周期にわたって、前記所与の単語上に合焦されていることを決定するステップ、
前記マイクロホンを用いて編集を要求する前記ユーザから発話された所定のコマンドを受信する間、前記ユーザの視線が前記提示されたテキストの一部上に合焦されていることを決定するステップ、
ユーザ入力デバイスの作動のためのデータを受信する間、前記ユーザの視線が前記提示されたテキストの一部上に合焦されていることを決定するステップ、または
実質的に、前記ユーザが編集を要求する所定のコマンドジェスチャを行なったことを示す、ジェスチャ追跡システムからのデータを受信する間、前記ユーザの視線が前記提示されたテキストの一部上に合焦されていることを決定するステップ
のうちの1つ以上のものを含む、項目56に記載の方法。
(項目58)
少なくとも、前記視線追跡システムからのデータに基づいて、前記表示されるテキスト内の付加的単語の選択を受信するステップと、
前記ユーザに、前記提示されたテキストの一部または前記テキストの付加的部分から形成される語句を編集する機会を提供するステップと
をさらに含む、項目56に記載の方法。
(項目59)
前記テキストの少なくとも一部は、前記ディスプレイ上で強調され、前記部分は、前記発話された入力から前記テキストの対応する部分への変換が正しいことの低信頼度と関連付けられる、項目56に記載の方法。
(項目60)
方法であって、
マルチモード入力を受信するステップであって、前記マルチモード入力は、
ウェアラブルデバイスのハードウェアコンポーネントからの第1のユーザ入力であって、前記第1のユーザ入力は、第1のモードのユーザ入力と関連付けられる、第1のユーザ入力と、
第2のユーザ入力であって、前記第2のユーザ入力は、第2のモードのユーザ入力と関連付けられる、第2のユーザ入力と
を含む、ステップと、
前記第1のユーザ入力および前記第2のユーザ入力に基づいて、マルチモード入力コマンドを識別するステップであって、前記マルチモード入力コマンドは、少なくとも、
テキストの少なくとも一部を備える対象と、
前記テキストとの相互作用を備えるコマンド動作と
を備える、ステップと、
前記マルチモード入力コマンドを実行し、前記ユーザマルチモード入力の結果をユーザに表示させるステップと
を含む、方法。
(項目61)
前記第1のモードのユーザ入力は、前記ウェアラブルデバイスのオーディオセンサから受信された発話入力を備え、前記方法はさらに、前記発話入力を書き起こし、前記テキスト、前記対象、または前記コマンド動作のうちの少なくとも1つを識別するステップを含む、項目60に記載の方法。
(項目62)
前記第2のモードのユーザ入力は、ユーザ入力デバイス、ジェスチャ、または眼視線のうちの少なくとも1つからの入力を備える、項目60に記載の方法。
(項目63)
前記テキストとの相互作用は、前記テキストを選択する、編集する、または構成することのうちの少なくとも1つを備える、項目60に記載の方法。
(項目64)
前記対象は、単語、語句、または文のうちの1つ以上のものを備える、項目60に記載の方法。
(項目65)
前記対象は、文を備え、前記コマンド動作は、編集するための前記文を選択することを備え、前記方法はさらに、
第1のユーザインターフェース動作を実施し、前記文をテキストの本文から抜き出させるステップと、
前記文を一次結果としてのトークンのシーケンスとして表示するステップであって、前記一次結果は、前記ユーザの発話から書き起こされるような前記文を備える、ステップと、
二次結果をさらに表示するステップであって、前記二次結果は、トークンの代替単語を前記シーケンス内に備える、ステップと、
前記シーケンスを単語毎に編集するための、第3の入力モードおよび第4の入力モードを備える、別のマルチモード入力を受信するステップと、
前記シーケンスの編集が完了したことのインジケーションに応答して、前記編集されたシーケンスを前記テキストの本文に戻すように挿入するステップと
を含む、項目60に記載の方法。
概要
ウェアラブルシステムの3Dディスプレイの実施例
導波管スタックアセンブリ
ウェアラブルシステムの他のコンポーネント
例示的ウェアラブルシステム、環境、およびインターフェース
動眼視野(FOR)および視野(FOV)内のオブジェクトの実施例
種々のユーザ入力モードの概要
種々の入力モードを使用した仮想環境内の例示的相互作用
マルチモードユーザ入力を用いて標的仮想オブジェクトまたはユーザインターフェース動作を識別する実施例
標的オブジェクトを確認する実施例
標的ユーザインターフェース動作を識別する実施例
信頼度スコアを計算する例示的技法
物理的環境内の例示的マルチモード相互作用
実世界パラメータを識別する例示的技法
OBJECT IN A THREE-DIMENSIONAL SPACE」と題された米国出願第15/673,135号(本開示は、参照することによってその全体として本明細書に組み込まれる)に説明される。
入力モードとしての間接入力の実施例
マルチモードユーザ入力を使用して仮想オブジェクトと相互作用する例示的プロセス
ユーザ相互作用と関連付けられた直接入力モードを設定する実施例
付加的例示的ユーザ体験
Leap」と発することによって、タスクを開始する(または開始条件を提供する)ことができる。「電話」は、事前にプログラムされた単語であることができ、したがって、ウェアラブルシステムは、電話を掛ける(ビデオ電話を開始するのではなく)べきであることを把握する。ある実装では、これらの事前にプログラムされた単語は、「ホットワード」または「キャリア語句」とも称され得、これは、システムが、ユーザが特定のアクションを行う(例えば、「電話」)ことを所望することを示すものであると認識するものであって、これは、システムに、所望のアクションを完了するためにさらなる入力を受け取る(例えば、単語「電話」後の人物(「彼女」)または電話番号を識別する)ことをアラートし得る。ウェアラブルシステムは、付加的入力を使用して、「彼女」が誰であるかを識別することができる。例えば、ウェアラブルシステムは、眼追跡を使用して、ユーザが見ている仮想連絡先リストまたはユーザの電話上の連絡先を確認することができる。ウェアラブルシステムはまた、頭部姿勢または眼追跡を使用して、ユーザが、直接、ユーザが電話することを所望する人物を見ているかどうかを決定することができる。ある実施形態では、ウェアラブルシステムは、顔認識技法(例えば、オブジェクト認識装置708を使用して)を利用して、ユーザが見ている人物の識別を決定することができる。
マルチモード入力としの頭部姿勢の付加的実施例
マルチモード入力の一部としてのジェスチャ制御の付加的実施例
仮想オブジェクトと相互作用する付加的実施例
ソーシャルネットワークおよび共有のコンテキストにおける音声コマンドの付加的実施例
音声コマンドを使用して仮想オブジェクトを選択および移動させる付加的実施例
ユーザ入力の組み合わせを使用したテキストとの相互作用の実施例
マルチモードユーザ入力を用いてテキストを構成する実施例
マルチモードユーザ入力を用いて単語を選択する実施例
マルチモードユーザ入力を用いて単語を編集する実施例
マルチモードユーザ入力を用いて語句と相互作用する実施例
ユーザ入力の組み合わせを使用してテキストと相互作用する例示的プロセス
付加的側面
付加的考慮点
Claims (20)
- システムであって、
視覚的入力モードにおけるユーザからの第1のユーザ入力データを入手するように構成されるウェアラブルシステムの外向きに面した結像システムと、
第2の入力モードにおける第2のユーザ入力データを入手するように構成される前記ウェアラブルシステムの第2のセンサであって、前記第2の入力モードは、前記視覚的入力モードと異なる、第2のセンサと、
前記外向きに面した結像システムおよび前記第2のセンサと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記外向きに面した結像システムから前記第1のユーザ入力データを受信することと、
前記第2のセンサから前記第2のユーザ入力データを受信することと、
前記第1のユーザ入力データに基づいて、前記ユーザの視野内にある複数の候補オブジェクトのうちの第1の候補オブジェクトの第1の割合を前記ユーザの視野外にある前記第1の候補オブジェクトの第2の割合に対して決定することと、
前記第1の割合および前記第2の割合に基づいて前記第1の候補オブジェクトと関連付けられる第1の信頼度スコアを決定することと、
前記第2のユーザ入力データに基づいて前記第1の候補オブジェクトに関する第2の信頼度スコアを決定することと、
前記第1の信頼度スコアおよび前記第2の信頼度スコアに少なくとも部分的に基づいてユーザインターフェース動作を前記第1の候補オブジェクト上で実施させることと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、システム。 - 前記第2の入力モードは、頭部姿勢、眼視線、ユーザ入力デバイス、手のジェスチャ、または音声を備える、請求項1に記載のシステム。
- 前記ユーザインターフェース動作は、前記第1の候補オブジェクトを選択する、移動させる、またはリサイズすることのうちの少なくとも1つを備える、請求項1に記載のシステム。
- 前記ハードウェアプロセッサはさらに、前記ユーザインターフェース動作における前記第1の候補オブジェクトのための標的場所、配向、または移動のうちの少なくとも1つを決定するように構成される、請求項1に記載のシステム。
- 前記第1の候補オブジェクトのための標的場所を決定するために、前記ハードウェアプロセッサは、前記第1の候補オブジェクトを載上するための物理的環境内の作業可能表面を識別するようにプログラムされる、請求項4に記載のシステム。
- 前記作業可能表面は、
前記物理的環境内の物理的オブジェクト上の着目点(POI)に関する距離関数を計算することと、
平面公差外の前記POIのうちの1つ以上のものを排除することと、
残りのPOIに基づいて、前記作業可能表面の輪郭を描くことと
によって識別される、請求項5に記載のシステム。 - 前記ハードウェアプロセッサは、前記第1の候補オブジェクトを前記標的場所の配向に合致するように自動的に配向するようにプログラムされる、請求項5に記載のシステム。
- 前記視覚的入力モードは、前記ウェアラブルシステムの前記ユーザの場所情報に基づく間接入力モードを備える、請求項1に記載のシステム。
- 前記ユーザインターフェース動作は、仮想アプリケーションと関連付けられ、前記仮想アプリケーションは、前記外向きに面した結像システムまたは前記第2のセンサのうちの一方に対してより応答性であるようにプログラムされる、請求項1に記載のシステム。
- 前記ハードウェアプロセッサは、前記第1の候補オブジェクトとの相互作用の履歴分析を計算することによって、前記第2の信頼度スコアを計算するようにプログラムされる、請求項1に記載のシステム。
- 前記ハードウェアプロセッサは、前記第2のユーザ入力データに基づいて、前記第1の候補オブジェクトおよび前記ユーザインターフェース動作のうちの少なくとも1つにおける曖昧性を解決するようにプログラムされる、請求項1に記載のシステム。
- 前記第2のユーザ入力データは、仮想オブジェクトに対する直示または照応参照を備え、前記ハードウェアプロセッサは、前記第2のユーザ入力データに基づいて、前記仮想オブジェクトを前記第1の候補オブジェクトとして識別するようにプログラムされる、請求項1に記載のシステム。
- 方法であって、
ユーザ入力データを入手するように構成される複数のセンサと通信するウェアラブルシステムのハードウェアプロセッサの制御下で、
外向きに面した結像システムから第1のユーザ入力データを受信することと、
第2のセンサから第2のユーザ入力データを受信することであって、前記第2のユーザ入力データは、前記第1のユーザ入力データの入力モードと異なる第2の入力モードを有する、ことと、
前記第1のユーザ入力データに基づいて、ユーザの視野内にある複数の候補オブジェクトのうちの第1の候補オブジェクトの第1の割合を前記ユーザの視野外にある前記第1の候補オブジェクトの第2の割合に対して決定することと、
前記第1の割合および前記第2の割合に基づいて前記第1の候補オブジェクトと関連付けられる第1の信頼度スコアを決定することと、
前記第2のユーザ入力データに基づいて前記第1の候補オブジェクトに関する第2の信頼度スコアを決定することと、
前記第1の信頼度スコアおよび前記第2の信頼度スコアに少なくとも部分的に基づいてユーザインターフェース動作を前記第1の候補オブジェクト上で実施させることと
を行うことを含む、方法。 - 前記ユーザインターフェース動作は、対象を選択する、移動させる、またはリサイズすることのうちの少なくとも1つを備え、前記対象は、前記ユーザが相互作用しようとしている前記第1の候補オブジェクトを備える、請求項13に記載の方法。
- 前記第1の候補オブジェクトの標的場所を、
物理的オブジェクト上の着目点(POI)に関する距離関数を計算することと、
所与の平面公差外の前記POIのうちの1つ以上のものを排除することと、
残りのPOIに基づいて、前記物理的オブジェクト上の作業可能表面の輪郭を描くことと
によって決定することをさらに含む、請求項13に記載の方法。 - 前記方法は、前記第1の候補オブジェクトを前記標的場所の配向に合致するように自動的に配向させることを含む、請求項15に記載の方法。
- 前記第2の入力モードは、頭部姿勢、眼視線、ユーザ入力デバイス、手のジェスチャ、または音声を備える、請求項13に記載の方法。
- 前記第1のユーザ入力データは、一次入力であり、前記第2のユーザ入力データは、二次入力であり、前記方法は、
前記第1のユーザ入力データを解析することにより、前記ユーザインターフェース動作を識別することと、
前記第2のユーザ入力データに基づいて、前記第1の候補オブジェクトまたは前記ユーザインターフェース動作のうちの少なくとも1つにおける曖昧性を解決することにより、マルチモード入力コマンドを生成することと
を含む、請求項13に記載の方法。 - 前記方法はさらに、ユーザ設定または前記ユーザの環境に少なくとも部分的に基づいて、入力チャネルの感度を自動的に有効にする、無効にする、または調節することを含む、請求項13に記載の方法。
- 前記第2のユーザ入力データは、直示または照応参照を備え、前記ユーザインターフェース動作は、前記第2のユーザ入力データに基づいて、前記第1の候補オブジェクトを選択することを含む、請求項13に記載の方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023133400A JP2023144096A (ja) | 2017-04-19 | 2023-08-18 | ウェアラブルシステムのためのマルチモード実行およびテキスト編集 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762487364P | 2017-04-19 | 2017-04-19 | |
US62/487,364 | 2017-04-19 | ||
US201762609647P | 2017-12-22 | 2017-12-22 | |
US62/609,647 | 2017-12-22 | ||
JP2019555935A JP7149289B2 (ja) | 2017-04-19 | 2018-04-17 | ウェアラブルシステムのためのマルチモード実行およびテキスト編集 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019555935A Division JP7149289B2 (ja) | 2017-04-19 | 2018-04-17 | ウェアラブルシステムのためのマルチモード実行およびテキスト編集 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023133400A Division JP2023144096A (ja) | 2017-04-19 | 2023-08-18 | ウェアラブルシステムのためのマルチモード実行およびテキスト編集 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022121592A true JP2022121592A (ja) | 2022-08-19 |
JP7336005B2 JP7336005B2 (ja) | 2023-08-30 |
Family
ID=63854461
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019555935A Active JP7149289B2 (ja) | 2017-04-19 | 2018-04-17 | ウェアラブルシステムのためのマルチモード実行およびテキスト編集 |
JP2022104508A Active JP7336005B2 (ja) | 2017-04-19 | 2022-06-29 | ウェアラブルシステムのためのマルチモード実行およびテキスト編集 |
JP2023133400A Pending JP2023144096A (ja) | 2017-04-19 | 2023-08-18 | ウェアラブルシステムのためのマルチモード実行およびテキスト編集 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019555935A Active JP7149289B2 (ja) | 2017-04-19 | 2018-04-17 | ウェアラブルシステムのためのマルチモード実行およびテキスト編集 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023133400A Pending JP2023144096A (ja) | 2017-04-19 | 2023-08-18 | ウェアラブルシステムのためのマルチモード実行およびテキスト編集 |
Country Status (9)
Country | Link |
---|---|
US (4) | US10768693B2 (ja) |
EP (2) | EP3612878B1 (ja) |
JP (3) | JP7149289B2 (ja) |
KR (2) | KR102652922B1 (ja) |
CN (2) | CN113608617A (ja) |
AU (1) | AU2018256365A1 (ja) |
CA (1) | CA3059234A1 (ja) |
IL (1) | IL270002B2 (ja) |
WO (1) | WO2018195099A1 (ja) |
Families Citing this family (160)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10768704B2 (en) | 2015-03-17 | 2020-09-08 | Whirlwind VR, Inc. | System and method for modulating a peripheral device based on an unscripted feed using computer vision |
WO2017068926A1 (ja) * | 2015-10-21 | 2017-04-27 | ソニー株式会社 | 情報処理装置及びその制御方法、並びにコンピュータ・プログラム |
WO2018176017A1 (en) * | 2017-03-24 | 2018-09-27 | Revealit Corporation | Method, system, and apparatus for identifying and revealing selected objects from video |
AU2018256365A1 (en) | 2017-04-19 | 2019-10-31 | Magic Leap, Inc. | Multimodal task execution and text editing for a wearable system |
US10782793B2 (en) * | 2017-08-10 | 2020-09-22 | Google Llc | Context-sensitive hand interaction |
US10373332B2 (en) * | 2017-12-08 | 2019-08-06 | Nvidia Corporation | Systems and methods for dynamic facial analysis using a recurrent neural network |
CN107977586B (zh) * | 2017-12-22 | 2021-04-13 | 联想(北京)有限公司 | 显示内容处理方法、第一电子设备以及第二电子设备 |
EP3729421A1 (en) * | 2017-12-22 | 2020-10-28 | Telefonaktiebolaget LM Ericsson (publ) | Gaze-initiated voice control |
CN111527466A (zh) * | 2018-01-04 | 2020-08-11 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
WO2019143117A1 (en) * | 2018-01-18 | 2019-07-25 | Samsung Electronics Co., Ltd. | Method and apparatus for adjusting augmented reality content |
KR102378682B1 (ko) * | 2018-02-06 | 2022-03-24 | 월마트 아폴로, 엘엘씨 | 커스터마이즈된 증강 현실 아이템 필터링 시스템 |
US11403806B2 (en) * | 2018-03-20 | 2022-08-02 | Sony Corporation | Information processing apparatus, information processing method, and recording medium |
US10540015B2 (en) * | 2018-03-26 | 2020-01-21 | Chian Chiu Li | Presenting location related information and implementing a task based on gaze and voice detection |
US11157075B2 (en) * | 2018-05-01 | 2021-10-26 | Dell Products, L.P. | Gaze-activated voice services for interactive workspaces |
KR102661487B1 (ko) | 2018-05-04 | 2024-04-26 | 구글 엘엘씨 | 검출된 제스처 및 시선에 기초하여 자동화된 어시스턴트 기능 호출 |
US20190339837A1 (en) * | 2018-05-04 | 2019-11-07 | Oculus Vr, Llc | Copy and Paste in a Virtual Reality Environment |
EP4343499A3 (en) * | 2018-05-04 | 2024-06-05 | Google LLC | Adapting automated assistant based on detected mouth movement and/or gaze |
US10916065B2 (en) * | 2018-05-04 | 2021-02-09 | Facebook Technologies, Llc | Prevention of user interface occlusion in a virtual reality environment |
EP4130941A1 (en) | 2018-05-04 | 2023-02-08 | Google LLC | Hot-word free adaptation of automated assistant function(s) |
US10504290B2 (en) * | 2018-05-04 | 2019-12-10 | Facebook Technologies, Llc | User interface security in a virtual reality environment |
US11169668B2 (en) * | 2018-05-16 | 2021-11-09 | Google Llc | Selecting an input mode for a virtual assistant |
US10861242B2 (en) | 2018-05-22 | 2020-12-08 | Magic Leap, Inc. | Transmodal input fusion for a wearable system |
US11733824B2 (en) * | 2018-06-22 | 2023-08-22 | Apple Inc. | User interaction interpreter |
US11227435B2 (en) | 2018-08-13 | 2022-01-18 | Magic Leap, Inc. | Cross reality system |
US10937243B2 (en) * | 2018-08-29 | 2021-03-02 | Dell Products, L.P. | Real-world object interface for virtual, augmented, and mixed reality (xR) applications |
US11348316B2 (en) * | 2018-09-11 | 2022-05-31 | Apple Inc. | Location-based virtual element modality in three-dimensional content |
WO2020072985A1 (en) | 2018-10-05 | 2020-04-09 | Magic Leap, Inc. | Rendering location specific virtual content in any location |
US11288733B2 (en) * | 2018-11-14 | 2022-03-29 | Mastercard International Incorporated | Interactive 3D image projection systems and methods |
US11199912B2 (en) | 2018-11-30 | 2021-12-14 | Magic Leap, Inc. | Multi-modal hand location and orientation for avatar movement |
JP7468360B2 (ja) * | 2018-12-03 | 2024-04-16 | ソニーグループ株式会社 | 情報処理装置および情報処理方法 |
US11176230B2 (en) | 2018-12-05 | 2021-11-16 | Bank Of America Corporation | Processing authentication requests to secured information systems based on user behavior profiles |
US11113370B2 (en) | 2018-12-05 | 2021-09-07 | Bank Of America Corporation | Processing authentication requests to secured information systems using machine-learned user-account behavior profiles |
US11036838B2 (en) | 2018-12-05 | 2021-06-15 | Bank Of America Corporation | Processing authentication requests to secured information systems using machine-learned user-account behavior profiles |
US11159510B2 (en) | 2018-12-05 | 2021-10-26 | Bank Of America Corporation | Utilizing federated user identifiers to enable secure information sharing |
US11120109B2 (en) | 2018-12-05 | 2021-09-14 | Bank Of America Corporation | Processing authentication requests to secured information systems based on machine-learned event profiles |
US11048793B2 (en) | 2018-12-05 | 2021-06-29 | Bank Of America Corporation | Dynamically generating activity prompts to build and refine machine learning authentication models |
US10930275B2 (en) | 2018-12-18 | 2021-02-23 | Microsoft Technology Licensing, Llc | Natural language input disambiguation for spatialized regions |
KR20200076325A (ko) * | 2018-12-19 | 2020-06-29 | 삼성전자주식회사 | 외부 객체를 컨트롤러로 이용하기 위한 웨어러블 장치 및 방법 |
US10789952B2 (en) * | 2018-12-20 | 2020-09-29 | Microsoft Technology Licensing, Llc | Voice command execution from auxiliary input |
US11024074B2 (en) * | 2018-12-27 | 2021-06-01 | Facebook Technologies, Llc | Virtual spaces, mixed reality spaces, and combined mixed reality spaces for improved interaction and collaboration |
JP7468506B2 (ja) * | 2019-03-13 | 2024-04-16 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及び記録媒体 |
US20220129069A1 (en) * | 2019-03-28 | 2022-04-28 | Sony Group Corporation | Information processing apparatus, information processing method, and program |
WO2020218634A1 (ko) * | 2019-04-23 | 2020-10-29 | 엘지전자 주식회사 | 응답 기기 결정 방법 및 장치 |
US11321436B2 (en) | 2019-05-01 | 2022-05-03 | Samsung Electronics Co., Ltd. | Human ID for mobile authentication |
EP3942394A1 (en) | 2019-05-06 | 2022-01-26 | Apple Inc. | Device, method, and graphical user interface for composing cgr files |
CN113508361A (zh) | 2019-05-06 | 2021-10-15 | 苹果公司 | 用于呈现计算机生成现实文件的设备、方法和计算机可读介质 |
US10969863B2 (en) * | 2019-05-08 | 2021-04-06 | International Business Machines Corporation | Configurable sensor array for a multi-target environment |
WO2020236171A1 (en) * | 2019-05-22 | 2020-11-26 | Google Llc | Methods, systems, and media for object grouping and manipulation in immersive environments |
CN110334330A (zh) * | 2019-05-27 | 2019-10-15 | 努比亚技术有限公司 | 一种信息编辑方法、可穿戴设备及计算机可读存储介质 |
US10937192B2 (en) * | 2019-05-29 | 2021-03-02 | Dell Products, L.P. | Resolving incorrect distributed simultaneous localization and mapping (SLAM) data in edge cloud architectures |
JP7336266B2 (ja) * | 2019-06-04 | 2023-08-31 | キヤノン株式会社 | 電子機器、電子機器の制御方法、プログラム、記憶媒体 |
JP2021005157A (ja) * | 2019-06-25 | 2021-01-14 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置および画像処理方法 |
US11422638B2 (en) | 2019-07-08 | 2022-08-23 | Apple Inc. | Input devices that use self-mixing interferometry to determine movement within an enclosure |
US11017231B2 (en) * | 2019-07-10 | 2021-05-25 | Microsoft Technology Licensing, Llc | Semantically tagged virtual and physical objects |
JP7451110B2 (ja) * | 2019-08-27 | 2024-03-18 | ソニーグループ株式会社 | 測距システム及び電子機器 |
EP4025963A4 (en) * | 2019-09-03 | 2023-08-30 | Light Field Lab, Inc. | LIGHT FIELD DISPLAY FOR MOBILE DEVICES |
US11848000B2 (en) * | 2019-09-06 | 2023-12-19 | Microsoft Technology Licensing, Llc | Transcription revision interface for speech recognition system |
US10943388B1 (en) | 2019-09-06 | 2021-03-09 | Zspace, Inc. | Intelligent stylus beam and assisted probabilistic input to element mapping in 2D and 3D graphical user interfaces |
US11409365B2 (en) * | 2019-09-06 | 2022-08-09 | Apple Inc. | Self-mixing interferometry-based gesture input system including a wearable or handheld device |
US11189099B2 (en) | 2019-09-20 | 2021-11-30 | Facebook Technologies, Llc | Global and local mode virtual object interactions |
US10991163B2 (en) | 2019-09-20 | 2021-04-27 | Facebook Technologies, Llc | Projection casting in virtual environments |
US11176745B2 (en) | 2019-09-20 | 2021-11-16 | Facebook Technologies, Llc | Projection casting in virtual environments |
US11086406B1 (en) | 2019-09-20 | 2021-08-10 | Facebook Technologies, Llc | Three-state gesture virtual controls |
US11170576B2 (en) | 2019-09-20 | 2021-11-09 | Facebook Technologies, Llc | Progressive display of virtual objects |
US11580869B2 (en) * | 2019-09-23 | 2023-02-14 | Revealit Corporation | Computer-implemented interfaces for identifying and revealing selected objects from video |
US11419546B2 (en) | 2019-09-24 | 2022-08-23 | Apple Inc. | Wearable self-mixing interferometry device used to sense physiological conditions |
CN113785260A (zh) | 2019-09-27 | 2021-12-10 | 苹果公司 | 控制计算机生成现实环境中的虚拟对象的表示 |
CN114616534A (zh) | 2019-10-15 | 2022-06-10 | 奇跃公司 | 具有无线指纹的交叉现实系统 |
CN114600064A (zh) | 2019-10-15 | 2022-06-07 | 奇跃公司 | 具有定位服务的交叉现实系统 |
US11861674B1 (en) | 2019-10-18 | 2024-01-02 | Meta Platforms Technologies, Llc | Method, one or more computer-readable non-transitory storage media, and a system for generating comprehensive information for products of interest by assistant systems |
US11567788B1 (en) | 2019-10-18 | 2023-01-31 | Meta Platforms, Inc. | Generating proactive reminders for assistant systems |
US11086476B2 (en) * | 2019-10-23 | 2021-08-10 | Facebook Technologies, Llc | 3D interactions with web content |
US11289086B2 (en) * | 2019-11-01 | 2022-03-29 | Microsoft Technology Licensing, Llc | Selective response rendering for virtual assistants |
US11493989B2 (en) * | 2019-11-08 | 2022-11-08 | Magic Leap, Inc. | Modes of user interaction |
US11175730B2 (en) | 2019-12-06 | 2021-11-16 | Facebook Technologies, Llc | Posture-based virtual space configurations |
WO2021118962A1 (en) | 2019-12-09 | 2021-06-17 | Magic Leap, Inc. | Cross reality system with simplified programming of virtual content |
US11816757B1 (en) * | 2019-12-11 | 2023-11-14 | Meta Platforms Technologies, Llc | Device-side capture of data representative of an artificial reality environment |
US11042222B1 (en) | 2019-12-16 | 2021-06-22 | Microsoft Technology Licensing, Llc | Sub-display designation and sharing |
US11487423B2 (en) | 2019-12-16 | 2022-11-01 | Microsoft Technology Licensing, Llc | Sub-display input areas and hidden inputs |
US11093046B2 (en) | 2019-12-16 | 2021-08-17 | Microsoft Technology Licensing, Llc | Sub-display designation for remote content source device |
US20210192681A1 (en) * | 2019-12-18 | 2021-06-24 | Ati Technologies Ulc | Frame reprojection for virtual reality and augmented reality |
US11475639B2 (en) | 2020-01-03 | 2022-10-18 | Meta Platforms Technologies, Llc | Self presence in artificial reality |
US11687778B2 (en) | 2020-01-06 | 2023-06-27 | The Research Foundation For The State University Of New York | Fakecatcher: detection of synthetic portrait videos using biological signals |
EP3851939A1 (en) * | 2020-01-14 | 2021-07-21 | Apple Inc. | Positioning a user-controlled spatial selector based on extremity tracking information and eye tracking information |
JP7496424B2 (ja) | 2020-01-24 | 2024-06-06 | マジック リープ, インコーポレイテッド | 単一コントローラを使用したコンテンツ移動および相互作用 |
US11562525B2 (en) | 2020-02-13 | 2023-01-24 | Magic Leap, Inc. | Cross reality system with map processing using multi-resolution frame descriptors |
EP4103910A4 (en) | 2020-02-13 | 2024-03-06 | Magic Leap, Inc. | CROSS-REALLY SYSTEM WITH ACCURATE COMMON MAPS |
JP2023514206A (ja) * | 2020-02-13 | 2023-04-05 | マジック リープ, インコーポレイテッド | 大規模環境のためのクロスリアリティシステム |
CN115398484A (zh) | 2020-02-13 | 2022-11-25 | 奇跃公司 | 具有用于定位的地理定位信息优先级的交叉现实系统 |
JP2021157277A (ja) * | 2020-03-25 | 2021-10-07 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及びプログラム |
US11789688B1 (en) | 2020-03-26 | 2023-10-17 | Apple Inc. | Content presentation based on environmental data |
CN111526083B (zh) * | 2020-04-15 | 2022-04-15 | 上海幂方电子科技有限公司 | 通过头部动作即时通信的方法、装置、系统及存储介质 |
CN111459288B (zh) * | 2020-04-23 | 2021-08-03 | 捷开通讯(深圳)有限公司 | 一种运用头控实现语音输入的方法和装置 |
WO2021230048A1 (ja) | 2020-05-15 | 2021-11-18 | 株式会社Nttドコモ | 情報処理システム |
CN111782031A (zh) * | 2020-05-26 | 2020-10-16 | 北京理工大学 | 一种基于头动以及手指微手势的文本输入系统及方法 |
CN111831112A (zh) * | 2020-05-26 | 2020-10-27 | 北京理工大学 | 一种基于眼动以及手指微手势的文本输入系统及方法 |
US11257280B1 (en) | 2020-05-28 | 2022-02-22 | Facebook Technologies, Llc | Element-based switching of ray casting rules |
US11340707B2 (en) * | 2020-05-29 | 2022-05-24 | Microsoft Technology Licensing, Llc | Hand gesture-based emojis |
WO2021245886A1 (ja) * | 2020-06-04 | 2021-12-09 | 三菱電機株式会社 | 建物の交通管理システム |
US11995774B2 (en) * | 2020-06-29 | 2024-05-28 | Snap Inc. | Augmented reality experiences using speech and text captions |
GB202009874D0 (en) * | 2020-06-29 | 2020-08-12 | Microsoft Technology Licensing Llc | Visual interface for a computer system |
US11256336B2 (en) | 2020-06-29 | 2022-02-22 | Facebook Technologies, Llc | Integration of artificial reality interaction modes |
WO2022015857A1 (en) * | 2020-07-14 | 2022-01-20 | Sterling Labs Llc | Generating suggested content for workspaces |
CN111782053B (zh) * | 2020-08-10 | 2023-04-28 | Oppo广东移动通信有限公司 | 模型编辑方法、装置、设备及存储介质 |
WO2022046367A1 (en) * | 2020-08-25 | 2022-03-03 | Sterling Labs Llc | Displaying an environment from a selected point-of-view |
US11176755B1 (en) | 2020-08-31 | 2021-11-16 | Facebook Technologies, Llc | Artificial reality augments and surfaces |
US11227445B1 (en) | 2020-08-31 | 2022-01-18 | Facebook Technologies, Llc | Artificial reality augments and surfaces |
US11178376B1 (en) | 2020-09-04 | 2021-11-16 | Facebook Technologies, Llc | Metering for display modes in artificial reality |
US11582245B2 (en) * | 2020-09-15 | 2023-02-14 | Meta Platforms Technologies, Llc | Artificial reality collaborative working environments |
CN116420130A (zh) * | 2020-09-25 | 2023-07-11 | 苹果公司 | 用于调节和/或控制与用户界面相关联的沉浸度的方法 |
CN112379799B (zh) * | 2020-10-16 | 2022-04-01 | 杭州易现先进科技有限公司 | 在三维渲染中输入框的控制方法、装置和电子装置 |
US11113893B1 (en) | 2020-11-17 | 2021-09-07 | Facebook Technologies, Llc | Artificial reality environment with glints displayed by an extra reality device |
KR102258531B1 (ko) * | 2020-11-23 | 2021-06-01 | (주)펜타유니버스 | 복합 입력 인지 시스템용 통합 인지 분석부 |
US11854230B2 (en) | 2020-12-01 | 2023-12-26 | Meta Platforms Technologies, Llc | Physical keyboard tracking |
US11928263B2 (en) | 2020-12-07 | 2024-03-12 | Samsung Electronics Co., Ltd. | Electronic device for processing user input and method thereof |
KR20220080399A (ko) * | 2020-12-07 | 2022-06-14 | 삼성전자주식회사 | 사용자 입력을 처리하는 전자 장치 및 방법 |
US20220180888A1 (en) * | 2020-12-08 | 2022-06-09 | International Business Machines Corporation | Directional voice command identification |
US11409405B1 (en) | 2020-12-22 | 2022-08-09 | Facebook Technologies, Llc | Augment orchestration in an artificial reality environment |
US11461973B2 (en) | 2020-12-22 | 2022-10-04 | Meta Platforms Technologies, Llc | Virtual reality locomotion via hand gesture |
US11610363B2 (en) * | 2020-12-31 | 2023-03-21 | Oberon Technologies, Inc. | Systems and methods for virtual reality environments |
KR20220105893A (ko) * | 2021-01-21 | 2022-07-28 | 삼성전자주식회사 | 외부 웨어러블 전자 장치로부터 정보를 수신하는 웨어러블 전자 장치 및 그 작동 방법 |
US11294475B1 (en) | 2021-02-08 | 2022-04-05 | Facebook Technologies, Llc | Artificial reality multi-modal input switching model |
JP2024507749A (ja) | 2021-02-08 | 2024-02-21 | サイトフル コンピューターズ リミテッド | エクステンデッドリアリティにおけるコンテンツ共有 |
US11995230B2 (en) | 2021-02-11 | 2024-05-28 | Apple Inc. | Methods for presenting and sharing content in an environment |
WO2022212916A1 (en) * | 2021-04-01 | 2022-10-06 | Giant.Ai, Inc. | Hybrid computing architectures with specialized processors to encode/decode latent representations for controlling dynamic mechanical systems |
CN117178245A (zh) * | 2021-04-01 | 2023-12-05 | 苹果公司 | 凝视和头部姿态交互 |
WO2022215347A1 (ja) * | 2021-04-08 | 2022-10-13 | 株式会社Nttドコモ | コンテンツ表示制御システム |
US20220375172A1 (en) * | 2021-05-19 | 2022-11-24 | Snap Inc. | Contextual visual and voice search from electronic eyewear device |
CN113286163B (zh) * | 2021-05-21 | 2022-07-08 | 成都威爱新经济技术研究院有限公司 | 一种用于虚拟拍摄直播的时间戳误差标定方法及系统 |
US11762952B2 (en) | 2021-06-28 | 2023-09-19 | Meta Platforms Technologies, Llc | Artificial reality application lifecycle |
US11295503B1 (en) | 2021-06-28 | 2022-04-05 | Facebook Technologies, Llc | Interactive avatars in artificial reality |
US12008717B2 (en) | 2021-07-07 | 2024-06-11 | Meta Platforms Technologies, Llc | Artificial reality environment control through an artificial reality environment schema |
WO2023009580A2 (en) * | 2021-07-28 | 2023-02-02 | Multinarity Ltd | Using an extended reality appliance for productivity |
CN113627312A (zh) * | 2021-08-04 | 2021-11-09 | 东南大学 | 一种通过眼动追踪来协助瘫痪失语者语言输出的系统 |
US20230055819A1 (en) * | 2021-08-18 | 2023-02-23 | Target Brands, Inc. | Virtual reality system for retail store design |
US20230267933A1 (en) * | 2021-09-27 | 2023-08-24 | International Business Machines Corporation | Selective inclusion of speech content in documents |
US11810242B2 (en) * | 2021-10-12 | 2023-11-07 | Htc Corporation | Method for stabilizing raycast and electronic device using the same |
US11798247B2 (en) | 2021-10-27 | 2023-10-24 | Meta Platforms Technologies, Llc | Virtual object structures and interrelationships |
US11748944B2 (en) | 2021-10-27 | 2023-09-05 | Meta Platforms Technologies, Llc | Virtual object structures and interrelationships |
TWI817437B (zh) * | 2021-11-03 | 2023-10-01 | 宏達國際電子股份有限公司 | 虛擬影像顯示系統及其控制裝置的指向方向的控制方法 |
US11989343B2 (en) * | 2022-01-05 | 2024-05-21 | Nokia Technologies Oy | Pose validity for XR based services |
US12020704B2 (en) | 2022-01-19 | 2024-06-25 | Google Llc | Dynamic adaptation of parameter set used in hot word free adaptation of automated assistant |
US11948263B1 (en) | 2023-03-14 | 2024-04-02 | Sightful Computers Ltd | Recording the complete physical and extended reality environments of a user |
US11579747B1 (en) * | 2022-03-14 | 2023-02-14 | Snap Inc. | 3D user interface depth forgiveness |
US20230315193A1 (en) * | 2022-03-31 | 2023-10-05 | Lenovo (Singapore) Pte. Ltd. | Direction of user input to virtual objects based on command metadata |
US11610376B1 (en) | 2022-04-08 | 2023-03-21 | Meta Platforms Technologies, Llc | Wrist-stabilized projection casting |
US20230326144A1 (en) * | 2022-04-08 | 2023-10-12 | Meta Platforms Technologies, Llc | Triggering Field Transitions for Artificial Reality Objects |
US20240036578A1 (en) * | 2022-07-26 | 2024-02-01 | Zebra Technologies Corporation | Generation of Navigational Paths Using Recursive Partitioning of Unoccupied Space |
CN115237255B (zh) * | 2022-07-29 | 2023-10-31 | 天津大学 | 一种基于眼动和语音的自然图像共指目标定位系统及方法 |
CN115344121A (zh) * | 2022-08-10 | 2022-11-15 | 北京字跳网络技术有限公司 | 用于处理手势事件的方法、装置、设备和存储介质 |
US20240168289A1 (en) * | 2022-11-17 | 2024-05-23 | Htc Corporation | Head-mounted display device, tracking system, and tracking method |
US20240185849A1 (en) * | 2022-12-05 | 2024-06-06 | Google Llc | Facilitating virtual or physical assistant interactions with virtual objects in a virtual environment |
US11947862B1 (en) | 2022-12-30 | 2024-04-02 | Meta Platforms Technologies, Llc | Streaming native application content to artificial reality devices |
US11880936B1 (en) * | 2023-01-26 | 2024-01-23 | Intuit Inc. | Generating and displaying text in a virtual reality environment |
CN116300092B (zh) * | 2023-03-09 | 2024-05-14 | 北京百度网讯科技有限公司 | 智能眼镜的控制方法、装置、设备以及存储介质 |
US11991222B1 (en) | 2023-05-02 | 2024-05-21 | Meta Platforms Technologies, Llc | Persistent call control user interface element in an artificial reality environment |
CN116301388B (zh) * | 2023-05-11 | 2023-08-01 | 环球数科集团有限公司 | 一种智能多模态组合应用的人机交互场景系统 |
WO2024031109A2 (en) * | 2023-07-19 | 2024-02-08 | Futurewei Technologies, Inc. | Audio-visual information system for smart eyewear |
US11995414B1 (en) * | 2023-08-28 | 2024-05-28 | Sdl Inc. | Automatic post-editing systems and methods |
CN117348737A (zh) * | 2023-12-06 | 2024-01-05 | 之江实验室 | 一种基于多通道交互的数据处理系统及方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04372012A (ja) * | 1991-06-20 | 1992-12-25 | Fuji Xerox Co Ltd | 入力装置 |
JPH0962864A (ja) * | 1995-08-25 | 1997-03-07 | Toshiba Corp | 高速描画方法および装置 |
JP2009151419A (ja) * | 2007-12-19 | 2009-07-09 | Advanced Telecommunication Research Institute International | 対象物特定方法および装置 |
JP2012108842A (ja) * | 2010-11-19 | 2012-06-07 | Konica Minolta Holdings Inc | 表示システム、表示処理装置、表示方法、および表示プログラム |
JP2013054661A (ja) * | 2011-09-06 | 2013-03-21 | Nec Biglobe Ltd | 情報表示システム、情報表示方法、及び情報表示用プログラム |
JP2014085954A (ja) * | 2012-10-25 | 2014-05-12 | Kyocera Corp | 携帯端末装置、プログラムおよび入力操作受け付け方法 |
JP2014186361A (ja) * | 2013-03-21 | 2014-10-02 | Sony Corp | 情報処理装置、操作制御方法及びプログラム |
JP2015114757A (ja) * | 2013-12-10 | 2015-06-22 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
WO2016203792A1 (ja) * | 2015-06-15 | 2016-12-22 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
WO2017034667A1 (en) * | 2015-08-26 | 2017-03-02 | Google Inc. | Dynamic switching and merging of head, gesture and touch input in virtual reality |
Family Cites Families (67)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6222525B1 (en) | 1992-03-05 | 2001-04-24 | Brad A. Armstrong | Image controllers with sheet connected sensors |
US5670988A (en) | 1995-09-05 | 1997-09-23 | Interlink Electronics, Inc. | Trigger operated electronic device |
JP3822357B2 (ja) * | 1998-02-09 | 2006-09-20 | 株式会社東芝 | マルチモーダル入出力装置のインタフェース装置及びその方法 |
US7257575B1 (en) * | 2002-10-24 | 2007-08-14 | At&T Corp. | Systems and methods for generating markup-language based expressions from multi-modal and unimodal inputs |
USD514570S1 (en) | 2004-06-24 | 2006-02-07 | Microsoft Corporation | Region of a fingerprint scanning device with an illuminated ring |
US7561717B2 (en) | 2004-07-09 | 2009-07-14 | United Parcel Service Of America, Inc. | System and method for displaying item information |
US11428937B2 (en) | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
KR101477530B1 (ko) * | 2010-03-12 | 2014-12-30 | 뉘앙스 커뮤니케이션즈, 인코포레이티드 | 이동 전화의 터치 스크린과 함께 사용하기 위한 다중 모드 문자 입력 시스템 |
US8645136B2 (en) * | 2010-07-20 | 2014-02-04 | Intellisist, Inc. | System and method for efficiently reducing transcription error using hybrid voice transcription |
US9292973B2 (en) * | 2010-11-08 | 2016-03-22 | Microsoft Technology Licensing, Llc | Automatic variable virtual focus for augmented reality displays |
US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
AU2011348122A1 (en) | 2010-12-24 | 2013-07-11 | Magic Leap Inc. | An ergonomic head mounted display device and optical system |
US10156722B2 (en) | 2010-12-24 | 2018-12-18 | Magic Leap, Inc. | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
KR20130136566A (ko) | 2011-03-29 | 2013-12-12 | 퀄컴 인코포레이티드 | 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들 |
CA2835120C (en) | 2011-05-06 | 2019-05-28 | Magic Leap, Inc. | Massive simultaneous remote digital presence world |
USD658094S1 (en) | 2011-06-18 | 2012-04-24 | Dunn Scott E | Rounded square display device for a cord |
US9417754B2 (en) | 2011-08-05 | 2016-08-16 | P4tents1, LLC | User interface system, method, and computer program product |
US10795448B2 (en) | 2011-09-29 | 2020-10-06 | Magic Leap, Inc. | Tactile glove for human-computer interaction |
US20130104085A1 (en) | 2011-10-21 | 2013-04-25 | Digital Artforms, Inc. | Systems and methods for human-computer interaction using a two handed interface |
CA3207408A1 (en) | 2011-10-28 | 2013-06-13 | Magic Leap, Inc. | System and method for augmented and virtual reality |
KR102376368B1 (ko) | 2011-11-23 | 2022-03-17 | 매직 립, 인코포레이티드 | 3차원 가상 및 증강 현실 디스플레이 시스템 |
KR102306729B1 (ko) | 2012-04-05 | 2021-09-28 | 매직 립, 인코포레이티드 | 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들 |
US10629003B2 (en) | 2013-03-11 | 2020-04-21 | Magic Leap, Inc. | System and method for augmented and virtual reality |
US9671566B2 (en) * | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
CN115494654A (zh) | 2012-06-11 | 2022-12-20 | 奇跃公司 | 使用波导反射器阵列投射器的多深度平面三维显示器 |
US8754829B2 (en) | 2012-08-04 | 2014-06-17 | Paul Lapstun | Scanning light field camera and display |
US9740006B2 (en) | 2012-09-11 | 2017-08-22 | Magic Leap, Inc. | Ergonomic head mounted display device and optical system |
JP6434918B2 (ja) | 2013-01-15 | 2018-12-05 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 超高分解能の走査ファイバディスプレイ |
KR102458124B1 (ko) | 2013-03-15 | 2022-10-21 | 매직 립, 인코포레이티드 | 디스플레이 시스템 및 방법 |
US9367960B2 (en) | 2013-05-22 | 2016-06-14 | Microsoft Technology Licensing, Llc | Body-locked placement of augmented reality objects |
US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
US9129430B2 (en) | 2013-06-25 | 2015-09-08 | Microsoft Technology Licensing, Llc | Indicating out-of-view augmented reality images |
KR20150037254A (ko) | 2013-09-30 | 2015-04-08 | 엘지전자 주식회사 | 착용형 디스플레이 디바이스 및 레이어 제어 방법 |
KR102341870B1 (ko) | 2013-10-16 | 2021-12-20 | 매직 립, 인코포레이티드 | 조절가능한 동공간 거리를 가지는 가상 또는 증강 현실 헤드셋들 |
US20160210276A1 (en) | 2013-10-24 | 2016-07-21 | Sony Corporation | Information processing device, information processing method, and program |
EP4220999A3 (en) | 2013-11-27 | 2023-08-09 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
CA3089749A1 (en) | 2014-01-31 | 2015-08-06 | Magic Leap, Inc. | Multi-focal display system and method |
KR102177133B1 (ko) | 2014-01-31 | 2020-11-10 | 매직 립, 인코포레이티드 | 멀티-포컬 디스플레이 시스템 및 방법 |
JP2015145934A (ja) | 2014-02-03 | 2015-08-13 | セイコーエプソン株式会社 | プロジェクター |
US9274340B2 (en) | 2014-02-18 | 2016-03-01 | Merge Labs, Inc. | Soft head mounted display goggles for use with mobile computing devices |
US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
KR20150110257A (ko) * | 2014-03-21 | 2015-10-02 | 삼성전자주식회사 | 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법 및 이를 위한 웨어러블 디바이스 |
JP2017526078A (ja) * | 2014-05-09 | 2017-09-07 | グーグル インコーポレイテッド | 実在および仮想のオブジェクトと対話するための生体力学ベースの眼球信号のためのシステムおよび方法 |
USD759657S1 (en) | 2014-05-19 | 2016-06-21 | Microsoft Corporation | Connector with illumination region |
CA3124368C (en) | 2014-05-30 | 2023-04-25 | Magic Leap, Inc. | Methods and systems for generating virtual content display with a virtual or augmented reality apparatus |
US9971492B2 (en) * | 2014-06-04 | 2018-05-15 | Quantum Interface, Llc | Dynamic environment for object and attribute display and interaction |
USD752529S1 (en) | 2014-06-09 | 2016-03-29 | Comcast Cable Communications, Llc | Electronic housing with illuminated region |
USD758367S1 (en) | 2015-05-14 | 2016-06-07 | Magic Leap, Inc. | Virtual reality headset |
EP3118722B1 (en) * | 2015-07-14 | 2020-07-01 | Nokia Technologies Oy | Mediated reality |
EP4254145A3 (en) * | 2015-09-16 | 2023-11-01 | Magic Leap, Inc. | Head pose mixing of audio files |
CA3002369A1 (en) | 2015-10-20 | 2017-04-27 | Magic Leap, Inc. | Selecting virtual objects in a three-dimensional space |
WO2017096509A1 (zh) * | 2015-12-07 | 2017-06-15 | 华为技术有限公司 | 一种显示、处理的方法及相关装置 |
CN106997235B (zh) * | 2016-01-25 | 2018-07-13 | 亮风台(上海)信息科技有限公司 | 用于实现增强现实交互和展示的方法、设备 |
US10229541B2 (en) * | 2016-01-28 | 2019-03-12 | Sony Interactive Entertainment America Llc | Methods and systems for navigation within virtual reality space using head mounted display |
USD805734S1 (en) | 2016-03-04 | 2017-12-26 | Nike, Inc. | Shirt |
USD794288S1 (en) | 2016-03-11 | 2017-08-15 | Nike, Inc. | Shoe with illuminable sole light sequence |
CA3018758A1 (en) | 2016-03-31 | 2017-10-05 | Magic Leap, Inc. | Interactions with 3d virtual objects using poses and multiple-dof controllers |
US10068134B2 (en) * | 2016-05-03 | 2018-09-04 | Microsoft Technology Licensing, Llc | Identification of objects in a scene using gaze tracking techniques |
WO2018031621A1 (en) | 2016-08-11 | 2018-02-15 | Magic Leap, Inc. | Automatic placement of a virtual object in a three-dimensional space |
US20180096506A1 (en) * | 2016-10-04 | 2018-04-05 | Facebook, Inc. | Controls and Interfaces for User Interactions in Virtual Spaces |
CN108664201B (zh) * | 2017-03-29 | 2021-12-28 | 北京搜狗科技发展有限公司 | 一种文本编辑方法、装置及电子设备 |
AU2018256365A1 (en) | 2017-04-19 | 2019-10-31 | Magic Leap, Inc. | Multimodal task execution and text editing for a wearable system |
EP4235263A3 (en) | 2017-09-29 | 2023-11-29 | Apple Inc. | Gaze-based user interactions |
-
2018
- 2018-04-17 AU AU2018256365A patent/AU2018256365A1/en not_active Abandoned
- 2018-04-17 JP JP2019555935A patent/JP7149289B2/ja active Active
- 2018-04-17 EP EP18788499.4A patent/EP3612878B1/en active Active
- 2018-04-17 WO PCT/US2018/028002 patent/WO2018195099A1/en unknown
- 2018-04-17 CN CN202110917855.0A patent/CN113608617A/zh active Pending
- 2018-04-17 EP EP23177854.9A patent/EP4220258A1/en active Pending
- 2018-04-17 US US15/955,204 patent/US10768693B2/en active Active
- 2018-04-17 CA CA3059234A patent/CA3059234A1/en active Pending
- 2018-04-17 IL IL270002A patent/IL270002B2/en unknown
- 2018-04-17 KR KR1020197033626A patent/KR102652922B1/ko active IP Right Grant
- 2018-04-17 CN CN201880040284.3A patent/CN110785688B/zh active Active
- 2018-04-17 KR KR1020247010121A patent/KR20240046613A/ko active Application Filing
-
2020
- 2020-08-04 US US16/984,926 patent/US11237623B2/en active Active
-
2021
- 2021-12-22 US US17/645,714 patent/US11960636B2/en active Active
-
2022
- 2022-06-29 JP JP2022104508A patent/JP7336005B2/ja active Active
-
2023
- 2023-08-18 JP JP2023133400A patent/JP2023144096A/ja active Pending
-
2024
- 2024-03-05 US US18/596,054 patent/US20240211028A1/en active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04372012A (ja) * | 1991-06-20 | 1992-12-25 | Fuji Xerox Co Ltd | 入力装置 |
JPH0962864A (ja) * | 1995-08-25 | 1997-03-07 | Toshiba Corp | 高速描画方法および装置 |
JP2009151419A (ja) * | 2007-12-19 | 2009-07-09 | Advanced Telecommunication Research Institute International | 対象物特定方法および装置 |
JP2012108842A (ja) * | 2010-11-19 | 2012-06-07 | Konica Minolta Holdings Inc | 表示システム、表示処理装置、表示方法、および表示プログラム |
JP2013054661A (ja) * | 2011-09-06 | 2013-03-21 | Nec Biglobe Ltd | 情報表示システム、情報表示方法、及び情報表示用プログラム |
JP2014085954A (ja) * | 2012-10-25 | 2014-05-12 | Kyocera Corp | 携帯端末装置、プログラムおよび入力操作受け付け方法 |
JP2014186361A (ja) * | 2013-03-21 | 2014-10-02 | Sony Corp | 情報処理装置、操作制御方法及びプログラム |
JP2015114757A (ja) * | 2013-12-10 | 2015-06-22 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
WO2016203792A1 (ja) * | 2015-06-15 | 2016-12-22 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
WO2017034667A1 (en) * | 2015-08-26 | 2017-03-02 | Google Inc. | Dynamic switching and merging of head, gesture and touch input in virtual reality |
JP2018517967A (ja) * | 2015-08-26 | 2018-07-05 | グーグル エルエルシー | 仮想現実における、頭部、ジェスチャ、およびタッチ入力の動的な切り替えならびにマージ |
Also Published As
Publication number | Publication date |
---|---|
KR102652922B1 (ko) | 2024-03-29 |
EP3612878A4 (en) | 2020-09-23 |
US20220171453A1 (en) | 2022-06-02 |
CN110785688B (zh) | 2021-08-27 |
JP2020519986A (ja) | 2020-07-02 |
IL270002A (ja) | 2019-12-31 |
CN110785688A (zh) | 2020-02-11 |
EP3612878A1 (en) | 2020-02-26 |
JP2023144096A (ja) | 2023-10-06 |
WO2018195099A1 (en) | 2018-10-25 |
IL270002B2 (en) | 2023-11-01 |
KR20190141696A (ko) | 2019-12-24 |
US10768693B2 (en) | 2020-09-08 |
JP7149289B2 (ja) | 2022-10-06 |
AU2018256365A1 (en) | 2019-10-31 |
US20200363865A1 (en) | 2020-11-19 |
US11960636B2 (en) | 2024-04-16 |
IL270002B1 (en) | 2023-07-01 |
CA3059234A1 (en) | 2018-10-25 |
EP3612878B1 (en) | 2023-06-28 |
CN113608617A (zh) | 2021-11-05 |
US20180307303A1 (en) | 2018-10-25 |
EP4220258A1 (en) | 2023-08-02 |
KR20240046613A (ko) | 2024-04-09 |
JP7336005B2 (ja) | 2023-08-30 |
US11237623B2 (en) | 2022-02-01 |
US20240211028A1 (en) | 2024-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7336005B2 (ja) | ウェアラブルシステムのためのマルチモード実行およびテキスト編集 | |
JP7504180B2 (ja) | ウェアラブルシステムのためのトランスモード入力融合 | |
JP7200195B2 (ja) | 感覚式アイウェア | |
JP7186913B2 (ja) | 姿勢および複数のdofコントローラを用いた3d仮想オブジェクトとの相互作用 | |
NZ792193A (en) | Sensory eyewear |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220629 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230620 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230721 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230818 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7336005 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |