JP2022160406A - ワードフロー注釈 - Google Patents
ワードフロー注釈 Download PDFInfo
- Publication number
- JP2022160406A JP2022160406A JP2022105856A JP2022105856A JP2022160406A JP 2022160406 A JP2022160406 A JP 2022160406A JP 2022105856 A JP2022105856 A JP 2022105856A JP 2022105856 A JP2022105856 A JP 2022105856A JP 2022160406 A JP2022160406 A JP 2022160406A
- Authority
- JP
- Japan
- Prior art keywords
- user
- information
- speech
- display
- auxiliary information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 149
- 230000003190 augmentative effect Effects 0.000 claims abstract description 43
- 230000004044 response Effects 0.000 claims description 14
- 238000009877 rendering Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 abstract description 17
- 238000013519 translation Methods 0.000 abstract description 14
- 238000012545 processing Methods 0.000 description 61
- 230000008569 process Effects 0.000 description 55
- 238000003384 imaging method Methods 0.000 description 48
- 238000004422 calculation algorithm Methods 0.000 description 40
- 230000003993 interaction Effects 0.000 description 38
- 230000003287 optical effect Effects 0.000 description 32
- 210000001747 pupil Anatomy 0.000 description 24
- 238000004891 communication Methods 0.000 description 22
- 238000001514 detection method Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 16
- 230000004308 accommodation Effects 0.000 description 15
- 238000009826 distribution Methods 0.000 description 14
- 238000000605 extraction Methods 0.000 description 14
- 210000003128 head Anatomy 0.000 description 14
- 238000013528 artificial neural network Methods 0.000 description 12
- 230000033001 locomotion Effects 0.000 description 12
- 230000014616 translation Effects 0.000 description 12
- 230000004424 eye movement Effects 0.000 description 11
- 239000003814 drug Substances 0.000 description 10
- 229940079593 drug Drugs 0.000 description 10
- 238000000926 separation method Methods 0.000 description 10
- 230000009471 action Effects 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 9
- 238000003860 storage Methods 0.000 description 9
- 101710094863 Acireductone dioxygenase Proteins 0.000 description 8
- 230000008859 change Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 8
- 230000036544 posture Effects 0.000 description 8
- 230000007423 decrease Effects 0.000 description 7
- 239000000835 fiber Substances 0.000 description 7
- 238000013507 mapping Methods 0.000 description 7
- 239000000463 material Substances 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 101710181757 1,2-dihydroxy-3-keto-5-methylthiopentene dioxygenase Proteins 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 5
- 238000005859 coupling reaction Methods 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 241000283203 Otariidae Species 0.000 description 4
- 230000006399 behavior Effects 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 4
- 238000005266 casting Methods 0.000 description 4
- 239000013307 optical fiber Substances 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000001953 sensory effect Effects 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 230000000153 supplemental effect Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003203 everyday effect Effects 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 210000003811 finger Anatomy 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000005096 rolling process Methods 0.000 description 3
- 210000003813 thumb Anatomy 0.000 description 3
- 241000699670 Mus sp. Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- HVYWMOMLDIMFJA-DPAQBDIFSA-N cholesterol Chemical compound C1C=C2C[C@@H](O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2 HVYWMOMLDIMFJA-DPAQBDIFSA-N 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 238000007493 shaping process Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 241000256837 Apidae Species 0.000 description 1
- 241000473391 Archosargus rhomboidalis Species 0.000 description 1
- 208000030453 Drug-Related Side Effects and Adverse reaction Diseases 0.000 description 1
- 206010019233 Headaches Diseases 0.000 description 1
- 241000282320 Panthera leo Species 0.000 description 1
- 239000004983 Polymer Dispersed Liquid Crystal Substances 0.000 description 1
- RYMZZMVNJRMUDD-UHFFFAOYSA-N SJ000286063 Natural products C12C(OC(=O)C(C)(C)CC)CC(C)C=C2C=CC(C)C1CCC1CC(O)CC(=O)O1 RYMZZMVNJRMUDD-UHFFFAOYSA-N 0.000 description 1
- 208000036366 Sensation of pressure Diseases 0.000 description 1
- 230000002350 accommodative effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 235000012000 cholesterol Nutrition 0.000 description 1
- 238000005253 cladding Methods 0.000 description 1
- 230000008045 co-localization Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002570 electrooculography Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000003574 free electron Substances 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 231100000869 headache Toxicity 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000013488 ordinary least square regression Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- RYMZZMVNJRMUDD-HGQWONQESA-N simvastatin Chemical compound C([C@H]1[C@@H](C)C=CC2=C[C@H](C)C[C@@H]([C@H]12)OC(=O)C(C)(C)CC)C[C@@H]1C[C@@H](O)CC(=O)O1 RYMZZMVNJRMUDD-HGQWONQESA-N 0.000 description 1
- 229960002855 simvastatin Drugs 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/169—Annotation, e.g. comment data or footnotes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/242—Dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
- G10L25/84—Detection of presence or absence of voice signals for discriminating voice from noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L2015/088—Word spotting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
- Medicines Containing Material From Animals Or Micro-Organisms (AREA)
Abstract
Description
本願は、米国仮出願第62/374,183号(2016年8月12日出願、名称「WORD FLOW ANNOTATION」)の米国特許法§119(e)に基づく優先権の利益を主張し、上記出願の開示は、その全体が参照により本明細書に引用される。
本発明は、例えば、以下を提供する。
(項目1)
拡張現実(AR)システムであって、前記ARシステムは、
仮想コンテンツをARシステムのユーザに提示するように構成されたARディスプレイと、
周囲音を捕捉するように構成されたオーディオセンサと、
前記ARディスプレイおよび前記オーディオセンサと通信するハードウェアプロセッサと
を備え、
前記ハードウェアプロセッサは、
前記オーディオセンサによって捕捉された前記周囲音を受信することと、
前記周囲音内の発話の存在を検出することと、
前記検出された発話をテキストに変換することと、
前記発話中の稀な単語を検出することと、
前記稀な単語に関連付けられた補助情報を読み出すことと、
前記ARディスプレイに前記読み出された補助情報をレンダリングさせることと
を行うようにプログラムされている、ARシステム。
(項目2)
前記稀な単語は、一般的単語辞書から除外された単語である、項目1に記載のARシステム。
(項目3)
前記ハードウェアプロセッサは、
前記補助情報の表示を閉じるための条件を検出することと、
前記検出された条件に応答して、前記ARディスプレイに前記補助情報の表示を閉じさせることと
を行うようにさらにプログラムされている、項目1に記載のARシステム。
(項目4)
前記表示を閉じるための前記条件を検出するために、前記ハードウェアプロセッサは、閾値期間が経過したことを決定すること、別の稀な単語を検出すること、ユーザの姿勢を検出すること、または、ユーザ入力デバイスからの入力を受信することのうちの少なくとも1つを実施するようにプログラムされている、項目3に記載のARシステム。
(項目5)
前記ハードウェアプロセッサは、
前記検出された発話の源を決定することと、
前記稀な単語を検出し、前記検出された発話の源が前記ARディスプレイのユーザ以外の話者に関連付けられていることを決定すると、前記補助情報を読み出し、表示することと
を行うようにさらにプログラムされている、項目1に記載のARシステム。
(項目6)
前記検出された発話の源は、1つ以上の指向性マイクロホンを備えているオーディオセンサから収集されたオーディオ情報、または前記ARシステムの外向きに面した結像システムによって入手された画像のうちの少なくとも1つに基づいて決定される、項目5に記載のARシステム。
(項目7)
前記検出された発話の源を決定するために、前記ハードウェアプロセッサは、音声認識を前記検出された発話に対して実施し、前記話者の識別を決定するようにプログラムされている、項目5に記載のARシステム。
(項目8)
前記検出された発話の源は、前記ユーザの環境内の別のコンピュータ、前記話者に関連付けられた別のARデバイス、または前記ユーザの環境内の人物のうちの少なくとも1つを含む、項目5に記載のARシステム。
(項目9)
前記ユーザが前記話者とテレプレゼンスセッション中であり、前記検出された発話の源が前記話者に関連付けられた他のユーザデバイスである場合、前記ハードウェアプロセッサは、前記話者の仮想アバタをレンダリングすることと、前記補助情報を前記他のユーザの前記仮想アバタの近傍にレンダリングすることとを前記ARディスプレイに行わせるようにさらにプログラムされている、項目8に記載のARシステム。
(項目10)
前記ARディスプレイに前記読み出された補助情報をレンダリングさせるために、前記ハードウェアプロセッサは、前記源の場所を決定することと、前記ARディスプレイを通して、前記源のビューを曖昧にすることなく、前記補助情報を前記源に近接した3D空間内の位置にレンダリングすることとを行うようにプログラムされている、項目5に記載のARシステム。
(項目11)
補助情報は、前記稀な単語の説明を含む、項目1に記載のARシステム。
(項目12)
前記ハードウェアプロセッサは、
ユーザから、前記補助情報に注釈を付けるための指示を受信することと、
前記補助情報の注釈の記憶を開始することと、
前記稀な単語の別の存在を検出することに応答して、前記ARディスプレイに前記注釈および前記補助情報をレンダリングさせることと
を行うようにさらにプログラムされている、項目1に記載のARシステム。
(項目13)
方法であって、前記方法は、
仮想コンテンツをユーザの環境内に提示するように構成されたハードウェアプロセッサおよびARディスプレイを備えている拡張現実(AR)デバイスの制御下で、
前記ARデバイスの前記ユーザの環境を監視することと、
前記ユーザまたは前記環境のうちの少なくとも1つに関連付けられたコンテキスト情報に基づいて、前記環境内の着目オブジェクトの存在を検出することと、
前記着目オブジェクトのための補助情報を読み出すことと、
前記ユーザの視野内の前記補助情報の表示位置を決定することであって、前記視野は、ユーザが所与の時間に知覚可能な前記環境の一部を含む、ことと、
前記ARディスプレイに前記補助情報を前記表示位置にレンダリングさせることと
を含む、方法。
(項目14)
前記着目オブジェクトは、キーワード、物理的オブジェクト、または人物を含む、項目13に記載の方法。
(項目15)
前記着目オブジェクトは、キーワードを含み、前記着目オブジェクトの存在を検出することは、
前記環境内の周囲音から発話を検出することと、
前記発話を解析し、稀な単語を識別することと
を含む、項目14に記載の方法。
(項目16)
前記環境を監視することは、
前記環境の周囲音を捕捉し、分析すること、または
前記環境の画像を入手すること
のうちの少なくとも1つを含む、項目13に記載の方法。
(項目17)
前記コンテキスト情報は、前記ユーザの過去の体験に関連付けられ、前記着目オブジェクトは、前記ユーザが稀にしか遭遇しないオブジェクトを含む、項目13に記載の方法。
(項目18)
前記補助情報は、前記着目オブジェクトに関連付けられた製品情報、または前記着目オブジェクトの説明テキストのうちの少なくとも1つを含む、項目13に記載の方法。
(項目19)
前記ユーザから、前記補助情報に注釈を付けるための指示を受信することと、
前記補助情報の注釈の記憶を開始することと、
前記着目オブジェクトの別の存在を検出することに応答して、前記ARディスプレイに前記注釈および前記補助情報をレンダリングさせることと
をさらに含む、項目13に記載の方法。
(項目20)
前記補助情報の表示位置を決定することは、
前記着目オブジェクトの場所を決定することと、
前記ARディスプレイを通して、前記着目オブジェクトのビューを曖昧にすることなく、前記着目オブジェクトに近接した前記環境内の位置として前記表示位置を識別することと
を含む、項目13に記載の方法。
現代の世界における日々の発話では、それらが一般的ではない考えまたは概念、特定の問題分野からの考えまたは概念に言及するので、または聴取者に未知の人物または物事に対する適切な言及であるので、聴取者に新しい名前または言及に遭遇することが一般的である。聴取者は、単に、熟知していないこと、または知識がないことに起因して、ある単語を把握していない場合がある。必然的に、それは、会話を妨害し、当惑、混乱、または誤解につながり得る。
ウェアラブルシステム(本明細書では、拡張現実(AR)システムとも称される)は、2Dまたは3D仮想画像をユーザに提示するために構成されることができる。画像は、組み合わせにおける静止画像、ビデオのフレーム、またはビデオ等であり得る。ウェアラブルシステムの少なくとも一部は、ユーザ相互作用のために、単独で、または組み合わせて、VR、AR、またはMR環境を提示し得るウェアラブルデバイス上に実装されることができる。ウェアラブルデバイスは、頭部搭載型デバイス(HMD)であることができ、それは、ARデバイス(ARD)と同義的に使用される。さらに、本開示の目的のために、用語「AR」は、用語「MR」と同義的に使用される。
図4は、画像情報をユーザに出力するための導波管スタックの例を図示する。ウェアラブルシステム400は、複数の導波管432b、434b、436b、438b、4400bを使用して、3次元知覚を眼/脳に提供するために利用され得る導波管のスタックまたはスタックされた導波管アセンブリ480を含む。いくつかの実施形態では、ウェアラブルシステム400は、図2のウェアラブルシステム200に対応し得、図4は、そのウェアラブルシステム200のいくつかの部分をより詳細に概略的に示す。例えば、いくつかの実施形態では、導波管アセンブリ480は、図2のディスプレイ220の中に統合され得る。
多くの実装では、ウェアラブルシステムは、上で説明されるウェアラブルシステムのコンポーネントに加えて、またはその代替として、他のコンポーネントを含み得る。ウェアラブルシステムは、例えば、1つ以上の触知デバイスまたはコンポーネントを含み得る。触知デバイスまたはコンポーネントは、触覚をユーザに提供するように動作可能であり得る。例えば、触知デバイスまたはコンポーネントは、仮想コンテンツ(例えば、仮想オブジェクト、仮想ツール、他の仮想構造)に触れると、圧力またはテクスチャの感覚を提供し得る。触覚は、仮想オブジェクトが表す物理的オブジェクトの感覚を再現し得るか、または、仮想コンテンツが表す想像上のオブジェクトもしくはキャラクタ(例えば、ドラゴン)の感覚を再現し得る。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって装着され得る(例えば、ユーザウェアラブルグローブ)。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって保持され得る。
ウェアラブルシステムは、高被写界深度をレンダリングされた明視野内で達成するために、種々のマッピング関連技法を採用し得る。仮想世界をマッピングすることにおいて、実世界内の全ての特徴および点を把握し、仮想オブジェクトを実世界に関連して正確に描くことが有利である。この目的を達成するために、ウェアラブルシステムのユーザから捕捉されたFOV画像が、実世界の種々の点および特徴についての情報を伝達する新しい写真を含むことによって、世界モデルに追加されることができる。例えば、ウェアラブルシステムは、マップ点(2D点または3D点等)の組を収集し、新しいマップ点を見出し、世界モデルのより正確なバージョンをレンダリングすることができる。第1のユーザの世界モデルは、第2のユーザが第1のユーザを包囲する世界を体験し得るように、(例えば、クラウドネットワーク等のネットワークを経由して)第2のユーザに通信されることができる。
手のジェスチャ追跡または認識も、入力情報を提供し得る。ウェアラブルシステム900は、ボタン押し下げに対して、左または右、停止、握持、保持等をジェスチャすることに対して、手のジェスチャを追跡および解釈するように構成され得る。例えば、1つの構成では、ユーザは、非ゲーム環境において電子メールまたはカレンダをめくること、または別の人物もしくはプレーヤと「フィストバンプ」を行うことを欲し得る。ウェアラブルシステム900は、動的であることも、そうでないこともある最小量の手のジェスチャを活用するように構成され得る。例えば、ジェスチャは、停止を示すために手を広げること、OKを示すために親指を上げること、OKではないことを示すために親指を下げること、または方向性コマンドを示すために左右もしくは上下に手をフリップすること等、単純な静的ジェスチャであり得る。
図12は、互いに相互作用する複数のユーザデバイスを描写する全体的システム図を図式的に図示する。コンピューティング環境1200は、ユーザデバイス1230a、1230b、1230cを含む。ユーザデバイス1230a、1230b、および1230cは、ネットワーク1290を通して、互いに通信することができる。ユーザデバイス1230a-1230cの各々は、ネットワークインターフェースを含み、ネットワーク1290を介して、遠隔コンピューティングシステム1220(ネットワークインターフェース1271も含み得る)と通信することができる。ネットワーク1290は、LAN、WAN、ピアツーピアネットワーク、無線、Bluetooth(登録商標)、または任意の他のネットワークであり得る。コンピューティング環境1200は、1つ以上の遠隔コンピューティングシステム1220も含むことができる。遠隔コンピューティングシステム1220は、クラスタ化され、異なる地理的場所に位置するサーバコンピュータシステムを含み得る。ユーザデバイス1230a、1230b、および1230cは、ネットワーク1290を介して、遠隔コンピューティングシステム1220と通信し得る。
開示されるワードフロー注釈システムの例示的実装は、対面通信のコンテキストにおいて生じる。そのようなコンテキストでは、検出された発話の源は、ワードフロー注釈システムの物理的近傍にある。システムのオーディオセンサは、周囲オーディオ情報を検出することができる。コンピューティングモジュール(例えば、ワードフロー注釈システム970)は、発話を周囲オーディオ情報から検出することができる。このモジュールは、本明細書に説明されるスキームを含む自動発話認識のアルゴリズム(図9を参照して説明されるように)を実装することができる。コンピューティングモジュールは、ユーザの発話(例えば、発話をテキストに変換することによって)を解析し、ユーザの発話中のキーワードを識別することができる。キーワードは、稀な単語またはコンテキストキーワードを含むことができる。キーワードは、単独で、または組み合わせて、キーワードデータベースにアクセスすることによって、またはコンテキスト情報を決定することによって、識別され得る。コンテキスト情報は、ユーザもしくは会話の他の参加者に関連付けられた情報(例えば、人口統計情報、過去のアクティビティ/体験、発話挙動等)、または環境に関連付けられた情報(例えば、会話の場所、環境内のオブジェクトもしくは人々等)を含み得る。キーワードは、ウェアラブルシステム200のユーザへの提示のための仮想コンテンツを決定するために使用され得る。例えば、ウェアラブルシステムは、キーワードに関連付けられた補助情報(例えば、説明テキストまたは画像等)を提示することができる。
ARシステムは、音をその源またはその源の場所に関連付ける能力を通して、追加の有用用途を実施することができる。いくつかのそのような用途は、以下に説明される。
キーワードを識別するために、ウェアラブルシステム200は、オーディオストリームをテキストに変換することができる(例えば、ワードフロー注釈システム970によって)。発話からテキストへの変換は、深層学習(深層ニューラルネットワークを利用し得る)または図9を参照して説明される他の発話認識アルゴリズム等のアルゴリズムを使用して実施されることができる。ウェアラブルシステム200は、発話/テキスト機能性を含むことができるか(例えば、ローカル処理モジュール260内に)、または発話/テキスト機能性に遠隔でアクセスすることができる(例えば、遠隔処理モジュール270を介して)。ウェアラブルシステム200は、商業用発話/テキストサービスへの無線接続を利用し得る(例えば、アプリケーションプログラミングインターフェース(API)を介して)。ワードフロー注釈技術は、任意のそのような発話/テキストアルゴリズムを利用し得るが、非慣習的な方法で利用し、発話/テキスト変換をユーザから生じていないオーディオに適用する。
ARシステムは、稀な単語等のキーワードに対して、変換されたテキストを検索することができる。例示的な稀な単語は、ARシステムのユーザに対して低頻度であるか、または一般的ではない単語を含むことができる。稀な単語は、限定ではないが、一般的に使用されない単語、別の言語からの単語(例えば、英語の文中で使用される中国語の単語「guanxi」)、技術用語、ARシステムのユーザが通常取り組むコンテキスト外の特殊分野からの単語等を含むことができる。例えば、ARシステムは、単語がARシステムによって検出された発話中で低頻度に使用される場合、単語を稀であると識別し得る。そのような稀な単語のための定義、翻訳、またはコンテキスト情報を提供することによって、ARシステムは、有利には、ユーザがユーザに聞こえる発話をより良好に理解することを補助することができる。
ワードフロー注釈システムは、システムが検出する着目オブジェクトに関連付けられた補助情報を読み出すことができる。補助情報は、テキスト、画像、または他の聴覚的もしくは視覚的情報を含み得る。システムは、視覚的に(例えば、ディスプレイ220を介して)、オーディオ(例えば、オーディオ増幅器232またはスピーカ240を介して)で、触覚的(例えば、触知)フィードバックを介して等、補助情報を提示することができる。
ARシステム200は、補助情報との種々のユーザ相互作用をサポートするように構成されることができる。例えば、ARシステムは、補助情報を表示すること、閉じること、または呼び戻すことができる。ユーザは、補助情報の一部にマークすること、または補助情報に注釈を付けることができる。
図13A-13Gは、着目オブジェクトとの相互作用および着目オブジェクトの補助情報の例を図示する。
図13Aは、キーワードを検出し、キーワードのための補助情報を提示する例を図示する。図13Aでは、ユーザのARシステムのワードフロー注釈システム970は、キーワードを検出し、キーワードの補助情報を提供するように構成されることができる。ARシステムのユーザに表示される情報を乱雑にすることを回避するために、ARシステムは、稀な単語の検出時、補助情報のみを提供することができる。
複数のARシステムの複数のユーザが、システムの補助を通して、遠隔で会話を実践し得る。例えば、図12に図示されるように、(人工デバイスの補助なしでは、互いに直接見えない、または聞こえないような)2つの物理的場所における(デバイス100aおよび100bの)2人のユーザの両者が、ARデバイスを装備することができ、それは、ワードフロー注釈システム970を装備し得る。各ユーザの発話は、ユーザのそれぞれのデバイスのオーディオセンサによって捕捉され、ネットワーク1290を通して伝送され得る。ユーザCの発話は、例えば、トランスクリプトとして、または稀な単語+補助情報として、ユーザBのデバイス上に、その逆も同様に、表示され得る。
ワードフロー注釈システムは、言語翻訳のために使用されることができる。図13Cは、ワードフロー注釈システムの別の例示的用途を示し、ここでは、ワードフロー注釈システムは、第1の言語(例えば、スペイン語)における語句を第2の言語(例えば、英語を話すユーザのための英語)に翻訳することができる。この例では、ARシステム200の英語を話すユーザ(図示せず)は、外国を訪問中であり、話者1390が、破線ボックス1332に示されるような「El supermercado esta al otro lado de la calle」と言うことを聞いている。ARシステム200は、必要ではないが、話者の発話をユーザに表示し得る(例えば、ボックス1332は、典型的には、ARシステムのユーザに表示されないが、いくつかの実装では、表示されることができる)。ARシステム200は、話者1390の発話がスペイン語であることを決定し、発話を英語(「雑貨屋は、通りの向こう側にあります」)に翻訳し、キャプション1336(または発話の吹き出し)を翻訳されたテキストとともに表示する。
図13Dおよび13Eは、コンテキスト情報に基づく補助情報の提示の例を図示する。図13Aに説明されるように、ARDを装着しているユーザ(図示せず)は、女性1302を知覚し得る。女性1302は、ユーザの物理的環境内に存在し得る。ユーザは、女性1302と企業関連の会話中であり得る。図13Dにおけるテキストボックス1342に示されるように、女性1302は、「Acme Corp.の幹部に何が起こるだろう」と言う。ユーザのARDは、女性1302によって話されたこの文を捕捉することができる。ワードフロー注釈システム970は、女性1302の発話を分析し、女性1302によって話される文中のキーワードを検出することができる。この例では、ユーザが企業関連の会話中であるので、ARDは、それが企業関連であるので、「Acme Corp.’s executives」をキーワードとして識別することができる。ARDが、キーワードを決定すると、ARDは、キーワードに関連付けられた補助情報にアクセスし、それを読み出すことができる。例えば、ARDは、データリポジトリ(例えば、遠隔データリポジトリ280)内で検索を実施すること、または公共のデータベース検索を実施することができる。テキストボックス1340に示されるように、ARDは、Acme Corpの重役の名前を読み出している。ARDは、ボックス1340に描写されるように、名前を補助情報として表示することができる。
図14Aおよび14Bは、発話に注釈を付ける例示的プロセスを示す。処理フロー1400は、図2に示されるようなARシステム200によって実施されることができる。
図15は、着目オブジェクトおよび着目オブジェクトの補助情報との相互作用の例示的プロセスを図示する。例示的プロセス1500は、本明細書に説明されるARシステムによって実施されることができる。
補助情報を決定することに加え、またはその代替として、ARシステムは、キーワードを使用して、会話中のスレッドを識別することもできる。図16Aおよび16Bは、キーワードに基づくスレッド識別の例を図示する。これらの図では、2人のユーザ1328および1320は、彼らのそれぞれのARD1322bおよび1322cを装着することができる。2人のユーザ1328および1320は、対面会話中であり得るか、またはテレプレゼンスセッション中であり得る。2人のユーザ1328および1320はまた、テキストメッセージングを使用して(例えば、テキストメッセージングアプリケーションを介して等)、互いに通信することもできる。
図17は、スレッド識別の例示的プロセスを図示する。プロセス1700は、本明細書に説明されるARシステム200の実施形態によって実施され得る。
第1の側面では、拡張現実システムを通して、稀な単語のための情報を提供する方法であって、方法は、オーディオセンサを備えている拡張現実(AR)システムの制御下、オーディオセンサを介して、周囲音を捕捉することと、周囲音内の発話の存在を検出することと、検出された発話をテキストに変換することと、変換されたテキスト内の稀な単語を検出することと、稀な単語に関連付けられた補助情報を読み出すことと、ARシステムを使用して、補助情報を表示することと、補助情報の表示を閉じるための条件を検出することと、補助情報の表示を閉じることとを含む、方法。
本明細書に説明される、および/または添付される図に描写されるプロセス、方法、およびアルゴリズムの各々は、具体的かつ特定のコンピュータ命令を実行するように構成される1つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および/もしくは電子ハードウェアによって実行されるコードモジュールにおいて具現化され、それによって完全もしくは部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ(例えば、サーバ)または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る動的リンクライブラリ内にインストールされ得るか、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特定の回路によって実施され得る。
Claims (19)
- テキストストリーム内のスレッドを識別する方法であって、前記方法は、
第1のテキストストリームおよび第2のテキストストリームを受信することと、
第1および第2のオーディオストリームの両方に関連付けられた1つ以上のキーワードを識別することと、
前記第1および第2のテキストストリームの両方に関連付けられた複数のキーワードを識別したことに応答して、
前記複数のキーワードの各々について、前記キーワードに関連付けられた話題を識別することと、
2つ以上の固有の話題を識別したことに応答して、
前記2つ以上の固有の話題のいずれかが関連しているかに少なくとも部分的に基づいて、話題の1つ以上のグループを決定することと、
話題の2つ以上のグループを決定したことに応答して、
話題の前記2つ以上のグループの各々について、話題の前記グループに関連付けられたスレッドを生成することと、
前記生成されたスレッドのうちの少なくとも1つが拡張現実デバイスによってレンダリングされるようにすることと
を含む、方法。 - 前記第1のテキストストリームまたは前記第2のテキストストリームは、人物または視聴覚コンテンツのうちの少なくとも1つから生じる、請求項1に記載の方法。
- 前記第1のテキストストリームは、第1の人物から生じ、前記第2のテキストストリームは、第2の人物から生じる、請求項1に記載の方法。
- オーディオストリーム内のスレッドを識別する方法であって、前記方法は、
第1のオーディオストリームおよび第2のオーディオストリームを受信することと、
前記第1のオーディオストリームおよび前記第2のオーディオストリームを解析することにより、第1の話題に関連付けられた第1のキーワードおよび第2の話題に関連付けられた第2のオーディオストリームを識別することと、
前記第1の話題に関連付けられた第1のスレッドおよび前記第2の話題に関連付けられた第2のスレッドを生成することと、
前記第1のスレッドまたは前記第2のスレッドのうちの少なくとも1つが拡張現実デバイスによってレンダリングされるようにすることと
を含む、方法。 - 前記第1のオーディオストリームまたは前記第2のオーディオストリームは、人物または視聴覚コンテンツのうちの少なくとも1つから生じる、請求項4に記載の方法。
- 前記第1のオーディオストリームは、第1の人物から生じ、前記第2のオーディオストリームは、第2の人物から生じる、請求項4に記載の方法。
- 前記第1の話題はさらに、複数のサブ話題を含む、請求項4に記載の方法。
- 前記第1のスレッドおよび前記第2のスレッドの両方が拡張現実デバイスによってレンダリングされる、請求項4に記載の方法。
- 前記第1のスレッドは、ユーザの視野の左側に前記拡張現実デバイスによってレンダリングされ、前記第2のスレッドは、前記ユーザの視野の右側に前記拡張現実デバイスによってレンダリングされる、請求項8に記載の方法。
- 前記第1のスレッドは、第1の色で前記拡張現実デバイスによってレンダリングされ、前記第2のスレッドは、第2の色で前記拡張現実デバイスによってレンダリングされる、請求項8に記載の方法。
- 前記第1のオーディオストリームおよび前記第2のオーディオストリームを解析することにより、第3の話題に関連付けられた第3のキーワードを識別することと、
前記第3の話題に関連付けられた第3のスレッドを生成することと
をさらに含む、請求項4に記載の方法。 - ハードウェアプロセッサおよび拡張現実ディスプレイを備えている拡張現実デバイスであって、
前記ハードウェアプロセッサは、
第1のオーディオストリームおよび第2のオーディオストリームを受信することと、
前記第1のオーディオストリームおよび前記第2のオーディオストリームを解析することにより、第1の話題に関連付けられた第1のキーワードおよび第2の話題に関連付けられた第2のオーディオストリームを識別することと、
前記第1の話題に関連付けられた第1のスレッドおよび前記第2の話題に関連付けられた第2のスレッドを生成することと、
前記第1のスレッドまたは前記第2のスレッドのうちの少なくとも1つを前記拡張現実ディスプレイ上にレンダリングすることと
を行うようにプログラムされている、拡張現実デバイス。 - 前記第1のオーディオストリームまたは前記第2のオーディオストリームは、人物または視聴覚コンテンツのうちの少なくとも1つから生じる、請求項12に記載の拡張現実デバイス。
- 前記第1のオーディオストリームは、第1の人物から生じ、前記第2のオーディオストリームは、第2の人物から生じる、請求項12に記載の拡張現実デバイス。
- 前記第1の話題はさらに、複数のサブ話題を含む、請求項12に記載の拡張現実デバイス。
- 前記ハードウェアプロセッサは、前記第1のスレッドおよび前記第2のスレッドの両方を前記拡張現実ディスプレイ上にレンダリングするようにプログラムされている、請求項12に記載の拡張現実デバイス。
- 前記ハードウェアプロセッサは、前記第1のスレッドを前記拡張現実ディスプレイの左側に、および、前記第2のスレッドを前記拡張現実ディスプレイの右側にレンダリングするようにプログラムされている、請求項16に記載の拡張現実デバイス。
- 前記ハードウェアプロセッサは、前記第1のスレッドを第1の色で、および、前記第2のスレッドを第2の色でレンダリングするようにプログラムされている、請求項16に記載の拡張現実デバイス。
- 前記ハードウェアプロセッサは、
前記第1のオーディオストリームおよび前記第2のオーディオストリームを解析することにより、第3の話題に関連付けられた第3のキーワードを識別することと、
前記第3の話題に関連付けられた第3のスレッドを生成することと
を行うようにさらにプログラムされている、請求項12に記載の拡張現実デバイス。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662374183P | 2016-08-12 | 2016-08-12 | |
US62/374,183 | 2016-08-12 | ||
JP2020134422A JP7100092B2 (ja) | 2016-08-12 | 2020-08-07 | ワードフロー注釈 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020134422A Division JP7100092B2 (ja) | 2016-08-12 | 2020-08-07 | ワードフロー注釈 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022160406A true JP2022160406A (ja) | 2022-10-19 |
JP7483798B2 JP7483798B2 (ja) | 2024-05-15 |
Family
ID=61159274
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019506525A Active JP6814279B2 (ja) | 2016-08-12 | 2017-08-10 | ワードフロー注釈 |
JP2020134422A Active JP7100092B2 (ja) | 2016-08-12 | 2020-08-07 | ワードフロー注釈 |
JP2022105856A Active JP7483798B2 (ja) | 2016-08-12 | 2022-06-30 | ワードフロー注釈 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019506525A Active JP6814279B2 (ja) | 2016-08-12 | 2017-08-10 | ワードフロー注釈 |
JP2020134422A Active JP7100092B2 (ja) | 2016-08-12 | 2020-08-07 | ワードフロー注釈 |
Country Status (9)
Country | Link |
---|---|
US (3) | US10607609B2 (ja) |
EP (1) | EP3497695A4 (ja) |
JP (3) | JP6814279B2 (ja) |
KR (3) | KR20230167452A (ja) |
CN (2) | CN117198277A (ja) |
AU (2) | AU2017308914B2 (ja) |
CA (1) | CA3033109A1 (ja) |
IL (3) | IL292025B2 (ja) |
WO (1) | WO2018031745A1 (ja) |
Families Citing this family (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016114265A1 (de) * | 2016-08-02 | 2018-02-08 | Claas Selbstfahrende Erntemaschinen Gmbh | Verfahren zum zumindest teilweise maschinellen Transferieren einer in einer Quellsprache abgefassten Wortfolge in eine Wortfolge einer Zielsprache |
CN117198277A (zh) | 2016-08-12 | 2023-12-08 | 奇跃公司 | 单词流注释 |
US20180197438A1 (en) * | 2017-01-10 | 2018-07-12 | International Business Machines Corporation | System for enhancing speech performance via pattern detection and learning |
US10803857B2 (en) * | 2017-03-10 | 2020-10-13 | James Jordan Rosenberg | System and method for relative enhancement of vocal utterances in an acoustically cluttered environment |
US10453459B2 (en) * | 2017-06-21 | 2019-10-22 | Saida Ashley Florexil | Interpreting assistant system |
JP6736771B2 (ja) * | 2017-06-23 | 2020-08-05 | 富士フイルム株式会社 | 撮像装置及び文字表示方法 |
JP7056055B2 (ja) * | 2017-09-27 | 2022-04-19 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置、情報処理システム及びプログラム |
US10930278B2 (en) * | 2018-04-09 | 2021-02-23 | Google Llc | Trigger sound detection in ambient audio to provide related functionality on a user interface |
US10861238B2 (en) * | 2018-05-14 | 2020-12-08 | Microsoft Technology Licensing, Llc | Experiential representation of data in mixed reality |
US11416532B2 (en) * | 2018-05-31 | 2022-08-16 | Wipro Limited | Method and device for identifying relevant keywords from documents |
CN108984788A (zh) * | 2018-07-30 | 2018-12-11 | 珠海格力电器股份有限公司 | 一种录音文件整理、归类系统及其控制方法与录音设备 |
CN109215679A (zh) * | 2018-08-06 | 2019-01-15 | 百度在线网络技术(北京)有限公司 | 基于用户情绪的对话方法和装置 |
US11636673B2 (en) | 2018-10-31 | 2023-04-25 | Sony Interactive Entertainment Inc. | Scene annotation using machine learning |
US20200129860A1 (en) * | 2018-10-31 | 2020-04-30 | Sony Interactive Entertainment Inc. | Action description for on-demand accessibility |
US11375293B2 (en) | 2018-10-31 | 2022-06-28 | Sony Interactive Entertainment Inc. | Textual annotation of acoustic effects |
US10977872B2 (en) | 2018-10-31 | 2021-04-13 | Sony Interactive Entertainment Inc. | Graphical style modification for video games using machine learning |
US10854109B2 (en) | 2018-10-31 | 2020-12-01 | Sony Interactive Entertainment Inc. | Color accommodation for on-demand accessibility |
WO2020198065A1 (en) * | 2019-03-22 | 2020-10-01 | Cognoa, Inc. | Personalized digital therapy methods and devices |
US11093720B2 (en) * | 2019-03-28 | 2021-08-17 | Lenovo (Singapore) Pte. Ltd. | Apparatus, method, and program product for converting multiple language variations |
US11482217B2 (en) * | 2019-05-06 | 2022-10-25 | Google Llc | Selectively activating on-device speech recognition, and using recognized text in selectively activating on-device NLU and/or on-device fulfillment |
WO2021056347A1 (en) * | 2019-09-26 | 2021-04-01 | Orange | Method for retrieving information about pronunciation associated with logogram |
JP2021071632A (ja) * | 2019-10-31 | 2021-05-06 | ソニー株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
US11227602B2 (en) * | 2019-11-20 | 2022-01-18 | Facebook Technologies, Llc | Speech transcription using multiple data sources |
CN111161737A (zh) * | 2019-12-23 | 2020-05-15 | 北京欧珀通信有限公司 | 数据处理方法、装置、电子设备和存储介质 |
US11687778B2 (en) | 2020-01-06 | 2023-06-27 | The Research Foundation For The State University Of New York | Fakecatcher: detection of synthetic portrait videos using biological signals |
KR102334091B1 (ko) * | 2020-03-20 | 2021-12-02 | 주식회사 코클리어닷에이아이 | 오디오 인식을 수행하는 증강현실 디바이스 및 그의 제어방법 |
US11138802B1 (en) * | 2020-04-06 | 2021-10-05 | Saudi Arabian Oil Company | Geo-augmented field excursion for geological sites |
WO2021215804A1 (ko) * | 2020-04-24 | 2021-10-28 | 삼성전자 주식회사 | 대화형 청중 시뮬레이션을 제공하는 장치 및 방법 |
US11393198B1 (en) | 2020-06-02 | 2022-07-19 | State Farm Mutual Automobile Insurance Company | Interactive insurance inventory and claim generation |
US11436828B1 (en) | 2020-06-02 | 2022-09-06 | State Farm Mutual Automobile Insurance Company | Insurance inventory and claim generation |
US11861137B2 (en) | 2020-09-09 | 2024-01-02 | State Farm Mutual Automobile Insurance Company | Vehicular incident reenactment using three-dimensional (3D) representations |
AU2021204758A1 (en) * | 2020-11-20 | 2022-06-16 | Soul Machines | Autonomous animation in embodied agents |
US11715470B2 (en) * | 2021-03-25 | 2023-08-01 | TRANSFR Inc. | Method and system for tracking in extended reality |
US11966709B2 (en) * | 2021-04-16 | 2024-04-23 | Bank Of America Corporation | Apparatus and methods to contextually decipher and analyze hidden meaning in communications |
US11880663B2 (en) * | 2021-06-30 | 2024-01-23 | Microsoft Technology Licensing, Llc | Assistant for providing information on unknown topics |
CN115809672A (zh) * | 2021-09-14 | 2023-03-17 | 北京小米移动软件有限公司 | 翻译方法、装置、ar眼镜、存储介质及计算机程序产品 |
WO2023248677A1 (ja) * | 2022-06-22 | 2023-12-28 | 株式会社Jvcケンウッド | 情報表示制御装置および情報表示方法 |
WO2024043925A1 (en) * | 2022-08-22 | 2024-02-29 | Google Llc | System, method, and devices for providing text interpretation to multiple co-watching devices |
CN115438212B (zh) * | 2022-08-22 | 2023-03-31 | 蒋耘晨 | 一种影像投射系统、方法及设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007534075A (ja) * | 2004-04-21 | 2007-11-22 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ネットワークチャット環境におけるスレッドを管理するためのシステム及び方法 |
JP2011113251A (ja) * | 2009-11-26 | 2011-06-09 | Oki Electric Industry Co Ltd | 情報表示装置および情報表示システム |
WO2014157148A1 (ja) * | 2013-03-29 | 2014-10-02 | Necカシオモバイルコミュニケーションズ株式会社 | 表示制御装置、表示制御方法およびプログラム |
Family Cites Families (83)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6222525B1 (en) | 1992-03-05 | 2001-04-24 | Brad A. Armstrong | Image controllers with sheet connected sensors |
US5670988A (en) | 1995-09-05 | 1997-09-23 | Interlink Electronics, Inc. | Trigger operated electronic device |
US7356830B1 (en) | 1999-07-09 | 2008-04-08 | Koninklijke Philips Electronics N.V. | Method and apparatus for linking a video segment to another segment or information source |
US6510417B1 (en) * | 2000-03-21 | 2003-01-21 | America Online, Inc. | System and method for voice access to internet-based information |
US7363308B2 (en) * | 2000-12-28 | 2008-04-22 | Fair Isaac Corporation | System and method for obtaining keyword descriptions of records from a large database |
JP2003345372A (ja) * | 2002-05-23 | 2003-12-03 | Mitsubishi Electric Corp | 音声合成装置及び音声合成方法 |
JP2005115289A (ja) * | 2003-10-10 | 2005-04-28 | Olympus Corp | 画像表示処理装置 |
US20050234724A1 (en) * | 2004-04-15 | 2005-10-20 | Andrew Aaron | System and method for improving text-to-speech software intelligibility through the detection of uncommon words and phrases |
US9042921B2 (en) | 2005-09-21 | 2015-05-26 | Buckyball Mobile Inc. | Association of context data with a voice-message component |
US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
US11428937B2 (en) | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
US7761293B2 (en) * | 2006-03-06 | 2010-07-20 | Tran Bao Q | Spoken mobile engine |
US8340957B2 (en) * | 2006-08-31 | 2012-12-25 | Waggener Edstrom Worldwide, Inc. | Media content assessment and control systems |
WO2008032329A2 (en) * | 2006-09-13 | 2008-03-20 | Alon Atsmon | Providing content responsive to multimedia signals |
JP5294612B2 (ja) | 2007-11-15 | 2013-09-18 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 仮想共有空間における参照マークの自動生成方法、装置及びプログラム |
US9678940B2 (en) * | 2008-07-22 | 2017-06-13 | International Business Machines Corporation | Location/event based dictionaries to facilitate communication in a virtual world location |
JP2010108099A (ja) * | 2008-10-28 | 2010-05-13 | Hoya Corp | 携帯機器のガイド表示システムおよびガイド表示プログラム |
JP5316386B2 (ja) * | 2009-12-01 | 2013-10-16 | ブラザー工業株式会社 | ヘッドマウントディスプレイ及びそのプログラム |
US20160182971A1 (en) * | 2009-12-31 | 2016-06-23 | Flickintel, Llc | Method, system and computer program product for obtaining and displaying supplemental data about a displayed movie, show, event or video game |
US8214344B2 (en) * | 2010-03-16 | 2012-07-03 | Empire Technology Development Llc | Search engine inference based virtual assistance |
JP4913913B2 (ja) * | 2010-04-28 | 2012-04-11 | 新日鉄ソリューションズ株式会社 | 情報処理システム、情報処理方法及びプログラム |
TW201207643A (en) * | 2010-08-09 | 2012-02-16 | Hon Hai Prec Ind Co Ltd | System and method for searching information of images |
EP2439676A1 (en) * | 2010-10-08 | 2012-04-11 | Research in Motion Limited | System and method for displaying text in augmented reality |
US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
AU2011348122A1 (en) | 2010-12-24 | 2013-07-11 | Magic Leap Inc. | An ergonomic head mounted display device and optical system |
US10156722B2 (en) | 2010-12-24 | 2018-12-18 | Magic Leap, Inc. | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
JP2012164113A (ja) | 2011-02-07 | 2012-08-30 | Fujitsu Marketing Ltd | コンテンツ表示システムおよびコンテンツ用注釈生成装置 |
CA2835120C (en) | 2011-05-06 | 2019-05-28 | Magic Leap, Inc. | Massive simultaneous remote digital presence world |
US9330499B2 (en) | 2011-05-20 | 2016-05-03 | Microsoft Technology Licensing, Llc | Event augmentation with real-time information |
US8953889B1 (en) * | 2011-09-14 | 2015-02-10 | Rawles Llc | Object datastore in an augmented reality environment |
US10795448B2 (en) | 2011-09-29 | 2020-10-06 | Magic Leap, Inc. | Tactile glove for human-computer interaction |
CA3207408A1 (en) | 2011-10-28 | 2013-06-13 | Magic Leap, Inc. | System and method for augmented and virtual reality |
KR102376368B1 (ko) | 2011-11-23 | 2022-03-17 | 매직 립, 인코포레이티드 | 3차원 가상 및 증강 현실 디스플레이 시스템 |
US9214157B2 (en) | 2011-12-06 | 2015-12-15 | At&T Intellectual Property I, L.P. | System and method for machine-mediated human-human conversation |
WO2013130060A1 (en) * | 2012-02-29 | 2013-09-06 | Hewlett-Packard Development Company, L.P. | Display of a spatially-related annotation for written content |
KR102306729B1 (ko) | 2012-04-05 | 2021-09-28 | 매직 립, 인코포레이티드 | 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들 |
JP6056178B2 (ja) | 2012-04-11 | 2017-01-11 | ソニー株式会社 | 情報処理装置、表示制御方法及びプログラム |
US10629003B2 (en) | 2013-03-11 | 2020-04-21 | Magic Leap, Inc. | System and method for augmented and virtual reality |
US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
CN115494654A (zh) | 2012-06-11 | 2022-12-20 | 奇跃公司 | 使用波导反射器阵列投射器的多深度平面三维显示器 |
US9740006B2 (en) | 2012-09-11 | 2017-08-22 | Magic Leap, Inc. | Ergonomic head mounted display device and optical system |
US9966075B2 (en) * | 2012-09-18 | 2018-05-08 | Qualcomm Incorporated | Leveraging head mounted displays to enable person-to-person interactions |
US9275637B1 (en) * | 2012-11-06 | 2016-03-01 | Amazon Technologies, Inc. | Wake word evaluation |
JP6434918B2 (ja) | 2013-01-15 | 2018-12-05 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 超高分解能の走査ファイバディスプレイ |
US9524282B2 (en) * | 2013-02-07 | 2016-12-20 | Cherif Algreatly | Data augmentation with real-time annotations |
KR102458124B1 (ko) | 2013-03-15 | 2022-10-21 | 매직 립, 인코포레이티드 | 디스플레이 시스템 및 방법 |
JP6107276B2 (ja) | 2013-03-22 | 2017-04-05 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
US9658994B2 (en) | 2013-05-20 | 2017-05-23 | Google Inc. | Rendering supplemental information concerning a scheduled event based on an identified entity in media content |
US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
US9430460B2 (en) * | 2013-07-12 | 2016-08-30 | Microsoft Technology Licensing, Llc | Active featuring in computer-human interactive learning |
KR102341870B1 (ko) | 2013-10-16 | 2021-12-20 | 매직 립, 인코포레이티드 | 조절가능한 동공간 거리를 가지는 가상 또는 증강 현실 헤드셋들 |
WO2015072604A1 (ko) * | 2013-11-15 | 2015-05-21 | 엘지전자(주) | 투명 디스플레이 장치와 그의 제어방법 |
EP4220999A3 (en) | 2013-11-27 | 2023-08-09 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
KR102177133B1 (ko) | 2014-01-31 | 2020-11-10 | 매직 립, 인코포레이티드 | 멀티-포컬 디스플레이 시스템 및 방법 |
CA3089749A1 (en) | 2014-01-31 | 2015-08-06 | Magic Leap, Inc. | Multi-focal display system and method |
US9934212B2 (en) | 2014-02-26 | 2018-04-03 | Xerox Corporation | Methods and systems for capturing, sharing, and printing annotations |
US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
US9286287B1 (en) * | 2014-03-14 | 2016-03-15 | Audible, Inc. | Reference content determination from audio content |
KR20150127472A (ko) | 2014-05-07 | 2015-11-17 | 삼성전자주식회사 | 증강 현실 제공 장치 및 방법 |
JP2017526078A (ja) | 2014-05-09 | 2017-09-07 | グーグル インコーポレイテッド | 実在および仮想のオブジェクトと対話するための生体力学ベースの眼球信号のためのシステムおよび方法 |
CA3124368C (en) | 2014-05-30 | 2023-04-25 | Magic Leap, Inc. | Methods and systems for generating virtual content display with a virtual or augmented reality apparatus |
US9633004B2 (en) * | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
KR102266195B1 (ko) * | 2014-06-20 | 2021-06-17 | 삼성전자주식회사 | 객체와 관련된 정보를 제공하는 방법 및 장치 |
JP2016024208A (ja) * | 2014-07-16 | 2016-02-08 | セイコーエプソン株式会社 | 表示装置、表示装置の制御方法、および、プログラム |
JP2016045723A (ja) | 2014-08-22 | 2016-04-04 | 株式会社ニコン | 電子機器 |
US9705832B2 (en) | 2014-08-27 | 2017-07-11 | Lenovo (Singapore) Pte. Ltd. | Context-aware aggregation of text-based messages |
US9811594B2 (en) * | 2014-09-09 | 2017-11-07 | Cisco Technology, Inc. | Automatic explanation of presented abbreviations |
WO2016053486A1 (en) * | 2014-09-30 | 2016-04-07 | Pcms Holdings, Inc. | Reputation sharing system using augmented reality systems |
US9646609B2 (en) * | 2014-09-30 | 2017-05-09 | Apple Inc. | Caching apparatus for serving phonetic pronunciations |
JP2015118710A (ja) * | 2015-01-09 | 2015-06-25 | 株式会社東芝 | 対話装置、方法及びプログラム |
US9897806B2 (en) * | 2015-02-10 | 2018-02-20 | Dreamworks Animation L.L.C. | Generation of three-dimensional imagery to supplement existing content |
KR20160113903A (ko) * | 2015-03-23 | 2016-10-04 | 엘지전자 주식회사 | 이동 단말기 및 그것의 제어방법 |
US10055888B2 (en) * | 2015-04-28 | 2018-08-21 | Microsoft Technology Licensing, Llc | Producing and consuming metadata within multi-dimensional data |
USD758367S1 (en) | 2015-05-14 | 2016-06-07 | Magic Leap, Inc. | Virtual reality headset |
US10606946B2 (en) * | 2015-07-06 | 2020-03-31 | Microsoft Technology Licensing, Llc | Learning word embedding using morphological knowledge |
US10042038B1 (en) * | 2015-09-01 | 2018-08-07 | Digimarc Corporation | Mobile devices and methods employing acoustic vector sensors |
US20170075877A1 (en) * | 2015-09-16 | 2017-03-16 | Marie-Therese LEPELTIER | Methods and systems of handling patent claims |
KR102423588B1 (ko) * | 2015-12-28 | 2022-07-22 | 삼성전자주식회사 | 정보 제공 방법 및 장치 |
CN117198277A (zh) | 2016-08-12 | 2023-12-08 | 奇跃公司 | 单词流注释 |
WO2018201067A1 (en) | 2017-04-27 | 2018-11-01 | Magic Leap, Inc. | Light-emitting user input device |
-
2017
- 2017-08-10 CN CN202311141678.7A patent/CN117198277A/zh active Pending
- 2017-08-10 KR KR1020237041350A patent/KR20230167452A/ko not_active Application Discontinuation
- 2017-08-10 WO PCT/US2017/046251 patent/WO2018031745A1/en unknown
- 2017-08-10 KR KR1020217006858A patent/KR102610021B1/ko active IP Right Grant
- 2017-08-10 EP EP17840260.8A patent/EP3497695A4/en not_active Ceased
- 2017-08-10 CN CN201780062725.5A patent/CN109844854B/zh active Active
- 2017-08-10 US US15/673,894 patent/US10607609B2/en active Active
- 2017-08-10 KR KR1020197007141A patent/KR102227392B1/ko active IP Right Grant
- 2017-08-10 CA CA3033109A patent/CA3033109A1/en active Pending
- 2017-08-10 IL IL292025A patent/IL292025B2/en unknown
- 2017-08-10 JP JP2019506525A patent/JP6814279B2/ja active Active
- 2017-08-10 AU AU2017308914A patent/AU2017308914B2/en active Active
-
2019
- 2019-02-03 IL IL264611A patent/IL264611B/en unknown
-
2020
- 2020-02-14 US US16/791,855 patent/US11423909B2/en active Active
- 2020-08-07 JP JP2020134422A patent/JP7100092B2/ja active Active
-
2022
- 2022-03-09 AU AU2022201650A patent/AU2022201650A1/en not_active Abandoned
- 2022-06-27 US US17/850,860 patent/US20220327281A1/en active Pending
- 2022-06-30 JP JP2022105856A patent/JP7483798B2/ja active Active
-
2023
- 2023-07-02 IL IL304179A patent/IL304179A/en unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007534075A (ja) * | 2004-04-21 | 2007-11-22 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ネットワークチャット環境におけるスレッドを管理するためのシステム及び方法 |
JP2011113251A (ja) * | 2009-11-26 | 2011-06-09 | Oki Electric Industry Co Ltd | 情報表示装置および情報表示システム |
WO2014157148A1 (ja) * | 2013-03-29 | 2014-10-02 | Necカシオモバイルコミュニケーションズ株式会社 | 表示制御装置、表示制御方法およびプログラム |
Non-Patent Citations (1)
Title |
---|
池信 克也 外: "発話の可視化による多言語会話内容の推測支援システムの構築", 電子情報通信学会技術研究報告, vol. 110, no. 428, JPN6023031793, 21 February 2011 (2011-02-21), JP, pages 31 - 38, ISSN: 0005121144 * |
Also Published As
Publication number | Publication date |
---|---|
US20180047395A1 (en) | 2018-02-15 |
US11423909B2 (en) | 2022-08-23 |
JP7100092B2 (ja) | 2022-07-12 |
AU2017308914A1 (en) | 2019-02-28 |
EP3497695A1 (en) | 2019-06-19 |
AU2022201650A1 (en) | 2022-03-31 |
CN109844854B (zh) | 2023-09-01 |
JP6814279B2 (ja) | 2021-01-13 |
IL292025A (en) | 2022-06-01 |
CN117198277A (zh) | 2023-12-08 |
IL304179A (en) | 2023-09-01 |
EP3497695A4 (en) | 2019-12-25 |
JP7483798B2 (ja) | 2024-05-15 |
KR20190038900A (ko) | 2019-04-09 |
KR102227392B1 (ko) | 2021-03-11 |
JP2019531538A (ja) | 2019-10-31 |
CA3033109A1 (en) | 2018-02-15 |
US10607609B2 (en) | 2020-03-31 |
KR102610021B1 (ko) | 2023-12-04 |
JP2021007003A (ja) | 2021-01-21 |
IL292025B2 (en) | 2023-12-01 |
AU2017308914B2 (en) | 2021-12-09 |
KR20210038673A (ko) | 2021-04-07 |
US20220327281A1 (en) | 2022-10-13 |
CN109844854A (zh) | 2019-06-04 |
IL264611B (en) | 2022-06-01 |
IL292025B1 (en) | 2023-08-01 |
WO2018031745A1 (en) | 2018-02-15 |
IL264611A (en) | 2019-02-28 |
US20200184975A1 (en) | 2020-06-11 |
KR20230167452A (ko) | 2023-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7483798B2 (ja) | ワードフロー注釈 | |
US11747618B2 (en) | Systems and methods for sign language recognition | |
NZ792193A (en) | Sensory eyewear |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220630 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230712 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230802 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231101 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240301 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240401 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240501 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7483798 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |