JP2021531603A - マシン相互作用 - Google Patents
マシン相互作用 Download PDFInfo
- Publication number
- JP2021531603A JP2021531603A JP2021526189A JP2021526189A JP2021531603A JP 2021531603 A JP2021531603 A JP 2021531603A JP 2021526189 A JP2021526189 A JP 2021526189A JP 2021526189 A JP2021526189 A JP 2021526189A JP 2021531603 A JP2021531603 A JP 2021531603A
- Authority
- JP
- Japan
- Prior art keywords
- agent
- user
- digital content
- interaction
- embodied
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 244
- 239000003795 chemical substances by application Substances 0.000 claims description 792
- 238000000034 method Methods 0.000 claims description 64
- 230000009471 action Effects 0.000 claims description 51
- 230000008859 change Effects 0.000 claims description 17
- 238000009877 rendering Methods 0.000 claims description 11
- 239000012636 effector Substances 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims description 4
- 238000002156 mixing Methods 0.000 claims 1
- 230000000007 visual effect Effects 0.000 description 67
- 230000003935 attention Effects 0.000 description 43
- 230000033001 locomotion Effects 0.000 description 37
- 230000006399 behavior Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 15
- 238000004088 simulation Methods 0.000 description 15
- 230000004424 eye movement Effects 0.000 description 14
- 230000004438 eyesight Effects 0.000 description 13
- 230000004044 response Effects 0.000 description 13
- 230000001755 vocal effect Effects 0.000 description 13
- 210000003128 head Anatomy 0.000 description 12
- 230000003190 augmentative effect Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 230000008921 facial expression Effects 0.000 description 8
- 230000002452 interceptive effect Effects 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 8
- 230000015654 memory Effects 0.000 description 8
- 230000001537 neural effect Effects 0.000 description 8
- 230000004886 head movement Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000003542 behavioural effect Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 6
- 230000001149 cognitive effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 230000013016 learning Effects 0.000 description 6
- 230000008447 perception Effects 0.000 description 5
- 241000282412 Homo Species 0.000 description 4
- 230000008451 emotion Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000031018 biological processes and functions Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000003340 mental effect Effects 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 210000000653 nervous system Anatomy 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- VYFYYTLLBUKUHU-UHFFFAOYSA-N dopamine Chemical compound NCCC1=CC=C(O)C(O)=C1 VYFYYTLLBUKUHU-UHFFFAOYSA-N 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003188 neurobehavioral effect Effects 0.000 description 2
- 230000000704 physical effect Effects 0.000 description 2
- 230000004962 physiological condition Effects 0.000 description 2
- 230000035479 physiological effects, processes and functions Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241001282135 Poromitra oscitans Species 0.000 description 1
- 206010048232 Yawning Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 229910052804 chromium Inorganic materials 0.000 description 1
- 239000011651 chromium Substances 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 229960003638 dopamine Drugs 0.000 description 1
- 230000006397 emotional response Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000012015 optical character recognition Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000005293 physical law Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
- G06F9/453—Help systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/547—Remote procedure calls [RPC]; Web services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45562—Creating, deleting, cloning virtual machine instances
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
コンピュータとの相互作用は、自律的仮想具現化エージェント(以下「エージェント」と呼ぶ)を介して提供される。コンピュータはデジタル・コンテンツを出力し、デジタル・データの形で存在し、ユーザに表現可能な任意のコンテンツを含む。デジタルコンテンツのサブセット、またはすべてが、ユーザおよびエージェントの両方に表現可能な共有デジタルコンテンツとして構成される。図1は、共有デジタルコンテンツ5を認識するユーザ3およびエージェント1を示す。共有デジタルコンテンツ5は、ユーザ3およびエージェント1の両方によって操作および/または知覚(相互作用)することができる。共有環境6はすべての共有デジタルコンテンツ5を含み、エージェント1およびユーザ3の両方によって知覚可能である。エージェント1は、そのエージェント仮想環境8内の共有デジタルコンテンツ5と「物理的に」(その具現化を使用して)相互作用することができる。
・エージェント1の現実世界環境の表現(1RER)
・AVEオブジェクト11の現実世界環境の表現(11RER)
エージェントは、認知、位置、具現化、会話、および動的態様を含むことができる。エージェントは具現化され、エージェントが明確にすることができる仮想ボディを有することを意味する。エージェントの身体は、画面やその他のディスプレイにグラフィカルに表示される。エージェントは神経行動モデル(生物学的にモデル化された「脳」または神経系)を用いてシミュレートされてもよく、このモデルは結合された計算要素およびグラフィカル要素を有する複数のモジュールを含む。各モジュールは生物学的処理を表し、生物学的処理に関連し、シミュレートする計算要素と、生物学的処理を視覚化するグラフィカル要素とを含む。したがって、エージェントは外部制御を必要とせず、呼吸、瞬き、見回す、あくびをする、唇を動かすなどの自然に生じる自立行動を示すので、「自律化(self-animated)」している。生物学に基づく自律的運動は神経系の複数の態様をモデル化することによって達成され得るが、これには感覚系および運動系、反射、知覚、情動および調節系、注意、学習および記憶、報酬、意思決定、および目標が含まれるが、これらに限定されない。エージェントの顔はエージェントの脳と身体の両方を反映し、精神状態(眼の方向による精神的注意など)と生理状態(まぶたの位置や皮膚の色を通しての疲労など)を明らかにする。バーチャルオブジェクトまたはデジタルエンティティをアニメーション化するための神経行動モデルの使用は、SagarM、Seymour M、および Henderson A(2016)、「自律的な顔面のアニメーションとの連携を作る」と題された、ACM通信59(12)、82―91、および、本発明の譲受人に譲渡され、参照により本明細書に組み込まれるWO2015016723A1にさらに開示されている。WO2015016723A1に記載されているような時間ステッピング機構は、エージェントの内部プロセスを同期または調整することができる。
エージェント仮想環境8にエージェントを配置すると、自然に見える「オン・ザ・フライ(on-the-fly)」アニメーションが可能になり、エージェントはエージェント1の環境に存在するかのように、周囲のデジタルコンテンツアイテム(共有デジタルコンテンツ5)と自由にやり取りできる。これは、予測不可能なコンテンツや動的なコンテンツとの相互作用で使用するのが難しい、事前に生成されたアニメーションスニペットや事前に記録されたアニメーションスニペットとは異なる。予め記録されたアニメーションの限定の一例は、位置(X,Y)において特定のコンテンツアイテムに到達するためにシミュレートされた腕を使用することである。アニメーションは、コンテンツアイテムが配置されている場所を正確に考慮して機能的に制限される。コンテンツアイテムが移動したりサイズが変更されたりすると、それに応じてアニメーションを変更できなくなる。
エージェントはエージェント仮想環境にあり、オブジェクトと、エージェント仮想環境内のエージェントに対するオブジェクトの相対的な場所を認識できる。本明細書で説明するほとんどの実施形態では、エージェントが3次元エージェント仮想環境に位置する。一実施形態では、エージェント仮想環境が2Dピクセルアレイによって表される2D仮想空間である。2Dエージェントは2D仮想空間内に位置し、エージェントから水平方向(左または右)および/または垂直方向(上または下)に変位することができる2D空間上の共有デジタルコンテンツと相互作用することができる。
エージェントは、現実世界からの任意の適切な視覚入力(カメラからのビデオストリームなど)、Microsoft Kinectカメラなどの範囲イメージング能力を有するカメラからの深度感知情報、マイクロフォン等からの音声入力、バイオセンサからの入力、熱センサまたは任意の他の適切な入力デバイスからの入力、タッチスクリーン入力(ユーザがスクリーンを押している場合)を受信する。単一の入力がエージェントに提供されてもよいし、入力の組み合わせが提供されてもよい。エージェントはそれ自体に関連して現実世界の態様を空間的に配置することができ、ユーザは、ユーザの現実世界空間内の物または人などのオブジェクトにエージェントの注意を向けることができる。
ウェブサイトに関連する共有デジタルコンテンツは、ウェブフォーム、ボタン、テキスト、テキストボックス、テキストフィールド、ビデオ要素又は画像を含むことができる。拡張現実、仮想現実、ホログラムなどの混合現実適用では、デジタルコンテンツアイテムが3Dオブジェクトを参照することができる。(VR/携帯電話/コンピュータアプリケーションなどの)アプリケーションでは、デジタルコンテンツアイテムはオブジェクト指向言語によって定義されたオブジェクトである可能性がある。
・その身体をアイテムに向かって傾け、および/またはその頭部をアイテムに向かって傾ける。
・目でアイテムを見る。
・アイテムを指し示すジェスチャを行い、アイテムの一般的な方向に頭を巻き、またはアイテムの方向に手を振る。
・アイテムに向かって歩く、またはアイテムに近い位置にテレポートする、または浮動することによってアイテムに近づく。
具現化されたエージェントは、それらが相互作用するデジタルコンテンツから独立してプログラム的に定義される:デジタルコンテンツと具現化されたエージェントの両方を制御する中央コントローラは存在しない。これにより、具現化されたエージェントを、異なる第三者プロバイダによって作成されたデジタルコンテンツとともに柔軟に使用できるようになる。エージェントが新しいデジタルコンテンツを知覚し、ネイティブに相互作用することを可能にする2つのメカニズムは、コンピュータビジョンと相互作用モジュール(支持インターフェース)を備える。
一実施形態では、エージェントはユーザへの表示を表すソースからの視覚データの形式で入力を受信する。例えば、エージェントは、視覚(仮想)画像及び/又はオブジェクト認識を介してスクリーン又は3D仮想空間のピクセルを見る。エージェントは標準的なコンピュータビジョン/画像処理/画像認識/マシン学習技術等による視覚オブジェクト認識を装備して、画像またはビデオまたはオブジェクト内のオブジェクト/被写体、画像またはビデオの被写体の輪郭/色を識別し、それに従ってそれと相互作用することができる。エージェントには、テキストを認識するための光学式文字認識と、テキストを理解するための自然言語処理が装備されている場合がある。言い換えれば、デジタルコンテンツは、人間のユーザ(ピクセルの視覚的表示)に表現されるのと同じ方法でエージェントに視覚的に表現される。エージェントシステムは内蔵画像認識および/または学習を含むことができ、あるいは、画像認識のためにサードパーティサービスを使用することができる。
共有環境の視覚的表現は、画面共有ソフトウェアが画面の視覚的表現を遠隔地に送る方法と類似した方法でエージェントに送ることができる。インターフェースは、任意の所与の時点で計算装置によって何が出力されているかを記述する情報のパケットを計算装置からエージェントに送信するように構成されてもよい。データは画像ファイル(例えば、JPEG及びGIF)として到着することができ、又はデータは、特定のX及びY座標(及び混合現実の場合にはZ)に割り当てられた個々のピクセルとして到着することができる。帯域幅の量を最小限に抑えるために、インターフェースは画面の変更されたセクションで情報更新のみを送信するように、および/または送信されるデータを圧縮するように構成されてもよい。
デジタルコンテンツアイテムに触れることはデジタルコンテンツアイテムとの相互作用をもたらすことができる1つのタイプの具現化された相互作用であるが、本発明はこの点で限定されない。他の実施形態では、デジタルコンテンツアイテムに向けられるエージェントの特定のジェスチャがそのアイテム上のイベントをトリガすることができる。例えば、アイテムを見て瞬きをするエージェントは、そのアイテム上のイベントをトリガすることができる。別の例としては、ボタンなどのデジタルコンテンツアイテムでのジェスチャリングがある。
一実施形態では、エージェントはあたかも入力デバイスがエージェントのエフェクターであるかのように、マウス、タッチパッド、または他の一次入力デバイスを直接制御する。換言すれば、エージェントは、それ自体の身体/筋肉の動きを制御するのと同じ方法で入力装置を制御することができる。計算装置では、エージェントによる計算装置の直接制御が例えばグラフィカル端末エミュレータを介して人のデスクトップコンピュータ上で遠隔アクセス及び遠隔協調動作を可能にする技術のような、任意の適切な技術によって可能にすることができる。
注意モジュール2905は、エージェントの注意を導くための「顕著性」マップを含むことができる。顕著性マップは、重要性に関するエージェントに対する画面の表示である。顕著性マップは、エージェントの注意および焦点がどこにあるかを定義することができる。顕著なものとして差別的に扱われてもよい特徴の例には、以下のものが含まれる。
・ユーザ:エージェントは、顔を検出するための顔検出モジュールを含んでもよい。顔検出は、エージェントの感情影響およびユーザ相互作用ループに関連し得る。顔検出モジュールはエージェントの視覚的入力ストリーム内で顔を見つけるための顔追跡および解明ライブラリを使用する。顔の存在は、エージェントによって、非常に顕著な視覚的特徴として解釈され得る。任意の検出された顔からの解決された顔の表情は、表情認識ネットワークに供給されてもよい。
・運動―視覚モジュールはビデオ入力の知覚処理を試みないので、運動検出モジュールが提供されてもよい。運動検出モジュールは、単純な動きを推論するために時間的に隣接するビデオフレームを比較する、エージェントの視覚知覚システムの構成要素であってもよい。得られた「運動マップ」は、視覚的顕著性の駆動要素として使用されてもよい。
・特定のオブジェクトまたは画像の認識
・テキストの認識;特定のキーワードまたはテキストパターンに起因する顕著性
・色
・輝度
・エッジ
ユーザとエージェントは、マウス、キーボード、またはその他の主要な入力メカニズムを制御することができる。一実施形態では協働のためのメカニズムが制御メカニズムの形態で提供され、これは、いずれかの当事者が一旦マウスを動かすと、開始されたアクションが完了するまで、他の当事者がマウスを動かすことを可能にする前に、マウスを動かすことを確実にする。制御メカニズムは、ユーザとエージェントとの間で順番を取ることを強制することができる。他の実施形態ではユーザおよびエージェントが、誰がUIの制御を有するかを決定するためにダイアログを使用することができる(例えば、ユーザは、エージェントが制御を引き継ぐことができるかどうか、またはその逆をエージェントに尋ねることができる)。
エージェントは、その知覚入力を制御することができる。たとえば、コンテンツではなくユーザを見るか、その逆を選択できる。視覚的ピクセル認識を介してエージェントで知覚を可能にする利点は、エージェントが(より高い解像度でエージェントに表示されるピクセルストリームの「Fovea」サブセット/領域を使用して)見る/焦点を合わせ、したがって認識することができるもの自由度/柔軟性を提供することである。エージェントは、ユーザインターフェース上に表示される任意のピクセル、または任意の生成されたパターン、色、または表現されたオブジェクトなどのユーザインターフェース上に表示される超構造/アスペクトに焦点を当てることができる。
図23は、CEFブラウザを使用した1つの実施形態のクラス図である。CEFウィンドウは、ユーザがUI上で見るものを定義する。変数は共有デジタルコンテンツ(例えば、ブラウザコンテンツ)との相互作用を記憶するために、エージェントの神経行動モデル内で定義されてもよい。変数の1つのセットがユーザのインタラクション用であり、別の変数のセットがエージェントのインタラクションを格納してもよい。エージェントの変数のセットは、神経行動モデリング言語を介してランタイムによって設定されてもよい。ランタイム・ホスト2304は、両方の変数のセットに対して変数監視をセットアップすることができる。これらの変数に対する更新を受信すると、ランタイム・ホスト2304はUIイベント(例えば、マウス/キーボード・イベント)を構築し、それらを共有環境VER(エージェントが共有デジタル・コンテンツを見るエージェントの環境内の平面に対応することができる)に送信し、共有環境VERはランタイム・ホストによって所有されるが、バッファに画面外レンダリングされ、ランタイム・ホストはコンテンツを3D空間にレンダリングする神経行動学モデリング・フレームワークのために、バッファを神経行動学モデリング・フレームワーク(シミュレータ)に送信する。
・mousedownおよびmouseupイベント変数を追跡するには、user_mousedown、user_mouseup、persona_mousedown、persona_mouseup
・キーダウンおよびキーアップのイベント変数を追跡するには、user_keydown、user_keyup、persona_keydown、persona_keyup
相互作用モジュールは共有デジタルコンテンツのエージェント認識を容易にし、エージェントの仮想環境で表現されるコンテンツアイテムのインタラクションアフォーダンスを定義し、エージェントに伝達することができる。相互作用モジュールは、サポートライブラリまたはアプリケーションプログラミングインターフェース(API)であってもよい。エージェント1が特定のアクションを取ることを決定すると、相互作用モジュール16は、そのアクションを、第三者のデジタルコンテンツの著者によってネイティブに定義された指令に変換する。エージェントはインタラクションモジュールを使用することにより、デジタルコンテンツ(ウェブコンテンツ、アプリケーションコンテンツ、その他のプログラムで定義されたコンテンツなど)と直接かつ動的に相互作用することができる。相互作用モジュールは、コンピュータプログラム可読情報によって定義されたデジタルコンテンツと、エージェントが理解可能な情報とを変換する。
デジタルコンテンツアイテムは、要素の初期構造と内容を定義するために文書設計者によって確立された一連のパラメータを有するウェブ要素を含むことができる。これらには、文書内の要素の絶対的または相対的な空間的位置など、要素の物理的特徴と、フォントタイプ、フォントサイズ、フォントの色、太字や斜体などのフォント属性など、要素に入力された任意のユーザテキストコンテンツに適用される属性の両方が含まれる。文書は、従来のクリックアンドドラッグ技術によって、ユーザが1つ以上の要素の位置を変更できるように設計することもできる。デジタルコンテンツがウェブページの文脈にある場合、JavaScript相互作用モジュール16のような相互作用モジュール16を設けて、エージェント1がウェブ要素の物理的特徴および/または属性を変更できるようにしてもよい。HTMLページの要素は、Dynamic HTML(DHTML)、HTML、CSS(Cascading Style Sheets)、DOM(Document Object Model)、スクリプトなど、いくつかのウェブ関連標準の組み合わせと相互作用を介してページがレンダリングされた後で、制御可能になる場合がある。ブラウザはウェブページがロードされたときに、ページ上のHTML要素を表すドキュメントオブジェクトモデル(DOM)を作成することができる。JavaScript は、DOM(プログラムが文書のコンテンツ、構造、スタイルにアクセスして変更できるようにするブラウザ内のインターフェース)と相互作用するために使用できる。JavaScript相互作用モジュール16は、DOMによってエージェント1とウェブページとの間の特定のタイプの相互作用を特に可能にする方法を含んでもよい。
・DOM内またはページ上のHTML要素の変更/削除
・要素へのCSSスタイルの変更および/または追加
・要素属性(アンカーテキストのhref属性、画像テキストのsrc属性、alt属性、または任意のカスタム属性)の読み取りおよび/または変更
・新しいHTML要素を作成し、DOM/ページに挿入する
・イベント・リスナーを要素に接続する。例えば、イベントリスナーはクリック、キー押下、および/またはサブミットを聴取し、JavaScriptでこれらに反応することができる。
図8は、仮想現実環境などのバーチャルリアリティ文脈におけるユーザ3の相互作用を示す。上述のユーザインターフェース相互作用のための方法およびシステムは、仮想/混合/拡張現実相互作用にも同様に適用される。また、ユーザ3とエージェント1の両方がアクセスできるオブジェクトのセットを含む、概念的な共有環境が提供されてもよい。相互作用モジュール16は、エージェント1空間とユーザ3空間との間を変換するために使用されてもよい。相互作用モジュール16は、バーチャルリアリティ環境(VR環境)を有するバーチャルリアリティ適用(VR適用)に組み込むことができる。相互作用モジュール16は、エージェント1とデジタルコンテンツアイテムとの間の相互作用における視覚的な一致を容易にする。代替的に、および/または追加的に、エージェントはVR環境によって定義される共有デジタルコンテンツの完全忠実度コンピュータビジョンを提供されてもよい(および同様に、以下で説明される拡張現実の実施形態を備える)。
アニメーションレンダラはユーザに表示するために、エージェントのアニメーションとエージェントの環境をレンダリングすることがある。生成されたアニメーションは次に、ビデオストリームとして、UI装置(ブラウザなど)にストリーミングされてもよい。一実施形態ではエージェントはエンドユーザディスプレイの限定された領域にレンダリングされてもよい。ウェブ文脈では、エージェントはHTML DIV要素に制限される場合がある。別の実施形態では、エンドユーザディスプレイ上のエージェントの表示が無制限であってもよい。
ユーザはジェスチャを使用して、コンピュータ画面上の領域にエージェントの注意を引いたり、その点を示すことができる。図19は、カメラ15によって捕捉されたユーザ表現(3VER及び/又は3RER)がスクリーン10上にどのように表示されるかの例を示す。表現は、スクリーン10上に表現されている他のものにオーバーレイされてもよく、半透明であってもよく、ユーザ3がユーザ3の身体とスクリーン10の他のコンテンツの両方を見ることを可能にする。あるいは、ユーザ3の背景が(標準的な画像処理技術を使用して)自動的に切り取られ、ユーザ3の画像または手のみがスクリーン上に表示され、その結果、表現は透明である必要はない。さらなる実施形態では、ユーザ3の表現がエージェント1にのみ見える。画面3120には2つのボタンA、Bが表示されており、ユーザ3の手3145はボタンBの上をホバリングしている。画面上にはユーザ3の手の表現が表示されている。エージェント1は、ユーザ3が見るものと同じ表現を見ることができ、したがって、ユーザ3の注意を引いているボタンを見ることもできる。顕著性マップは、人間の手、または動きを重要とすることができる(ユーザ3の手はそれに注意を引くためにボタンBの上を移動することができる)。したがって、ユーザ3はタッチスクリーンと同様の方法で非タッチスクリーンスクリーンと相互作用することができ、ユーザのジェスチャ(例えば、指でクリック)はインターフェースモジュールを使用して入力装置イベント(例えば、クリック)に変換することができる。他の実施形態ではユーザ3の表現が画面上に表示される代わりに、ユーザ3はエージェント1がその方向を見ることなどによって、ユーザ3がどこを示しているかについての何らかの他の視覚的インジケータを受け取ることができる。同様に、エージェント1はユーザの注視を追跡することによって、またはユーザ3からの言葉による指示/命令から、ユーザ3が画面上のどこを見ているかを知覚することができる。
複数のエージェントは、独立してデジタルコンテンツと相互作用することができる。複数のエージェントは、ユーザとだけでなく、互いに対話することができる。複数のエージェントは同じ仮想環境内でシミュレートされてもよいし、互いに異なる仮想環境内でシミュレートされてもよい。複数のエージェントは同じ感覚能力を有してもよいしるし、互いに異なる能力を有してもよい。1つまたは複数のエージェントは、複数のユーザと相互作用することができる。ユーザのうちの任意の1人または複数人は、一つまたは複数のエージェントと会話し、1つまたは複数のエージェントに、ユーザが本明細書で説明するように相互作用しているユーザインターフェースを操作するように指示することができる。
コンピュータビジョンおよび相互作用モジュールの実施形態は、組み合わされてもよい。一実施形態ではエージェントは画像のピクセルを処理することによって、画像などのコンテンツアイテムの特徴を知覚的に認識することができる。これにより、エージェントは、アイテムの色などの特徴を議論することができる。
エージェントはたとえば、提供されたオブジェクトデータベースからオブジェクトメタデータにアクセスすることもできる。一例は、購入品目のカタログである。エージェント1は、デジタルコンテンツアイテムをデータベースカタログ内の購入アイテムに関連付け、この情報を使用してユーザ3と相互作用することができる。エージェントは、ユーザ3インターフェースのナビゲーションまたは表示態様を制御することができる。たとえば、ウェブサイトの文脈では、エージェント1が上下左右にスクロールしたり、拡大/縮小したりすることによって、ウェブページのどの部分を表示するかを制御することができる。
一実施形態では、エージェントはエージェントを異なるデジタルコンテンツソース(例えば、異なるウェブサイト)に統合することができるように、特定のデジタルコンテンツアイテムの性質を理解することができる。それゆえ、エージェントは、インターネット上で、スケーラブルな方法で、ユーザコンテンツの相互作用を容易にすることができる。このようなエージェントは、ビスポークブラウザを介して提供することができる。エージェントは、マシン学習技法を使用して、コンテンツアイテムと、そのようなコンテンツアイテムに関連してとることができる/とるべきアクションとの間のウェブ言語学習関連付けの性質を理解するように訓練することができる。例えば、エージェント1はテキスト領域の正確な設定に関係なくテキスト領域を識別し、テキスト領域のユーザ可視標識を読んで、ユーザの代わりにそれらの領域に記入するように訓練されてもよい。
一実施形態では図18に示されるように、デジタルコンテンツは埋め込まれたアクションおよび/またはエージェント知覚可能ロケータに関連付けられてもよい。エージェント知覚可能なロケータは、デジタルコンテンツアイテムを見つける(そして、エージェント仮想環境内のデジタルコンテンツアイテムに対応する空間座標と関連づけられることがある)。ロケータは、デジタルコンテンツアイテムを記述するメタデータに関連付けることができる。ロケータは、顕著性マップを置換および/またはサポートすることができる。顕微鏡マップを置き換えるロケータの一例では、ボタンに対応するロケータがエージェント1によってクリックされなければならないことを示すメタデータでタグ付けされる。顕著性マップをサポートするロケータの実施例では、ロケータはボタンに配置される(ウェブページのHTML コンテンツを読み込み、ロケータをHTML ボタンタグを使用してアイテムに割り当てることで、ロケータが自動的に生成される)。ボタンの顕著性マップは任意の他の顕著性マップ、例えば、カラー顕著性マップと共に提供されてもよく、例えば、顕著性マップは、エージェントが赤色ボタンをクリックすることを促すように構成されてもよい。埋め込みコンテンツはエージェントによってアクセス可能であるが、必ずしもユーザによってアクセス可能ではないウェブサイトで提供されてもよい。例えば、エージェントに可視である埋め込みコンテンツはエージェントがユーザに見えないリンクをクリックし、別のページにナビゲートしたり、ユーザに見えない情報を読むことを可能にする。
エージェント1は、人間が行うのと同じ言語及び非言語手段(ジェスチャ、表情等)を使用して、人間との相互作用に従事することができる。応答は、エンドユーザコンピューティングデバイスの1つまたは複数のスピーカを介して再生されるコンピュータ生成スピーチまたは他のオーディオコンテンツを含むことができる。エージェント1によって生成された応答は、テキスト、画像、またはその他のユーザ3に視覚可能なコンテンツの形式で、ユーザ3にとって視覚可能とすることができる。
エージェント1は、IBMワトソンまたはグーグルダイアログフローおよび/または会話コーパスのようなサードパーティサービスの助けを借りて会話することができる。
・具現化されたエージェントはカメラ入力を受信し、ユーザの注視がどこにあるかを計算することができる。これは、ユーザが見ているユーザ空間/現実世界の中のコンテンツアイテムまたはオブジェクトにマッピングされてもよい。ユーザの注視は、ユーザの目の角度および/またはユーザの頭の角度を使用して追跡されてもよい。
・具現化されたエージェントはさらに、ユーザの眼球運動、頭部運動を追跡し、ユーザの眼および頭部の角度を計算することができる。
・具現化されたエージェントはさらに、場合によっては具現化されたエージェントのアクションおよび/または具現化されたエージェントの注視を指示することができる、ユーザからの指示を含む言語入力を受信する。他の入力には、例えばキーボードを介したテキストが含まれてもよい。
・ユーザを識別した具現化されたエージェントは、目で追い(ユーザを見て)、ユーザに向かって傾くことによって、ユーザの位置を追うことができる。
・具現化されたエージェントは、デジタルコンテンツアイテムに対して、ユーザが制御するマウスが画面上のどこに位置するかを認識することができる。エージェント1はさらに、例えばタッチスクリーンモニタによってユーザのタッチを知ることができる。
・具現化されたエージェントはカメラを介して、ユーザの動き、特にユーザの腕、手、および指の動きを監視することができる。
・顔の表情を使ってユーザの感情を検出し、それに応じて適応させることができる。
・ユーザの音声トーンはエージェントがそれに応じて適応するように、ユーザ情報を検出するために使用されてもよい。
・エージェントは会話を進める前に、エージェントがユーザの注意を受けることを保証することができる。
・エージェントはユーザとの過去の相互作用の記憶を有し、この情報を会話に使用することができる。
エージェント注意(アテンション)モデルは、視野内の領域の顕著性マップとして実施することができ、可視位置が注意を求めて競合する。より活動的な場所のほうが、より顕著である。顕著性マップはそれぞれの位置(ピクセルの)固有の品質を示し、より活発な場所がより顕著性を持つようにした画像である。人間の脳で活動しているいくつかのタイプの顕著性は、具現化されたエージェントにおいて実施され得る。これらは、ユーザ3または具現化されたエージェント1のすべての目または頭の動きを更新する視覚フレームを含む。他の顕著性マップは、頭部および眼球運動にかかわらず安定した基準フレームを使用する。マッピングされ得る顕著性特徴は、視野に存在する色または輝度または刺激の強さを含む。期待または所望に焦点を当て、これらの期待または所望から、顕著性マップ上の顕著な位置がどこにある可能性が高いかを予測する、さらに他の顕著性マップを作成することができる。具現化されたエージェント1で実施されるように、これらの顕著性マップは、顕著性の総計の測定を導出するために組み合わされる。
顕著性の注視=重み付け1×埋め込みエージェントの注視マップ+重み付け2×ユーザの注視マップ+重み付け3×(埋め込みエージェントの注視マップ×ユーザの注視マップ)
顕著性のポイント=重み付け1×埋め込みエージェントの注視マップ+重み付け2×ユーザのポイントマップ+重み付け3×(埋め込みエージェントのポイントマップ×ユーザのポイントマップ)
図12は、ユーザがWebページと相互作用するのを容易にするエージェントのスクリーンショットを示している。ウェブページには、いくつかのメニューアイテム、検索バー、ナビゲーションボタンを備える共有デジタルコンテンツが含まれている。ユーザに対して、エージェント1は、共有デジタルコンテンツの前に配置される。エージェント1は、共有デジタルコンテンツ5の知覚的認識を有する。したがって、エージェント1はユーザとのやり取りの一部として、異なるコンテンツアイテムを参照したり、指し示したりすることができる。エージェント1はユーザが次にナビゲートしたいものを確認するために、ユーザ3との相互作用に関与することができる。エージェント1は周りを見回して、ユーザが関心を示したデジタル・コンテンツ・アイテムを見て、メニュー・コンテンツ・アイテムがリンクするURLへのナビゲーションをトリガしてもよい。エージェントはアイテムをクリックしているかのように、特定のコンテンツアイテムを示し、視覚的に押すことができる。
人とコンピュータとの相互作用における初期の研究は「モデル世界」と相互作用することの利点を強調した;オブジェクトおよびアクションが人間のユーザにとってより直感的である実世界におけるオブジェクトおよびアクションに似ている/ミラーリングする計算デバイスインターフェース。人間のインターフェースへの人工エージェントの伝統的なアプリケーションが隠れた手の働きによって世界が変化する「魔法の世界」をもたらした。本明細書に記載される実施形態が目に見え役に立つ手によって世界が変化するインターフェースを可能にすることによって、人とコンピュータとの相互作用および人工知能を拡張し、(エージェントの注視方向/目の方向/身体言語を介して)エージェントによって受信される入力およびエージェントの精神状態についての情報を効率的な方法で視覚的に表示する。ユーザはインターフェース要素が「自分で動く」ことを見る代わりに、ユーザは、今や、インターフェース操作につながるエージェントの思考プロセスおよびアクションを視覚化することができる。ユーザは直接エージェントの自律アクションを観察し、エージェントはインターフェースのユーザによって自律的に取られるアクションを観察することができる。
記載される方法およびシステムは、任意の適切な電子計算システム上で利用されてもよい。以下に説明する実施形態によれば、電子計算システムは、様々なモジュールおよびエンジンを使用して本発明の方法を利用する。
一態様では、仮想環境座標を有するエージェント仮想環境を作成するステップと、エージェント仮想環境内のデジタルコンテンツをシミュレートするステップと、エージェント仮想環境内の具現化された人工エージェントをシミュレートするステップと、具現化された人工エージェントがシミュレートされたデジタルコンテンツと相互作用することを可能にするステップと、具現化された人工エージェントとデジタルコンテンツとの間の相互作用をエンドユーザディスプレイデバイス上に表示するステップとを含む、電子計算装置のエンドユーザディスプレイデバイス上に具現化された人工エージェントとデジタルコンテンツとの間の相互作用を表示する方法が提供される。
Claims (15)
- 電子計算装置のエンドユーザ表示装置上で、具現化された人工エージェントとデジタルコンテンツとの間の相互作用を視覚化するための方法であって、
仮想環境座標を有するエージェント仮想環境を作成するステップと、
前記エージェント仮想環境における前記デジタルコンテンツをシミュレートするステップと、
前記エージェント仮想環境における具現化された人工エージェントをシミュレートするステップと、
前記具現化された人工エージェントが前記シミュレートされたデジタルコンテンツと相互作用することを可能にするステップと、
前記具現化された人工エージェントと前記デジタルコンテンツとの間の相互作用を前記エンドユーザ表示装置に表示するステップと、を含む方法。 - 前記仮想環境は3D仮想空間であり、前記仮想環境座標は3D座標である、請求項1に記載の方法。
- 前記相互作用は、前記デジタルコンテンツに向かって移動するステップと、前記デジタルコンテンツを見るステップと、デジタルコンテンツに向かってジェスチャするステップと、マルチジョイントエフェクターを移動させることによって前記デジタルコンテンツのアイテムにタッチするステップと、を含む群のうちの1つまたは複数である、請求項2に記載の方法。
- 前記エージェント仮想環境内の平面上でデジタルコンテンツがシミュレートされる、請求項3に記載の方法。
- 具現化された人工エージェントを介して電子計算装置上でデジタルコンテンツと相互作用するための方法であって、
前記電子計算装置上のユーザインターフェース上のユーザに対してデジタルコンテンツの表示するステップと、
仮想環境座標を有するエージェント仮想環境を作成するステップと、
前記エージェント仮想環境における前記デジタルコンテンツをシミュレートするステップと、
前記エージェント仮想環境における具現化された人工エージェントをシミュレートするステップと、
前記具現化された人工エージェントが前記シミュレートされたデジタルコンテンツと相互作用することを可能にするステップと、
前記相互作用を前記ユーザインターフェース上の前記デジタルコンテンツの作動または操作に変換するステップと、
前記具現化された人工エージェントを前記ユーザインターフェース上のデジタルコンテンツにオーバーレイ、アンダーレイ、およびブレンドの少なくともいずれかを行うことによって、前記相互作用を表示するステップと、を含む、方法。 - 前記デジタルコンテンツは前記エージェント仮想環境において、前記エージェント仮想環境における1つまたは複数のピクセルとしてシミュレートされ、各ピクセルは前記エージェント仮想環境における座標位置を有する、請求項5に記載の方法。
- 前記相互作用は、デジタルコンテンツに対応するピクセルの前記座標と前記エージェントの体との間の交点である、請求項6に記載の方法。
- 前記シミュレートされた具現化された相互作用を変換することは、前記具現化された相互作用を入力装置イベントにマッピングすることを含む、請求項7に記載の方法。
- 前記人間の入力装置イベントは、マウスイベント、キーボードイベント、またはタッチスクリーンイベントを含む前記群のうちの1つまたは複数である、請求項8に記載の方法。
- 電子計算装置との相互作用を容易にするためのシステムであって、
少なくとも1つのプロセッサデバイス;
前記少なくとも1つのプロセッサと通信する少なくとも1つのメモリデバイスと、
前記プロセッサによって、具現化されたエージェントをシミュレートするように構成された、実行可能なエージェントシミュレータモジュールと、
デジタルコンテンツを、前記具現化されたエージェントによって知覚可能な概念オブジェクトに変換し、前記具現化されたエージェントが前記デジタルコンテンツと相互作用することを可能にするように配置された、前記プロセッサによって実行可能な相互作用モジュールと、
前記デジタルコンテンツ、前記具現化されたエージェント、及び、前記具現化されたエージェントと前記デジタルコンテンツとの間の前記相互作用をレンダリングするように構成された前記プロセッサによって実行可能なレンダリングモジュールと、
を備えるシステム。 - 前記相互作用モジュールは、前記概念オブジェクト上の具現化されたエージェントアクションを前記デジタルコンテンツに対する変更に変換するようにさらに構成される、請求項10に記載のシステム。
- 前記相互作用モジュールは、概念オブジェクトを、前記具現化されたエージェントに対する前記概念オブジェクトの位置を表す座標に関連付ける、請求項11に記載のシステム。
- 前記相互作用モジュールは、概念オブジェクトを、対応するデジタルコンテンツの1つ以上のアフォーダンスに関連付ける、請求項10〜12のいずれか1項に記載のシステム。
- 前記計算機がウェブコンテンツを提供し、前記相互作用モジュールが前記ウェブコンテンツに統合されたJavaScript(登録商標)コードである、請求項13に記載のシステム。
- 電子計算装置上に作成された仮想環境内に位置する具現化されたエージェントであって、
現実世界環境から入力を受信し、
前記仮想環境から入力を受信し、
前記現実世界環境および前記仮想環境からの入力に依存して動作するようにプログラムされ、
前記現実世界環境および仮想環境から受信した前記入力は、前記現実世界環境および前記仮想環境の両方からの連続フィードバックループを介してリアルタイムで受信される、
具現化されたエージェント。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023188535A JP2024016167A (ja) | 2018-07-19 | 2023-11-02 | マシン相互作用 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
NZ74441018 | 2018-07-19 | ||
NZ744410 | 2018-07-19 | ||
NZ75512219 | 2019-07-03 | ||
NZ755122 | 2019-07-03 | ||
PCT/NZ2019/050083 WO2020017981A1 (en) | 2018-07-19 | 2019-07-19 | Machine interaction |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023188535A Division JP2024016167A (ja) | 2018-07-19 | 2023-11-02 | マシン相互作用 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021531603A true JP2021531603A (ja) | 2021-11-18 |
JP7381581B2 JP7381581B2 (ja) | 2023-11-15 |
Family
ID=69165157
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021526189A Active JP7381581B2 (ja) | 2018-07-19 | 2019-07-19 | マシン相互作用 |
JP2023188535A Pending JP2024016167A (ja) | 2018-07-19 | 2023-11-02 | マシン相互作用 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023188535A Pending JP2024016167A (ja) | 2018-07-19 | 2023-11-02 | マシン相互作用 |
Country Status (9)
Country | Link |
---|---|
US (1) | US20210216349A1 (ja) |
EP (1) | EP3824378A4 (ja) |
JP (2) | JP7381581B2 (ja) |
KR (1) | KR20210024174A (ja) |
CN (1) | CN112424736A (ja) |
AU (1) | AU2019308100A1 (ja) |
CA (1) | CA3101001A1 (ja) |
SG (1) | SG11202011951PA (ja) |
WO (1) | WO2020017981A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4110556A4 (en) * | 2020-02-29 | 2024-05-01 | Embodied Inc | MANAGING CONVERSATIONS BETWEEN A USER AND A ROBOT |
CN112774203B (zh) * | 2021-01-22 | 2023-04-28 | 北京字跳网络技术有限公司 | 一种虚拟对象的位姿控制方法、装置以及计算机存储介质 |
CN115098218B (zh) * | 2022-05-25 | 2024-03-19 | 西南科技大学 | Fmu模型到组态软件中功能块模型的描述和仿真方法 |
CN117994820B (zh) * | 2024-04-07 | 2024-06-14 | 福建师范大学 | 基于时频数据融合的分层图卷积手势识别方法及装置 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1165964A (ja) * | 1996-12-20 | 1999-03-09 | Sony Corp | 電子メールの送信方法及び送信装置、電子メールの受信方法及び受信装置、電子メールの送受信方法及び送受信装置、電子メールの送信プログラム供給媒体、受信プログラム供給媒体及び送受信プログラム供給媒体 |
JP2002041276A (ja) * | 2000-07-24 | 2002-02-08 | Sony Corp | 対話型操作支援システム及び対話型操作支援方法、並びに記憶媒体 |
US6570555B1 (en) * | 1998-12-30 | 2003-05-27 | Fuji Xerox Co., Ltd. | Method and apparatus for embodied conversational characters with multimodal input/output in an interface device |
US20090027337A1 (en) * | 2007-07-27 | 2009-01-29 | Gesturetek, Inc. | Enhanced camera-based input |
US20100169837A1 (en) * | 2008-12-29 | 2010-07-01 | Nortel Networks Limited | Providing Web Content in the Context of a Virtual Environment |
KR20110006465A (ko) * | 2009-07-14 | 2011-01-20 | 주식회사 프라이머스코즈 | 휴대폰과 연계되는 대형박물관용 가상현실 수족관장치 |
US20130051547A1 (en) * | 2011-08-29 | 2013-02-28 | Avaya Inc. | Agent and customer avatar presentation in a contact center virtual reality environment |
WO2014119098A1 (ja) * | 2013-02-01 | 2014-08-07 | ソニー株式会社 | 情報処理装置、端末装置、情報処理方法及びプログラム |
US20140222746A1 (en) * | 2013-02-01 | 2014-08-07 | Worcester Polytechnic Institute | Inquiry skills tutoring system |
KR20150057424A (ko) * | 2013-11-19 | 2015-05-28 | 한국전자통신연구원 | 증강현실 아바타 상호작용 방법 및 시스템 |
US20160300387A1 (en) * | 2015-04-09 | 2016-10-13 | Cinemoi North America, LLC | Systems and methods to provide interactive virtual environments |
KR20180028717A (ko) * | 2016-09-09 | 2018-03-19 | 동서대학교산학협력단 | 3d 디지털액터에 의한 지능형 사용자 인터페이스 제공방법 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001325052A (ja) * | 2000-05-17 | 2001-11-22 | Sharp Corp | エージェント表示装置、エージェント表示方法およびエージェント表示プログラムを記録した記録媒体 |
US8136038B2 (en) * | 2005-03-04 | 2012-03-13 | Nokia Corporation | Offering menu items to a user |
US9542010B2 (en) * | 2009-09-15 | 2017-01-10 | Palo Alto Research Center Incorporated | System for interacting with objects in a virtual environment |
US20130339902A1 (en) * | 2012-05-31 | 2013-12-19 | Richard Katzman | Method and system for project or curriculum management |
WO2014059376A1 (en) * | 2012-10-11 | 2014-04-17 | Wahl Jeffrey R | Virtual information presentation system |
US8850315B1 (en) * | 2013-07-11 | 2014-09-30 | Cloud Coaching International LLC | System and method for superimposing a context-sensitive virtual agent on a web-based user interface |
US9632686B1 (en) * | 2014-07-24 | 2017-04-25 | Wells Fargo Bank, N.A. | Collaborative document creation |
US10290222B2 (en) * | 2015-09-21 | 2019-05-14 | Visautact Llc | Interactive tutorial with integrated escalating prompts |
WO2017053462A1 (en) * | 2015-09-23 | 2017-03-30 | Integenx Inc. | Systems and methods for live help |
US10304239B2 (en) * | 2017-07-20 | 2019-05-28 | Qualcomm Incorporated | Extended reality virtual assistant |
US20190332400A1 (en) * | 2018-04-30 | 2019-10-31 | Hootsy, Inc. | System and method for cross-platform sharing of virtual assistants |
US11418357B2 (en) * | 2019-04-04 | 2022-08-16 | eXp World Technologies, LLC | Virtual reality systems and methods with cross platform interface for providing support |
US11861674B1 (en) * | 2019-10-18 | 2024-01-02 | Meta Platforms Technologies, Llc | Method, one or more computer-readable non-transitory storage media, and a system for generating comprehensive information for products of interest by assistant systems |
US11475661B2 (en) * | 2020-02-10 | 2022-10-18 | Fujifilm Business Innovation Corp. | Systems and methods for augmented reality application for annotations and adding interfaces to control panels and screens |
US11200742B1 (en) * | 2020-02-28 | 2021-12-14 | United Services Automobile Association (Usaa) | Augmented reality-based interactive customer support |
JP2023525173A (ja) * | 2020-05-13 | 2023-06-15 | エヌビディア コーポレーション | レンダリングされたグラフィカル出力を利用する会話型aiプラットフォーム |
CN115769604A (zh) * | 2020-05-27 | 2023-03-07 | 马尔科·杜里奇 | 用于计算设备的通知应用 |
US11436828B1 (en) * | 2020-06-02 | 2022-09-06 | State Farm Mutual Automobile Insurance Company | Insurance inventory and claim generation |
US11393198B1 (en) * | 2020-06-02 | 2022-07-19 | State Farm Mutual Automobile Insurance Company | Interactive insurance inventory and claim generation |
US11861137B2 (en) * | 2020-09-09 | 2024-01-02 | State Farm Mutual Automobile Insurance Company | Vehicular incident reenactment using three-dimensional (3D) representations |
US11270672B1 (en) * | 2020-11-02 | 2022-03-08 | Microsoft Technology Licensing, Llc | Display of virtual assistant in augmented reality |
-
2019
- 2019-07-19 CA CA3101001A patent/CA3101001A1/en active Pending
- 2019-07-19 US US16/973,419 patent/US20210216349A1/en active Pending
- 2019-07-19 AU AU2019308100A patent/AU2019308100A1/en active Pending
- 2019-07-19 EP EP19837712.9A patent/EP3824378A4/en active Pending
- 2019-07-19 WO PCT/NZ2019/050083 patent/WO2020017981A1/en active Application Filing
- 2019-07-19 CN CN201980048089.XA patent/CN112424736A/zh active Pending
- 2019-07-19 KR KR1020217003598A patent/KR20210024174A/ko active Search and Examination
- 2019-07-19 JP JP2021526189A patent/JP7381581B2/ja active Active
- 2019-07-19 SG SG11202011951PA patent/SG11202011951PA/en unknown
-
2023
- 2023-11-02 JP JP2023188535A patent/JP2024016167A/ja active Pending
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1165964A (ja) * | 1996-12-20 | 1999-03-09 | Sony Corp | 電子メールの送信方法及び送信装置、電子メールの受信方法及び受信装置、電子メールの送受信方法及び送受信装置、電子メールの送信プログラム供給媒体、受信プログラム供給媒体及び送受信プログラム供給媒体 |
US6570555B1 (en) * | 1998-12-30 | 2003-05-27 | Fuji Xerox Co., Ltd. | Method and apparatus for embodied conversational characters with multimodal input/output in an interface device |
JP2002041276A (ja) * | 2000-07-24 | 2002-02-08 | Sony Corp | 対話型操作支援システム及び対話型操作支援方法、並びに記憶媒体 |
US20090027337A1 (en) * | 2007-07-27 | 2009-01-29 | Gesturetek, Inc. | Enhanced camera-based input |
JP2010534895A (ja) * | 2007-07-27 | 2010-11-11 | ジェスチャー テック,インコーポレイテッド | 高度なカメラをベースとした入力 |
US20100169837A1 (en) * | 2008-12-29 | 2010-07-01 | Nortel Networks Limited | Providing Web Content in the Context of a Virtual Environment |
KR20110006465A (ko) * | 2009-07-14 | 2011-01-20 | 주식회사 프라이머스코즈 | 휴대폰과 연계되는 대형박물관용 가상현실 수족관장치 |
US20130051547A1 (en) * | 2011-08-29 | 2013-02-28 | Avaya Inc. | Agent and customer avatar presentation in a contact center virtual reality environment |
WO2014119098A1 (ja) * | 2013-02-01 | 2014-08-07 | ソニー株式会社 | 情報処理装置、端末装置、情報処理方法及びプログラム |
US20140222746A1 (en) * | 2013-02-01 | 2014-08-07 | Worcester Polytechnic Institute | Inquiry skills tutoring system |
KR20150057424A (ko) * | 2013-11-19 | 2015-05-28 | 한국전자통신연구원 | 증강현실 아바타 상호작용 방법 및 시스템 |
US20160300387A1 (en) * | 2015-04-09 | 2016-10-13 | Cinemoi North America, LLC | Systems and methods to provide interactive virtual environments |
KR20180028717A (ko) * | 2016-09-09 | 2018-03-19 | 동서대학교산학협력단 | 3d 디지털액터에 의한 지능형 사용자 인터페이스 제공방법 |
Also Published As
Publication number | Publication date |
---|---|
WO2020017981A1 (en) | 2020-01-23 |
CN112424736A (zh) | 2021-02-26 |
CA3101001A1 (en) | 2020-01-23 |
EP3824378A4 (en) | 2022-04-06 |
US20210216349A1 (en) | 2021-07-15 |
JP7381581B2 (ja) | 2023-11-15 |
AU2019308100A1 (en) | 2021-03-11 |
SG11202011951PA (en) | 2021-01-28 |
JP2024016167A (ja) | 2024-02-06 |
KR20210024174A (ko) | 2021-03-04 |
EP3824378A1 (en) | 2021-05-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7381581B2 (ja) | マシン相互作用 | |
US11593984B2 (en) | Using text for avatar animation | |
WO2022048403A1 (zh) | 基于虚拟角色的多模态交互方法、装置及系统、存储介质、终端 | |
US10521946B1 (en) | Processing speech to drive animations on avatars | |
US10732708B1 (en) | Disambiguation of virtual reality information using multi-modal data including speech | |
US20190369742A1 (en) | System and method for simulating an interactive immersive reality on an electronic device | |
Datcu et al. | On the usability and effectiveness of different interaction types in augmented reality | |
CN104520849A (zh) | 使用外在物理表达的搜索用户界面 | |
US11232645B1 (en) | Virtual spaces as a platform | |
US20200089388A1 (en) | Multimodal 3d object interaction system | |
Abtahi et al. | Beyond being real: A sensorimotor control perspective on interactions in virtual reality | |
KR20210028198A (ko) | 아바타 애니메이션 | |
Ismail et al. | Designing an augmented reality multimodal interface for 6DOF manipulation techniques: Multimodal fusion using gesture and speech input for AR | |
CN113867531A (zh) | 交互方法、装置、设备及计算机可读存储介质 | |
Hansberger et al. | A multimodal interface for virtual information environments | |
Liu et al. | Three-dimensional PC: toward novel forms of human-computer interaction | |
US8576223B1 (en) | Multiple label display for 3D objects | |
Santos et al. | Developing 3d freehand gesture-based interaction methods for virtual walkthroughs: Using an iterative approach | |
Sreekanth et al. | Multimodal interface for effective man machine interaction | |
Lacoche | Plasticity for user interfaces in mixed reality | |
Ma et al. | Building character animation for intelligent storytelling with the H-Anim standard | |
Cardoso et al. | Solutions focused on high-level assistive technology: perceptions and trends observed from a systematic literature mapping | |
Cafaro et al. | Nonverbal behavior in multimodal performances | |
US20240061496A1 (en) | Implementing contactless interactions with displayed digital content | |
Zahir | An Extensible Platform for Real-Time Feedback in Presentation Training |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210715 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220531 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230518 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230530 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230817 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230905 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230928 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231102 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7381581 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |