JP2018205616A - 対話システム、対話システムの制御方法、及び装置 - Google Patents
対話システム、対話システムの制御方法、及び装置 Download PDFInfo
- Publication number
- JP2018205616A JP2018205616A JP2017113177A JP2017113177A JP2018205616A JP 2018205616 A JP2018205616 A JP 2018205616A JP 2017113177 A JP2017113177 A JP 2017113177A JP 2017113177 A JP2017113177 A JP 2017113177A JP 2018205616 A JP2018205616 A JP 2018205616A
- Authority
- JP
- Japan
- Prior art keywords
- information
- user
- dialogue
- action
- imitation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 85
- 230000009471 action Effects 0.000 claims abstract description 126
- 230000004044 response Effects 0.000 claims abstract description 48
- 230000002452 interceptive effect Effects 0.000 claims abstract description 31
- 238000005259 measurement Methods 0.000 claims description 20
- 238000004458 analytical method Methods 0.000 claims description 6
- 230000002085 persistent effect Effects 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 119
- 238000012545 processing Methods 0.000 description 52
- 230000008569 process Effects 0.000 description 45
- 230000033001 locomotion Effects 0.000 description 43
- 238000010586 diagram Methods 0.000 description 27
- 230000003993 interaction Effects 0.000 description 27
- 230000003278 mimic effect Effects 0.000 description 12
- 210000005252 bulbus oculi Anatomy 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 230000035900 sweating Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 8
- 230000008035 nerve activity Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 230000008921 facial expression Effects 0.000 description 4
- 230000001939 inductive effect Effects 0.000 description 3
- 230000002889 sympathetic effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 210000000467 autonomic pathway Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 238000000491 multivariate analysis Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/027—Concept to speech synthesisers; Generation of natural phrases from machine-based concepts
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/065—Adaptation
- G10L15/07—Adaptation to the speaker
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Neurosurgery (AREA)
- Dermatology (AREA)
- Signal Processing (AREA)
- Neurology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Robotics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【解決手段】ユーザとの対話を行う対話インタフェースを提供する対話システムであって、対話システムは、計算機及びユーザの発話に関連する信号を計測する計測装置を備え、計算機は、計測装置が計測した信号に基づいて、ユーザの発話におけるユーザアクションの特徴を示す第1特徴量を算出し、第1特徴量に基づいて、対話インタフェースがユーザに対して行う応答アクションの制御値である第2特徴量を算出し、応答アクションの種別に応じて、応答アクションの制御のタイミングを調整する制御時間を算出し、第2特徴量及び制御時間に基づいて対話インタフェースを制御する。
【選択図】 図2
Description
101 模倣情報算出モジュール
102 言語情報算出モジュール
103 出力情報生成モジュール
104 学習モジュール
110 対話信号計測装置
120 言語信号計測装置
130 表示装置
140 対話出力装置
150 入力装置
154 遅延時間
301 演算装置
302 記憶装置
303 入力インタフェース
304 出力インタフェース
311 対話信号情報
312 模倣情報
313 遅延時間定義情報
314 言語信号情報
315 発話情報
316 出力情報
317 出力条件情報
318 出力履歴情報
1801 脳波活動計測装置
1802 心拍計測装置
1803 発汗量計測装置
1900 生体信号情報
Claims (15)
- ユーザとの対話を行う対話インタフェースを提供する対話システムであって、
前記対話システムは、演算装置、前記演算装置に接続される記憶装置、及び前記演算装置に接続されるインタフェースを有する計算機と、前記ユーザの発話に関連する信号を計測する計測装置と、を備え、
前記演算装置は、
前記計測装置が計測した信号に基づいて、前記ユーザの発話におけるユーザアクションの特徴を示す第1特徴量を算出し、
前記第1特徴量に基づいて、前記対話インタフェースが前記ユーザに対して行う応答アクションの制御値である第2特徴量を算出し、
前記応答アクションの種別に応じて、前記応答アクションの制御のタイミングを調整する制御時間を算出し、
前記第2特徴量及び前記制御時間に基づいて、前記対話インタフェースを制御することを特徴とする対話システム。 - 請求項1に記載の対話システムであって、
前記記憶装置は、前記応答アクションの種別毎に設定される前記制御時間を管理する制御時間定義情報を保持し、
前記演算装置は、前記制御時間定義情報に基づいて、前記応答アクションの制御時間を算出することを特徴とする対話システム。 - 請求項2に記載の対話システムであって、
前記制御時間定義情報は、前記応答アクションの種別及び設定可能な制御時間の範囲を示す設定範囲から構成されるエントリを含み、
前記演算装置は、前記応答アクションの種別に対応する前記設定範囲に基づいて、ランダムな制御時間を算出することを特徴とする対話システム。 - 請求項2に記載の対話システムであって、
前記記憶装置は、前記対話インタフェースが行った前記応答アクションの履歴を管理する履歴情報を保持し、
前記履歴情報は、前記応答アクションの有効性を示す指標を含み、
前記演算装置は、
前記履歴情報を参照して、前記指標及び前記制御時間の関係性を分析し、
前記分析の結果に基づいて、前記制御時間定義情報を更新することを特徴とする対話システム。 - 請求項2に記載の対話システムであって、
前記記憶装置は、前記応答アクションの実行条件を管理する条件情報を保持し、
前記演算装置は、前記第2特徴量、前記制御時間、及び前記条件情報に基づいて、前記対話インタフェースを制御することを特徴とする対話システム。 - 請求項1に記載の対話システムであって、
前記演算装置は、
前記計測装置が計測した信号に基づいて、前記応答アクションの有効性を示す指標を算出し、
前記第1特徴量及び前記指標に基づいて、前記制御時間を算出することを特徴とする対話システム。 - 請求項1に記載の対話システムであって、
前記応答アクションは、前記ユーザのアクションの模倣するアクションであり、
前記制御時間は、遅延時間であることを特徴とする対話システム。 - ユーザとの対話を行う対話インタフェースを提供する対話システムの制御方法であって、
前記対話システムは、演算装置、前記演算装置に接続される記憶装置、及び前記演算装置に接続されるインタフェースを有する計算機と、前記ユーザの発話に関連する信号を計測する計測装置と、を備え、
前記対話システムの制御方法は、
前記演算装置が、前記計測装置が計測した信号に基づいて、前記ユーザの発話におけるユーザアクションの特徴を示す第1特徴量を算出する第1のステップと、
前記演算装置が、前記第1特徴量に基づいて、前記対話インタフェースが前記ユーザに対して行う応答アクションの制御値である第2特徴量を算出する第2のステップと、
前記演算装置が、前記応答アクションの種別に応じて、前記応答アクションの制御のタイミングを調整する制御時間を算出する第3のステップと、
前記演算装置が、前記第2特徴量及び前記制御時間に基づいて、前記対話インタフェースを制御する第4のステップと、を含むことを特徴とする対話システムの制御方法。 - 請求項8に記載の対話システムの制御方法であって、
前記記憶装置は、前記応答アクションの種別毎に設定される前記制御時間を管理する制御時間定義情報を保持し、
前記第3のステップは、前記演算装置が、前記制御時間定義情報に基づいて、前記応答アクションの制御時間を算出するステップを含むことを特徴とする対話システムの制御方法。 - 請求項9に記載の対話システムの制御方法であって、
前記制御時間定義情報は、前記応答アクションの種別及び設定可能な制御時間の範囲を示す設定範囲から構成されるエントリを含み、
前記第3のステップは、前記演算装置が、前記応答アクションの種別に対応する前記設定範囲に基づいて、ランダムな制御時間を算出するステップを含むことを特徴とする対話システムの制御方法。 - 請求項9に記載の対話システムの制御方法であって、
前記記憶装置は、前記対話インタフェースが行った前記応答アクションの履歴を管理する履歴情報を保持し、
前記履歴情報は、前記応答アクションの有効性を示す指標を含み、
前記対話システムの制御方法は、
前記演算装置が、前記履歴情報を参照して、前記指標及び前記制御時間の関係性を分析するステップと、
前記演算装置が、前記分析の結果に基づいて、前記制御時間定義情報を更新するステップと、を含むことを特徴とする対話システムの制御方法。 - 請求項9に記載の対話システムの制御方法であって、
前記記憶装置は、前記応答アクションの実行条件を管理する条件情報を保持し、
前記第4のステップは、前記演算装置が、前記第2特徴量、前記制御時間、及び前記条件情報に基づいて、前記対話インタフェースを制御するステップを含むことを特徴とする対話システムの制御方法。 - 請求項8に記載の対話システムの制御方法であって、
前記演算装置が、前記計測装置が計測した信号に基づいて、前記応答アクションの有効性を示す指標を算出するステップを含み、
前記第3のステップは、前記演算装置が、前記第1特徴量及び前記指標に基づいて、前記制御時間を算出するステップを含むことを特徴とする対話システムの制御方法。 - 請求項8に記載の対話システムの制御方法であって、
前記応答アクションは、前記ユーザのアクションの模倣するアクションであり、
前記制御時間は、遅延時間であることを特徴とする対話システムの制御方法。 - ユーザとの対話を行う対話インタフェースを提供する装置であって、
前記装置は、演算装置、前記演算装置に接続される記憶装置、前記演算装置に接続されるインタフェース、及び前記ユーザの発話に関連する信号を計測する計測器を備え、
前記記憶装置は、前記対話インタフェースによって前記ユーザに対して行われる、前記ユーザのアクションを模倣する応答アクションの種別毎に、前記応答アクションの制御タイミングを調整する遅延時間を管理する遅延時間定義情報を保持し、
前記演算装置は、
前記計測器によって計測された信号に基づいて、前記ユーザの発話におけるユーザアクションの特徴を示す第1特徴量を算出し、
前記第1特徴量に基づいて、前記対話インタフェースが前記ユーザに対して行う応答アクションの制御値である第2特徴量を算出し、
前記遅延時間定義情報に基づいて、前記応答アクションの種別に応じた前記遅延時間を算出し、
前記第2特徴量及び前記遅延時間に基づいて、前記対話インタフェースを制御することを特徴とする装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017113177A JP6768597B2 (ja) | 2017-06-08 | 2017-06-08 | 対話システム、対話システムの制御方法、及び装置 |
US15/903,640 US10832119B2 (en) | 2017-06-08 | 2018-02-23 | Interactive agent for imitating and reacting to a user based on user inputs |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017113177A JP6768597B2 (ja) | 2017-06-08 | 2017-06-08 | 対話システム、対話システムの制御方法、及び装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018205616A true JP2018205616A (ja) | 2018-12-27 |
JP6768597B2 JP6768597B2 (ja) | 2020-10-14 |
Family
ID=64564130
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017113177A Active JP6768597B2 (ja) | 2017-06-08 | 2017-06-08 | 対話システム、対話システムの制御方法、及び装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10832119B2 (ja) |
JP (1) | JP6768597B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6993314B2 (ja) * | 2018-11-09 | 2022-01-13 | 株式会社日立製作所 | 対話システム、装置、及びプログラム |
CN110347248B (zh) * | 2019-06-24 | 2023-01-24 | 歌尔科技有限公司 | 交互处理方法、装置、设备及音频设备 |
CN110716634A (zh) * | 2019-08-28 | 2020-01-21 | 北京市商汤科技开发有限公司 | 交互方法、装置、设备以及显示设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001325052A (ja) * | 2000-05-17 | 2001-11-22 | Sharp Corp | エージェント表示装置、エージェント表示方法およびエージェント表示プログラムを記録した記録媒体 |
US20020008716A1 (en) * | 2000-07-21 | 2002-01-24 | Colburn Robert A. | System and method for controlling expression characteristics of a virtual agent |
US7136818B1 (en) * | 2002-05-16 | 2006-11-14 | At&T Corp. | System and method of providing conversational visual prosody for talking heads |
JP2011033837A (ja) * | 2009-07-31 | 2011-02-17 | Nec Corp | 対話支援装置、対話支援方法およびプログラム |
US20110131041A1 (en) * | 2009-11-27 | 2011-06-02 | Samsung Electronica Da Amazonia Ltda. | Systems And Methods For Synthesis Of Motion For Animation Of Virtual Heads/Characters Via Voice Processing In Portable Devices |
JP2013154458A (ja) * | 2012-01-31 | 2013-08-15 | Fujitsu Ltd | 対話装置、対話プログラムおよび対話方法 |
WO2017085992A1 (ja) * | 2015-11-17 | 2017-05-26 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5029214A (en) * | 1986-08-11 | 1991-07-02 | Hollander James F | Electronic speech control apparatus and methods |
US6731307B1 (en) * | 2000-10-30 | 2004-05-04 | Koninklije Philips Electronics N.V. | User interface/entertainment device that simulates personal interaction and responds to user's mental state and/or personality |
US6728679B1 (en) * | 2000-10-30 | 2004-04-27 | Koninklijke Philips Electronics N.V. | Self-updating user interface/entertainment device that simulates personal interaction |
CN1991982A (zh) * | 2005-12-29 | 2007-07-04 | 摩托罗拉公司 | 一种使用语音数据激励图像的方法 |
US8165282B1 (en) * | 2006-05-25 | 2012-04-24 | Avaya Inc. | Exploiting facial characteristics for improved agent selection |
US7814041B2 (en) * | 2007-03-20 | 2010-10-12 | Caporale John L | System and method for control and training of avatars in an interactive environment |
CN101669090A (zh) * | 2007-04-26 | 2010-03-10 | 福特全球技术公司 | 情绪提示系统和方法 |
KR101475459B1 (ko) * | 2008-01-09 | 2014-12-23 | 삼성디스플레이 주식회사 | 타이밍 컨트롤러, 이를 이용한 데이터 처리방법 및 이를갖는 표시장치 |
JP2012181697A (ja) | 2011-03-01 | 2012-09-20 | Nec Corp | 対話システム、対話制御方法およびプログラム |
US20150314454A1 (en) * | 2013-03-15 | 2015-11-05 | JIBO, Inc. | Apparatus and methods for providing a persistent companion device |
JP6270661B2 (ja) | 2014-08-08 | 2018-01-31 | 国立大学法人京都大学 | 音声対話方法、及び音声対話システム |
US9792825B1 (en) * | 2016-05-27 | 2017-10-17 | The Affinity Project, Inc. | Triggering a session with a virtual companion |
-
2017
- 2017-06-08 JP JP2017113177A patent/JP6768597B2/ja active Active
-
2018
- 2018-02-23 US US15/903,640 patent/US10832119B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001325052A (ja) * | 2000-05-17 | 2001-11-22 | Sharp Corp | エージェント表示装置、エージェント表示方法およびエージェント表示プログラムを記録した記録媒体 |
US20020008716A1 (en) * | 2000-07-21 | 2002-01-24 | Colburn Robert A. | System and method for controlling expression characteristics of a virtual agent |
US7136818B1 (en) * | 2002-05-16 | 2006-11-14 | At&T Corp. | System and method of providing conversational visual prosody for talking heads |
JP2011033837A (ja) * | 2009-07-31 | 2011-02-17 | Nec Corp | 対話支援装置、対話支援方法およびプログラム |
US20110131041A1 (en) * | 2009-11-27 | 2011-06-02 | Samsung Electronica Da Amazonia Ltda. | Systems And Methods For Synthesis Of Motion For Animation Of Virtual Heads/Characters Via Voice Processing In Portable Devices |
JP2013154458A (ja) * | 2012-01-31 | 2013-08-15 | Fujitsu Ltd | 対話装置、対話プログラムおよび対話方法 |
WO2017085992A1 (ja) * | 2015-11-17 | 2017-05-26 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6768597B2 (ja) | 2020-10-14 |
US10832119B2 (en) | 2020-11-10 |
US20180357526A1 (en) | 2018-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12014464B2 (en) | Contextual awareness of user interface menus | |
US10660570B2 (en) | Attention, comprehension, and drowsiness monitoring via head mounted device supporting augmented and mixed reality experiences | |
US20180189568A1 (en) | Automatic control of wearable display device based on external conditions | |
JP7143839B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US20200090392A1 (en) | Method of Facial Expression Generation with Data Fusion | |
JP2023096152A (ja) | 眼追跡カメラからの顔の表情 | |
Lin et al. | Direct-sense brain–computer interfaces and wearable computers | |
JP2017526078A (ja) | 実在および仮想のオブジェクトと対話するための生体力学ベースの眼球信号のためのシステムおよび方法 | |
JP6768597B2 (ja) | 対話システム、対話システムの制御方法、及び装置 | |
JP6993291B2 (ja) | 計算機及び感情推定方法 | |
CN110837294A (zh) | 一种基于眼球追踪的面部表情控制方法及系统 | |
JP2021135995A (ja) | アバター表情生成システム及びアバター表情生成方法 | |
Orhan | RSVP Keyboard™: An EEG Based BCI Typing System with Context Information Fusion | |
US11403289B2 (en) | Systems and methods to facilitate bi-directional artificial intelligence communications | |
JP6993314B2 (ja) | 対話システム、装置、及びプログラム | |
JP7204984B1 (ja) | プログラム、方法、情報処理装置 | |
JP5927797B2 (ja) | ロボット制御装置、ロボットシステム、ロボット装置の行動制御方法、及びプログラム | |
JP4440661B2 (ja) | 脳波制御装置及びそのプログラム | |
KR102675120B1 (ko) | 영상 제공 및 뇌파 측정 장치 및 그 동작 방법 | |
US12019808B2 (en) | Inertial sensing of tongue gestures | |
JP7194371B1 (ja) | プログラム、方法、情報処理装置 | |
Wang et al. | Design and verification of children-oriented educational application based on eye movement interactive technology | |
Wijayarathna et al. | Toward Stress Detection During Gameplay: A Survey | |
da Silva et al. | Computer-Human Interaction Research and Applications: 7th International Conference, CHIRA 2023, Rome, Italy, November 16–17, 2023, Proceedings, Part I | |
KR20230132663A (ko) | 운동관련뇌전위 및 가상현실 시뮬레이션을 이용한 뇌졸중 재활치료 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200721 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200722 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200831 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200915 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200923 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6768597 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |