JP2013539569A - 自然な対話インターフェースを備えたヒューマノイドロボット、同ロボットを制御する方法、および対応プログラム - Google Patents
自然な対話インターフェースを備えたヒューマノイドロボット、同ロボットを制御する方法、および対応プログラム Download PDFInfo
- Publication number
- JP2013539569A JP2013539569A JP2013520054A JP2013520054A JP2013539569A JP 2013539569 A JP2013539569 A JP 2013539569A JP 2013520054 A JP2013520054 A JP 2013520054A JP 2013520054 A JP2013520054 A JP 2013520054A JP 2013539569 A JP2013539569 A JP 2013539569A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- channel
- message
- user
- box
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 66
- 238000004891 communication Methods 0.000 claims abstract description 128
- 230000009471 action Effects 0.000 claims description 152
- 230000005540 biological transmission Effects 0.000 claims description 45
- 238000004590 computer program Methods 0.000 claims description 28
- 238000012790 confirmation Methods 0.000 claims description 18
- 230000014509 gene expression Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 10
- 230000006870 function Effects 0.000 abstract description 163
- 230000003993 interaction Effects 0.000 abstract description 119
- 230000033001 locomotion Effects 0.000 abstract description 77
- 238000012545 processing Methods 0.000 abstract description 17
- 230000000007 visual effect Effects 0.000 abstract description 17
- 230000006872 improvement Effects 0.000 abstract description 5
- 230000006399 behavior Effects 0.000 description 75
- 210000003128 head Anatomy 0.000 description 48
- 230000015572 biosynthetic process Effects 0.000 description 24
- 230000004044 response Effects 0.000 description 22
- 238000013515 script Methods 0.000 description 22
- 238000003786 synthesis reaction Methods 0.000 description 22
- 241000282412 Homo Species 0.000 description 18
- 230000008859 change Effects 0.000 description 18
- 238000003860 storage Methods 0.000 description 18
- 238000003745 diagnosis Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 16
- 238000012360 testing method Methods 0.000 description 16
- 230000008901 benefit Effects 0.000 description 12
- 210000003414 extremity Anatomy 0.000 description 12
- 230000002123 temporal effect Effects 0.000 description 12
- 241001465754 Metazoa Species 0.000 description 10
- 230000004397 blinking Effects 0.000 description 10
- 239000003795 chemical substances by application Substances 0.000 description 10
- 238000011161 development Methods 0.000 description 9
- 241000251730 Chondrichthyes Species 0.000 description 8
- 241000283073 Equus caballus Species 0.000 description 8
- 241000283966 Pholidota <mammal> Species 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 8
- 230000008921 facial expression Effects 0.000 description 8
- 238000007667 floating Methods 0.000 description 8
- 230000015654 memory Effects 0.000 description 8
- 238000003825 pressing Methods 0.000 description 8
- 230000001960 triggered effect Effects 0.000 description 8
- 238000012937 correction Methods 0.000 description 6
- 210000005069 ears Anatomy 0.000 description 6
- 230000008451 emotion Effects 0.000 description 6
- 210000004247 hand Anatomy 0.000 description 6
- 238000012795 verification Methods 0.000 description 6
- 241000239292 Theraphosidae Species 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000003542 behavioural effect Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 230000007812 deficiency Effects 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 229920005560 fluorosilicone rubber Polymers 0.000 description 4
- 210000000245 forearm Anatomy 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000010079 rubber tapping Methods 0.000 description 4
- 230000006403 short-term memory Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000000638 stimulation Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000002354 daily effect Effects 0.000 description 3
- 241001125840 Coryphaenidae Species 0.000 description 2
- 101100412093 Schizosaccharomyces pombe (strain 972 / ATCC 24843) rec16 gene Proteins 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 210000000617 arm Anatomy 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000002310 elbow joint Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000010195 expression analysis Methods 0.000 description 2
- 230000000193 eyeblink Effects 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 230000002650 habitual effect Effects 0.000 description 2
- 208000016354 hearing loss disease Diseases 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000000116 mitigating effect Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 230000004043 responsiveness Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 210000000323 shoulder joint Anatomy 0.000 description 2
- 239000000344 soap Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 210000005010 torso Anatomy 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 210000003857 wrist joint Anatomy 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B15/00—Systems controlled by a computer
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/003—Controls for manipulators by means of an audio-responsive input
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Robotics (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
−フレーム420の「タイムライン」または時間軸、
−「図表」またはフローチャート470、
−スクリプト490。
−それぞれが1つまたは複数の行動キーフレーム(Behavior Key Frame)または「主行動フレーム(main behavior Frames)」450を含む1つまたは複数の行動レイヤ(Behavior Layer)430であって、上記行動キーフレーム自体が、行動レイヤまたはタイムラインを通過することなく、実際はより高いレベルのボックスにも直接取り付けられることができるボックスの組である1つまたは複数のチャートまたは「フローチャート」470を含むことができる、行動レイヤ430、
−それぞれが、1つまたは複数の運動画面480を含むことができる1つまたは複数の運動キーフレームまたは「主運動フレーム」460を含む、1つまたは複数の運動レイヤ440。
−ロボットの頭の3つの触覚センサを同時に叩くことにより即座にアプリケーションを中止する。
−音声認識を使用することによりロボットに尋問する。
−ロボットの触覚センサのうちの1つを叩くことによりアプリケーションの次の工程に移動する。
−前方センサを叩くことで、桁のリストにおいて1段階下ることができるようにし、
−後方センサを叩くことで、桁のリストを上ることができるようにし、
−前方または後方センサを押したままにすることで、桁のリスト内のスクロールを加速できるようにし、
−選択は中央センサに触れることにより行われるだろう。
−r:選択のリストの中からユーザにより告げられた単語のロボットによる認識の確率の比、
−f:認識失敗の総数、
−t:タイムアウト(または、所定の時間後の対話者による選択が無い)の数、
−S1:認識確率比の閾値1、
−S2:認識確率比の閾値2、
−tmax:可能なタイムアウトの最大数、
−fmax:可能な失敗の最大数。
−第1番目の失敗(f=1)では、ロボットは「分かりませんでした」とその対話者に示し、選択のリストの繰り返しからなる機能「activateHelpWhenFailure」の1つを起動する。
−第2番目の失敗(f=2)では、ロボットはまた「分かりませんでした」と示し、対話者に選択のリストを提供することと、対話者にその触覚センサを使用するように依頼し、それをどのように使用するかを示すことからなる機能「activateHelpWhenFailure」の別のものを起動する。
−それを超える(3≦f<fmax)失敗では、ロボットは、効果的な会話の条件が満たされていないということを対話者に示す語句、例えば、通常は前記対話者を促して会話を終了させることになる「雑音が多すぎる」などを告げることができる。
−第1回目の失敗(f=1)では、ロボットは、選択のリストの繰り返しからなる機能「activateHelpWhenFailure」の1つを起動することができる。
−第2回目の失敗(f=2)では、その対話者に選択のリストを提供することと、その対話者にその触覚センサを使用するように依頼し、それをどのように使用するかを示すことからなる機能「activateHelpWhenFailure」の別のものを起動する。
−第3回目からfmaxまでの失敗では、対話者は認識の確率比が改善するまで選択を繰り返さなければならない。
−図7aでは、
−710aはロボットまたはその対話者の行為/スピーチを示す。
−720aは触覚センサを示す。
−740aは認識ビープ音を示す。
−750aは回転するアニメ化された位置のロボットの顔のLEDを示す。
−751aはロボットの固定位置の顔のLEDを示す。
−760aはロボットの顔のLEDの点滅を示す(受信されたメッセージのロボットによる理解の関数として様々な色であってよい)。
−770aはタイムアウト機能を示す。
−780aは選択ボックスの出力を示す。
−790aは機能「触覚センサメニューに行く」(図7b)を示す。
−7A0は機能「選択のソートに行く」(図7c)を示す。
−7B0は機能「音声認識メニューに行く」を示す。
−R1、R2、R3は、ロボットが曖昧さ無しに理解した場合、ロボットが理解するがいくつかの疑問を抱く場合、ロボットが全く理解しない場合をそれぞれ示す。
−図7cでは、710cは機能「前ページのメニューに戻る」を示す。
−ロボットの顔のLEDs 750aの利用、随意的には一問一答を強調するためにLED点滅の利用。LEDは、ロボットがスピーチを検出し解析中であることを示すために固定位置751aにある。
−認識の準備ができている時を示すためにロボットにより発せられる可聴「ビープ音」の利用。実際、処理能力と電源の制限のために、そしてまた認識時のうるささを回避するために、後者は音声合成と同時には活性化されない。したがってロボットにより対話者に投げかけられた質問は後者によりあまりにも早く答えられる必要はない。「ビープ音」は、答え始めるためにピー音を発する。
−このやりとりと以前のやりとりの間にこのロボットの履歴ログとユーザのその経験とに応じていくつかの水準のヘルプを利用する可能性。
−プログラミングを容易にするためにいくつかのメニューをナビゲートする可能性。
1.「バン音(bang)」:信号が送られる。
2.数字:入力は整数または浮動小数点の数を取り出す。
3.文字列:入力は文字列を取り出す。
4.動的。
−返答を記録する/このメールに返答する/そのメールに返答する/返答する。
−再度読む/このメールを再読する/そのメールを再読する/再読する。
−次/次を読む/次のメールを読む。
−前の/前のメールを読む/前のメッセージを読む。
−未読としてマーキングする/保管する/後で再読する。
−削除する/メールを削除する/メッセージを削除する。
−メールを書く/メールを送る/送る。
−連絡先に加える。
−出る/やめる/飛ばす/停止/止める/キャンセルする/静かにする。「出る」は選択ボックスのデフォルト選択の1つであり、ここではメールアプリケーションから出られるようにする。
−それを再生する/メッセージを再生する/私のメッセージを再生する:NAOはメッセージを再読する。
−メッセージを再記録する/私のメッセージを再記録する/それを再記録する。メッセージは、最初のものが適切でなければ再記録することができる。
−それを送信しない/送信しない/メッセージを送信しない。NAOはメッセージを送らず、アプリケーションの前のレベルに戻ることになる。
−それを送る/メッセージを送る/私のメッセージを送る。NAOはメッセージを送る。
−タイムアウトの場合、メッセージが送られる。
−「出る」要求または繰り返しに伴う失敗などのタイムアウトでないボックスから「他の」出る場合、アプリケーションは前のレベルに戻る。
−フレーム420の「タイムライン」または時間軸、
−「図表」またはフローチャート470、
−スクリプト490。
−それぞれが1つまたは複数の行動キーフレーム(Behavior Key Frame)または「主行動フレーム(main behavior Frames)」450を含む1つまたは複数の行動レイヤ(Behavior Layer)430であって、上記行動キーフレーム自体が、行動レイヤまたはタイムラインを通過することなく、実際はより高いレベルのボックスにも直接取り付けられることができるボックスの組である1つまたは複数のチャートまたは「フローチャート」470を含むことができる、行動レイヤ430、
−それぞれが、1つまたは複数の運動画面480を含むことができる1つまたは複数の運動キーフレームまたは「主運動フレーム」460を含む、1つまたは複数の運動レイヤ440。
−ロボットの頭の3つの触覚センサを同時に叩くことにより即座にアプリケーションを中止する。
−音声認識を使用することによりロボットに尋問する。
−ロボットの触覚センサのうちの1つを叩くことによりアプリケーションの次の工程に移動する。
−前方センサを叩くことで、桁のリストにおいて1段階下ることができるようにし、
−後方センサを叩くことで、桁のリストを上ることができるようにし、
−前方または後方センサを押したままにすることで、桁のリスト内のスクロールを加速できるようにし、
−選択は中央センサに触れることにより行われるだろう。
−r:選択のリストの中からユーザにより告げられた単語のロボットによる認識の確率の比、
−f:認識失敗の総数、
−t:タイムアウト(または、所定の時間後の対話者による選択が無い)の数、
−S1:認識確率比の閾値1、
−S2:認識確率比の閾値2、
−tmax:可能なタイムアウトの最大数、
−fmax:可能な失敗の最大数。
−第1番目の失敗(f=1)では、ロボットは「分かりませんでした」とその対話者に示し、選択のリストの繰り返しからなる機能「activateHelpWhenFailure」の1つを起動する。
−第2番目の失敗(f=2)では、ロボットはまた「分かりませんでした」と示し、対話者に選択のリストを提供することと、対話者にその触覚センサを使用するように依頼し、それをどのように使用するかを示すことからなる機能「activateHelpWhenFailure」の別のものを起動する。
−それを超える(3≦f<fmax)失敗では、ロボットは、効果的な会話の条件が満たされていないということを対話者に示す語句、例えば、通常は前記対話者を促して会話を終了させることになる「雑音が多すぎる」などを告げることができる。
−第1回目の失敗(f=1)では、ロボットは、選択のリストの繰り返しからなる機能「activateHelpWhenFailure」の1つを起動することができる。
−第2回目の失敗(f=2)では、その対話者に選択のリストを提供することと、その対話者にその触覚センサを使用するように依頼し、それをどのように使用するかを示すことからなる機能「activateHelpWhenFailure」の別のものを起動する。
−第3回目からfmaxまでの失敗では、対話者は認識の確率比が改善するまで選択を繰り返さなければならない。
−図7aでは、
−710aはロボットまたはその対話者の行為/スピーチを示す。
−720aは触覚センサを示す。
−740aは認識ビープ音を示す。
−750aは回転するアニメ化された位置のロボットの顔のLEDを示す。
−751aはロボットの固定位置の顔のLEDを示す。
−760aはロボットの顔のLEDの点滅を示す(受信されたメッセージのロボットによる理解の関数として様々な色であってよい)。
−770aはタイムアウト機能を示す。
−780aは選択ボックスの出力を示す。
−790aは機能「触覚センサメニューに行く」(図7b)を示す。
−7A0は機能「選択のソートに行く」(図7c)を示す。
−7B0は機能「音声認識メニューに行く」を示す。
−R1、R2、R3は、ロボットが曖昧さ無しに理解した場合、ロボットが理解するがいくつかの疑問を抱く場合、ロボットが全く理解しない場合をそれぞれ示す。
−図7cでは、710cは機能「前ページのメニューに戻る」を示す。
−ロボットの顔のLEDs 750aの利用、随意的には一問一答を強調するためにLED点滅の利用。LEDは、ロボットがスピーチを検出し解析中であることを示すために固定位置751aにある。
−認識の準備ができている時を示すためにロボットにより発せられる可聴「ビープ音」の利用。実際、処理能力と電源の制限のために、そしてまた認識時のうるささを回避するために、後者は音声合成と同時には活性化されない。したがってロボットにより対話者に投げかけられた質問は後者によりあまりにも早く答えられる必要はない。「ビープ音」は、答え始めるためにピー音を発する。
−このやりとりと以前のやりとりの間にこのロボットの履歴ログとユーザのその経験とに応じていくつかの水準のヘルプを利用する可能性。
−プログラミングを容易にするためにいくつかのメニューをナビゲートする可能性。
1.「バン音(bang)」:信号が送られる。
2.数字:入力は整数または浮動小数点の数を取り出す。
3.文字列:入力は文字列を取り出す。
4.動的。
−返答を記録する/このメールに返答する/そのメールに返答する/返答する。
−再度読む/このメールを再読する/そのメールを再読する/再読する。
−次/次を読む/次のメールを読む。
−前の/前のメールを読む/前のメッセージを読む。
−未読としてマーキングする/保管する/後で再読する。
−削除する/メールを削除する/メッセージを削除する。
−メールを書く/メールを送る/送る。
−連絡先に加える。
−出る/やめる/飛ばす/停止/止める/キャンセルする/静かにする。「出る」は選択ボックスのデフォルト選択の1つであり、ここではメールアプリケーションから出られるようにする。
−それを再生する/メッセージを再生する/私のメッセージを再生する:NAOはメッセージを再読する。
−メッセージを再記録する/私のメッセージを再記録する/それを再記録する。メッセージは、最初のものが適切でなければ再記録することができる。
−それを送信しない/送信しない/メッセージを送信しない。NAOはメッセージを送らず、アプリケーションの前のレベルに戻ることになる。
−それを送る/メッセージを送る/私のメッセージを送る。NAOはメッセージを送る。
−タイムアウトの場合、メッセージが送られる。
−「出る」要求または繰り返しに伴う失敗などのタイムアウトでないボックスから「他の」出る場合、アプリケーションは前のレベルに戻る。
Claims (27)
- 異なる様式に応じた少なくとも1人の対話者(541,542)とのメッセージの自然なコミュニケーションのための少なくとも2つのチャネル(521,522,523,531,532,533)であってそれぞれが受信と送信の群から選択される2つのチャネルと、前記チャネルの入力/出力のための制御モジュール(510)と、を含むヒューマノイドロボットであって、
前記制御モジュールは、第1のチャネルと第2のチャネル上で受信/送信されたメッセージの組み合わせの群から選択された少なくとも1つの機能を実行し、チャネル上で受信された第1のメッセージに基づき生成された第2のメッセージを送信することにより、前記ロボットにより受信されたメッセージの理解を向上させることができる、ことを特徴とするヒューマノイドロボット。 - 前記通信チャネルは、可聴、可視、触知可能、身振りの、位置的、または符号メッセージを送信および/または受信する通信チャネル群から選択される、ことを特徴とする請求項1に記載のヒューマノイドロボット。
- 第1の通信チャネルは音声送信チャネルであり、第2の通信チャネルは前記少なくとも1人の対話者による前記ロボットの少なくとも一部の身振りおよび/または位置を受信するためのチャネルであり、
前記身振りおよび/または位置は前記対話者により前記ロボットに伝えられる入力を表し、
前記入力の仕様は、前記第1のチャネル上で送信された前記メッセージにより、前記ロボットにより前記対話者に対し規定される、ことを特徴とする請求項2に記載のヒューマノイドロボット。 - 前記対話者が前記第2のチャネルに対し行われた前記入力を検証する第3の触知通信チャネルをさらに含む、ことを特徴とする請求項3に記載のヒューマノイドロボット。
- 第1の通信チャネルは音声メッセージを受信するためのチャネルであり、第2の通信チャネルは音声メッセージを送信するためのチャネルであり、
前記制御モジュールは、前記第1のチャネル上で受信された第1のメッセージの前記ロボットによる理解の信頼水準を評価し、前記第2のチャネル上にその内容が前記信頼水準に依存する少なくとも1つの第2のメッセージを生成することができる、ことを特徴とする請求項2に記載のヒューマノイドロボット。 - 前記第1のチャネルは、それぞれが期待認識率と関連付けられた表現のリストにより、受信されたメッセージを音声認識するためのフィルタを含み、
前記第2のメッセージの前記内容は、前記第1のチャネル上の前記第1のメッセージの繰り返しの要求と、前記フィルタの前記表現のサブセットの前記第1のチャネル上で前記対話者により送信される第3のメッセージによる確認の要求と、少なくとも1つの第3のチャネル上の少なくとも1つの他のメッセージの前記対話者による送信の要求と、からなる群から発見的方法により選択される、ことを特徴とする請求項5に記載のヒューマノイドロボット。 - 前記ロボットは、前記第1と第2のチャネル上のメッセージの半二重モードでの順番を保証するように、前記第1のチャネル上での聴取開始信号を前記第2のチャネル上で送信することができる、ことを特徴とする請求項6に記載のヒューマノイドロボット。
- 前記選択発見的方法は前記期待認識率に基づき決定される閾値に関する実認識率の位置の関数である、ことを特徴とする請求項6に記載のヒューマノイドロボット。
- 前記第3のチャネルは触覚的受信のためのまたは前記ロボットの一部の身振りを受信するためのチャネルである、ことを特徴とする請求項6に記載のヒューマノイドロボット。
- 電子メッセージとインターフェースするためのモジュールであって、前記第1と第2のチャネルを使用することにより、前記メッセージ上のアカウントのホルダが前記ロボットを、前記第2のチャネル上で前記電子メッセージを受信し/読み、前記第1のチャネル上で前記電子メッセージを書き/転送し、対話により前記アカウントを管理するためのエージェントとして使用できるようにする、モジュールをさらに含む、ことを特徴とする請求項5乃至9のいずれか一項に記載のヒューマノイドロボット。
- 前記第3のチャネルは前記第1のチャネルの前記フィルタの表現の前記リストに対応する対象物の像の可視受信のためのチャネルであり、
前記像は、前記表現と共に以前に記録された前記対象物の像のデータベースであって前記通信チャネルの入力/出力のための前記制御モジュールによりアクセス可能なデータベースと比較される、ことを特徴とする請求項6に記載のヒューマノイドロボット。 - 第1の通信チャネルは可視メッセージを受信するためのチャネルであり、第2の通信チャネルは音声メッセージを送信するためのチャネルであり、
前記制御モジュールは、前記第1のチャネル上で受信された第1のメッセージの前記ロボットによる理解の信頼水準を評価し、前記第2のチャネル上にその内容が前記信頼水準に依存する少なくとも1つの第2のメッセージを生成することができる、ことを特徴とする請求項2に記載のヒューマノイドロボット。 - 前記第1のチャネルは、それぞれが期待認識率と関連付けられた表現のリストにより、受信された前記メッセージの像を認識するためのフィルタを含み、
前記第2のメッセージの前記内容は、前記第1のチャネル上の前記第1のメッセージの繰り返しの要求と、前記フィルタの前記表現のサブセットの音声メッセージを受信するための第3のチャネル上で前記対話者により送信される第3のメッセージによる確認の要求と、少なくとも1つの第4のチャネル上の少なくとも1つの他のメッセージの前記対話者による送信の要求と、からなる群から発見的方法により選択される、ことを特徴とする請求項12に記載のヒューマノイドロボット。 - 前記チャネルの少なくとも1つは前記入力と出力のための前記制御モジュールによりマージされた2つのチャネルの出力を入力として受信するハイブリッドチャネルである、ことを特徴とする請求項1乃至13のいずれか一項に記載のヒューマノイドロボット。
- 異なる様式を使用する通信チャネルによるメッセージ送信の少なくとも2つの工程であってそれぞれが受信と送信群から選択される2つの工程と、前記チャネルの入力/出力を制御する工程と、を含む、少なくとも1人の対話者とヒューマノイドロボットとの通信の制御方法であって、
前記制御工程は、第1のチャネルと第2のチャネル上で受信/送信されたメッセージの組み合わせの群から選択された少なくとも1つの機能を実行し、チャネル上で受信された第1のメッセージに基づき生成された第2のメッセージを送信することにより、前記ロボットにより受信された前記メッセージの理解を向上させることができる、ことを特徴とする方法。 - コンピュータプログラムがコンピュータ上で実行されると請求項15に記載の方法の実行を可能にするプログラムコード命令を含むコンピュータプログラムであって、前記コンピュータプログラムは、
異なる様式に応じて少なくとも1人の対話者とのメッセージを伝達するための少なくとも2つのチャネルであってそれぞれが受信と送信の群から選択される2つのチャネルと、前記チャネルの入力/出力の制御のためのサブルーチンと、を含むヒューマノイドロボットを可能にするようにされており、
前記制御サブルーチンが、第1のチャネルと第2のチャネル上で受信/送信されたメッセージの組み合わせの群から選択された少なくとも1つの機能を実行し、チャネル上で受信された第1のメッセージに基づき生成された第2のメッセージを送信することにより、前記ロボットにより受信されたメッセージの理解を向上させることができる、ことを特徴とするコンピュータプログラム。 - 少なくとも1つのヒューマノイドロボットと少なくとも1人の対話者との間の通信インターフェースを編集および制御する方法であって、前記少なくとも1つのヒューマノイドロボットは、
異なる様式に応じた前記少なくとも1人の対話者とのメッセージの自然なコミュニケーションのための少なくとも2つのチャネルであってそれぞれが受信と送信の群から選択される2つのチャネルと、
前記チャネルの入力/出力のための制御モジュールと、を含み、
前記制御モジュールは、第1のチャネルと第2のチャネル上で受信/送信されたメッセージの組み合わせの群から選択された少なくとも1つの機能を実行し、チャネル上で受信された第1のメッセージに基づき生成された第2のメッセージを送信することにより、前記ロボットにより受信されたメッセージの理解を向上させることができ、
前記方法は前記選択された機能をプログラムする工程を含む、ことを特徴とする方法。 - 前記選択された機能をプログラムする前記工程は、音声送信チャネルを装った第1の通信チャネルと、前記少なくとも1人の対話者により前記ロボットの一肢上に加えられた少なくとも1つの身振りを受信するためのチャネルを装った第2の通信チャネルと、を規定する少なくとも1つの下位工程と、
前記対話者により前記ロボットに伝えられた前記少なくとも1つの身振りと入力との対応を規定する下位工程と、
前記第1のチャネル上で前記ロボットにより前記対話者に送信される少なくとも1つのメッセージを生成することにより前記入力の仕様を規定する下位工程と、を含む、ことを特徴とする請求項17に記載の編集および制御する方法。 - 前記対話者が前記第2のチャネルに対し行われた前記入力を検証する第3の触知通信チャネルを定義する下位工程をさらに含む、ことを特徴とする請求項18に記載の編集および制御する方法。
- その工程は、前記ロボットにより行われる主行為フレームが、プログラムされる行為に先立つ先行事象とプログラムされる行為に続く後継事象の群から選択された少なくとも1つの事象にリンクされる少なくとも1つの制御ボックスであって、タイムラインにより予め定義された時間的制約に従って進むようにプログラムされた、制御ボックス経由で行われる、ことを特徴とする請求項18乃至19のいずれか一項に記載の編集および制御する方法。
- 前記選択された機能をプログラムする前記工程は、
音声メッセージを受信するチャネルを装った第1の通信チャネルと音声メッセージを送信するためのチャネルを装った第2の通信チャネルとを規定する少なくとも1つの下位工程と、
前記第1のチャネル上で受信された第1のメッセージの前記ロボットによる理解の信頼水準を評価するための機能を規定する下位工程と、
その内容が前記信頼水準に依存する前記第2のチャネル上の少なくとも1つの第2のメッセージの生成を規定する下位工程と、を含む、ことを特徴とする請求項17に記載の編集および制御する方法。 - それぞれが期待認識率と関連付けられた表現のリストにより、前記第1のチャネル上で受信された前記メッセージを音声認識するためのフィルタを規定する下位工程と、
前記第1のチャネル上の前記第1のメッセージの繰り返しの要求と、フィルタの表現のサブセットの前記第1のチャネル上の前記対話者により送信される第3のメッセージによる確認の要求と、少なくとも1つの第3のチャネル上の少なくとも1つの他のメッセージの前記対話者による送信の要求と、からなる群から選択された発見的方法により前記第2のメッセージの内容を定義する下位工程と、をさらに含むことを特徴とする請求項21に記載の編集および制御する方法。 - その工程は、前記ロボットにより行われる主行為フレームが、プログラムされる行為に先立つ先行事象とプログラムされる行為に続く後継事象の群から選択された少なくとも1つの事象にリンクされる少なくとも1つの制御ボックスであって、タイムラインにより予め定義された時間的制約に従って進むようにプログラムされた、制御ボックス経由で行われ、前記制御ボックスは選択タイプのボックスである、ことを特徴とする請求項21乃至22のいずれか一項に記載の方法。
- コンピュータプログラムがコンピュータ上で実行されると請求項17に記載の方法の実行を可能にするプログラムコード命令を含むコンピュータプログラムであって、
前記コンピュータプログラムは、ユーザがヒューマノイドロボットをプログラムできるようにされており、
前記ヒューマノイドロボットは、異なる様式に応じた少なくとも1人の対話者とのメッセージの自然なコミュニケーションのための少なくとも2つのチャネルであってそれぞれが受信と送信の群から選択される2つのチャネルと、前記チャネルの入力/出力の制御のためのサブルーチンと、を含み、
前記コンピュータプログラムは、前記ロボットにより実行され、第1のチャネルと第2のチャネル上で受信/送信されたメッセージの組み合わせの群から選択された少なくとも1つの機能を制御し、チャネル上で受信された第1のメッセージに基づき生成された第2のメッセージを送信するためのサブルーチン内でプログラムするためのモジュールを含む、コンピュータプログラム。 - 少なくとも1つのパラメータを制御ボックスに渡すことをプログラムするためのモジュールをさらに含む、ことを特徴とする請求項24に記載のコンピュータプログラム。
- 前記プログラムのインターフェースにおける前記ロボットの可視通信チャネルの入力を返すことをプログラムするためのモジュールをさらに含む、ことを特徴とする請求項24に記載のコンピュータプログラム。
- 並行する前記ロボットの行動をプログラムするためのモジュールをさらに含む、ことを特徴とする請求項24に記載のコンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1056047A FR2963132A1 (fr) | 2010-07-23 | 2010-07-23 | Robot humanoide dote d'une interface de dialogue naturel, methode d'utilisation et de programmation de ladite interface |
FR1056047 | 2010-07-23 | ||
PCT/EP2011/061743 WO2012010451A1 (fr) | 2010-07-23 | 2011-07-11 | Robot humanoide dote d'une interface de dialogue naturel, procede de controle du robot et programme correspondant |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016186918A Division JP2017041260A (ja) | 2010-07-23 | 2016-09-26 | 自然な対話インターフェースを備えたヒューマノイドロボット、同ロボットを制御する方法、および対応プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013539569A true JP2013539569A (ja) | 2013-10-24 |
JP6129073B2 JP6129073B2 (ja) | 2017-05-17 |
Family
ID=43618099
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013520054A Active JP6129073B2 (ja) | 2010-07-23 | 2011-07-11 | 自然な対話インターフェースを備えたヒューマノイドロボット、同ロボットを制御する方法、および対応プログラム |
JP2016186918A Pending JP2017041260A (ja) | 2010-07-23 | 2016-09-26 | 自然な対話インターフェースを備えたヒューマノイドロボット、同ロボットを制御する方法、および対応プログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016186918A Pending JP2017041260A (ja) | 2010-07-23 | 2016-09-26 | 自然な対話インターフェースを備えたヒューマノイドロボット、同ロボットを制御する方法、および対応プログラム |
Country Status (8)
Country | Link |
---|---|
US (1) | US8942849B2 (ja) |
EP (1) | EP2596493A1 (ja) |
JP (2) | JP6129073B2 (ja) |
KR (1) | KR101880775B1 (ja) |
CN (1) | CN103119644B (ja) |
BR (1) | BR112013001711A2 (ja) |
FR (1) | FR2963132A1 (ja) |
WO (2) | WO2012010437A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170107875A (ko) * | 2016-03-16 | 2017-09-26 | 후지제롯쿠스 가부시끼가이샤 | 로봇 제어 시스템 |
JP2021523472A (ja) * | 2018-05-04 | 2021-09-02 | スプーン | 複数のロボットエフェクターを制御するための方法 |
JP2021523838A (ja) * | 2018-05-14 | 2021-09-09 | ボード オブ リージェンツ, ザ ユニバーシティ オブ テキサス システムBoard Of Regents, The University Of Texas System | 社会的表現能力を有する移動作業ロボットのための統合システム設計 |
Families Citing this family (110)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9634855B2 (en) | 2010-05-13 | 2017-04-25 | Alexander Poltorak | Electronic personal interactive device that determines topics of interest using a conversational agent |
FR2962048A1 (fr) * | 2010-07-02 | 2012-01-06 | Aldebaran Robotics S A | Robot humanoide joueur, methode et systeme d'utilisation dudit robot |
US9566710B2 (en) | 2011-06-02 | 2017-02-14 | Brain Corporation | Apparatus and methods for operating robotic devices using selective state space training |
US10866783B2 (en) * | 2011-08-21 | 2020-12-15 | Transenterix Europe S.A.R.L. | Vocally activated surgical control system |
KR20130021943A (ko) * | 2011-08-24 | 2013-03-06 | 한국전자통신연구원 | 디지털 마인드 서비스 장치 및 방법 |
JP5982840B2 (ja) * | 2012-01-31 | 2016-08-31 | 富士通株式会社 | 対話装置、対話プログラムおよび対話方法 |
FR2989209B1 (fr) | 2012-04-04 | 2015-01-23 | Aldebaran Robotics | Robot apte a integrer des dialogues naturels avec un utilisateur dans ses comportements, procedes de programmation et d'utilisation dudit robot |
US20130311528A1 (en) * | 2012-04-25 | 2013-11-21 | Raanan Liebermann | Communications with a proxy for the departed and other devices and services for communicaiton and presentation in virtual reality |
US20170206064A1 (en) * | 2013-03-15 | 2017-07-20 | JIBO, Inc. | Persistent companion device configuration and deployment platform |
US20150314454A1 (en) * | 2013-03-15 | 2015-11-05 | JIBO, Inc. | Apparatus and methods for providing a persistent companion device |
US9764468B2 (en) | 2013-03-15 | 2017-09-19 | Brain Corporation | Adaptive predictor apparatus and methods |
US9037396B2 (en) * | 2013-05-23 | 2015-05-19 | Irobot Corporation | Simultaneous localization and mapping for a mobile robot |
US9242372B2 (en) * | 2013-05-31 | 2016-01-26 | Brain Corporation | Adaptive robotic interface apparatus and methods |
US9314924B1 (en) | 2013-06-14 | 2016-04-19 | Brain Corporation | Predictive robotic controller apparatus and methods |
US9792546B2 (en) | 2013-06-14 | 2017-10-17 | Brain Corporation | Hierarchical robotic controller apparatus and methods |
US9384443B2 (en) | 2013-06-14 | 2016-07-05 | Brain Corporation | Robotic training apparatus and methods |
JP5945732B2 (ja) * | 2013-07-03 | 2016-07-05 | パナソニックIpマネジメント株式会社 | 電子部品実装システムにおける伝言伝達装置 |
US9579789B2 (en) | 2013-09-27 | 2017-02-28 | Brain Corporation | Apparatus and methods for training of robotic control arbitration |
JP5996603B2 (ja) * | 2013-10-31 | 2016-09-21 | シャープ株式会社 | サーバ、発話制御方法、発話装置、発話システムおよびプログラム |
US9597797B2 (en) | 2013-11-01 | 2017-03-21 | Brain Corporation | Apparatus and methods for haptic training of robots |
US9358685B2 (en) | 2014-02-03 | 2016-06-07 | Brain Corporation | Apparatus and methods for control of robot actions based on corrective user inputs |
US9302393B1 (en) * | 2014-04-15 | 2016-04-05 | Alan Rosen | Intelligent auditory humanoid robot and computerized verbalization system programmed to perform auditory and verbal artificial intelligence processes |
EP2933070A1 (en) * | 2014-04-17 | 2015-10-21 | Aldebaran Robotics | Methods and systems of handling a dialog with a robot |
EP2933067B1 (en) | 2014-04-17 | 2019-09-18 | Softbank Robotics Europe | Method of performing multi-modal dialogue between a humanoid robot and user, computer program product and humanoid robot for implementing said method |
US10279470B2 (en) | 2014-06-12 | 2019-05-07 | Play-i, Inc. | System and method for facilitating program sharing |
US9498882B2 (en) * | 2014-06-12 | 2016-11-22 | Play-i, Inc. | System and method for reinforcing programming education through robotic feedback |
EP3178040A4 (en) * | 2014-08-07 | 2018-04-04 | Okinawa Institute of Science and Technology School Corporation | Inverse reinforcement learning by density ratio estimation |
CN104267922B (zh) * | 2014-09-16 | 2019-05-31 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
US9630318B2 (en) | 2014-10-02 | 2017-04-25 | Brain Corporation | Feature detection apparatus and methods for training of robotic navigation |
CN104493827A (zh) * | 2014-11-17 | 2015-04-08 | 福建省泉州市第七中学 | 智能认知机器人及其认知系统 |
US9717387B1 (en) | 2015-02-26 | 2017-08-01 | Brain Corporation | Apparatus and methods for programming and training of robotic household appliances |
CN104951077A (zh) * | 2015-06-24 | 2015-09-30 | 百度在线网络技术(北京)有限公司 | 基于人工智能的人机交互方法、装置和终端设备 |
WO2016206645A1 (zh) * | 2015-06-26 | 2016-12-29 | 北京贝虎机器人技术有限公司 | 为机器装置加载控制数据的方法及装置 |
CN106313113B (zh) * | 2015-06-30 | 2019-06-07 | 芋头科技(杭州)有限公司 | 一种对机器人进行训练的系统及方法 |
CN104985599B (zh) * | 2015-07-20 | 2018-07-10 | 百度在线网络技术(北京)有限公司 | 基于人工智能的智能机器人控制方法、系统及智能机器人 |
US9828094B2 (en) * | 2015-07-26 | 2017-11-28 | John B. McMillion | Autonomous cleaning system |
US20170050320A1 (en) * | 2015-08-18 | 2017-02-23 | Behzad Nejat | Novel robotic device with a configurable behavior image |
CN105206273B (zh) * | 2015-09-06 | 2019-05-10 | 上海智臻智能网络科技股份有限公司 | 语音传输控制方法及系统 |
JP5892531B1 (ja) * | 2015-11-16 | 2016-03-23 | プレンプロジェクト・ホールディングス有限会社 | リンク列マッピング装置、リンク列マッピング方法、及びプログラム |
CN105425648A (zh) * | 2016-01-11 | 2016-03-23 | 北京光年无限科技有限公司 | 便携机器人及其数据处理方法和系统 |
CN105680972A (zh) * | 2016-01-20 | 2016-06-15 | 山东大学 | 机器人集群协同任务网络同步控制方法 |
CN105808501A (zh) * | 2016-03-09 | 2016-07-27 | 北京众星智联科技有限责任公司 | 一种人工智能学习的实现 |
WO2017187620A1 (ja) * | 2016-04-28 | 2017-11-02 | 富士通株式会社 | ロボット |
DE102016115243A1 (de) * | 2016-04-28 | 2017-11-02 | Masoud Amri | Programmieren in natürlicher Sprache |
US11645444B2 (en) * | 2016-05-10 | 2023-05-09 | Trustees Of Tufts College | Systems and methods enabling online one-shot learning and generalization by intelligent systems of task-relevant features and transfer to a cohort of intelligent systems |
US10241514B2 (en) | 2016-05-11 | 2019-03-26 | Brain Corporation | Systems and methods for initializing a robot to autonomously travel a trained route |
US10068424B2 (en) * | 2016-05-13 | 2018-09-04 | Universal Entertainment Corporation | Attendant device and gaming machine |
US9987752B2 (en) | 2016-06-10 | 2018-06-05 | Brain Corporation | Systems and methods for automatic detection of spills |
US10282849B2 (en) | 2016-06-17 | 2019-05-07 | Brain Corporation | Systems and methods for predictive/reconstructive visual object tracker |
US10239205B2 (en) * | 2016-06-29 | 2019-03-26 | International Business Machines Corporation | System, method, and recording medium for corpus curation for action manifestation for cognitive robots |
US10016896B2 (en) | 2016-06-30 | 2018-07-10 | Brain Corporation | Systems and methods for robotic behavior around moving bodies |
CN106056109A (zh) * | 2016-07-30 | 2016-10-26 | 深圳市寒武纪智能科技有限公司 | 一种基于计算机视觉的讲故事机器人 |
CN106327291A (zh) * | 2016-08-10 | 2017-01-11 | 深圳市豆娱科技有限公司 | 一种基于虚拟现实商城的导购交互系统及其应用方法 |
JP6517762B2 (ja) | 2016-08-23 | 2019-05-22 | ファナック株式会社 | 人とロボットが協働して作業を行うロボットの動作を学習するロボットシステム |
JP2018067100A (ja) * | 2016-10-18 | 2018-04-26 | 株式会社日立製作所 | ロボット対話システム |
US10987804B2 (en) * | 2016-10-19 | 2021-04-27 | Fuji Xerox Co., Ltd. | Robot device and non-transitory computer readable medium |
US10274325B2 (en) | 2016-11-01 | 2019-04-30 | Brain Corporation | Systems and methods for robotic mapping |
US10001780B2 (en) | 2016-11-02 | 2018-06-19 | Brain Corporation | Systems and methods for dynamic route planning in autonomous navigation |
CN109906435A (zh) * | 2016-11-08 | 2019-06-18 | 夏普株式会社 | 移动体控制装置以及移动体控制程序 |
US10723018B2 (en) | 2016-11-28 | 2020-07-28 | Brain Corporation | Systems and methods for remote operating and/or monitoring of a robot |
US11443161B2 (en) | 2016-12-12 | 2022-09-13 | Microsoft Technology Licensing, Llc | Robot gesture generation |
JP6795387B2 (ja) * | 2016-12-14 | 2020-12-02 | パナソニック株式会社 | 音声対話装置、音声対話方法、音声対話プログラム及びロボット |
KR102616403B1 (ko) * | 2016-12-27 | 2023-12-21 | 삼성전자주식회사 | 전자 장치 및 그의 메시지 전달 방법 |
CN106548772A (zh) * | 2017-01-16 | 2017-03-29 | 上海智臻智能网络科技股份有限公司 | 语音识别测试系统及方法 |
US10377040B2 (en) | 2017-02-02 | 2019-08-13 | Brain Corporation | Systems and methods for assisting a robotic apparatus |
US10852730B2 (en) | 2017-02-08 | 2020-12-01 | Brain Corporation | Systems and methods for robotic mobile platforms |
JP6433525B2 (ja) * | 2017-03-06 | 2018-12-05 | 政信 近藤 | 個人認証装置 |
WO2018175291A1 (en) * | 2017-03-20 | 2018-09-27 | Ebay Inc. | Detection of mission change in conversation |
US20210110844A1 (en) * | 2017-03-21 | 2021-04-15 | Tokyo Institute Of Technology | Communication analysis apparatus |
US10293485B2 (en) | 2017-03-30 | 2019-05-21 | Brain Corporation | Systems and methods for robotic path planning |
CN106920552A (zh) * | 2017-03-30 | 2017-07-04 | 天津中科先进技术研究院有限公司 | 一种具有云端交互功能的智能机器人 |
JP6610610B2 (ja) * | 2017-04-27 | 2019-11-27 | トヨタ自動車株式会社 | 音声入出力装置、無線接続方法、音声対話システム |
JP6994292B2 (ja) * | 2017-05-08 | 2022-01-14 | 達闥机器人有限公司 | ロボットのウェイクアップ方法、装置及びロボット |
CN107219849B (zh) * | 2017-05-23 | 2020-04-07 | 北京理工大学 | 一种多途径的捡球和发球机器人控制系统 |
US10678338B2 (en) * | 2017-06-09 | 2020-06-09 | At&T Intellectual Property I, L.P. | Determining and evaluating data representing an action to be performed by a robot |
US10569420B1 (en) | 2017-06-23 | 2020-02-25 | X Development Llc | Interfacing with autonomous devices |
CN111201567A (zh) * | 2017-08-10 | 2020-05-26 | 费赛特实验室有限责任公司 | 用于与数字媒体内容交互的口语、面部和姿势通信设备和计算体系架构 |
WO2019032996A1 (en) * | 2017-08-10 | 2019-02-14 | Facet Labs, Llc | ORAL COMMUNICATION DEVICE AND COMPUTER ARCHITECTURE FOR PROCESSING DATA AND DELIVERING USER FEEDBACK OUTPUT, AND ASSOCIATED METHODS |
US10083006B1 (en) * | 2017-09-12 | 2018-09-25 | Google Llc | Intercom-style communication using multiple computing devices |
KR102128812B1 (ko) * | 2017-12-11 | 2020-07-02 | 한국전자통신연구원 | 로봇의 사회 지능 평가 방법 및 이를 위한 장치 |
WO2019133710A1 (en) | 2017-12-29 | 2019-07-04 | DMAI, Inc. | System and method for dialogue management |
US11222632B2 (en) | 2017-12-29 | 2022-01-11 | DMAI, Inc. | System and method for intelligent initiation of a man-machine dialogue based on multi-modal sensory inputs |
US11504856B2 (en) * | 2017-12-29 | 2022-11-22 | DMAI, Inc. | System and method for selective animatronic peripheral response for human machine dialogue |
US10800039B2 (en) * | 2018-01-23 | 2020-10-13 | General Electric Company | Controlling and commanding an unmanned robot using natural interfaces |
US20190236976A1 (en) * | 2018-01-31 | 2019-08-01 | Rnd64 Limited | Intelligent personal assistant device |
WO2019160613A1 (en) | 2018-02-15 | 2019-08-22 | DMAI, Inc. | System and method for dynamic program configuration |
US10832118B2 (en) * | 2018-02-23 | 2020-11-10 | International Business Machines Corporation | System and method for cognitive customer interaction |
CN108161955A (zh) * | 2018-03-19 | 2018-06-15 | 重庆鲁班机器人技术研究院有限公司 | 机器人控制装置 |
CN110322875A (zh) * | 2018-03-29 | 2019-10-11 | 富泰华工业(深圳)有限公司 | 机器人交互系统及方法 |
JP7000253B2 (ja) * | 2018-05-31 | 2022-01-19 | 国立大学法人東海国立大学機構 | 力覚視覚化装置、ロボットおよび力覚視覚化プログラム |
CN109003612B (zh) * | 2018-06-08 | 2021-01-29 | 英业达科技有限公司 | 基于人工智能的语音问答验证系统及其方法 |
CN108942926B (zh) * | 2018-06-28 | 2020-06-19 | 达闼科技(北京)有限公司 | 一种人机交互的方法、装置和系统 |
US11230017B2 (en) * | 2018-10-17 | 2022-01-25 | Petoi Llc | Robotic animal puzzle |
KR102228866B1 (ko) * | 2018-10-18 | 2021-03-17 | 엘지전자 주식회사 | 로봇 및 그의 제어 방법 |
JP7480706B2 (ja) * | 2018-10-30 | 2024-05-10 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及びプログラム |
CN109262617A (zh) * | 2018-11-29 | 2019-01-25 | 北京猎户星空科技有限公司 | 机器人控制方法、装置、设备及存储介质 |
CN109822581A (zh) * | 2018-12-08 | 2019-05-31 | 浙江国自机器人技术有限公司 | 用于机房机器人的导览方法 |
CN109889723A (zh) * | 2019-01-30 | 2019-06-14 | 天津大学 | 一种基于nao机器人的音视频数据采集系统 |
CN109828568B (zh) * | 2019-02-15 | 2022-04-15 | 武汉理工大学 | 对RoboCup比赛的NAO机器人寻球步态优化方法 |
JP7386876B2 (ja) | 2019-04-29 | 2023-11-27 | グーグル エルエルシー | 自動アシスタント要求に従って、デバイスロケーションおよび/またはインターフェースの向きを自律的に調整する、モーター付きコンピューティングデバイス |
WO2020251074A1 (ko) * | 2019-06-12 | 2020-12-17 | 엘지전자 주식회사 | 음성 인식 기능을 제공하는 인공 지능 로봇 및 그의 동작 방법 |
CN111061370B (zh) * | 2019-12-16 | 2021-07-16 | 深圳市云网万店电子商务有限公司 | 用于智能设备的人机交互装置及方法 |
CN111694939B (zh) * | 2020-04-28 | 2023-09-19 | 平安科技(深圳)有限公司 | 智能调用机器人的方法、装置、设备及存储介质 |
US11907670B1 (en) | 2020-07-14 | 2024-02-20 | Cisco Technology, Inc. | Modeling communication data streams for multi-party conversations involving a humanoid |
US11875362B1 (en) | 2020-07-14 | 2024-01-16 | Cisco Technology, Inc. | Humanoid system for automated customer support |
CN113222805B (zh) * | 2021-05-08 | 2023-04-07 | 西北工业大学 | 一种快速高准确度nao型足球机器人视觉处理方法 |
KR102519599B1 (ko) * | 2021-10-29 | 2023-04-11 | 주식회사 서큘러스 | 멀티모달 기반의 인터랙션 로봇, 및 그 제어 방법 |
WO2023090951A1 (en) * | 2021-11-19 | 2023-05-25 | Samsung Electronics Co., Ltd. | Methods and systems for suggesting an enhanced multimodal interaction |
CN114770514A (zh) * | 2022-05-11 | 2022-07-22 | 北京睿知文峰教育科技有限公司 | 基于stm32的人工智能机器人控制方法及装置 |
CN116117834A (zh) * | 2023-04-11 | 2023-05-16 | 佛山宜视智联科技有限公司 | 可交互的机器人变色系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001188555A (ja) * | 1999-12-28 | 2001-07-10 | Sony Corp | 情報処理装置および方法、並びに記録媒体 |
JP2002103258A (ja) * | 2000-09-28 | 2002-04-09 | Sony Corp | オーサリング・システム及びオーサリング方法、並びに記憶媒体 |
JP2002261966A (ja) * | 2000-09-08 | 2002-09-13 | Matsushita Electric Works Ltd | コミュニケーション支援システムおよび撮影装置 |
JP2004295766A (ja) * | 2003-03-28 | 2004-10-21 | Sony Corp | ロボット装置及びロボットを介したユーザの認証方法 |
WO2005119642A2 (en) * | 2004-06-02 | 2005-12-15 | America Online, Incorporated | Multimodal disambiguation of speech recognition |
JP2008052178A (ja) * | 2006-08-28 | 2008-03-06 | Toyota Motor Corp | 音声認識装置と音声認識方法 |
JP2009061547A (ja) * | 2007-09-06 | 2009-03-26 | Olympus Corp | ロボット制御システム、ロボット、プログラム及び情報記憶媒体 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002029715A1 (en) * | 2000-10-03 | 2002-04-11 | Kent Ridge Digital Labs | A system, method and language for programming behaviour in synthetic creatures |
JP2004283943A (ja) * | 2003-03-20 | 2004-10-14 | Sony Corp | コンテンツ選択装置及び方法並びにロボット装置 |
US20050076109A1 (en) * | 2003-07-11 | 2005-04-07 | Boban Mathew | Multimedia notification system and method |
US7221928B2 (en) * | 2003-10-01 | 2007-05-22 | Laird Mark D | Mobile emergency notification system |
US20060031340A1 (en) * | 2004-07-12 | 2006-02-09 | Boban Mathew | Apparatus and method for advanced attachment filtering within an integrated messaging platform |
JP4629560B2 (ja) | 2004-12-01 | 2011-02-09 | 本田技研工業株式会社 | 対話型情報システム |
US20060122837A1 (en) * | 2004-12-08 | 2006-06-08 | Electronics And Telecommunications Research Institute | Voice interface system and speech recognition method |
JP2006187825A (ja) * | 2005-01-05 | 2006-07-20 | Yaskawa Electric Corp | ロボット装置およびその制御方法 |
JP2007069302A (ja) * | 2005-09-07 | 2007-03-22 | Hitachi Ltd | 動作表出装置 |
JP2007260864A (ja) * | 2006-03-29 | 2007-10-11 | Advanced Telecommunication Research Institute International | コミュニケーションロボット |
KR100827088B1 (ko) * | 2006-09-07 | 2008-05-02 | 삼성전자주식회사 | 소프트웨어 로봇 장치 |
US8468244B2 (en) * | 2007-01-05 | 2013-06-18 | Digital Doors, Inc. | Digital information infrastructure and method for security designated data and with granular data stores |
JP2008241933A (ja) * | 2007-03-26 | 2008-10-09 | Kenwood Corp | データ処理装置及びデータ処理方法 |
US8706914B2 (en) * | 2007-04-23 | 2014-04-22 | David D. Duchesneau | Computing infrastructure |
FR2930108B1 (fr) | 2008-04-09 | 2010-07-30 | Aldebaran Robotics | Systeme et procede de communication distribue comprenant au moins un serveur, au moins un terminal distant, et au moins un terminal mobile capable de communiquer avec le terminal distant relie en reseau audit serveur |
FR2929873B1 (fr) | 2008-04-09 | 2010-09-03 | Aldebaran Robotics | Architecture de controle-commande d'un robot mobile utilisant des membres articules |
US8275803B2 (en) | 2008-05-14 | 2012-09-25 | International Business Machines Corporation | System and method for providing answers to questions |
JP5334178B2 (ja) * | 2009-01-21 | 2013-11-06 | クラリオン株式会社 | 音声認識装置およびデータ更新方法 |
FR2946160B1 (fr) | 2009-05-26 | 2014-05-09 | Aldebaran Robotics | Systeme et procede pour editer et commander des comportements d'un robot mobile. |
CN101604204B (zh) * | 2009-07-09 | 2011-01-05 | 北京科技大学 | 智能情感机器人分布式认知系统 |
-
2010
- 2010-07-23 FR FR1056047A patent/FR2963132A1/fr not_active Withdrawn
-
2011
- 2011-07-08 WO PCT/EP2011/061567 patent/WO2012010437A1/fr active Application Filing
- 2011-07-11 WO PCT/EP2011/061743 patent/WO2012010451A1/fr active Application Filing
- 2011-07-11 BR BR112013001711A patent/BR112013001711A2/pt not_active Application Discontinuation
- 2011-07-11 US US13/811,204 patent/US8942849B2/en not_active Expired - Fee Related
- 2011-07-11 CN CN201180045189.0A patent/CN103119644B/zh not_active Expired - Fee Related
- 2011-07-11 EP EP11730675.3A patent/EP2596493A1/fr not_active Withdrawn
- 2011-07-11 JP JP2013520054A patent/JP6129073B2/ja active Active
- 2011-07-11 KR KR1020137002968A patent/KR101880775B1/ko active IP Right Grant
-
2016
- 2016-09-26 JP JP2016186918A patent/JP2017041260A/ja active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001188555A (ja) * | 1999-12-28 | 2001-07-10 | Sony Corp | 情報処理装置および方法、並びに記録媒体 |
JP2002261966A (ja) * | 2000-09-08 | 2002-09-13 | Matsushita Electric Works Ltd | コミュニケーション支援システムおよび撮影装置 |
JP2002103258A (ja) * | 2000-09-28 | 2002-04-09 | Sony Corp | オーサリング・システム及びオーサリング方法、並びに記憶媒体 |
JP2004295766A (ja) * | 2003-03-28 | 2004-10-21 | Sony Corp | ロボット装置及びロボットを介したユーザの認証方法 |
WO2005119642A2 (en) * | 2004-06-02 | 2005-12-15 | America Online, Incorporated | Multimodal disambiguation of speech recognition |
JP2008052178A (ja) * | 2006-08-28 | 2008-03-06 | Toyota Motor Corp | 音声認識装置と音声認識方法 |
JP2009061547A (ja) * | 2007-09-06 | 2009-03-26 | Olympus Corp | ロボット制御システム、ロボット、プログラム及び情報記憶媒体 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170107875A (ko) * | 2016-03-16 | 2017-09-26 | 후지제롯쿠스 가부시끼가이샤 | 로봇 제어 시스템 |
US10513038B2 (en) | 2016-03-16 | 2019-12-24 | Fuji Xerox Co., Ltd. | Robot control system |
KR102150928B1 (ko) * | 2016-03-16 | 2020-09-02 | 후지제롯쿠스 가부시끼가이샤 | 로봇 제어 시스템 |
JP2021523472A (ja) * | 2018-05-04 | 2021-09-02 | スプーン | 複数のロボットエフェクターを制御するための方法 |
JP7414735B2 (ja) | 2018-05-04 | 2024-01-16 | スプーン | 複数のロボットエフェクターを制御するための方法 |
JP2021523838A (ja) * | 2018-05-14 | 2021-09-09 | ボード オブ リージェンツ, ザ ユニバーシティ オブ テキサス システムBoard Of Regents, The University Of Texas System | 社会的表現能力を有する移動作業ロボットのための統合システム設計 |
Also Published As
Publication number | Publication date |
---|---|
BR112013001711A2 (pt) | 2016-05-31 |
KR20140000189A (ko) | 2014-01-02 |
WO2012010437A1 (fr) | 2012-01-26 |
WO2012010451A1 (fr) | 2012-01-26 |
US8942849B2 (en) | 2015-01-27 |
EP2596493A1 (fr) | 2013-05-29 |
US20130218339A1 (en) | 2013-08-22 |
FR2963132A1 (fr) | 2012-01-27 |
CN103119644B (zh) | 2016-01-20 |
JP6129073B2 (ja) | 2017-05-17 |
CN103119644A (zh) | 2013-05-22 |
JP2017041260A (ja) | 2017-02-23 |
KR101880775B1 (ko) | 2018-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6129073B2 (ja) | 自然な対話インターフェースを備えたヒューマノイドロボット、同ロボットを制御する方法、および対応プログラム | |
KR102306624B1 (ko) | 지속적 컴패니언 디바이스 구성 및 전개 플랫폼 | |
Rossi et al. | An extensible architecture for robust multimodal human-robot communication | |
KR101604593B1 (ko) | 이용자 명령에 기초하여 리프리젠테이션을 수정하기 위한 방법 | |
JP7254772B2 (ja) | ロボットインタラクションのための方法及びデバイス | |
US20170206064A1 (en) | Persistent companion device configuration and deployment platform | |
JP4839838B2 (ja) | 情報処理システム、情報処理方法および情報処理用プログラム | |
JP7260221B2 (ja) | ロボット対話方法およびデバイス | |
JP6328793B2 (ja) | ロボット上のソフトウェアアプリケーションの実行 | |
JP2001229392A (ja) | 少ないメッセージ交信により会話式キャラクタを実施する合理的アーキテクチャ | |
WO2017200074A1 (ja) | 対話方法、対話システム、対話装置、及びプログラム | |
US20130066467A1 (en) | Service scenario editing apparatus for an intelligent robot, method for same, intelligent robot apparatus and service-providing method for an intelligent robot | |
Lamberti et al. | Using semantics to automatically generate speech interfaces for wearable virtual and augmented reality applications | |
CN110737335B (zh) | 机器人的交互方法、装置、电子设备及存储介质 | |
Kühnel | Quantifying quality aspects of multimodal interactive systems | |
US20200257954A1 (en) | Techniques for generating digital personas | |
WO2016206645A1 (zh) | 为机器装置加载控制数据的方法及装置 | |
Li et al. | " BIRON, let me show you something": evaluating the interaction with a robot companion | |
Schröder | The SEMAINE API: A component integration framework for a naturally interacting and emotionally competent Embodied Conversational Agent | |
JP2023120130A (ja) | 抽出質問応答を利用する会話型aiプラットフォーム | |
WO2017200077A1 (ja) | 対話方法、対話システム、対話装置、及びプログラム | |
Ceralli | ANALYSIS AND COMPARISON OF SPEECH-BASED TELEPORTATION TECHNIQUES FOR IMMERSIVE VIRTUAL REALITY | |
Oka et al. | Directing humanoids in a multi-modal command language | |
CN113468042A (zh) | 人机交互测试系统和方法 | |
Pires | Personal Assistant for Improving the Social Life of Mobility-Impaired Citizens |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130711 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130807 |
|
A072 | Dismissal of procedure [no reply to invitation to correct request for examination] |
Free format text: JAPANESE INTERMEDIATE CODE: A072 Effective date: 20130924 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140707 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140904 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150512 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20150811 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20150914 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20151013 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151008 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151102 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151112 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151210 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160531 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160926 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20170123 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170314 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170411 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6129073 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |