JP2002189488A - ロボット制御装置およびロボット制御方法、記録媒体、並びにプログラム - Google Patents
ロボット制御装置およびロボット制御方法、記録媒体、並びにプログラムInfo
- Publication number
- JP2002189488A JP2002189488A JP2001016872A JP2001016872A JP2002189488A JP 2002189488 A JP2002189488 A JP 2002189488A JP 2001016872 A JP2001016872 A JP 2001016872A JP 2001016872 A JP2001016872 A JP 2001016872A JP 2002189488 A JP2002189488 A JP 2002189488A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- prosody
- unit
- control
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 33
- 230000009471 action Effects 0.000 claims abstract description 85
- 230000008451 emotion Effects 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 21
- 230000033001 locomotion Effects 0.000 claims description 7
- 238000013500 data storage Methods 0.000 claims 2
- 230000007246 mechanism Effects 0.000 abstract description 48
- 230000033764 rhythmic process Effects 0.000 abstract 3
- 230000036544 posture Effects 0.000 description 34
- 230000007704 transition Effects 0.000 description 26
- 238000001514 detection method Methods 0.000 description 20
- 230000015572 biosynthetic process Effects 0.000 description 19
- 238000003786 synthesis reaction Methods 0.000 description 19
- 210000003128 head Anatomy 0.000 description 16
- 230000006399 behavior Effects 0.000 description 13
- 239000011295 pitch Substances 0.000 description 11
- 230000005236 sound signal Effects 0.000 description 10
- 230000002194 synthesizing effect Effects 0.000 description 10
- 238000000605 extraction Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 210000003414 extremity Anatomy 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 210000002784 stomach Anatomy 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000010079 rubber tapping Methods 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 102100033007 Carbonic anhydrase 14 Human genes 0.000 description 1
- 101150042515 DA26 gene Proteins 0.000 description 1
- 101000867862 Homo sapiens Carbonic anhydrase 14 Proteins 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000036528 appetite Effects 0.000 description 1
- 235000019789 appetite Nutrition 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 125000005647 linker group Chemical group 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000004800 psychological effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 210000001364 upper extremity Anatomy 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
- A63H11/00—Self-movable toy figures
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/003—Controls for manipulators by means of an audio-responsive input
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
- A63H2200/00—Computerized interactive toys, e.g. dolls
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/225—Feedback of the input speech
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Robotics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Toys (AREA)
- Manipulator (AREA)
Abstract
認識させる。 【解決手段】 マイク15に入力されたユーザの音声
は、音声認識部50Aで音声認識され、行動決定機構部
52は、その音声認識結果に基づいて、ロボットの次の
行動を決定する。一方、エコーバック部56は、マイク
15に入力されたユーザの音声の韻律情報を分析し、そ
の韻律情報に基づいて、韻律を制御した音声であるエコ
ーバック音声を生成する。このエコーバック音声は、出
力制御部57を介してスピーカ18に供給されて出力さ
れる。
Description
およびロボット制御方法、記録媒体、並びにプログラム
に関し、特に、例えば、音声認識装置による音声認識結
果に基づいて行動するロボットに用いて好適なロボット
制御装置およびロボット制御方法、記録媒体、並びにプ
ログラムに関する。
て、ユーザが発した音声を音声認識し、その音声認識結
果に基づいて、ある仕草をしたり、合成音を出力する等
の行動を行うロボット(本明細書においては、ぬいぐる
み状のものを含む)が製品化されている。
トにおいては、音声認識結果が得られても、何の行動も
起こさない場合があり、この場合、ユーザは、ロボット
において音声が認識されているのかどうか、あるいはロ
ボットが故障しているのかどうか不安になる。
たものであり、ロボットにおいて、ユーザの音声が認識
されていることを分かるようにすることで、ユーザの不
安を解消すること等ができるようにするものである。
置は、音声認識されるユーザの音声の韻律情報を分析す
る分析手段と、韻律情報に基づいて、韻律を制御した音
声データである韻律制御音声データを生成する生成手段
と、韻律制御音声データの出力を制御する出力制御手段
とを備えることを特徴とする。
れるユーザの音声の韻律情報を分析する分析ステップ
と、韻律情報に基づいて、韻律を制御した音声データで
ある韻律制御音声データを生成する生成ステップと、韻
律制御音声データの出力を制御する出力制御ステップと
を備えることを特徴とする。
ザの音声の韻律情報を分析する分析ステップと、韻律情
報に基づいて、韻律を制御した音声データである韻律制
御音声データを生成する生成ステップと、韻律制御音声
データの出力を制御する出力制御ステップとを備えるプ
ログラムが記録されていることを特徴とする。
ーザの音声の韻律情報を分析する分析ステップと、韻律
情報に基づいて、韻律を制御した音声データである韻律
制御音声データを生成する生成ステップと、韻律制御音
声データの出力を制御する出力制御ステップとを備える
ことを特徴とする。
制御方法、並びにプログラムにおいては、音声認識され
るユーザの音声の韻律情報が分析され、その韻律情報に
基づいて、韻律を制御した音声データである韻律制御音
声データが生成されて出力される。
トの一実施の形態の外観構成例を示しており、図2は、
その電気的構成例を示している。
犬等の四つ足の動物の形状のものとなっており、胴体部
ユニット2の前後左右に、それぞれ脚部ユニット3A,
3B,3C,3Dが連結されるとともに、胴体部ユニッ
ト2の前端部と後端部に、それぞれ頭部ユニット4と尻
尾部ユニット5が連結されることにより構成されてい
る。
上面に設けられたベース部5Bから、2自由度をもって
湾曲または揺動自在に引き出されている。
御を行うコントローラ10、ロボットの動力源となるバ
ッテリ11、並びにバッテリセンサ12および熱センサ
13からなる内部センサ部14などが収納されている。
イク(マイクロフォン)15、「目」に相当するCCD
(Charge Coupled Device)カメラ16、触覚に相当する
タッチセンサ17、「口」に相当するスピーカ18など
が、それぞれ所定位置に配設されている。また、頭部ユ
ニット4には、口の下顎に相当する下顎部4Aが1自由
度をもって可動に取り付けられており、この下顎部4A
が動くことにより、ロボットの口の開閉動作が実現され
るようになっている。
部分や、脚部ユニット3A乃至3Dそれぞれと胴体部ユ
ニット2の連結部分、頭部ユニット4と胴体部ユニット
2の連結部分、頭部ユニット4と下顎部4Aの連結部
分、並びに尻尾部ユニット5と胴体部ユニット2の連結
部分などには、図2に示すように、それぞれアクチュエ
ータ3AA1乃至3AAK、3BA1乃至3BAK、3CA
1乃至3CAK、3DA1乃至3DAK、4A1乃至4AL、
5A1および5A2が配設されている。
ーザからの発話を含む周囲の音声(音)を集音し、得ら
れた音声信号を、コントローラ10に送出する。CCD
カメラ16は、周囲の状況を撮像し、得られた画像信号
を、コントローラ10に送出する。
ト4の上部に設けられており、ユーザからの「なでる」
や「たたく」といった物理的な働きかけにより受けた圧
力を検出し、その検出結果を圧力検出信号としてコント
ローラ10に送出する。
12は、バッテリ11の残量を検出し、その検出結果
を、バッテリ残量検出信号としてコントローラ10に送
出する。熱センサ13は、ロボット内部の熱を検出し、
その検出結果を、熱検出信号としてコントローラ10に
送出する。
cessing Unit)10Aやメモリ10B等を内蔵してお
り、CPU10Aにおいて、メモリ10Bに記憶された
制御プログラムが実行されることにより、各種の処理を
行う。
や、CCDカメラ16、タッチセンサ17、バッテリセ
ンサ12、熱センサ13から与えられる音声信号、画像
信号、圧力検出信号、バッテリ残量検出信号、熱検出信
号に基づいて、周囲の状況や、ユーザからの指令、ユー
ザからの働きかけなどの有無を判断する。
果等に基づいて、続く行動を決定し、その決定結果に基
づいて、アクチュエータ3AA1乃至3AAK、3BA1
乃至3BAK、3CA1乃至3CAK、3DA1乃至3DA
K、4A1乃至4AL、5A1、5A2のうちの必要なもの
を駆動させる。これにより、頭部ユニット4を上下左右
に振らせたり、下顎部4Aを開閉させる。さらには、尻
尾部ユニット5を動かせたり、各脚部ユニット3A乃至
3Dを駆動して、ロボットを歩行させるなどの行動を行
わせる。
て、合成音、あるいは後述するようなエコーバック音声
を生成し、スピーカ18に供給して出力させたり、ロボ
ットの「目」の位置に設けられた図示しないLED(Li
ght Emitting Diode)を点灯、消灯または点滅させる。
況等に基づいて自律的に行動をとるようになっている。
機能的構成例を示している。なお、図3に示す機能的構
成は、CPU10Aが、メモリ10Bに記憶された制御
プログラムを実行することで実現されるようになってい
る。
識するセンサ入力処理部50、センサ入力処理部50の
認識結果を累積して、感情や、本能、成長の状態を表現
するモデル記憶部51、センサ入力処理部50の認識結
果等に基づいて、続く行動を決定する行動決定機構部5
2、行動決定機構部52の決定結果に基づいて、実際に
ロボットに行動を起こさせる姿勢遷移機構部53、各ア
クチュエータ3AA1乃至5A1および5A2を駆動制御
する制御機構部54、合成音を生成する音声合成部5
5、エコーバック音声を出力するエコーバック部56、
並びに音声データの出力を制御する出力制御部57から
構成されている。
CCDカメラ16、タッチセンサ17等から与えられる
音声信号、画像信号、圧力検出信号等に基づいて、特定
の外部状態や、ユーザからの特定の働きかけ、ユーザか
らの指示等を認識し、その認識結果を表す状態認識情報
を、モデル記憶部51および行動決定機構部52に通知
する。
部50Aを有しており、音声認識部50Aは、マイク1
5から与えられる音声信号について音声認識を行う。そ
して、音声認識部50Aは、その音声認識結果として
の、例えば、「歩け」、「伏せ」、「ボールを追いかけ
ろ」等の指令その他を、状態認識情報として、モデル記
憶部51および行動決定機構部52に通知する。
部50Bを有しており、画像認識部50Bは、CCDカ
メラ16から与えられる画像信号を用いて、画像認識処
理を行う。そして、画像認識部50Bは、その処理の結
果、例えば、「赤い丸いもの」や、「地面に対して垂直
なかつ所定高さ以上の平面」等を検出したときには、
「ボールがある」や、「壁がある」等の画像認識結果
を、状態認識情報として、モデル記憶部51および行動
決定機構部52に通知する。
理部50Cを有しており、圧力処理部50Cは、タッチ
センサ17から与えられる圧力検出信号を処理する。そ
して、圧力処理部50Cは、その処理の結果、所定の閾
値以上で、かつ短時間の圧力を検出したときには、「た
たかれた(しかられた)」と認識し、所定の閾値未満
で、かつ長時間の圧力を検出したときには、「なでられ
た(ほめられた)」と認識して、その認識結果を、状態
認識情報として、モデル記憶部51および行動決定機構
部52に通知する。
能、成長の状態を表現する感情モデル、本能モデル、成
長モデルをそれぞれ記憶、管理している。
さ」、「悲しさ」、「怒り」、「楽しさ」等の感情の状
態(度合い)を、所定の範囲の値によってそれぞれ表
し、センサ入力処理部50からの状態認識情報や時間経
過等に基づいて、その値を変化させる。本能モデルは、
例えば、「食欲」、「睡眠欲」、「運動欲」等の本能に
よる欲求の状態(度合い)を、所定の範囲の値によって
それぞれ表し、センサ入力処理部50からの状態認識情
報や時間経過等に基づいて、その値を変化させる。成長
モデルは、例えば、「幼年期」、「青年期」、「熟年
期」、「老年期」等の成長の状態(度合い)を、所定の
範囲の値によってそれぞれ表し、センサ入力処理部50
からの状態認識情報や時間経過等に基づいて、その値を
変化させる。
情モデル、本能モデル、成長モデルの値で表される感
情、本能、成長の状態を、状態情報として、行動決定機
構部52に送出する。
処理部50から状態認識情報が供給される他、行動決定
機構部52から、ロボットの現在または過去の行動、具
体的には、例えば、「長時間歩いた」などの行動の内容
を示す行動情報が供給されるようになっており、モデル
記憶部51は、同一の状態認識情報が与えられても、行
動情報が示すロボットの行動に応じて、異なる状態情報
を生成するようになっている。
をし、ユーザに頭を撫でられた場合には、ユーザに挨拶
をしたという行動情報と、頭を撫でられたという状態認
識情報とが、モデル記憶部51に与えられ、この場合、
モデル記憶部51では、「うれしさ」を表す感情モデル
の値が増加される。
に頭を撫でられた場合には、仕事を実行中であるという
行動情報と、頭を撫でられたという状態認識情報とが、
モデル記憶部51に与えられ、この場合、モデル記憶部
51では、「うれしさ」を表す感情モデルの値は変化さ
れない。
識情報だけでなく、現在または過去のロボットの行動を
示す行動情報も参照しながら、感情モデルの値を設定す
る。これにより、例えば、何らかのタスクを実行中に、
ユーザが、いたずらするつもりで頭を撫でたときに、
「うれしさ」を表す感情モデルの値を増加させるよう
な、不自然な感情の変化が生じることを回避することが
できる。
よび成長モデルについても、感情モデルにおける場合と
同様に、状態認識情報および行動情報の両方に基づい
て、その値を増減させるようになっている。また、モデ
ル記憶部51は、感情モデル、本能モデル、成長モデル
それぞれの値を、他のモデルの値にも基づいて増減させ
るようになっている。
50からの状態認識情報や、モデル記憶部51からの状
態情報、時間経過等に基づいて、次の行動を決定し、決
定された行動の内容を、行動指令情報として、姿勢遷移
機構部53に送出する。
とり得る行動をステート(状態)(state)に対応させた
有限オートマトンを、ロボットの行動を規定する行動モ
デルとして管理しており、この行動モデルとしての有限
オートマトンにおけるステートを、センサ入力処理部5
0からの状態認識情報や、モデル記憶部51における感
情モデル、本能モデル、または成長モデルの値、時間経
過等に基づいて遷移させ、遷移後のステートに対応する
行動を、次にとるべき行動として決定する。
リガ(trigger)があったことを検出すると、ステートを
遷移させる。即ち、行動決定機構部52は、例えば、現
在のステートに対応する行動を実行している時間が所定
時間に達したときや、特定の状態認識情報を受信したと
き、モデル記憶部51から供給される状態情報が示す感
情や、本能、成長の状態の値が所定の閾値以下または以
上になったとき等に、ステートを遷移させる。
うに、センサ入力処理部50からの状態認識情報だけで
なく、モデル記憶部51における感情モデルや、本能モ
デル、成長モデルの値等にも基づいて、行動モデルにお
けるステートを遷移させることから、同一の状態認識情
報が入力されても、感情モデルや、本能モデル、成長モ
デルの値(状態情報)によっては、ステートの遷移先は
異なるものとなる。
ば、状態情報が、「怒っていない」こと、および「お腹
がすいていない」ことを表している場合において、状態
認識情報が、「目の前に手のひらが差し出された」こと
を表しているときには、目の前に手のひらが差し出され
たことに応じて、「お手」という行動をとらせる行動指
令情報を生成し、これを、姿勢遷移機構部53に送出す
る。
態情報が、「怒っていない」こと、および「お腹がすい
ている」ことを表している場合において、状態認識情報
が、「目の前に手のひらが差し出された」ことを表して
いるときには、目の前に手のひらが差し出されたことに
応じて、「手のひらをぺろぺろなめる」ような行動を行
わせるための行動指令情報を生成し、これを、姿勢遷移
機構部53に送出する。
態情報が、「怒っている」ことを表している場合におい
て、状態認識情報が、「目の前に手のひらが差し出され
た」ことを表しているときには、状態情報が、「お腹が
すいている」ことを表していても、また、「お腹がすい
ていない」ことを表していても、「ぷいと横を向く」よ
うな行動を行わせるための行動指令情報を生成し、これ
を、姿勢遷移機構部53に送出する。
憶部51から供給される状態情報が示す感情や、本能、
成長の状態に基づいて、遷移先のステートに対応する行
動のパラメータとしての、例えば、歩行の速度や、手足
を動かす際の動きの大きさおよび速度などを決定させる
ことができ、この場合、それらのパラメータを含む行動
指令情報が、姿勢遷移機構部53に送出される。
ように、ロボットの頭部や手足等を動作させる行動指令
情報の他、ロボットに発話を行わせる行動指令情報も生
成される。ロボットに発話を行わせる行動指令情報は、
音声合成部55に供給されるようになっており、音声合
成部55に供給される行動指令情報には、音声合成部5
5に生成させる合成音に対応するテキスト等が含まれ
る。そして、音声合成部55は、行動決定部52から行
動指令情報を受信すると、その行動指令情報に含まれる
テキストに基づき、合成音を生成し、出力制御部57を
介して、スピーカ18に供給して出力させる。これによ
り、スピーカ18からは、例えば、ロボットの鳴き声、
さらには、「お腹がすいた」等のユーザへの各種の要
求、「何?」等のユーザの呼びかけに対する応答その他
の音声出力が行われる。
2から供給される行動指令情報に基づいて、ロボットの
姿勢を、現在の姿勢から次の姿勢に遷移させるための姿
勢遷移情報を生成し、これを制御機構部54に送出す
る。
勢は、例えば、胴体や手や足の形状、重さ、各部の結合
状態のようなロボットの物理的形状と、関節が曲がる方
向や角度のようなアクチュエータ3AA1乃至5A1およ
び5A2の機構とによって決定される。
直接遷移可能な姿勢と、直接には遷移できない姿勢とが
ある。例えば、4本足のロボットは、手足を大きく投げ
出して寝転んでいる状態から、伏せた状態へ直接遷移す
ることはできるが、立った状態へ直接遷移することはで
きず、一旦、手足を胴体近くに引き寄せて伏せた姿勢に
なり、それから立ち上がるという2段階の動作が必要で
ある。また、安全に実行できない姿勢も存在する。例え
ば、4本足のロボットは、その4本足で立っている姿勢
から、両前足を挙げてバンザイをしようとすると、簡単
に転倒してしまう。
移可能な姿勢をあらかじめ登録しておき、行動決定機構
部52から供給される行動指令情報が、直接遷移可能な
姿勢を示す場合には、その行動指令情報を、そのまま姿
勢遷移情報として、制御機構部54に送出する。一方、
行動指令情報が、直接遷移不可能な姿勢を示す場合に
は、姿勢遷移機構部53は、遷移可能な他の姿勢に一旦
遷移した後に、目的の姿勢まで遷移させるような姿勢遷
移情報を生成し、制御機構部54に送出する。これによ
りロボットが、遷移不可能な姿勢を無理に実行しようと
する事態や、転倒するような事態を回避することができ
るようになっている。
らの姿勢遷移情報にしたがって、アクチュエータ3AA
1乃至5A1および5A2を駆動するための制御信号を生
成し、これを、アクチュエータ3AA1乃至5A1および
5A2に送出する。これにより、アクチュエータ3AA1
乃至5A1および5A2は、制御信号にしたがって駆動
し、ロボットは、自律的に行動を起こす。
えられ、音声認識部50Aで音声認識される音声信号を
監視しており、その音声信号を復唱するような音声(以
下、適宜、エコーバック音声という)を生成して出力す
る。このエコーバック音声は、出力制御部57を介し
て、スピーカ18に供給されて出力される。
の合成音のディジタルデータと、エコーバック部56か
らのエコーバック音声のディジタルデータとが供給され
るようになっており、それらのディジタルデータを、ア
ナログの音声信号にD/A変換し、スピーカ18に供給
して出力させる。また、出力制御部57は、音声合成部
55からの合成音と、エコーバック部56からのエコー
バック音声の、スピーカ18への出力が競合した場合
に、その競合を調整する。即ち、エコーバック部56か
らのエコーバック音声の出力は、行動決定機構部52の
制御にしたがって音声合成部55が行う合成音の出力と
は独立に行われるようになっており、このため、エコー
バック音声の出力と合成音の出力とは競合する場合があ
る。そこで、出力制御部57は、その競合の調停を行
う。
構成例を示している。
g Digital)変換部21に供給される。AD変換部21で
は、マイク15からのアナログ信号である音声信号がサ
ンプリング、量子化され、ディジタル信号である音声デ
ータにA/D変換される。この音声データは、特徴抽出
部22および音声区間検出部27に供給される。
データについて、適当なフレームごとに、例えば、MF
CC(Mel Frequency Cepstrum Coefficient)分析を行
い、その分析の結果得られるMFCCを、特徴パラメー
タ(特徴ベクトル)として、マッチング部23に出力す
る。なお、特徴抽出部22では、その他、例えば、線形
予測係数、ケプストラム係数、線スペクトル対、所定の
周波数帯域ごとのパワー(フィルタバンクの出力)等
を、特徴パラメータとして抽出することが可能である。
の特徴パラメータを用いて、音響モデル記憶部24、辞
書記憶部25、および文法記憶部26を必要に応じて参
照しながら、マイク15に入力された音声(入力音声)
を、例えば、連続分布HMM(Hidden Markov Model)法
に基づいて音声認識する。
する音声の言語における個々の音素や音節などの音響的
な特徴を表す音響モデルを記憶している。ここでは、連
続分布HMM法に基づいて音声認識を行うので、音響モ
デルとしては、HMM(Hidden Markov Model)が用いら
れる。辞書記憶部25は、認識対象の各単語について、
その発音に関する情報(音韻情報)が記述された単語辞
書を記憶している。文法記憶部26は、辞書記憶部25
の単語辞書に登録されている各単語が、どのように連鎖
する(つながる)かを記述した文法規則を記憶してい
る。ここで、文法規則としては、例えば、文脈自由文法
(CFG)や、統計的な単語連鎖確率(N−gram)
などに基づく規則を用いることができる。
語辞書を参照することにより、音響モデル記憶部24に
記憶されている音響モデルを接続することで、単語の音
響モデル(単語モデル)を構成する。さらに、マッチン
グ部23は、幾つかの単語モデルを、文法記憶部26に
記憶された文法規則を参照することにより接続し、その
ようにして接続された単語モデルを用いて、特徴パラメ
ータに基づき、連続分布HMM法によって、マイク15
に入力された音声を認識する。即ち、マッチング部23
は、特徴抽出部22が出力する時系列の特徴パラメータ
が観測されるスコア(尤度)が最も高い単語モデルの系
列を検出し、その単語モデルの系列に対応する単語列の
音韻情報(読み)を、音声の認識結果として出力する。
続された単語モデルに対応する単語列について、各特徴
パラメータの出現確率を累積し、その累積値をスコアと
して、そのスコアを最も高くする単語列の音韻情報を、
音声認識結果として出力する。
に入力された音声の認識結果は、状態認識情報として、
モデル記憶部51および行動決定機構部52に出力され
る。
21からの音声データについて、特徴抽出部22がMF
CC分析を行うのと同様のフレームごとに、例えば、パ
ワーを算出している。さらに、音声区間検出部27は、
各フレームのパワーを、所定の閾値と比較し、その閾値
以上のパワーを有するフレームで構成される区間を、ユ
ーザの音声が入力されている音声区間として検出する。
そして、音声区間検出部27は、検出した音声区間を、
特徴抽出部22とマッチング部23に供給しており、特
徴抽出部22とマッチング部23は、音声区間のみを対
象に処理を行う。
成例を示している。
52が出力する、音声合成の対象とするテキストを含む
行動指令情報が供給されるようになっており、テキスト
生成部31は、辞書記憶部34や生成用文法記憶部35
を参照しながら、その行動指令情報に含まれるテキスト
を解析する。
情報や、読み、アクセント等の情報が記述された単語辞
書が記憶されており、また、生成用文法記憶部35に
は、辞書記憶部34の単語辞書に記述された単語につい
て、単語連鎖に関する制約等の生成用文法規則が記憶さ
れている。そして、テキスト生成部31は、この単語辞
書および生成用文法規則に基づいて、そこに入力される
テキストの形態素解析や構文解析等の解析を行い、後段
の規則合成部32で行われる規則音声合成に必要な情報
を抽出する。ここで、規則音声合成に必要な情報として
は、例えば、ポーズの位置や、アクセントおよびイント
ネーションを制御するための情報その他の韻律情報や、
各単語の発音等の音韻情報などがある。
則合成部32に供給され、規則合成部32では、音素片
記憶部36を参照しながら、テキスト生成部31に入力
されたテキストに対応する合成音の音声データ(ディジ
タルデータ)が生成される。
V(Consonant, Vowel)や、VCV、CVC等の形で音素
片データが記憶されており、規則合成部32は、テキス
ト生成部31からの情報に基づいて、必要な音素片デー
タを接続し、さらに、音素片データの波形を加工するこ
とによって、ポーズ、アクセント、イントネーション等
を適切に付加し、これにより、テキスト生成部31に入
力されたテキストに対応する合成音の音声データを生成
する。
は、出力制御部57(図3)を介して、スピーカ18に
供給され、これにより、スピーカ18からは、テキスト
生成部31に入力されたテキストに対応する合成音が出
力される。
述したように、行動モデルに基づいて、次の行動が決定
されるが、合成音として出力するテキストの内容は、ロ
ボットの行動と対応付けておくことが可能である。
ら、立った状態になる行動には、テキスト「よっこいし
ょ」などを対応付けておくことが可能である。この場
合、ロボットが、座っている姿勢から、立つ姿勢に移行
するときに、その姿勢の移行に同期して、合成音「よっ
こいしょ」を出力することが可能となる。
図3の出力制御部57の処理(出力制御処理)について
説明する。
合成音を受信すると、エコーバック部56からエコーバ
ック音声を受信していない限り、音声合成部55からの
合成音を、スピーカ18に供給して出力させる。
部56からエコーバック音声を受信した場合、図6のフ
ローチャートにしたがった出力制御処理を行う。
56からエコーバック音声を受信した場合、まず最初
に、ステップS1において、音声合成部55から合成音
が出力されているかどうかを判定し、出力されていない
と判定された場合、ステップS2に進み、エコーバック
部56から受信したエコーバック音声を、スピーカ18
に供給して出力させ、処理を終了する。
55から合成音が出力されていると判定された場合、即
ち、音声合成部55からの合成音の出力と、エコーバッ
ク部56からのエコーバック音声の出力とが競合した場
合、ステップS3に進み、出力制御部57は、エコーバ
ック音声の出力を制限し、音声合成部55からの合成音
を、スピーカ18に供給して、出力させ、処理を終了す
る。
の出力中に、音声合成部55から合成音と受信した場
合、エコーバック音声の出力を中止し、音声合成部55
からの合成音の出力を優先させる。
成部55からの合成音の出力と、エコーバック部56か
らのエコーバック音声の出力とが競合した場合、音声合
成部55からの合成音の出力を優先させる。これは、音
声合成部55からの合成音の出力が、行動決定機構部5
2からの行動指令情報に基づくものであり、ロボットの
行動であるのに対して、エコーバック音声の出力は、ユ
ーザの発話を復唱するものであることから、音声合成部
55からの合成音の方が、エコーバック音声に比較し
て、ユーザに対する重要度が高いと考えられるためであ
る。
ーバック音声の出力を、音声合成部55からの合成音の
出力より優先させることも可能であるし、また、例え
ば、エコーバック音声と、音声合成部55からの合成音
のうち、先に受信した方の出力を優先させるようにする
こと等も可能である。
の構成例を示している。
41に供給される。AD変換部41では、マイク15か
らのアナログ信号である音声信号がサンプリング、量子
化され、ディジタル信号である音声データにA/D変換
される。この音声データは、韻律分析部42および音声
区間検出部46に供給される。
データを、適当なフレームごとに音響分析することによ
り、例えば、ピッチ周波数やパワー等といった音声デー
タの韻律情報を抽出する。この韻律情報は、音生成部4
3に供給される。
一般的なピッチ周期よりも長い32ms等を1フレーム
として、AD変換部41からの音声データのピッチ周波
数とパワーを、フレーム単位で求める。
ームのパワーP(j)を、次式にしたがって求める。
からi番目の音声データのサンプル値を表し、Σは、第
jフレームの音声データのサンプルすべてについてのサ
メーションを表す。
音声データのサンプルについて、自己相関値を演算し、
その自己相関値を最大にする、0でないずれ量(時間)
τを求めて、次式により、第jフレームのピッチ周波数
f(j)を演算する。
律情報に基づいて、韻律を制御したエコーバック音声を
生成する。
部42からの韻律情報と同一の韻律を有する、音韻のな
い音声(以下、適宜、無音韻音声という)を、サイン(s
in)波を重畳することにより生成し、エコーバック音声
として、出力部44に供給する。
周波数とパワーから音声データを生成する方法について
は、例えば、鈴木、石井、竹内、「非分節音による反響
的な模倣とその心理的影響」、情報処理学会論文誌、vo
l.41,No.5,pp1328-1337,May,2000や、特開2000-181896
号公報等に、その一例が記載されている。
バック音声のデータを、メモリ45に記憶させるととも
に、出力制御部57(図3)に出力する。
らの音声データについて、図4の音声区間検出部27に
おける場合と同様の処理を行うことにより、音声区間を
検出し、韻律分析部42と音生成部43に供給する。こ
れにより、韻律分析部42と音生成部43では、音声区
間のみを対象に処理が行われる。
間検出部46と、図4のAD変換部21または音声区間
検出部27とは、それぞれ兼用することが可能である。
6では、例えば、図8のフローチャートにしたがったエ
コーバック処理が行われる。
て、音声区間検出部46が、AD変換部41の出力に基
づいて、音声区間であるかどうかを判定し、音声区間で
ないと判定した場合、処理を終了し、再度、ステップS
11からのエコーバック処理を再開する。
であると判定された場合、即ち、マイク15に、ユーザ
の音声が入力された場合、ステップS12に進み、韻律
分析部42は、AD変換部41の出力、即ち、マイク1
5に入力されたユーザの音声を音響分析することによ
り、その韻律情報を取得し、音生成部43に供給する。
て、韻律分析部42からの韻律情報と同一の韻律を有す
る無音韻音声を生成し、エコーバック音声として、出力
部44に供給する。
音生成部43からのエコーバック音声のデータを、メモ
リ45に記憶させ、ステップS15に進み、そのエコー
バック音声を、出力制御部57(図3)に出力して、処
理を終了する。
御部57を介して、スピーカ18に供給されて出力され
る。
ユーザが発した音声から、その音韻を無くしたものが、
エコーバック音声として出力される。
Aにおいて音声認識の対象とされるユーザの音声を復唱
するようなものであり、このようなエコーバック音声が
出力される結果、ユーザは、エコーバック音声を聴くこ
とにより、ロボットにおいて、自身の音声が受け付けら
れたことを認識することができる。従って、ロボット
が、ユーザからの音声に対する応答として、何の行動も
起こさない場合(音声認識部50Aにおいて、ユーザの
音声が正しく認識されている場合と、誤って認識されて
いる場合の両方を含む)であっても、ユーザにおいて、
ロボットが故障しているといったような勘違いをするこ
と等を防止することができる。
した音声そのものではなく、その音声の音韻をなくした
ものであるため、ユーザには、ロボットが、ユーザの音
声を理解し、自身の声で復唱しているかのように聞こえ
る。また、エコーバック音声は、ユーザが発した音声と
同一の韻律を有することから、その韻律から得られる感
情を表現するようなものとなっており、その結果、ユー
ザには、ロボットが、ユーザの感情を理解しているかの
ように聞こえる。従って、ロボットにおいて、ユーザの
音声を、単に録音して再生しているのではなく、理解し
ているかのような印象を、ユーザに与えることができ
る。
サイン波を重畳することによって、エコーバック音声を
生成するようにしたが、その他、例えば、エコーバック
音声は、ロボットの鳴き声となるような複雑な波形を用
意しておき、その波形をつなぎ合わせることによって生
成することが可能である。さらに、エコーバック音声と
しては、例えば、ユーザの音声を構成する音素を認識
し、その音素列によって構成される音韻を有するような
ものを生成することが可能である。また、エコーバック
音声は、例えば、ユーザの音声について、ケプストラム
係数を得て、そのケプストラム係数をタップ係数とする
ディジタルフィルタによって生成すること等も可能であ
る。
に似過ぎると、ロボットにおいて、ユーザの音声を、単
に録音して再生しているかのような、いわば興ざめした
印象を、ユーザに与えかねないので、エコーバック音声
は、ユーザの音声に、あまり似たものにしない方が望ま
しい。
いて、ユーザの音声の韻律と同一の韻律を有するエコー
バック音声を生成するようにしたが、音生成部43に
は、ユーザの音声の韻律に加工を加えた韻律を有するエ
コーバック音声を生成させることも可能である。
分析部42において、第jフレームのパワーP(j)と
ピッチ周波数f(j)が求められる場合には、音生成部
43では、そのパワーP(j)とピッチ周波数f(j)
を用い、例えば、次式にしたがって、エコーバック音声
y(t)を生成することができる。
対して、そのパワーP(j)を対数によって非線形に
し、かつ、ピッチ周波数f(j)をN倍にしたエコーバ
ック音声y(t)が生成される。
た場合に、鳴き声らしく、かつ聞きやすいエコーバック
音声が得られる。
声の音声区間と同一の時間長のエコーバック音声が出力
されることとなるが、エコーバック音声は、ユーザの音
声の音声区間と同一の時間長ではなく、異なる時間長と
することが可能である。
コーバック音声を生成する場合においては、パワーP
(j)やピッチ周波数f(j)を補間または間引きする
こと等によって、ユーザの音声の音声区間よりも長いま
たは短い時間長のエコーバック音声を生成するようにす
ることが可能である。
ユーザの音声の音声区間の、例えば、3/2倍等の、長
めの時間長にする方が、ユーザに自然な感じを与えるも
のとなる。
いては、メモリ45に、エコーバック音声が記憶される
ようになっており、出力部44は、このメモリ45に記
憶されたエコーバック音声を、必要に応じて読み出して
出力する再エコーバック処理を行う。
ローチャートに示すように、出力部44は、ステップS
21において、所定のイベントが生じたかどうかを判定
し、生じていないと判定した場合、ステップS21に戻
る。
ベントが生じたと判定された場合、ステップS22に進
み、出力部44は、メモリ45に記憶された所定のエコ
ーバック音声のデータを読み出し、出力制御部57を介
して、スピーカ18に供給して、ステップS21に戻
る。
定のイベントが生じた場合に、メモリ45に記憶された
所定のエコーバック音声が、スピーカ18から出力され
る。
ば、ある値を設定しておき、乱数を発生させて、その乱
数が、設定した値に一致した場合や、外部からの入力が
ない状態が、所定の時間連続した場合等を採用すること
ができる。この場合、ユーザからすれば、ロボットに対
して、何の刺激も与えていないのに、ロボットが、突然
喋りだしたように見えるので、ロボットのエンタテイメ
ント性を向上させることができる。
のデータを、行動決定機構部52が出力する所定の行動
指令情報と対応付けて記憶させておき、行動決定機構部
52が行動指令情報を出力した場合に、その行動指令情
報に対応付けられているエコーバック音声を、メモリ4
5から読み出すようにすることも可能である。この場
合、行動決定機構部52が出力する行動指令情報に対応
する行動に同期して、その行動指令情報に対応付けられ
ているエコーバック音声が出力されることになる。
構成例を示している。なお、図中、図3における場合と
対応する部分については、同一の符号を付してあり、以
下では、その説明は、適宜省略する。即ち、図10のコ
ントローラ10は、エコーバック部56において、モデ
ル記憶部51に記憶されたモデルが参照可能になってい
る他は、図3における場合と同様に構成されている。
構成される場合には、エコーバック部56の音生成部4
3において、図7に点線で示すように、モデル記憶部5
1に記憶された感情モデルや、本能モデル、成長モデル
が参照される。
本能モデル、成長モデルによって表されるロボットの感
情や、本能、成長の状態に基づいて、ユーザの音声から
抽出した韻律を制御したエコーバック音声を生成する。
の喜びの度合い、または悲しみの度合いが大きい場合に
は、その度合いに応じて、ピッチ周波数が高い、または
低いエコーバック音声をそれぞれ生成する。また、音生
成部43は、例えば、ロボットの怒りの度合いが大きい
場合には、その度合いに応じて、発話時間の短いエコー
バック音声を生成する。その他、音生成部43には、例
えば、成長の度合いが高い場合には、語尾のピッチ周波
数を高くして、質問を行うようなエコーバック音声を生
成させること等が可能であり、この場合、ユーザに、次
の発話を促すことができる。
バック処理において、乱数や外部からの入力等を、所定
のイベントとして、メモリ45に記憶された所定のエコ
ーバック音声を再生するようにしたが、図10の実施の
形態のように、エコーバック部56の音生成部43にお
いて、モデル記憶部51に記憶された感情モデルや、本
能モデル、成長モデルを参照する場合には、音生成部4
3で生成されたエコーバック音声を、そのエコーバック
音声が生成されたときの感情モデル等の値と対応付け
て、メモリ45に記憶しておき、モデル記憶部51に記
憶された感情モデル等の値が、メモリ45に記憶された
ものと一致したことを、所定のイベントとして、その一
致した感情モデル等の値と対応付けられているエコーバ
ック音声を、メモリ45から再生して出力するようにす
ることが可能である。
メモリ45に記憶されたエコーバック音声は、感情モデ
ル等の値が、そのエコーバック音声が過去に再生された
ときのものと同一になったときに再生されることとなる
から、ロボットは、ある感情等の状態になると、同一の
エコーバック音声を出力することとなる。そして、その
結果、ユーザは、そのようなエコーバック音声を聴くこ
とによって、ロボットの感情等の状態を把握することが
可能となるので、ユーザとロボットとの間で、いわば、
感情等を共有することが可能となる。
7とは、それらの間で通信を行うように構成することが
でき、この場合、行動決定機構部52には、出力制御部
57からスピーカ18に音声データが出力されるとき
に、下顎部4A(図1)を動かすアクチュエータを駆動
する行動指令情報を生成させるようにすることができ
る。この場合、スピーカ18からの音声出力に同期し
て、下顎部4Aが動くので、ユーザに、ロボットが実際
に喋っているかのような印象を与えることができる。
4Aの動きを、出力制御部57からスピーカ18に出力
される音声データの、例えば、パワー等の韻律情報に基
づいて制御することが可能である。即ち、例えば、音声
データのパワーが大の場合には、下顎部4Aの動きを大
きくし、これにより、ロボットの口の開き具合を大きく
する一方、音声データのパワーが小の場合には、下顎部
4Aの動きを小さくし、これにより、ロボットの口の開
き具合を小さくすることが可能である。この場合、スピ
ーカ18から出力される音の大きさに対応して、ロボッ
トの口の開き具合が変化するので、ロボットの喋り方
に、よりリアリティをもたせることができる。
ロボット(疑似ペットとしてのロボット)に適用した場
合について説明したが、本発明は、これに限らず、例え
ば、産業用のロボット等の各種のロボットに広く適用す
ることが可能である。また、本発明は、現実世界のロボ
ットだけでなく、例えば、液晶ディスプレイ等の表示装
置に表示される仮想的なロボットにも適用可能である。
た一連の処理を、CPU10Aにプログラムを実行させ
ることにより行うようにしたが、一連の処理は、それ専
用のハードウェアによって行うことも可能である。
0B(図2)に記憶させておく他、フロッピー(登録商
標)ディスク、CD-ROM(Compact Disc Read Only Memor
y),MO(Magneto optical)ディスク,DVD(Digital Versa
tile Disc)、磁気ディスク、半導体メモリなどのリムー
バブル記録媒体に、一時的あるいは永続的に格納(記
録)しておくことができる。そして、このようなリムー
バブル記録媒体を、いわゆるパッケージソフトウエアと
して提供し、ロボット(メモリ10B)にインストール
するようにすることができる。
から、ディジタル衛星放送用の人工衛星を介して、無線
で転送したり、LAN(Local Area Network)、インターネ
ットといったネットワークを介して、有線で転送し、メ
モリ10Bにインストールすることができる。
されたとき等に、そのバージョンアップされたプログラ
ムを、メモリ10Bに、容易にインストールすることが
できる。
に各種の処理を行わせるためのプログラムを記述する処
理ステップは、必ずしもフローチャートとして記載され
た順序に沿って時系列に処理する必要はなく、並列的あ
るいは個別に実行される処理(例えば、並列処理あるい
はオブジェクトによる処理)も含むものである。
理されるものであっても良いし、複数のCPUによって
分散処理されるものであっても良い。
ト制御方法、並びにプログラムによれば、音声認識され
るユーザの音声の韻律情報が分析され、その韻律情報に
基づいて、韻律を制御した音声データである韻律制御音
声データが生成されて出力される。従って、ユーザは、
韻律制御音声データを聴くことにより、ロボットにおい
て、自身の音声が受け付けられたことを認識することが
できる。
観構成例を示す斜視図である。
る。
ク図である。
ある。
る。
トである。
である。
説明するフローチャートである。
を説明するフローチャートである。
ブロック図である。
ーラ, 10A CPU, 10B メモリ, 15
マイク, 16 CCDカメラ, 17 タッチセン
サ, 18 スピーカ, 21 AD変換部, 22
特徴抽出部, 23 マッチング部, 24 音響モデ
ル記憶部, 25 辞書記憶部, 26文法記憶部,
27 音声区間検出部, 31 テキスト生成部, 3
2 規則合成部, 34 辞書記憶部, 35 生成用
文法記憶部, 36 音素片記憶部, 41 AD変換
部, 42 韻律分析部, 43 音生成部, 44
出力部, 45 メモリ, 46 音声区間検出部,
50 センサ入力処理部,50A 音声認識部, 50
B 画像認識部, 50C 圧力処理部, 51モデル
記憶部, 52 行動決定機構部, 53 姿勢遷移機
構部, 54制御機構部, 55 音声合成部, 56
エコーバック部, 57 出力制御部
Claims (10)
- 【請求項1】 少なくとも音声認識結果に基づいて行動
するロボットを制御するロボット制御装置であって、 音声認識されるユーザの音声の韻律情報を分析する分析
手段と、 前記韻律情報に基づいて、韻律を制御した音声データで
ある韻律制御音声データを生成する生成手段と、 前記韻律制御音声データの出力を制御する出力制御手段
とを備えることを特徴とするロボット制御装置。 - 【請求項2】 前記生成手段は、音韻のない前記韻律制
御音声データを生成することを特徴とする請求項1に記
載のロボット制御装置。 - 【請求項3】 前記ロボットの感情、本能、または成長
の状態を表すモデルを記憶するモデル記憶手段をさらに
備え、 前記生成手段は、前記モデル記憶手段に記憶されたモデ
ルが表す前記ロボットの感情、本能、または成長の状態
にも基づいて、前記韻律制御音声データを生成すること
を特徴とする請求項1に記載のロボット制御装置。 - 【請求項4】 前記韻律制御音声データを記憶するデー
タ記憶手段をさらに備え、 前記出力制御手段は、所定のイベントが生じたときに、
前記データ記憶手段に記憶された韻律制御音声データを
出力することを特徴とする請求項1に記載のロボット制
御装置。 - 【請求項5】 前記ロボットの行動を制御する行動制御
手段をさらに備え、 前記出力制御手段は、前記行動制御手段による制御によ
って、音声の出力が行われる場合に、前記韻律制御音声
データの出力を制限することを特徴とする請求項1に記
載のロボット制御装置。 - 【請求項6】 前記韻律制御音声データの出力に同期し
て、前記ロボットに、その口部を動かす行動をとらせる
行動制御手段をさらに備えることを特徴とする請求項1
に記載のロボット制御装置。 - 【請求項7】 前記行動制御手段は、前記韻律制御音声
データに基づいて、前記ロボットの口部の動き具合を制
御することを特徴とする請求項6に記載のロボット制御
装置。 - 【請求項8】 少なくとも音声認識結果に基づいて行動
するロボットを制御するロボット制御方法であって、 音声認識されるユーザの音声の韻律情報を分析する分析
ステップと、 前記韻律情報に基づいて、韻律を制御した音声データで
ある韻律制御音声データを生成する生成ステップと、 前記韻律制御音声データの出力を制御する出力制御ステ
ップとを備えることを特徴とするロボット制御方法。 - 【請求項9】 少なくとも音声認識結果に基づいて行動
するロボットを制御するロボット制御処理を、コンピュ
ータに行わせるプログラムが記録されている記録媒体で
あって、 音声認識されるユーザの音声の韻律情報を分析する分析
ステップと、 前記韻律情報に基づいて、韻律を制御した音声データで
ある韻律制御音声データを生成する生成ステップと、 前記韻律制御音声データの出力を制御する出力制御ステ
ップとを備えるプログラムが記録されていることを特徴
とする記録媒体。 - 【請求項10】 少なくとも音声認識結果に基づいて行
動するロボットを制御するロボット制御処理を、コンピ
ュータに行わせるプログラムであって、 音声認識されるユーザの音声の韻律情報を分析する分析
ステップと、 前記韻律情報に基づいて、韻律を制御した音声データで
ある韻律制御音声データを生成する生成ステップと、 前記韻律制御音声データの出力を制御する出力制御ステ
ップとを備えることを特徴とするプログラム。
Priority Applications (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001016872A JP4296714B2 (ja) | 2000-10-11 | 2001-01-25 | ロボット制御装置およびロボット制御方法、記録媒体、並びにプログラム |
TW090124423A TW586056B (en) | 2000-10-11 | 2001-10-03 | Robot control device, robot control method, and recording medium |
KR1020027007445A KR100814569B1 (ko) | 2000-10-11 | 2001-10-10 | 로봇 제어 장치 |
US10/148,914 US7203642B2 (en) | 2000-10-11 | 2001-10-10 | Robot control apparatus and method with echo back prosody |
EP01976657A EP1326230B1 (en) | 2000-10-11 | 2001-10-10 | Robot control apparatus |
PCT/JP2001/008898 WO2002031810A1 (fr) | 2000-10-11 | 2001-10-10 | Appareil de commande de robot |
CNB018031005A CN1187734C (zh) | 2000-10-11 | 2001-10-10 | 机器人控制设备 |
DE60142842T DE60142842D1 (de) | 2000-10-11 | 2001-10-10 | Robotersteuergerät |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000-310015 | 2000-10-11 | ||
JP2000310015 | 2000-10-11 | ||
JP2001016872A JP4296714B2 (ja) | 2000-10-11 | 2001-01-25 | ロボット制御装置およびロボット制御方法、記録媒体、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002189488A true JP2002189488A (ja) | 2002-07-05 |
JP4296714B2 JP4296714B2 (ja) | 2009-07-15 |
Family
ID=26601837
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001016872A Expired - Fee Related JP4296714B2 (ja) | 2000-10-11 | 2001-01-25 | ロボット制御装置およびロボット制御方法、記録媒体、並びにプログラム |
Country Status (8)
Country | Link |
---|---|
US (1) | US7203642B2 (ja) |
EP (1) | EP1326230B1 (ja) |
JP (1) | JP4296714B2 (ja) |
KR (1) | KR100814569B1 (ja) |
CN (1) | CN1187734C (ja) |
DE (1) | DE60142842D1 (ja) |
TW (1) | TW586056B (ja) |
WO (1) | WO2002031810A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005300692A (ja) * | 2004-04-07 | 2005-10-27 | Sony Corp | ロボットの行動制御システム及び行動制御方法、並びにロボット装置 |
JP2011009231A (ja) * | 2000-12-28 | 2011-01-13 | Semiconductor Energy Lab Co Ltd | 発光装置の作製方法 |
JP2017087344A (ja) * | 2015-11-10 | 2017-05-25 | 株式会社国際電気通信基礎技術研究所 | アンドロイドロボットの制御システム、装置、プログラムおよび方法 |
Families Citing this family (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7401020B2 (en) * | 2002-11-29 | 2008-07-15 | International Business Machines Corporation | Application of emotion-based intonation and prosody to speech in text-to-speech systems |
TWI280481B (en) * | 2002-05-14 | 2007-05-01 | Koninkl Philips Electronics Nv | A device for dialog control and a method of communication between a user and an electric apparatus |
US8768701B2 (en) * | 2003-01-24 | 2014-07-01 | Nuance Communications, Inc. | Prosodic mimic method and apparatus |
JP4244812B2 (ja) * | 2004-01-16 | 2009-03-25 | ソニー株式会社 | 行動制御システム及びロボット装置の行動制御方法 |
WO2005119650A1 (ja) * | 2004-06-04 | 2005-12-15 | Matsushita Electric Industrial Co., Ltd. | 音声合成装置 |
JP4483450B2 (ja) * | 2004-07-22 | 2010-06-16 | 株式会社デンソー | 音声案内装置、音声案内方法およびナビゲーション装置 |
US7599838B2 (en) * | 2004-09-01 | 2009-10-06 | Sap Aktiengesellschaft | Speech animation with behavioral contexts for application scenarios |
US8000837B2 (en) | 2004-10-05 | 2011-08-16 | J&L Group International, Llc | Programmable load forming system, components thereof, and methods of use |
JP4406615B2 (ja) * | 2005-02-23 | 2010-02-03 | 任天堂株式会社 | コマンド処理装置およびコマンド処理プログラム |
US7689423B2 (en) * | 2005-04-13 | 2010-03-30 | General Motors Llc | System and method of providing telematically user-optimized configurable audio |
WO2007017853A1 (en) * | 2005-08-08 | 2007-02-15 | Nice Systems Ltd. | Apparatus and methods for the detection of emotions in audio interactions |
US7697827B2 (en) | 2005-10-17 | 2010-04-13 | Konicek Jeffrey C | User-friendlier interfaces for a camera |
US20080032701A1 (en) * | 2006-08-01 | 2008-02-07 | Roberto Johann | Handphone holder |
JP5366169B2 (ja) * | 2006-11-30 | 2013-12-11 | 独立行政法人産業技術総合研究所 | 音声認識システム及び音声認識システム用プログラム |
CN101224343B (zh) * | 2007-01-19 | 2011-08-24 | 鸿富锦精密工业(深圳)有限公司 | 类生物及其部件控制模块 |
KR100911725B1 (ko) | 2007-08-09 | 2009-08-10 | 한국과학기술원 | 언어청정로봇 |
US20100181943A1 (en) * | 2009-01-22 | 2010-07-22 | Phan Charlie D | Sensor-model synchronized action system |
US20120004910A1 (en) * | 2009-05-07 | 2012-01-05 | Romulo De Guzman Quidilig | System and method for speech processing and speech to text |
JP2011033680A (ja) * | 2009-07-30 | 2011-02-17 | Sony Corp | 音声処理装置及び方法、並びにプログラム |
US20110070805A1 (en) * | 2009-09-18 | 2011-03-24 | Steve Islava | Selectable and Recordable Laughing Doll |
WO2011080855A1 (ja) * | 2009-12-28 | 2011-07-07 | 三菱電機株式会社 | 音声信号復元装置および音声信号復元方法 |
TWI416289B (zh) * | 2010-05-28 | 2013-11-21 | Compal Communications Inc | 自動機械裝置及其控制方法 |
KR101234289B1 (ko) | 2011-02-28 | 2013-02-18 | 동명대학교산학협력단 | 서비스 로봇을 위한 맥락적 상호작용이 가능한 인지 시스템 및 그 방법 |
KR101221188B1 (ko) | 2011-04-26 | 2013-01-10 | 한국과학기술원 | 감정 음성 합성 기능을 가지는 보조 로봇 및 보조 로봇용 감정 음성 합성 방법 및 기록 매체 |
US8924011B2 (en) * | 2012-04-03 | 2014-12-30 | Knu-Industry Cooperation Foundation | Intelligent robot apparatus responsive to environmental change and method of controlling and reconfiguring intelligent robot apparatus |
CN103543979A (zh) * | 2012-07-17 | 2014-01-29 | 联想(北京)有限公司 | 一种输出语音的方法、语音交互的方法及电子设备 |
US9443515B1 (en) * | 2012-09-05 | 2016-09-13 | Paul G. Boyce | Personality designer system for a detachably attachable remote audio object |
US20140122082A1 (en) * | 2012-10-29 | 2014-05-01 | Vivotext Ltd. | Apparatus and method for generation of prosody adjusted sound respective of a sensory signal and text-to-speech synthesis |
JP2014240884A (ja) * | 2013-06-11 | 2014-12-25 | 株式会社東芝 | コンテンツ作成支援装置、方法およびプログラム |
US9310800B1 (en) * | 2013-07-30 | 2016-04-12 | The Boeing Company | Robotic platform evaluation system |
WO2016014970A1 (en) * | 2014-07-24 | 2016-01-28 | Harman International Industries, Incorporated | Text rule based multi-accent speech recognition with single acoustic model and automatic accent detection |
US20180009118A1 (en) * | 2015-02-17 | 2018-01-11 | Nec Corporation | Robot control device, robot, robot control method, and program recording medium |
JP6739907B2 (ja) * | 2015-06-18 | 2020-08-12 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 機器特定方法、機器特定装置及びプログラム |
US20170282383A1 (en) * | 2016-04-04 | 2017-10-05 | Sphero, Inc. | System for content recognition and response action |
JP6517762B2 (ja) * | 2016-08-23 | 2019-05-22 | ファナック株式会社 | 人とロボットが協働して作業を行うロボットの動作を学習するロボットシステム |
WO2018183347A1 (en) | 2017-03-27 | 2018-10-04 | Pacific Cycle, Llc | Interactive ride-on toy apparatus |
JP6526098B2 (ja) | 2017-04-26 | 2019-06-05 | ファナック株式会社 | ロボットを操作するための操作装置、ロボットシステム、および操作方法 |
US11633863B2 (en) | 2018-04-06 | 2023-04-25 | Digital Dream Labs, Llc | Condition-based robot audio techniques |
US11450306B2 (en) | 2020-04-09 | 2022-09-20 | ROVl GUIDES, INC. | Systems and methods for generating synthesized speech responses to voice inputs by training a neural network model based on the voice input prosodic metrics and training voice inputs |
KR102295836B1 (ko) * | 2020-11-20 | 2021-08-31 | 오로라월드 주식회사 | 성장형 스마트 토이 장치 및 스마트 토이 시스템 |
JP7192905B2 (ja) * | 2021-03-16 | 2022-12-20 | カシオ計算機株式会社 | 制御装置、制御方法及びプログラム |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS59121097A (ja) * | 1982-12-28 | 1984-07-12 | 株式会社東芝 | 音声認識装置 |
US4896357A (en) * | 1986-04-09 | 1990-01-23 | Tokico Ltd. | Industrial playback robot having a teaching mode in which teaching data are given by speech |
US5045327A (en) * | 1987-06-24 | 1991-09-03 | Sound Memory Corporation | Digital recording and playback module system |
JPH0437997A (ja) | 1990-06-01 | 1992-02-07 | Matsushita Electric Ind Co Ltd | 電子レジスタ |
US5860064A (en) * | 1993-05-13 | 1999-01-12 | Apple Computer, Inc. | Method and apparatus for automatic generation of vocal emotion in a synthetic text-to-speech system |
JP3254994B2 (ja) | 1995-03-01 | 2002-02-12 | セイコーエプソン株式会社 | 音声認識対話装置および音声認識対話処理方法 |
JPH0962480A (ja) * | 1995-08-25 | 1997-03-07 | Casio Comput Co Ltd | 音声出力装置 |
JPH09152884A (ja) * | 1995-11-30 | 1997-06-10 | Fujitsu Ten Ltd | 音声合成装置 |
US6572431B1 (en) * | 1996-04-05 | 2003-06-03 | Shalong Maa | Computer-controlled talking figure toy with animated features |
JPH10111786A (ja) * | 1996-10-03 | 1998-04-28 | Sharp Corp | リズム制御対話装置 |
US5933805A (en) * | 1996-12-13 | 1999-08-03 | Intel Corporation | Retaining prosody during speech analysis for later playback |
JPH10260692A (ja) * | 1997-03-18 | 1998-09-29 | Toshiba Corp | 音声の認識合成符号化/復号化方法及び音声符号化/復号化システム |
US6336092B1 (en) * | 1997-04-28 | 2002-01-01 | Ivl Technologies Ltd | Targeted vocal transformation |
US6173260B1 (en) * | 1997-10-29 | 2001-01-09 | Interval Research Corporation | System and method for automatic classification of speech based upon affective content |
US6604980B1 (en) * | 1998-12-04 | 2003-08-12 | Realityworks, Inc. | Infant simulator |
CA2296119A1 (en) * | 1998-04-16 | 1999-10-28 | Creator Ltd. | Interactive toy |
US6173250B1 (en) * | 1998-06-03 | 2001-01-09 | At&T Corporation | Apparatus and method for speech-text-transmit communication over data networks |
JP2000029492A (ja) * | 1998-07-09 | 2000-01-28 | Hitachi Ltd | 音声翻訳装置、音声翻訳方法、音声認識装置 |
JP2000135186A (ja) | 1998-10-30 | 2000-05-16 | Ym Creation:Kk | 掃除玩具 |
WO2000040377A1 (fr) * | 1999-01-07 | 2000-07-13 | Sony Corporation | Appareil de type machine, procede d'actionnement de celui-ci et support enregistre |
JP2000259601A (ja) * | 1999-03-05 | 2000-09-22 | Masami Kato | 会話装置および方法 |
JP2000254359A (ja) * | 1999-03-05 | 2000-09-19 | Casio Comput Co Ltd | 音声変換機能を備えた電子機器 |
US6505155B1 (en) * | 1999-05-06 | 2003-01-07 | International Business Machines Corporation | Method and system for automatically adjusting prompt feedback based on predicted recognition accuracy |
JP3212578B2 (ja) * | 1999-06-30 | 2001-09-25 | インタロボット株式会社 | 身体的音声反応玩具 |
US6663393B1 (en) * | 1999-07-10 | 2003-12-16 | Nabil N. Ghaly | Interactive play device and method |
US6463412B1 (en) * | 1999-12-16 | 2002-10-08 | International Business Machines Corporation | High performance voice transformation apparatus and method |
US6795808B1 (en) * | 2000-10-30 | 2004-09-21 | Koninklijke Philips Electronics N.V. | User interface/entertainment device that simulates personal interaction and charges external database with relevant data |
US6996528B2 (en) * | 2001-08-03 | 2006-02-07 | Matsushita Electric Industrial Co., Ltd. | Method for efficient, safe and reliable data entry by voice under adverse conditions |
-
2001
- 2001-01-25 JP JP2001016872A patent/JP4296714B2/ja not_active Expired - Fee Related
- 2001-10-03 TW TW090124423A patent/TW586056B/zh not_active IP Right Cessation
- 2001-10-10 CN CNB018031005A patent/CN1187734C/zh not_active Expired - Fee Related
- 2001-10-10 KR KR1020027007445A patent/KR100814569B1/ko not_active IP Right Cessation
- 2001-10-10 US US10/148,914 patent/US7203642B2/en not_active Expired - Fee Related
- 2001-10-10 EP EP01976657A patent/EP1326230B1/en not_active Expired - Lifetime
- 2001-10-10 WO PCT/JP2001/008898 patent/WO2002031810A1/ja active Application Filing
- 2001-10-10 DE DE60142842T patent/DE60142842D1/de not_active Expired - Lifetime
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011009231A (ja) * | 2000-12-28 | 2011-01-13 | Semiconductor Energy Lab Co Ltd | 発光装置の作製方法 |
JP2011044439A (ja) * | 2000-12-28 | 2011-03-03 | Semiconductor Energy Lab Co Ltd | 発光装置の作製方法 |
JP4694649B2 (ja) * | 2000-12-28 | 2011-06-08 | 株式会社半導体エネルギー研究所 | 発光装置の作製方法 |
US8273583B2 (en) | 2000-12-28 | 2012-09-25 | Semiconductor Energy Laboratory Co., Ltd. | Method of manufacturing a light emitting device and thin film forming apparatus |
US8367439B2 (en) | 2000-12-28 | 2013-02-05 | Semiconductor Energy Laboratory Co., Ltd. | Method of manufacturing a light emitting device and thin film forming apparatus |
US8980660B2 (en) | 2000-12-28 | 2015-03-17 | Semiconductor Energy Laboratory Co., Ltd. | Method of manufacturing a light emitting device and thin film forming apparatus |
US9412948B2 (en) | 2000-12-28 | 2016-08-09 | Semiconductor Energy Laboratory Co., Ltd. | Method of manufacturing a light emitting device and thin film forming apparatus |
JP2005300692A (ja) * | 2004-04-07 | 2005-10-27 | Sony Corp | ロボットの行動制御システム及び行動制御方法、並びにロボット装置 |
JP4661074B2 (ja) * | 2004-04-07 | 2011-03-30 | ソニー株式会社 | 情報処理システム、情報処理方法、並びにロボット装置 |
US8145492B2 (en) | 2004-04-07 | 2012-03-27 | Sony Corporation | Robot behavior control system and method, and robot apparatus |
JP2017087344A (ja) * | 2015-11-10 | 2017-05-25 | 株式会社国際電気通信基礎技術研究所 | アンドロイドロボットの制御システム、装置、プログラムおよび方法 |
Also Published As
Publication number | Publication date |
---|---|
TW586056B (en) | 2004-05-01 |
EP1326230A4 (en) | 2006-07-12 |
DE60142842D1 (de) | 2010-09-30 |
WO2002031810A1 (fr) | 2002-04-18 |
KR20020067697A (ko) | 2002-08-23 |
CN1393010A (zh) | 2003-01-22 |
KR100814569B1 (ko) | 2008-03-17 |
EP1326230A1 (en) | 2003-07-09 |
US20030055653A1 (en) | 2003-03-20 |
US7203642B2 (en) | 2007-04-10 |
JP4296714B2 (ja) | 2009-07-15 |
CN1187734C (zh) | 2005-02-02 |
EP1326230B1 (en) | 2010-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4296714B2 (ja) | ロボット制御装置およびロボット制御方法、記録媒体、並びにプログラム | |
US7065490B1 (en) | Voice processing method based on the emotion and instinct states of a robot | |
JP2002268699A (ja) | 音声合成装置及び音声合成方法、並びにプログラムおよび記録媒体 | |
JP4687936B2 (ja) | 音声出力装置および音声出力方法、並びにプログラムおよび記録媒体 | |
JP2002358095A (ja) | 音声処理装置および音声処理方法、並びにプログラムおよび記録媒体 | |
US7233900B2 (en) | Word sequence output device | |
JP2002116792A (ja) | ロボット制御装置およびロボット制御方法、並びに記録媒体 | |
WO2002086861A1 (fr) | Processeur de langage | |
JP4587009B2 (ja) | ロボット制御装置およびロボット制御方法、並びに記録媒体 | |
JP2002268663A (ja) | 音声合成装置および音声合成方法、並びにプログラムおよび記録媒体 | |
JP2002258886A (ja) | 音声合成装置および音声合成方法、並びにプログラムおよび記録媒体 | |
JP2001154693A (ja) | ロボット制御装置およびロボット制御方法、並びに記録媒体 | |
JP4656354B2 (ja) | 音声処理装置および音声処理方法、並びに記録媒体 | |
JP2002304187A (ja) | 音声合成装置および音声合成方法、並びにプログラムおよび記録媒体 | |
JP2002311981A (ja) | 自然言語処理装置および自然言語処理方法、並びにプログラムおよび記録媒体 | |
JP2002189497A (ja) | ロボット制御装置およびロボット制御方法、記録媒体、並びにプログラム | |
JP2003271172A (ja) | 音声合成方法、音声合成装置、プログラム及び記録媒体、並びにロボット装置 | |
JP2003071762A (ja) | ロボット装置およびロボット制御方法、記録媒体、並びにプログラム | |
JP2002318590A (ja) | 音声合成装置および音声合成方法、並びにプログラムおよび記録媒体 | |
JP2002120177A (ja) | ロボット制御装置およびロボット制御方法、並びに記録媒体 | |
JP4742415B2 (ja) | ロボット制御装置およびロボット制御方法、並びに記録媒体 | |
JP2002318593A (ja) | 言語処理装置および言語処理方法、並びにプログラムおよび記録媒体 | |
JP2001212779A (ja) | 行動制御装置および行動制御方法、並びに記録媒体 | |
JP2003076398A (ja) | ロボット装置およびロボット制御方法、記録媒体、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050905 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090324 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090406 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120424 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130424 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140424 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |