JP2002189497A

JP2002189497A - ロボット制御装置およびロボット制御方法、記録媒体、並びにプログラム

Info

Publication number: JP2002189497A
Application number: JP2001016871A
Authority: JP
Inventors: Kazuo Ishii; 和夫石井; Jun Hiroi; 順広井; Wataru Onoki; 渡小野木; Takashi Toyoda; 崇豊田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2000-10-11
Filing date: 2001-01-25
Publication date: 2002-07-05

Abstract

(57)【要約】【課題】音声が受け付けられていることを、ユーザに
認識させる。【解決手段】マイク１５に入力されたユーザの音声
は、音声認識部５０Ａで音声認識され、行動決定機構部
５２は、その音声認識結果に基づいて、ロボットの次の
行動を決定する。一方、エコーバック部５６は、マイク
１５から与えられ、音声認識部５０Ａで音声認識される
音声信号から、ユーザの音声が入力されている音声区間
（時間）を検出するとともに、検出した時間に応じた、
その音声信号を復唱するような音声を生成して出力す
る。この音声は、出力制御部５７を介して、スピーカ１
８に供給されて出力される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ロボット制御装置
およびロボット制御方法、記録媒体、並びにプログラム
に関し、特に、例えば、音声認識装置による音声認識結
果に基づいて行動するロボットに用いて好適なロボット
制御装置およびロボット制御方法、記録媒体、並びにプ
ログラムに関する。

【０００２】

【従来の技術】近年においては、例えば、玩具等とし
て、ユーザが発した音声を音声認識し、その音声認識結
果に基づいて、ある仕草をしたり、合成音を出力する等
の行動を行うロボット（本明細書においては、ぬいぐる
み状のものを含む）が製品化されている。

【０００３】

【発明が解決しようとする課題】しかしながら、ロボッ
トにおいては、音声認識結果が得られても、何の行動も
起こさない場合があり、この場合、ユーザは、ロボット
において音声が認識されているのかどうか、あるいはロ
ボットが故障しているのかどうか不安になる。

【０００４】本発明は、このような状況に鑑みてなされ
たものであり、ロボットにおいて、ユーザの音声が認識
されていることを分かるようにすることで、ユーザの不
安を解消すること等ができるようにするものである。

【０００５】

【課題を解決するための手段】本発明のロボット制御装
置は、音声認識されるユーザの音声の音声区間を検出す
る検出手段と、音声区間の長さに応じた音声データを生
成する生成手段と、生成手段により生成された音声デー
タの出力を制御する出力制御手段とを備えることを特徴
とする。

【０００６】生成手段は、音声区間の長さが所定の長さ
より長い場合、音声の一部を利用して音声データを生成
するとともに、音声区間の長さが所定の長さ以下である
場合、音声の全部を利用して音声データを生成すること
ができる。

【０００７】生成手段は、音声の一部または全部の韻律
情報を取得するとともに、韻律情報に基づいて、韻律を
制御した音声データを生成することができる。

【０００８】本発明のロボット制御方法は、音声認識さ
れるユーザの音声の音声区間を検出する検出ステップ
と、音声区間の長さに応じた音声データを生成する生成
ステップと、生成ステップの処理で生成された音声デー
タの出力を制御する出力制御ステップとを含むことを特
徴とする。

【０００９】本発明の記録媒体は、音声認識されるユー
ザの音声の音声区間を検出する検出ステップと、音声区
間の長さに応じた音声データを生成する生成ステップ
と、生成ステップの処理で生成された音声データの出力
を制御する出力制御ステップとを含むプログラムが記録
されていることを特徴とする。

【００１０】本発明のプログラムは、音声認識されるユ
ーザの音声の音声区間を検出する検出ステップと、音声
区間の長さに応じた音声データを生成する生成ステップ
と、生成ステップの処理で生成された音声データの出力
を制御する出力制御ステップとを含むことを特徴とす
る。

【００１１】本発明のロボット制御装置および方法、並
びにプログラムにおいては、音声認識されるユーザの音
声の音声区間が検出され、音声区間の長さに応じた音声
データが生成され、生成された音声データの出力が制御
される。

【００１２】

【発明の実施の形態】図１は、本発明を適用したロボッ
トの一実施の形態の外観構成例を示しており、図２は、
その電気的構成例を示している。

【００１３】本実施の形態では、ロボットは、例えば、
犬等の四つ足の動物の形状のものとなっており、胴体部
ユニット２の前後左右に、それぞれ脚部ユニット３Ａ，
３Ｂ，３Ｃ，３Ｄが連結されるとともに、胴体部ユニッ
ト２の前端部と後端部に、それぞれ頭部ユニット４と尻
尾部ユニット５が連結されることにより構成されてい
る。

【００１４】尻尾部ユニット５は、胴体部ユニット２の
上面に設けられたベース部５Ｂから、２自由度をもって
湾曲または揺動自在に引き出されている。

【００１５】胴体部ユニット２には、ロボット全体の制
御を行うコントローラ１０、ロボットの動力源となるバ
ッテリ１１、並びにバッテリセンサ１２および熱センサ
１３からなる内部センサ部１４などが収納されている。

【００１６】頭部ユニット４には、「耳」に相当するマ
イク（マイクロフォン）１５、「目」に相当するＣＣＤ
(Charge Coupled Device)カメラ１６「触覚」に相当す
るタッチセンサ１７、「口」に相当するスピーカ１８な
どが、それぞれ所定位置に配設されている。また、頭部
ユニット４には、口の下顎に相当する下顎部４Ａが１自
由度をもって可動に取り付けられており、この下顎部４
Ａが動くことにより、ロボットの口の開閉動作が実現さ
れるようになっている。

【００１７】脚部ユニット３Ａ乃至３Ｄそれぞれの関節
部分や、脚部ユニット３Ａ乃至３Ｄそれぞれと胴体部ユ
ニット２の連結部分、頭部ユニット４と胴体部ユニット
２の連結部分、頭部ユニット４と下顎部４Ａの連結部
分、並びに尻尾部ユニット５と胴体部ユニット２の連結
部分などには、図２に示すように、それぞれアクチュエ
ータ３ＡＡ₁乃至３ＡＡ_K、３ＢＡ₁乃至３ＢＡ_K、３ＣＡ
₁乃至３ＣＡ_K、３ＤＡ₁乃至３ＤＡ_K、４Ａ₁乃至４Ａ_L、
５Ａ₁および５Ａ₂が配設されている。

【００１８】頭部ユニット４におけるマイク１５は、ユ
ーザからの発話を含む周囲の音声（音）を集音し、得ら
れた音声信号を、コントローラ１０に送出する。ＣＣＤ
カメラ１６は、周囲の状況を撮像し、得られた画像信号
を、コントローラ１０に送出する。

【００１９】タッチセンサ１７は、例えば、頭部ユニッ
ト４の上部に設けられており、ユーザからの「なでる」
や「たたく」といった物理的な働きかけにより受けた圧
力を検出し、その検出結果を圧力検出信号としてコント
ローラ１０に送出する。

【００２０】胴体部ユニット２におけるバッテリセンサ
１２は、バッテリ１１の残量を検出し、その検出結果
を、バッテリ残量検出信号としてコントローラ１０に送
出する。熱センサ１３は、ロボット内部の熱を検出し、
その検出結果を、熱検出信号としてコントローラ１０に
送出する。

【００２１】コントローラ１０は、ＣＰＵ(Central Pro
cessing Unit)１０Ａやメモリ１０Ｂ等を内蔵してお
り、ＣＰＵ１０Ａにおいて、メモリ１０Ｂに記憶された
制御プログラムが実行されることにより、各種の処理を
行う。

【００２２】即ち、コントローラ１０は、マイク１５
や、ＣＣＤカメラ１６、タッチセンサ１７、バッテリセ
ンサ１２、熱センサ１３から与えられる音声信号、画像
信号、圧力検出信号、バッテリ残量検出信号、熱検出信
号に基づいて、周囲の状況や、ユーザからの指令、ユー
ザからの働きかけなどの有無を判断する。

【００２３】さらに、コントローラ１０は、この判断結
果等に基づいて、続く行動を決定し、その決定結果に基
づいて、アクチュエータ３ＡＡ₁乃至３ＡＡ_K、３ＢＡ₁
乃至３ＢＡ_K、３ＣＡ₁乃至３ＣＡ_K、３ＤＡ₁乃至３ＤＡ
_K、４Ａ₁乃至４Ａ_L、５Ａ₁、５Ａ₂のうちの必要なもの
を駆動させる。これにより、頭部ユニット４を上下左右
に振らせたり、下顎部４Ａを開閉させる。さらには、尻
尾部ユニット５を動かせたり、各脚部ユニット３Ａ乃至
３Ｄを駆動して、ロボットを歩行させるなどの行動を行
わせる。

【００２４】また、コントローラ１０は、必要に応じ
て、合成音、あるいは後述するようなエコーバック音声
を生成し、スピーカ１８に供給して出力させたり、ロボ
ットの「目」の位置に設けられた図示しないＬＥＤ（Li
ght Emitting Diode）を点灯、消灯または点滅させる。

【００２５】以上のようにして、ロボットは、周囲の状
況等に基づいて自律的に行動をとるようになっている。

【００２６】次に、図３は、図２のコントローラ１０の
機能的構成例を示している。なお、図３に示す機能的構
成は、ＣＰＵ１０Ａが、メモリ１０Ｂに記憶された制御
プログラムを実行することで実現されるようになってい
る。

【００２７】センサ入力処理部５０は、マイク１５や、
ＣＣＤカメラ１６、タッチセンサ１７等から与えられる
音声信号、画像信号、圧力検出信号等に基づいて、特定
の外部状態や、ユーザからの特定の働きかけ、ユーザか
らの指示等を認識し、その認識結果を表す状態認識情報
を、モデル記憶部５１および行動決定機構部５２に通知
する。

【００２８】即ち、センサ入力処理部５０は、音声認識
部５０Ａを有しており、音声認識部５０Ａは、マイク１
５から与えられる音声信号について音声認識を行う。そ
して、音声認識部５０Ａは、その音声認識結果として
の、例えば、「歩け」、「伏せ」、「ボールを追いかけ
ろ」等の指令その他を、状態認識情報として、モデル記
憶部５１および行動決定機構部５２に通知する。

【００２９】また、センサ入力処理部５０は、画像認識
部５０Ｂを有しており、画像認識部５０Ｂは、ＣＣＤカ
メラ１６から与えられる画像信号を用いて、画像認識処
理を行う。そして、画像認識部５０Ｂは、その処理の結
果、例えば、「赤い丸いもの」や、「地面に対して垂直
なかつ所定高さ以上の平面」等を検出したときには、
「ボールがある」や、「壁がある」等の画像認識結果
を、状態認識情報として、モデル記憶部５１および行動
決定機構部５２に通知する。

【００３０】さらに、センサ入力処理部５０は、圧力処
理部５０Ｃを有しており、圧力処理部５０Ｃは、タッチ
センサ１７から与えられる圧力検出信号を処理する。そ
して、圧力処理部５０Ｃは、その処理の結果、所定の閾
値以上で、かつ短時間の圧力を検出したときには、「た
たかれた（しかられた）」と認識し、所定の閾値未満
で、かつ長時間の圧力を検出したときには、「なでられ
た（ほめられた）」と認識して、その認識結果を、状態
認識情報として、モデル記憶部５１および行動決定機構
部５２に通知する。

【００３１】モデル記憶部５１は、ロボットの感情、本
能、成長の状態を表現する感情モデル、本能モデル、成
長モデルをそれぞれ記憶、管理している。

【００３２】ここで、感情モデルは、例えば、「うれし
さ」、「悲しさ」、「怒り」、「楽しさ」等の感情の状
態（度合い）を、所定の範囲の値によってそれぞれ表
し、センサ入力処理部５０からの状態認識情報や時間経
過等に基づいて、その値を変化させる。本能モデルは、
例えば、「食欲」、「睡眠欲」、「運動欲」等の本能に
よる欲求の状態（度合い）を、所定の範囲の値によって
それぞれ表し、センサ入力処理部５０からの状態認識情
報や時間経過等に基づいて、その値を変化させる。成長
モデルは、例えば、「幼年期」、「青年期」、「熟年
期」、「老年期」等の成長の状態（度合い）を、所定の
範囲の値によってそれぞれ表し、センサ入力処理部５０
からの状態認識情報や時間経過等に基づいて、その値を
変化させる。

【００３３】モデル記憶部５１は、上述のようにして感
情モデル、本能モデル、成長モデルの値で表される感
情、本能、成長の状態を、状態情報として、行動決定機
構部５２に送出する。

【００３４】なお、モデル記憶部５１には、センサ入力
処理部５０から状態認識情報が供給される他、行動決定
機構部５２から、ロボットの現在または過去の行動、具
体的には、例えば、「長時間歩いた」などの行動の内容
を示す行動情報が供給されるようになっており、モデル
記憶部５１は、同一の状態認識情報が与えられても、行
動情報が示すロボットの行動に応じて、異なる状態情報
を生成するようになっている。

【００３５】即ち、例えば、ロボットが、ユーザに挨拶
をし、ユーザに頭を撫でられた場合には、ユーザに挨拶
をしたという行動情報と、頭を撫でられたという状態認
識情報とが、モデル記憶部５１に与えられ、この場合、
モデル記憶部５１では、「うれしさ」を表す感情モデル
の値が増加される。

【００３６】一方、ロボットが、何らかの仕事を実行中
に頭を撫でられた場合には、仕事を実行中であるという
行動情報と、頭を撫でられたという状態認識情報とが、
モデル記憶部５１に与えられ、この場合、モデル記憶部
５１では、「うれしさ」を表す感情モデルの値は変化さ
れない。

【００３７】このように、モデル記憶部５１は、状態認
識情報だけでなく、現在または過去のロボットの行動を
示す行動情報も参照しながら、感情モデルの値を設定す
る。これにより、例えば、何らかのタスクを実行中に、
ユーザが、いたずらするつもりで頭を撫でたときに、
「うれしさ」を表す感情モデルの値を増加させるよう
な、不自然な感情の変化が生じることを回避することが
できる。

【００３８】なお、モデル記憶部５１は、本能モデルお
よび成長モデルについても、感情モデルにおける場合と
同様に、状態認識情報および行動情報の両方に基づい
て、その値を増減させるようになっている。また、モデ
ル記憶部５１は、感情モデル、本能モデル、成長モデル
それぞれの値を、他のモデルの値にも基づいて増減させ
るようになっている。

【００３９】行動決定機構部５２は、センサ入力処理部
５０からの状態認識情報や、モデル記憶部５１からの状
態情報、時間経過等に基づいて、次の行動を決定し、決
定された行動の内容を、行動指令情報として、姿勢遷移
機構部５３に送出する。

【００４０】即ち、行動決定機構部５２は、ロボットが
とり得る行動をステート（状態）(state)に対応させた
有限オートマトンを、ロボットの行動を規定する行動モ
デルとして管理しており、この行動モデルとしての有限
オートマトンにおけるステートを、センサ入力処理部５
０からの状態認識情報や、モデル記憶部５１における感
情モデル、本能モデル、または成長モデルの値、時間経
過等に基づいて遷移させ、遷移後のステートに対応する
行動を、次にとるべき行動として決定する。

【００４１】ここで、行動決定機構部５２は、所定のト
リガ(trigger)があったことを検出すると、ステートを
遷移させる。即ち、行動決定機構部５２は、例えば、現
在のステートに対応する行動を実行している時間が所定
時間に達したときや、特定の状態認識情報を受信したと
き、モデル記憶部５１から供給される状態情報が示す感
情や、本能、成長の状態の値が所定の閾値以下または以
上になったとき等に、ステートを遷移させる。

【００４２】なお、行動決定機構部５２は、上述したよ
うに、センサ入力処理部５０からの状態認識情報だけで
なく、モデル記憶部５１における感情モデルや、本能モ
デル、成長モデルの値等にも基づいて、行動モデルにお
けるステートを遷移させることから、同一の状態認識情
報が入力されても、感情モデルや、本能モデル、成長モ
デルの値（状態情報）によっては、ステートの遷移先は
異なるものとなる。

【００４３】その結果、行動決定機構部５２は、例え
ば、状態情報が、「怒っていない」こと、および「お腹
がすいていない」ことを表している場合において、状態
認識情報が、「目の前に手のひらが差し出された」こと
を表しているときには、目の前に手のひらが差し出され
たことに応じて、「お手」という行動をとらせる行動指
令情報を生成し、これを、姿勢遷移機構部５３に送出す
る。

【００４４】また、行動決定機構部５２は、例えば、状
態情報が、「怒っていない」こと、および「お腹がすい
ている」ことを表している場合において、状態認識情報
が、「目の前に手のひらが差し出された」ことを表して
いるときには、目の前に手のひらが差し出されたことに
応じて、「手のひらをぺろぺろなめる」ような行動を行
わせるための行動指令情報を生成し、これを、姿勢遷移
機構部５３に送出する。

【００４５】また、行動決定機構部５２は、例えば、状
態情報が、「怒っている」ことを表している場合におい
て、状態認識情報が、「目の前に手のひらが差し出され
た」ことを表しているときには、状態情報が、「お腹が
すいている」ことを表していても、また、「お腹がすい
ていない」ことを表していても、「ぷいと横を向く」よ
うな行動を行わせるための行動指令情報を生成し、これ
を、姿勢遷移機構部５３に送出する。

【００４６】なお、行動決定機構部５２には、モデル記
憶部５１から供給される状態情報が示す感情や、本能、
成長の状態に基づいて、遷移先のステートに対応する行
動のパラメータとしての、例えば、歩行の速度や、手足
を動かす際の動きの大きさおよび速度などを決定させる
ことができ、この場合、それらのパラメータを含む行動
指令情報が、姿勢遷移機構部５３に送出される。

【００４７】また、行動決定機構部５２では、上述した
ように、ロボットの頭部や手足等を動作させる行動指令
情報の他、ロボットに発話を行わせる行動指令情報も生
成される。ロボットに発話を行わせる行動指令情報は、
音声合成部５５に供給されるようになっており、音声合
成部５５に供給される行動指令情報には、音声合成部５
５に生成させる合成音に対応するテキスト等が含まれ
る。そして、音声合成部５５は、行動決定部５２から行
動指令情報を受信すると、その行動指令情報に含まれる
テキストに基づき、合成音を生成し、出力制御部５７を
介して、スピーカ１８に供給して出力させる。これによ
り、スピーカ１８からは、例えば、ロボットの鳴き声、
さらには、「お腹がすいた」等のユーザへの各種の要
求、「何？」等のユーザの呼びかけに対する応答その他
の音声出力が行われる。

【００４８】姿勢遷移機構部５３は、行動決定機構部５
２から供給される行動指令情報に基づいて、ロボットの
姿勢を、現在の姿勢から次の姿勢に遷移させるための姿
勢遷移情報を生成し、これを制御機構部５４に送出す
る。

【００４９】ここで、現在の姿勢から次に遷移可能な姿
勢は、例えば、胴体や手や足の形状、重さ、各部の結合
状態のようなロボットの物理的形状と、関節が曲がる方
向や角度のようなアクチュエータ３ＡＡ₁乃至５Ａ₁およ
び５Ａ₂の機構とによって決定される。

【００５０】また、次の姿勢としては、現在の姿勢から
直接遷移可能な姿勢と、直接には遷移できない姿勢とが
ある。例えば、４本足のロボットは、手足を大きく投げ
出して寝転んでいる状態から、伏せた状態へ直接遷移す
ることはできるが、立った状態へ直接遷移することはで
きず、一旦、手足を胴体近くに引き寄せて伏せた姿勢に
なり、それから立ち上がるという２段階の動作が必要で
ある。また、安全に実行できない姿勢も存在する。例え
ば、４本足のロボットは、その４本足で立っている姿勢
から、両前足を挙げてバンザイをしようとすると、簡単
に転倒してしまう。

【００５１】このため、姿勢遷移機構部５３は、直接遷
移可能な姿勢をあらかじめ登録しておき、行動決定機構
部５２から供給される行動指令情報が、直接遷移可能な
姿勢を示す場合には、その行動指令情報を、そのまま姿
勢遷移情報として、制御機構部５４に送出する。一方、
行動指令情報が、直接遷移不可能な姿勢を示す場合に
は、姿勢遷移機構部５３は、遷移可能な他の姿勢に一旦
遷移した後に、目的の姿勢まで遷移させるような姿勢遷
移情報を生成し、制御機構部５４に送出する。これによ
りロボットが、遷移不可能な姿勢を無理に実行しようと
する事態や、転倒するような事態を回避することができ
るようになっている。

【００５２】制御機構部５４は、姿勢遷移機構部５３か
らの姿勢遷移情報にしたがって、アクチュエータ３ＡＡ
₁乃至５Ａ₁および５Ａ₂を駆動するための制御信号を生
成し、これを、アクチュエータ３ＡＡ₁乃至５Ａ₁および
５Ａ₂に送出する。これにより、アクチュエータ３ＡＡ₁
乃至５Ａ₁および５Ａ₂は、制御信号にしたがって駆動
し、ロボットは、自律的に行動を起こす。

【００５３】エコーバック部５６は、マイク１５から与
えられ、音声認識部５０Ａで音声認識される音声信号か
ら、ユーザの音声が入力されている音声区間（時間）を
検出するとともに、検出した時間に応じた、その音声信
号を復唱するような音声（以下、適宜、エコーバック音
声という）を生成して出力する。このエコーバック音声
は、出力制御部５７を介して、スピーカ１８に供給され
て出力される。なお、エコーバック部５６が行う処理
（エコーバック処理）の詳細は、後述する。

【００５４】出力制御部５７には、音声合成部５５から
の合成音のディジタルデータと、エコーバック部５６か
らのエコーバック音声のディジタルデータとが供給され
るようになっており、出力制御部５７は、それらのディ
ジタルデータを、アナログの音声信号にＤ／Ａ変換し、
スピーカ１８に供給して出力させる。また、出力制御部
５７は、音声合成部５５からの合成音と、エコーバック
部５６からのエコーバック音声の、スピーカ１８への出
力が競合した場合に、その競合を調整する。即ち、エコ
ーバック部５６からのエコーバック音声の出力は、行動
決定機構部５２の制御にしたがって音声合成部５５が行
う合成音の出力とは独立に行われるようになっており、
このため、エコーバック音声の出力と合成音の出力とは
競合する場合がある。そこで、出力制御部５７は、その
競合の調停を行う。

【００５５】次に、図４は、図３の音声認識部５０Ａの
構成例を示している。

【００５６】マイク１５からの音声信号は、ＡＤ(Analo
g Digital)変換部２１に供給される。ＡＤ変換部２１で
は、マイク１５からのアナログ信号である音声信号がサ
ンプリング、量子化され、ディジタル信号である音声デ
ータにＡ／Ｄ変換される。この音声データは、特徴抽出
部２２および音声区間検出部２７に供給される。

【００５７】特徴抽出部２２は、そこに入力される音声
データについて、適当なフレームごとに、例えば、ＭＦ
ＣＣ(Mel Frequency Cepstrum Coefficient)分析を行
い、その分析の結果得られるＭＦＣＣを、特徴パラメー
タ（特徴ベクトル）として、マッチング部２３に出力す
る。なお、特徴抽出部２２では、その他、例えば、線形
予測係数、ケプストラム係数、線スペクトル対、所定の
周波数帯域ごとのパワー（フィルタバンクの出力）等
を、特徴パラメータとして抽出することが可能である。

【００５８】マッチング部２３は、特徴抽出部２２から
の特徴パラメータを用いて、音響モデル記憶部２４、辞
書記憶部２５、および文法記憶部２６を必要に応じて参
照しながら、マイク１５に入力された音声（入力音声）
を、例えば、連続分布ＨＭＭ(Hidden Markov Model)法
に基づいて音声認識する。

【００５９】即ち、音響モデル記憶部２４は、音声認識
する音声の言語における個々の音素や音節などの音響的
な特徴を表す音響モデルを記憶している。ここでは、連
続分布ＨＭＭ法に基づいて音声認識を行うので、音響モ
デルとしては、ＨＭＭ(Hidden Markov Model)が用いら
れる。辞書記憶部２５は、認識対象の各単語について、
その発音に関する情報（音韻情報）が記述された単語辞
書を記憶している。文法記憶部２６は、辞書記憶部２５
の単語辞書に登録されている各単語が、どのように連鎖
する（つながる）かを記述した文法規則を記憶してい
る。ここで、文法規則としては、例えば、文脈自由文法
（ＣＦＧ）や、統計的な単語連鎖確率（Ｎ−ｇｒａｍ）
などに基づく規則を用いることができる。

【００６０】マッチング部２３は、辞書記憶部２５の単
語辞書を参照することにより、音響モデル記憶部２４に
記憶されている音響モデルを接続することで、単語の音
響モデル（単語モデル）を構成する。さらに、マッチン
グ部２３は、幾つかの単語モデルを、文法記憶部２６に
記憶された文法規則を参照することにより接続し、その
ようにして接続された単語モデルを用いて、特徴パラメ
ータに基づき、連続分布ＨＭＭ法によって、マイク１５
に入力された音声を認識する。即ち、マッチング部２３
は、特徴抽出部２２が出力する時系列の特徴パラメータ
が観測されるスコア（尤度）が最も高い単語モデルの系
列を検出し、その単語モデルの系列に対応する単語列の
音韻情報（読み）を、音声の認識結果として出力する。

【００６１】より具体的には、マッチング部２３は、接
続された単語モデルに対応する単語列について、各特徴
パラメータの出現確率を累積し、その累積値をスコアと
して、そのスコアを最も高くする単語列の音韻情報を、
音声認識結果として出力する。

【００６２】以上のようにして出力される、マイク１５
に入力された音声の認識結果は、状態認識情報として、
モデル記憶部５１および行動決定機構部５２に出力され
る。

【００６３】なお、音声区間検出部２７は、ＡＤ変換部
２１からの音声データについて、特徴抽出部２２がＭＦ
ＣＣ分析を行うのと同様のフレームごとに、例えば、パ
ワーを算出している。さらに、音声区間検出部２７は、
各フレームのパワーを、所定の閾値と比較し、その閾値
以上のパワーを有するフレームで構成される区間を、ユ
ーザの音声が入力されている音声区間として検出する。
そして、音声区間検出部２７は、検出した音声区間を、
特徴抽出部２２とマッチング部２３に供給しており、特
徴抽出部２２とマッチング部２３は、音声区間のみを対
象に処理を行う。

【００６４】次に、図５は、図３の音声合成部５５の構
成例を示している。

【００６５】テキスト生成部３１には、行動決定機構部
５２が出力する、音声合成の対象とするテキストを含む
行動指令情報が供給されるようになっており、テキスト
生成部３１は、辞書記憶部３４や生成用文法記憶部３５
を参照しながら、その行動指令情報に含まれるテキスト
を解析する。

【００６６】即ち、辞書記憶部３４には、各単語の品詞
情報や、読み、アクセント等の情報が記述された単語辞
書が記憶されており、また、生成用文法記憶部３５に
は、辞書記憶部３４の単語辞書に記述された単語につい
て、単語連鎖に関する制約等の生成用文法規則が記憶さ
れている。そして、テキスト生成部３１は、この単語辞
書および生成用文法規則に基づいて、そこに入力される
テキストの形態素解析や構文解析等の解析を行い、後段
の規則合成部３２で行われる規則音声合成に必要な情報
を抽出する。ここで、規則音声合成に必要な情報として
は、例えば、ポーズの位置や、アクセントおよびイント
ネーションを制御するための情報その他の韻律情報や、
各単語の発音等の音韻情報などがある。

【００６７】テキスト生成部３１で得られた情報は、規
則合成部３２に供給され、規則合成部３２では、音素片
記憶部３６を参照しながら、テキスト生成部３１に入力
されたテキストに対応する合成音の音声データ（ディジ
タルデータ）が生成される。

【００６８】即ち、音素片記憶部３６には、例えば、Ｃ
Ｖ(Consonant, Vowel)や、ＶＣＶ、ＣＶＣ等の形で音素
片データが記憶されており、規則合成部３２は、テキス
ト生成部３１からの情報に基づいて、必要な音素片デー
タを接続し、さらに、音素片データの波形を加工するこ
とによって、ポーズ、アクセント、イントネーション等
を適切に付加し、これにより、テキスト生成部３１に入
力されたテキストに対応する合成音の音声データを生成
する。

【００６９】以上のようにして生成された音声データ
は、出力制御部５７（図３）を介して、スピーカ１８に
供給され、これにより、スピーカ１８からは、テキスト
生成部３１に入力されたテキストに対応する合成音が出
力される。

【００７０】なお、図３の行動決定機構部５２では、上
述したように、行動モデルに基づいて、次の行動が決定
されるが、合成音として出力するテキストの内容は、ロ
ボットの行動と対応付けておくことが可能である。

【００７１】即ち、例えば、ロボットが、座った状態か
ら、立った状態になる行動には、テキスト「よっこいし
ょ」などを対応付けておくことが可能である。この場
合、ロボットが、座っている姿勢から、立つ姿勢に移行
するときに、その姿勢の移行に同期して、合成音「よっ
こいしょ」を出力することが可能となる。

【００７２】次に、図６のフローチャートを参照して、
図３の出力制御部５７の処理（出力制御処理）について
説明する。

【００７３】出力制御部５７は、音声合成部５５からの
合成音を受信すると、エコーバック部５６からエコーバ
ック音声を受信していない限り、音声合成部５５からの
合成音を、スピーカ１８に供給して出力させる。

【００７４】そして、出力制御部５７は、エコーバック
部５６からエコーバック音声を受信した場合、図６のフ
ローチャートにしたがった出力制御処理を行う。

【００７５】即ち、出力制御部５７は、エコーバック部
５６からエコーバック音声を受信した場合、まず最初
に、ステップＳ１において、音声合成部５５から合成音
が出力されているかどうかを判定し、出力されていない
と判定された場合、ステップＳ２に進み、エコーバック
部５６から受信したエコーバック音声を、スピーカ１８
に供給して出力させ、処理を終了する。

【００７６】一方、ステップＳ１において、音声合成部
５５から合成音が出力されていると判定された場合、即
ち、音声合成部５５からの合成音の出力と、エコーバッ
ク部５６からのエコーバック音声の出力とが競合した場
合、ステップＳ３に進み、出力制御部５７は、エコーバ
ック音声の出力を制限し、音声合成部５５からの合成音
を、スピーカ１８に供給して、出力させ、処理を終了す
る。

【００７７】なお、出力制御部５７はエコーバック音声
の出力中に、音声合成部５５から合成音と受信した場
合、エコーバック音声の出力を中止し、音声合成部５５
からの合成音の出力を優先させる。

【００７８】以上のように、出力制御部５７は、音声合
成部５５からの合成音の出力と、エコーバック部５６か
らのエコーバック音声の出力とが競合した場合、音声合
成部５５からの合成音の出力を優先させる。これは、音
声合成部５５からの合成音の出力が、行動決定機構部５
２からの行動指令情報に基づくものであり、ロボットの
行動であるのに対して、エコーバック音声の出力は、ユ
ーザの発話を復唱するものであることから、音声合成部
５５からの合成音の方が、エコーバック音声に比較し
て、ユーザに対する重要度が高いと考えられるためであ
る。

【００７９】但し、出力制御部５７では、例えば、エコ
ーバック音声の出力を、音声合成部５５からの合成音の
出力より優先させることも可能であるし、また、例え
ば、エコーバック音声と、音声合成部５５からの合成音
のうち、先に受信した方の出力を優先させるようにする
こと等も可能である。

【００８０】次に、図７は、図３のエコーバック部５６
の構成例を示している。

【００８１】マイク１５からの音声信号は、ＡＤ変換部
４１に供給される。ＡＤ変換部４１では、マイク１５か
らのアナログ信号である音声信号がサンプリング、量子
化され、ディジタル信号である音声データにＡ／Ｄ変換
される。この音声データは、韻律分析部４２および音声
区間検出部４６に供給される。

【００８２】韻律分析部４２は、そこに入力される音声
データを、適当なフレームごとに音響分析することによ
り、例えば、ピッチ周波数やパワー等といった音声デー
タの韻律情報を抽出する。この韻律情報は、音生成部４
３に供給される。

【００８３】即ち、韻律分析部４２は、例えば、人間の
一般的なピッチ周期よりも長い３２ｍｓ等を１フレーム
として、ＡＤ変換部４１からの音声データのピッチ周波
数とパワーを、フレーム単位で求める。

【００８４】具体的には、韻律分析部４２は、第ｊフレ
ームのパワーＰ（ｊ）を、次式にしたがって求める。

【００８５】Ｐ（ｊ）＝Σｘ_i ² ・・・（１）但し、式（１）において、ｘ_iは、第ｊフレームの先頭
からｉ番目の音声データのサンプル値を表し、Σは、第
ｊフレームの音声データのサンプルすべてについてのサ
メーションを表す。

【００８６】また、韻律分析部４２は、第ｊフレームの
音声データのサンプルについて、自己相関値を演算し、
その自己相関値を最大にする、０でないずれ量（時間）
τを求めて、次式により、第ｊフレームのピッチ周波数
ｆ（ｊ）を演算する。

【００８７】ｆ（ｊ）＝１／τ ・・・（２）

【００８８】音生成部４３は、韻律分析部４２からの韻
律情報に基づいて、韻律を制御したエコーバック音声を
生成する。

【００８９】即ち、音生成部４３は、例えば、韻律分析
部４２からの韻律情報と同一の韻律を有する、音韻のな
い音声（以下、適宜、無音韻音声という）を、サイン(s
in)波を重畳することにより生成し、エコーバック音声
として、出力部４４に供給する。

【００９０】なお、韻律情報としての、例えば、ピッチ
周波数とパワーから音声データを生成する方法について
は、例えば、鈴木、石井、竹内、「非分節音による反響
的な模倣とその心理的影響」、情報処理学会論文誌、vo
l.41,No.5,pp1328-1337,May,2000や、特開2000-181896
号公報等に、その一例が記載されている。

【００９１】出力部４４は、音生成部４３からのエコー
バック音声のデータを、メモリ４５に記憶させるととも
に、出力制御部５７（図３）に出力する。

【００９２】音声区間検出部４６は、ＡＤ変換部４１か
らの音声データについて、図４の音声区間検出部２７に
おける場合と同様の処理を行うことにより、音声区間を
検出し、韻律分析部４２と音生成部４３に供給する。こ
れにより、韻律分析部４２と音生成部４３では、音声区
間のみを対象に処理が行われる。

【００９３】なお、図７のＡＤ変換部４１または音声区
間検出部４６と、図４のＡＤ変換部２１または音声区間
検出部２７とは、それぞれ兼用することが可能である。

【００９４】以上のように構成されるエコーバック部５
６では、例えば、図８のフローチャートにしたがったエ
コーバック処理が行われる。

【００９５】即ち、まず最初に、ステップＳ１１におい
て、音声区間検出部４６が、ＡＤ変換部４１の出力に基
づいて、音声区間であるかどうかを判定し、音声区間で
ないと判定した場合、処理を終了し、再度、ステップＳ
１１からの処理を再開する。

【００９６】ステップＳ１１で、音声区間であると判定
された場合、ステップＳ１２に進み、音声区間検出部４
６は、音声区間の長さ、すなわち、ユーザの音声が入力
されている時間が、所定の時間としての、例えば２秒以
下であるか否かを判定し、２秒以下であると判定した場
合、ステップＳ１３に進む。

【００９７】ステップＳ１３において、韻律分析部４２
は、ＡＤ変換部４１の出力、即ち、マイク１５に入力さ
れたユーザの音声の全部（音声区間の全部）を音響分析
し、その結果得られた韻律情報を、音生成部４３に供給
する。

【００９８】一方、ステップＳ１２で、音声区間の長さ
が、２秒以下でないと判定された場合、即ち、ユーザの
発話時間が２秒より長い場合、ステップＳ１４に進み、
韻律分析部４２は、ＡＤ変換部４１の出力、すなわち、
マイク１５に入力されたユーザの音声の一部（例えば、
音声区間のはじめから５００msec分の音声）を音響分析
し、その結果得られた韻律情報を、音生成部４３に供給
する。

【００９９】ステップＳ１３またはステップＳ１４で、
韻律情報が音生成部４３に供給された後は、ステップＳ
１５に進み、音生成部４３は、韻律分析部４２から供給
された韻律情報と同一の韻律を有する無音韻音声を生成
し、エコーバック音声として、出力部４４に供給する。

【０１００】出力部４４は、ステップＳ１６において、
音生成部４３からのエコーバック音声のデータを、メモ
リ４５に記憶させた後、ステップＳ１７に進み、そのエ
コーバック音声を、出力制御部５７（図３）に出力し
て、処理を終了する。

【０１０１】これにより、エコーバック音声は、出力制
御部５７を介して、スピーカ１８に供給されて出力され
る。

【０１０２】従って、この場合、スピーカ１８からは、
ユーザが発した音声から、その音韻を無くしたものが、
エコーバック音声として出力される。

【０１０３】このエコーバック音声は、音声認識部５０
Ａにおいて音声認識の対象とされるユーザの音声を復唱
するようなものであり、このようなエコーバック音声が
出力される結果、ユーザは、それを聴くことにより、ロ
ボットにおいて、自身の音声が受け付けられたことを認
識することができる。従って、ロボットが、ユーザから
の音声に対する応答として、何の行動も起こさない場合
（音声認識部５０Ａにおいて、ユーザの音声が正しく認
識されている場合と、誤って認識されている場合の両方
を含む）であっても、ユーザにおいて、ロボットが故障
しているといったような勘違いをすること等を防止する
ことができる。

【０１０４】また、以上のように、ユーザの音声が所定
の時間以上継続する場合（ユーザが所定の時間以上の発
話を行った場合）、その音声の全部を復唱せず、その一
部だけを復唱するようにして、あたかもユーザの発話に
対して相づちを打っているかのようにしたので、ユーザ
は、違和感を感じることなく、ロボットへの話しかけを
続けることができる。

【０１０５】さらに、エコーバック音声は、ユーザが発
した音声そのものではなく、その音声の音韻をなくした
ものであるため、ユーザには、ロボットが、ユーザの音
声を理解し、自身の声で復唱しているかのように聞こえ
る。従って、ロボットにおいて、ユーザの音声を、単に
録音して再生しているのではなく、理解しているかのよ
うな印象を、ユーザに与えることができる。

【０１０６】なお、ここでは、音生成部４３において、
サイン波を重畳することによって、エコーバック音声を
生成するようにしたが、その他、例えば、エコーバック
音声は、ロボットの鳴き声となるような複雑な波形を用
意しておき、その波形をつなぎ合わせることによって生
成することが可能である。

【０１０７】さらに、エコーバック音声としては、例え
ば、ユーザの音声を構成する音素を認識し、その音素列
によって構成される音韻を有するようなものを生成する
ことが可能である。また、エコーバック音声は、例え
ば、ユーザの音声について、ケプストラム係数を得て、
そのケプストラム係数をタップ係数とするディジタルフ
ィルタによって生成すること等も可能である。但し、エ
コーバック音声が、ユーザの音声に似過ぎると、ロボッ
トにおいて、ユーザの音声を、単に録音して再生してい
るかのような、いわば興ざめした印象を、ユーザに与え
かねないので、エコーバック音声は、ユーザの音声に、
あまり似たものにしない方が望ましい。

【０１０８】また、上述の場合には、音生成部４３にお
いて、ユーザの音声の韻律と同一の韻律を有するエコー
バック音声を生成するようにしたが、音生成部４３に
は、ユーザの音声の韻律に加工を加えた韻律を有するエ
コーバック音声を生成させることも可能である。

【０１０９】即ち、例えば、上述したようにして、韻律
分析部４２において、第ｊフレームのパワーＰ（ｊ）と
ピッチ周波数ｆ（ｊ）が求められる場合には、音生成部
４３では、そのパワーＰ（ｊ）とピッチ周波数ｆ（ｊ）
を用い、例えば、次式にしたがって、エコーバック音声
ｙ（ｔ）を生成することができる。

【０１１０】ｙ（ｔ）＝ｌｏｇ（Ｐ（ｊ））ｓｉｎ（２πＮｆ（ｊ）ｔ）・・・（３）但し、式（３）において、Ｎは、正の整数である。

【０１１１】式（３）によれば、第ｊフレームの音声に
対して、そのパワーＰ（ｊ）を対数によって非線形に
し、かつ、ピッチ周波数ｆ（ｊ）をＮ倍にしたエコーバ
ック音声ｙ（ｔ）が生成される。

【０１１２】なお、経験的には、Ｎを、例えば６等とし
た場合に、鳴き声らしく、かつ聞きやすいエコーバック
音声が得られる。

【０１１３】また、上述の場合においては、ユーザの音
声の音声区間が２秒より大のときには、５００ｍｓのエ
コーバック音声が出力され、２秒以下のときには、ユー
ザの音声の音声区間と同一の時間長のエコーバック音声
が出力されることとなるが、ユーザの音声の音声区間が
２秒以下のときには、その音声区間と同一の時間長では
なく、異なる時間長のエコーバック音声を出力すること
が可能である。

【０１１４】即ち、例えば、式（３）にしたがって、エ
コーバック音声を生成する場合においては、パワーＰ
（ｊ）やピッチ周波数ｆ（ｊ）を補間または間引きする
こと等によって、ユーザの音声の音声区間よりも長いま
たは短い時間長のエコーバック音声を生成するようにす
ることが可能である。

【０１１５】なお、ユーザの音声の音声区間が２秒程度
以下の短い時間である場合、経験的には、エコーバック
音声は、ユーザの音声の音声区間の、例えば、３／２倍
等の、長めの時間長にする方が、ユーザに自然な感じを
与えるものとなる。

【０１１６】また、以上においては、エコーバック音声
が出力される場合を例として説明したが、エコーバック
音声に替えて、音声合成部５５から、合成音を出力させ
るようにすることもできる。なお、この場合、行動決定
機構部５２は、センサ入力処理部５０の音声認識部５０
Ａにより検出された音声区間の長さに応じた発話をロボ
ットにさせるための行動指令情報を生成し、音声合成部
５５に供給する。

【０１１７】以上、本発明を、エンターテイメント用の
ロボット（疑似ペットとしてのロボット）に適用した場
合について説明したが、本発明は、これに限らず、例え
ば、産業用のロボット等の各種のロボットに広く適用す
ることが可能である。また、本発明は、現実世界のロボ
ットだけでなく、例えば、液晶ディスプレイ等の表示装
置に表示される仮想的なロボットにも適用可能である。

【０１１８】さらに、本実施の形態においては、上述し
た一連の処理を、ＣＰＵ１０Ａにプログラムを実行させ
ることにより行うようにしたが、一連の処理は、それ専
用のハードウェアによって行うことも可能である。

【０１１９】なお、プログラムは、あらかじめメモリ１
０Ｂ（図２）に記憶させておく他、フロッピー（登録商
標）ディスク、CD-ROM(Compact Disc Read Only Memor
y)，MO(Magneto optical)ディスク，DVD(Digital Versa
tile Disc)、磁気ディスク、半導体メモリなどのリムー
バブル記録媒体に、一時的あるいは永続的に格納（記
録）しておくことができる。そして、このようなリムー
バブル記録媒体を、いわゆるパッケージソフトウエアと
して提供し、ロボット（メモリ１０Ｂ）にインストール
するようにすることができる。

【０１２０】また、プログラムは、ダウンロードサイト
から、ディジタル衛星放送用の人工衛星を介して、無線
で転送したり、LAN(Local Area Network)、インターネ
ットといったネットワークを介して、有線で転送し、メ
モリ１０Ｂにインストールすることができる。

【０１２１】この場合、プログラムがバージョンアップ
されたとき等に、そのバージョンアップされたプログラ
ムを、メモリ１０Ｂに、容易にインストールすることが
できる。

【０１２２】ここで、本明細書において、ＣＰＵ１０Ａ
に各種の処理を行わせるためのプログラムを記述する処
理ステップは、必ずしもフローチャートとして記載され
た順序に沿って時系列に処理する必要はなく、並列的あ
るいは個別に実行される処理（例えば、並列処理あるい
はオブジェクトによる処理）も含むものである。

【０１２３】また、プログラムは、１のＣＰＵにより処
理されるものであっても良いし、複数のＣＰＵによって
分散処理されるものであっても良い。

【０１２４】

【発明の効果】本発明のロボット制御装置およびロボッ
ト制御方法、並びにプログラムによれば、音声認識され
るユーザの音声の音声区間を検出し、音声区間の長さに
応じた音声データを生成し、生成された音声データの出
力を制御するようにしたので、ユーザは、違和感なく、
ロボットに話しかけることができる。

【図面の簡単な説明】

【図１】本発明を適用したロボットの一実施の形態の外
観構成例を示す斜視図である。

【図２】ロボットの内部構成例を示すブロック図であ
る。

【図３】コントローラ１０の機能的構成例を示すブロッ
ク図である。

【図４】音声認識部５０Ａの構成例を示すブロック図で
ある。

【図５】音声合成部５５の構成例を示すブロック図であ
る。

【図６】出力制御部５７の処理を説明するフローチャー
トである。

【図７】エコーバック部５６の構成例を示すブロック図
である。

【図８】エコーバック部５６によるエコーバック処理を
説明するフローチャートである。

【符号の説明】

１頭部ユニット，４Ａ下顎部，１０コントロ
ーラ，１０ＡＣＰＵ，１０Ｂメモリ，１５
マイク，１６ＣＣＤカメラ，１７タッチセン
サ，１８スピーカ，２１ＡＤ変換部，２２
特徴抽出部，２３マッチング部，２４音響モデ
ル記憶部，２５辞書記憶部，２６文法記憶部，
２７音声区間検出部，３１テキスト生成部，３
２規則合成部，３４辞書記憶部，３５生成用
文法記憶部，３６音素片記憶部，４１ＡＤ変換
部，４２韻律分析部，４３音生成部，４４
出力部，４５メモリ，４６音声区間検出部，
５０センサ入力処理部，５０Ａ音声認識部，５０
Ｂ画像認識部，５０Ｃ圧力処理部，５１モデル
記憶部，５２行動決定機構部，５３姿勢遷移機
構部，５４制御機構部，５５音声合成部，５６
エコーバック部，５７出力制御部

フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ１０Ｌ 13/00 Ｇ１０Ｌ 3/00 Ｑ 13/08 Ｈ 15/00 ５５１Ｈ 13/06 5/04 Ｆ (72)発明者小野木渡東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者豊田崇東京都品川区北品川６丁目７番35号ソニー株式会社内Ｆターム(参考） 2C150 BA06 BA11 CA01 CA02 CA04 DA05 DA24 DA26 DA27 DA28 DF03 DF04 DF06 DF33 ED42 ED52 EF07 EF16 EF23 EF29 EF33 EF36 3F059 AA00 BB06 DD18 FB11 3F060 AA00 BA00 CA14 5D015 DD03 KK01 KK04 5D045 AA07 AB11

Claims

【特許請求の範囲】

【請求項１】少なくとも音声認識結果に基づいて行動
するロボットを制御するロボット制御装置において、音声認識されるユーザの音声の音声区間を検出する検出
手段と、前記音声区間の長さに応じた音声データを生成する生成
手段と、前記生成手段により生成された前記音声データの出力を
制御する出力制御手段とを備えることを特徴とするロボ
ット制御装置。
【請求項２】前記生成手段は、前記音声区間の長さが
所定の長さより長い場合、前記音声の一部を利用して前
記音声データを生成するとともに、前記音声区間の長さ
が前記所定の長さ以下である場合、前記音声の全部を利
用して前記音声データを生成することを特徴とする請求
項１に記載のロボット制御装置。
【請求項３】前記生成手段は、前記音声の一部または
全部の韻律情報を取得するとともに、前記韻律情報に基
づいて、韻律を制御した前記音声データを生成すること
を特徴とする請求項２に記載のロボット制御装置。
【請求項４】少なくとも音声認識結果に基づいて行動
するロボットを制御するロボット制御装置のロボット制
御方法において、音声認識されるユーザの音声の音声区間を検出する検出
ステップと、前記音声区間の長さに応じた音声データを生成する生成
ステップと、前記生成ステップの処理で生成された前記音声データの
出力を制御する出力制御ステップとを含むことを特徴と
するロボット制御方法。
【請求項５】少なくとも音声認識結果に基づいて行動
するロボットを制御するロボット制御装置のプログラム
であって、音声認識されるユーザの音声の音声区間を検出する検出
ステップと、前記音声区間の長さに応じた音声データを生成する生成
ステップと、前記生成ステップの処理で生成された前記音声データの
出力を制御する出力制御ステップとを含むことを特徴と
するコンピュータが読み取り可能なプログラムが記録さ
れている記録媒体。
【請求項６】少なくとも音声認識結果に基づいて行動
するロボットを制御するロボット制御装置のプログラム
であって、音声認識されるユーザの音声の音声区間を検出する検出
ステップと、前記音声区間の長さに応じた音声データを生成する生成
ステップと、前記生成ステップの処理で生成された前記音声データの
出力を制御する出力制御ステップとを含むことを特徴と
するコンピュータが読み取り可能なプログラム。