JP2001154693A

JP2001154693A - ロボット制御装置およびロボット制御方法、並びに記録媒体

Info

Publication number: JP2001154693A
Application number: JP34047199A
Authority: JP
Inventors: Hironaga Tsutsumi; 洪長包
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1999-11-30
Filing date: 1999-11-30
Publication date: 2001-06-08

Abstract

(57)【要約】【課題】音声認識率を向上させる。【解決手段】音声認識部５０Ａでは、音声が認識さ
れ、行動決定機構部５２では、その音声認識結果に基づ
いて、ロボットの行動が制御される。一方、画像認識部
５０Ｂでは、ロボットの周囲を撮影した画像が認識さ
れ、音声認識部５０Ａでは、その画像認識結果に基づい
て、音声認識の対象となっている単語に対する重みが制
御される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ロボット制御装置
およびロボット制御方法、並びに記録媒体に関し、特
に、例えば、ユーザからの音声を認識し、その音声認識
結果に基づいて行動するロボットに用いて好適なロボッ
ト制御装置およびロボット制御方法、並びに記録媒体に
関する。

【０００２】

【従来の技術】近年、例えば、ユーザの発話を音声認識
して、その音声認識結果にしたがった行動を起こすエン
タテイメント用のロボット（本明細書中においては、ぬ
いぐるみ状のものを含む）が製品化されつつある。

【０００３】

【発明が解決しようとする課題】このようなロボットに
おいて、ユーザの音声を誤認識し、その音声と無関係な
行動をとったのでは、ユーザに違和感を感じさせること
になる。

【０００４】また、音声の認識精度は、例えば、音声認
識処理の処理量を多くすることで向上させることができ
る場合があるが、処理量が多くなれば、音声認識結果が
得られるまでの時間も長くなる。従って、この場合、ユ
ーザが発話を行ってから、ロボットが何らかの行動を起
こすまでの時間が長くなり、やはり、ユーザに違和感を
感じさせることになる。

【０００５】本発明は、このような状況に鑑みてなされ
たものであり、迅速に、かつ精度良く、音声認識を行う
こと等ができるようにするものである。

【０００６】

【課題を解決するための手段】本発明のロボット制御装
置は、音声を認識する音声認識手段と、音声認識手段に
よる音声認識結果に基づいて、ロボットの行動を制御す
る行動制御手段と、ロボットの周囲を撮影した画像の画
像認識結果に基づいて、音声認識手段による音声認識処
理に用いるパラメータを制御するパラメータ制御手段と
を備えることを特徴とする。

【０００７】このロボット制御装置には、画像を認識す
る画像認識手段をさらに設けることができる。

【０００８】パラメータは、音素若しくは音韻をモデル
化した音響モデル、音声認識の対象とする語彙が登録さ
れている辞書、または文法を規定する文法規則に関する
ものとすることができる。

【０００９】また、パラメータは、音声認識の対象とす
る語彙に関するものとすることができる。

【００１０】本発明のロボット制御方法は、音声を認識
する音声認識ステップと、音声認識ステップによる音声
認識結果に基づいて、ロボットの行動を制御する行動制
御ステップと、ロボットの周囲を撮影した画像の画像認
識結果に基づいて、音声認識ステップによる音声認識処
理に用いるパラメータを制御するパラメータ制御ステッ
プとを備えることを特徴とする。

【００１１】本発明の記録媒体は、音声を認識する音声
認識ステップと、音声認識ステップによる音声認識結果
に基づいて、ロボットの行動を制御する行動制御ステッ
プと、ロボットの周囲を撮影した画像の画像認識結果に
基づいて、音声認識ステップによる音声認識処理に用い
るパラメータを制御するパラメータ制御ステップとを備
えるプログラムが記録されていることを特徴とする。

【００１２】本発明のロボット制御装置およびロボット
制御方法、並びに記録媒体においては、音声が認識さ
れ、その音声認識結果に基づいて、ロボットの行動が制
御される。一方、ロボットの周囲を撮影した画像の画像
認識結果に基づいて、音声認識処理に用いるパラメータ
が制御される。

【００１３】

【発明の実施の形態】図１は、本発明を適用したロボッ
トの一実施の形態の外観構成例を示しており、図２は、
その電気的構成例を示している。

【００１４】本実施の形態では、ロボットは、犬形状の
ものとされており、胴体部ユニット２の前後左右に、そ
れぞれ脚部ユニット３Ａ，３Ｂ，３Ｃ，３Ｄが連結され
るとともに、胴体部ユニット２の前端部と後端部に、そ
れぞれ頭部ユニット４と尻尾部ユニット５が連結される
ことにより構成されている。

【００１５】尻尾部ユニット５は、胴体部ユニット２の
上面に設けられたベース部５Ｂから、２自由度をもって
湾曲または揺動自在に引き出されている。

【００１６】胴体部ユニット２には、ロボット全体の制
御を行うコントローラ１０、ロボットの動力源となるバ
ッテリ１１、並びにバッテリセンサ１２および熱センサ
１３からなる内部センサ部１４などが収納されている。

【００１７】頭部ユニット４には、「耳」に相当するマ
イク（マイクロフォン）１５、「目」に相当するＣＣＤ
(Charge Coupled Device)カメラ１６、触覚に相当する
タッチセンサ１７、「口」に相当するスピーカ１８など
が、それぞれ所定位置に配設されている。

【００１８】脚部ユニット３Ａ乃至３Ｄそれぞれの関節
部分や、脚部ユニット３Ａ乃至３Ｄそれぞれと胴体部ユ
ニット２の連結部分、頭部ユニット４と胴体部ユニット
２の連結部分、並びに尻尾部ユニット５と胴体部ユニッ
ト２の連結部分などには、図２に示すように、それぞれ
アクチュエータ３ＡＡ₁乃至３ＡＡ_K、３ＢＡ₁乃至３Ｂ
Ａ_K、３ＣＡ₁乃至３ＣＡ_K、３ＤＡ₁乃至３ＤＡ_K、４Ａ₁
乃至４Ａ_L、５Ａ₁および５Ａ₂が配設されており、これ
により、各連結部分は、所定の自由度を持って回転する
ことができるようになっている。

【００１９】頭部ユニット４におけるマイク１５は、ユ
ーザからの発話を含む周囲の音声（音）を集音し、得ら
れた音声信号を、コントローラ１０に送出する。ＣＣＤ
カメラ１６は、周囲の状況を撮像し、得られた画像信号
を、コントローラ１０に送出する。

【００２０】タッチセンサ１７は、例えば、頭部ユニッ
ト４の上部に設けられており、ユーザからの「なでる」
や「たたく」といった物理的な働きかけにより受けた圧
力を検出し、その検出結果を圧力検出信号としてコント
ローラ１０に送出する。

【００２１】胴体部ユニット２におけるバッテリセンサ
１２は、バッテリ１１の残量を検出し、その検出結果
を、バッテリ残量検出信号としてコントローラ１０に送
出する。熱センサ１３は、ロボット内部の熱を検出し、
その検出結果を、熱検出信号としてコントローラ１０に
送出する。

【００２２】コントローラ１０は、ＣＰＵ(Central Pro
cessing Unit)１０Ａやメモリ１０Ｂ等を内蔵してお
り、ＣＰＵ１０Ａにおいて、メモリ１０Ｂに記憶された
制御プログラムが実行されることにより、各種の処理を
行う。

【００２３】即ち、コントローラ１０は、マイク１５
や、ＣＣＤカメラ１６、タッチセンサ１７、バッテリセ
ンサ１２、熱センサ１３から与えられる音声信号、画像
信号、圧力検出信号、バッテリ残量検出信号、熱検出信
号に基づいて、周囲の状況や、ユーザからの指令、ユー
ザからの働きかけなどの有無を判断する。

【００２４】さらに、コントローラ１０は、この判断結
果等に基づいて、続く行動を決定し、その決定結果に基
づいて、アクチュエータ３ＡＡ₁乃至３ＡＡ_K、３ＢＡ₁
乃至３ＢＡ_K、３ＣＡ₁乃至３ＣＡ_K、３ＤＡ₁乃至３ＤＡ
_K、４Ａ₁乃至４Ａ_L、５Ａ₁、５Ａ₂のうちの必要なもの
を駆動させ、これにより、頭部ユニット４を上下左右に
振らせたり、尻尾部ユニット５を動かせたり、各脚部ユ
ニット３Ａ乃至３Ｄを駆動して、ロボットを歩行させる
などの行動を行わせる。

【００２５】また、コントローラ１０は、必要に応じ
て、合成音を生成し、スピーカ１８に供給して出力させ
たり、ロボットの「目」の位置に設けられた図示しない
ＬＥＤ（Light Emitting Diode）を点灯、消灯または点
滅させる。

【００２６】以上のようにして、ロボットは、周囲の状
況等に基づいて自律的に行動をとることができるように
なっている。

【００２７】次に、図３は、図２のコントローラ１０の
機能的構成例を示している。なお、図３に示す機能的構
成は、ＣＰＵ１０Ａが、メモリ１０Ｂに記憶された制御
プログラムを実行することで実現されるようになってい
る。

【００２８】コントローラ１０は、特定の外部状態を認
識するセンサ入力処理部５０、センサ入力処理部５０の
認識結果を累積して、感情および本能の状態を表現する
感情／本能モデル部５１、センサ入力処理部５０の認識
結果等に基づいて、続く行動を決定する行動決定機構部
５２、行動決定機構部５２の決定結果に基づいて、実際
にロボットに行動を起こさせる姿勢遷移機構部５３、各
アクチュエータ３ＡＡ ₁乃至５Ａ₁および５Ａ₂を駆動制
御する制御機構部５４、並びに合成音を生成する音声合
成部５５から構成されている。

【００２９】センサ入力処理部５０は、マイク１５や、
ＣＣＤカメラ１６、タッチセンサ１７等から与えられる
音声信号、画像信号、圧力検出信号等に基づいて、特定
の外部状態や、ユーザからの特定の働きかけ、ユーザか
らの指示等を認識し、その認識結果を表す状態認識情報
を、感情／本能モデル部５１および行動決定機構部５２
に通知する。

【００３０】即ち、センサ入力処理部５０は、音声認識
部５０Ａを有しており、音声認識部５０Ａは、行動決定
機構部５２からの制御にしたがい、マイク１５から与え
られる音声信号を用いて、音声認識を行う。そして、音
声認識部５０Ａは、その音声認識結果としての、例え
ば、「歩け」、「伏せ」、「ボールを追いかけろ」等の
指令その他を、状態認識情報として、感情／本能モデル
部５１および行動決定機構部５２に通知する。

【００３１】また、センサ入力処理部５０は、画像認識
部５０Ｂを有しており、画像認識部５０Ｂは、ＣＣＤカ
メラ１６から与えられる画像信号を用いて、画像認識処
理を行う。そして、画像認識部５０Ｂは、その処理の結
果、例えば、「赤い丸いもの」や、「地面に対して垂直
なかつ所定高さ以上の平面」等を検出したときには、
「ボールがある」や、「壁がある」等の画像認識結果
を、状態認識情報として、感情／本能モデル部５１およ
び行動決定機構部５２に通知する。その他、画像認識部
５０Ｂは、例えば、ユーザの顔の画像等の画像認識も行
うようになっている。

【００３２】なお、画像認識部５０Ｂにおける画像認識
結果は、上述のように、状態認識情報として、感情／本
能モデル部５１および行動決定機構部５２に供給される
他、音声認識部５０Ａにも供給されるようになってい
る。音声認識部５０Ａは、画像認識部５０Ｂからの画像
認識結果に基づいて、音声認識処理に用いる各種のパラ
メータを制御し、これにより、マイク１５に入力された
音声を、より正確に、さらには迅速に認識するようにな
っている。この点については後述する。

【００３３】さらに、センサ入力処理部５０は、圧力処
理部５０Ｃを有しており、圧力処理部５０Ｃは、タッチ
センサ１７から与えられる圧力検出信号を処理する。そ
して、圧力処理部５０Ｃは、その処理の結果、所定の閾
値以上で、かつ短時間の圧力を検出したときには、「た
たかれた（しかられた）」と認識し、所定の閾値未満
で、かつ長時間の圧力を検出したときには、「なでられ
た（ほめられた）」と認識して、その認識結果を、状態
認識情報として、感情／本能モデル部５１および行動決
定機構部５２に通知する。

【００３４】感情／本能モデル部５１は、図４に示すよ
うな、ロボットの感情と本能の状態を表現する感情モデ
ルと本能モデルをそれぞれ管理している。

【００３５】感情モデルは、例えば、３つの感情ユニッ
ト６０Ａ，６０Ｂ，６０Ｃで構成され、これらの感情ユ
ニット６０Ａ乃至６０Ｄは、「うれしさ」、「悲し
さ」、「怒り」の感情の状態（度合い）を、例えば、０
乃至１００の範囲の値によってそれぞれ表し、センサ入
力処理部５０からの状態認識情報や時間経過等に基づい
て、その値を変化させる。

【００３６】なお、感情モデルには、「うれしさ」、
「悲しさ」、「怒り」の他、「楽しさ」に対応する感情
ユニットを設けることも可能である。

【００３７】本能モデルは、例えば、３つの本能ユニッ
ト６１Ａ，６１Ｂ，６１Ｃで構成され、これらの本能ユ
ニット６１Ａ乃至６１Ｃは、「食欲」、「睡眠欲」、
「運動欲」という本能による欲求の状態（度合い）を、
例えば、０乃至１００の範囲の値によってそれぞれ表
し、センサ入力処理部５０からの状態認識情報や時間経
過等に基づいて、その値を変化させる。

【００３８】感情／本能モデル部５１は、上述のように
して変化する感情ユニット６０Ａ乃至６０Ｃの値で表さ
れる感情の状態、および本能ニット６１Ａ乃至６１Ｃの
値で表される本能の状態を、感情／本能状態情報とし
て、行動決定機構部５２、および音声合成部５５に送出
する。

【００３９】行動決定機構部５２は、センサ入力処理部
５０からの状態認識情報や、感情／本能モデル部５１か
らの感情／本能状態情報、時間経過等に基づいて、次の
行動を決定し、決定された行動の内容を、行動指令情報
として、姿勢遷移機構部５３に送出する。

【００４０】即ち、行動決定機構部５２は、図５に示す
ように、ロボットがとり得る行動をステート（状態）(s
tate)に対応させた有限オートマトンを、ロボットの行
動を規定する行動モデルとして管理しており、この行動
モデルとしての有限オートマトンにおけるステートを、
センサ入力処理部５０からの状態認識情報や、感情／本
能モデル部５１における感情モデルおよび本能モデルの
値、時間経過等に基づいて遷移させ、遷移後のステート
に対応する行動を、次にとるべき行動として決定する。

【００４１】具体的には、例えば、図５において、ステ
ートＳＴ３が「立っている」という行動を、ステートＳ
Ｔ４が「寝ている」という行動を、ステートＳＴ５が
「ボールを追いかけている」という行動を、それぞれ表
しているとする。いま、例えば、「ボールを追いかけて
いる」というステートＳＴ５において、「ボールが見え
なくなった」という状態認識情報が供給されると、ステ
ートＳＴ５からＳＴ３に遷移し、その結果、ステートＳ
Ｔ３に対応する「立っている」という行動を、次にとる
ことが決定される。また、例えば、「寝ている」という
ステートＳＴ４において、「起きろ」という状態認識情
報が供給されると、ステートＳＴ４からＳＴ３に遷移
し、その結果、やはり、ステートＳＴ３に対応する「立
っている」という行動を、次にとることが決定される。

【００４２】ここで、行動決定機構部５２は、所定のト
リガ(trigger)があったことを検出すると、ステートを
遷移させる。即ち、行動決定機構部５２は、例えば、現
在のステートに対応する行動を実行している時間が所定
時間に達したときや、特定の状態認識情報を受信したと
き、感情／本能モデル部５１から供給される感情／本能
状態情報が示す感情の状態の値（感情ユニット６０Ａ乃
至６０Ｃの値）、あるいは本能の状態の値（本能ユニッ
ト６１Ａ乃至６１Ｃの値）が所定の閾値以下または以上
となったとき等に、ステートを遷移させる。

【００４３】なお、行動決定機構部５２は、上述したよ
うに、センサ入力処理部５０からの状態認識情報だけで
なく、感情／本能モデル部５１における感情モデルおよ
び本能モデルの値等にも基づいて、図５の有限オートマ
トンにおけるステートを遷移させることから、同一の状
態認識情報が入力されても、感情モデルや本能モデルの
値（感情／本能状態情報）によっては、ステートの遷移
先は異なるものとなる。

【００４４】その結果、行動決定機構部５２は、例え
ば、感情／本能状態情報が、「怒っていない」こと、お
よび「お腹がすいていない」ことを表している場合にお
いて、状態認識情報が、「目の前に手のひらが差し出さ
れた」ことを表しているときには、目の前に手のひらが
差し出されたことに応じて、「お手」という行動をとら
せる行動指令情報を生成し、これを、姿勢遷移機構部５
３に送出する。

【００４５】また、行動決定機構部５２は、例えば、感
情／本能状態情報が、「怒っていない」こと、および
「お腹がすいている」ことを表している場合において、
状態認識情報が、「目の前に手のひらが差し出された」
ことを表しているときには、目の前に手のひらが差し出
されたことに応じて、「手のひらをぺろぺろなめる」よ
うな行動を行わせるための行動指令情報を生成し、これ
を、姿勢遷移機構部５３に送出する。

【００４６】また、行動決定機構部５２は、例えば、感
情／本能状態情報が、「怒っている」ことを表している
場合において、状態認識情報が、「目の前に手のひらが
差し出された」ことを表しているときには、感情／本能
状態情報が、「お腹がすいている」ことを表していて
も、また、「お腹がすいていない」ことを表していて
も、「ぷいと横を向く」ような行動を行わせるための行
動指令情報を生成し、これを、姿勢遷移機構部５３に送
出する。

【００４７】さらに、行動決定機構部５２では、上述し
たように、ロボットの頭部や手足等を動作させる行動指
令情報の他、ロボットに発話を行わせる行動指令情報も
生成される。ロボットに発話を行わせる行動指令情報
は、音声合成部５５に供給されるようになっており、音
声合成部５５に供給される行動指令情報には、音声合成
部５５に生成させる合成音に対応するテキスト等が含ま
れる。そして、音声合成部５５は、行動決定部５２から
行動指令情報を受信すると、その行動指令情報に含まれ
るテキストに基づき、感情／本能モデル部５１で管理さ
れている感情の状態や本能の状態を加味しながら、例え
ば、規則音声合成等を行うことで、合成音を生成し、ス
ピーカ１８に供給して出力させる。

【００４８】姿勢遷移機構部５３は、行動決定機構部５
２から供給される行動指令情報に基づいて、ロボットの
姿勢を、現在の姿勢から次の姿勢に遷移させるための姿
勢遷移情報を生成し、これを制御機構部５４に送出す
る。

【００４９】ここで、現在の姿勢から次に遷移可能な姿
勢は、例えば、胴体や手や足の形状、重さ、各部の結合
状態のようなロボットの物理的形状と、関節が曲がる方
向や角度のようなアクチュエータ３ＡＡ₁乃至５Ａ₁およ
び５Ａ₂の機構とによって決定される。

【００５０】また、次の姿勢としては、現在の姿勢から
直接遷移可能な姿勢と、直接には遷移できない姿勢とが
ある。例えば、４本足のロボットは、手足を大きく投げ
出して寝転んでいる状態から、伏せた状態へ直接遷移す
ることはできるが、立った状態へ直接遷移することはで
きず、一旦、手足を胴体近くに引き寄せて伏せた姿勢に
なり、それから立ち上がるという２段階の動作が必要で
ある。また、安全に実行できない姿勢も存在する。例え
ば、４本足のロボットは、その４本足で立っている姿勢
から、両前足を挙げてバンザイをしようとすると、簡単
に転倒してしまう。

【００５１】このため、姿勢遷移機構部５３は、直接遷
移可能な姿勢をあらかじめ登録しておき、行動決定機構
部５２から供給される行動指令情報が、直接遷移可能な
姿勢を示す場合には、その行動指令情報を、そのまま姿
勢遷移情報として、制御機構部５４に送出する。一方、
行動指令情報が、直接遷移不可能な姿勢を示す場合に
は、姿勢遷移機構部５３は、遷移可能な他の姿勢に一旦
遷移した後に、目的の姿勢まで遷移させるような姿勢遷
移情報を生成し、制御機構部５４に送出する。これによ
りロボットが、遷移不可能な姿勢を無理に実行しようと
する事態や、転倒するような事態を回避することができ
るようになっている。

【００５２】即ち、姿勢遷移機構部５３は、例えば、図
６に示すように、ロボットがとり得る姿勢をノードＮＯ
ＤＥ１乃至ＮＯＤＥ５として表現するとともに、遷移可
能な２つの姿勢に対応するノードどうしの間を、有向ア
ークＡＲＣ１乃至ＡＲＣ１０で結合した有向グラフを記
憶しており、この有向グラフに基づいて、上述したよう
な姿勢遷移情報を生成する。

【００５３】具体的には、姿勢遷移機構部５３は、行動
決定機構部５２から行動指令情報が供給されると、現在
の姿勢に対応したノードＮＯＤＥと、行動指令情報が示
す次に取るべき姿勢に対応するノードＮＯＤＥとを結ぶ
ように、有向アークＡＲＣの向きに従いながら、現在の
ノードＮＯＤＥから次のノードＮＯＤＥに至る経路を探
索し、探索した経路上にあるノードＮＯＤＥに対応する
姿勢を順番にとっていくように指示する姿勢遷移情報を
生成する。

【００５４】その結果、姿勢遷移機構部５３は、例え
ば、現在の姿勢が「ふせる」という姿勢を示すノードＮ
ＯＤＥ２にある場合において、「すわれ」という行動指
令情報が供給されると、有向グラフにおいて、「ふせ
る」という姿勢を示すノードＮＯＤＥ２から、「すわ
る」という姿勢を示すノードＮＯＤＥ５へは、直接遷移
可能であることから、「すわる」に対応する姿勢遷移情
報を生成して、制御機構部５４に与える。

【００５５】また、姿勢遷移機構部５３は、現在の姿勢
が「ふせる」という姿勢を示すノードＮＯＤＥ２にある
場合において、「歩け」という行動指令情報が供給され
ると、有向グラフにおいて、「ふせる」というノードＮ
ＯＤＥ２から、「あるく」というノードＮＯＤＥ４に至
る経路を探索する。この場合、「ふせる」に対応するノ
ードＮＯＤＥ２、「たつ」に対応するＮＯＤＥ３、「あ
るく」に対応するＮＯＤＥ４の経路が得られるから、姿
勢遷移機構部５３は、「たつ」、「あるく」という順番
の姿勢遷移情報を生成し、制御機構部５４に送出する。

【００５６】制御機構部５４は、姿勢遷移機構部５３か
らの姿勢遷移情報にしたがって、アクチュエータ３ＡＡ
₁乃至５Ａ₁および５Ａ₂を駆動するための制御信号を生
成し、これを、アクチュエータ３ＡＡ₁乃至５Ａ₁および
５Ａ₂に送出する。これにより、アクチュエータ３ＡＡ₁
乃至５Ａ₁および５Ａ₂は、制御信号にしたがって駆動
し、ロボットは、自律的に行動を起こす。

【００５７】次に、図７は、図３のセンサ入力処理部５
０を構成する画像認識部５０Ｂの構成例を示している。

【００５８】ＣＣＤカメラ１６が出力する画像信号は、
ＡＤ変換部４１に供給され、そこでＡ／Ｄ変換されるこ
とにより、ディジタルの画像データとされる。このディ
ジタル画像データは、画像処理部４２に供給される。画
像処理部４２では、ＡＤ変換部４１からの画像データに
対して、例えば、ＤＣＴ(Discrete Cosine Transform)
等の所定の画像処理が施され、認識照合部４３に供給さ
れる。

【００５９】認識照合部４３は、画像パターン記憶部４
４に記憶された複数の画像パターン（ここでは、例え
ば、各種の物体を撮影して得た画像に対してＤＣＴ処理
を施したもの）それぞれと、画像処理部４２の出力との
間の距離を計算し、その距離を最も小さくする画像パタ
ーンを検出する。そして、認識照合部４３は、その検出
した画像パターンに基づいて、ＣＣＤカメラ１６で撮影
された画像を認識し、その認識結果を、状態認識情報と
して、音声認識部５０Ａ、感情／本能モデル部５１、お
よび行動決定機構部５２に出力する。

【００６０】なお、画像パターン記憶部４４には、あら
かじめ各種の物体の画像パターンを記憶させておく他、
後から、画像パターンを追加することも可能である。即
ち、例えば、ＣＣＤビデオカメラ１６で、ユーザの顔を
撮影し、その画像を、ＡＤ変換部４１および画像処理部
４２で処理したものを、新たな画像パターンとして、認
識照合部４３を介して、画像パターン記憶部４４に登録
することが可能である。この場合、画像認識部５０Ｂに
おいては、ユーザ（の顔）を認識することができるよう
になる。

【００６１】次に、図８は、図３の音声認識部５０Ａの
構成例を示している。

【００６２】マイク１５からの音声信号は、ＡＤ(Analo
g Digital)変換部２１に供給される。ＡＤ変換部２１で
は、マイク１５からのアナログ信号である音声信号がサ
ンプリング、量子化され、ディジタル信号である音声デ
ータにＡ／Ｄ変換される。この音声データは、特徴抽出
部２２に供給される。

【００６３】特徴抽出部２２は、そこに入力される音声
データについて、適当なフレームごとに、例えば、ＭＦ
ＣＣ(Mel Frequency Cepstrum Coefficient)分析を行
い、その分析結果を、特徴パラメータ（特徴ベクトル）
として、マッチング部２３に出力する。なお、特徴抽出
部２２では、その他、例えば、線形予測係数、ケプスト
ラム係数、線スペクトル対、所定の周波数帯域ごとのパ
ワー（フィルタバンクの出力）等を、特徴パラメータと
して抽出することが可能である。

【００６４】マッチング部２３は、特徴抽出部２２から
の特徴パラメータを用いて、音響モデル記憶部２４、辞
書記憶部２５、および文法記憶部２６を必要に応じて参
照しながら、マイク１５に入力された音声（入力音声）
を、例えば、連続分布ＨＭＭ(Hidden Markov Model)法
に基づいて音声認識する。

【００６５】即ち、音響モデル記憶部２４は、音声認識
する音声の言語における個々の音素や音節などの音響的
な特徴を表す音響モデルを記憶している。ここでは、連
続分布ＨＭＭ法に基づいて音声認識を行うので、音響モ
デルとしては、ＨＭＭ(Hidden Markov Model)が用いら
れる。辞書記憶部２５は、認識対象の各単語について、
その発音に関する情報（音韻情報）が記述された単語辞
書を記憶している。文法記憶部２６は、辞書記憶部２５
の単語辞書に登録されている各単語が、どのように連鎖
する（つながる）かを記述した文法規則を記憶してい
る。ここで、文法規則としては、例えば、文脈自由文法
（ＣＦＧ）や、統計的な単語連鎖確率（Ｎ−ｇｒａｍ）
などに基づく規則を用いることができる。

【００６６】マッチング部２３は、辞書記憶部２５の単
語辞書を参照することにより、音響モデル記憶部２４に
記憶されている音響モデルを接続することで、単語の音
響モデル（単語モデル）を構成する。さらに、マッチン
グ部２３は、幾つかの単語モデルを、文法記憶部２６に
記憶された文法規則を参照することにより接続し、その
ようにして接続された単語モデルを用いて、特徴パラメ
ータに基づき、連続分布ＨＭＭ法によって、マイク１５
に入力された音声を認識する。即ち、マッチング部２３
は、特徴抽出部２２が出力する時系列の特徴パラメータ
が観測されるスコア（尤度）が最も高い単語モデルの系
列を検出し、その単語モデルの系列に対応する単語列
を、音声の認識結果として出力する。

【００６７】つまり、マッチング部２３は、接続された
単語モデルに対応する単語列について、特徴抽出部２２
からの特徴パラメータの出現確率を累積し、その累積値
をスコアとして、そのスコアを最も高くする単語列を、
音声認識結果として出力する。

【００６８】パラメータ設定部２７は、音声認識処理に
用いる各種のパラメータ（以下、適宜、認識パラメータ
という）を制御する。即ち、パラメータ設定部２７に
は、画像認識部５０Ｂが状態認識情報として出力する画
像認識結果が供給されるようになっており、パラメータ
設定部２７は、この画像認識結果に基づいて、ロボット
が使用されている環境を理解し、その環境において、正
確に、さらには迅速に音声認識を行うことができるよう
に、認識パラメータを制御する。

【００６９】ここで、認識パラメータとしては、音響モ
デル記憶部２４に記憶された音響モデルを規定するパラ
メータや、文法記憶部２６に記憶された文法規則があ
る。さらに、例えば、辞書記憶部２５において、音声認
識の対象とする単語が、何らかのカテゴリごとに分類さ
れ、各カテゴリごとに、複数の単語辞書に分けて登録さ
れている場合には、その複数の単語辞書のうちの、音声
認識処理に用いるものを設定する情報も、認識パラメー
タとすることができる。また、例えば、辞書記憶部２５
における単語辞書に登録されている単語に重み付けを行
う場合には、その重みも、認識パラメータとすることが
できる。

【００７０】いま、例えば、単語辞書に登録されている
単語に付す重みとしての認識パラメータに注目すると、
パラメータ設定部２７は、画像認識結果として得られた
物体およびそれに関連するもの表す単語に大きな重みを
与えるように、認識パラメータを設定する。この場合、
マッチング部２３では、画像認識結果として得られた物
体およびそれに関連するもの表す単語については、他の
単語よりも大きなスコアが得られるようになり、その結
果、音声認識結果としては、ＣＣＤカメラ１６で撮影さ
れた物体およびその物体に関連するものを表す単語が得
られ易くなる。従って、ロボットの周囲にある物体およ
びその物体に関連するものを表す単語については、その
音声認識精度を向上させることができる。

【００７１】次に、図９のフローチャートを参照して、
図８の音声認識部５０Ａによる音声認識処理について、
さらに説明する。

【００７２】まず最初に、ステップＳ１において、パラ
メータ設定部２７は、認識パラメータを、所定の初期値
に設定する。即ち、例えば、上述のように、単語辞書に
登録されている単語に付す重みとしての認識パラメータ
に注目した場合には、単語辞書に登録されている単語す
べてに対して、同一の重みが与えられる。

【００７３】そして、ステップＳ２に進み、パラメータ
設定部２７は、画像認識部５０Ｂから画像認識結果が送
信されてきたかどうかを判定する。ステップＳ２におい
て、画像認識部５０Ｂから画像認識結果が送信されてき
たと判定された場合、ステップＳ３に進み、パラメータ
設定部２７は、その画像認識結果を受信し、さらに、そ
の画像認識結果に基づいて、認識パラメータを設定し
て、ステップＳ４に進む。即ち、パラメータ設定部２７
は、例えば、単語辞書に登録されている単語のうち、画
像認識結果として得られた物体およびそれに関連するも
の表す単語に大きな重みを与えるように、認識パラメー
タを設定する。

【００７４】また、ステップＳ２において、画像認識部
５０Ｂから画像認識結果が送信されてきていないと判定
された場合、ステップＳ３をスキップして、ステップＳ
４に進み、音声認識を開始すべき何らかのトリガ（以
下、適宜、スタートトリガという）が与えられたか否か
が判定される。

【００７５】ここで、スタートトリガを与える場合とし
ては、例えば、ユーザの顔等の特定の物体が、画像認識
結果として得られた場合を採用することができる。ま
た、スタートトリガを与える場合としては、例えば、コ
ンピュータが内蔵するファンの音等の定常的なノイズが
検出された場合や、マイク１５を叩く音等の非定常で突
発的なノイズが検出された場合等を採用することも可能
である。さらに、スタートトリガを与える場合として
は、ユーザが意味のある単語を発話したことが検出され
た場合や、意味のない人の音声（例えば、笑い声や咳な
ど）等の非定常で突発的な音声が検出された場合を採用
することも可能である。あるいは、また、スタートトリ
ガを与える場合としては、例えば、ロボットの頭部を撫
でるといった、ユーザの特定の動作を採用することも可
能である。なお、スタートトリガは、行動決定機構部５
２から与えるようにすることが可能である。

【００７６】ステップＳ４において、スタートトリガが
与えられていないと判定された場合、ステップＳ２に戻
り、以下、同様の処理を繰り返す。

【００７７】また、ステップＳ４において、スタートト
リガが与えられたと判定された場合、ステップＳ５に進
み、マイク１５に入力された音声が、ＡＤ変換部２１に
取り込まれ、ステップＳ６に進む。ステップＳ６では、
ＡＤ変換部２１において、マイク１５からの音声信号が
Ａ／Ｄ変換され、その結果得られるディジタルの音声デ
ータが、特徴抽出部２２に出力される。特徴抽出部２２
は、ステップＳ７において、Ａ／Ｄ変換部２１からの音
声データを音響分析することにより、その特徴パラメー
タを抽出し、マッチング部２３に出力する。

【００７８】マッチング部２３は、ステップＳ８におい
て、現在設定されている認識パラメータに基づいて、上
述のスコア計算としてのマッチング処理を行い、ステッ
プＳ９に進む。ステップＳ９では、マッチング部２３に
おいて、ステップ８で計算されたスコアのうちの最大値
に基づいて、音声認識結果が確定され、情報認識情報と
して出力される。そして、ステップＳ２に戻り、以下、
同様の処理が繰り返される。

【００７９】従って、例えば、いま、画像認識結果に基
づいて、ある物体およびそれに関連するもの表す単語に
大きな重みを与えるように、認識パラメータが設定され
ている場合には、マッチング部２３では、その物体およ
びそれに関連するもの表す単語については、他の単語よ
りも大きなスコアが得られ、その結果、音声認識結果と
しては、ＣＣＤカメラ１６で撮影された物体およびその
物体に関連するものを表す単語が得られ易くなる。従っ
て、ロボットの周囲にある物体およびその物体に関連す
るものを表す単語については、その音声認識精度を向上
させることができる。

【００８０】なお、ある物体およびそれに関連するもの
表す単語に大きな重みを与えるとともに、それらの単語
にまったく関係しない単語を、音声認識の対象外とする
ように、認識パラメータを設定することも可能であり、
この場合、音声認識の対象とする単語が少なくなるた
め、音声認識精度を向上させることができるとともに、
その処理速度を向上させることができる（音声認識結果
が得られるまでの時間を短くすることができる）。

【００８１】また、上述の場合には、画像認識結果に基
づいて、単語辞書に登録されている単語についての重み
を変更するようにしたが、その他、画像認識結果に基づ
いて音声認識処理に用いる音響モデルや文法規則を変更
したり、さらに、辞書記憶部２５に複数の単語辞書が記
憶されている場合には、その複数の単語辞書のうちの、
音声認識処理に用いるものを変更すること等の制御を行
うことが可能である。

【００８２】また、例えば、ロボットを、複数のユーザ
で共有する場合等においては、音響モデル記憶部２４
に、各ユーザ用の音響モデルを登録しておき（音響モデ
ル記憶部２４にあらかじめ登録してある音響モデルを各
ユーザに適応させたものを、後から登録し）、画像認識
結果から、ロボットを使用しているユーザを判別して、
音声認識は、その判別したユーザ用の音響モデルを用い
て行うようにすることが可能である。

【００８３】以上、本発明を、エンターテイメント用の
ロボット（疑似ペットとしてのロボット）に適用した場
合について説明したが、本発明は、これに限らず、例え
ば、産業用のロボット等の各種のロボットに広く適用す
ることが可能である。

【００８４】ここで、本実施の形態においては、上述し
た一連の処理を、ＣＰＵ１０Ａにプログラムを実行させ
ることにより行うようにしたが、一連の処理は、それ専
用のハードウェアによって行うことも可能である。

【００８５】なお、プログラムは、あらかじめメモリ１
０Ｂ（図２）に記憶させておく他、フロッピーディス
ク、CD-ROM(Compact Disc Read Only Memory)，MO(Magn
eto optical)ディスク，DVD(Digital Versatile Dis
c)、磁気ディスク、半導体メモリなどのリムーバブル記
録媒体に、一時的あるいは永続的に格納（記録）してお
くことができる。そして、このようなリムーバブル記録
媒体を、いわゆるパッケージソフトウエアとして提供
し、ロボット（メモリ１０Ｂ）にインストールするよう
にすることができる。

【００８６】また、プログラムは、リムーバブル記録媒
体からインストールする他、ダウンロードサイトから、
ディジタル衛星放送用の人工衛星を介して、無線で転送
したり、LAN(Local Area Network)、インターネットと
いったネットワークを介して、有線で転送し、メモリ１
０Ｂにインストールすることができる。

【００８７】この場合、プログラムがバージョンアップ
されたとき等に、そのバージョンアップされたプログラ
ムを、メモリ１０Ｂに、容易にインストールすることが
できる。

【００８８】ここで、本明細書において、ＣＰＵ１０Ａ
に各種の処理を行わせるためのプログラムを記述する処
理ステップは、必ずしもフローチャートとして記載され
た順序に沿って時系列に処理する必要はなく、並列的あ
るいは個別に実行される処理（例えば、並列処理あるい
はオブジェクトによる処理）も含むものである。

【００８９】また、プログラムは、１のＣＰＵにより処
理されるものであっても良いし、複数のＣＰＵによって
分散処理されるものであっても良い。

【００９０】

【発明の効果】本発明のロボット制御装置およびロボッ
ト制御方法、並びに記録媒体によれば、音声が認識さ
れ、その音声認識結果に基づいて、ロボットの行動が制
御される。一方、ロボットの周囲を撮影した画像の画像
認識結果に基づいて、音声認識処理に用いるパラメータ
が制御される。従って、例えば、ロボットの周囲にある
物体を表す単語の音声認識率を向上させることができ
る。

【図面の簡単な説明】

【図１】本発明を適用したロボットの一実施の形態の外
観構成例を示す斜視図である。

【図２】図１のロボットの内部構成例を示すブロック図
である。

【図３】図２のコントローラ１０の機能的構成例を示す
ブロック図である。

【図４】感情／本能モデルを示す図である。

【図５】行動モデルを示す図である。

【図６】姿勢遷移機構部５４の処理を説明するための図
である。

【図７】画像認識部５０Ｂの構成例を示すブロック図で
ある。

【図８】音声認識部５０Ａの構成例を示すブロック図で
ある。

【図９】音声認識部５０Ａの処理を説明するためのフロ
ーチャートである。

【符号の説明】

１０コントローラ，１０ＡＣＰＵ，１０Ｂメ
モリ，１５マイク，１６ＣＣＤカメラ，１７
タッチセンサ，１８スピーカ，２１ＡＤ変換
部，２２特徴抽出部，２３マッチング部，２
４音響モデル記憶部，２５辞書記憶部，２６
文法記憶部，２７パラメータ設定部，４１ＡＤ
変換部，４２画像処理部，４３認識照合部，
４４画像パターン記憶部，５０センサ入力処理
部，５０Ａ音声認識部，５０Ｂ画像認識部，
５０Ｃ圧力処理部，５１感情／本能モデル部，
５２行動決定機構部，５３姿勢遷移機構部，５４
制御機構部，５５音声合成部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０６Ｔ 1/00 Ｇ０６Ｆ 15/62 ３８０５Ｈ２６９Ｇ１０Ｌ 15/00 Ｇ１０Ｌ 3/00 ５５１Ｈ９Ａ００１ 15/24 ５７１ＱＦターム(参考） 2C150 BA06 CA01 CA02 DA05 DA24 DA27 DA28 DF03 DF04 DF33 ED10 ED21 ED37 ED38 ED39 ED42 ED52 EF13 EF16 EF29 EF33 EF36 3F059 AA00 BA00 BB06 DB04 DC00 DC01 DC04 DD04 3F060 AA00 BA10 CA14 5B057 AA05 BA02 BA04 BA23 DA12 5D015 KK01 LL07 LL10 5H269 AB27 BB05 QC04 9A001 HH17 HH19 HH20 KK32

Claims

【特許請求の範囲】

【請求項１】ロボットを制御するロボット制御装置で
あって、音声を認識する音声認識手段と、前記音声認識手段による音声認識結果に基づいて、前記
ロボットの行動を制御する行動制御手段と、前記ロボットの周囲を撮影した画像の画像認識結果に基
づいて、前記音声認識手段による音声認識処理に用いる
パラメータを制御するパラメータ制御手段とを備えるこ
とを特徴とするロボット制御装置。
【請求項２】前記画像を認識する画像認識手段をさら
に備えることを特徴とする請求項１に記載のロボット制
御装置。
【請求項３】前記パラメータは、音素若しくは音韻を
モデル化した音響モデル、音声認識の対象とする語彙が
登録されている辞書、または文法を規定する文法規則に
関するものであることを特徴とする請求項１に記載のロ
ボット制御装置。
【請求項４】前記パラメータは、音声認識の対象とす
る語彙に関するものであることを特徴とする請求項１に
記載のロボット制御装置。
【請求項５】ロボットを制御するロボット制御方法で
あって、音声を認識する音声認識ステップと、前記音声認識ステップによる音声認識結果に基づいて、
前記ロボットの行動を制御する行動制御ステップと、前記ロボットの周囲を撮影した画像の画像認識結果に基
づいて、前記音声認識ステップによる音声認識処理に用
いるパラメータを制御するパラメータ制御ステップとを
備えることを特徴とするロボット制御方法。
【請求項６】ロボットの行動を制御する制御処理を、
コンピュータに行わせるプログラムが記録されている記
録媒体であって、音声を認識する音声認識ステップと、前記音声認識ステップによる音声認識結果に基づいて、
前記ロボットの行動を制御する行動制御ステップと、前記ロボットの周囲を撮影した画像の画像認識結果に基
づいて、前記音声認識ステップによる音声認識処理に用
いるパラメータを制御するパラメータ制御ステップとを
備えるプログラムが記録されていることを特徴とする記
録媒体。