JP2002307349A

JP2002307349A - ロボット装置、情報学習方法、プログラム及び記録媒体

Info

Publication number: JP2002307349A
Application number: JP2001113178A
Authority: JP
Inventors: Jun Yokono; 順横野; Masahiro Fujita; 雅博藤田; Osamu Hanagata; 理花形; Osamu Ashida; 理芦田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2001-04-11
Filing date: 2001-04-11
Publication date: 2002-10-23

Abstract

(57)【要約】【課題】ロボット装置が使用者とインタラクションを
保ちながら情報を学習することができる。【解決手段】ロボット装置は、外部情報を検出する外
部情報検出部２と、外部情報検出部２が検出した外部情
報が記憶される音声・画像データベース部３と、音声・
画像データベース部３に記憶された外部情報より音声を
抽出して外部へ出力する音声発話部４０と、発話した音
声に対応付けられた画像と発話に応じて検出した外部情
報の画像とを比較した結果に応じて感情を表出させる動
作を制御する行動表出制御部５０と、音声・画像データ
ベース部３に記憶された外部情報に命名をして更新する
命名部６０と、自律的な行動をするための駆動部６とを
備え、ユーザとインタラクションを持ちながら自律的に
行動して情報を学習する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ロボット装置及び
情報学習方法に関し、詳しくは、自律的に行動するロボ
ット装置及びそのようなロボット装置により行う情報学
習方法に関する。

【０００２】

【従来の技術】近年、自律的・自立的に行動をするロボ
ット装置が提案されている。ロボット装置としては、動
物に模した形状とされて４足歩行をするロボット装置
や、人間に模した形状とされて２足歩行をするロボット
装置等が提案されている。このようなロボット装置は、
例えば、使用者からの命令等による外部環境や、ロボッ
ト装置の感情等による内部状態に応じて自律的に行動
し、行動して得た情報からその意味を学習するように構
成されている。

【０００３】

【発明が解決しようとする課題】ところで、上述したよ
うな従来のロボット装置は、例えば、実環境下において
自ら収集した情報を記憶し、記憶した情報からその情報
の意味を学習するような構成とされ、その学習は受動的
なものであった。このようなロボット装置においては、
例えばユーザがロボット装置に言葉を教えたり、ロボッ
ト装置がユーザに質問したりといったやり取りが少な
く、ロボット装置とその使用者であるユーザとのインタ
ラクション（interaction；相互作用）は乏しいもので
あった。

【０００４】ユーザにとって、例えば娯楽用のロボット
装置とのインタラクションが乏しいということは、娯楽
性の点では面白味に欠ける等の問題となる。このような
娯楽用のロボット装置、例えばペット型ロボットにおい
ては、例えば、ユーザとの能動的なインタラクションを
多く持つロボット装置が望ましいとされる。

【０００５】そこで、本発明は、上述の実情に鑑みてな
されたものであり、実環境下で自律的に情報を収集し、
能動的にユーザとインタラクションを持ち、情報を学習
することができるロボット装置及び情報学習方法を提供
することを目的としている。

【０００６】

【課題を解決するための手段】本発明に係るロボット装
置は、自律的に行動しながら学習をするロボット装置で
ある。このロボット装置は、上述のような実情に鑑み、
自律的な行動をするための移動手段と、外部情報を検出
する外部情報検出手段と、外部情報検出手段で検出した
第１の情報が記憶される記憶手段と、記憶手段に記憶さ
れた第１の情報に対応付けて第２の情報を外部に出力す
る外部出力手段と、第２の情報の出力に応じて外部情報
検出手段が検出した外部情報と、第２の情報に対応付け
られた第１の情報との比較結果に応じて、第２の情報を
第２の情報に対応付けられた第１の情報の意味として獲
得する制御手段とを備える。

【０００７】このような構成を備えるロボット装置は、
移動手段により自律的に行動し、外部情報検出手段で検
出した外部情報を第１の情報として記憶手段に記憶さ
せ、記憶手段に記憶させた第１の情報に対応付けて第２
の情報を外部出力手段により出力し、第２の情報の出力
に応じて外部情報検出手段が検出した外部情報と、第２
の情報に対応付けられた第１の情報との比較結果に応じ
て、制御手段により第２の情報を第２の情報に対応付け
られた第１の情報の意味として獲得する。これによりロ
ボット装置は、自律的な行動をして得た外部情報の意味
を獲得する。

【０００８】また、本発明に係る情報学習方法は、上述
のような実情に鑑み、ロボット装置が自律的な行動を
し、外部情報を検出する外部情報検出工程と、外部情報
検出工程で検出した第１の情報を記憶手段に記憶させる
記憶工程と、記憶工程で記憶させた第１の情報に対応付
けて第２の情報を外部に出力する外部出力工程と、第２
の情報の出力に応じて外部情報検出工程で検出した外部
情報と、第２の情報に対応付けられた第１の情報との比
較結果に応じて、第２の情報を第２の情報に対応付けら
れた第１の情報の意味として獲得する制御工程とを有す
る。この情報学習方法により、ロボット装置は、自律的
な行動をして得た外部情報の意味を獲得する。

【０００９】また、本発明に係るプログラムは、上述の
ような実情に鑑み、ロボット装置が自律的な行動をし、
外部情報を検出する外部情報検出工程と、外部情報検出
工程で検出した第１の情報を記憶手段に記憶させる記憶
工程と、記憶工程で記憶させた第１の情報に対応付けて
第２の情報を外部に出力する外部出力工程と、第２の情
報の出力に応じて外部情報検出工程で検出した外部情報
と、第２の情報に対応付けられた第１の情報との比較結
果に応じて、第２の情報を第２の情報に対応付けられた
第１の情報の意味として獲得する制御工程とをロボット
装置に実行させる。このようなプログラムの実行によ
り、ロボット装置は、自律的な行動をして得た外部情報
の意味を獲得する。

【００１０】また、本発明に係る記録媒体は、上述のよ
うな実情に鑑み、ロボット装置が自律的な行動をし、外
部情報を検出する外部情報検出工程と、外部情報検出工
程で検出した第１の情報を記憶手段に記憶させる記憶工
程と、記憶工程で記憶させた第１の情報に対応付けて第
２の情報を外部に出力する外部出力工程と、第２の情報
の出力に応じて外部情報検出工程で検出した外部情報
と、第２の情報に対応付けられた第１の情報との比較結
果に応じて、第２の情報を第２の情報に対応付けられた
第１の情報の意味として獲得する制御工程とをロボット
装置に実行させるためのプログラムが記録されている。
この記録媒体に記録されているプログラムの実行によ
り、ロボット装置は、自律的な行動をして得た外部情報
の意味を獲得する。

【００１１】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を用いて詳細に説明する。この実施の形態は、本
発明を、使用者からの命令等による外部環境や感情等に
よる内部状態に応じて行動するロボット装置に適用した
ものである。ロボット装置としては、四足歩行或いは二
足歩行可能な構成とされたもの等が挙げられる。

【００１２】図１に示すように、ロボット装置１は、外
部情報検出部２と、音声・画像データベース部３と、外
部出力部４と、制御部５と、駆動部６とを備えている。

【００１３】このような構成において、外部情報検出部
２は、外部情報を検出するものとして機能し、音声入力
部１０、画像入力部２０及び触覚入力部３０等からな
る。音声・画像データベース部３は、外部情報検出部２
が検出した外部情報が記憶される記憶手段として機能す
る。外部出力部４は、外部に情報を出力する外部出力手
段として機能し、音声発話部４０及び画像出力部４５等
からなる。制御部５は、行動表出制御部５０及び命名部
６０からなり、外部情報に応じてロボット装置の行動を
制御したり、記憶された外部情報に対して命名をするた
めの制御を行うものとして構成されている。駆動部６
は、自律的・自立的に行動をするための移動手段とし
て、或いは外部に感情等を表出させるための外部出力手
段として機能する。

【００１４】ロボット装置はこのような構成により、自
律的な行動をして得た外部情報に対して、ユーザとのイ
ンタラクションを持ちながら、意味のある情報を学習す
る。以下、ロボット装置を構成する上述の各構成部の詳
細について説明する。

【００１５】外部情報検出部２は、ロボット装置が外部
の情報を収集する部分として構成されている。外部情報
検出部２は、音声入力部１０、画像入力部２０、触覚入
力部３０等により、ロボット装置外部の情報を外部情報
として検出するよう構成されている。

【００１６】音声入力部１０は、ロボット装置が外部の
音声を検出して認識する部分として構成されている。図
３に示すように、音声入力部１０は、マイク１１、Ａ／
Ｄ変換部１２、特徴抽出部１３、マッチング部１４及び
音響モデルデータベース１５を備えて構成されている。

【００１７】マイク１１は、外部の音声や音響が入力さ
れる外部入力部である。マイク１１によって外部情報の
認識情報を得る場合、図３に示すように、マイク１１へ
の音声入力Ｓ１は、Ａ／Ｄ変換部１２によってデジタル
変換される。Ａ／Ｄ変換部１２では、サンプリング及び
量子化して、図示しないＣＰＵ（Central ProcessingUn
it）が理解できるデジタルデータに変換される。デジタ
ルデータは、特徴抽出部１３に出力される。

【００１８】特徴抽出部１３では、Ａ／Ｄ変換部１２に
てデジタルデータとされた音声データについて、特徴パ
ラメータ（特徴量）を抽出する。例えば、特徴抽出部１
３は、プログラムによって実現されるものであり、例え
ばいわゆるオブジェクトとして構成されている。また、
同様に、後述のマッチング部１４についても、例えばオ
ブジェクトとして構成されている。

【００１９】具体的には、特徴抽出部１３は、音声デー
タから、適当なフレーム毎に、例えば、スペクトルや線
形予測係数、ケプストラム係数、線スペクトル対等の特
徴パラメータの抽出をしている。特徴抽出部１３にて抽
出された特徴パラメータは、マッチング部１４に出力さ
れる。

【００２０】マッチング部１４は、特徴抽出部１３にて
抽出された或いは記憶されている特徴パラメータに基づ
き、後述の特徴パラメータから情報を認識するための音
響モデルデータベース１５を参照しながら、マイク１１
から入力された音響又は音声の認識を行う。

【００２１】音響モデルデータベース１５は、音声の言
語における個々の音素や音節などの音響的な特徴を表す
音響モデルを記憶している。例えば、音響モデルとして
は、ＨＭＭ（隠れマルコフモデル）等を用いた音声認識
モデルがある。

【００２２】マッチング部１４は、上述したようなデー
タベース等を利用し、具体的には、次のような処理を実
行する。マッチング部１４は、音響モデルデータベース
１５に記憶されている音響モデルを参照することで、単
語の音響モデル（単語モデル）を構成する。そして、そ
のようにして構成された単語モデルを用いて、特徴パラ
メータに基づき認識して、認識結果（認識情報）Ｄ１と
して出力する。例えば、ＨＭＭ法に基づいて認識する。

【００２３】以上のように、マイク１１に入力される音
声入力Ｓ１から認識結果Ｄ１を得ることができる。そし
て、認識結果Ｄ１は、後述する画像入力部２０により認
識された物体とペアで（対応付けられて）後述する音声
・画像データベース部３に記憶される。

【００２４】画像入力部２０は、ロボット装置が外部の
画像情報を認識情報として検知する部分として構成され
ている。図４に示す画像入力部２０は、画像入力部２
１、特徴抽出部２２、図示しないマッチング部、色デー
タベース２３、形状データベース２４及び色・形状デー
タベース２５を備えて構成されている。

【００２５】画像入力部２１は、外部の画像が入力され
る外部入力部である。画像入力部２１によって外部情報
の認識情報を得る場合、例えばＣＣＤ（Charge Coupled
Device）カメラ等の画像入力手段にてなされた画像入
力Ｓ２は、特徴抽出部２２に出力される。画像入力部２
１では、例えばＣＣＤカメラに入力された画像情報が、
図示しないＡ／Ｄ変換部によってデジタル情報に変換さ
れる。Ａ／Ｄ変換部では、例えば、サンプリング及び量
子化して、図示しないＣＰＵ等の制御手段が理解できる
デジタルデータに変換される。画像入力部２１は、この
ようにして得たデジタルデータを特徴抽出部２２に出力
している。

【００２６】特徴抽出部２２では、入力された画像入力
Ｓ２から、対象物の色や形状を特徴パラメータとして抽
出する。例えば、特徴抽出部２２は、プログラムによっ
て実現されるものであり、例えばいわゆるオブジェクト
として構成されている。また、同様に、後述の図示しな
いマッチング部についても、オブジェクトとして構成さ
れている。

【００２７】具体的には、特徴抽出部２２では、エッジ
検出等により物体のセグメンテーションを行った後、色
と形を特徴パラメータとして抽出する。このとき、特徴
抽出部２２は、色データベース２３、形状データベース
２４を参照しながらカテゴライズして特徴パラメータと
しての抽出を行っている。特徴抽出部２２にて抽出され
た特徴パラメータは、例えば図示しないマッチング部に
出力される。

【００２８】ここで、色データベース２３は、ＹＵＶフ
ォーマット或いはＲＧＢフォーマット等の色空間の中で
の座標を保特しており、その空間内で、色の代表点をテ
ーブルとして持つものである。また、形状データベース
２４は、様々な物体の代表的形状を保特している。

【００２９】図示しないマッチング部では、特徴抽出部
２２にて抽出された或いは記憶されている特徴パラメー
タに基づき、色・形状データベース２５を参照しなが
ら、画像入力部２１に入力された画像情報の色や形状を
認識する。ここで、色・形状データベース２５は、特徴
パラメータから情報を認識するためのデータベースであ
って、具体的には、色データベース２３、形状データベ
ース２４等である。マッチング部では、具体的には色デ
ータベース２３により、テーブルとして持つ色の代表点
との距離が近いものを認識した色として選択する。ま
た、マッチング部では、形状データベース２４にて保持
している様々な物体の代表的形状から現在セグメントさ
れている形状に近いものを選択する。なお、記憶される
色の認識結果の記憶形式は、テキスト形式でも、色空間
内の座標でも良い。マッチング部は、このように特徴パ
ラメータに基づいて色及び形の認識をして、認識結果Ｄ
２として出力する。以上のように、画像入力部２１の図
示しないＣＣＤカメラ等でなされた画像入力Ｓ２から認
識結果Ｄ２を得ることができる。そして、認識結果Ｄ２
は、前述の音声入力部１０により認識され音声とペアで
後述の音声・画像データベース部３に記憶される。

【００３０】触覚入力部３０は、圧力センサ等の外部に
おける接触を検出する部分として構成されている。触覚
入力部３０は、触覚センサとして、圧電素子やＰＶＤＦ
（ポリフッ化ビニリデン）、化学反応式デバイス等を用
いることにより、硬い、柔らかい、ざらざらしている、
つるつるしている、ぬるぬるしている等といった触覚情
報を取得するものとして構成されている。触覚入力部３
０により検出された触覚情報より、ロボット装置は、例
えば、撫でられた、叩かれた等の外部情報を判別するよ
う構成される。

【００３１】外部情報検出部２は、以上のような構成に
より、各入力部によって検出して得た情報を認識情報と
して得る。このようにして得た認識情報のうちの少なく
とも音声情報及び画像情報は、図１に示す音声・形状デ
ータベース部３に記憶される。

【００３２】音声・形状データベース部３は、外部情報
検出部２で検出された外部情報が記憶される部分として
構成されている。外部情報検出部２では、各種情報が同
時に検出されるのであって、ある一つの事象に対して複
数の属性が検出される。このようなことから、音声・画
像データベース部３には、少なくとも音声と画像がペア
で記憶される。つまり、少なくともある物体とその物体
が認識された時に聞こえる音声とが、一緒に記憶され
る。もし、複数の物体が画像内に存在する場合、所定の
方法により一つの物体が選択されることで音声と画像の
ペアができることになる。所定の方法とは、例えば、画
像内の複数の物体から一つの物体をランダムに選択する
方法等が考えられる。

【００３３】図５に音声・画像データベース部３に記憶
される外部情報のフォーマット例を示す。音声・画像デ
ータベース部３に記憶されるデータの形式としては、音
声入力部１０で認識した音声と画像入力部２０で認識し
た色及び形状とにより構成され、例えばデータ１乃至デ
ータｎのようにデータ番号のついた音声と画像とのペア
（以下、音声・画像ペアという。）で複数記憶される形
式とされている。なお、記憶される音声の形式（フォー
マット）としては、例えばテキスト形式等が挙げられ
る。また、記憶される色及び形状の形式は、テキスト形
式の他、各モデル空間内の座標等でもよい。以上のよう
な形式で、外部情報が認識された認識結果が音声・画像
データベース部３に記憶される。このようにして、音声
・画像データベース部３に、ロボット装置の認識結果が
音声・画像ペアの形式で記憶されていく。そして、音声
・画像データベース部３に記憶された音声・画像ペアの
数がある閾値を超えたと判断された場合、ロボット装置
は、後述の音声発話部４０により自発的に音声発話を開
始する。

【００３４】外部出力部４は、ロボット装置が外部に情
報を出力する部分として構成されている。外部出力部４
は、音声発話部４０及び画像出力部４５等により、ロボ
ット装置の外部に情報を出力するものとして構成されて
いる。

【００３５】音声発話部４０は、外部出力手段として、
音声情報を出力するものとして構成されている。図６に
示すように本実施の形態では、音声発話部４０は、音声
選択部４１、音声合成部４２、音素片データベース４
３、Ｄ／Ａ変換部４４及び図示しない外部出力手段とし
てのスピーカ等を備えて構成されている。例えば、音声
発話部４０は、音声・画像データベース部３に記憶され
た音声・画像ペアの数が、ある閾値を超えたと判断され
たとき、音声の発話を開始する。

【００３６】音声選択部４１は、音声・画像データベー
ス部３に記憶された音声・画像ペアより、所定の方法で
ひとつの音声・画像ペアを選択し、そのうちの音声情報
を抽出して、音声合成部４２に出力する。所定の方法と
は、例えば、音声・画像データベース部３に記憶された
複数の音声・画像ペアより、ランダムに選択する方法等
が考えられる。音声合成部４２は、音声選択部４１で選
択された音声情報を、音素片データベース４３を参照し
ながら合成し、音声のデジタルデータとしてＤ／Ａ変換
部４４へ出力する。ここで、音素片データベース４３
は、規則的に接続する音の素片のデータを保持する構成
とされている。音の素片としては、例えばＣＶ連鎖（子
音母音連鎖）やＶＣＶ連鎖、ＣＶＣ連鎖等の形態とされ
ている。そして、音声合成部４２によって得られた音声
のデジタルデータは、Ｄ／Ａ変換部４４に出力される。
Ｄ／Ａ変換部４４では、音声合成部４２から出力された
音声のデジタルデータをアナログ変換する。アナログデ
ータとされた音声情報は、図示しないスピーカ等により
音声出力される。

【００３７】音声発話部４０は、このようにして音声・
画像データベース部３に記憶された音声のデジタル―デ
ータから音声を合成して外部に音声情報を出力するよう
に構成されている。

【００３８】画像出力部４５は、外部出力手段として、
外部に画像情報やテキストを表示するものとして構成さ
れている。具体的には、画像出力部４５は、画像表示手
段とされる液晶ディスプレイ等である。

【００３９】制御部５は、行動表出制御部５０及び命名
部６０からなり、外部情報に応じてロボット装置の行動
を制御したり、記憶された外部情報に対して命名をする
ための制御を行うものとして構成されている。

【００４０】ロボット装置の音声発話部４０による音声
情報の外部への出力（発話）が開始されると、ユーザ
は、例えばロボット装置が発話している音声情報とペア
になっていると思われる物体、すなわち、ロボット装置
によって発話されている音声情報に対応していると考え
られる画像情報の物体をロボット装置に見せる。このと
き、ロボット装置の行動表出制御部５０は、駆動部６等
の外部出力手段による所定の動作を制御して、例えば感
情を表出させる等の動作を制御するものとして構成され
る。感情とは具体的には喜びや悲しみ等であり、行動表
出制御部５０はこれらの感情を表出させる動作を制御す
る。例えば、行動表出制御部５０は、プログラムによっ
て実現されるものであり、例えばいわゆるオブジェクト
として構成されている。

【００４１】命名部６０は、ユーザがある物体をロボッ
ト装置に見せて、ロボット装置が例えば喜びの感情を表
出させる動作をした場合、ユーザがその物体に対して命
名をしなおすことができるように構成されている。例え
ば、ロボット装置が、記憶している音声・画像ペアの音
声情報を発話し、ある物体を見て喜びの感情を表出させ
る動作をしたとき、すなわち音声・画像ペアの画像情報
と同じ物体を認識したとき、ユーザはロボット装置によ
って発話された音声情報と異なる音声情報をロボット装
置に入力して、その物体に対して命名することができ
る。つまり、新しい名前をつけなおすことができる。具
体的には、命名部６０は、プログラムによって実現され
るものであり、例えばいわゆるオブジェクトとして構成
されている。

【００４２】駆動部６は、ロボット装置において駆動さ
れる部分である。駆動部６としては、移動手段としての
２本或いは４本の脚部等が挙げられる。なお、移動手段
は、脚部によって構成されることに限定されるものでは
なく、例えば、車輪であっても良い。行動表出制御部５
０は、このように移動手段等によって構成される駆動部
６についての駆動制御を行っている。

【００４３】例えば、ロボット装置は、感情や本能をモ
デルとして有しており、感情や本能を使用者からの命令
等の外的環境等によって変化させ、そのように変化され
る感情や本能に基づいて行動をするようになされてい
る。行動表出制御部５０は、そのような感情や本能に基
づいて駆動部６を制御して、ロボット装置に自律的な行
動を出現させている。駆動部６は、例えば、行動表出制
御部５０により制御されて、感情を表出させる所定の動
作を行う。

【００４４】以上のように、ロボット装置１は、外部情
報検出部２と、音声・画像データベース部３と、外部出
力部４と、制御部５と、駆動部６とより構成されてい
る。

【００４５】次に、本発明に係るロボット装置１の動作
について、図２を用いて詳しく説明する。ロボット装置
１は、自律的な行動をして情報を収集する際に、外部情
報として、ステップＳＴ１で音声入力部１０により音声
情報を、ステップＳＴ２で画像入力部２０により画像情
報をそれぞれ得る。ステップＳＴ３において、ステップ
ＳＴ１及びステップＳＴ２で得た音声情報と画像情報と
がペアで記憶される。ステップＳＴ４で音声・画像デー
タベース部３のデータ数が所定の閾値を超えたかどうか
を判断し、超えているならばステップＳＴ５に進み、超
えていないならばステップＳＴ１及びステップＳＴ２へ
戻る。ステップＳＴ５において、記憶された外部情報に
対応付けて、音声情報を外部に出力する。ステップＳＴ
６では、ステップＳＴ５で出力した音声情報に応じて、
外部情報としての画像情報を検出する。ステップＳＴ７
では、ステップＳＴ６で検出した画像情報内に、ステッ
プＳＴ５で出力した音声情報に対応付けられた画像情報
の物体があるかどうかを判断し、その結果に応じてステ
ップＳＴ８で駆動部６を制御して感情を表出させる動作
をさせる。図７を用いてステップＳＴ７における行動表
出制御部５０の動作について詳しく説明する。

【００４６】図７のステップＳＴ１１において、音声情
報の発話に対応して画像入力部２０でなされる画像入力
Ｓ３の中に、発話した音声情報とペアになって記憶され
ている画像情報の物体があるかどうかを判断する。その
判断した結果に応じて、行動表出制御部５０によって、
外部出力として所定の動作をロボット装置に表出させ
る。ここで、所定の動作とは、例えば、感情を表出させ
る動作である。

【００４７】例えば、ロボット装置１は、行動表出制御
部５０によって制御されて、音声発話部４０の発話に対
応した画像入力Ｓ３内に、発話した音声情報とペアにな
って記憶されている画像情報の物体を認識すれば、ステ
ップＳＴ１２で喜びや嬉しさ等の感情を、そうでなけれ
ばステップＳＴ１３で悲しみや怒り等の感情を表出させ
る動作を行う。具体的には、感情を表出させる動作は、
ステップＳＴ１４（ステップＳＴ８）で駆動部６を制御
することで実現することができる。例えば、駆動部６の
図示しないモータのジョイント等を作動させることなど
が考えられる。なお、上述のような感情を表出させる動
作は、駆動部６による動作に限られるものではなく、例
えば外部出力手段の音声発話部４０による音声発話や、
図示しないＬＥＤ（Light Emitting Diode）等を発光さ
せることで感情を表出させる動作をさせてもよい。この
とき、ＬＥＤは、例えば、ロボット装置の「目」を模し
た構成とされる。いずれにしても、感情が表出された動
作であるとユーザにわかるような動作が望ましいことは
勿論である。

【００４８】例えばロボット装置１が悲しみの感情を表
出させる動作をした場合、ユーザは、ロボット装置１が
喜びの感情を表出させる動作をするまで、いろいろなも
のを見せる。そして、例えば喜びの感情を表出させる動
作をした場合、ユーザは、その物体に対して、命名をし
なおす、すなわち新しい名前をつけ直すことができる。
ロボット装置１はそのように構成されている。

【００４９】図２のステップＳＴ９では、図７における
ステップＳＴ１４に相当するステップＳＴ８での駆動部
６による感情を表出させる動作に応じて、外部情報とし
て音声情報を検出する。ステップＳＴ１０では、音声・
画像データベース部３の音声情報を、ステップＳＴ９で
検出した音声情報に書き換える。ここで、図８を用いて
ステップＳＴ１０における命名部６０の動作について詳
しく説明する。以下は、ロボット装置が発話した音声情
報に対応して検出した画像入力Ｓ３内に、発話した音声
情報とペアになって記憶されている画像情報の物体を認
識した後の、ユーザによるその物体への命名を音声入力
で行う場合の手順の説明である。

【００５０】図８において、図２のステップＳＴ９で検
出された外部の音声情報が、音声認識結果Ｓ４として入
力されると、ステップＳＴ２０でその音声認識結果Ｓ４
に対しての質問がなされる。ステップＳＴ２０での質問
は、具体的には、質問手段として機能する音声発話部４
０により出力される音声情報であり、例えば、上述の音
声認識結果Ｓ４が復唱（エコーバック）されることでな
される。なお、この質問は、例えば、画像やテキストを
外部に出力することで行われてもよい。その場合には、
質問を外部に出力する外部出力手段として、画像出力手
段等を用いればよい。画像出力手段としては、例えば、
画像出力部４５等であり、液晶ディスプレイ等の画像を
表示する装置等が挙げられる。そして、もしロボット装
置が質問した内容が正しいものであれば、すなわちここ
では、ロボット装置がエコーバックした音声（言葉）
と、ユーザが命名のためにロボット装置に音声入力した
言葉が一致していれば（正しければ）、ユーザはロボッ
ト装置に後述の報酬を与える。

【００５１】ステップＳＴ２１では、質問に応じて外部
情報検出部２で検出される外部の情報が、ロボット装置
にとって報酬か否かを判別する。報酬とは、例えば、質
問に応じてなされるユーザや外部の反応であり、ユーザ
がロボット装置の頭を撫でる等の動作や、「よしよし」
などと言って褒める動作等がそれにあたる。報酬の判別
は、例えば「よしよし」等の音声により褒める動作であ
れば、音声入力部１０に入力された音声情報の認識結果
を用いて、それが報酬にあたるのかどうかを判別する。
また、頭を撫でる等の動作であれば、外部情報検出部２
の触覚入力部３０等でそれを検出し、それが報酬にあた
るかどうかを判別する。いずれにしても、外部情報検出
手段２等で検出する外部情報を用いて、報酬であるか否
かを判別するように構成される。そして、質問に応じて
検出された外部情報が報酬であると判別すると、ステッ
プＳＴ２２に進み、報酬と判別しなかった場合、命名部
６０の処理は終了する。

【００５２】ステップＳＴ２１で報酬であると判別した
場合、ロボット装置が認識した音声認識結果Ｓ４と、ユ
ーザが命名しなおそうとしてロボット装置に入力した音
声情報、すなわちユーザがロボット装置に教え込もうと
した音声情報とが正しかったことになり、ステップＳＴ
２２において、音声・画像データベース部３の音声・画
像ペアを書き換えて更新し、処理は終了する。

【００５３】図９に、ステップＳＴ２２における音声・
画像データベースの更新前後の一例を示す。図９の
（Ａ）に、音声・画像データベース部３の更新前のデー
タの一例を、図９の（Ｂ）に、図９（Ａ）の状態から命
名部６０によって更新された後のデータの一例を示して
いる。データの形式としては、音声入力部１０で認識し
た音声と画像入力部２０で認識した色及び形状とにより
構成され、例えばデータ１乃至データｎのようにデータ
番号のついた音声と画像とのペア（以下、音声・画像ペ
アという。）で複数記憶される形式とされている。

【００５４】例えば、ロボット装置がある物体を見たと
きに、音声から認識した音声情報ＸＸＸと、画像から認
識した色情報ａａａ及び形状情報ｂｂｂとが対応付けら
れて、ｉ番目のデータｉとして図９の（Ａ）のように記
憶されている。ロボット装置が、このデータｉの音声情
報ＸＸＸを発話し、喜びの感情を表出させたとき、命名
のためにユーザから発話された音声が、ロボット装置に
認識された結果が音声情報ＹＹＹだったとする。そして
さらに、ロボット装置が音声情報ＹＹＹを質問として発
話し、ユーザから報酬が得られたならば、ステップＳＴ
２２で命名部６０は、音声・画像データベース部３にも
ともと記憶されていたデータｉの音声情報ＸＸＸを、図
９の（Ｂ）のように音声情報ＹＹＹに書き換える。この
ようにして命名部６０は、ステップＳＴ２２において、
記憶されている音声・画像データベース部３の音声・画
像ペアの音声情報を、ユーザからの命名によって更新す
る。

【００５５】このようにして、図２のステップＳＴ１０
において、命名部６０は、ユーザが命名をしなおすため
に入力した音声情報を質問としてエコーバックし、エコ
ーバックに応じて検出した外部の情報を、例えば頭を撫
でられる、或いは「よしよし」などと褒められる等の報
酬か否かを判別し、報酬と判別したならば、音声・画像
データベース部３に記憶されているデータを書き換えて
更新する。

【００５６】以上のような構成により、ロボット装置１
は、音声入力部１０及び画像入力部２０においてなされ
る外部情報から認識情報を得て、音声・画像データベー
ス部３に記憶させる。音声発話部４０により、記憶され
たデータの中からある音声情報が外部に出力される。音
声発話部４０により出力された音声情報に応じて、例え
ばユーザ等により画像入力部２０に外部情報としての画
像情報が入力される。ロボット装置１は、そのとき入力
された画像情報の中に、音声発話部４０により出力され
たある音声情報とペアになって記憶されている画像情報
と同じ物体を認識すると、行動表出制御部５０によって
駆動部６や外部出力部４を制御して、所定の感情を表出
させる動作を行う。ロボット装置１が、例えば、喜びの
感情を表出させる動作をしたとき、ユーザはその物体に
対して命名をしなおすことができる。命名は、音声入力
部１０に入力される音声情報である。音声入力部１０に
よってなされる音声情報の入力によって、命名部６０は
質問を出力し、質問に応じて検出される外部情報から報
酬があるか否かを判別する。その判別した結果に応じ
て、報酬があると判別した場合には音声・画像データベ
ース部３を書き換える。

【００５７】これにより、ロボット装置１は実環境下で
自律的に行動して収集した情報の意味を、ユーザと能動
的にインタラクションを持ちながら情報を学習し獲得す
る。例えば、ロボット装置１は、ユーザと共通の言語を
獲得することが出来るようになる。

【００５８】なお、上記においては、外部情報として、
マイクにより音声情報を、カメラにより画像情報をそれ
ぞれ検出する構成としたが、それらに限られるものでは
なく、他の情報を検出して、その意味を学習しても良
い。例えば、他の情報としては、温度センサによる温
度、味センサによる味、においセンサによる臭い等の外
部情報が考えられ、それらを検出して、その意味を学習
する構成としても良いことは勿論である。

【００５９】また、記憶手段として、音声・画像データ
ベース部に音声及び画像を記憶させる構成としたが、記
憶させる情報はそれらに限られるものではなく、他の情
報を記憶させても良い。例えば、外部情報としての温
度、味、におい等の検出結果を、ロボットの内部情報と
して感情、時間等を合わせて記憶させても良い。

【００６０】また、外部出力として、音声発話部４０に
よる音声、駆動部６による感情を表出させる動作等を出
力する構成としたが、それらに限られるものではなく、
外部に情報を出力するものであれば他の手段であっても
良い。例えば、他の手段としては、画像出力手段として
液晶ディスプレイ等が挙げられる。

【００６１】また、駆動部６を制御して感情を表出させ
る動作を行わせたが、これに限られるものではなく、感
情を表出させることができる構成であれば他のものであ
っても良い。例えば、ＬＥＤ等をロボット装置の目を模
した配列とし、その目であるＬＥＤ等を点灯させて感情
を表出させても良い。

【００６２】以上、ロボット装置における本発明が適用
された部分の説明である。次に、ロボット装置の具体的
な構成について説明する。図１０に、ロボット装置７０
のより具体的な構成を示す。図１０に示すロボット装置
７０は、「犬」等の動物を模した形状のいわゆるペット
型ロボットとされ、胴体部ユニット７１の前後左右にそ
れぞれ脚部ユニット７３ａ，７３ｂ，７３ｃ，７３ｄが
連結されると共に、胴体部ユニット７１の前端部及び後
端部にそれぞれ頭部ユニット７２及び尻尾部７９が連結
されて構成されている。ここで、脚部ユニット７３ａ，
７３ｂ，７３ｃ，７３ｄは、図１に示す駆動部６を構成
している。

【００６３】胴体部ユニット７１には、図１１に示すよ
うに、ＣＰＵ８１、ＤＲＡＭ（Dynamic Random Access
Memory）８２、フラッシュＲＯＭ（Read Only Memory）
８３、ＰＣ（Personal Computer）カードインターフェ
ース回路８４及び信号処理回路８５が内部バス８６を介
して相互に接続されることにより形成されたコントロー
ル部８７と、このロボット装置７０の動力源としてのバ
ッテリ８８とが収納されている。また、胴体部ユニット
７１には、ロボット装置７０の向きや動きの加速度を検
出するための角速度センサ８９及び加速度センサ９０な
ども収納されている。

【００６４】また、頭部ユニット７２には、外部の状況
を撮像するためのＣＣＤカメラ９１と、使用者からの
「撫でる」や「叩く」といった物理的な働きかけにより
受けた圧力を検出するためのタッチセンサ９２と、前方
に位置する物体までの距離を測定するための距離センサ
９３と、外部音を集音するためのマイクロホン９４と、
鳴き声等の音声を出力するためのスピーカ９５と、ロボ
ット装置７０の「目」に相当するＬＥＤ（図示せず）と
などがそれぞれ所定位置に配置されている。

【００６５】さらに、各脚部ユニット７３ａ〜７３ｄの
関節部分や各脚部ユニット７３ａ〜７３ｄ及び胴体部ユ
ニット７１の各連結部分、頭部ユニット７２及び胴体部
ユニット７１の連結部分、並びに尻尾部７９の連結部分
などにはそれぞれ自由度数分のアクチュエータ９６_１〜
９６_ｎが配置されており、それに応じてポテンショメー
タ９７_１〜９７_ｎが配設されている。例えば、アクチュ
エータ９６_１〜９６_ｎはサーボモータを構成として有し
ている。サーボモータの駆動により、脚部ユニット７３
ａ〜７３ｄが制御されて、目標の姿勢或いは動作に遷移
する。

【００６６】そして、これら角速度センサ８９、加速度
センサ９０、タッチセンサ９２、距離センサ９３、マイ
クロホン９４、スピーカ９５及び各ポテンショメータ９
７_１〜９７_ｎなどの各種センサ並びにＬＥＤ及び各アク
チュエータ９６_１〜９６_ｎは、それぞれ対応するハブ
９８_１〜９８_ｎを介してコントロール部８７の信号処理
回路８５と接続され、ＣＣＤカメラ９１及びバッテリ８
８は、それぞれ信号処理回路８５と直接接続されてい
る。

【００６７】信号処理回路８５は、上述の各センサから
供給されるセンサデータや画像データ及び音声データを
順次取り込み、これらをそれぞれ内部バス８６を介して
ＤＲＡＭ８２内の所定位置に順次格納する。また、信号
処理回路８５は、これと共にバッテリ８８から供給され
るバッテリ残量を表すバッテリ残量データを順次取り込
み、これをＤＲＡＭ８２内の所定位置に格納する。

【００６８】このようにしてＤＲＡＭ８２に格納された
各センサデータ、画像データ、音声データ及びバッテリ
残量データは、この後ＣＰＵ８１がこのロボット装置７
０の動作制御を行う際に利用される。

【００６９】実際上、ＣＰＵ８１は、ロボット装置７０
の電源が投入された初期時、胴体部ユニット７１の図示
しないＰＣカードスロットに装填されたメモリカード９
９又はフラッシュＲＯＭ８３に格納された制御プログラ
ムをＰＣカードインターフェース回路８４を介して又は
直接読み出し、これをＤＲＡＭ８２に格納する。

【００７０】また、ＣＰＵ８１は、この後上述のように
信号処理回路８５よりＤＲＡＭ８２に順次格納される各
センサデータ、画像データ、音声データ及びバッテリ残
量データに基づいて自己及び周囲の状況や、使用者から
の指示及び働きかけの有無などを判断する。

【００７１】さらに、ＣＰＵ８１は、この判断結果及び
ＤＲＡＭ８２に格納しだ制御プログラムに基づいて続く
行動を決定すると共に、当該決定結果に基づいて必要な
アクチュエータ９６_１〜９６_ｎを駆動させることによ
り、頭部ユニット７２を上下左右に振らせたり、尻尾部
７９を動かせたり、各脚部ユニット７３ａ〜７３ｄを駆
動させて歩行させるなどの行動を行わせる。

【００７２】また、この際ＣＰＵ８１は、必要に応じて
音声データを生成し、これを信号処理回路８５を介して
音声信号としてスピーカ９５に与えることにより当該音
声信号に基づく音声を外部に出力させたり、上述のＬＥ
Ｄを点灯、消灯又は点滅させたりする。

【００７３】このようにしてこのロボット装置７０にお
いては、自己及び周囲の状況や、使用者からの指示及び
働きかけに応じて自律的に行動し得るようになされてい
る。

【００７４】そして、このようなロボット装置７０にお
いて、ポテンショメータ９７_１〜９７_ｎにより、対応す
る脚部ユニット７３ａ〜７３ｄの回転角度を検出してい
る。例えば、ロボット装置７０は、このポテンショメー
タ９７_１〜９７_ｎにより検出した回転角度により、ＣＰ
Ｕ８１がそれに応じた次の脚部ユニット７３ａ〜７３ｄ
の動作を決定している。すなわち例えば、ＣＰＵ８１
が、ポテンショメータ９７_１〜９７_ｎの出力と、目的の
関節指示値とに基づいて、脚部ユニット７３ａ〜７３ｄ
を駆動するサーボモータをサーボ制御する。以上のよう
に、ポテンショメータ９７_１〜９７_ｎがロボット装置７
０に装着されている。

【００７５】

【発明の効果】本発明に係るロボット装置は、自律的な
行動をするための移動手段と、外部情報を検出する外部
情報検出手段と、外部情報検出手段で検出した第１の情
報が記憶される記憶手段と、記憶手段に記憶された第１
の情報に対応付けて第２の情報を外部に出力する外部出
力手段と、第２の情報の出力に応じて外部情報検出手段
が検出した外部情報と、第２の情報に対応付けられた第
１の情報との比較結果に応じて、第２の情報を第２の情
報に対応付けられた第１の情報の意味として獲得する制
御手段とを備えることにより、自律的な行動をして得た
外部情報の意味を獲得することができる。

【００７６】また、本発明に係る情報学習方法は、ロボ
ット装置が自律的な行動をし、外部情報を検出する外部
情報検出工程と、外部情報検出工程で検出した第１の情
報を記憶手段に記憶させる記憶工程と、記憶工程で記憶
手段に記憶させた第１の情報に対応付けて第２の情報を
外部に出力する外部出力工程と、第２の情報の出力に応
じて外部情報検出工程で検出した外部情報と、第２の情
報に対応付けられた第１の情報との比較結果に応じて、
第２の情報を第２の情報に対応付けられた第１の情報の
意味として獲得する制御工程とを有しており、この情報
学習方法により、ロボット装置は、自律的な行動をして
得た外部情報の意味を獲得することができる。

【００７７】また、本発明に係るプログラムは、ロボッ
ト装置が自律的な行動をし、外部情報を検出する外部情
報検出工程と、外部情報検出工程で検出した第１の情報
を記憶手段に記憶させる記憶工程と、記憶工程で記憶手
段に記憶させた第１の情報に対応付けて第２の情報を外
部に出力する外部出力工程と、第２の情報の出力に応じ
て外部情報検出工程で検出した外部情報と、第２の情報
に対応付けられた第１の情報との比較結果に応じて、第
２の情報を第２の情報に対応付けられた第１の情報の意
味として獲得する制御工程とをロボット装置に実行させ
るものであって、このようなプログラムの実行により、
ロボット装置は、自律的な行動をして得た外部情報の意
味を獲得することができる。

【００７８】また、本発明に係る記録媒体は、ロボット
装置が自律的な行動をし、外部情報を検出する外部情報
検出工程と、外部情報検出工程で検出した第１の情報を
記憶手段に記憶させる記憶工程と、記憶工程で記憶手段
に記憶させた第１の情報に対応付けて第２の情報を外部
に出力する外部出力工程と、第２の情報の出力に応じて
外部情報検出工程で検出した外部情報と、第２の情報に
対応付けられた第１の情報との比較結果に応じて、第２
の情報を第２の情報に対応付けられた第１の情報の意味
として獲得する制御工程とをロボット装置に実行させる
ためのプログラムが記録されており、この記録媒体に記
録されているプログラムの実行により、ロボット装置
は、自律的な行動をして得た外部情報の意味を獲得する
ことができる。

【図面の簡単な説明】

【図１】本発明の実施の形態のロボット装置の要部を示
すブロック図である。

【図２】本発明の実施の形態のロボット装置の要部の動
作を示すフローチャートである。

【図３】音声入力部からの音声入力から認識結果を得る
ためのロボット装置における構成を示すブロック図であ
る。

【図４】画像入力部からの画像入力から認識結果を得る
ためのロボット装置における構成を示すブロック図であ
る。

【図５】音声・画像データベース部に記憶される認識結
果のフォーマットを示す図である。

【図６】音声合成により発話するロボット装置の音声発
話部の構成を示すブロック図である。

【図７】上述のロボット装置の行動表出制御部の動作を
説明するフローチャートである。

【図８】上述のロボット装置の命名部の動作を説明する
フローチャートである。

【図９】音声・画像データベース部に記憶される認識結
果を、新しく命名して更新した状態を説明する図であ
る。

【図１０】上述のロボット装置の具体的構成を示す斜視
図である。

【図１１】上述のロボット装置の回路構成等の具体例を
示すブロック図である。

【符号の説明】

１ロボット装置、２外部情報検出部、３音声
・画像データベース、４外部出力部、５制御部、
６駆動部、４０音声発話部、５０行動表出制
御部、６０命名部

───────────────────────────────────────────────────── フロントページの続き (72)発明者花形理東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者芦田理東京都品川区北品川６丁目７番35号ソニー株式会社内Ｆターム(参考） 2C150 BA11 CA01 CA02 CA04 DA05 DA24 DA25 DA26 DA27 DA28 DF03 DF04 DF06 DF33 ED42 ED47 ED52 EF07 EF16 EF23 EF29 EF33 3C007 AS36 CS08 KS10 KS31 KS39 KT01 KT04 LW12 MT14 WA02 WB16 WB24

Claims

【特許請求の範囲】

【請求項１】自律的に行動しながら学習をするロボッ
ト装置であって、自律的な行動をするための移動手段と、外部情報を検出する外部情報検出手段と、上記外部情報検出手段で検出した第１の情報が記憶され
る記憶手段と、上記記憶手段に記憶された第１の情報に対応付けて第２
の情報を外部に出力する外部出力手段と、上記第２の情報の出力に応じて上記外部情報検出手段が
検出した外部情報と上記第２の情報に対応付けられた上
記第１の情報との比較結果に応じて、上記第２の情報を
上記第２の情報に対応付けられた上記第１の情報の意味
として獲得する制御手段とを備えることを特徴とするロ
ボット装置。
【請求項２】上記制御手段は、上記比較結果に応じて
上記移動手段及び／又は上記外部出力手段により所定の
動作を表出させる行動表出手段と、上記所定の動作に応じて上記外部情報検出手段が検出し
た外部情報に関しての質問を上記外部出力手段により出
力させる質問手段と、上記外部出力手段により出力された上記質問に応じて上
記外部情報検出手段が検出した外部情報に応じ、上記所
定の動作に応じて上記外部情報検出手段が検出した外部
情報を、上記第１の情報の意味として獲得する命名手段
とを備えることを特徴とする請求項１記載のロボット装
置。
【請求項３】上記行動表出手段が表出させる上記所定
の動作は、感情を表出させる動作であることを特徴とす
る請求項２記載のロボット装置。
【請求項４】上記質問は、上記所定の動作に応じて上
記外部情報検出手段が検出した上記外部情報の認識をし
た結果を上記外部出力手段により出力するものであるこ
とを特徴とする請求項２記載のロボット装置。
【請求項５】上記外部情報検出手段で検出する上記第
１の情報としての音声情報及び画像情報が上記記憶手段
に記憶され、上記外部出力手段は、上記記憶手段に記憶された画像情
報に対応付けた音声情報を上記第２の情報として外部に
出力し、上記制御手段は、上記第２の情報の出力に応じて上記外
部情報検出手段が検出した外部情報の画像情報と、上記
第１の情報の画像情報との比較結果に応じて、上記第２
の情報の出力に応じて上記外部情報検出手段が検出した
外部情報を上記第１の情報の画像情報の意味として獲得
することを特徴とする請求項１記載のロボット装置。
【請求項６】上記外部情報検出手段は、上記外部情報
から、音声、色、形状、触覚等の特徴量を抽出し、上記
特徴量からデータベースを参照して音声、色、形状、触
覚等を上記外部情報として認識することを特徴とする請
求項１記載のロボット装置。
【請求項７】上記外部出力手段は、上記記憶手段に記
憶された第１の情報の入力数が所定の閾値を超えたとき
に、上記記憶手段に記憶された第１の情報に対応付けて
上記第２の情報を外部に出力することを特徴とする請求
項１記載のロボット装置。
【請求項８】ロボット装置が自律的な行動をし、外部
情報を検出する外部情報検出工程と、上記外部情報検出工程で検出した第１の情報を記憶手段
に記憶させる記憶工程と、上記記憶手段に記憶させた第１の情報に対応付けて第２
の情報を外部に出力する外部出力工程と、上記第２の情報の出力に応じて上記外部情報検出工程で
検出した外部情報と上記第２の情報に対応付けられた上
記第１の情報との比較結果に応じて、上記第２の情報を
上記第２の情報に対応付けられた上記第１の情報の意味
として獲得するための制御工程とを有することを特徴と
するロボット装置による情報学習方法。
【請求項９】ロボット装置が自律的な行動をし、外部
情報を検出する外部情報検出工程と、上記外部情報検出工程で検出した第１の情報を記憶手段
に記憶させる記憶工程と、上記記憶手段に記憶させた第１の情報に対応付けて第２
の情報を外部に出力する外部出力工程と、上記第２の情報の出力に応じて上記外部情報検出工程で
検出した外部情報と上記第２の情報に対応付けられた上
記第１の情報との比較結果に応じて、上記第２の情報を
上記第２の情報に対応付けられた上記第１の情報の意味
として獲得するための制御工程とをロボット装置に実行
させるためのプログラム。
【請求項１０】ロボット装置が自律的な行動をし、外
部情報を検出する外部情報検出工程と、上記外部情報検出工程で検出した第１の情報を記憶手段
に記憶させる記憶工程と、上記記憶手段に記憶させた第１の情報に対応付けて第２
の情報を外部に出力する外部出力工程と、上記第２の情報の出力に応じて上記外部情報検出工程で
検出した外部情報と上記第２の情報に対応付けられた上
記第１の情報との比較結果に応じて、上記第２の情報を
上記第２の情報に対応付けられた上記第１の情報の意味
として獲得するための制御工程とをロボット装置に実行
させるためのプログラムが記録される記録媒体。