JP2001051970A

JP2001051970A - ユーザ認識度成長システム

Info

Publication number: JP2001051970A
Application number: JP11221238A
Authority: JP
Inventors: Masaya Sakagami; 昌也坂上; Tsuyoshi Kamiya; 剛志神谷; Nobuyasu Arimune; 伸泰有宗
Original assignee: Yamaha Motor Co Ltd
Current assignee: Yamaha Motor Co Ltd
Priority date: 1999-08-04
Filing date: 1999-08-04
Publication date: 2001-02-23

Abstract

(57)【要約】【課題】ロボット等のマシン側がユーザに対する認識度
を徐々に向上させ、これに応じて徐々にマシン側の行動
を変化させる。【解決手段】ユーザ情報に基づいて行動を選択し決定す
る行動選択決定手段と、ユーザを認識するユーザ情報認
識手段と、認識されたユーザ情報を記憶する記憶手段
と、認識されたユーザ情報と記憶されたユーザ情報とを
比較しユーザ認識度を演算する演算手段と、演算された
ユーザ認識度に応じて前記行動選択決定手段における選
択決定方法を補正する補正手段を備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、玩具用、ゲーム
用、民生用、産業用等のロボット装置、ナビゲーション
用、自動販売機用、自動受付装置用等の各種対話型のマ
シンに適用されるユーザ認識度成長システムに関する。

【０００２】

【従来の技術】最近、学習によりユーザになついたり、
独特の動作で感情を表現するなどユーザとのコミュニケ
イションができるペット型ロボットが商品化されてい
る。例えば、特開平１１−１２６０１７号公報において
は、ペットが吠えた場合にユーザが誉めたときには、吠
える動作条件を緩くして吠えやすいペットに躾け、逆に
ユーザが怒ったときには吠える動作条件を厳しくして、
おとなしいペットに躾けるようにして、ユーザの態度に
よってペットの性格、行動傾向を変え、これを学習させ
るようにしている。

【０００３】

【発明が解決しようとする課題】ところで、上記従来の
ロボットには、ユーザの声や顔を認識する能力は備えら
れていない。この認識技術については、セキュリティの
分野では種々の情報からユーザを同定する技術が知られ
ているが、仮にこの技術をロボットに適用したとして
も、正しいユーザかどうかをイエスかノーで決定するの
みで、インタラクション（相互交流）を楽しむロボット
としては、面白みに欠けすぐに飽きられてしまう恐れが
ある。

【０００４】本発明は、上記従来の問題を解決するもの
であって、ロボット等のマシン側がユーザに対する認識
度を徐々に向上させ、これに応じて徐々にマシン側の行
動を変化させることができるユーザ認識度成長システム
を提供することを目的とする。

【０００５】

【課題を解決するための手段】上記目的を達成するため
に本発明のユーザ認識度成長システムは、ユーザ情報に
基づいて行動を選択し決定する行動選択決定手段と、ユ
ーザを認識するユーザ情報認識手段と、認識されたユー
ザ情報を記憶する記憶手段と、認識されたユーザ情報と
記憶されたユーザ情報とを比較しユーザ認識度を演算す
る演算手段と、演算されたユーザ認識度に応じて前記行
動選択決定手段における選択決定方法を補正する補正手
段を備えることを特徴とする。

【０００６】

【発明の実施の形態】以下、本発明の実施の形態を図面
に基づいて説明する。図１は、本発明のユーザ認識度成
長システムの１実施形態を示す全体構成図、図２は図１
のユーザ・環境情報認識装置の制御系の構成図、図３は
図１の行動選択決定装置の制御系の構成図である。な
お、本実施形態は、ロボットとユーザのコミュニケーシ
ョンに適用した例を示している。

【０００７】図１において、ロボット１は、外部情報入
力手段２、内部情報入力装置３、制御装置４、人工感情
表現手段５を備え、外部情報入力手段２は、ユーザ６に
関連する各種の外部情報を取り込み、制御装置４は、得
られた内部情報および外部情報に基づいてロボットの行
動を決定し、人工感情表現手段５によりユーザ６にロボ
ットの感情や行動を伝達するようにしている。

【０００８】外部情報入力手段２は、視覚的情報入力装
置として、ユーザの顔、ジェスチャー、位置等を検出す
るカメラ２ａ、周囲の障害物を検出するＩＲ（赤外線）
センサ２ｂを備え、また聴覚的情報入力装置としてユー
ザ等の音、声を検出するマイク２ｃを備え、さらに触覚
的情報入力装置として、ユーザの撫でや叩きを検出する
感圧センサ２ｄ、ロボットの脚や手の力・トルクを検出
するトルクセンサ、ロボットの脚や手の関節位置を検出
するポテンショセンサ４ｆを備えている。内部情報入力
装置３は、ロボットの飢えの情報を検出するバッテリ残
量計３ａとロボットの疲れの情報を検出するモータ温度
計３ｂを備えている。

【０００９】制御装置４には、カメラ２ａの信号により
ユーザの顔情報を検出する顔情報検出装置４ａおよびジ
ェスチャー情報検出装置４ｂ、マイク２ｃの信号により
ユーザの音声情報を検出する音声情報検出装置４ｃ、感
圧センサ２ｄの信号によりユーザとの接触情報を検出す
る接触情報検出装置４ｄ、カメラ２ａ、ＩＲセンサ２
ｂ、マイク２ｃ、感圧センサ２ｄの信号により周辺環境
を検出する周辺環境検出装置４ｅ、トルクセンサ２ｅ、
ポテンショセンサ２ｆの信号によりロボットの腕等の姿
勢動作、抵抗力を検出する動作検出装置４ｆが備えら
れ、これらの情報は、ユーザ・環境情報認識装置４ｉに
送られる。また、バッテリ残量計３ａおよびモータ温度
計３ｂの信号は、内部情報認識処理装置４ｇに送られ、
ここでロボットの内部情報が認識される。

【００１０】図２に示すように、ユーザ・環境情報認識
部４ｉにおいては、表情検出部４ａと音声検出部４ｃで
検出された情報が人特定部７に入力されここでユーザが
特定される。また、腕など姿勢動作検出部４ｆ、表情検
出部４ａで検出された情報および人の特定部７の情報に
基づいて識別部８でユーザの状態が識別され、この情報
は擬似感情生成部４ｊに送られる。また、音声検出部４
ｃ、ジェスチャ検出部４ｂ、なで・たたき検出部４ｄで
検出された情報および人の特定部７の情報に基づいて受
け付け部９でユーザからの情報が入力され、この情報は
特徴行為記憶部４ｍに送られる。また、周辺環境検出部
４ｅ検出された情報は環境認識部１０に送られ、この情
報は行動決定手段４ｋに送られる。

【００１１】ユーザ・環境情報認識装置４ｉにおけるユ
ーザの状態識別部８の情報は、擬似感情生成装置４ｊに
送られ、ここで、記憶情報処理装置４ｈに記憶された感
情モデルに従ってロボットの擬似感情（人工感情）が生
成される。ここで感情モデルは、ロボットの感情を表す
怒り、悲しみ、喜び、恐れ、嫌悪、疲れ、飢え、眠気等
のパラメータを求めるための計算式であり、音や画像で
検出したユーザ情報（ユーザのご機嫌度、命令など）お
よび環境情報（部屋の明るさや音等）に応じてロボット
の感情が生成される。例えば、ユーザが帰宅したとき
は、ロボットは「喜び」の感情を表現し、他人が入って
きた場合には「怒り」の感情を表現する。このとき、ユ
ーザの誉めたり、叱る行為により、ロボットの感情を変
化させロボットを成長させていく。また、ロボットが赤
ん坊の頃は幼稚な動きをするように反応し、成長するに
つれて大人の動きをするように感情モデルを作成してお
く。このようにして成長していくロボットの性格、行動
は情報記憶処理装置４ｈに記憶され、学習処理を行う。

【００１２】ユーザ・環境情報検出装置４ｉと擬似感情
生成装置４ｊの情報は、特徴的行為記憶処理装置４ｍに
送られ、ここで、ロボットがユーザに徐々になついてい
く行動とか、ユーザのしぐさを学習するとかの特徴的行
為を記憶、処理する。ユーザ・環境情報認識装置４ｉ、
擬似感情生成装置４ｊおよび特徴行為記憶処理装置４ｍ
の情報は、行動選択決定装置４ｋに送られる。

【００１３】図３は行動決定手段（行動選択決定装置）
４ｋの制御系の構成図であり、擬似感情生成部４ｊの情
報は、行動セット選択部１１に送られ、ここで記憶情報
処理装置４ｈに記憶された行動セット（行動ライブラ
リ）を参照してロボットの基本行動が決定され、行動セ
ットパラメータ設定部１２に送られる。行動ライブラリ
は、ロボットが特定の表現をするための動作シーケンス
であり、例えば、行動パターンが「前進」の場合には、
「所定の順序で各脚から動かす」というシーケンスであ
り、行動パターンが「おどり」の場合には、「後脚をた
たんで座姿になり、前脚を交互に上げ下げする」という
シーケンスであり、また手を上げる、下げる、前に出す
などの基本行動パターンが記憶されている。特徴行為記
憶部４ｍで記憶した行動セットの内容は、行動再現部１
３に送られ、ここで行動セット選択部１１の行動セット
を補正し、行動セットパラメータ設定部１２に送られ
る。行動セットパラメータ設定部１２においては、例え
ばロボットがユーザの方向に近づく速度やユーザの手を
掴む抵抗力などが設定され、これらの情報は行動実行部
５に送られる。

【００１４】行動選択決定装置４ｋにおいて決定された
情報は、人工感情表現手段（行動実行部）５に送られ、
視覚的感情表現装置５ａにおいてはロボットの顔や腕、
体等の動作機構が駆動され、アテンション（注意）やロ
コモーション（運動）情報（例えば顔の表情、首振り、
おどり）としてユーザ６に伝達され、聴覚的感情表現装
置５ｂにおいてはスピーカが駆動され、音程、リズム情
報（例えば鳴き声）としてユーザ６に伝達され、触覚的
感情表現装置５ｃにおいては顔や腕、体等の動作機構が
駆動され、抵抗力、リズム情報（例えば「お手」をした
ときのユーザが受ける触覚）としてユーザ６に伝達され
る。なお、顔や腕、足、体等のロボット構成部の動作機
構は、モータ、電磁ソレノイド、エアまたは油圧シリン
ダなどのアクチュエータを備える。

【００１５】本発明において特徴とすることは、特徴的
行為記憶処理装置４ｍにおいて、ユーザ・環境情報検出
装置４ｉと擬似感情生成装置４ｊの情報に基づいて特徴
的行為を作成し、この情報を行動選択決定装置４ｋに送
り、行動選択決定における選択決定方法またはロボット
の行動を補正することである。これを図４〜図８により
説明する。

【００１６】図４は、本発明のユーザ認識度成長システ
ムの１実施形態を示すフロー図、図５〜図８は図４の処
理を説明するための図である。なお、以下の説明では、
ロボット側の認識度の成長を、ロボットがユーザに「な
つく」処理として説明するが、対話型装置においては、
「親しくなる」とか「大人になる」とかの概念に相当す
るものである。

【００１７】図４において、先ずステップＳ１で、カメ
ラからのセンサデータを読み込み、ステップＳ２で読み
込んだセンサデータからユーザを認識する処理を行い、
ステップＳ３で記憶されたユーザデータの中にユーザデ
ータが有るか否かを判定する。ユーザデータがなければ
そのまま処理を終了し、ユーザデータが有れば、ステッ
プＳ４でユーザなつき度（ユーザ認識合致率）ポイント
をアップさせ、ステップＳ５でユーザの特徴量を記憶情
報処理装置４ｈにフィードバックする。これは、ユーザ
の顔の形、肌の色、体の大きさ、髪の毛の状態等からな
る特徴抽出用テンプレートに、今回の認識データを追加
し統計的処理によって検出精度を高めるための処理であ
る。

【００１８】次にステップＳ６で、なつき具合（認識
度）を演算する。なつき具合は、図５に示すように、ス
テップＳ４で得られたなつき度から求めるもので、なつ
き度ポイントが増えていくに従いなつき具合が上昇する
ように設定している。次にステップＳ７で、求められた
なつき具合により感情生成パラメータを補正する。これ
は、図６に示すように、なつき具合が高くなるにつれて
喜びの係数を増加させ、一方、恐れや悲しみの係数を減
少させるように設定している。この補正されたパラメー
タにより前述の感情モデルに従って擬似感情が生成さ
れ、最後にステップＳ８でロボットの行動選択決定方法
または行動を補正する。これは、図７に示すように、例
えば、なつき具合が１であれば優先してアテンション対
象（例えば吠える動作）に選択し、なつき具合が２にな
ると、ユーザに近づいていく行動を優先して選択し、な
つき具合が３になると、喜びから選択される行動の動き
（例えば脚の速度、ストローク量）を大きくするもので
ある。

【００１９】以上の処理により、ユーザがロボットを使
い始めた当初は、ロボットが記憶しているユーザ情報が
少ないため認識精度が甘く、その結果ユーザ合致度が低
いままとなるため、余りなついたような行動にならず、
同一ユーザが長く使うにつれて情報が増加しより精度の
高い認識ができるので、ユーザ合致度が上がり強くなつ
いた行動をとるようにすることが可能となる。

【００２０】図８は、ユーザの顔の認識方法の例を示す
図である。図（Ａ）に示すように、入力画像の中から顔
を判別し目、口の相関を抽出し、所定の誤差範囲を含む
人死刑別情報を取得設定しユーザデータとする。ユーザ
を検出するたびに、図（Ｂ）に示すように、マッチした
データを蓄積し統計的に精度を向上させ、その人に対す
る合致度を上昇させる。なお、ユーザの認識は顔等の画
像データに限定されるものではなく、音声データ或いは
触覚的データにより認識するようにしてもよい。

【００２１】以上、本発明の実施の形態について説明し
たが、本発明はこれに限定されるものではなく種々の変
更が可能である。例えば、ロボットをコンピュータ画面
上で電子ロボットとして操作することも可能である。ま
た本発明は、ナビゲーション用、自動販売機用、自動受
付装置用等の各種対話型のマシンに適用されるものであ
る。

【００２２】

【発明の効果】以上の説明から明らかなように、本発明
によれば、ロボット等のマシン側がユーザに対する認識
度を徐々に向上させ、これに応じて徐々にマシン側の行
動を変化させることができ、ユーザに飽きられることの
ないマシンを提供することができる。

【図面の簡単な説明】

【図１】本発明のユーザ認識度成長システムの１実施形
態を示す全体構成図である。

【図２】図１のユーザ・環境情報認識装置の制御系の構
成図である。

【図３】図１の行動選択決定装置の制御系の構成図であ
る。

【図４】本発明のユーザ認識度成長システムの１実施形
態を示すフロー図である。

【図５】図４のなつき具合演算を説明するための図であ
る。

【図６】図４の感情生成パラメータ補正を説明するため
の図である。

【図７】図４の行動決定補正を説明するための図であ
る。

【図８】ユーザの顔の認識方法の例を示す図である。

───────────────────────────────────────────────────── フロントページの続き (72)発明者有宗伸泰静岡県磐田市新貝2500番地ヤマハ発動機株式会社内Ｆターム(参考） 2C001 AA17 BC10 3F059 AA00 DA05 DB04 FC00 FC15 9A001 HH05 HH15 HH23 JJ71 JJ76 KK45

Claims

【特許請求の範囲】

【請求項１】ユーザ情報に基づいて行動を選択し決定す
る行動選択決定手段と、ユーザを認識するユーザ情報認
識手段と、認識されたユーザ情報を記憶する記憶手段
と、認識されたユーザ情報と記憶されたユーザ情報とを
比較しユーザ認識度を演算する演算手段と、演算された
ユーザ認識度に応じて前記行動選択決定手段における選
択決定方法を補正する補正手段を備えることを特徴とす
るユーザ認識度成長システム。
【請求項２】ユーザ認識度に応じて感情モデルのパラメ
ータを補正することを特徴とする請求項１記載のユーザ
認識度成長システム。
【請求項３】ユーザ情報に基づいて行動を選択し決定す
る行動選択決定手段と、ユーザを認識するユーザ情報認
識手段と、認識されたユーザ情報を記憶する記憶手段
と、認識されたユーザ情報と記憶されたユーザ情報とを
比較しユーザ認識度を演算する演算手段と、演算された
ユーザ認識度に応じて前記行動選択決定手段で選択され
た行動を補正する補正手段を備えることを特徴とするユ
ーザ認識度成長システム。
【請求項４】ユーザ認識度に応じて感情モデルのパラメ
ータを補正し、補正された感情モデルに基づいて前記行
動を補正することを特徴とする請求項３記載のユーザ認
識度成長システム。
【請求項５】前記ユーザ情報は、ユーザの識別、ご機嫌
度、指示の少なくとも一つであることを特徴とする請求
項１ないし４のいずれかに記載のユーザ認識度成長シス
テム。
【請求項６】ユーザと認識される毎に前記認識度を増加
させることを特徴とする請求項１ないし５のいずれかに
記載のユーザ認識度成長システム。
【請求項７】認識されたユーザの特徴量を前記記憶手段
にフィードバックさせ認識データを追加して検出精度を
高めることを特徴とする請求項１ないし６記載のユーザ
認識度成長システム。