【０００１】
【発明の属する技術分野】
本発明は、親近感のある会話をロボットが行うための技術に関する。
【０００２】
【従来の技術】
ロボットが人と会話する場合、親和性の高いコミュニケーションを成立させるためには、ロボットが人の目を見て話す必要があり、早稲田大学の”ＲＯＢＩＴＡ”等のロボットでは、ロボットの首と目の方向を制御して人の目を見ながら会話を行うようにされている。
【０００３】
【発明が解決しようとする課題】
しかし、ロボットに人間らしいコミュニケーション（親近感のある会話）を成立させるためには、ロボットの目が人の目を見るだけでは、不十分である。
【０００４】
従って、本発明の課題は、ロボットと人との間で従来よりも親近感のある会話を成立させるための技術を提供することである。
【０００５】
【課題を解決するための手段】
発明者は、より親近感のある会話を成立させるには、ロボットが人の目を見るだけでなく、ロボットの所有者や操作者などの話し相手（以下、ユーザ）の正面位置に立って会話を行う必要であることに気づいて、以下に示す課題解決手段を案出した。
【０００６】
第１発明は、ユーザの顔または体の正面位置に移動し、ユーザの目を見て会話を行う会話ロボットである。
【０００７】
第２発明は、第１発明の会話ロボットのうち、ユーザの顔の正面位置に移動し、ユーザの目を見て会話を行うものであり、ユーザを認識するユーザ認識手段と、ユーザの顔正面方向を認識する顔方向認識手段と、ロボット本体をユーザの顔の正面に移動する正面移動制御手段と、ユーザの目を認識する目認識手段と、ロボットの首と目をユーザの目の方向に制御する首目制御手段と、ユーザと会話を行う会話処理手段とを備えることを特徴とする。
【０００８】
第３発明は、第１発明の会話ロボットのうち、ユーザの体の正面位置に移動し、ユーザの目を見て会話を行うものであり、ユーザを認識するユーザ認識手段と、ユーザの体正面方向を認識する体方向認識手段と、ロボット本体をユーザの体の正面に移動する正面移動制御手段と、ユーザの目を認識する目認識手段と、ロボットの首と目をユーザの目の方向に制御する首目制御手段と、ユーザと会話を行う会話処理手段とを備えることを特徴とする。
【０００９】
第４発明は、第２発明の会話ロボット側からユーザに対して話し掛ける場合の動作方法であり、ユーザを認識し、ユーザの顔正面方向を認識し、ユーザの顔の正面に移動し、正面位置にてユーザの目を認識し、ロボットの首と目をユーザの目の方向に制御し、その後、会話を開始することを特徴とする。
【００１０】
第５発明は、第２発明の会話ロボットに対してユーザ側から話し掛けてくる場合の動作方法であり、ユーザを認識し、ユーザの顔正面方向を認識し、ユーザの顔の正面に移動し、正面位置にてユーザの目を認識し、ロボットの首と目をユーザの目の方向に制御し、その後、ユーザに返事を行うことを特徴とする。
【００１１】
第６発明は、第３発明の会話ロボット側からユーザに対して話し掛ける場合の動作方法であり、ユーザを認識し、ユーザの体正面方向を認識し、ユーザの体の正面に移動し、正面位置にてユーザの目を認識し、ロボットの首と目をユーザの目の方向に制御し、その後、会話を開始することを特徴とする。
【００１２】
第７発明は、第３発明の会話ロボットに対してユーザ側から話し掛けてくる場合の動作方法であり、ユーザを認識し、ユーザの体正面方向を認識し、ユーザの体の正面に移動し、正面位置にてユーザの目を認識し、ロボットの首と目をユーザの目の方向に制御し、その後、ユーザに返事を行うことを特徴とする。
【００１３】
第８発明は、一般の会話ロボット側からユーザに対して話し掛ける場合の動作方法であり、ユーザを認識し、ユーザの顔正面方向を認識し、ユーザの顔の正面に移動し、正面位置にてユーザの目を認識し、ロボットの首と目をユーザの目の方向に制御し、その後、会話を開始することを特徴とする。
【００１４】
第９発明は、一般の会話ロボット側からユーザに対して話し掛ける場合の別の動作方法であり、ユーザを認識し、ユーザの顔正面方向を認識し、ユーザの顔の正面に移動し、正面位置にてユーザの目を認識し、ロボットの首と目をユーザの目の方向に制御し、その後、会話を開始することを特徴とする。
【００１５】
第１０発明は、一般の会話ロボットに対してユーザ側から話し掛けてくる場合の動作方法であり、ユーザを認識し、ユーザの顔正面方向を認識し、ユーザの顔の正面に移動し、正面位置にてユーザの目を認識し、ロボットの首と目をユーザの目の方向に制御し、その後、ユーザに返事を行うことを特徴とする。
【００１６】
第１１発明は、一般の会話ロボットに対してユーザ側から話し掛けてくる場合の別の動作方法であり、ユーザを認識し、ユーザの体正面方向を認識し、ユーザの体の正面に移動し、正面位置にてユーザの目を認識し、ロボットの首と目をユーザの目の方向に制御し、その後、ユーザに返事を行うことを特徴とする。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照しながら説明する。
【００１８】
図１に会話ロボット１の外観を示し、ロボット本体１１は頭部１２と胸部１３と胴部（台車部）１４と左右の腕部１５とを有する人間を模したものであり、頭部１２と胸部１３間の首関節や、胸部１３と腕部１５間の肩関節、腕部１５内の肘関節、手首関節等が図示しない駆動機構により回動可能であるとともに、胴部１４に装備された左右の走行用車輪１６が図示しない駆動機構により操舵及び走行可能であって、頭部１２には２つの目１７が設けられている。
【００１９】
図１の会話ロボット１は、作業空間をバッテリ駆動により自律的に移動するように構成されており、一般家庭等の屋内を作業空間として人間と共存し、例えば、一般家庭内でロボットの所有者や操作者などのユーザの生活を補助・支援・介護するために用いられる。そのため、会話ロボット１は、内蔵のＣＰＵ（コンピュータ）及び各種のセンサにより、ユーザと会話する機能の他、ユーザの行動を見守ったり、ユーザの行動を補助したり、ユーザと一緒に行動したりする機能を備えている。会話ロボット１の形状としては、愛玩用に動物を模したものなど、種々考えられる。
【００２０】
この会話ロボット１は、詳細は後述するが、ユーザ（ロボットの所有者や操作者などの話し相手）の顔または体の正面に胴部１４を移動し、この正面位置で首と目１７をユーザの目に向け、ユーザの目を見て会話を行うことができるようにされている。これにより、ユーザからすると、会話ロボット１が自分の正面に立ち、更に自分の目を見ながら会話を行ってくれるため、従来に比べてより親近感のある会話が成立する。
【００２１】
本例では、目１７の瞳も図示しない駆動機構により移動可能にしている。
【００２２】
会話ロボット１はＣＰＵを用いた制御部を持ち、頭部１２には、２つの目１７の奥にそれぞれカメラ１７ａが装着されており、また、２つのマイクロホン１８が頭部１２に装着されている。また、胸部１３の中央部に音量・音源方向センサと焦電型赤外線センサからなる人検知センサ１９、左右にスピーカ２０ａが装着されている。更に、胸部１３の中央部に画像ディスプレイ２０ａが装着され、胴部１４に超音波式障害物センサ２１及びレーザ式障害物センサ２２が装着されている。キーボード及びタッチセンサ等が装着されることもある。
【００２３】
カメラ１７ａはユーザや屋内を撮影してその画像を制御部（図２中の符号３１参照）に出力し、マイクロホン１８はユーザの音声や電話のベル、呼び鈴、テレビの音などの生活音を取り込んで制御部に出力し、人検知センサ１９はユーザの有無を検出して制御部に出力する。スピーカ２０ａはマイクロホン１８とともにユーザとの会話に用いられ、画像ディスプレイ２０ｂはユーザに対する情報提供に用いられる。キーボードやタッチセンサはユーザ用のデータ入力機器であり、ユーザの生活パターンデータを入力したり、ユーザの意思を入力するために用いられる。スピーカ２０ａはユーザに対する情報提供にも用いられる。制御部には、所定期間にわたるカレンダ及び現在の年月日及び時刻を計時するカレンダクロック（図２中の符号２４参照）が備えられている。
【００２４】
図２に示すように、制御部３１には、キーボード等のデータ入力機器２３と、カメラ１７ａ、マイクロホン１８、人検知センサ１９及び障害物センサ２１、２２等のユーザの生活パターンを常時モニタする外界センサと、カレンダクロック２４といった内界センサとにより、会話ロボット１の自己位置に関する情報と、ユーザの位置に関する情報と、ユーザの行動に関する情報とが入力される。
【００２５】
制御部３１は、自己位置認識部３２と、ユーザ認識部３３と、顔方向認識部３４あるいは体方向認識部３５と、正面移動制御部３６と、目認識部３７と、首目制御部３８と、会話処理部３９と、データベース（記憶手段）４０と、生活パターンデータ処理部４１とを有している。顔方向認識部３４と体方向認識部３５は、少なくとも一方を有しておれば良い。
【００２６】
自己位置認識部３２は、カメラ１７ａで撮影した画像情報に基づいて会話ロボット１自身の位置及び方位（向き、姿勢）を認識する。
【００２７】
ユーザ認識部３３は、カメラ１７ａで撮影した画像情報及び／またはマイクロホン１８で取り込んだ音声からユーザ個人の認識を行い、また、カメラ１７ａと人検知センサ１９の検出結果からユーザの位置、向き、姿勢、活動量を認識する。
【００２８】
顔方向認識部３４は、ユーザ認識部３３で認識したユーザの顔正面方向をカメラ１７ａで撮影した画像情報から認識する。顔正面方向の認識技術としては、特開２００１−２４３２６６号公報に開示されたものなど、公知の技術を使用できる。
【００２９】
体方向認識部３５は、ユーザ認識部３３で認識したユーザの体正面方向をカメラ１７ａで撮影した画像情報から認識する。例えば、図３に示すよう、体方向認識部３５はデータベース４０と、人体シルエット抽出部４２と、マッチング処理部４３と、人体正面方向推定部４４とで構成される。各部の動作を以下に示す。
（１） データベース４０には、３次元の人体モデルから回転角が異なる複数の２次元射影画像シルエットを予め作成し、これを格納している。また、データベース４０には、回転角が同じでも姿勢が異なる２次元射影画像シルエットが格納されている。
（２） 人体シルエット抽出部４２は、カメラ１７ａで取得した画像情報から背景画像との差分により、または、エッジ検出により人体のシルエットを抽出する。
（３） マッチング処理部４３は、人体シルエット抽出部４２で抽出した人体のシルエットとデータベース４０に格納されている複数の２次元射影画像シルエットとのマッチング処理を行う。
（４） 人体正面方向推定部４４は、マッチング処理部４３の処理結果から、抽出した人体シルエットに最もマッチングする２次元射影画像シルエットが判るので、この最もマッチングする２次元射影画像シルエットの回転角から、ユーザの体正面方向を推定し、これを体正面方向認識結果とする。
【００３０】
正面移動制御部３６は、会話ロボット１の可動部を制御する駆動制御部４５の一部であり、走行用車輪１６の駆動部２５を制御することにより、ロボット本体１１、特にその胸部１３及び胴部１４をユーザの顔または体の正面位置に移動する。言い換えれば、会話ロボット１が顔方向認識部３４を有している場合は、顔方向認識部３４で認識した顔正面方向に基づいて、ユーザの顔の正面位置にロボット本体１１を移動させ、体方向認識部３５を有している場合は、体方向認識部３５で認識した体正面方向に基づいて、ユーザの体の正面位置にロボット本体１１を移動させる。
【００３１】
目認識部３７は、正面移動制御部３６によりロボット本体１１が正面位置に移動した状態で、ユーザの目を認識する。目の認識技術としては、公知の技術を使用でき、例えば、カメラ１７ａで取得した画像情報から２つの楕円部分を抽出し、それら間隔や大きさ、色を調べるもとにより、目を認識することができる。
【００３２】
首目制御部３８は、会話ロボット１の可動部を制御する駆動制御部４５の一部であり、首関節の駆動部２６を制御することにより、会話ロボット１の首と目１７を、目認識部３７で認識したユーザの目の方向に制御する。
【００３３】
目１７の瞳が可動である場合は、首目制御部３８は目１７の駆動部２７を制御することにより、会話ロボット１の目１７の瞳を、目認識部３７で認識したユーザの目の方向に制御する。
【００３４】
会話処理部３９は、ユーザと会話を行うものであり、マイクロフォン１８で取り込んだ音声からユーザが話し掛ける発言内容等の音声認識機能と、ユーザへの話し掛けや、質問、返事等の各種会話用音声波形を作ってスピーカ２０ａを駆動する発言機能を有している。
【００３５】
データベース４０は、前述した回転角、姿勢が異なる複数の２次元射影画像シルエットを記憶する他、ユーザとの会話用やユーザへの話し掛け用の各種音声データ、ユーザとの会話時やユーザへの話し掛け時の身振り動作のデータ、ユーザの生活情報（ユーザの居住に関する部屋の間取りや家具の配置、ユーザ個人の日常の生活パターン、ユーザの趣味、健康状態など）を記憶している。ユーザの生活情報には、必要に応じて文字列や映像、音声などのキーワードが付される。生活パターンのデータとしては、起床、就寝、食事、薬服用、散歩、自由時間、入浴などの行動に関するイベントが上げられ、これらのイベントが時間データとともにタイムスケジュールとして記憶される。
【００３６】
生活パターンデータ処理部４１は、ユーザがデータ入力機器２３から直接入力した生活情報をキーワードを付してデータベースに蓄積したり、カメラ１７ａやマイクロホン１８、人検知センサ１９で取得した音声認識結果などユーザの各種情報を処理することで一つ一つの生活情報にキーワードやその日時を付してデータベースに蓄積する。更に、生活パターンデータ処理部４１は、ユーザからの指示や話し掛けに応じて、あるいは、時刻などに応じて、これに対応する音声データをデータベース４０から選択し、会話処理部３９に与える。
【００３７】
次に、図４〜図７を参照して、会話ロボット１の動作方法を説明する。
【００３８】
［ロボット側から会話を開始する場合の動作方法：その１］
図４に示す動作手順は、顔方向認識部３４を有する会話ロボットにおいて、ロボット側からユーザに対して会話を開始する場合の動作方法を示している。
即ち、図４に示すように、
（１） まず、話し掛けるべきユーザをユーザ認識部３３で認識する（ステップＳ１参照）。
（２） 次に、ユーザ認識部３３で認識したユーザの顔正面方向を顔方向認識部３４で認識する（ステップＳ２参照）。
（３） 顔方向認識部３４で認識したユーザの顔正面方向に基づいて、正面移動制御部３６で会話ロボット１をユーザの顔の正面に移動する（ステップＳ３参照）。
（４） 移動した正面位置にて、ユーザの目を目認識部３７で認識する（ステップＳ４参照）。
（５） 目認識部３７で認識したユーザの目の方向に、首目制御部３８でロボットの首と目１７を制御する（ステップＳ５参照）。
（６） その後、会話処理部３９でユーザに話し掛け、会話を開始する（ステップＳ６参照）。
【００３９】
この結果、会話ロボット１がユーザの顔の正面前に立ち、更に自分の目を見ながら会話を開始してくれるため、より親近感のある会話が成立する。
【００４０】
［ロボット側から会話を開始する場合の動作方法：その２］
図５に示す動作手順は、体方向認識部３５を有する会話ロボットにおいて、ロボット側からユーザに対して会話を開始する場合の動作方法を示している。
即ち、図５に示すように、
（１） まず、話し掛けるべきユーザをユーザ認識部３３で認識する（ステップＳ１１参照）。
（２） 次に、ユーザ認識部３３で認識したユーザの体正面方向を体方向認識部３５で認識する（ステップＳ１２参照）。
（３） 体方向認識部３５で認識したユーザの体正面方向に基づいて、正面移動制御部３６で会話ロボット１をユーザの体の正面に移動する（ステップＳ１３参照）。
（４） 移動した正面位置にて、ユーザの目を目認識部３７で認識する（ステップＳ１４参照）。
（５） 目認識部３７で認識したユーザの目の方向に、首目制御部３８でロボットの首と目１７を制御する（ステップＳ１５参照）。
（６） その後、会話処理部３９でユーザに話し掛け、会話を開始する（ステップＳ１６参照）。
【００４１】
この結果、会話ロボット１がユーザの体の正面前に立ち、更に自分の目を見ながら会話を開始してくれるため、より親近感のある会話が成立する。
【００４２】
ここで、ユーザの顔の方向は、体の方向に比べて細かく速く動くため、図４による動作方法では、顔正面方向を認識して移動しても、会話ロボット１が目標位置に着いた時点でユーザの顔は別な方向に向いてしまっている可能性が高い。これに対して、平均的には顔は体の正面方向を向いていると考えられるため、図５による動作方法のように、体正面方向に会話ロボット１が移動する方が、顔正面に移動するよりも、よりロバスト（確実）にユーザの正面位置に立つことができる。
【００４３】
［ユーザ側から会話を開始する場合の動作方法：その１］
図６に示す動作手順は、顔方向認識部３４を有する会話ロボットにおいて、ユーザ側からロボットに対して会話を開始する場合の動作方法を示している。
即ち、図６に示すように、
（１） まず、話し掛けてきたユーザをユーザ認識部３３で認識する（ステップＳ２１参照）。
（２） 次に、ユーザ認識部３３で認識したユーザの顔正面方向を顔方向認識部３４で認識する（ステップＳ２２参照）。
（３） 顔方向認識部３４で認識したユーザの顔正面方向に基づいて、正面移動制御部３６で会話ロボット１をユーザの顔の正面に移動する（ステップＳ２３参照）。
（４） 移動した正面位置にて、ユーザの目を目認識部３７で認識する（ステップＳ２４参照）。
（５） 目認識部３７で認識したユーザの目の方向に、首目制御部３８でロボットの首と目１７を制御する（ステップＳ２５参照）。
（６） その後、会話処理部３９でユーザに返事を行う（ステップＳ２６参照）。
【００４４】
この結果、会話ロボット１がユーザの顔の正面前に立ち、更に自分の目を見ながら返事をしてくれるため、より親近感のある会話が成立する。
【００４５】
［ユーザ側から会話を開始する場合の動作方法：その２］
図７に示す動作手順は、体方向認識部３５を有する会話ロボットにおいて、ユーザ側からロボットに対して会話を開始する場合の動作方法を示している。
即ち、図７に示すように、
（１） まず、話し掛けてきたユーザをユーザ認識部３３で認識する（ステップＳ３１参照）。
（２） 次に、ユーザ認識部３３で認識したユーザの体正面方向を体方向認識部３５で認識する（ステップＳ３２参照）。
（３） 体方向認識部３５で認識したユーザの体正面方向に基づいて、正面移動制御部３６で会話ロボット１をユーザの体の正面に移動する（ステップＳ３３参照）。
（４） 移動した正面位置にて、ユーザの目を目認識部３７で認識する（ステップＳ３４参照）。
（５） 目認識部３７で認識したユーザの目の方向に、首目制御部３８でロボットの首と目１７を制御する（ステップＳ３５参照）。
（６） その後、会話処理部３９でユーザに返事を行う（ステップＳ３６参照）。
【００４６】
この結果、会話ロボット１がユーザの体の正面前に立ち、更に自分の目を見ながら返事をしてくれるため、より親近感のある会話が成立する。
【００４７】
ここで、ユーザの顔の方向は、体の方向に比べて細かく速く動くため、図６による動作方法では、顔正面方向を認識して移動しても、会話ロボット１が目標位置に着いた時点でユーザの顔は別な方向に向いてしまっている可能性が高い。これに対して、平均的には顔は体の正面方向を向いていると考えられるため、図７による動作方法のように、体正面方向に会話ロボット１が移動する方が、顔正面に移動するよりも、よりロバストにユーザの正面位置に立つことができる。
【００４８】
【発明の効果】
第１発明は、ユーザの顔または体の正面位置に移動し、ユーザの目を見て会話を行う会話ロボットであるので、ユーザからすると、会話ロボットが自分の正面に立ち、更に自分の目を見ながら会話を行ってくれるため、従来に比べてより親近感のある会話が成立する。
【００４９】
第２発明は、第１発明の会話ロボットにおいて、ユーザを認識するユーザ認識手段と、ユーザの顔正面方向を認識する顔方向認識手段と、ロボット本体をユーザの顔の正面に移動する正面移動制御手段と、ユーザの目を認識する目認識手段と、ロボットの首と目をユーザの目の方向に制御する首目制御手段と、ユーザと会話を行う会話処理手段とを備えるので、会話ロボットがユーザの顔の正面前に立ち、更に自分の目を見ながら会話をしてくれるため、より親近感のある会話が成立する。
【００５０】
第３発明は、第１発明の会話ロボットにおいて、ユーザを認識するユーザ認識手段と、ユーザの体正面方向を認識する体方向認識手段と、ロボット本体をユーザの体の正面に移動する正面移動制御手段と、ユーザの目を認識する目認識手段と、ロボットの首と目をユーザの目の方向に制御する首目制御手段と、ユーザと会話を行う会話処理手段とを備えるので、会話ロボットがユーザの体の正面前に立ち、更に自分の目を見ながら会話をしてくれるため、より親近感のある会話が成立する。また、会話ロボットがユーザの顔正面に移動するよりも、よりロバストにユーザの正面位置に立つことができる。
【００５１】
第４発明は、第２発明の会話ロボット側からユーザに対して話し掛ける場合の動作方法であり、ユーザを認識し、ユーザの顔正面方向を認識し、ユーザの顔の正面に移動し、正面位置にてユーザの目を認識し、ロボットの首と目をユーザの目の方向に制御し、その後、会話を開始するので、会話ロボットがユーザの顔の正面前に立ち、更に自分の目を見ながら会話を開始してくれるため、より親近感のある会話が成立する。
【００５２】
第５発明は、第２発明の会話ロボットに対してユーザ側から話し掛けてくる場合の動作方法であり、ユーザを認識し、ユーザの顔正面方向を認識し、ユーザの顔の正面に移動し、正面位置にてユーザの目を認識し、ロボットの首と目をユーザの目の方向に制御し、その後、ユーザに返事を行うので、より親近感のある会話が成立する。
【００５３】
第６発明は、第３発明の会話ロボット側からユーザに対して話し掛ける場合の動作方法であり、ユーザを認識し、ユーザの体正面方向を認識し、ユーザの体の正面に移動し、正面位置にてユーザの目を認識し、ロボットの首と目をユーザの目の方向に制御し、その後、会話を開始するので、より親近感のある会話が成立する。また、会話ロボットがユーザの顔正面に移動するよりも、よりロバストにユーザの正面位置に立つことができる。
【００５４】
第７発明は、第３発明の会話ロボットに対してユーザ側から話し掛けてくる場合の動作方法であり、ユーザを認識し、ユーザの体正面方向を認識し、ユーザの体の正面に移動し、正面位置にてユーザの目を認識し、ロボットの首と目をユーザの目の方向に制御し、その後、ユーザに返事を行うので、より親近感のある会話が成立する。また、会話ロボットがユーザの顔正面に移動するよりも、よりロバストにユーザの正面位置に立つことができる。
【００５５】
第８発明は、一般の会話ロボット側からユーザに対して話し掛ける場合の動作方法であり、ユーザを認識し、ユーザの顔正面方向を認識し、ユーザの顔の正面に移動し、正面位置にてユーザの目を認識し、ロボットの首と目をユーザの目の方向に制御し、その後、会話を開始するので、より親近感のある会話が成立する。
【００５６】
第９発明は、一般の会話ロボット側からユーザに対して話し掛ける場合の別の動作方法であり、ユーザを認識し、ユーザの顔正面方向を認識し、ユーザの顔の正面に移動し、正面位置にてユーザの目を認識し、ロボットの首と目をユーザの目の方向に制御し、その後、会話を開始するので、より親近感のある会話が成立する。また、会話ロボットがユーザの顔正面に移動するよりも、よりロバストにユーザの正面位置に立つことができる。
【００５７】
第１０発明は、一般の会話ロボットに対してユーザ側から話し掛けてくる場合の動作方法であり、ユーザを認識し、ユーザの顔正面方向を認識し、ユーザの顔の正面に移動し、正面位置にてユーザの目を認識し、ロボットの首と目をユーザの目の方向に制御し、その後、ユーザに返事を行うので、より親近感のある会話が成立する。
【００５８】
第１１発明は、一般の会話ロボットに対してユーザ側から話し掛けてくる場合の別の動作方法であり、ユーザを認識し、ユーザの体正面方向を認識し、ユーザの体の正面に移動し、正面位置にてユーザの目を認識し、ロボットの首と目をユーザの目の方向に制御し、その後、ユーザに返事を行うので、より親近感のある会話が成立する。また、会話ロボットがユーザの顔正面に移動するよりも、よりロバストにユーザの正面位置に立つことができる。
【図面の簡単な説明】
【図１】本発明の実施例に係る会話ロボットの外観を示す図。
【図２】本発明の実施例に係る会話ロボットの制御系を示す図。
【図３】体方向認識部の構成例を示す図。
【図４】ロボット側から会話を開始する場合の動作方法（その１）を示す図。
【図５】ロボット側から会話を開始する場合の動作方法（その２）を示す図。
【図６】ユーザ側から会話を開始する場合の動作方法（その１）を示す図。
【図７】ユーザ側から会話を開始する場合の動作方法（その２）を示す図。
【符号の説明】
１ 会話ロボット
１１ ロボット本体
１２ 頭部
１３ 胸部
１４ 胴部
１５ 腕部
１６ 走行用車輪
１７ 目
１７ａ カメラ
１８ マイクロホン
１９ 人検知センサ
２０ａ スピーカ
２０ｂ 画像ディスプレイ
２１、２２ 障害物センサ
２３ データ入力機器
２４ カレンダクロック
２５ 車輪用駆動部
２６ 首関節用駆動部
２７ 瞳用駆動部
３１ 制御部
３２ 自己位置認識部
３３ ユーザ認識部
３４ 顔方向認識部
３５ 体方向認識部
３６ 正面移動制御部
３７ 目認識部
３８ 首目制御部
３９ 会話処理部
４０ データベース（記憶手段）
４１ 生活パターンデータ処理部
４２ 人体シルエット抽出部
４３ マッチング処理部
４４ 人体正面方向推定部
４５ 駆動制御部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a technology for a robot to have a close conversation with each other.
[0002]
[Prior art]
When a robot talks with a person, it is necessary for the robot to look at the person's eyes in order to establish high-affinity communication. For a robot such as Waseda University's "ROBITA", the robot's neck and eyes The conversation is controlled while controlling the direction and looking at the human eyes.
[0003]
[Problems to be solved by the invention]
However, it is not enough for the eyes of the robot to look at the human eyes in order for the robot to establish human-like communication (conversation with a close feeling).
[0004]
Accordingly, it is an object of the present invention to provide a technique for establishing a more intimate conversation between a robot and a person than before.
[0005]
[Means for Solving the Problems]
In order to establish a more intimate conversation, the inventor not only looks at the human eyes, but also speaks while standing in front of the other party (hereinafter, the user) such as the robot owner or operator. Noting that it is necessary to do so, we devised the following problem solving means.
[0006]
A first invention is a conversation robot that moves to a position in front of a user's face or body and looks at the user's eyes to have a conversation.
[0007]
According to a second aspect of the present invention, the conversation robot of the first aspect moves to a position in front of the user's face and conducts a conversation by looking at the user's eyes. Face direction recognition means for recognizing the direction, front movement control means for moving the robot body to the front of the user's face, eye recognition means for recognizing the user's eyes, and the robot's neck and eyes in the direction of the user's eyes. It is characterized by comprising a head control means for controlling and a conversation processing means for conversing with the user.
[0008]
According to a third aspect of the present invention, in the conversation robot of the first aspect, the robot moves to the front position of the body of the user and performs conversation by looking at the eyes of the user. Body direction recognition means for recognizing the direction, front movement control means for moving the robot body to the front of the user's body, eye recognition means for recognizing the user's eyes, and the robot's neck and eyes in the direction of the user's eyes. It is characterized by comprising a head control means for controlling and a conversation processing means for conversing with the user.
[0009]
The fourth invention is an operation method in the case where the conversation robot of the second invention speaks to the user, and recognizes the user, recognizes the front direction of the user's face, moves to the front of the user's face, and moves the front position. And recognizes the eyes of the user, controls the neck and eyes of the robot in the direction of the eyes of the user, and then starts a conversation.
[0010]
The fifth invention is an operation method when the user speaks to the conversation robot of the second invention, and recognizes the user, recognizes the user's face front direction, moves to the front of the user's face, Recognizing the user's eyes at the front position, controlling the robot's neck and eyes in the direction of the user's eyes, and then responding to the user.
[0011]
The sixth invention is an operation method in the case where the conversation robot of the third invention speaks to the user, recognizes the user, recognizes the user's body front direction, moves to the front of the user's body, and moves the front position. And recognizes the eyes of the user, controls the neck and eyes of the robot in the direction of the eyes of the user, and then starts a conversation.
[0012]
A seventh invention is an operation method when the user speaks to the conversation robot of the third invention, and recognizes the user, recognizes the user's body front direction, moves to the front of the user's body, Recognizing the user's eyes at the front position, controlling the robot's neck and eyes in the direction of the user's eyes, and then responding to the user.
[0013]
The eighth invention is an operation method in a case where a general conversation robot speaks to the user, and recognizes the user, recognizes the user's face front direction, moves to the front of the user's face, and moves at the front position. Recognizing the user's eyes, controlling the robot's neck and eyes in the direction of the user's eyes, and then starting a conversation.
[0014]
The ninth invention is another operation method in a case where a general conversation robot talks to a user, recognizes the user, recognizes the user's face front direction, moves to the front of the user's face, and moves the front position. And recognizes the eyes of the user, controls the neck and eyes of the robot in the direction of the eyes of the user, and then starts a conversation.
[0015]
The tenth invention is an operation method when a user speaks to a general conversation robot, and recognizes the user, recognizes the front direction of the user's face, moves to the front of the user's face, And recognizes the eyes of the user, controls the neck and eyes of the robot in the direction of the eyes of the user, and then responds to the user.
[0016]
The eleventh invention is another operation method when the user speaks to a general conversation robot, recognizes the user, recognizes the user's body front direction, moves to the front of the user's body, Recognizing the user's eyes at the front position, controlling the robot's neck and eyes in the direction of the user's eyes, and then responding to the user.
[0017]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0018]
FIG. 1 shows the appearance of a conversation robot 1. The robot body 11 simulates a human having a head 12, a chest 13, a torso (cart) 14, and left and right arms 15; A neck joint between the chest 13, a shoulder joint between the chest 13 and the arm 15, an elbow joint, a wrist joint, and the like in the arm 15 are rotatable by a drive mechanism (not shown) and are mounted on the torso 14. The left and right running wheels 16 can be steered and run by a drive mechanism (not shown), and the head 12 is provided with two eyes 17.
[0019]
The conversation robot 1 in FIG. 1 is configured to move autonomously in a work space by driving a battery, and coexists with a human as an indoor work space such as a general home. It is used for assisting, supporting, and nursing the lives of users such as operators and operators. For this reason, the conversation robot 1 uses the built-in CPU (computer) and various sensors to monitor the user's behavior, assist the user's behavior, and act together with the user, in addition to the function of conversation with the user. Has functions. Various shapes of the conversation robot 1 are conceivable, such as an animal model for pets.
[0020]
As will be described in detail later, the conversation robot 1 moves the body 14 to the front of the face or body of the user (the other party to talk to, such as the owner or operator of the robot), and places the neck and eyes 17 at the front position. It is possible to have a conversation while looking at the eyes of the user. Thereby, from the user's point of view, the conversation robot 1 stands in front of himself and conducts a conversation while looking at his own eyes, so that a conversation with a closer feeling than before is established.
[0021]
In this example, the pupil of the eye 17 is also movable by a drive mechanism (not shown).
[0022]
The conversation robot 1 has a control unit using a CPU. A camera 17a is mounted on the head 12 behind two eyes 17 and two microphones 18 are mounted on the head 12. . A human detection sensor 19 including a volume / sound source direction sensor and a pyroelectric infrared sensor is mounted at the center of the chest 13, and speakers 20a are mounted on the left and right. Further, an image display 20 a is mounted on the center of the chest 13, and an ultrasonic obstacle sensor 21 and a laser obstacle sensor 22 are mounted on the body 14. A keyboard and a touch sensor may be mounted.
[0023]
The camera 17a captures an image of the user or the room, and outputs the image to a control unit (see reference numeral 31 in FIG. 2). The microphone 18 captures the user's voice, a living bell such as a telephone bell, a doorbell, and a television sound. And the human detection sensor 19 detects the presence / absence of a user and outputs it to the control unit. The speaker 20a is used for conversation with the user together with the microphone 18, and the image display 20b is used for providing information to the user. The keyboard and the touch sensor are data input devices for the user, and are used for inputting the life pattern data of the user and inputting the intention of the user. The speaker 20a is also used for providing information to a user. The control unit is provided with a calendar for a predetermined period and a calendar clock (see reference numeral 24 in FIG. 2) for measuring the current date and time.
[0024]
As shown in FIG. 2, the control unit 31 includes a data input device 23 such as a keyboard, and an external world that constantly monitors a user's life pattern such as the camera 17a, the microphone 18, the human detection sensor 19, and the obstacle sensors 21 and 22. The sensor and the internal sensor such as the calendar clock 24 input information on the self-position of the conversation robot 1, information on the position of the user, and information on the behavior of the user.
[0025]
The control unit 31 includes a self-position recognition unit 32, a user recognition unit 33, a face direction recognition unit 34 or a body direction recognition unit 35, a front movement control unit 36, an eye recognition unit 37, and a neck / eye control unit 38. , A conversation processing unit 39, a database (storage means) 40, and a life pattern data processing unit 41. The face direction recognition unit 34 and the body direction recognition unit 35 may have at least one.
[0026]
The self-position recognition unit 32 recognizes the position and direction (direction, posture) of the conversation robot 1 based on image information captured by the camera 17a.
[0027]
The user recognizing unit 33 recognizes the user from the image information captured by the camera 17a and / or the voice captured by the microphone 18, and detects the position, orientation, and posture of the user based on the detection results of the camera 17a and the human detection sensor 19. Recognize the amount of activity.
[0028]
The face direction recognizing unit 34 recognizes the front face direction of the user recognized by the user recognizing unit 33 from image information captured by the camera 17a. As a technique for recognizing the front direction of the face, a known technique such as that disclosed in JP-A-2001-243266 can be used.
[0029]
The body direction recognition unit 35 recognizes the user's body front direction recognized by the user recognition unit 33 from image information captured by the camera 17a. For example, as shown in FIG. 3, the body direction recognizing unit 35 includes a database 40, a human body silhouette extracting unit 42, a matching processing unit 43, and a human body front direction estimating unit 44. The operation of each unit is described below.
(1) In the database 40, a plurality of two-dimensional projected image silhouettes having different rotation angles are created in advance from a three-dimensional human body model and stored. The database 40 stores two-dimensional projected image silhouettes having the same rotation angle but different postures.
(2) The human body silhouette extracting unit 42 extracts a human body silhouette from the image information acquired by the camera 17a by a difference from a background image or by edge detection.
(3) The matching processing unit 43 performs a matching process between the silhouette of the human body extracted by the human silhouette extracting unit 42 and a plurality of two-dimensional projected image silhouettes stored in the database 40.
(4) The human body front direction estimating unit 44 determines the two-dimensional projected image silhouette that best matches the extracted human body silhouette from the processing result of the matching processing unit 43. , The body front direction of the user is estimated, and this is used as the body front direction recognition result.
[0030]
The front movement control unit 36 is a part of the drive control unit 45 that controls the movable unit of the conversation robot 1, and controls the drive unit 25 of the traveling wheels 16 to control the robot body 11, particularly its chest 13 and torso. The unit 14 is moved to a position in front of the user's face or body. In other words, when the conversation robot 1 has the face direction recognition unit 34, the robot body 11 is moved to the front position of the user's face based on the face front direction recognized by the face direction recognition unit 34, When the robot has the direction recognition unit 35, the robot body 11 is moved to the front position of the user's body based on the body front direction recognized by the body direction recognition unit 35.
[0031]
The eye recognizing unit 37 recognizes the user's eyes while the robot body 11 is moved to the front position by the front movement control unit 36. As the eye recognition technology, a known technology can be used. For example, two elliptical portions are extracted from the image information acquired by the camera 17a, and the eye is recognized based on their interval, size, and color. Can be.
[0032]
The neck control unit 38 is a part of the drive control unit 45 that controls the movable unit of the conversation robot 1, and controls the neck joint drive unit 26 to recognize the neck and eyes 17 of the conversation robot 1 with eye recognition. Control is performed in the direction of the user's eyes recognized by the unit 37.
[0033]
When the pupil of the eye 17 is movable, the neck-and-eye control unit 38 controls the driving unit 27 of the eye 17 so that the pupil of the eye 17 of the conversation robot 1 is recognized by the eye recognition unit 37. Control in the direction.
[0034]
The conversation processing unit 39 is for conversing with the user. The speech processing unit 39 performs a speech recognition function such as a speech content spoken by the user from speech captured by the microphone 18, and various speech sound waveforms for talking to the user, asking questions, answering, and the like. To drive the speaker 20a.
[0035]
The database 40 stores a plurality of two-dimensional projected image silhouettes having different rotation angles and postures as described above, as well as various voice data for conversation with the user and for talking to the user, during conversation with the user, and talking to the user. It stores data of gesture movements at the time and life information of the user (floor layout, furniture arrangement, user's personal daily life pattern, user's hobby, health condition, etc.). A keyword such as a character string, video, or audio is added to the user's life information as needed. As the life pattern data, events related to activities such as getting up, going to bed, eating, taking medicine, taking a walk, free time, and taking a bath are listed, and these events are stored as time schedules together with time data.
[0036]
The life pattern data processing unit 41 stores the life information directly input by the user from the data input device 23 in a database with a keyword attached thereto, or a user such as a voice recognition result acquired by the camera 17a, the microphone 18, and the human detection sensor 19. By processing various types of information, each piece of life information is attached to a database with a keyword and its date and time. Further, the life pattern data processing unit 41 selects the corresponding voice data from the database 40 in response to an instruction or talking from the user, or according to the time, and provides the same to the conversation processing unit 39.
[0037]
Next, an operation method of the conversation robot 1 will be described with reference to FIGS.
[0038]
[Operation method when conversation is started from robot side: Part 1]
The operation procedure shown in FIG. 4 shows an operation method in a case where a conversation is started from the robot side to the user in the conversation robot having the face direction recognition unit 34.
That is, as shown in FIG.
(1) First, a user to talk to is recognized by the user recognition unit 33 (see step S1).
(2) Next, the face direction of the user recognized by the user recognition unit 33 is recognized by the face direction recognition unit 34 (see step S2).
(3) The conversation robot 1 is moved to the front of the user's face by the front movement control unit 36 based on the front direction of the user's face recognized by the face direction recognition unit 34 (see step S3).
(4) The user's eyes are recognized by the eye recognition unit 37 at the moved front position (see step S4).
(5) The neck and eyes 17 of the robot are controlled by the neck control unit 38 in the direction of the eyes of the user recognized by the eye recognition unit 37 (see step S5).
(6) Thereafter, the conversation processing unit 39 talks to the user and starts a conversation (see step S6).
[0039]
As a result, the conversation robot 1 stands in front of the user's face and starts conversation while looking at his / her eyes, so that a conversation with a closer feeling is established.
[0040]
[Operation method when conversation is started from the robot side: part 2]
The operation procedure shown in FIG. 5 shows an operation method in a case where a conversation is started from the robot side to the user in the conversation robot having the body direction recognition unit 35.
That is, as shown in FIG.
(1) First, the user to be talked to is recognized by the user recognition unit 33 (see step S11).
(2) Next, the body direction of the user recognized by the user recognition unit 33 is recognized by the body direction recognition unit 35 (see step S12).
(3) The conversation robot 1 is moved to the front of the user's body by the front movement control unit 36 based on the user's body front direction recognized by the body direction recognition unit 35 (see step S13).
(4) At the moved front position, the eyes of the user are recognized by the eye recognition unit 37 (see step S14).
(5) The neck control part 38 controls the robot's neck and eyes 17 in the direction of the user's eyes recognized by the eye recognition part 37 (see step S15).
(6) Thereafter, the conversation processing unit 39 talks to the user to start a conversation (see step S16).
[0041]
As a result, the conversation robot 1 stands in front of the user's body and starts a conversation while looking at his / her own eyes, so that a conversation with a closer feeling is established.
[0042]
Here, since the direction of the user's face moves finer and faster than the direction of the body, the moving method shown in FIG. It is highly likely that the user's face has turned in a different direction. On the other hand, since the face is considered to face the front of the body on average, it is more likely that the conversation robot 1 moves in the front of the body as in the operation method shown in FIG. Rather than doing so, it is possible to stand more robustly (reliably) at the user's front position.
[0043]
[Operation method when conversation starts from user side: Part 1]
The operation procedure illustrated in FIG. 6 illustrates an operation method in a case where a conversation is started from the user side to the robot in the conversation robot having the face direction recognition unit 34.
That is, as shown in FIG.
(1) First, the user who has spoken is recognized by the user recognition unit 33 (see step S21).
(2) Next, the face direction of the user recognized by the user recognition unit 33 is recognized by the face direction recognition unit 34 (see step S22).
(3) The conversation robot 1 is moved in front of the user's face by the front movement control unit 36 based on the user's face front direction recognized by the face direction recognition unit 34 (see step S23).
(4) At the moved front position, the eyes of the user are recognized by the eye recognition unit 37 (see step S24).
(5) The neck and eyes 17 of the robot are controlled by the neck control unit 38 in the direction of the user's eyes recognized by the eye recognition unit 37 (see step S25).
(6) Thereafter, the conversation processing unit 39 replies to the user (see step S26).
[0044]
As a result, the conversation robot 1 stands in front of the user's face and replies while looking at his / her own eyes, so that a more intimate conversation is established.
[0045]
[Operation method when the user starts a conversation: part 2]
The operation procedure illustrated in FIG. 7 illustrates an operation method in a case where the user starts a conversation with the robot in the conversation robot having the body direction recognition unit 35.
That is, as shown in FIG.
(1) First, the user who has spoken is recognized by the user recognition unit 33 (see step S31).
(2) Next, the body direction of the user recognized by the user recognition unit 33 is recognized by the body direction recognition unit 35 (see step S32).
(3) The conversation robot 1 is moved to the front of the user's body by the front movement control unit 36 based on the user's body front direction recognized by the body direction recognition unit 35 (see step S33).
(4) At the moved front position, the eyes of the user are recognized by the eye recognition unit 37 (see step S34).
(5) The neck control part 38 controls the robot's neck and eyes 17 in the direction of the user's eyes recognized by the eye recognition part 37 (see step S35).
(6) Thereafter, the conversation processing unit 39 replies to the user (see step S36).
[0046]
As a result, the conversation robot 1 stands in front of the user's body and replies while looking at his own eyes, so that a more intimate conversation is established.
[0047]
Here, since the direction of the user's face moves finer and faster than the direction of the body, the movement method shown in FIG. It is highly likely that the user's face has turned in a different direction. On the other hand, the face is considered to face the front of the body on average, so that the conversation robot 1 moving in the front of the body moves to the front of the face as in the operation method according to FIG. Rather than doing so, it is possible to stand more robustly in front of the user.
[0048]
【The invention's effect】
The first invention is a conversation robot that moves to the front position of the user's face or body and performs conversation while looking at the eyes of the user. Because the conversation is performed while watching, a conversation with a closer feeling is established than before.
[0049]
According to a second aspect, in the conversation robot according to the first aspect, a user recognizing means for recognizing a user, a face direction recognizing means for recognizing a face front direction of the user, and a front movement control for moving the robot body to the front of the user's face. Means, eye recognition means for recognizing the user's eyes, head control means for controlling the robot's neck and eyes in the direction of the user's eyes, and conversation processing means for conversing with the user. Standing in front of the user's face and having a conversation while looking at their own eyes, a more intimate conversation is established.
[0050]
According to a third aspect, in the conversation robot according to the first aspect, a user recognizing means for recognizing the user, a body direction recognizing means for recognizing a user's frontal direction, and a front movement control for moving the robot body to the front of the user's body. Means, eye recognition means for recognizing the user's eyes, head control means for controlling the robot's neck and eyes in the direction of the user's eyes, and conversation processing means for conversing with the user. Standing in front of the user's body and having a conversation while looking at their own eyes, a conversation with a closer feeling is established. Further, it is possible to more robustly stand at the user's front position than when the conversation robot moves in front of the user's face.
[0051]
The fourth invention is an operation method in the case where the conversation robot of the second invention speaks to the user, and recognizes the user, recognizes the front direction of the user's face, moves to the front of the user's face, and moves the front position. The robot recognizes the user's eyes, controls the robot's neck and eyes in the direction of the user's eyes, and then starts a conversation, so that the conversation robot stands in front of the user's face and further looks at his / her eyes. Since the conversation starts, a more intimate conversation is established.
[0052]
The fifth invention is an operation method when the user speaks to the conversation robot of the second invention, and recognizes the user, recognizes the user's face front direction, moves to the front of the user's face, Recognizing the user's eyes at the front position, controlling the robot's neck and eyes in the direction of the user's eyes, and then replying to the user, a more intimate conversation is established.
[0053]
The sixth invention is an operation method in the case where the conversation robot of the third invention speaks to the user, recognizes the user, recognizes the user's body front direction, moves to the front of the user's body, and moves the front position. Recognizes the user's eyes, controls the robot's neck and eyes in the direction of the user's eyes, and then starts a conversation, so that a more familiar conversation is established. Further, it is possible to more robustly stand at the user's front position than when the conversation robot moves in front of the user's face.
[0054]
A seventh invention is an operation method when the user speaks to the conversation robot of the third invention, and recognizes the user, recognizes the user's body front direction, moves to the front of the user's body, Recognizing the user's eyes at the front position, controlling the robot's neck and eyes in the direction of the user's eyes, and then replying to the user, a more intimate conversation is established. Further, it is possible to more robustly stand at the user's front position than when the conversation robot moves in front of the user's face.
[0055]
The eighth invention is an operation method in a case where a general conversation robot speaks to the user, and recognizes the user, recognizes the user's face front direction, moves to the front of the user's face, and moves at the front position. Recognizing the user's eyes, controlling the robot's neck and eyes in the direction of the user's eyes, and then starting the conversation, a more intimate conversation is established.
[0056]
The ninth invention is another operation method in a case where a general conversation robot talks to a user, recognizes the user, recognizes the user's face front direction, moves to the front of the user's face, and moves the front position. Recognizes the user's eyes, controls the robot's neck and eyes in the direction of the user's eyes, and then starts a conversation, so that a more familiar conversation is established. Further, it is possible to more robustly stand at the user's front position than when the conversation robot moves in front of the user's face.
[0057]
The tenth invention is an operation method when a user speaks to a general conversation robot, recognizes the user, recognizes the user's face front direction, moves to the front of the user's face, Recognizes the eyes of the user, controls the neck and eyes of the robot in the direction of the eyes of the user, and then answers the user, so that a more intimate conversation is established.
[0058]
The eleventh invention is another operation method when the user speaks to a general conversation robot, recognizes the user, recognizes the user's body front direction, moves to the front of the user's body, Recognizing the user's eyes at the front position, controlling the robot's neck and eyes in the direction of the user's eyes, and then replying to the user, a more intimate conversation is established. Further, it is possible to more robustly stand at the user's front position than when the conversation robot moves in front of the user's face.
[Brief description of the drawings]
FIG. 1 is a view showing the appearance of a conversation robot according to an embodiment of the present invention.
FIG. 2 is a diagram showing a control system of the conversation robot according to the embodiment of the present invention.
FIG. 3 is a diagram showing a configuration example of a body direction recognition unit.
FIG. 4 is a diagram showing an operation method (part 1) when a conversation is started from the robot side.
FIG. 5 is a diagram illustrating an operation method (part 2) when a conversation is started from the robot side.
FIG. 6 is a diagram showing an operation method (part 1) when a conversation is started from the user side.
FIG. 7 is a diagram showing an operation method (part 2) when a conversation is started from the user side.
[Explanation of symbols]
1 conversation robot
11 Robot body
12 head
13 Chest
14 torso
15 arms
16 Running wheels
17 eyes
17a camera
18 microphone
19 human detection sensor
20a speaker
20b image display
21, 22 Obstacle sensor
23 Data input device
24 Calendar clock
25 Wheel drive unit
26 Neck joint drive
27 Eye Drive
31 Control unit
32 Self position recognition unit
33 User Recognition Unit
34 Face direction recognition unit
35 Body direction recognition unit
36 Front movement control unit
37 Eye Recognition Unit
38 Neck control unit
39 Conversation processing unit
40 database (storage means)
41 Life pattern data processing unit
42 Human body silhouette extraction unit
43 Matching processing unit
44 Human body front direction estimation unit
45 Drive control unit
