JP2004066367A - 行動パターン生成装置、行動パターン生成方法、及び行動パターン生成プログラム - Google Patents
行動パターン生成装置、行動パターン生成方法、及び行動パターン生成プログラム Download PDFInfo
- Publication number
- JP2004066367A JP2004066367A JP2002226945A JP2002226945A JP2004066367A JP 2004066367 A JP2004066367 A JP 2004066367A JP 2002226945 A JP2002226945 A JP 2002226945A JP 2002226945 A JP2002226945 A JP 2002226945A JP 2004066367 A JP2004066367 A JP 2004066367A
- Authority
- JP
- Japan
- Prior art keywords
- emotion
- behavior pattern
- data
- information
- relative distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Manipulator (AREA)
Abstract
【課題】ロボット等の人工生物モデルにおいて、ユーザとの相対的な距離関係に応じた適切な行動パターンを生成する。
【解決手段】人工生物モデルがコミュニケーションを行うコミュニケーション体(ユーザ)に対する人工生物モデルの行動パターンを生成する際、情報処理部22ではユーザと人工生物モデルとの相対距離を計測するとともに、ユーザが発する情報を認識して収集情報とする。感情認識部23では、収集情報に応じてユーザの感情を推定して推定感情データを得、相対距離に応じてユーザが人工生物モデルをコミュニケーション対象としているか否かを判定して、判定結果及び推定感情データに基づいて人工生物モデルの感情を設定感情データとして設定する。そして、行動決定エンジン部24は、少なくとも設定感情データと相対距離とに基づいて行動パターンを決定する。
【選択図】 図1
【解決手段】人工生物モデルがコミュニケーションを行うコミュニケーション体(ユーザ)に対する人工生物モデルの行動パターンを生成する際、情報処理部22ではユーザと人工生物モデルとの相対距離を計測するとともに、ユーザが発する情報を認識して収集情報とする。感情認識部23では、収集情報に応じてユーザの感情を推定して推定感情データを得、相対距離に応じてユーザが人工生物モデルをコミュニケーション対象としているか否かを判定して、判定結果及び推定感情データに基づいて人工生物モデルの感情を設定感情データとして設定する。そして、行動決定エンジン部24は、少なくとも設定感情データと相対距離とに基づいて行動パターンを決定する。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
本発明は、ロボット等の模擬生物又は仮想現実空間内のキャラクター等の人工生物モデルが実行する行動パターンを生成するための行動生成装置に関し、特に、人間との協調・共存を図る上で必要な対人コミュニケーションを円滑にすることのできる行動パターン生成装置、行動パターン生成方法、及び行動パターン生成プログラムに関するものである。
【0002】
【従来の技術】
一般に、ロボット等の模擬生物又は仮想現実空間内のキャラクター等の人工生物モデルや仮想生物として、外部から入力された各種情報(例えば、人間の作業状態、感情、及びその場の状況など)に応じて行動するものが知られている。そして、人工生物モデルの行動パターンを現実の生物の行動パターンに近似させるため、状況に対して行うべき行動パターンの生成過程で学習、忘却、及び意識の概念を取り入れたものもある。
【0003】
上述のような行動パターン生成手法として、例えば、特許第3178393号公報(以下従来例1と呼ぶ)に記載されたものがある。従来例1では、外部情報を検出して、この検出された外部情報について、予め設定された二種類の行動目標(取得目標、回避目標)に対する達成度を関係づけて関連度とし、この関連度に応じて、外部情報が入力される都度、外部情報に対する行動(行動パターン)を決定するようにしている。これによって、従来例1では、人工生物モデルが、学習、忘却、及び意識の概念に基づいた現実の生物に近似して多様な行動パターンを取るようにしている。
【0004】
一方、特開2001−117752公報(以下従来例2と呼ぶ)には、ユーザの音声を認識して、その音声認識結果を解析して、入力音声の言語以外の言語に機械翻訳している。そして、この機械語翻訳結果に応じた合成音を生成する。この際、エージェント部では、入力音声に基づくユーザの感情を表す情報によって、画像として表示されるキャラクター又は実際の物体であるロボット等を制御している。
【0005】
【発明が解決しようとする課題】
ところで、人工生物モデルとユーザとの相対的な距離関係は、人工生物モデルが行動を行う際の基準の一つであり、例えば、人工生物モデルとユーザとの相対距離に応じて、人工生物モデルが行う対人コミュニケーションを変化させれば、人工生物モデルの行動パターンを豊かにすることができる。
【0006】
言い換えると、ユーザが言葉を発している際、人工生物モデルはその言葉の意味を理解するばかりでなく、ユーザと人工生物モデルとの間の相対的な距離関係に応じて、その言葉が人工生物モデルに対して向けられたものであるか否かを判断して、相対的な距離が離れている場合には、人工生物モデル側で、例えば、「大声を出す」、「身振り手振り」で意思表示を行うなど、状況に応じた対人コミュニケーションを行う必要がある。
【0007】
ところが、上述したように、従来例1では、外部情報が入力される都度、予め設定された二種類の行動目標に対する達成度を関係づけて関連度とし、この関連度に応じて、外部情報に対する行動パターンを決定するようにしているものの、ユーザとの距離関係に応じて行動パターンを決定することは行っておらず、ユーザとの相対的な距離がどのような状態であっても、相対的距離には無関係に、上述の関連度に応じた行動パターンをとってしまうことになる。
【0008】
このように、従来例1では、外部情報と行動目標に対する達成度との関係づけによって、行動パターンを決定しているのみで、ユーザとの相対的距離に応じた適切な行動パターンがとれないという課題がある。
【0009】
また、従来例2では、音声という限られた外部情報のみを用いているのみであり、従来例1と同様に、ユーザとの相対的距離に応じた適切な行動パターンがとれないという課題がある。
【0010】
さらに、従来例1及び2ともに、外部情報に応じて行動パターンを決定しているから、同一の外部情報が与えられれば、同一に行動パターンを取ることになって、同一の外部情報によっても人工生物モデル毎に異なる行動パターンを取らせることができない。つまり、従来例1及び2では定型的な会話及び動作しか行えないという課題がある。
【0011】
本発明の目的は、ユーザとの相対的な距離関係に応じた適切な行動パターンを生成することのできる行動パターン生成装置、行動パターン生成方法、及び行動パターン生成プログラムを提供することにある。
【0012】
本発明の他の目的は、同一の外部情報が与えられても人工生物モデル毎に異なる行動パターンを生成することのできる行動パターン生成装置、行動パターン生成方法、及び行動パターン生成プログラムを提供することにある。
【0013】
【課題を解決するための手段】
本発明は、人工生物モデルがコミュニケーションを行うコミュニケーション体に対する人工生物モデルの行動パターンを生成するための行動パターン生成装置であって、前記コミュニケーション体と前記人工生物モデルとの相対距離を計測する相対距離算出手段と、前記コミュニケーション体が発する情報を認識して収集情報とする外部情報収集手段と、前記収集情報に応じて前記コミュニケーション体の感情を推定して推定感情データを得る感情推定手段と、前記相対距離に応じて前記コミュニケーション体が前記人工生物モデルをコミュニケーション対象としているか否かを判定して該判定結果及び前記推定感情データに基づいて前記人工生物モデルの感情を設定感情データとして設定する感情設定手段と、少なくとも前記設定感情データと前記相対距離とに基づいて前記行動パターンを決定する行動パターン決定手段とを有することを特徴とする。
【0014】
このようにして、収集情報に応じてコミュニケーション体の感情を推定して推定感情データを得、相対距離に応じてコミュニケーション体が人工生物モデルをコミュニケーション対象としているか否かを判定し、判定結果及び推定感情データに基づいて人工生物モデルの感情を設定感情データとして設定した後、少なくとも設定感情データと相対距離とに基づいて行動パターンを決定するようにしたので、コミュニケーション体(ユーザ)との相対的な距離関係に応じた適切な行動パターンを生成することができる。
【0015】
例えば、前記感情推定手段は予め設定された感情の分類を示す感情カテゴリーに応じて前記収集情報をカテゴリー分類して前記収集情報から前記コミュニケーション体の感情を推定する。さらに、前記感情推定手段は前記収集情報から抽出された強弱情報及びトーン情報を参酌して前記コミュニケーション体の感情を推定することが望ましい。このようにすれば、予め設定された感情の分類を示す感情カテゴリーに応じて収集情報をカテゴリー分類して収集情報からコミュニケーション体の感情を推定するから、容易に、しかも、精度よくユーザ感情を推定できる。
【0016】
また、前記感情設定手段は前記相対距離が予め定められた距離を越えると前記人工生物モデルが前記コミュニケーション体にとってコミュニケーション対象範囲内と推定する。
【0017】
さらに、前記行動パターン決定手段には前記人工生物モデルの個性を決定する複数の個性データがパーソナリティーデータとして規定されており、前記行動パターン決定手段は、前記相対距離に応じて前記複数のパーソナリティーデータのうち少なくとも一つを選択して該選択されたパーソナリティーデータと前記設定感情データとに応じて前記行動パターンを決定する。さらに、前記行動パターン決定手段には、前記収集情報から抽出された強弱情報及びトーン情報に基づいて決定された強弱レベル及びトーンレベルを示す強弱・トーンレベルデータが与えられ、前記行動パターン決定手段は、前記強弱・トーンレベルデータを参酌して前記複数のパーソナリティーデータのうち少なくとも一つを選択して該選択されたパーソナリティーデータと前記設定感情データとに応じて前記行動パターンを決定することが望ましい。
【0018】
このようにすれば、同一の外部情報が与えられても相対距離に応じて人工生物モデル毎に異なる行動パターンを生成することができ、しかも、強弱・トーンレベルデータをも加味して人工生物モデル毎に異なる行動パターンを生成することができることになる。
【0019】
さらに本発明は、人工生物モデルがコミュニケーションを行うコミュニケーション体に対する人工生物モデルの行動パターンを生成するための行動パターン方法であって、前記コミュニケーション体と前記人工生物モデルとの相対距離を計測する相対距離算出ステップと、前記コミュニケーション体が発する情報を認識して収集情報とする外部情報収集ステップと、前記収集情報に応じて前記コミュニケーション体の感情を推定して推定感情データを得る感情推定ステップと、前記相対距離に応じて前記コミュニケーション体が前記人工生物モデルをコミュニケーション対象としているか否かを判定して該判定結果及び前記推定感情データに基づいて前記人工生物モデルの感情を設定感情データとして設定する感情設定ステップと、少なくとも前記設定感情データと前記相対距離とに基づいて前記行動パターンを決定する行動パターン決定ステップとを有することを特徴とする。
【0020】
また、本発明は、コンピュータ上で動作し、人工生物モデルがコミュニケーションを行うコミュニケーション体に対する人工生物モデルの行動パターンを生成するための行動パターンプログラムであって、前記コミュニケーション体と前記人工生物モデルとの相対距離を計測する相対距離算出手続きと、前記コミュニケーション体が発する情報を認識して収集情報とする外部情報収集手続きと、前記収集情報に応じて前記コミュニケーション体の感情を推定して推定感情データを得る感情推定手続きと、前記相対距離に応じて前記コミュニケーション体が前記人工生物モデルをコミュニケーション対象としているか否かを判定して該判定結果及び前記推定感情データに基づいて前記人工生物モデルの感情を設定感情データとして設定する感情設定手続きと、少なくとも前記設定感情データと前記相対距離とに基づいて前記行動パターンを決定する行動パターン決定手続きとを有することを特徴とする。
【0021】
【発明の実施の形態】
以下本発明について図面を参照して説明する。なお、図示の例における構成部品の寸法、材質、形状、その相対配置などは特に特定的な記載がない限りは、この発明の範囲をそれのみに限定する趣旨ではなく単なる説明例に過ぎない。
【0022】
図1は、本発明に実施の形態による行動パターン生成装置が用いられる人工生物モデル(例えば、ロボット、以下人工生物モデルがロボットであるとして説明する)の構成を示す図である。このロボットは、行動パターン生成装置11、会話エンジン部12、運動制御モジュール部13、音声合成装置14、スピーカ15、移動機構16、及び身振り生成機構17を備えている。移動機構16はロボットを起動させるための機構(例えば、足等)であり、身振り生成機構17は、例えば、手等の身振りを行う機構である。
【0023】
行動パターン生成装置11は、外界情報入力部21、情報処理部22、感情認識部23、及び行動決定エンジン部24を有しており、図示の例では、外界情報入力部21には、マイク21a、方位センサ21b、触覚センサ、血圧計21c、カメラ21d、及び対人距離検出部(距離検出センサ)21eが備えられている。そして、これらマイク21a、方位センサ21b、触覚センサ、血圧計21c、カメラ21d、及び距離検出センサ21fで得られた情報は外界情報として情報処理部22に与えられる。
【0024】
情報処理部22には、音声認識部22a、自己位置・方位認識部22b、及び対人距離算出部22cが備えられ、前述の外界情報に応じて、後述するようにして、処理結果を出力する。そして、感情認識部23ではこの処理結果に基づいて、例えば、ユーザである人間の感情を認識して認識データを生成する。この認識データは行動決定エンジン部24に与えられて、後述するようにして、行動パターンが決定される。
【0025】
行動パターンは会話エンジン部12及び運動制御モジュール部13に与えられ、会話エンジン部12では行動パターンに応じた音声情報パターンを生成して、音声合成装置14に与える。音声合成装置14では音声情報パターンに基づいて音声合成を行って、スピーカ15から音声を出力する。一方、運動制御モジュール部13では行動パターンに応じて移動機構16及び身振り生成機構17を制御して、ロボットの行動(運動)を制御することになる。
【0026】
なお、上述の例では、触覚センサ、血圧計21cが示されているが、これらセンサは必須のものではなく、必要に応じて、外界情報入力部21に備えつけられるものとする。つまり、触覚センサ、血圧計21cは補助的な計測器にすぎない。
【0027】
図1及び図2を参照して、ここでは、コニュニケーション体が人間(ユーザ)であると仮定して説明を行う。外界情報入力部21では、人間等の他の生物を含む外界環境から外界情報を入力する。例えば、マイク21aによって外界環境の音を集音して音信号とするとともに、カメラ21dで外界を撮像してカメラ画像データを得る。この際、距離検出センサ21f(例えば、超音波センサ及び赤外線センサ)で外部環境中の各種物体までの距離を計測して距離計測データとする。
【0028】
カメラ画像データ、距離計測データ、及び音データは情報処理部22に与えられ、対人距離算出部22cでは、カメラ画像データに基づいて各種物体からユーザを認識して、距離計測データに基づいてユーザとの相対的距離を求める(ステップS1)。つまり、カメラ画像データから得られたユーザについて相対距離を求めることになる。
【0029】
いま、ロボットとユーザとの相対距離がLであるとすると、相対距離Lを第1〜第3の距離閾値(便宜上A〜Cと呼ぶ。なお、A<B<Cとする。)比較する(ステップS2)。そして、対人距離計算部22cでは、L≦Aであると、第1の距離比較結果を出力し、A<L≦Bであると、第2の距離比較結果を出力する。そして、B<L≦Cであると、対人距離計算部22cでは、第3の距離比較結果を出力し、C<Lであると、第4の距離比較結果を出力する。これら第1〜第4の距離比較結果は距離比較結果信号4として感情認識部23及び行動決定エンジン部24に与えられる。
【0030】
一方、前述のマイク21aにより収集された音データは音声認識部22aに与えられ、ここで音声認識されて音声認識データとされる(ステップS3)。さらに、音声認識部22aでは、音声認識データを辞書31に格納された言語と照合する(ステップS4)。例えば、発話音声のシラブル(音節)を抽出して、この抽出音節に特徴的な時系列パターン及び周波数パターンを、辞書内のテンプレートデータと照合してマッチングを取って、言語認識処理を行う(ステップS5)。そして、言語認識処理結果は言語認識信号1として感情認識部23に与えられる。
【0031】
さらに、音声認識データはその音声強弱Sが抽出されるとともに(ステップS6)、トーンTが抽出される(ステップS7)。その後、音声強弱Sは、例えば、図3に示す強弱−トーン閾値パターンと比較される(ステップS8)。この強弱−トーン閾値パターンには、第1及び第2の強度閾値D及びEが設定されており、音声強弱Sが、S≧Dであると、”強”と判定され(第1の強弱比較結果)、S≦Eであると、”弱”と判定される(第3の強弱比較結果)。そして、E<S<Dであると、”中”と判定される(第2の強弱比較結果)。これら第1〜第3の強弱比較結果は強弱比較結果信号2として感情認識部23及び行動決定エンジン部24に与えられる。
【0032】
さらに、トーンTが図3に示す強弱−トーン閾値パターンと比較される(ステップS9)。この強弱−トーン閾値パターンには、第1及び第2の周波数閾値F及びGが設定されており、トーンT、S≧Fであると、”高”と判定され(第1のトーン比較結果)、T≦Gであると、”低”と判定される(第3のトーン比較結果)。そして、G<T<Fであると、”中”と判定される(第2のトーン比較結果)。これら第1〜第3のトーン比較結果はトーン比較結果信号3として感情認識部23及び行動決定エンジン部24に与えられる。
【0033】
感情認識部23では、言語認識信号1を受けると、カテゴリーデータベース32に格納されたカテゴリーデータに基づいて言語認識結果を分類する(ステップS10)。例えば、前述の辞書31に格納された辞書データは「怒り」、「喜び」、及び「悲しみ」等のカテゴリーに予め分類されている。カテゴリーデータベース32にはこれら「怒り」、「喜び」、及び「悲しみ」等の感情を示すカテゴリーデータが格納されており、感情認識部23では、カテゴリーデータベース32を参照して、言語認識結果がいずれのカテゴリーに属するかを分類して、感情推定値(レベル)を生成する(つまり、「怒り」、「喜び」、及び「悲しみ」等のいずれであるかを分類してその感情レベルを示す信号を送出する)。
【0034】
上述の感情推定値に対して、感情認識部23では、強弱比較結果信号2及びトーン比較結果信号3で重み付けを行う。つまり、感情推定値が同一であっても、音声の強弱及びトーンによって実際の感情が異なることがあり、感情推定値を音声の強弱及びトーンによって重み付けして、重み付け感情推定値23aとする。
【0035】
例えば、「喜び」という感情にも、「歓喜」するような爆発的な「喜び」がある一方、ささやかな「喜び」までその感情レベルが異なり、このような相違は音声の強弱及びトーンから推定することができる。そして、このようにし得られた重み付け感情推定値23aからユーザの感情を推定することになる(ステップS11)。つまり、ユーザの感情を推定する際、音声の強弱及びトーンを参酌して感情の推定を行うことになる。
【0036】
例えば、言語認識結果が、ステップS10の分類において、喜びのカテゴリーに分類されたとすると、強弱比較結果信号2が第1の強弱比較結果を表し、トーン比較結果信号3が第1のトーン比較結果を表していると、「歓喜」レベルであると感情推定する。また、強弱比較結果信号2が第2の強弱比較結果を表し、トーン比較結果信号3が第2のトーン比較結果を表していると、「通常の喜び」レベルであると感情推定する。一方、強弱比較結果信号2が第3の強弱比較結果を表し、トーン比較結果信号3が第2のトーン比較結果を表していると、「ささやかな喜び」レベルであると感情推定する。なお、「喜び」の場合には、トーン比較結果信号3が第3のトーン比較結果を表すことは極めて少ない。
【0037】
ところで、音声の強弱情報はユーザとロボットとの相対距離に応じて変化するから、前述のようにして得られた相対距離を補完データとして音声の強弱情報の値を補正することが望ましい。
【0038】
上述のようにして得られた推定感情を前述の距離比較結果信号4で重み付け(23b)して、コミュニケーション対象を推定する(ステップS12)。例えば、第1の距離比較結果であれば、親しみ「大」、第2の距離比較結果であれば、親しみ「中」、第3の距離比較結果であれば、親しみ「小」、第4の距離比較結果であれば、親しみ「無」として、この親しみの度合い(レベル)に応じてコミュニケーション対象を推定することになる。つまり、親しみが「大」から「無」に向かうに応じて、ユーザがロボットをコミュニケーション対象としているか否かを判定することになり、例えば、親しみが「小」以下であると、ユーザはロボットをコミュニケーション対象としていないと判定する。
【0039】
このようにして、コミュニケーション対象を推定した後、ロボット感情設定を行う(ステップS13)。ロボット感情設定を行う際には、感情データベース33が参照される。この感情データベース33には、例えば、「怖い」、「喜び」、及び「悲しみ」等の人間が表出可能な感情に対応してロボットの感情パターンを示す感情パターンデータが格納されており、前述のようにして、推定されたユーザ感情に応じて感情データベース33から感情パターンデータを読みだして、この感情パターンデータ5をロボット感情として設定する。そして、この感情パターンデータ5は行動決定エンジン部24に与えられる。
【0040】
例えば、ユーザが歓喜状態にあると推定される際には、一緒に走り回って喜ぶ感情パターン、ユーザが怒りの状態にあると推定される際には、悲しそうな音声を発してユーザから離れる感情パターンを取る。
【0041】
行動決定エンジン部24では、前述のようにして設定された感情パターンデータ5に対して、距離比較結果信号4、強弱比較結果信号2、及びトーン比較結果信号3で重み付け24aを行い、行動パターンを決定・設定する(ステップS14)。行動パターン決定を行う際には、パーソナリティーデータベース34が参照される。このパーソナリティーデータベース34には、当該ロボットの個性を決定するデータがパーソナリティーデータとして格納されており、例えば、個性として、「明るい」、「物静か」、「男性的」、「女性的」、及び「子供っぽい」等の個性が少なくとも一つ設定されている。そして、距離比較結果信号4、強弱比較結果信号2、及びトーン比較結果信号3に応じて推定される親しみ及びユーザ感情を推定して設定感情パターンに応じた行動パターンを決定・設定する。
【0042】
このようにして決定・設定された行動パターンは会話エンジン部12及び運動制御モジュール部13に与えられ、前述のようにして、ロボットが行動することになる。
【0043】
ところで、方位センサ21bで得られた方位データは自己位置・方位認識部22bに与えられ、自己位置・方位認識部22bは方位データに応じてロボットの位置及び方位を求める。例えば、ロボットが自律移動する際には、ロボット自身が自己の位置を認識する必要がある。このような位置を認識するためには、方位センサ21b(エンコーダ及び方位計)を用いて、自己位置を認識し、前述のようにして決定された行動パターンに応じて行動する際、自己位置を基準としてロボットは行動することになる。
【0044】
一方、触覚センサ、血圧計21cでは、例えば、ユーザのバイタルチェックを行い、ユーザの血圧状態や体温等を計測する。そして、図示はしないが、このようなデータをユーザ感情状態の推定を推定する際の補完的なデータとして用いるようにしてもよい。例えば、歓喜状態であれば、血圧及び体温が上昇等のデータをユーザの感情を推定する際の補完的データとして用いることができる。
【0045】
なお、上述の説明では、行動パターン生成装置において行動パターンを生成する例について説明したが、図1に示す情報処理部22、感情認識部23、及び行動決定エンジン部24の各機能はコンピュータ上で動作するプログラムで実現することができる。
【0046】
また、上述の説明から容易に理解できるように、外界情報入力部21及び情報処理部22は、ユーザとロボットとの相対距離を計測する相対距離算出手段及びユーザが発する情報を認識して収集情報とする外部情報収集手段として機能し、感情認識部23は収集情報に応じてユーザの感情を推定して推定感情データを得る感情推定手段と相対距離に応じてユーザがロボットをコミュニケーション対象としているか否かを判定して判定結果及び推定感情データに基づいてロボットの感情を設定感情データとして設定する感情設定手段として機能する。そして、行動決定エンジン部24は、少なくとも設定感情データと相対距離とに基づいて行動パターンを決定する行動パターン決定手段として機能する。
【0047】
【発明の効果】
以上説明したように、本発明では、収集情報に応じてコミュニケーション体の感情を推定して推定感情データを得、相対距離に応じてコミュニケーション体が人工生物モデルをコミュニケーション対象としているか否かを判定し、判定結果及び推定感情データに基づいて人工生物モデルの感情を設定感情データとして設定した後、少なくとも設定感情データと相対距離とに基づいて行動パターンを決定するようにしたので、コミュニケーション体(ユーザ)との相対的な距離関係に応じた適切な行動パターンを生成することができるという効果がある。
【0048】
本発明では、予め設定された感情の分類を示す感情カテゴリーに応じて収集情報をカテゴリー分類して収集情報からコミュニケーション体の感情を推定するようにしたので、容易にユーザの感情を推定できるという効果がある。
【0049】
本発明では、収集情報から抽出された強弱情報及びトーン情報を参酌してコミュニケーション体の感情を推定するようにしたので、精度よくユーザ感情を推定できるという効果がある。
【0050】
本発明では、人工生物モデルの個性を決定する複数の個性データをパーソナリティーデータとして規定して、相対距離に応じて複数のパーソナリティーデータのうち少なくとも一つを選択して、選択されたパーソナリティーデータと設定感情データとに応じて行動パターンを決定するようにしたので、同一の外部情報が与えられても相対距離に応じて人工生物モデル毎に異なる行動パターンを生成することができるという効果がある。
【0051】
本発明では、収集情報から抽出された強弱情報及びトーン情報に基づいて決定された強弱レベル及びトーンレベルを示す強弱・トーンレベルデータを参酌して複数のパーソナリティーデータのうち少なくとも一つを選択するようにしたので、強弱・トーンレベルデータをも加味して人工生物モデル毎に異なる行動パターンを生成することができるという効果がある。
【図面の簡単な説明】
【図1】本発明による行動パターン生成装置の一例が用いられた人工生物モデルの例を示す図である。
【図2】図1に示す行動パターン生成装置による行動パターンの生成を説明するための図である。
【図3】音声の強弱及びトーンの高低を判定する際に用いられる閾値データを示す図である。
【符号の説明】
11 行動パターン生成装置
12 会話エンジン部
13 運動制御モジュール部
14 音声合成装置
15 スピーカ
16 移動機構
17 身振り生成機構
21 外界情報入力部
22 情報処理部
23 感情認識部
24 行動決定エンジン部
【発明の属する技術分野】
本発明は、ロボット等の模擬生物又は仮想現実空間内のキャラクター等の人工生物モデルが実行する行動パターンを生成するための行動生成装置に関し、特に、人間との協調・共存を図る上で必要な対人コミュニケーションを円滑にすることのできる行動パターン生成装置、行動パターン生成方法、及び行動パターン生成プログラムに関するものである。
【0002】
【従来の技術】
一般に、ロボット等の模擬生物又は仮想現実空間内のキャラクター等の人工生物モデルや仮想生物として、外部から入力された各種情報(例えば、人間の作業状態、感情、及びその場の状況など)に応じて行動するものが知られている。そして、人工生物モデルの行動パターンを現実の生物の行動パターンに近似させるため、状況に対して行うべき行動パターンの生成過程で学習、忘却、及び意識の概念を取り入れたものもある。
【0003】
上述のような行動パターン生成手法として、例えば、特許第3178393号公報(以下従来例1と呼ぶ)に記載されたものがある。従来例1では、外部情報を検出して、この検出された外部情報について、予め設定された二種類の行動目標(取得目標、回避目標)に対する達成度を関係づけて関連度とし、この関連度に応じて、外部情報が入力される都度、外部情報に対する行動(行動パターン)を決定するようにしている。これによって、従来例1では、人工生物モデルが、学習、忘却、及び意識の概念に基づいた現実の生物に近似して多様な行動パターンを取るようにしている。
【0004】
一方、特開2001−117752公報(以下従来例2と呼ぶ)には、ユーザの音声を認識して、その音声認識結果を解析して、入力音声の言語以外の言語に機械翻訳している。そして、この機械語翻訳結果に応じた合成音を生成する。この際、エージェント部では、入力音声に基づくユーザの感情を表す情報によって、画像として表示されるキャラクター又は実際の物体であるロボット等を制御している。
【0005】
【発明が解決しようとする課題】
ところで、人工生物モデルとユーザとの相対的な距離関係は、人工生物モデルが行動を行う際の基準の一つであり、例えば、人工生物モデルとユーザとの相対距離に応じて、人工生物モデルが行う対人コミュニケーションを変化させれば、人工生物モデルの行動パターンを豊かにすることができる。
【0006】
言い換えると、ユーザが言葉を発している際、人工生物モデルはその言葉の意味を理解するばかりでなく、ユーザと人工生物モデルとの間の相対的な距離関係に応じて、その言葉が人工生物モデルに対して向けられたものであるか否かを判断して、相対的な距離が離れている場合には、人工生物モデル側で、例えば、「大声を出す」、「身振り手振り」で意思表示を行うなど、状況に応じた対人コミュニケーションを行う必要がある。
【0007】
ところが、上述したように、従来例1では、外部情報が入力される都度、予め設定された二種類の行動目標に対する達成度を関係づけて関連度とし、この関連度に応じて、外部情報に対する行動パターンを決定するようにしているものの、ユーザとの距離関係に応じて行動パターンを決定することは行っておらず、ユーザとの相対的な距離がどのような状態であっても、相対的距離には無関係に、上述の関連度に応じた行動パターンをとってしまうことになる。
【0008】
このように、従来例1では、外部情報と行動目標に対する達成度との関係づけによって、行動パターンを決定しているのみで、ユーザとの相対的距離に応じた適切な行動パターンがとれないという課題がある。
【0009】
また、従来例2では、音声という限られた外部情報のみを用いているのみであり、従来例1と同様に、ユーザとの相対的距離に応じた適切な行動パターンがとれないという課題がある。
【0010】
さらに、従来例1及び2ともに、外部情報に応じて行動パターンを決定しているから、同一の外部情報が与えられれば、同一に行動パターンを取ることになって、同一の外部情報によっても人工生物モデル毎に異なる行動パターンを取らせることができない。つまり、従来例1及び2では定型的な会話及び動作しか行えないという課題がある。
【0011】
本発明の目的は、ユーザとの相対的な距離関係に応じた適切な行動パターンを生成することのできる行動パターン生成装置、行動パターン生成方法、及び行動パターン生成プログラムを提供することにある。
【0012】
本発明の他の目的は、同一の外部情報が与えられても人工生物モデル毎に異なる行動パターンを生成することのできる行動パターン生成装置、行動パターン生成方法、及び行動パターン生成プログラムを提供することにある。
【0013】
【課題を解決するための手段】
本発明は、人工生物モデルがコミュニケーションを行うコミュニケーション体に対する人工生物モデルの行動パターンを生成するための行動パターン生成装置であって、前記コミュニケーション体と前記人工生物モデルとの相対距離を計測する相対距離算出手段と、前記コミュニケーション体が発する情報を認識して収集情報とする外部情報収集手段と、前記収集情報に応じて前記コミュニケーション体の感情を推定して推定感情データを得る感情推定手段と、前記相対距離に応じて前記コミュニケーション体が前記人工生物モデルをコミュニケーション対象としているか否かを判定して該判定結果及び前記推定感情データに基づいて前記人工生物モデルの感情を設定感情データとして設定する感情設定手段と、少なくとも前記設定感情データと前記相対距離とに基づいて前記行動パターンを決定する行動パターン決定手段とを有することを特徴とする。
【0014】
このようにして、収集情報に応じてコミュニケーション体の感情を推定して推定感情データを得、相対距離に応じてコミュニケーション体が人工生物モデルをコミュニケーション対象としているか否かを判定し、判定結果及び推定感情データに基づいて人工生物モデルの感情を設定感情データとして設定した後、少なくとも設定感情データと相対距離とに基づいて行動パターンを決定するようにしたので、コミュニケーション体(ユーザ)との相対的な距離関係に応じた適切な行動パターンを生成することができる。
【0015】
例えば、前記感情推定手段は予め設定された感情の分類を示す感情カテゴリーに応じて前記収集情報をカテゴリー分類して前記収集情報から前記コミュニケーション体の感情を推定する。さらに、前記感情推定手段は前記収集情報から抽出された強弱情報及びトーン情報を参酌して前記コミュニケーション体の感情を推定することが望ましい。このようにすれば、予め設定された感情の分類を示す感情カテゴリーに応じて収集情報をカテゴリー分類して収集情報からコミュニケーション体の感情を推定するから、容易に、しかも、精度よくユーザ感情を推定できる。
【0016】
また、前記感情設定手段は前記相対距離が予め定められた距離を越えると前記人工生物モデルが前記コミュニケーション体にとってコミュニケーション対象範囲内と推定する。
【0017】
さらに、前記行動パターン決定手段には前記人工生物モデルの個性を決定する複数の個性データがパーソナリティーデータとして規定されており、前記行動パターン決定手段は、前記相対距離に応じて前記複数のパーソナリティーデータのうち少なくとも一つを選択して該選択されたパーソナリティーデータと前記設定感情データとに応じて前記行動パターンを決定する。さらに、前記行動パターン決定手段には、前記収集情報から抽出された強弱情報及びトーン情報に基づいて決定された強弱レベル及びトーンレベルを示す強弱・トーンレベルデータが与えられ、前記行動パターン決定手段は、前記強弱・トーンレベルデータを参酌して前記複数のパーソナリティーデータのうち少なくとも一つを選択して該選択されたパーソナリティーデータと前記設定感情データとに応じて前記行動パターンを決定することが望ましい。
【0018】
このようにすれば、同一の外部情報が与えられても相対距離に応じて人工生物モデル毎に異なる行動パターンを生成することができ、しかも、強弱・トーンレベルデータをも加味して人工生物モデル毎に異なる行動パターンを生成することができることになる。
【0019】
さらに本発明は、人工生物モデルがコミュニケーションを行うコミュニケーション体に対する人工生物モデルの行動パターンを生成するための行動パターン方法であって、前記コミュニケーション体と前記人工生物モデルとの相対距離を計測する相対距離算出ステップと、前記コミュニケーション体が発する情報を認識して収集情報とする外部情報収集ステップと、前記収集情報に応じて前記コミュニケーション体の感情を推定して推定感情データを得る感情推定ステップと、前記相対距離に応じて前記コミュニケーション体が前記人工生物モデルをコミュニケーション対象としているか否かを判定して該判定結果及び前記推定感情データに基づいて前記人工生物モデルの感情を設定感情データとして設定する感情設定ステップと、少なくとも前記設定感情データと前記相対距離とに基づいて前記行動パターンを決定する行動パターン決定ステップとを有することを特徴とする。
【0020】
また、本発明は、コンピュータ上で動作し、人工生物モデルがコミュニケーションを行うコミュニケーション体に対する人工生物モデルの行動パターンを生成するための行動パターンプログラムであって、前記コミュニケーション体と前記人工生物モデルとの相対距離を計測する相対距離算出手続きと、前記コミュニケーション体が発する情報を認識して収集情報とする外部情報収集手続きと、前記収集情報に応じて前記コミュニケーション体の感情を推定して推定感情データを得る感情推定手続きと、前記相対距離に応じて前記コミュニケーション体が前記人工生物モデルをコミュニケーション対象としているか否かを判定して該判定結果及び前記推定感情データに基づいて前記人工生物モデルの感情を設定感情データとして設定する感情設定手続きと、少なくとも前記設定感情データと前記相対距離とに基づいて前記行動パターンを決定する行動パターン決定手続きとを有することを特徴とする。
【0021】
【発明の実施の形態】
以下本発明について図面を参照して説明する。なお、図示の例における構成部品の寸法、材質、形状、その相対配置などは特に特定的な記載がない限りは、この発明の範囲をそれのみに限定する趣旨ではなく単なる説明例に過ぎない。
【0022】
図1は、本発明に実施の形態による行動パターン生成装置が用いられる人工生物モデル(例えば、ロボット、以下人工生物モデルがロボットであるとして説明する)の構成を示す図である。このロボットは、行動パターン生成装置11、会話エンジン部12、運動制御モジュール部13、音声合成装置14、スピーカ15、移動機構16、及び身振り生成機構17を備えている。移動機構16はロボットを起動させるための機構(例えば、足等)であり、身振り生成機構17は、例えば、手等の身振りを行う機構である。
【0023】
行動パターン生成装置11は、外界情報入力部21、情報処理部22、感情認識部23、及び行動決定エンジン部24を有しており、図示の例では、外界情報入力部21には、マイク21a、方位センサ21b、触覚センサ、血圧計21c、カメラ21d、及び対人距離検出部(距離検出センサ)21eが備えられている。そして、これらマイク21a、方位センサ21b、触覚センサ、血圧計21c、カメラ21d、及び距離検出センサ21fで得られた情報は外界情報として情報処理部22に与えられる。
【0024】
情報処理部22には、音声認識部22a、自己位置・方位認識部22b、及び対人距離算出部22cが備えられ、前述の外界情報に応じて、後述するようにして、処理結果を出力する。そして、感情認識部23ではこの処理結果に基づいて、例えば、ユーザである人間の感情を認識して認識データを生成する。この認識データは行動決定エンジン部24に与えられて、後述するようにして、行動パターンが決定される。
【0025】
行動パターンは会話エンジン部12及び運動制御モジュール部13に与えられ、会話エンジン部12では行動パターンに応じた音声情報パターンを生成して、音声合成装置14に与える。音声合成装置14では音声情報パターンに基づいて音声合成を行って、スピーカ15から音声を出力する。一方、運動制御モジュール部13では行動パターンに応じて移動機構16及び身振り生成機構17を制御して、ロボットの行動(運動)を制御することになる。
【0026】
なお、上述の例では、触覚センサ、血圧計21cが示されているが、これらセンサは必須のものではなく、必要に応じて、外界情報入力部21に備えつけられるものとする。つまり、触覚センサ、血圧計21cは補助的な計測器にすぎない。
【0027】
図1及び図2を参照して、ここでは、コニュニケーション体が人間(ユーザ)であると仮定して説明を行う。外界情報入力部21では、人間等の他の生物を含む外界環境から外界情報を入力する。例えば、マイク21aによって外界環境の音を集音して音信号とするとともに、カメラ21dで外界を撮像してカメラ画像データを得る。この際、距離検出センサ21f(例えば、超音波センサ及び赤外線センサ)で外部環境中の各種物体までの距離を計測して距離計測データとする。
【0028】
カメラ画像データ、距離計測データ、及び音データは情報処理部22に与えられ、対人距離算出部22cでは、カメラ画像データに基づいて各種物体からユーザを認識して、距離計測データに基づいてユーザとの相対的距離を求める(ステップS1)。つまり、カメラ画像データから得られたユーザについて相対距離を求めることになる。
【0029】
いま、ロボットとユーザとの相対距離がLであるとすると、相対距離Lを第1〜第3の距離閾値(便宜上A〜Cと呼ぶ。なお、A<B<Cとする。)比較する(ステップS2)。そして、対人距離計算部22cでは、L≦Aであると、第1の距離比較結果を出力し、A<L≦Bであると、第2の距離比較結果を出力する。そして、B<L≦Cであると、対人距離計算部22cでは、第3の距離比較結果を出力し、C<Lであると、第4の距離比較結果を出力する。これら第1〜第4の距離比較結果は距離比較結果信号4として感情認識部23及び行動決定エンジン部24に与えられる。
【0030】
一方、前述のマイク21aにより収集された音データは音声認識部22aに与えられ、ここで音声認識されて音声認識データとされる(ステップS3)。さらに、音声認識部22aでは、音声認識データを辞書31に格納された言語と照合する(ステップS4)。例えば、発話音声のシラブル(音節)を抽出して、この抽出音節に特徴的な時系列パターン及び周波数パターンを、辞書内のテンプレートデータと照合してマッチングを取って、言語認識処理を行う(ステップS5)。そして、言語認識処理結果は言語認識信号1として感情認識部23に与えられる。
【0031】
さらに、音声認識データはその音声強弱Sが抽出されるとともに(ステップS6)、トーンTが抽出される(ステップS7)。その後、音声強弱Sは、例えば、図3に示す強弱−トーン閾値パターンと比較される(ステップS8)。この強弱−トーン閾値パターンには、第1及び第2の強度閾値D及びEが設定されており、音声強弱Sが、S≧Dであると、”強”と判定され(第1の強弱比較結果)、S≦Eであると、”弱”と判定される(第3の強弱比較結果)。そして、E<S<Dであると、”中”と判定される(第2の強弱比較結果)。これら第1〜第3の強弱比較結果は強弱比較結果信号2として感情認識部23及び行動決定エンジン部24に与えられる。
【0032】
さらに、トーンTが図3に示す強弱−トーン閾値パターンと比較される(ステップS9)。この強弱−トーン閾値パターンには、第1及び第2の周波数閾値F及びGが設定されており、トーンT、S≧Fであると、”高”と判定され(第1のトーン比較結果)、T≦Gであると、”低”と判定される(第3のトーン比較結果)。そして、G<T<Fであると、”中”と判定される(第2のトーン比較結果)。これら第1〜第3のトーン比較結果はトーン比較結果信号3として感情認識部23及び行動決定エンジン部24に与えられる。
【0033】
感情認識部23では、言語認識信号1を受けると、カテゴリーデータベース32に格納されたカテゴリーデータに基づいて言語認識結果を分類する(ステップS10)。例えば、前述の辞書31に格納された辞書データは「怒り」、「喜び」、及び「悲しみ」等のカテゴリーに予め分類されている。カテゴリーデータベース32にはこれら「怒り」、「喜び」、及び「悲しみ」等の感情を示すカテゴリーデータが格納されており、感情認識部23では、カテゴリーデータベース32を参照して、言語認識結果がいずれのカテゴリーに属するかを分類して、感情推定値(レベル)を生成する(つまり、「怒り」、「喜び」、及び「悲しみ」等のいずれであるかを分類してその感情レベルを示す信号を送出する)。
【0034】
上述の感情推定値に対して、感情認識部23では、強弱比較結果信号2及びトーン比較結果信号3で重み付けを行う。つまり、感情推定値が同一であっても、音声の強弱及びトーンによって実際の感情が異なることがあり、感情推定値を音声の強弱及びトーンによって重み付けして、重み付け感情推定値23aとする。
【0035】
例えば、「喜び」という感情にも、「歓喜」するような爆発的な「喜び」がある一方、ささやかな「喜び」までその感情レベルが異なり、このような相違は音声の強弱及びトーンから推定することができる。そして、このようにし得られた重み付け感情推定値23aからユーザの感情を推定することになる(ステップS11)。つまり、ユーザの感情を推定する際、音声の強弱及びトーンを参酌して感情の推定を行うことになる。
【0036】
例えば、言語認識結果が、ステップS10の分類において、喜びのカテゴリーに分類されたとすると、強弱比較結果信号2が第1の強弱比較結果を表し、トーン比較結果信号3が第1のトーン比較結果を表していると、「歓喜」レベルであると感情推定する。また、強弱比較結果信号2が第2の強弱比較結果を表し、トーン比較結果信号3が第2のトーン比較結果を表していると、「通常の喜び」レベルであると感情推定する。一方、強弱比較結果信号2が第3の強弱比較結果を表し、トーン比較結果信号3が第2のトーン比較結果を表していると、「ささやかな喜び」レベルであると感情推定する。なお、「喜び」の場合には、トーン比較結果信号3が第3のトーン比較結果を表すことは極めて少ない。
【0037】
ところで、音声の強弱情報はユーザとロボットとの相対距離に応じて変化するから、前述のようにして得られた相対距離を補完データとして音声の強弱情報の値を補正することが望ましい。
【0038】
上述のようにして得られた推定感情を前述の距離比較結果信号4で重み付け(23b)して、コミュニケーション対象を推定する(ステップS12)。例えば、第1の距離比較結果であれば、親しみ「大」、第2の距離比較結果であれば、親しみ「中」、第3の距離比較結果であれば、親しみ「小」、第4の距離比較結果であれば、親しみ「無」として、この親しみの度合い(レベル)に応じてコミュニケーション対象を推定することになる。つまり、親しみが「大」から「無」に向かうに応じて、ユーザがロボットをコミュニケーション対象としているか否かを判定することになり、例えば、親しみが「小」以下であると、ユーザはロボットをコミュニケーション対象としていないと判定する。
【0039】
このようにして、コミュニケーション対象を推定した後、ロボット感情設定を行う(ステップS13)。ロボット感情設定を行う際には、感情データベース33が参照される。この感情データベース33には、例えば、「怖い」、「喜び」、及び「悲しみ」等の人間が表出可能な感情に対応してロボットの感情パターンを示す感情パターンデータが格納されており、前述のようにして、推定されたユーザ感情に応じて感情データベース33から感情パターンデータを読みだして、この感情パターンデータ5をロボット感情として設定する。そして、この感情パターンデータ5は行動決定エンジン部24に与えられる。
【0040】
例えば、ユーザが歓喜状態にあると推定される際には、一緒に走り回って喜ぶ感情パターン、ユーザが怒りの状態にあると推定される際には、悲しそうな音声を発してユーザから離れる感情パターンを取る。
【0041】
行動決定エンジン部24では、前述のようにして設定された感情パターンデータ5に対して、距離比較結果信号4、強弱比較結果信号2、及びトーン比較結果信号3で重み付け24aを行い、行動パターンを決定・設定する(ステップS14)。行動パターン決定を行う際には、パーソナリティーデータベース34が参照される。このパーソナリティーデータベース34には、当該ロボットの個性を決定するデータがパーソナリティーデータとして格納されており、例えば、個性として、「明るい」、「物静か」、「男性的」、「女性的」、及び「子供っぽい」等の個性が少なくとも一つ設定されている。そして、距離比較結果信号4、強弱比較結果信号2、及びトーン比較結果信号3に応じて推定される親しみ及びユーザ感情を推定して設定感情パターンに応じた行動パターンを決定・設定する。
【0042】
このようにして決定・設定された行動パターンは会話エンジン部12及び運動制御モジュール部13に与えられ、前述のようにして、ロボットが行動することになる。
【0043】
ところで、方位センサ21bで得られた方位データは自己位置・方位認識部22bに与えられ、自己位置・方位認識部22bは方位データに応じてロボットの位置及び方位を求める。例えば、ロボットが自律移動する際には、ロボット自身が自己の位置を認識する必要がある。このような位置を認識するためには、方位センサ21b(エンコーダ及び方位計)を用いて、自己位置を認識し、前述のようにして決定された行動パターンに応じて行動する際、自己位置を基準としてロボットは行動することになる。
【0044】
一方、触覚センサ、血圧計21cでは、例えば、ユーザのバイタルチェックを行い、ユーザの血圧状態や体温等を計測する。そして、図示はしないが、このようなデータをユーザ感情状態の推定を推定する際の補完的なデータとして用いるようにしてもよい。例えば、歓喜状態であれば、血圧及び体温が上昇等のデータをユーザの感情を推定する際の補完的データとして用いることができる。
【0045】
なお、上述の説明では、行動パターン生成装置において行動パターンを生成する例について説明したが、図1に示す情報処理部22、感情認識部23、及び行動決定エンジン部24の各機能はコンピュータ上で動作するプログラムで実現することができる。
【0046】
また、上述の説明から容易に理解できるように、外界情報入力部21及び情報処理部22は、ユーザとロボットとの相対距離を計測する相対距離算出手段及びユーザが発する情報を認識して収集情報とする外部情報収集手段として機能し、感情認識部23は収集情報に応じてユーザの感情を推定して推定感情データを得る感情推定手段と相対距離に応じてユーザがロボットをコミュニケーション対象としているか否かを判定して判定結果及び推定感情データに基づいてロボットの感情を設定感情データとして設定する感情設定手段として機能する。そして、行動決定エンジン部24は、少なくとも設定感情データと相対距離とに基づいて行動パターンを決定する行動パターン決定手段として機能する。
【0047】
【発明の効果】
以上説明したように、本発明では、収集情報に応じてコミュニケーション体の感情を推定して推定感情データを得、相対距離に応じてコミュニケーション体が人工生物モデルをコミュニケーション対象としているか否かを判定し、判定結果及び推定感情データに基づいて人工生物モデルの感情を設定感情データとして設定した後、少なくとも設定感情データと相対距離とに基づいて行動パターンを決定するようにしたので、コミュニケーション体(ユーザ)との相対的な距離関係に応じた適切な行動パターンを生成することができるという効果がある。
【0048】
本発明では、予め設定された感情の分類を示す感情カテゴリーに応じて収集情報をカテゴリー分類して収集情報からコミュニケーション体の感情を推定するようにしたので、容易にユーザの感情を推定できるという効果がある。
【0049】
本発明では、収集情報から抽出された強弱情報及びトーン情報を参酌してコミュニケーション体の感情を推定するようにしたので、精度よくユーザ感情を推定できるという効果がある。
【0050】
本発明では、人工生物モデルの個性を決定する複数の個性データをパーソナリティーデータとして規定して、相対距離に応じて複数のパーソナリティーデータのうち少なくとも一つを選択して、選択されたパーソナリティーデータと設定感情データとに応じて行動パターンを決定するようにしたので、同一の外部情報が与えられても相対距離に応じて人工生物モデル毎に異なる行動パターンを生成することができるという効果がある。
【0051】
本発明では、収集情報から抽出された強弱情報及びトーン情報に基づいて決定された強弱レベル及びトーンレベルを示す強弱・トーンレベルデータを参酌して複数のパーソナリティーデータのうち少なくとも一つを選択するようにしたので、強弱・トーンレベルデータをも加味して人工生物モデル毎に異なる行動パターンを生成することができるという効果がある。
【図面の簡単な説明】
【図1】本発明による行動パターン生成装置の一例が用いられた人工生物モデルの例を示す図である。
【図2】図1に示す行動パターン生成装置による行動パターンの生成を説明するための図である。
【図3】音声の強弱及びトーンの高低を判定する際に用いられる閾値データを示す図である。
【符号の説明】
11 行動パターン生成装置
12 会話エンジン部
13 運動制御モジュール部
14 音声合成装置
15 スピーカ
16 移動機構
17 身振り生成機構
21 外界情報入力部
22 情報処理部
23 感情認識部
24 行動決定エンジン部
Claims (8)
- 人工生物モデルがコミュニケーションを行うコミュニケーション体に対する人工生物モデルの行動パターンを生成するための行動パターン生成装置であって、前記コミュニケーション体と前記人工生物モデルとの相対距離を計測する相対距離算出手段と、前記コミュニケーション体が発する情報を認識して収集情報とする外部情報収集手段と、前記収集情報に応じて前記コミュニケーション体の感情を推定して推定感情データを得る感情推定手段と、前記相対距離に応じて前記コミュニケーション体が前記人工生物モデルをコミュニケーション対象としているか否かを判定して該判定結果及び前記推定感情データに基づいて前記人工生物モデルの感情を設定感情データとして設定する感情設定手段と、少なくとも前記設定感情データと前記相対距離とに基づいて前記行動パターンを決定する行動パターン決定手段とを有することを特徴とする行動パターン生成装置。
- 前記感情推定手段は予め設定された感情の分類を示す感情カテゴリーに応じて前記収集情報をカテゴリー分類して前記収集情報から前記コミュニケーション体の感情を推定するようにしたことを特徴とする請求項1に記載の行動パターン生成装置。
- 前記感情推定手段は前記収集情報から抽出された強弱情報及びトーン情報を参酌して前記コミュニケーション体の感情を推定するようにしたことを特徴とする請求項1に記載の行動パターン生成装置。
- 前記感情設定手段は前記相対距離が予め定められた距離を越えると前記人工生物モデルが前記コミュニケーション体にとってコミュニケーション対象範囲内と推定するようにしたことを特徴とする請求項1に記載の行動パターン生成装置。
- 前記行動パターン決定手段には前記人工生物モデルの個性を決定する複数の個性データがパーソナリティーデータとして規定されており、前記行動パターン決定手段は、前記相対距離に応じて前記複数のパーソナリティーデータのうち少なくとも一つを選択して該選択されたパーソナリティーデータと前記設定感情データとに応じて前記行動パターンを決定するようにしたことを特徴とする請求項1に記載の行動パターン生成装置。
- 前記行動パターン決定手段には、前記収集情報から抽出された強弱情報及びトーン情報に基づいて決定された強弱レベル及びトーンレベルを示す強弱・トーンレベルデータが与えられ、前記行動パターン決定手段は、前記強弱・トーンレベルデータを参酌して前記複数のパーソナリティーデータのうち少なくとも一つを選択して該選択されたパーソナリティーデータと前記設定感情データとに応じて前記行動パターンを決定するようにしたことを特徴とする請求項5に記載の行動パターン生成装置。
- 人工生物モデルがコミュニケーションを行うコミュニケーション体に対する人工生物モデルの行動パターンを生成するための行動パターン方法であって、前記コミュニケーション体と前記人工生物モデルとの相対距離を計測する相対距離算出ステップと、前記コミュニケーション体が発する情報を認識して収集情報とする外部情報収集ステップと、前記収集情報に応じて前記コミュニケーション体の感情を推定して推定感情データを得る感情推定ステップと、前記相対距離に応じて前記コミュニケーション体が前記人工生物モデルをコミュニケーション対象としているか否かを判定して該判定結果及び前記推定感情データに基づいて前記人工生物モデルの感情を設定感情データとして設定する感情設定ステップと、少なくとも前記設定感情データと前記相対距離とに基づいて前記行動パターンを決定する行動パターン決定ステップとを有することを特徴とする行動パターン生成方法。
- コンピュータ上で動作し、人工生物モデルがコミュニケーションを行うコミュニケーション体に対する人工生物モデルの行動パターンを生成するための行動パターンプログラムであって、前記コミュニケーション体と前記人工生物モデルとの相対距離を計測する相対距離算出手続きと、前記コミュニケーション体が発する情報を認識して収集情報とする外部情報収集手続きと、前記収集情報に応じて前記コミュニケーション体の感情を推定して推定感情データを得る感情推定手続きと、前記相対距離に応じて前記コミュニケーション体が前記人工生物モデルをコミュニケーション対象としているか否かを判定して該判定結果及び前記推定感情データに基づいて前記人工生物モデルの感情を設定感情データとして設定する感情設定手続きと、少なくとも前記設定感情データと前記相対距離とに基づいて前記行動パターンを決定する行動パターン決定手続きとを有することを特徴とする行動パターン生成プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002226945A JP2004066367A (ja) | 2002-08-05 | 2002-08-05 | 行動パターン生成装置、行動パターン生成方法、及び行動パターン生成プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002226945A JP2004066367A (ja) | 2002-08-05 | 2002-08-05 | 行動パターン生成装置、行動パターン生成方法、及び行動パターン生成プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004066367A true JP2004066367A (ja) | 2004-03-04 |
Family
ID=32014112
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002226945A Withdrawn JP2004066367A (ja) | 2002-08-05 | 2002-08-05 | 行動パターン生成装置、行動パターン生成方法、及び行動パターン生成プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004066367A (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005335001A (ja) * | 2004-05-26 | 2005-12-08 | Sony Corp | ロボット制御装置および方法、記録媒体、並びにプログラム |
JP2008246665A (ja) * | 2007-03-07 | 2008-10-16 | Matsushita Electric Ind Co Ltd | 行動制御装置、方法、プログラム |
KR100905582B1 (ko) | 2006-09-06 | 2009-07-02 | 삼성전자주식회사 | 로봇 지놈을 생성하기 위한 시스템 및 생성 방법 |
JP2010110862A (ja) * | 2008-11-06 | 2010-05-20 | Nec Corp | コミュニケーションロボットシステム、コミュニケーションロボット制御方法およびプログラム |
US8315454B2 (en) | 2004-09-14 | 2012-11-20 | Sony Corporation | Robot apparatus and method of controlling the behavior thereof |
JP2016012342A (ja) * | 2014-06-05 | 2016-01-21 | ソフトバンク株式会社 | 行動制御システム及びプログラム |
WO2016072116A1 (ja) * | 2014-11-07 | 2016-05-12 | ソニー株式会社 | 制御システム、制御方法、および記憶媒体 |
JP2016162001A (ja) * | 2015-02-26 | 2016-09-05 | Kddi株式会社 | 業務支援装置および業務支援プログラム |
JP2017170584A (ja) * | 2016-03-25 | 2017-09-28 | 株式会社国際電気通信基礎技術研究所 | ロボットの行動シミュレーション装置 |
CN112092017A (zh) * | 2019-06-17 | 2020-12-18 | 株式会社日立大厦系统 | 引导机器人 |
JP7400923B2 (ja) | 2017-10-30 | 2023-12-19 | ソニーグループ株式会社 | 情報処理装置および情報処理方法 |
-
2002
- 2002-08-05 JP JP2002226945A patent/JP2004066367A/ja not_active Withdrawn
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005335001A (ja) * | 2004-05-26 | 2005-12-08 | Sony Corp | ロボット制御装置および方法、記録媒体、並びにプログラム |
US8315454B2 (en) | 2004-09-14 | 2012-11-20 | Sony Corporation | Robot apparatus and method of controlling the behavior thereof |
KR100905582B1 (ko) | 2006-09-06 | 2009-07-02 | 삼성전자주식회사 | 로봇 지놈을 생성하기 위한 시스템 및 생성 방법 |
US7937337B2 (en) | 2006-09-06 | 2011-05-03 | Samsung Electronics Co., Ltd | System and method for generating robot genome |
JP2008246665A (ja) * | 2007-03-07 | 2008-10-16 | Matsushita Electric Ind Co Ltd | 行動制御装置、方法、プログラム |
JP4682217B2 (ja) * | 2007-03-07 | 2011-05-11 | パナソニック株式会社 | 行動制御装置、方法、プログラム |
US8326456B2 (en) | 2007-03-07 | 2012-12-04 | Panasonic Corporation | Behavior control apparatus, method, and program |
JP2010110862A (ja) * | 2008-11-06 | 2010-05-20 | Nec Corp | コミュニケーションロボットシステム、コミュニケーションロボット制御方法およびプログラム |
JP2016012342A (ja) * | 2014-06-05 | 2016-01-21 | ソフトバンク株式会社 | 行動制御システム及びプログラム |
JP2016012340A (ja) * | 2014-06-05 | 2016-01-21 | ソフトバンク株式会社 | 行動制御システム及びプログラム |
WO2016072116A1 (ja) * | 2014-11-07 | 2016-05-12 | ソニー株式会社 | 制御システム、制御方法、および記憶媒体 |
US10788235B2 (en) | 2014-11-07 | 2020-09-29 | Sony Corporation | Control system, control method, and storage medium |
US11940170B2 (en) | 2014-11-07 | 2024-03-26 | Sony Corporation | Control system, control method, and storage medium |
JP2016162001A (ja) * | 2015-02-26 | 2016-09-05 | Kddi株式会社 | 業務支援装置および業務支援プログラム |
JP2017170584A (ja) * | 2016-03-25 | 2017-09-28 | 株式会社国際電気通信基礎技術研究所 | ロボットの行動シミュレーション装置 |
JP7400923B2 (ja) | 2017-10-30 | 2023-12-19 | ソニーグループ株式会社 | 情報処理装置および情報処理方法 |
CN112092017A (zh) * | 2019-06-17 | 2020-12-18 | 株式会社日立大厦系统 | 引导机器人 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2018204246B2 (en) | Method of performing multi-modal dialogue between a humanoid robot and user, computer program product and humanoid robot for implementing said method | |
Khalil et al. | Speech emotion recognition using deep learning techniques: A review | |
Wöllmer et al. | LSTM-modeling of continuous emotions in an audiovisual affect recognition framework | |
KR101604593B1 (ko) | 이용자 명령에 기초하여 리프리젠테이션을 수정하기 위한 방법 | |
EP2426598A2 (en) | Apparatus and method for user intention inference using multimodal information | |
CN109308466A (zh) | 一种对交互语言进行情绪识别的方法 | |
CN114995657B (zh) | 一种智能机器人的多模态融合自然交互方法、系统及介质 | |
KR101738142B1 (ko) | 감성 기반의 대화가 가능한 디지털 생명체 생성 시스템 및 그 제어방법 | |
JP2004066367A (ja) | 行動パターン生成装置、行動パターン生成方法、及び行動パターン生成プログラム | |
Cid et al. | A novel multimodal emotion recognition approach for affective human robot interaction | |
JP6201212B2 (ja) | キャラクタ生成装置およびプログラム | |
JP2019154575A (ja) | 個人識別装置および特徴収集装置 | |
KR101933150B1 (ko) | 명령어/정보 입력시스템 및 방법 | |
KR101652705B1 (ko) | 멀티 모달 정보를 이용하는 사용자 의도 추론 장치 및 방법 | |
Subbarao et al. | Emotion recognition using BiLSTM classifier | |
Wang | Research on the Construction of Human‐Computer Interaction System Based on a Machine Learning Algorithm | |
Ktistakis et al. | A multimodal human-machine interaction scheme for an intelligent robotic nurse | |
Kirandziska et al. | Human-robot interaction based on human emotions extracted from speech | |
Chen et al. | A novel approach of system design for dialect speech interaction with NAO robot | |
Argyropoulos et al. | Multimodal user interface for the communication of the disabled | |
Lin et al. | Acoustical implicit communication in human-robot interaction | |
Vaidyanathan et al. | A dual mode human-robot teleoperation interface based on airflow in the aural cavity | |
Lin et al. | Nonverbal acoustic communication in human-computer interaction | |
Thaweesitthichat et al. | Thai sign language recognition with leap motion | |
US20220238134A1 (en) | Method and system for providing voice recognition trigger and non-transitory computer-readable recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20051101 |