JP2009233764A

JP2009233764A - 動作生成装置、ロボット及び動作生成方法

Info

Publication number: JP2009233764A
Application number: JP2008079736A
Authority: JP
Inventors: Masayuki Takashima; 雅之高島
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2008-03-26
Filing date: 2008-03-26
Publication date: 2009-10-15
Anticipated expiration: 2028-03-26
Also published as: JP5045519B2

Abstract

【課題】発話内容に応じて身振り動作の処理速度を調整する動作生成装置を提供する。
【解決手段】動作生成装置２０は、発話内容と発話内容に応じて動作パターンが動作する動作タイミングを保持する発話内容データベース２と、動作パターンに対応する動作データを登録する動作パターンデータベース８と、発話内容データベース２から発話内容を選択する発話内容生成部３と、選択された発話内容に応じて、説明に必要な動作パターンを判断する動作種別判断部７と、判断された動作パターンに基づいて、動作パターンデータベース８から動作データを抽出し、発話内容と動作データとを組み合わせる動作パターン組合わせ生成部９と、発話内容に応じた動作タイミングに基づいて、動作データの再生処理速度を調整する動作処理速度調整部１０と、を備える。
【選択図】図１

Description

ロボットが動作する処理速度を調整する装置及び方法に関する。

ロボットが人間の問いかけに応じて応答する場合、応答する内容によって、発話時間長が変わる。従って、予め決められた動作データを再生するだけでは、発話内容と動作との対応や、発話終了タイミングと動作終了タイミングにずれが生じることがあった。このような場合、次に人間が問いかけするタイミングがわかりにくくなっていた。また、発話内容と動作内容が異なり、ロボットの応答の印象が不自然となることがあった。

例えば、特許文献１には、短い動作を組み合わせ、無動作時間を設けることで、終了タイミングを合わせる技術が開示されている。特許文献２には、音韻継続時間と動作時間とを調整し、調整した動作時間に基づいて可動部位の動作を制御することによって、音声合成による発声する言葉と発声タイミングに、調音器官を模擬した部位の動作を同期させる技術が開示されている。特許文献３には、音声単位の継続時間超が特定されたリストに基づいて口の動きの軌跡パラメータと音声波形を準備し、生成される音声と口の動きとを同期させる技術が開示されている。特許文献４には、ロボットと人間との快適なインタラクションを実現するため、ロボットが対人距離及び人間の顔の向きからインタラクションパラメータ（対人距離、注視時間、モーション開始時間、モーション速度）の適切度を最適化する技術が開示されている。また、特許文献５には、メディア再生部からの時間経過の通知を受け、対応するフレームにおいてロボットを動作させる技術が開示されている。
特許第３９３０３８９号公報特開２００１−１７９６６７号公報特開２００６−２１２７３号公報特開２００６−２４７７８０号公報特開２００２−６６１５６号公報

しかしながら、上記特許文献は、発話時間に合わせてロボットの身振り動作の処理速度を変更するものではなく、ロボットの身振り動作を開始するタイミングを調整することができなかった。また、特許文献１の技術では、無動作時間に不自然さが残っていた。施設内の展示物を案内するロボットにおいて、発話内容に沿って展示物を指し示すタイミングが重要となる。このため、発話中に展示物を指し示すタイミングが合わせられないという問題があった。

本発明は、発話内容に応じて身振り動作の処理速度を調整する動作生成装置及び方法を提供することを目的とする。

本発明に係る動作生成装置の一態様は、発話内容と前記発話内容に応じて動作パターンが動作する動作タイミングを保持する発話内容データベースと、動作パターンに対応する動作データを登録する動作パターンデータベースと、前記発話内容データベースから発話内容を選択する発話内容生成部と、選択された発話内容に応じて、説明に必要な動作パターンを判断する動作種別判断部と、判断された動作パターンに基づいて、前記動作パターンデータベースから動作データを抽出し、前記発話内容と前記動作データとを組み合わせる動作パターン組合わせ生成部と、前記発話内容に応じた動作タイミングに基づいて、前記動作データの前記再生処理速度を調整する動作処理速度調整部と、を備える。動作生成装置は、発話内容に応じて身振り動作の処理速度を変更することができる。これにより、発話内容と身振り動作とを同期させることができるため、より自然な説明を行うことができる。

また、本発明に係る動作生成装置の一態様において、前記動作処理速度調整部は、前記動作データの処理周期の長さを変更することによって再生処理速度を調整する。前記動作処理速度調整部は、動作タイミングにおいて動作が開始または終了するように、再生処理速度を調整することが好ましい。前記動作処理速度調整部は、発話内容の再生終了に動作データの再生終了をあわせるように再生処理速度を調整することが好ましい。これにより、説明のタイミングと動作とを同期させたり、発話内容の終了と動作の終了とを一致させることができる。

さらに、本発明に係る動作生成装置の一態様において、前記発話内容生成部は、複数の発話内容を選択し、前記動作種別判断部は、前記複数の発話内容に応じて、複数の動作パターンを判断し、前記動作パターン組合わせ生成部９は、前記複数の動作パターンを結合させ、前記複数の発話内容と前記複数の動作パターンを組み合わせ、前記動作処理速度調整部は、前記複数の発話内容それぞれに応じた動作タイミングに、組み合わされた動作データが適切に動作するように再生処理速度を調整する。

本発明に係るロボットの一態様は、発話内容に応じて動作するロボットであって、アクチュエータと、上述した動作生成装置と、前記動作生成装置が動作速度を調整した前記複数の動作データの組み合わせに基づいて、アクチュエータを動作させる動作制御部と、を備える。

本発明に係る動作生成方法は、発話内容と発話内容に応じて動作パターンが動作する動作タイミング動作タイミングを保持する発話内容データベースと、動作パターンに対応する動作データを登録する動作パターンデータベースと、を備え、前記発話内容データベースから発話内容を選択し、選択された発話内容に応じて、説明に必要な動作パターンを判断し、判断された動作パターンに基づいて、前記動作パターンデータベースから動作データを抽出し、前記発話内容に応じた動作タイミングに基づいて、前記複数の動作データの再生処理速度を調整する。

本発明によれば、発話内容に応じて身振り動作の処理速度を調整する動作生成装置及び方法を提供することができる。

以下、本発明の実施形態について、図面を参照しながら説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。各図面において同一の構成または機能を有する構成要素および相当部分には、同一の符号を付し、その説明は省略する。

（実施形態１）
図１は、本発明に係る実施形態１のロボットの構成例を示すブロック図である。ロボットは、音声認識部１、発話内容データベース２、発話内容生成部（説明内容生成部）３、音声合成部４、音声再生部５、スピーカ６、動作種別判断部７、動作パターンデータベース８、動作パターン組合わせ生成部９、動作処理速度調整部１０、動作制御部１１、及び、アクチュエータ１２を備える。

音声認識部１は、音声による問いかけを認識する。
発話内容データベース２は、発話内容、発話内容全体の発話時間、及び、発話内容に応じて動作パターンが動作する動作タイミングを保持する記憶領域である。発話内容は、例えば、問いかけ内容に対応する回答文の文例を保持する。図２に、発話内容データベース２の構成例を示す。発話内容、発話時間、及び、動作タイミングは、発話内容番号（図２ではＮｏ．で示している）に対応づけられて格納される。

発話内容生成部３は、音声認識部１が認識した問いかけ内容に基づいて、ロボットが回答する発話内容（以下、適宜、「回答文」、または、「回答内容」ともいう）を決定する。また、発話内容生成部３は、問いかけ内容に限定されることなく、定期的に発話する内容、例えば、所定の時間に通知する案内などを決定することもできる。また、発話内容生成部３は、複数の発話内容を選択する場合、発話内容の順番を特定して選択する。発話内容生成部３は、選択した少なくとも一つの発話内容番号を動作種別判断部７へ受け渡す。

音声合成部４は、発話内容生成部３で生成された発話内容を音声データに合成する。
音声再生部５は、音声合成部４で合成された音声データを再生する。
スピーカ６は、音声再生部５から実際に音声を外部出力させる。

動作種別判断部７は、発話内容生成部３が判断した発話内容に基づいて、説明に必要な動作パターン（例えば、指示方向などの説明ポイントなどの発話内容に応じた身振り動作）を判断する。動作種別判断部７は、発話内容番号と動作パターンとを動作パターン組合わせ生成部９へ受け渡す。

動作パターンデータベース８は、さまざまな動作パターンに対応する動作データを登録する記憶領域である。複数の動作データはそれぞれ動作パターンに対応づけられて動作パターンデータベース８へ予め格納されている。図１では、具体的に右を示す動作等の４種類の動作を一例と示しているがこれらに限られるわけではない。また、図１には示していないが、動作パターンデータベース８は、動作データとして、動作パターン毎に、動作パターンに対応する動作、動作時間等の情報を、動作パターンを識別する番号に対応づけて格納する。動作データに含まれる動作は、所定の処理周期で動作するように設定されている。処理周期を変更する（例えば、長くする、短くする）ことによって動作を開始・終了するタイミングを調整することができる。

動作パターン組合わせ生成部９は、動作種別判断部７が判断した動作パターンに基づいて、動作パターンデータベース８から適切な動作データを抽出し、発話内容番号と動作データとを組み合わせる。また、動作パターン組合わせ生成部９は、複数の発話内容が選択されている場合、複数の発話内容それぞれに応じて、複数の動作データを抽出し、複数の動作データを結合させる。また、一つの発話内容であっても複数の動作パターンが選択されている場合、複数の動作データを結合させる。動作パターン組合わせ生成部９は、一つの動作データまたは複数の動作データを結合させた速度未調整動作データを生成する。動作パターン組合わせ生成部９は、発話内容番号と速度未調整動作データとを動作処理速度調整部１０へ受け渡す。

動作処理速度調整部１０は、発話内容に応じた動作タイミングに基づいて、動作パターン組合わせ生成部９が生成した動作データ（速度未調整動作データ）の再生処理速度を調整（決定）し、速度調整済動作データを生成する。具体的には、動作処理速度調整部１０は、動作データの処理周期の長さを変更することによって再生処理速度を調整する。また、動作処理速度調整部１０は、発話内容前記動作データの処理周期の長さを変更することによって発話内容の再生終了に動作データの再生終了をあわせるように再生処理速度を調整する。

動作制御部１１は、動作処理速度調整部１０が調整した速度調整済動作データに基づいて、アクチュエータに処理信号を送る。
アクチュエータ１２は、実際にロボットの腕、首、胴、脚を動かす。

図１に示すロボットにおいて、発話内容に応じて動作の処理速度を調整する動作生成装置２０は、少なくとも、発話内容データベース２、動作種別判断部７、動作パターンデータベース８、動作パターン組合わせ生成部９、及び、動作処理速度調整部１０から構成される。

続いて、ロボットの動作について、動作生成装置２０を中心に説明する。図３は、ロボットが説明を始めるまでの動作例を示すフローチャートである。図３では、展示会場などで接客するロボットの動作例を示している。

まず、ロボットは来客者から問いかけを受けると、音声認識部１は、音声による問いかけを認識する（Ｓ１１）。発話内容生成部３は、問い合わせ内容を理解し、問い合わせ内容に応じた発話内容（回答文）を、発話内容データベース２を用いて生成する（Ｓ１２）。発話内容生成部３は、生成した発話内容に対応する少なくとも一つの発話内容番号を音声合成部４と動作種別判断部７へ渡す。次に、生成された発話内容に基づいて、音声合成と動作生成との二つが並行して動作する。

まず音声合成から説明する。音声合成部４は、発話内容を音声データに変換する（Ｓ１３）。音声再生部５は、発話開始のタイミングを待ち、音声を再生する（Ｓ１４）。

次に動作生成について説明する。動作種別判断部７は、発話内容生成部３が判断した発話内容に基づいて、文意を種別し、発話内容に応じた動作パターンを判断する（Ｓ１５）。具体的には、動作種別判断部７は、現在位置を取得し、説明する内容の配置位置との関係を検出して、必要な動作パターンを判断する。例えば、動作種別判断部７は、発話内容に二つの文意があり（発話内容番号が二つある場合、一つの発話内容に複数の文意がある場合を含む）、右を指す動作と左を指す動作が含まれていると判断する。動作種別判断部７は、判断した動作パターンと発話内容番号を動作パターン組合わせ生成部９へ渡す。

続いて、動作パターン組合わせ生成部９は、動作種別判断部７が判断した動作パターンに対応する動作データを動作パターンデータベース８から読み出し、読み出した動作データを組み合わせる（Ｓ１６）。このとき、動作パターン組合わせ生成部９は、各動作パターンを接続する動作を挿入したりして、連続する動作となるように動作データを組み合わせて速度未調整動作データを生成する。動作パターン組合わせ生成部９は、発話内容番号と速度未調整動作とを動作処理速度調整部１０に渡す。

動作処理速度調整部１０は、速度未調整動作データの再生処理速度を決定する（Ｓ１７）。具体的には、動作処理速度調整部１０は、発話内容番号を用いて発話内容データベース２を検索し、発話内容番号に対応づけられている発話時間と動作タイミングと読み出す。動作処理速度調整部１０は、発話時間、動作タイミング、動作データ等の情報に基づいて、動作データの処理周期を調整する。具体的には、動作処理速度調整部１０は、動作タイミングに動作パターンが一致する（例えば、開始する）ように、あるいは、発話内容の発話時間に対応する動作パターンが終了するように処理周期を調整する。このようにして、動作処理速度調整部１０は、速度未調整動作データに含まれる一つまたは複数の動作データについて処理速度を調整して速度調整済動作データを生成し、動作制御部１１へ渡す。

動作制御部１１は、音声再生部５と同期をとって、速度調整済動作データに基づいてアクチュエータ１２を動作させる、動作データを再生させる（Ｓ１９）。

図４は、発話内容と動作データの処理周期とを調整した一例を示す図である。図４では、発話内容生成部３は、問い合わせに対して、発話内容Ａと発話内容Ｂとを回答文として生成した。動作種別判断部７は、発話内容Ａへ動作パターンとして右を指す動作を組み合わせた。また、動作種別判断部７は、発話内容Ｂへ左を指す動作を組み合わせた。このような発話内容と動作パターンにおいて、例えば、動作パターン組合わせ生成部９は次のように再生処理速度を調整する。

動作パターン組合わせ生成部９は、Ｔ１からＴ３の期間、動作データの処理周期を長くして再生処理速度を遅くらせる。これにより、Ｔ２のタイミングで右を指す動作が展示物を指すように調整する。動作パターン組合わせ生成部９は、Ｔ４からＴ６の期間、動作データの処理周期を長くして再生処理速度を遅くらせる。これにより、Ｔ５のタイミングで左を指す動作が展示物を指すように調整する。また、動作パターン組合わせ生成部９は、Ｔ４からＴ６の期間、動作データ処理周期を長くして再生処理速度を遅らせる。これにより、左を指す動作が発話内容Ｂの終了タイミング（Ｔ８）で動作が終了するように調整する。

以上説明したとおり、本実施形態によれば、発話内容に応じて身振り動作の処理速度を変更することができる。これにより、発話内容の中で、身振り動作を開始したいタイミングで動作を開始させることができる。また、発話内容の終了するタイミングに合わせて、動作が終了するように調整することが可能になる。これにより、問いかけに対して、発話内容と動作とが対応した自然な応答を行うことができる。

（その他の実施形態）
実施形態１では、ロボットへの問いかけに対する発話内容に応じた動作データを調整する場合を説明した。本発明はこれに限られることなく、ロボットが自ら発話内容を決定し、動作する場合に適用することもできる。例えば、来場者を検知したときに、発話内容番号１の発話内容に対応する動作パターン（お辞儀をする動作など）を調整することもできる。また、所定の時間に展示物の説明を開始する場合に本発明を適用することができる。

また、実施形態１では、発話内容生成部３は、人間からの問いかけに対応する発話内容を生成する場合を説明したが、これに限られることはない。外部からの動作指示、例えば、無線信号等によって展示物の説明を開始する指示などを受信した場合に、開始する動作に本発明を適用することも可能である。ロボットは、動作指示に基づいて発話内容を決定し、現在位置等に基づいて展示物を指し示す動作パターンを選択し、動作の処理速度を調整して展示物の説明を開始することができる。

さらに、発話内容データベース２は、動作タイミングとして、発話内容に応じて動作パターンが動作するポイントを保持する。動作生成装置２０は、例えば、動作が開始するタイミング、動作が終了するタイミング、あるいは、動作の中間のタイミングなど発話内容と動作パターンとの同期をとりやすいポイントのタイミングを保持することができる。

以上説明したように、上記各実施形態は、例えば、施設内の展示物案内を行うロボットに適用することができる。あらかじめ説明内容と動作タイミングとを保持し、ロボットが適切なタイミングで展示物を指示すること、発話終了と同時に動作が終了することができるように、身振り動作の処理速度を変更する。これにより、ロボットおいて、発話内容と身振り動作とを同期させることができる。従って、発話内容に応じたより自然な動作や説明を実現するロボットを提供することができる。

なお、本発明は上記に示す実施形態に限定されるものではない。本発明の範囲において、上記実施形態の各要素を、当業者であれば容易に考えうる内容に変更、追加、変換することが可能である。

本発明に係る実施形態１のロボットの構成例を示すブロック図である。発話内容データベースの構成例を示す図である。ロボットが説明を始めるまでの動作例を示すフローチャートである。発話内容と動作データの処理周期とを調整した一例を示す図である。

符号の説明

１音声認識部
２発話内容データベース
３発話内容生成部
４音声合成部
５音声再生部
６スピーカ
７動作種別判断部
８動作パターンデータベース
９動作パターン組合わせ生成部
１０動作処理速度調整部
１１動作制御部
１２アクチュエータ

Claims

発話内容と前記発話内容に応じて動作パターンが動作する動作タイミングを保持する発話内容データベースと、
動作パターンに対応する動作データを登録する動作パターンデータベースと、
前記発話内容データベースから発話内容を選択する発話内容生成部と、
選択された発話内容に応じて、説明に必要な動作パターンを判断する動作種別判断部と、
判断された動作パターンに基づいて、前記動作パターンデータベースから動作データを抽出し、前記発話内容と前記動作データとを組み合わせる動作パターン組合わせ生成部と、
前記発話内容に応じた動作タイミングに基づいて、前記動作データの前記再生処理速度を調整する動作処理速度調整部と、を備える動作生成装置。
前記動作処理速度調整部は、前記動作データの処理周期の長さを変更することによって前記再生処理速度を調整することを特徴とする請求項１記載の動作生成装置。
前記動作処理速度調整部は、前記動作タイミングにおいて動作が開始または終了するように、前記再生処理速度を調整することを特徴とする請求項２記載の動作生成装置。
前記動作処理速度調整部は、前記発話内容の再生終了に前記動作データの再生終了をあわせるように前記再生処理速度を調整することを特徴とする請求項２記載の動作生成装置。
前記発話内容生成部は、複数の発話内容を選択し、
前記動作種別判断部は、前記複数の発話内容に応じて、複数の動作パターンを判断し、
前記動作パターン組合わせ生成部は、前記複数の動作パターンを結合させ、前記複数の発話内容と前記複数の動作パターンを組み合わせ、
前記動作処理速度調整部は、前記複数の発話内容それぞれに応じた動作タイミングに、組み合わされた動作データが適切に動作するように前記再生処理速度を調整することを特徴とする請求項１乃至４のいずれか一項に記載の動作生成装置。
発話内容に応じて動作するロボットであって、
アクチュエータと、
前記請求項１乃至５のいずれか一項に記載した動作生成装置と、
前記動作生成装置が動作速度を調整した前記複数の動作データの組み合わせに基づいて、アクチュエータを動作させる動作制御部と、を備えるロボット。
発話内容と発話内容に応じて動作パターンが動作する動作タイミング動作タイミングを保持する発話内容データベースと、動作パターンに対応する動作データを登録する動作パターンデータベースと、を備え、
前記発話内容データベースから発話内容を選択し、
選択された発話内容に応じて、説明に必要な動作パターンを判断し、
判断された動作パターンに基づいて、前記動作パターンデータベースから動作データを抽出し、
前記発話内容に応じた動作タイミングに基づいて、前記動作データの再生処理速度を調整する動作生成方法。