JP2006320424A - 動作教示装置とその方法 - Google Patents

Abstract

【課題】リハビリテーションの運動等において模範的な動作を効果的に利用者に教示することができる動作教示装置とその方法を提供する。
【解決手段】ロボット２０によって利用者２０に模範動作が提示され、この模範動作に対応する利用者２０の動作がカメラ３１，３２の撮影画像に基づいて認識される。そして、認識された利用者１０の動作とロボット２０が提示した模範動作との差異が検出され、この差異を補正するためのアドバイスが音声としてスピーカ４０から出力される。そのため、利用者１０は、間違った動作をしたときに音声のアドバイスに従ってそれを正すことが可能となり、ビデオなどで一方的に動作が提示される場合に比べて、より効果的に模範動作を学習することができる。
【選択図】 図１

Description

本発明は、例えばリハビリテーションのための運動や、電子機器の操作、スポーツ、などにおいて、利用者に模範的な身体の動作を教示する動作教示装置とその方法に関するものである。

医療技術の発達によって平均寿命が伸びた一方で子供の数が年々減少していることから、社会の高齢化が急速に進んでいる。そのため、高齢者を支援する仕組みや環境の整備が急務になっている。

非特許文献１には、カメラで撮影した利用者の映像をコンピュータに取り込んで画像処理を行うことにより利用者のジェスチャを推定し、この推定したジェスチャに応じてゲーム機を操作する技術が記載されている。これにより、指先が不自由であったり、電子機器の操作に不慣れであるためゲーム機のコントローラを思うように操作できない高齢者であっても、負担を感じることなくゲームを楽しむことが可能になる。

また、非特許文献２には、ロボットが利用者にキーボードの入力操作を教示するシステムが記載されている。このシステムでは、マイクロフォンに入力される利用者の音声をコンピュータに取り込んで音声認識処理を行うことにより、入力された音声を単語として認識する。そして、認識した単語に対応するキーの位置を指差すように、キーボードの横に配置された小型のロボットを制御する。これにより、利用者はロボットから何度でも気軽にキーボードの操作を教わることができるため、電子機器の操作に不慣れな高齢者でも自分のペースで着実にキー操作を習得することができる。
今井、他２名，「ステレオカメラを利用した家庭用ゲーム機のジェスチャ操作」，「第１９回リハ工学カンファレンス 講演論文集」，２００４年８月２５日，ｐ．１９１−１９２ 吉野、他１名，「高齢者のためのパソコンキー入力操作の学習支援システム」，「第１９回リハ工学カンファレンス 講演論文集」，２００４年８月２５日，ｐ．２０１−２０２

ところで、慢性的な疾患を患っている人の割合は、一般に年齢が高くなるほどが多くなる傾向がある。こうした疾患からの回復を図り、健康を維持・増進させるためには、リハビリテーションとして適切な運動を行うことが効果的である。しかしながら、従来このようなリハビリテーションとしての運動は、専門の施設においてインストラクタの指示の元で行われており、高齢者が家庭内で個人的に行うことが困難であるという問題がある。

また、リハビリテーションに限らず、例えばスポーツにおいて技能の向上を図るためのトレーニングを行う際に、正しいフォームを指導してくれるインストラクタがいない場合には、インストラクタの代わりにビデオなどを見て学習する必要がある。ところがこのような個人的なトレーニングでは、情報を一方的に受け取るのみであり、実際に行った動作が適切であるかについてはトレーニングを行う者が自分で把握しなくてはならない。そのため、インストラクタの指示を受けてトレーニングを行う場合に比べて学習効果が劣るという問題がある。

本発明はかかる事情に鑑みてなされたものであり、その目的は、リハビリテーションの運動等において模範的な動作を効果的に利用者に教示することができる動作教示装置とその方法を提供することにある。

本発明の第１の観点に係る動作教示装置は、利用者に模範的な動作を提示する動作提示部と、上記動作提示部が提示した動作に対応する上記利用者の動作を認識する動作認識部と、上記動作提示部が提示した動作と上記動作認識部が認識した動作との差異を検出する検出部と、上記検出部が検出した差異を補正するためのアドバイスに関する情報を提供する情報提供部とを有する。
好適には、上記動作提示部は、上記検出部の検出結果に応じて、同一の動作を繰り返し提示する。

上記動作教示装置は、上記利用者のバイタルサインを測定するバイタルサイン測定部を有しても良い。この場合、上記動作提示部は、提示可能な複数の動作の中から、上記バイタルサイン測定部の測定結果に応じた動作を選択して提示しても良い。また、上記情報提供部は、上記検出部が検出した差異を補正するためのアドバイスに関する複数の情報のうち、上記バイタルサイン測定部の測定結果に応じた情報を選択して提供しても良い。

上記動作教示装置は、上記検出部の検出結果に応じて、上記利用者の身体能力を評価する評価部を有しても良い。この場合、上記動作提示部は、提示可能な複数の動作の中から、上記評価部の評価結果に応じた動作を選択して提示しても良い。また、上記情報提供部は、上記検出部が検出した差異を補正するためのアドバイスに関する複数の情報のうち、上記評価部の評価結果に応じた情報を選択して提供しても良い。

上記動作教示装置は、上記利用者の音声を認識する音声認識部を有しても良い。この場合、上記動作提示部は、上記音声認識部により認識された上記利用者の音声に応じて、動作の提示の開始、動作の提示の終了、及び、提示可能な複数の動作の中からの上記利用者に提示する動作の選択の少なくとも１つを行っても良い。

また、上記動作提示部は、模範的な動作を実演するロボット、模範的な動作の映像を表示する映像表示部、及び、模範的な動作を教示する音声を出力する音声出力部の少なくとも１つを含んでも良い。

本発明の第２の観点に係る動作教示方法は、ロボット、映像表示部、及び、音声出力部の少なくとも１つが、利用者に模範的な動作を提示する第１の工程と、上記第１の工程において提示した動作に対応する上記利用者の動作を、少なくとも２つの位置から撮影部によって撮影し、当該撮影部が撮影した上記利用者の動作に基づいて、上記利用者の所定の身体部位の３次元位置情報を取得する第２の工程と、上記第２の工程において取得した３次元位置情報に基づいて、上記第１の工程において提示した動作と上記撮影部が撮影した上記利用者の動作との差異を検出する第３の工程と、上記第３の工程において検出された差異を補正するためのアドバイスに関する情報を提供する第４の工程とを有する。

本発明によれば、提示された動作とこれに合わせて利用者が行った実際の動作との差異が検出され、この差異を補正するためのアドバイスが利用者に提供されるため、一方的に動作が提示される場合に比べて、模範的な動作を効果的に利用者に教示することができる。

＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る動作教示装置の構成の一例を示す図である。
図１に示す動作教示装置は、ロボット２０と、カメラ３１，３２と、スピーカ４０と、制御部１００とを有する。
また、制御部１００は、ロボット制御部１０１と、動作認識処理部１０２と、検出部１０３と、音声出力部１０４とを有する。

なお、図１に示す動作教示装置の各構成要素と本発明の各構成要素との対応関係は次の通りである。
ロボット２０及びロボット制御部１０１を含むユニットは、本発明の動作提示部の一実施形態である。
カメラ３１，３２及び動作認識処理部１０２を含むユニットは、本発明の動作認識部の一実施形態である。
スピーカ４０及び音声出力部１０４を含むユニットは、本発明の情報提供部の一実施形態である。

ロボット２０は、利用者１０に模範的な動作（模範動作）を提示するための装置であり、人体に模して形成された各部位（手、足、首など）をロボット制御部１０１の制御に従って動かす。

カメラ３１，３２は、各々異なる位置から利用者１０の映像を撮影し、その映像信号を制御部１００に出力する。

スピーカ４０は、音声出力部１０４から出力される音声信号に応じた音声を出力する。

制御部１００は、動作教示装置の全体動作に関わる種々の処理、制御を行う。すなわち、制御部１００は、ロボット２０を制御して模範動作を実演させ、この実演に合わせて行われる利用者１０の動作をカメラ３１，３２によって撮影する。そして、撮影した動作に基づいて利用者１０の所定の身体部位の３次元的位置情報を取得し、この位置情報とロボット２０に実演させた模範動作との差異を補正するためのアドバイスを音声としてスピーカ４０から出力する。

図２は、制御部１００の構成の一例を示す図である。
制御部１００は、例えば図２に示すように、入力部１１０と、表示部１１１と、インターフェース部１１２と、記憶装置１１３と、ＲＡＭ１１４と、ＲＯＭ１１５と、コンピュータ１１６とを有する。

入力部１１０は、例えばキーボードやマウスなど、利用者の操作に応じた情報を入力するための機器である。

表示部１１１は、例えば液晶ディスプレイやＣＲＴディスプレイなどの表示機器を含み、コンピュータ１１６から供給される映像信号に基づいて画像を表示する。

インターフェース部１１２は、コンピュータ１１６の入出力装置とロボット２０やカメラ３１，３２、スピーカ４０などの外部機器との間で信号をやりとりする。すなわち、ロボット２０への制御信号の出力や、カメラ３１，３２からの映像信号の取り込み、スピーカ４０への音声信号の出力などを行う。

記憶装置１１３は、例えばハードディスク装置や光磁気ディスク装置など、比較的容量の大きなデータの記憶が可能な装置であり、コンピュータ１１６のオペレーティングシステムやアプリケーションプログラム、各種のデータを記憶する。例えば、ロボット２０の制御データや、スピーカ４０において出力するアドバイス用音声のデータなどを記憶する。

ＲＡＭ１１４は、コンピュータ１１６の処理過程において一時的に記憶する必要があるデータやコンピュータ１１６のプログラムコードなどを記憶する。
ＲＯＭ１１５は、コンピュータ１１６において利用される定数データや起動用プログラムなどを記憶する。

コンピュータ１１６は、ＲＯＭ１１５や記憶装置１１３に格納されるプログラムに従って、各種の処理を実行する。次に述べる機能ブロック（ロボット制御部１０１、動作認識処理部１０２、検出部１０３、音声出力部１０４など）の処理は、コンピュータ１１６によって実現される。

ロボット制御部１０１は、記憶装置１１３に格納される制御データに基づいてロボット２０を制御し、模範動作を実演させる。

模範動作は、例えば一連の複数の動作によって構成されており、記憶装置１１３はこの一連の動作（以降、動作パターンと呼ぶ）をロボット２０に実演させるための制御データを格納する。ロボット制御部１０１は、記憶装置１１３に格納される制御データに基づいて、動作パターンを構成する各々の動作をロボット２０に順番に実演させる。
ただし、後述する検出部１０３において、動作認識処理部１０２が認識した利用者１０の動作とロボット２０の模範動作との間に一定以上の差異が検出された場合、ロボット制御部１０１は、この模範動作をロボット２０に繰り返し実演させる。

また、ロボット制御部１０１は、複数の動作パターンの実演が可能な制御データが記憶装置１１３に格納されている場合、例えば表示部１１１に動作パターンを選択するためのメニュー画面を表示して、その選択を利用者１０に促す。利用者１０が入力部１１０の操作によって動作パターンを選択すると、ロボット制御部１０１は、当該選択された動作パターンをロボット２０に実演させる。

動作認識処理部１０２は、ロボット２０の実演に合わせて利用者１０が動作を行う所定の期間（例えばロボット２０の実演中や実演後の所定の期間）において、カメラ３１，３２が撮影した利用者１０の動作を認識する処理を行う。すなわち、この期間に２つのカメラ（３１，３２）で撮影された利用者１０の動作に基づいて、利用者１０の所定の身体部位の３次元位置情報を取得する。

例えば、動作認識処理部１０２は、２つのカメラ（３１，３２）の一方で撮影された画像と、利用者１０がいない状態で予め撮影された背景の画像とに基づいて、ＲＲＦ（radial reach filter）などの画像処理技術により、撮影画像から利用者１０の画像を抽出する。

次いで、動作認識処理部１０２は、例えば画素の輝度分布などに基づいて、一方のカメラで撮影された画像の各部分が他方のカメラで撮影された画像のどの部分に対応しているかを特定する。そして、対応する２つの部分の画面上における位置と、カメラ３１，３２の設置位置、撮影の方向などの情報に基づいて、この２つの部分が共通に写し出している実際の被写体の３次元位置を算出する。
更に、動作認識処理部１０２は、各画像の形状や面積などに基づいて、画像のどの部分が利用者１０のどの身体部位（頭、手、足など）に相当するかを推定する。
以上の処理により、動作認識処理部１０２は、利用者１０の所定の身体部位の３次元位置に関する情報を取得する。

検出部１０３は、動作認識処理部１０２が認識した利用者１０の動作と、ロボット制御部１０１がロボット２０に実演させた模範動作との差異を検出する。

検出部１０３は、例えば、動作認識処理部１０２が算出した所定の身体部位の位置が、利用者１０に提示した模範動作において要求される位置に対してどの方向へどの程度離れているかを検出する。
また、位置の差異だけでなく、例えば動作認識処理部１０２が算出した所定の身体部位の移動速度や加速度、当該身体部位が単位時間あたりに所定の距離を超えて移動する回数や周期など、当該身体部位の動作を表す様々な特性値を算出し、この特性値が模範動作において要求される値に対して大きいか小さいか、どの程度離れているかを検出しても良い。

音声出力部１０４は、検出部１０３において検出された差異を補正するためのアドバイス用音声データを記憶装置１１３から読み出し、その音声をスピーカ４０から出力する。
例えば、利用者１０の右腕の位置が模範動作に比べて下がっていると検出部１０３において検出された場合、音声出力部１０４は、「右腕をもう少し上へ伸ばしてください」といった内容の音声データを記憶装置１１３から読み出し、その音声をスピーカ４０から出力する。

ここで、上述した構成を有する図１に示す動作教示装置の動作について、図３に示すフローチャートを参照して説明する。

ステップＳＴ１００：
ロボット制御部１０１は、入力部１１０に入力される利用者１０の指示に従って、複数の動作パターンの中から実演を行う動作パターンを選択する。

ステップＳＴ１０５（第１の工程）：
ロボット制御部１０１は、ステップＳＴ１００で選択した動作パターンにおける最初の模範動作をロボット２０に実演させる。

ステップＳＴ１１０（第２の工程）：
動作認識処理部１０２は、ロボット２０の実演に合わせて利用者１０が動作を行う所定の期間において、カメラ３１，３２で撮影される利用者１０の画像に基づいて、利用者１０の所定の身体部位の３次元位置情報を取得する。

ステップＳＴ１１５（第３の工程）：
検出部１０３は、動作認識処理部１０２が取得した３次元位置情報に基づいて、ロボット制御部１０１がロボット２０に実演させた模範動作と利用者１０の動作との差異を検出する。

ステップＳＴ１２０，ＳＴ１２５，ＳＴ１３０：
検出部１０３において、ロボット２０の模範動作と利用者１０の動作との間に一定以上の差異が検出された場合、ロボット制御部１０１は、ステップＳＴ１０５に戻って、再度同じ模範動作をロボット２０に実演させる。そしてこの実演を行うとき、音声出力部１０４は、検出部１０３の検出結果に応じたアドバイス用音声データを記憶装置１１３から読み出してスピーカ４０から出力する（ステップＳＴ１２５、第４の工程）。
他方、検出部１０３において検出された上記差異が一定以上でない場合、ロボット制御部１０１は、現在の動作パターンにおける次の動作を選択し（ＳＴ１３０）、この模範動作をステップＳＴ１０５以降の処理でロボット２０に実演させる。

以上説明したように、図１に示す動作教示装置によれば、ロボット２０によって利用者１０に模範動作が提示され、この模範動作に対応する利用者１０の動作がカメラ３１，３２の撮影画像に基づいて認識される。そして、認識された利用者１０の動作とロボット２０が提示した模範動作との差異が検出され、この差異を補正するためのアドバイスが音声としてスピーカ４０から出力される。
そのため、利用者１０は、間違った動作をしたときに音声のアドバイスに従ってそれを正すことが可能となり、ビデオなどで一方的に動作が提示される場合に比べて、より効果的に模範動作を学習することができる。

また、本実施形態によって模範的な正しい動作を学習することにより、運動の効果を最大限に得ることができる。例えばリハビリテーションの運動に本実施形態を適用した場合には、利用者の身体機能の回復や健康の維持・増進に著しい効果が得られる。スポーツのトレーニングに本実施形態を適用した場合には、利用者の技能の向上に大きく貢献することができる。

専門のインストラクタの指導を受けてリハビリテーションやトレーニングを行う場合、時間的な制約などから自らのペースに合わせて動作の学習を行うことが難しい。特に、体力の低下などによって学習のペースが遅くなっている高齢者は、時間をかけて学習を行う必要があるため、限られた時間しか占有できないインストラクタによる指導は高齢者にとって体力的若しくは心理的な負担になる場合がある。
本実施形態に係る動作教示装置によれば、時間や場所の制約を受けることなく、自分のペースで気軽に動作の学習を行うことができるため、高齢者や障害者のリハビリテーションに最適な環境を提供することができる。

また、一方的に情報が与えられる従来の方法では、内容が単調になりがちであり、すぐに飽きてしまう問題がある。これに対し、本実施形態に係る動作教示装置によれば、利用者の動作に応じてアドバイスが提供されるため、学習の面白みが増し、利用者の意欲を高めることができる。
しかも、家庭内で気軽に学習を行うことができるため、施設に通ってリハビリテーションやトレーニングを受ける場合に比べて、学習の反復・継続性を高めることができる。

更に、ロボット２０の３次元的な動きによって動作を提示するため、利用者は動作を容易に理解することができる。これにより、利用者に正しい動作を身に付けさせることができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。
第２の実施形態に係る動作教示装置では、利用者のバイタルサインに応じて、提示する動作の内容やアドバイスの内容が変更される。

図４は、本発明の第２の実施形態に係る動作教示装置の構成の一例を示す図である。
図４に示す動作教示装置は、ロボット２０と、カメラ３１，３２と、スピーカ４０と、バイタルサイン測定器５０と、制御部１００Ａとを有する。制御部１００Ａは、ロボット制御部１０１Ａと、動作認識処理部１０２と、検出部１０３と、音声出力部１０４Ａと、測定処理部１０５とを有する。
図１と図４の同一符号は同一の構成要素を示すため、以下では図１に示す動作教示装置と異なる構成要素についてのみ説明する。

バイタルサイン測定器５０は、例えば心拍、血圧、酸素飽和度、呼吸数、体温、発汗、脳波など、利用者１０の生命活動に関わる兆候を測定する。

測定処理部１０５は、バイタルサイン測定器５０の測定結果を取り込み、これをロボット制御部１０１Ａ及び音声出力部１０４Ａに渡す。測定処理部１０５は、バイタルサイン測定器５０の測定結果を時間的に平均化しても良い。

なお、バイタルサイン測定器５０及び測定処理部１０５を含むユニットは、本発明のバイタルサイン測定部の一実施形態である。

ロボット制御部１０１Ａは、提示可能な複数の動作の中からバイタルサイン測定器５０の測定結果に応じて選択した動作をロボット２０に実演させる。例えば、バイタルサインの測定結果によって利用者１０の疲労度が一定以上に高まっていることが推定される場合、現在の動作パターンや別の動作パターンの中からより疲労度の小さい動作を選択してロボット２０に実演させる。
その他の動作についてはロボット制御部１０１と同じである。

音声出力部１０４Ａは、検出部１０３が検出した差異を補正するための複数のアドバイス用音声のうち、バイタルサイン測定器５０の測定結果に応じて選択した音声をスピーカ４０から出力する。例えば、バイタルサインの測定結果によって利用者１０の疲労度が一定以上に高まっていることが推定される場合、身体的な負荷が比較的小さくなるようにアドバイスの音声を選択する。
その他の動作については音声出力部１０４と同じである。

ここで、上述した構成を有する図４に示す動作教示装置の動作について、図５に示すフローチャートを参照して説明する。

ステップＳＴ２００：
測定処理部１０５がバイタルサイン測定器５０の測定結果を取り込む。

ステップＳＴ２０５：
ロボット制御部１０１Ａは、入力部１１０に入力される利用者１０の指示、若しくはステップＳＴ２００で取り込まれたバイタルサイン測定器５０の測定結果に従って、複数の動作パターンの中から実演を行う動作パターンを選択する。

ステップＳＴ２１０（第１の工程）：
ロボット制御部１０１Ａは、ステップＳＴ２０５で選択した動作パターンにおける最初の模範動作をロボット２０に実演させる。

ステップＳＴ２１５（第２の工程）：
動作認識処理部１０２は、ロボット２０の実演に合わせて利用者１０が動作を行う所定の期間において、利用者１０の所定の身体部位の３次元位置情報を取得する。

ステップＳＴ２２０（第３の工程）：
検出部１０３は、動作認識処理部１０２が取得した３次元位置情報に基づいて、ロボット制御部１０１Ａがロボット２０に実演させた模範動作と利用者１０の動作との差異を検出する。

ステップＳＴ２２５：
測定処理部１０５がバイタルサイン測定器５０の測定結果を取り込む。

ステップＳＴ２３０，ＳＴ２３５，ＳＴ２４０：
検出部１０３において、ロボット２０の模範動作と利用者１０の動作との間に一定以上の差異が検出された場合、ロボット制御部１０１Ａは、ステップＳＴ２１０に戻って、再度同じ模範動作をロボット２０に実演させる。
そしてこの実演を行う際、音声出力部１０４Ａは、検出部１０３の検出結果に加えてバイタルサイン測定器５０の測定結果を考慮したアドバイス用音声をスピーカ４０から出力する（ステップＳＴ２３５，第４の工程）。
例えば、バイタルサインの測定結果によって利用者１０の疲労度が一定以上に高まっていることが推定される場合、身体的な負荷が小さくなるようにアドバイスの音声を選択する。

他方、検出部１０３において検出された上記差異が一定以上でない場合、ロボット制御部１０１Ａは、バイタルサイン測定器５０の測定結果を考慮して次の動作を選択し（ＳＴ２４０）、この選択した模範動作をステップＳＴ２１０以降の処理でロボット２０に実演させる。
例えば、バイタルサイン測定器５０の測定結果から利用者１０の体調が通常の状態にあると推定される場合、ロボット制御部１０１Ａは、現在の動作パターンにおける次の動作を通常通り選択する。これに対し、バイタルサイン測定器５０の測定結果から利用者１０が一定以上疲労していると推定される場合、ロボット制御部１０１Ａは、現在の動作パターン若しくは別の動作パターンに含まれる、より負荷の軽い動作を選択する。

なお、ロボット制御部１０１Ａは、バイタルサイン測定器５０の測定結果に応じて、同一の動作の繰り返しを行うか否か決定しても良い。例えば、検出部１０３において検出された上記差異が一定以上の場合でも、バイタルサイン測定器５０の測定結果によって利用者１０が一定以上疲労していることが推測される場合には、同一の動作の繰り返しを避けてステップＳＴ２４０に進んでも良い。

以上説明したように、本実施形態に係る動作教示装置によれば、利用者１０のバイタルサインの測定結果に応じて、練習する動作の内容やアドバイスの内容を適応的に変化させることができる。そのため、特に病気を患っている高齢者など、利用者の体調に不安がある場合でも、無理な負荷を避けて適度な運動を行うことが可能になる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。
第３の実施形態に係る動作教示装置では、利用者の身体能力に応じて、提示する動作やアドバイスの内容が変更される。

図６は、本発明の第３の実施形態に係る動作教示装置の構成の一例を示す図である。
図６に示す動作教示装置は、ロボット２０と、カメラ３１，３２と、スピーカ４０と、制御部１００Ｂとを有する。制御部１００Ｂは、ロボット制御部１０１Ｂと、動作認識処理部１０２と、検出部１０３と、音声出力部１０４Ｂと、評価部１０６とを有する。
図１と図６の同一符号は同一の構成要素を示すため、以下では図１に示す動作教示装置と異なる構成要素についてのみ説明する。

評価部１０６は、検出部１０３の検出結果に応じて利用者１０の身体能力を評価する。例えば、検出部１０３において検出される動作の差異に、動作ごとの難易度に応じた重みを付けて平均化し、その平均値に応じて利用者１０の身体能力をランク付けする。
また、ロボット制御部１０１Ｂによって同一の動作の提示が繰り返される数をカウントし、この数が少ないほど身体能力の評価が高くなるように上記のランクを調節しても良い。

ロボット制御部１０１Ｂは、提示可能な複数の動作の中から評価部１０６の評価結果に応じて選択した動作をロボット２０に実演させる。例えば、評価部１０６の評価が高くなった場合、現在の動作パターンや別の動作パターンの中からより難易度の高い動作を選択してロボット２０に実演させる。
その他の動作についてはロボット制御部１０１と同じである。

音声出力部１０４Ｂは、検出部１０３が検出した差異を補正するための複数のアドバイス用音声のうち、評価部１０６の評価結果に応じて選択した音声をスピーカ４０から出力する。例えば、評価部１０６の評価が高くなるほど、検出部１０３において検出される差異がより小さくなるように（すなわち、より正確な動作を要求するように）アドバイスの音声を選択する。
その他の動作については音声出力部１０４と同じである。

ここで、上述した構成を有する図６に示す動作教示装置の動作について、図７に示すフローチャートを参照して説明する。

ステップＳＴ３００：
ロボット制御部１０１Ｂは、入力部１１０に入力される利用者１０の指示に従って、複数の動作パターンの中から実演を行う動作パターンを選択する。

ステップＳＴ３０５（第１の工程）：
ロボット制御部１０１Ｂは、ステップＳＴ３００で選択した動作パターンにおける最初の模範動作をロボット２０に実演させる。

ステップＳＴ３１０（第２の工程）：
動作認識処理部１０２は、ロボット２０の実演に合わせて利用者１０が動作を行う所定の期間において、利用者１０の所定の身体部位の３次元位置情報を取得する。

ステップＳＴ３１５（第３の工程）：
検出部１０３は、動作認識処理部１０２が取得した３次元位置情報に基づいて、ロボット制御部１０１Ｂがロボット２０に実演させた模範動作と利用者１０の動作との差異を検出する。

ステップＳＴ３２０：
評価部１０６が、検出部１０３の検出結果に応じて利用者１０の身体能力を評価する。

ステップＳＴ３２５，ＳＴ３３０，ＳＴ３３５：
検出部１０３において、ロボット２０の模範動作と利用者１０の動作との間に一定以上の差異が検出された場合、ロボット制御部１０１Ｂは、ステップＳＴ３０５に戻って、再度同じ模範動作をロボット２０に実演させる。
そしてこの実演を行う際、音声出力部１０４Ｂは、検出部１０３の検出結果に加えて評価部１０６の評価結果を考慮したアドバイス用音声をスピーカ４０から出力する（ステップＳＴ３３０、第４の工程）。
例えば、評価部１０６の評価が高くなるほど、より正確な動作を要求するようにアドバイスの音声を選択する。

他方、検出部１０３において検出された上記差異が一定以上でない場合、ロボット制御部１０１Ｂは、評価部１０６の評価結果を考慮して次の動作を選択し（ＳＴ３３５）、この模範動作をステップＳＴ３０５以降の処理でロボット２０に実演させる。
例えば、評価部１０６の評価結果が前回の動作時の評価と変わらない場合、ロボット制御部１０１Ｂは、現在の動作パターンにおける次の動作を通常通り選択する。これに対し、評価部１０６の評価結果が前回の動作時よりも高くなった場合、ロボット制御部１０１Ｂは、現在の動作パターン若しくは別の動作パターンに含まれる、より難易度の高い動作を選択する。

なお、ロボット制御部１０１Ｂは、評価部１０６の評価結果に応じて、同一の動作の繰り返しを行うか否か決定しても良い。例えば、検出部１０３において一定以上の上記差異が検出されていない場合でも、評価部１０６の評価結果から利用者１０の身体能力がある程度高いと推測される場合には同一の動作を繰り返すようにして、より模範的な動作を利用者１０に要求しても良い。

以上説明したように、本実施形態に係る動作教示装置によれば、利用者１０の身体能力の評価結果に応じて、練習する動作の内容やアドバイスの内容を適応的に変化させることができる。これにより、利用者１０の身体能力に応じた適切な動作を選択することができるため、動作の学習の効果（健康の増進や技能向上）を更に高めることができる。

＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。
第４の実施形態に係る動作教示装置では、利用者の音声によって動作の提示の開始や終了などが制御可能になる。

図８は、本発明の第４の実施形態に係る動作教示装置の構成の一例を示す図である。
図８に示す動作教示装置は、ロボット２０と、カメラ３１，３２と、スピーカ４０と、マイクロフォン６０と、制御部１００Ｃとを有する。制御部１００Ｃは、ロボット制御部１０１Ｃと、動作認識処理部１０２と、検出部１０３と、音声出力部１０４と、音声認識処理部１０７とを有する。
図１と図８の同一符号は同一の構成要素を示すため、以下では図１に示す動作教示装置と異なる構成要素についてのみ説明する。

マイクロフォン６０は、利用者１０が発する音声を入力して音声信号に変換する。
音声認識処理部１０７は、マイクロフォン６０から出力される音声信号に基づいて、利用者１０の音声を文字や単語として認識する処理を行う。

ロボット制御部１０１Ｃは、音声認識処理部１０７において認識された利用者１０の音声に応じて、ロボット２０による動作の提示の開始や終了を行う。また、利用者１０に提示可能な複数の動作パターンの中から実際に提示する動作パターンを、上記認識された音声に応じて選択する。

例えば、音声認識処理部１０７が「開始！」という利用者１０の音声を認識したとき、ロボット制御部１０１Ｃはロボット２０による動作の実演を開始し、実演の途中で「終了！」という利用者１０の音声が認識されたとき、ロボット２０の実演を終了する。
また、「１」「２」「３」という名称が与えられた３つの動作パターンの提示が可能な場合において、音声認識処理部１０７が「１を開始！」という利用者１０の音声を認識したとき、ロボット制御部１０１Ｃは「１」の動作パターンの提示を選択して、その動作の提示を開始する。
ロボット制御部１０１Ｃのその他の動作についてはロボット制御部１０１と同じである。

ここで、上述した構成を有する図８に示す動作教示装置の動作について、図９に示すフローチャートを参照して説明する。

ステップＳＴ４００：
ロボット制御部１０１Ｃは、音声認識処理部１０７において動作の開始を要求する利用者１０の音声が認識されるまで、ロボット２０の実演開始を保留する。

ステップＳＴ４０５：
例えば「１を開始！」という音声を音声認識処理部１０７が認識すると、ロボット制御部１０１Ｃは、この音声に従って「１」という名称が与えられた動作パターンを選択する。

ステップＳＴ４１０（第１の工程）：
ロボット制御部１０１Ｃは、ステップＳＴ４０５で選択した動作パターンにおける最初の模範動作をロボット２０に実演させる。

ステップＳＴ４１５（第２の工程）：
動作認識処理部１０２は、ロボット２０の実演に合わせて利用者１０が動作を行う所定の期間において、利用者１０の所定の身体部位の３次元位置情報を取得する。

ステップＳＴ４２０（第３の工程）：
検出部１０３は、動作認識処理部１０２が取得した３次元位置情報に基づいて、ロボット制御部１０１Ｃがロボット２０に実演させた模範動作と利用者１０の動作との差異を検出する。

ステップＳＴ４２５：
ロボット２０の実演中又はその後において動作の終了を要求する利用者１０の音声（例えば「終了！」）を音声認識処理部１０７が認識した場合、ロボット制御部１０１Ｃはロボット２０の実演を終了する。そのような音声を音声認識処理部が認識しなかった場合は、ステップＳＴ４３０に移る。

ステップＳＴ４３０，ＳＴ４３５，ＳＴ４４０：
検出部１０３において、ロボット２０の模範動作と利用者１０の動作との間に一定以上の差異が検出された場合、ロボット制御部１０１Ｃは、ステップＳＴ４１０に戻って、再度同じ模範動作をロボット２０に実演させる。そしてこの実演を行うとき、音声出力部１０４は、検出部１０３の検出結果に応じたアドバイス用音声データを記憶装置１１３から読み出してスピーカ４０から出力する（ステップＳＴ４３５、第４の工程）。
他方、検出部１０３において検出された上記差異が一定以上になっていない場合、ロボット制御部１０１は、現在の動作パターンにおける次の動作を選択し（ＳＴ４４０）、この模範動作をステップＳＴ４１０以降の処理でロボット２０に実演させる。

以上説明したように、本実施形態に係る動作教示装置によれば、ロボット２０による模範動作の実演の開始や終了、動作パターンの選択を、利用者の音声によって容易に行うことができる。これにより、面倒な操作を覚えることなく非常に簡単に装置を利用することができる。また、高齢者や体の不自由な人でも一人で気軽にリハビリテーションの運動を学習することが可能になるため、装置の稼動率が向上し、利用者の健康増進を図ることができる。

以上、本発明の幾つかの実施形態について説明したが、本発明は上記の形態に限定されるものではなく、種々の改変が可能である。

例えば、上述した実施形態では、ロボットによって模範動作を提示する例が挙げられているが、本発明はこれに限定されない。例えば、コンピュータグラフィックス等の映像技術によって人物や生き物、アニメーションキャラクタなどを表示装置に映し出すことにより、２次元や３次元の映像で模範動作を提示しても良い。
また、目の不自由な人を対象とする場合などにおいては、音声によって動作を教示しても良い。
更には、これらの幾つかの提示手段を組み合わせて利用者に動作を提示しても良い。
このように、本発明によれば、動作提示部に様々な装置を適用することができるため、利用者のニーズに合わせてハードウェア構成をフレキシブルに選択することができる。

上述した実施形態では、カメラで撮影した映像によって利用者の動作を認識しているが、本発明はこれに限定されない。例えば利用者に装着した加速度センサや傾斜センサ、方位センサ、光学センサなどとカメラを併用して使用者の動作を認識しても良いし、これらのセンサのみで使用者の動作を認識しても良い。

上述した実施形態では、音声によって利用者にアドバイスを提供する例が示されているが、本発明はこれに限定されない。例えばテレビモニターなどをで映像によりアドバイスを提供しても良いし、光（ランプの点滅など）や、機械的振動や、電気的刺激などによってアドバイスを提供しても良い。

動作の提示とアドバイスの提供には、同一のハードウェアを使用しても良い。
例えば、動作の提示とアドバイスの提供を映像で行う場合には、両者の映像を同一のテレビモニターに表示させても良い。動作の提示とアドバイスの提供を音声で行う場合には、両者の音声を同一のスピーカから出力しても良い。

本実施形態の各構成要素は、有線通信はもちろんのこと、無線通信によっても接続可能である。例えば、バイタルサイン測定器は、無線通信によって制御部に測定結果を伝送しても良い。これにより、利用者は余計な配線に邪魔されることなく動作の学習に専念することができる。

また、本発明の各構成要素は、インターネットなどのネットワーク経由で接続することも可能である。例えば図１の例において、制御部１００を構成するコンピュータ機器と、ロボット２０、カメラ３１，３２、スピーカ４０などの機器をネットワーク経由で接続することも可能である。これにより、コンピュータ機器を配置できない場所でも本装置を利用することが可能になる。

第１の実施形態に係る動作教示装置の構成の一例を示す図である。 制御部の構成の一例を示す図である。 図１に示す動作教示装置の動作を説明するためのフローチャートである。 第２の実施形態に係る動作教示装置の構成の一例を示す図である。 図４に示す動作教示装置の動作を説明するためのフローチャートである。 第３の実施形態に係る動作教示装置の構成の一例を示す図である。 図６に示す動作教示装置の動作を説明するためのフローチャートである。 第３の実施形態に係る動作教示装置の構成の一例を示す図である。 図８に示す動作教示装置の動作を説明するためのフローチャートである。

符号の説明

１０…利用者、２０…ロボット、３１，３２…カメラ、４０…スピーカ、５０…バイタルサイン測定器、６０…マイクロフォン、１００，１００Ａ，１００Ｂ，１００Ｃ…制御部、１０１，１０１Ａ，１０１Ｂ，１０１Ｃ…ロボット制御部、１０２…動作認識処理部、１０３…検出部、１０４，１０４Ａ，１０４Ｂ…音声出力部、１０５…測定処理部、１０６…評価部、１０７…音声認識処理部

Claims (11)

1. 利用者に模範的な動作を提示する動作提示部と、
   上記動作提示部が提示した動作に対応する上記利用者の動作を認識する動作認識部と、
   上記動作提示部が提示した動作と上記動作認識部が認識した動作との差異を検出する検出部と、
   上記検出部が検出した差異を補正するためのアドバイスに関する情報を提供する情報提供部と
   を有する動作教示装置。
2. 上記動作提示部は、上記検出部の検出結果に応じて、同一の動作を繰り返し提示する、
   請求項１に記載の動作教示装置。
3. 上記利用者のバイタルサインを測定するバイタルサイン測定部を有し、
   上記動作提示部は、提示可能な複数の動作の中から、上記バイタルサイン測定部の測定結果に応じた動作を選択して提示する、
   請求項１又は２に記載の動作教示装置。
4. 上記利用者のバイタルサインを測定するバイタルサイン測定部を有し、
   上記情報提供部は、上記検出部が検出した差異を補正するためのアドバイスに関する複数の情報のうち、上記バイタルサイン測定部の測定結果に応じた情報を選択して提供する、
   請求項１又は２に記載の動作教示装置。
5. 上記検出部の検出結果に応じて、上記利用者の身体能力を評価する評価部を有し、
   上記動作提示部は、提示可能な複数の動作の中から、上記評価部の評価結果に応じた動作を選択して提示する、
   請求項１又は２に記載の動作教示装置。
6. 上記検出部の検出結果に応じて、上記利用者の身体能力を評価する評価部を有し、
   上記情報提供部は、上記検出部が検出した差異を補正するためのアドバイスに関する複数の情報のうち、上記評価部の評価結果に応じた情報を選択して提供する、
   請求項１又は２に記載の動作教示装置。
7. 上記利用者の音声を認識する音声認識部を有し、
   上記動作提示部は、上記音声認識部により認識された上記利用者の音声に応じて、
   動作の提示の開始、
   動作の提示の終了、及び、
   提示可能な複数の動作の中からの上記利用者に提示する動作の選択
   の少なくとも１つを行う、
   請求項１又は２に記載の動作教示装置。
8. 上記動作提示部は、
   模範的な動作を実演するロボット、
   模範的な動作の映像を表示する映像表示部、及び、
   模範的な動作を教示する音声を出力する音声出力部
   の少なくとも１つを含む、
   請求項１乃至７の何れか一に記載の動作教示装置。
9. 上記動作認識部は、
   少なくとも２つの位置から上記利用者を撮影する撮影部と、
   上記撮影部が撮影した上記利用者の動作に基づいて、上記利用者の所定の身体部位の３次元位置情報を取得する位置情報取得部と
   を含む、
   請求項１乃至７の何れか一に記載の動作教示装置。
10. 上記情報提供部は、映像、音、光、振動、電気刺激の少なくとも１つを利用して上記アドバイスに関する情報を提供する、
    請求項１乃至７の何れか一に記載の動作教示装置。
11. ロボット、映像表示部、及び、音声出力部の少なくとも１つが、利用者に模範的な動作を提示する第１の工程と、
    上記第１の工程において提示した動作に対応する上記利用者の動作を、少なくとも２つの位置から撮影部によって撮影し、当該撮影部が撮影した上記利用者の動作に基づいて、上記利用者の所定の身体部位の３次元位置情報を取得する第２の工程と、
    上記第２の工程において取得した３次元位置情報に基づいて、上記第１の工程において提示した動作と上記撮影部が撮影した上記利用者の動作との差異を検出する第３の工程と、
    上記第３の工程において検出された差異を補正するためのアドバイスに関する情報を提供する第４の工程と
    を有する動作教示方法。
    

Images