JP2023036050A - 支援装置、支援方法、支援システムおよびプログラム - Google Patents

Abstract

【課題】ユーザーに対してユマニチュードにおけるマルチモーダル介護技法の習得レベルを示す装置を提供する。【解決手段】複数のセンサから複数のデータを取得する手段（Ｓ４０１）と、取得された複数のデータに基づいて、複数の予め定義された条件を満たしているかどうかを判定する手段（Ｓ４０２）と、複数の予め定義された条件のうちの２以上の条件を同時に満たしていると判定された時間を抽出する手段（Ｓ４０３）と、複数のデータの取得開始時刻から現在時刻までの時間に対する抽出された時間の割合を算出する手段（Ｓ４０４）と、算出された割合を出力する手段（Ｓ４０５）とを備える。【選択図】図４

Description

本発明は、支援装置、支援方法、支援システムおよびプログラムに関する。より詳細には、ユマニチュード（登録商標）におけるマルチモーダル技法の習得レベル向上に好適な支援装置、支援方法、支援システムおよびプログラムに関する。

ケア・コミュニケーション技法の１つであるユマニチュードがある。「ユマニチュード」は、認知機能の低下等により日常生活が困難になった人に対し、生活補助または看護する技法である。ユマニチュードは、「見つめる」「触れる」「話しかける」「立たせる」の４つのスキルのうちの複数を同時に組み合わせて行うマルチモーダル介護技法を含む。

介護を行う者（以下、介護者という）に対して、介護を受ける者（以下、被介護者という）と視線を合わせること、介護動作の会話説明（実況中継）すること、介護動作の会話説明を促したりすることを指示する指示情報を与える支援装置が知られている（特許文献１、具体的には（第１２－１４頁、第１０－１２図）参照）。

また、介護者に対して、介護者と被介護者との間の、ユマニチュードのための関係性を介護者へフィードバックする支援装置が知られている（特許文献２、具体的には（段落［００３８］、第５図）参照）。例えば、発話が検出され、アイコンタクトあり、且つ、頭部間距離２０ｃｍ以内の場合に「素晴らしい！」というフィードバックがされる。

さらに、介護者の「見つめる」動作を距離、視線、角度の要素に分けて、評価値を介護者へ提供すること、および「触れる」動作についてアバターの顔の表情として提供するシステムが知られている（非特許文献1参照）。

特開２０２０－２０１７９３号公報 特開２０１９－１８５６３４号公報

Tomoki Hiramatsu, Masaya Kamei, Daiji Inoue, Akihiro Kawamura, Qi An, and Ryo Kurazume、「Development of dementia care training system based on augmented reality and whole body wearable tactile sensor」、2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2020)、IEEE、２０２１年２月１０日

従来のユマニチュード支援では、ユマニチュード技法の習得の点で課題があった。すなわちユマニチュード技法は、マルチモーダル介護技法のように複数のスキルを組みあわせた技法であるため、介護者自身が、その介護動作が総合的にどの程度のレベルになっているかどうかが、把握しづらかった。したがって、介護者自身は、マルチモーダル介護技法の向上を図る上で改善の余地があった。

かかる課題は介護に限らず、ユマニチュードマルチモーダルのような、複数のスキルを組みあわせた技法の習得の点では同様に生じる。

この点に鑑み、本発明は、ユマニチュード提供者が、ユマニチュードマルチモーダル技法を向上できるように、その習得レベルを出力する支援装置、支援方法、支援システムおよびプログラムを提供することを目的とする。

更に本発明はマルチモーダル介護技法の習得レベルを示すマルチモーダル動作訓練装置および方法を提供することを別の目的とする。

このような目的を達成するために、本発明の一態様の支援装置は、ユマニチュード提供者に依る、ユマニチュードマルチモーダルの中、複数のスキルの状態を夫々検出する複数の検出手段と、複数の検出手段により検出された複数のスキルの状態に基づいて、ユマニチュードマルチモーダルの習得度合いを示す度合い情報を取得する取得手段と、取得手段により取得された度合い情報をユマニチュード提供者へ出力する出力手段とを備える。

本発明の別の態様の支援方法は、中央処理装置によって、ユマニチュード提供者に依る、ユマニチュードマルチモーダルの中、複数のスキルの状態を検出するステップと、検出された複数のスキルの状態に基づいて、ユマニチュードマルチモーダルの習得度合いを示す度合い情報を取得するステップと、取得された度合い情報をユマニチュード提供者が使用しているディスプレイに出力させるステップとを備える。

本発明の別の態様は、サーバ及び機器を備えた支援システムであって、サーバが、ユマニチュード提供者に依る、ユマニチュードマルチモーダルの中、複数のスキルの状態を夫々検出し、検出された複数のスキルの状態に基づいて、ユマニチュードマルチモーダルの習得度合いを示す度合い情報を取得し、度合い情報を機器に送信し、機器が、送信された度合い情報をユマニチュード提供者へ出力するように構成される。

本発明の別の態様のプログラムは、中央処理装置によって実行されると、中央処理装置に、ユマニチュード提供者に依る、ユマニチュードマルチモーダルの中、複数のスキルの状態を検出することと、検出された複数のスキルの状態に基づいて、ユマニチュードマルチモーダルの習得度合いを示す度合い情報を取得することと、取得された度合い情報をユマニチュード提供者が使用しているディスプレイに出力させることとを含む動作を行わせる。

本発明の別の態様は、ユマニチュード提供者に依る、ユマニチュードマルチモーダルの中、複数のスキルの状態を夫々検出する複数の検出手段と、複数の検出手段により検出された複数のスキルの状態に基づいて、ユマニチュードマルチモーダルの習得度合いを示す度合い情報を取得する取得手段と、取得手段により取得された度合い情報を蓄積する蓄積手段と、蓄積手段により蓄積された度合い情報をユマニチュード提供者へ出力する出力手段とを備える。

本発明の別の態様は、中央処理装置によって、ユマニチュード提供者に依る、ユマニチュードマルチモーダルの中、複数のスキルの状態を検出するステップと、検出された複数のスキルの状態に基づいて、ユマニチュードマルチモーダルの習得度合いを示す度合い情報を取得するステップと、取得された度合い情報を蓄積するステップと、蓄積された度合い情報を時系列に、ユマニチュード提供者が使用しているディスプレイに出力させるステップとを備える。

本発明の別の態様は、サーバ及び機器を備えた支援システムであって、サーバが、ユマニチュード提供者に依る、ユマニチュードマルチモーダルの中、複数のスキルの状態を夫々検出し、検出された複数のスキルの状態に基づいて、ユマニチュードマルチモーダルの習得度合いを示す度合い情報を取得し、取得された度合い情報を蓄積し、蓄積された度合い情報を機器に送信し、機器が、送信された度合い情報をユマニチュード提供者へ出力するように構成される。

本発明の別の態様は、中央処理装置によって実行されると、中央処理装置に、ユマニチュード提供者に依る、ユマニチュードマルチモーダルの中、複数のスキルの状態を検出することと、検出された複数のスキルの状態に基づいて、ユマニチュードマルチモーダルの習得度合いを示す度合い情報を取得することと、取得された度合い情報を蓄積することと、蓄積された度合い情報を時系列に、ユマニチュード提供者が使用しているディスプレイに出力させることとを含む動作を行わせる。

本発明の別の態様は、ユマニチュードにおけるマルチモーダル介護技法の習得レベルを示すためのマルチモーダル動作訓練装置であって、複数のセンサと、複数のセンサから複数のデータを取得する手段と、取得された複数のデータに基づいて、複数の予め定義された条件を満たしているかどうかを判定する手段と、複数の予め定義された条件のうちの２以上の条件を同時に満たしていると判定された時間を抽出する手段と、複数のデータの取得開始時刻から現在時刻までの時間に対する抽出された時間の割合を算出する手段と、算出された割合を出力する手段と、を備える。

本発明の別の態様は、ユマニチュードにおけるマルチモーダル介護技法の習得レベルを示すためのマルチモーダル動作訓練方法であって、中央処理装置によって、複数のセンサから複数のデータを取得するステップと、取得された複数のデータに基づいて、複数の予め定義された条件を満たしているかどうかを判定するステップと、複数の予め定義された条件のうちの２以上の条件を同時に満たしていると判定された時間を抽出するステップと、複数のデータの取得開始時刻から現在時刻までの時間に対する抽出された時間の割合を算出するステップと、算出された割合をディスプレイに出力するステップと、を備える。

本発明の別の態様は、サーバ及び機器を備えた、マルチモーダル動作の習得レベルを示すためのシステムであって、サーバが、複数のセンサから複数のデータを取得し、取得された複数のデータが各々のデータに対して予め定義された条件を満たすかどうかを判定し、取得された複数のデータのうち第１のデータが第１の条件を満たし第２のデータが第２の条件を満たすと、第１のデータが第１の条件を満たしている度合いと第２のデータが第２の条件を満たしている度合いとを算出し、第１の度合いおよび前記第２の度合いに基づいて習得レベルを示す数値を算出し、算出した数値を機器に送信し、機器が、サーバから送信された算出した数値を受信し、受信した数値をディスプレイに出力するように構成される。

本発明の別の態様は、マルチモーダル動作の習得レベルを示すための方法であって、中央処理装置によって、複数のセンサから複数のデータを取得するステップと、取得された複数のデータが各々のデータに対して予め定義された条件を満たすかどうかを判定するステップと、取得された複数のデータのうち第１のデータが第１の条件を満たし第２のデータが第２の条件を満たすと、第１のデータが第１の条件を満たしている度合いと第２のデータが第２の条件を満たしている度合いとを算出するステップと、第１の度合いおよび前記第２の度合いに基づいて習得レベルを示す数値を算出するステップと、算出した数値をディスプレイに出力するステップと、を備える。

本発明によれば、ユマニチュード提供者が、ユマニチュードマルチモーダル技法を向上できるように、その習得レベルを出力する支援装置、支援方法、支援システムおよびプログラムを提供することができる。

また、本出願の別の発明に依れば、介護者は、マルチモーダル介護技法の習得レベルを知ることが可能となる。

本発明の一態様に係るマルチモーダル動作訓練装置を示す構成図である。 本発明の一態様に係るマルチモーダル動作訓練装置の機能ブロック図である。 本発明の一態様に係るマルチモーダル動作訓練装置の個別スコアに関する方法を示すフローチャートである。 本発明の一態様に係るマルチモーダル動作訓練装置のマルチモーダルスコアに関する方法を示すフローチャートである。 本発明の一態様に係るユマニチュードにおける各スキルの動作時間を例示する図である。 本発明の一態様に係るシステム全体を例示する概略図である。 本発明の一態様に係るディスプレイに表示される画面イメージを例示する図である。 本発明の一態様に係るディスプレイに表示される画面イメージを例示する図である。 本発明の一態様に係るシステム全体を例示する概略図である。 本発明の一態様に係るマルチモーダル動作訓練装置の機能ブロック図である。

以下、図面を参照しながら本発明の態様について詳細に説明する。

図１は、本発明の一態様に係るマルチモーダル動作訓練装置を示す構成図である。マルチモーダル動作訓練装置１００は、マルチモーダル動作訓練方法に関する演算などを行う中央処理装置であるＣＰＵ１０１と、マルチモーダル動作訓練方法の画像処理および画面出力処理をするＧＰＵ１０２と、接触センサ、視覚センサ、慣性センサ、およびマイクロフォンから信号を受信するセンサ入力インターフェース１０３と、ＧＰＵ１０２が生成した画像データを出力するディスプレイ１０４と、ＣＰＵ１０１が生成した音声データを出力するスピーカ１０５と、マルチモーダル動作訓練方法のプログラムまたはデータなどをＣＰＵ１０１が読み書きする主記憶装置１０６と、マルチモーダル動作訓練方法のプログラムまたはデータなどを永続的に格納する二次記憶装置１０７と、例えば、ＬＡＮなどのコンピュータネットワークに接続するネットワークインターフェース１０８とが、バス１０９を介して相互に接続されている。

接触センサは、ユマニチュードにおける「触れる」の動作時間を測定するのに用いられる。一態様において、接触センサは、介護者がマルチモーダル動作訓練装置１００を使用する際に、介護者の手に装着する触覚センサグローブである。代替えとして、接触センサは、等身大の人形に装着する分布型ウエアラブル全身触覚センサであってよい。ここで、上記の等身大の人形は、介護者がマルチモーダル動作訓練装置１００を使用する際に用いられ、被介護者の役割を果たす。また、介護者は、上記の等身大の人形を使用せずに、直接、被介護者に分布型ウエアラブル全身触覚センサを装着してもよい。触覚センサグローブおよび分布型ウエアラブル触覚センサは例であり、マルチモーダル動作訓練装置１００に必要な触覚データを入力することができる接触センサであれば何でもよい。

視覚センサは、ユマニチュードにおける「見つめる」の動作時間を測定するのに用いられる。視覚センサは、マルチモーダル動作訓練装置１００に必要な視覚データを入力することができる視覚センサであれば何でもよい。視覚センサとしては、可視光センサ、赤外線センサを含む。本一態様において、マルチモーダル動作訓練装置１００は、視覚センサが、介護者と被介護者との間の距離を検出するための距離深度センサを含むことがある。

慣性センサは、図３および図４を参照して後述される、ＣＰＵ１０１が描画データを生成する処理において用いられる。慣性センサは、マルチモーダル動作訓練装置１００に必要な慣性データを入力することができる慣性センサであれば何でもよい。一態様において、マルチモーダル動作訓練装置１００は、慣性センサとして、加速度計、磁力計、ジャイロスコープなどを含むことがある。

マイクロフォンは、ユマニチュードにおける「話しかける」の動作時間を測定するのに用いられる。一態様において、マルチモーダル動作訓練装置１００は、マイクロフォンの代わりに、音圧センサを含むことがある。

接触センサ、視覚センサ、慣性センサ、およびマイクロフォンは、各々、マルチモーダル動作訓練装置１００に直に搭載することができる。また、接触センサ、視覚センサ、慣性センサ、およびマイクロフォンは、各々、マルチモーダル動作訓練装置１００の外部にあってもよく、この場合、例えば、Bluetooth（登録商標）などの通信接続を介して、マルチモーダル動作訓練装置１００に接続することができる。一態様において、視覚センサ、慣性センサ、およびマイクロフォンは、マルチモーダル動作訓練装置１００に直に搭載され、接触センサは、マルチモーダル動作訓練装置１００の外部にある。

ＣＰＵ１０１は、二次記憶装置１０７に格納されたマルチモーダル動作訓練方法のプログラムおよびデータを主記憶装置１０６に読み出す。ＣＰＵ１０１は、読み出したプログラムおよびデータを用いて、センサ入力インターフェース１０３から、触覚データ、視覚データ、および聴覚データを受信し、受信した各データに図３、４を参照して後述する処理をして、描画データをＧＰＵ１０２へ、音声データをスピーカ１０５へそれぞれ送信する。

ＧＰＵ１０２は、ＣＰＵ１０１から描画データを受信し、受信した描画データを使用して画像処理および画像出力処理をして画像データを生成し、生成した画像データをディスプレイ１０４に送信する。

ここで、マルチモーダル動作訓練方法の演算は、１つの中央処理装置により行われるが、代替えとして、マルチＣＰＵにより行ってもよい。別の態様において、例えば、サーバなどのマルチモーダル動作訓練装置１００とは異なる別のコンピューティングシステムを使用して、ＣＰＵ１０１が行う処理の一部またはすべては、ネットワークインターフェース１０８を介して、別のコンピューティングシステムの中央処理装置が行ってもよい。別の態様において、ＣＰＵ１０１が視覚データおよび聴覚データを処理し、マルチモーダル動作訓練装置１００とは異なる別のコンピューティングシステムが触覚データを処理して、処理したデータをマルチモーダル動作訓練装置１００に送信する。また、代替えとして、ＧＰＵ１０２が行う処理をＣＰＵ１０１が行ってもよく、この場合、ＧＰＵ１０２は不要である。

センサ入力インターフェース１０３は、接触センサから触覚データを、視覚センサから視覚データを、慣性センサから慣性データを、マイクロフォンから聴覚データを、それぞれ受信し、受信した各データをＣＰＵ１０１に送信することができる。別の態様において、マルチモーダル動作訓練装置１００とは異なる別のコンピューティングシステムが触覚データを処理する場合、触覚データは、センサ入力インターフェース１０３を介することなく、マルチモーダル動作訓練装置１００とは異なる別のコンピューティングシステムに送信される。

ディスプレイ１０４は、ＧＰＵ１０２から画像データを受信し、受信した画像データをディスプレイ１０４の画面に出力する。一態様において、ディスプレイ１０４は、例えば、ヘッドマウントディスプレイなどのような、ウエアラブルな透過型のディスプレイである。一態様において、ディスプレイ１０４は、マルチモーダル動作訓練装置１００に直に搭載される。別の態様において、ディスプレイ１０４は、マルチモーダル動作訓練装置１００に外付けされてもよい。代替えとして、ディスプレイ１０４は、ＧＰＵ１０２からの画像データを出力し、同時に、画面の向こう側にある光景を画面に表示することができるディスプレイであれば何でもよい。

スピーカ１０５は、ＣＰＵ１０１から音声データを受信し、受信した音声データを出力する。一態様において、スピーカ１０５は、マルチモーダル動作訓練装置１００に直に搭載される。別の態様において、スピーカ１０５は、マルチモーダル動作訓練装置１００に外部にあってもよい。代替えとして、スピーカ１０５は、ＣＰＵ１０１が生成した音声データを、音として発することができるデバイスであれば何でもよい。

主記憶装置１０６は、ＣＰＵ１０１の命令により、マルチモーダル動作訓練方法の処理をするのに必要なプログラムおよびデータなどを二次記憶装置１０７から読み込み、ＣＰＵ１０１の命令により、読み込んだプログラムおよびデータなどを読み書きする。主記憶装置１０６は、例えば、ＲＡＭ（Random Access Memory）、ＤＲＡＭ（Dynamic RAM）、ＳＤＲＡＭ（Synchronous DRAM）などのような記憶装置である。

二次記憶装置１０７は、マルチモーダル動作訓練方法の処理をするのに必要なプログラムおよびデータなどを永続的に格納し、格納されたプログラムおよびデータなどは、主記憶装置１０６に読み出される。二次記憶装置１０７は、例えば、磁気ディスク、フラッシュメモリ、光学ディスクなどのような記憶装置である。

二次記憶装置１０７に格納されるデータは、介護者が被介護者に触れる圧力の大きさに対して、被介護者が心地よいと感じる上限のしきい値（以後、接触圧力しきい値という）を含む。

ネットワークインターフェース１０８は、マルチモーダル動作訓練装置１００を、有線ネットワーク、無線ネットワーク、またはこれらを組み合わせたネットワークに接続するためのインターフェースである。一態様において、マルチモーダル動作訓練装置１００とは異なる別のコンピューティングシステムが触覚データを処理する場合、ネットワークインターフェース１０８は、マルチモーダル動作訓練装置１００とは異なる別のコンピューティングシステムが処理したデータを受信するのに使用される。一態様において、ネットワークインターフェース１０８は、マルチモーダル動作訓練方法のプログラム更新またはデータ更新に使用される。

接触センサ、視覚センサ、慣性センサ、およびマイクロフォンによって、ユマニチュード提供者に依る、ユマニチュードマルチモーダルの中、複数のスキルの状態を夫々検出する複数の検出手段が実現される。

図２は、本発明の一態様に係るマルチモーダル動作訓練装置の機能ブロック図である。

本発明の一態様に係るマルチモーダル動作訓練方法のプログラムが実行されるとき、ＣＰＵ１０１上の機能ブロックは、センサ入力インターフェース１０３またはネットワークインターフェース１０８からデータを受信する入力データ受信部２０１と、入力データ受信部２０１が受信した各データを、図３、４を参照して後述する条件判定をする条件判定部２０２と、条件判定部２０２の判定に基づいて、図３、４を参照して後述する個別スコアを計算する個別スコア計算部２０３と、条件判定部２０２の判定に基づいて、図３、４を参照して後述するマルチモーダルスコアを計算するマルチモーダルスコア計算部２０４と、個別スコア計算部２０３またはマルチモーダルスコア計算部２０４の計算に基づいて、図３、４を参照して後述する出力データを生成して、生成した出力データをＧＰＵ１０２またはスピーカ１０５に送信する出力データ送信部２０５を含む。

図２に含まれる機能ブロックは、マルチモーダル動作訓練装置における一例である。本発明の方法を実装する装置における機能ブロックは、上記に限定されない。

このような構成により、ユマニチュードにおけるマルチモーダル介護技法の習得レベルを示すことができる。

図３は、本発明の一態様に係るマルチモーダル動作訓練装置の個別スコアに関する方法を示すフローチャートである。

本発明の一態様に係るマルチモーダル動作訓練方法のプログラムが実行されると、接触センサ、視覚センサ、慣性センサ、およびマイクロフォンは、それぞれ、触覚データ、視覚データ、慣性データ、および聴覚データの測定を開始する。

被介護者の役割を果たす等身大の人形が使用される場合、ＣＰＵ１０１は、等身大の人形の頭部を被介護者の頭部に見せるための描画データを作成し、作成した描画データをＧＰＵ１０２に送信する。ＧＰＵ１０２は、受信した描画データから画像データを作成し、作成した画像データをディスプレイ１０４に送信する。すると、ディスプレイ１０４の画面において、介護者は、等身大の人形を含む目の前の光景の中に、被介護者の頭部の画像が重畳表示された等身大の人形の頭部を見ることできる。ＣＰＵ１０１またはＧＰＵ１０２による処理は、ステップＳ３０１から開始する。

ここで、被介護者の頭部に見せるための描画データは、例えば、視覚センサに含まれる赤外線センサにより取得される視覚データと、慣性センサにより取得される慣性データとを用いてＣＰＵ１０１が作成することができる。赤外線センサにより、介護者の視線を追うことができ、慣性センサにより、ディスプレイ１０４の動きを３次元にて正確に計測することができるので、被介護者の頭部の画像を重畳表示することが可能になる。

換言すれば、赤外線センサおよび慣性センサによって、介護者の視線の方向に相当するディスプレイ１０４の方向に対する動きを追うことが可能になる。

被介護者の役割を果たすのが実際のヒトの場合、ＣＰＵ１０１は、実際のヒトの頭部を被介護者の頭部に見せるための描画データを作成し、作成した描画データをＧＰＵ１０２に送信する。ＧＰＵ１０２は、受信した描画データから画像データを作成し、作成した画像データをディスプレイ１０４に送信する。すると、ディスプレイ１０４の画面において、介護者は、実際のヒトを含む目の前の光景の中に、被介護者の頭部の画像が重畳表示された実際のヒトの頭部を見ることできる。被介護者の役割を果たすのが実際のヒトの場合であっても、被介護者の役割を果たす等身大の人形が使用される場合と同様の処理をする理由は、実際のヒトが、被介護者の役割をするのに慣れていない場合があるからである。ＣＰＵ１０１またはＧＰＵ１０２による処理は、ステップＳ３０１から開始する。

本明細書において、以後、ディスプレイ１０４の画面に表示される被介護者は、被介護者の頭部の画像が重畳表示された等身大の人形と、実際のヒトとを区別しない。

ステップＳ３０１にて、センサ入力インターフェース１０３を介して、接触センサが測定した触覚データを、視覚センサが測定した視覚データを、およびマイクロフォンが測定した聴覚データを、リアルタイムにおいてＣＰＵ１０１が受信し、処理は、ステップＳ３０２に進む。

受信した触覚データは、測定時刻、測定時の接触圧力に関するデータを含む。接触圧力に関するデータは、介護者の手が被介護者に触れる圧力の大きさの値を含み、介護者の手が被介護者に触れていなければ、圧力の大きさの値は零である。

より具体的には、接触センサが分布型ウエアラブル全身触覚センサである場合には、受信した触覚データは、測定時刻、測定時の接触圧力、および測定時の接触場所に関するデータを含むことができる。

受信した視覚データは、測定時刻、測定時の視線に関するデータを含む。視線に関するデータは、介護者の視線が被介護者の視線と合っているかどうかを判定するためのデータを含む。より詳細には、視線に関するデータは、当業者にはよく知られている機械学習に基づく視線追跡の手法を用いた、介護者の目線の向きおよび高さを決定するのに必要なデータを含む。

受信した聴覚データは、測定時刻、測定時の音圧に関するデータを含む。音圧に関するデータは、介護者が発している声の音圧の大きさの値を含み、介護者が声を発していなければ、音圧の大きさの値は零である。別の態様において、聴覚データは、音圧に関するデータを含み、さらに、会話の内容に関するデータを含むことがある。

ステップＳ３０２にて、接触圧力に関するデータに対して、圧力の値の大きさが零より大きく接触圧力しきい値以下であるかどうかをＣＰＵ１０１が判定する。判定した結果、圧力の値の大きさが零より大きく接触圧力しきい値以下である場合は、ステップＳ３０３に進み、そうでない場合は、ステップＳ３０４に進む。

ステップＳ３０２にて、視線に関するデータに対して、上記の視線追跡の手法を用いて決定される介護者の目線の向きおよび高さと、ＧＰＵ１０２が作成した被介護者の頭部の画像に含まれる目の向きおよび高さとが合っているかどうかをＣＰＵ１０１が判定する。判定した結果、介護者の目線の向きおよび高さと、被介護者の目の向きおよび高さとが、２つとも合っているならば、さらに、介護者の目と被介護者の目との間の距離が２０ｃｍ以下であるかどうかを判定し、距離が２０ｃｍ以下であれば、処理はステップＳ３０３に進み、距離が２０ｃｍより大きければ、処理はステップＳ３０４に進む。介護者の目線の向きおよび高さと、被介護者の目の向きおよび高さとが、１つでも合っていないならば、処理はステップＳ３０４に進む。かかる距離の判定のために本実施形態の視覚センサに含まれる距離深度センサによって、介護者と被介護者との間の距離を検出する。

ここで、介護者の目と被介護者の目との間の距離が２０ｃｍ以下であるかどうかを判定する場合に、２０ｃｍ以外の閾値、例えば７０ｃｍなどを用いることができる。この閾値は介護者或いは被介護者の身長、姿勢などを考慮すればよい。

ステップＳ３０２にて、音圧に関するデータに対して、音圧の値の大きさが零より大きいかどうかをＣＰＵ１０１が判定する。判定した結果、音圧の値の大きさが零より大きい場合は、ステップＳ３０３に進み、そうでない場合は、ステップＳ３０４に進む。

ステップＳ３０３にて、接触圧力に関するデータ、視線に関するデータ、および音圧に関するデータの各々に対して、時刻をＣＰＵ１０１が抽出する。次に、今述べたデータの各々に対して、抽出した時刻から、本発明の一態様に係るマルチモーダル動作訓練方法のプログラムが実行されてから現時点までの間に占める時間の割合をＣＰＵ１０１が算出し、処理はステップＳ３０４に進む。

本明細書において、以後、算出された各々の割合を個別スコアという。接触圧力に関するデータの個別スコアは、「触れる」スキルの個別スコアであり、視線に関するデータの個別スコアは、「見つめる」スキルの個別スコアであり、音圧に関するデータの個別スコアは、「話しかける」スキルの個別スコアである。例えば、接触圧力に関するデータの個別スコアが高ければ高いほど、介護者が被介護者に触れている時間が長く、「触れる」スキルがよくできていると言える。視線に関するデータの個別スコアが高ければ高いほど、介護者の視線と被介護者の視線とが合っている時間が長く、「見つめる」スキルがよくできていると言える。音圧に関するデータの個別スコアが高ければ高いほど、介護者が被介護者に話しかけている時間が長く、「話しかける」スキルがよくできていると言える。

ステップＳ３０４にて、接触圧力に関するデータ、視線に関するデータ、または音圧に関するデータの個別スコアがある場合、各個別スコアを各スキルの個別スコアとして含む描画データをＣＰＵ１０１が作成し、さらに音声データをＣＰＵ１０１が作成し、処理はステップＳ３０５に進む。視線に関するデータに対して、描画データは、例えば、被介護者が微笑んでいるような画像データをＧＰＵ１０２が生成することができるデータを含む。視線に関するデータに対して、音声データは、例えば、被介護者が喜んでいるような音声データを含む。

より具体的に説明すると、視線に関するデータに対して、描画データは、例えば、被介護者が微笑んでいるような、例えば安心の表情を表す、画像データをＧＰＵ１０２が生成することができるデータを含むことができる。視線に関するデータに対して、音声データは、例えば、被介護者が微笑んでいるような、例えば「うふふ」を表す、音声データを含むことができる。音圧に関するデータに対して、描画データは、例えば、被介護者が普段の表情を表す画像データをＧＰＵ１０２が生成することができるデータを含むことができる。音声データは、例えば、被介護者が黙っていることを表す無音を示す音声データを含むことができる。

接触圧力に関するデータ、視線に関するデータ、または音圧に関するデータの個別スコアがない場合、各スキルの個別スコアとして、例えば、「０％」を含む描画データをＣＰＵ１０１が作成し、処理はステップＳ３０５に進む。接触圧力に関するデータに対して、ステップＳ３０２にて、圧力の値の大きさが接触圧力しきい値より大きいとＣＰＵ１０１が判定した場合、描画データは、例えば、被介護者が不機嫌そうな顔をしているような画像データをＧＰＵ１０２が生成することができるデータを含む。接触圧力に関するデータに対して、ステップＳ３０２にて、圧力の値の大きさが接触圧力しきい値より大きいとＣＰＵ１０１が判定した場合、被介護者が怒っているような音声データをＣＰＵ１０１が作成する。

より具体的に説明すると、接触圧力に関するデータに対して、ステップＳ３０２にて、圧力の値の大きさが接触圧力しきい値より大きいとＣＰＵ１０１が判定した場合、描画データは、例えば、被介護者が怒っているような怒りの表情を表す画像データをＧＰＵ１０２が生成できるデータを含むことができる。接触圧力に関するデータに対して、ステップＳ３０２にて、圧力の値の大きさが接触圧力しきい値より大きいとＣＰＵ１０１が判定した場合、被介護者が怒っているような「うっ」を表す音声データをＣＰＵ１０１が作成することができる。

接触圧力に関するデータに対して、より具体的に説明すると、ステップＳ３０２にて、圧力の値の大きさが零であるとＣＰＵ１０１が判定した後、圧力の値の大きさが零でないとＣＰＵ１０１が判定する場合、ステップＳ３０３にて、時刻が抽出されない時間が１０秒以上続いていたならば、描画データは、例えば、被介護者がびっくりしたような驚きの表情を表す画像データをＧＰＵ１０２が生成できるデータを含むことができる。接触圧力に関するデータに対して、ステップＳ３０２にて、圧力の値の大きさが零であるとＣＰＵ１０１が判定した後、圧力の値の大きさが零でないとＣＰＵ１０１が判定する場合、ステップＳ３０３にて、時刻が抽出されない時間が１０秒以上続いていたならば、被介護者がびっくりしたような「あっ」を表す音声データをＣＰＵ１０１が作成することができる。

ステップＳ３０５にて、ＧＰＵ１０２に描画データを、スピーカ１０５に音声データをＣＰＵ１０１が送信する。受信した描画データに基づいて、画像データをＧＰＵ１０２が作成し、作成した画像データをディスプレイ１０４にＧＰＵ１０２が送信する。すると、ディスプレイ１０４の画面において、介護者は、被介護者の頭部を含む画像と、「見つめる」スキル、「触れる」スキル、および「話しかける」スキルの個別スコアが含まれた画像とを同時に見ることができる。さらに、介護者は、スピーカ１０５から被介護者の感情を表す音声を聞くことができる。

マルチモーダル動作訓練方法のプログラムが実行され、接触センサ、視覚センサ、慣性センサ、およびマイクロフォンが、それぞれ、触覚データ、視覚データ、慣性データ、および聴覚データを測定している間、リアルタイムにおいて、ステップＳ３０１～Ｓ３０５の処理が常に繰り返され、ディスプレイ１０４の画面において、介護者が、常に最新の個別スコアを確認できることは当業者であれば容易に理解されるだろう。

本態様によれば、介護者は、ユマニチュードにおける「見つめる」「触れる」「話しかける」の各スキルが、どの程度できているかを知ることができる。

さらに、本態様によれば、介護者は、３つのスキルうち、同時にいくつのスキルができるようになったかというレベルを知ることもできる。

図４は、本発明の一態様に係るマルチモーダル動作訓練装置のマルチモーダルスコアに関する方法を示すフローチャートである。

本発明の一態様に係るマルチモーダル動作訓練方法のプログラムが実行されると、接触センサ、視覚センサ、慣性センサ、およびマイクロフォンは、それぞれ、触覚データ、視覚データ、慣性データ、および聴覚データの測定を開始する。

ＣＰＵ１０１は、等身大の人形または実際のヒトの頭部を被介護者の頭部に見せるための描画データを作成し、作成した描画データをＧＰＵ１０２に送信する。ＧＰＵ１０２は、受信した描画データから画像データを作成し、作成した画像データをディスプレイ１０４に送信する。すると、ディスプレイ１０４の画面において、介護者は、等身大の人形または実際のヒトを含む目の前の光景の中に、被介護者の頭部の画像が重畳表示された等身大の人形または実際のヒトの頭部を見ることできる。ＣＰＵ１０１またはＧＰＵ１０２による処理は、ステップＳ４０１から開始する。

ステップＳ４０１にて、センサ入力インターフェース１０３を介して、接触センサが測定した触覚データを、視覚センサが測定した視覚データを、およびマイクロフォンが測定した聴覚データを、リアルタイムにおいてＣＰＵ１０１が受信し、処理は、ステップＳ４０２に進む。受信した各データは、図３を参照して説明したデータと同一である。

ステップＳ４０２にて、触覚データの接触圧力に関するデータに対して、圧力の値の大きさが零より大きく接触圧力しきい値以下であるかどうかをＣＰＵ１０１が判定する。判定した結果、圧力の値の大きさが零より大きく接触圧力しきい値以下である場合は、ステップＳ４０３に進み、そうでない場合は、ステップＳ４０５に進む。

ステップＳ４０２にて、視覚データの視線に関するデータに対して、上記の視線追跡の手法を用いて決定される介護者の目線の向きおよび高さと、ＧＰＵ１０２が作成した被介護者の頭部の画像に含まれる目の向きおよび高さとが合っているかどうかをＣＰＵ１０１が判定する。判定した結果、介護者の目線の向きおよび高さと、被介護者の目の向きおよび高さとが、２つとも合っているならば、さらに、介護者の目と被介護者の目との間の距離が２０ｃｍ以下であるかどうかを判定し、距離が２０ｃｍ以下であれば、処理はステップＳ４０３に進み、距離が２０ｃｍより大きければ、処理はステップＳ４０５に進む。介護者の目線の向きおよび高さと、被介護者の目の向きおよび高さとが、１つでも合っていないならば、処理はステップＳ４０５に進む。

ここで、介護者の目と被介護者の目との間の距離が２０ｃｍ以下であるかどうかを判定する場合に、前述したように、例えば７０ｃｍなどの２０ｃｍ以外の閾値を用いることができる。

ステップＳ４０２にて、聴覚データの音圧に関するデータに対して、音圧の値の大きさが零より大きいかどうかをＣＰＵ１０１が判定する。判定した結果、音圧の値の大きさが零より大きい場合は、ステップＳ４０３に進み、そうでない場合は、ステップＳ４０５に進む。

ステップＳ４０３にて、接触圧力に関するデータ、視線に関するデータ、および音圧に関するデータの各々に対して、時刻をＣＰＵ１０１が抽出し、２つ以上のデータから同一の時刻が抽出された場合、処理はステップＳ４０４に進む。２つ以上のデータから同一の時刻が抽出されない場合、処理はステップＳ４０５に進む。ここで、２つ以上のデータから同一の時刻が抽出されるということは、第１の条件を満たす第１のデータがあるときに、少なくとも第２の条件を満たす第２のデータがある状態である。接触センサが測定した触覚データ、視覚センサが測定した視覚データ、マイクロフォンが測定した聴覚データがそれぞれ前述した条件を満たしている時刻に、接触圧力に関するデータ、視線に関するデータ、および音圧に関するデータが、夫々発生している。

ステップＳ４０４にて、抽出した時刻から、本発明の一態様に係るマルチモーダル動作訓練方法のプログラムが実行されてから現時点までの間に占める時間の割合をＣＰＵ１０１が算出し、処理はステップＳ４０５に進む。

換言すれば、ステップＳ４０４にて、１）接触圧力に関するデータと視線に関するデータとが両方同時に発生している時間の長さと、マルチモーダル動作訓練方法のプログラムが実行されてから現時点までの間に占める時間の長さの割合、２）視線に関するデータと音圧に関するデータとが両方同時に発生している時間の長さと、マルチモーダル動作訓練方法のプログラムが実行されてから現時点までの間に占める時間の長さの割合、３）音圧に関するデータについての時間量と接触圧力に関するデータとが両方同時に発生している時間の長さと、マルチモーダル動作訓練方法のプログラムが実行されてから現時点までの間に占める時間の長さの割合、の3つの割合を組み合わせた値に基づいて、マルチモーダルスコアを算出することができる。その組み合わせには、論理積や、論理和など様々な算出を用いることができる。「見つめる」スキル、「触れる」スキル、または「話しかける」スキルのうちの２つ以上のスキルを介護者が同時に使用している時間が長いことを示す、或いは、２つ以上のスキルを介護者が同時に使用している時間が長いことに関連しているスコアを算出できればよい。

本明細書において、以後、ステップＳ４０４にて算出された割合をマルチモーダルスコアという。マルチモーダルスコアが高ければ高いほど、「見つめる」スキル、「触れる」スキル、または「話しかける」スキルのうちの２つ以上のスキルを介護者が同時に使用している時間が長いことを表す。換言すれば、マルチモーダルスコアが高ければ高いほど、介護動作が、マルチモーダル介護技法を使用している介護動作である時間が長いことを示す。

算出されたマルチモーダルスコア、に応じ、マルチモーダルスコアを含む描画データをステップＳ４０５にてＣＰＵ１０１が作成し、処理はステップＳ４０６に進む。

マルチモーダルスコアがない場合、マルチモーダルスコアとして、例えば、「０％」を含む描画データをＣＰＵ１０１が作成し、処理はステップＳ４０６に進む。

より詳細に説明すると、すべての個別スコアがない場合、例えば、「０％」を含む描画データをＣＰＵ１０１が作成し、介護者と被介護者との間にやり取りがないことを示す警告音に関する音声データをＣＰＵ１０１が作成し、処理はステップＳ４０６に進むこともできる。警告音は、１種類だけでなく、例えば、「Ｎｏ ｃｏｍｍｕｎｉｃａｔｉｏｎ」、「コミュニケーションがありません」、およびビープ音など、複数種類を含むことができる。ここにいう「コミュニケーションがありません」とは、「見つめる」、「触れる」、および「話しかける」のすべてがない状態のことをいう。

ステップＳ４０６にて、ＧＰＵ１０２に描画データをＣＰＵ１０１が送信する。受信した描画データに基づいて、画像データをＧＰＵ１０２が作成し、作成した画像データをディスプレイ１０４にＧＰＵ１０２が送信する。すると、ディスプレイ１０４の画面において、介護者は、被介護者の頭部を含む画像と、マルチモーダルスコアとが含まれた画像とを同時に見ることができる。

すべての個別スコアがない場合、より詳細に説明すると、介護者は、警告音を聞くこともできる。

マルチモーダル動作訓練方法のプログラムが実行され、接触センサ、視覚センサ、慣性センサ、およびマイクロフォンが、それぞれ、触覚データ、視覚データ、慣性データ、および聴覚データを測定している間、リアルタイムにおいて、ステップＳ４０１～Ｓ４０６の処理が常に繰り返され、ディスプレイ１０４の画面において、介護者が、常に最新のマルチモーダルスコアを確認できる。

本態様によれば、介護者は、ユマニチュードにおけるマルチモーダル介護技法がどの程度できているかを知ることができる。

さらに、本態様によれば、介護者は、あとどれぐらい訓練をすればよいかを知ることができる。

図３を参照して説明した処理と、図４を参照して説明した処理とを合わせると、ディスプレイ１０４の画面において、介護者は、被介護者の感情を表した被介護者の頭部を含む画像と、マルチモーダルスコアと、「見つめる」スキル、「触れる」スキル、および「話しかける」スキルの個別スコアと、を同時に見ることができ、さらに、被介護者の感情を表す音声を聞くことができる。

本態様によれば、介護者は、単独において、自分自身のマルチモーダル介護技法の習得レベルを知ることができる。

ステップＳ４０１を実行するＣＰＵ１０１によって、複数のセンサから複数のデータを取得する手段（入力データ受信部２０１）が実現される。ステップＳ４０２を実行するＣＰＵ１０１によって、取得された複数のデータに基づいて、複数の予め定義された条件を満たしているかどうかを判定する手段（条件判定部２０２）が実現される。ステップＳ４０２～４０４を実行するＣＰＵ１０１によって、複数の検出手段により検出された複数のスキルの状態に基づいて、ユマニチュードマルチモーダルの習得度合いを示す度合い情報を取得する取得手段（条件判定部２０２およびマルチモーダルスコア計算部２０４）が実現される。ステップＳ４０５、Ｓ４０６を実行するＣＰＵ１０１によって、取得手段により取得された度合い情報をユマニチュード提供者へ出力する出力手段（出力データ送信部２０５）と、算出された割合を出力する手段（出力データ送信部２０５）とが実現される。

ステップＳ４０２、４０３を実行するＣＰＵ１０１によって、複数のスキル個別の習得度合いを示す度合い情報を得る手段（条件判定部２０２およびマルチモーダルスコア計算部２０４）が実現される。ステップＳ４０２～４０４を実行するＣＰＵ１０１によって、複数のスキルを組み合わせた習得度合いを示す度合い情報を得る手段（条件判定部２０２およびマルチモーダルスコア計算部２０４）が実現される。ステップＳ４０５、Ｓ４０６を実行するＣＰＵ１０１によって、複数のスキル個別の習得度合いを示す度合いを把握する表示又は音を前記ユマニチュード提供者へ出力する手段（出力データ送信部２０５）が実現される。ステップＳ４０５、Ｓ４０６を実行するＣＰＵ１０１によって、複数のスキルを組み合わせた習得度合いを示す度合いを把握できる表示又は音を前記ユマニチュード提供者へ出力する手段（出力データ送信部２０５）が実現される。

ステップＳ４０３を実行するＣＰＵ１０１によって、複数の予め定義された条件のうちの２以上の条件を同時に満たしていると判定された時間を抽出する手段（マルチモーダルスコア計算部２０４）が実現される。ステップＳ４０４を実行するＣＰＵ１０１によって、複数のデータの取得開始時刻から現在時刻までの時間に対する抽出された時間の割合を算出する手段（マルチモーダルスコア計算部２０４）が実現される。

図５は、本発明の一態様に係るユマニチュードにおける各スキルの動作時間を例示する図である。

表５０１の１行目は、本発明の一態様に係るマルチモーダル動作訓練方法のプログラムが実行されて、マルチモーダル動作訓練装置の各センサが測定を開始してから経過した秒単位の時間を表す。表５０２の２、３、および４行目は、各々、ユマニチュードにおける「見つめる」スキル、「触れる」スキル、および「話しかける」スキルを使用した動作である秒単位の時間を表す。

例えば、表５０１の２行目は、介護者の動作が、１０～２５秒、３０～３５秒、および４０～５０秒の間、「見つめる」スキルを使用した動作になっていることを表す。さらに、表５０１の３および４行目を含めると、介護者の動作が、１５～２０秒の間は「見つめる」スキルのみを使用した動作、３０～３５秒の間は「見つめる」スキルと「触れる」スキルとを使用したマルチモーダル動作、４０～５０秒の間は、「見つめる」スキル、「触れる」スキル、および「話しかける」スキルを使用したマルチモーダル動作になっていることを表す。

表５０１は、例であり、ユマニチュードにおける各スキルの動作時間の例を示し、ユマニチュードにおけるマルチモーダル動作を具体的に理解するための例である。

図６は、本発明の一態様に係るシステム全体を例示する概略図である。本発明の一態様に係る例示的なシステムは、被介護者の役割を果たす等身大の人形６０１と、接触センサである触覚センサグローブ６０２と、触覚データを処理するコンピューティングシステム６０３と、視覚センサ、慣性センサ、およびマイクロフォンが搭載され、視覚データ、慣性データ、および聴覚データを処理する中央処理装置を有し、画像データを画面に出力するヘッドマウントディスプレイ６０４とを含み、ヘッドマウントディスプレイ６０４の画面には、画像６２１が表示されている。本発明の一態様に係る例示的なシステムのデータは、触覚センサグローブ６０２からコンピューティングシステム６０３へ送信される触覚データ６１１と、コンピューティングシステム６０３が計算した「触れる」スキルの個別スコアデータ６１２とを含む。

画像６２１では、実際に被介護者を背上げした介護ベッドに寄りかからせた状態の画像に対して、被介護者の顔の表情のアニメーションおよび個別スコアデータ６１２等が重畳表示されている。例えば、被介護者の顔の表情のアニメーションは、安心、怒り、驚き、悲しみ、不安などの被介護者の感情を表すことができる。

図３および４を参照して説明されたマルチモーダル動作訓練装置１００のＣＰＵ１０１は、センサ入力インターフェース１０３を介して、触覚データ、視覚データ、および聴覚データを受信して、マルチモーダル動作訓練方法の処理をする。図６におけるヘッドマウントディスプレイ６０４の中央処理装置は、センサ入力インターフェース１０３を介して、視覚データおよび聴覚データを受信し、「見つめる」スキルおよび「話しかける」スキルの個別スコアを算出し、ネットワークインターフェース１０８を介して、別のコンピューティングシステム６０３が算出した「触れる」スキルの個別スコアデータ６１２を受信して、マルチモーダル動作訓練方法の処理をすることができる。

視線に関するデータおよび音圧に関するデータに関して、ステップＳ３０１にて、センサ入力インターフェース１０３を介して、視覚センサが測定した視覚データと、マイクロフォンが測定した聴覚データとを、リアルタイムにおいてヘッドマウントディスプレイ６０４の中央処理装置が受信し、処理は、ステップＳ３０２に進むことができる。

接触圧力に関するデータに関して、ステップＳ３０１にて、触覚センサグローブ６０２から送信される触覚データ６１１を、リアルタイムにおいて別のコンピューティングシステム６０３が受信し、処理は、ステップＳ３０２に進むことができる。ステップＳ３０３において算出された「触れる」スキルの個別スコアデータ６１２は、ヘッドマウントディスプレイ６０４の中央処理装置へ別のコンピューティングシステム６０３が送信し、処理は、ステップＳ３０４に進み、ステップＳ３０４以降の処理は、ヘッドマウントディスプレイ６０４の中央処理装置が行うことができる。

視線に関するデータおよび音圧に関するデータに関して、ステップＳ４０１にて、センサ入力インターフェース１０３を介して、視覚センサが測定した視覚データと、マイクロフォンが測定した聴覚データとを、リアルタイムにおいてヘッドマウントディスプレイ６０４の中央処理装置が受信し、処理は、ステップＳ４０２に進むことができる。

接触圧力に関するデータに関して、ステップＳ４０１にて、触覚センサグローブ６０２から送信される触覚データ６１１を、リアルタイムにおいて別のコンピューティングシステム６０３が受信し、受信した触覚データ６１１を、ヘッドマウントディスプレイ６０４の中央処理装置へ別のコンピューティングシステム６０３が送信し、処理は、ステップＳ４０２に進むことができる。ステップＳ４０２以降の処理は、ヘッドマウントディスプレイ６０４の中央処理装置が行うことができる。

このような構成により、マルチモーダル動作訓練装置１００のＣＰＵ１０１における処理を、別のコンピューティングシステムのＣＰＵと負荷分散させることが可能になる。

視線に関するデータに対して、より詳細に説明すると、ステップＳ３０４にて、介護者の目線の向きおよび高さと、被介護者の目の向きおよび高さとが、２つとも合っているならば、介護者の目と被介護者の目との間の距離が１４０ｃｍ以下であるかどうかを判定することができる。距離が１４０ｃｍ以下であれば、さらに、介護者の目と被介護者の目との間の距離が７０ｃｍ以下であるかどうかを判定する。介護者の目と被介護者の目との間の距離が、７０ｃｍ以下であるとき距離の評価値を３に、７０ｃｍより大きく１４０ｃｍ以下であるとき距離の評価値を２に、１４０ｃｍより大きいとき距離の評価値を１に設定することができる。介護者の目線の向きおよび高さと、被介護者の目の向きおよび高さとが、１つでも合っていないならば、距離の評価値に０を設定することができる。

ここで、７０ｃｍおよび１４０ｃｍという２つの長さは、単なる例であり、介護者の目と被介護者の目との間の距離は、種々の長さを用いることができ、介護者の目と被介護者の目との間の距離の判定に用いられる長さの個数は、何個でもよい。０、１、２、および３という４つの値は、単なる例であり、距離の評価値は、種々の値を用いることができ、距離の評価値の個数は、介護者の目と被介護者の目との間の距離の判定に用いられる長さの個数に応じた個数にすることができる。

このような構成により、「見つめる」スキルの個別スコアに関して、距離の評価も導入され、介護者は、単独において、被介護者との距離の適正さを知ることが可能になる。

別の態様において、ステップＳ３０２にて、接触圧力に関するデータに対して、複数のしきい値を使用して、接触圧力の評価を多段階にすることができて、ステップＳ３０４にて、ＣＰＵ１０１が作成する描画データは、例えば、接触圧力が零であることを表す「無」、接触圧力が適当であることを示す「適」、接触圧力が強すぎることを表す「強」の３段階を用いて、接触圧力を表す画像データをＧＰＵ１０２が作成することができるデータを含むことができる。

ステップＳ３０４にて、より具体的に説明すると、ＣＰＵ１０１が作成する描画データは、例えば、接触圧力が零であることを表す「接触なし」、接触圧力が適当であることを示す「接触中」、接触圧力が強すぎることを表す「力が強すぎまず」、接触センサが分布型ウエアラブル全身触覚センサである場合には接触圧力が被介護者の肩および背中に対してのみ零のままであることを示す「肩や背中に触れてください」、マルチモーダル動作訓練装置１００と接触センサとの間の接続が切れていることを表す「未接続」などの多段階を用いて、接触圧力に関する画像データをＧＰＵ１０２が作成することができるデータを含むこともできる。

このような構成により、介護者は、単独において、自分自身の触れる動作が適切であるかどうかを知ることが可能になる。

別の態様において、ステップＳ３０２にて、接触圧力に関するデータに対して、機械学習に基づいて、介護者の触り方を評価することができて、ステップＳ３０４にて、ＣＰＵ１０１が作成する描画データは、例えば、介護者の触り方が、ユマニチュードにおいて良いとされる触り方になっているかどうかを表す画像データをＧＰＵ１０２が作成することができるデータを含むことができる。ここで、ユマニチュードにおいて良いとされる触り方は、例えば、接触圧力が手先から掌に遷移する触り方、言い換えると、介護者の手が被介護者の身体に着陸のような触り方である。接触圧力が手先から掌に遷移する触り方は、接触センサにおいて圧力を検出した部位の位置の時間変化（時間の経過とともに圧力検出部位が指先から掌へ移動する）、部位の分布の時間変化（時間の経過とともに圧力検出部位の分布が小さな領域から大きな領域へ変化する）などにより判定することができる。今述べた判定は、例えば、ステップＳ３０２と同様にして、ＣＰＵ１０１が、触覚センサから受け取った触覚データに基づいて、予め定められた「圧力の時間変化」の基準を満たすかどうかを判定することにより行ってもよい。

このような構成により、介護者は、単独において、自分自身の触れる動作がユマニチュードにおいて良いとされる触り方になっているかどうかを知ることが可能になる。

別の態様において、ステップＳ３０２にて、聴覚データが会話の内容に関するデータを含む場合、機械学習に基づいて、介護者の話し方を評価することができて、ステップＳ３０４にて、ＣＰＵ１０１が作成する描画データは、例えば、介護者の話し方が、ユマニチュードにおいて良いとされる話し方になっているかどうかを表す画像データをＧＰＵ１０２が作成することができるデータを含むことができる。ここで、ユマニチュードにおいて良いとされる話し方は、例えば、穏やかに、ゆっくりと、前向きな言葉使いで話す話し方である。

このような構成により、介護者は、単独において、自分自身の話す動作がユマニチュードにおいて良いとされる話し方になっているかどうかを知ることが可能になる。

ステップＳ４０４にて、より具体的に説明すると、視線に関するデータに対して時刻が抽出されればアイコンタクトの評価値を１に、視線に関するデータおよび音圧に関するデータに対して同一の時刻が抽出された後、視線に関するデータに対して時刻が抽出されないが音圧に関するデータに対して時刻が抽出される時間が３秒以内であればアイコンタクトの評価値を１に、そうでなければアイコンタクトの評価値を０に設定することができる。

ここで、０、１というアイコンタクトの評価値は、単なる例であり、種々の値を用いることができる。３秒という時間も、単なる例であり、種々の時間を用いることができる。

このような構成により、「見つめる」スキルに対して、緩やかな判定をすることができる。

ステップＳ４０４にて、より具体的に説明すると、視線に関するデータに対して時刻が抽出されればアイコンタクトの評価値を２、視線に関するデータおよび音圧に関するデータに対して同一の時刻が抽出された後、視線に関するデータに対して時刻が抽出されないが音圧に関するデータに対して時刻が抽出される時間が３秒以内であればアイコンタクトの評価値を１に、そうでなければアイコンタクトの評価値を０に設定することができる。

ここで、０、１、２というアイコンタクトの評価値は、単なる例であり、種々の値を用いることができ、３秒という時間も、単なる例であり、種々の時間を用いることができる。

このような構成により、介護者は、単独において、「見つめる」スキルの習得レベルを知ることができる。

ステップＳ３０３にて、より具体的に説明すると、音圧に関するデータに対して時刻が抽出される時間が１秒以上であれば会話ができていると、そうでなければ会話ができていないと判定することができる。１秒という時間は、単なる例であり、種々の時間を用いることができる。

このような構成により、介護者は、被介護者に対して会話ができているかどうかを知ることができる。

ステップＳ４０３にて、視線に関するデータおよび音圧に関するデータに対して、時刻が抽出されないときが一致する場合、より具体的に説明すると、ステップＳ４０５にて、警告音に関するデータをＣＰＵ１０１が作成して、スピーカ１０５から警告音を発生させることができる。

このような構成により、介護者は、被介護者に対して「見つめる」ことも「話しかける」こともできていないことをただちに知ることができる。

図３および４を参照して説明されたマルチモーダル動作訓練装置１００は、接触センサが、触覚センサグローブであっても、分布型ウエアラブル全身接触センサであってもよい。別の態様において、接触センサとして触覚センサグローブを使用すれば、介護者は、在宅においてユマニチュードにおけるマルチモーダル介護技法の習得レベルを知ることが可能になる。

本明細書において、マルチモーダル動作訓練装置および方法は、ユマニチュードにおけるマルチモーダル介護技法の習得レベルを示すことに関して説明された。しかしながら、本発明のマルチモーダル動作訓練装置および方法は、ユマニチュードにおけるマルチモーダル介護技法の習得レベルを示すことに限定されずに、例えば、医療教育、看護教育などを含む、マルチモーダル動作を必要とする教育において、マルチモーダル動作の習得レベルを示すことが利用可能である。この場合、用語「介護者」は、例えば、生徒、学生、訓練者などと読み替え可能であり、用語「被介護者」は、例えば、患者、負傷者、病人などと読み替え可能である。

本発明のマルチモーダル動作訓練装置および方法は、例えば、親が子との接し方を学ぶとき、親が、例えば、どの程度子の顔を見ながら子と話しているかを知ることに利用可能である。この場合、用語「介護者」は、親と読み替え可能であり、用語「被介護者」は、子と読み替え可能である。

当業者であれば、ステップＳ３０１～Ｓ３０５、Ｓ４０１～Ｓ４０６の各々を必要に応じて自由に組み合わせることができることを理解するだろう。

図７は、本発明の一態様に係るディスプレイに表示される画面イメージを例示する図である。

ヘッドマウントディスプレイ６０４の画面に表示された画像６２１は、ＣＰＵ１０１およびＧＰＵ１０２によって生成され、ヘッドマウントディスプレイ６０４の画面に重畳表示される被介護者の頭部のＣＧ（コンピュータグラフィックス）画像７０１と、マルチモーダル動作訓練装置１００の動作モードを示すモード表示７０２と、「見つめる」スキルに関する評価７０３と、「話しかける」スキルに関する評価７０４と、「触れる」スキルに関する評価７０５と、マルチモーダルスコアを含む全体的な評価７０６とを含む。

ＣＧ画像７０１は、画像６２１と同様に、実際に被介護者を背上げした介護ベッドに寄りかからせた状態に対して、例示した画像である。

図７における評価７０６は、マルチモーダルスコアが２３％、「見つめる」スキルの個別スコアが３８％、「話しかける」スキルの個別スコアが６９％、および「触れる」スキルの個別スコアが１％であることを例示している。

評価７０３～７０５は、ステップＳ３０２の判定に基づいて、Ｓ３０４にて、描画データをＣＰＵ１０１が作成している。

また、図７において、評価７０３は、「見つめる」ことができていること、評価７０４は、「話しかける」ことができていること、および評価７０５は、介護者の被介護者への接触圧力が強すぎることを表し、ＣＧ画像７０１における被介護者の表情のアニメーションは、不快感を表している。

被介護者の表情を表すＣＧ画像７０１が、介護動作に連動して変化するように構成されているので、介護者は、訓練中に非介護者の目から評価７０６の方へ視線をそらさずに済むことができる。

このような構成により、介護者は、画像６２１を通して、リアルタイムにおいてマルチモーダル介護技法の習得レベルを把握しながら、介護動作の訓練をすることが可能になる。

図８は、本発明の一態様に係るディスプレイに表示される画面イメージを例示する図である。

ヘッドマウントディスプレイ６０４の画面に表示された画像６２１は、ＣＰＵ１０１およびＧＰＵ１０２によって生成され、ヘッドマウントディスプレイ６０４の画面に重畳表示される被介護者の頭部のＣＧ画像７０１と、マルチモーダル動作訓練装置１００の動作モードを示すモード表示７０２と、「見つめる」スキルに関する評価７０３と、「話しかける」スキルに関する評価７０４と、「触れる」スキルに関する評価７０５と、マルチモーダルスコアの数値を含む全体的な評価８０１と、「見つめる」ことも「話しかける」こともできていないことを示す警告８０２と、を含む。

ＣＧ画像７０１は、画像６２１と同様に、実際に被介護者を背上げした介護ベッドに寄りかからせた状態に対して、例示した画像である。

評価８０１は、マルチモーダルスコアが２２％、「見つめる」スキルの個別スコアが３７％、「話しかける」スキルの個別スコアが６２％、および「触れる」スキルの個別スコアが１％であることを例示する。図８において、評価７０３は、「見つめる」ことができていないこと、評価７０４は、「話しかける」ことができていないこと、および評価７０５は、「触れる」ことができていないことを示す。

図８において、「見つめる」スキルの個別スコアが３７％であることは、「見つめる」スキルの習得レベルが３７％程度であると、介護者は、把握することが可能である。同様に、「話しかける」スキルの個別スコアが６２％であることは、「話しかける」の習得レベルが６２％であると把握可能であり、および「触れる」スキルの個別スコアが１％であることは、「触れる」スキルの習得レベルが１％であると把握可能である。

評価７０３～７０５は、ステップＳ３０２の判定に基づいて、Ｓ３０４にて、描画データをＣＰＵ１０１が作成している。

また、図８において、警告８０２は、「見つめる」ことも「話しかける」ことも「触れる」こともできていない状態を表し、ＣＧ画像７０１における被介護者の表情のアニメーションは、不安感を表している。図８を参照して説明される画面イメージは、図６を参照して説明された画面イメージの状態から異なる状態になったときの具体的な一例である。

図９は、本発明の一態様に係るシステム全体を例示する概略図である。本発明の一態様に係る例示的なシステムは、被介護者の役割を果たす等身大の人形６０１と、接触センサである触覚センサグローブ６０２と、触覚データ、視覚データ、慣性データ、および聴覚データを処理する中央処理装置を有し、画像データを画面に出力する情報端末であるスマートフォン９０１とを含み、スマートフォン９０１の画面には、画像９２１が表示されている。本発明の一態様に係る例示的なシステムのデータは、触覚センサグローブ６０２からスマートフォン９０１へ送信される触覚データ６１１を含む。

介護者がスマートフォン９０１を人形６０１に向けると、スマートフォン９０１の画面には、実際に被介護者を背上げした介護ベッドに寄りかからせた状態に対して、被介護者の顔の表情のアニメーションおよびマルチモーダルスコア等が重畳表示された画像９２１が表示される。

スマートフォン９０１は、視覚センサとして用いることができる光センサ、距離深度センサなどを含み、慣性センサとして用いることができる加速度センサ、磁気センサ、ジャイロセンサなどを含み、マイクロフォンを含む。前記光センサ、距離深度センサにはスマートフォン９０１の背面のカメラの撮像素子が用いられる。スマートフォン９０１の前面に搭載されたカメラの撮像素子と、機械学習に基づく画像処理とによって、介護者の視線を追う視線センサとする。

スマートフォン９０１は、図６を参照して説明されたコンピューティングシステム６０３およびヘッドマウントディスプレイ６０４の両方の役割を果たす。したがって、図９を参照して説明されたシステムは、図６を参照して説明されたシステムのコンポーネントの組み合わせを変更したシステムの例である。

このような構成により、介護者は、コンピューティングシステムおよびヘッドマウントディスプレイを用いることなく、単独において、自分自身のマルチモーダル介護技法の習得レベル（すなわち、習得度合い）を知ることができる。

本明細書の開示によれば、機器が、構成に応じてセンサからデータを受信し、受信したデータをサーバに送信し、データを受信したサーバが、ステップＳ３０１～３０５およびステップＳ４０１～Ｓ４０６の処理を行い、さらに機器が、サーバの出力データを受信し表示するというシステムを構成することができるということを理解できる。当業者であれば、機器は、これまで説明してきたヘッドマウントディスプレイ、スマートフォンなどを含むだけでなく、マルチモーダル動作の習得レベルを示す特定のシステム専用に開発されることが可能であることを理解するだろう。

図１０は、マルチモーダル動作訓練装置の機能ブロック図である。図１０に示された機能ブロック図は、図２に示された機能ブロック図の別例を示した図である。

マルチモーダル動作訓練方法のプログラムが実行されるとき、ＣＰＵ１０１上の機能ブロックは、センサ入力インターフェース１０３またはネットワークインターフェース１０８からデータを受信する入力データ受信部２０１と、入力データ受信部２０１が受信した各データに対して、図３、４を参照して前述した条件判定をする条件判定部２０２と、条件判定部２０２の判定に基づいて、図３、４を参照して前述した個別スコアを計算する個別スコア計算部２０３と、条件判定部２０２の判定に基づいて、図３、４を参照して前述したマルチモーダルスコアを計算するマルチモーダルスコア計算部２０４と、個別スコア計算部２０３およびマルチモーダルスコア計算部２０４により計算された結果を記憶し蓄積するスコア記憶部１００１と、介護者からの指示に従って画面表示を切り替える表示切替え部１００２と、個別スコア計算部２０３またはマルチモーダルスコア計算部２０４の計算に基づいて、図３、４を参照して前述した出力データを生成して、生成した出力データをＧＰＵ１０２またはスピーカ１０５に送信する出力データ送信部２０５を含む。

スコア記憶部１００１は、ステップＳ４０３にて抽出された時刻を記憶し蓄積することができる。表示切替え部１００２は、介護者の指示に従って、例えば、ディスプレイ１０４にユマニチュードにおける各スキルの動作時間を表示するための画像データを出力するように出力データ送信部２０５に指示することができる。別の場合には、表示切替え部１００２は、介護者の指示に従って、例えば、ディスプレイ１０４にマルチモーダルスコアを表示するための画像データを出力するように出力データ送信部２０５に指示することができる。

このような構成により、介護者は、必要に応じて、各スキルの動作時間またはマルチモーダルスコアを知ることができる。

ステップＳ４０２、４０３を実行するＣＰＵ１０１並びに主記憶装置１０６および二次記憶装置１０７の少なくとも１つによって、取得手段により取得された度合い情報を蓄積する蓄積手段（スコア記憶部１００１）が実現される。ステップＳ４０５、Ｓ４０６を実行するＣＰＵ１０１によって、蓄積手段により蓄積された度合い情報をユマニチュード提供者へ出力する出力手段（出力データ送信部２０５により実現される。当業者であれば、図１０に示された機能ブロック図を見れば、介護者の指示に従って、例えば、図５に例示されたような各スキルの時系列の動作時間をディスプレイ１０４に表示させることができることを容易に理解するだろう。

本発明のマルチモーダル動作訓練装置および方法は、マルチモーダル動作が必要とされる種々の分野において利用可能である。

１００ マルチモーダル動作訓練装置
１０１ ＣＰＵ
１０２ ＧＰＵ
１０３ センサ入力インターフェース
１０４ ディスプレイ
１０５ スピーカ
１０６ 主記憶装置
１０７ 二次記憶装置
１０８ ネットワークインターフェース
１０９ バス
２０１ 入力データ受信部
２０２ 条件判定部
２０３ 個別スコア計算部
２０４ マルチモーダルスコア計算部
２０５ 出力データ送信部

Claims (29)

1. ユマニチュード提供者に依る、ユマニチュードマルチモーダルの中、複数のスキルの状態を夫々検出する複数の検出手段と、
   前記複数の検出手段により検出された複数のスキルの状態に基づいて、ユマニチュードマルチモーダルの習得度合いを示す度合い情報を取得する取得手段と、
   前記取得手段により取得された前記度合い情報を前記ユマニチュード提供者へ出力する出力手段と
   を備えたことを特徴とする支援装置。
2. 前記ユマニチュード提供者に依る、ユマニチュードマルチモーダルの中、複数のスキルの状態を夫々検出する複数の検出手段は、前記ユマニチュード提供者に依る接触を検出する接触センサ、見つめる動作を検出する視覚センサ、話しかける動作を検出する音声センサの少なくとも二つを含むことを特徴とする請求項１の支援装置。
3. 前記複数の検出手段により検出された複数のスキルの状態に基づいて、ユマニチュードマルチモーダルの習得度合いを示す度合い情報を取得する取得手段は、複数のスキル個別の習得度合いを示す度合い情報を得る手段を含むことを特徴とする請求項１又は２の支援装置。
4. 前記複数の検出手段により検出された複数のスキルの状態に基づいて、ユマニチュードマルチモーダルの習得度合いを示す度合い情報を取得する取得手段は、複数のスキルを組み合わせた習得度合いを示す度合い情報を得る手段を含むことを特徴とする請求項１又は２の支援装置。
5. 前記取得手段により取得された前記度合い情報を前記ユマニチュード提供者へ出力する出力手段は、複数のスキル個別の習得度合いを示す度合いを把握する表示又は音を前記ユマニチュード提供者へ出力する手段を含むことを特徴とする請求項３の支援装置。
6. 前記取得手段により取得された前記度合い情報を前記ユマニチュード提供者へ出力する出力手段は、複数のスキルを組み合わせた習得度合いを示す度合いを把握できる表示又は音を前記ユマニチュード提供者へ出力する手段を含むことを特徴とする請求項４の支援装置。
7. 中央処理装置によって、
   ユマニチュード提供者に依る、ユマニチュードマルチモーダルの中、複数のスキルの状態を検出するステップと、
   前記検出された複数のスキルの状態に基づいて、ユマニチュードマルチモーダルの習得度合いを示す度合い情報を取得するステップと、
   前記取得された度合い情報を前記ユマニチュード提供者が使用しているディスプレイに出力させるステップと
   を備えることを特徴とする支援方法。
8. サーバ及び機器を備えた支援システムであって、
   前記サーバが、
   ユマニチュード提供者に依る、ユマニチュードマルチモーダルの中、複数のスキルの状態を夫々検出し、
   前記検出された複数のスキルの状態に基づいて、ユマニチュードマルチモーダルの習得度合いを示す度合い情報を取得し、
   前記度合い情報を前記機器に送信し、
   前記機器が、
   前記送信された度合い情報を前記ユマニチュード提供者へ出力する
   ように構成されたことを特徴とする支援システム。
9. 中央処理装置によって実行されると、前記中央処理装置に、
   ユマニチュード提供者に依る、ユマニチュードマルチモーダルの中、複数のスキルの状態を検出することと、
   前記検出された複数のスキルの状態に基づいて、ユマニチュードマルチモーダルの習得度合いを示す度合い情報を取得することと、
   前記取得された度合い情報を前記ユマニチュード提供者が使用しているディスプレイに出力させることと
   を含む動作を行わせることを特徴とするプログラム。
10. ユマニチュード提供者に依る、ユマニチュードマルチモーダルの中、複数のスキルの状態を夫々検出する複数の検出手段と、
    前記複数の検出手段により検出された複数のスキルの状態に基づいて、ユマニチュードマルチモーダルの習得度合いを示す度合い情報を取得する取得手段と、
    前記取得手段により取得された度合い情報を蓄積する蓄積手段と、
    前記蓄積手段により蓄積された度合い情報を前記ユマニチュード提供者へ出力する出力手段と
    を備えたことを特徴とする支援装置。
11. 中央処理装置によって、
    ユマニチュード提供者に依る、ユマニチュードマルチモーダルの中、複数のスキルの状態を検出するステップと、
    前記検出された複数のスキルの状態に基づいて、ユマニチュードマルチモーダルの習得度合いを示す度合い情報を取得するステップと、
    前記取得された度合い情報を蓄積するステップと、
    前記蓄積された度合い情報を時系列に、前記ユマニチュード提供者が使用しているディスプレイに出力させるステップと
    を備えることを特徴とする支援方法。
12. サーバ及び機器を備えた支援システムであって、
    前記サーバが、
    ユマニチュード提供者に依る、ユマニチュードマルチモーダルの中、複数のスキルの状態を夫々検出し、
    前記検出された複数のスキルの状態に基づいて、ユマニチュードマルチモーダルの習得度合いを示す度合い情報を取得し、
    前記取得された度合い情報を蓄積し、
    前記蓄積された度合い情報を前記機器に送信し、
    前記機器が、
    前記送信された度合い情報を前記ユマニチュード提供者へ出力する
    ように構成されたことを特徴とする支援システム。
13. 中央処理装置によって実行されると、前記中央処理装置に、
    ユマニチュード提供者に依る、ユマニチュードマルチモーダルの中、複数のスキルの状態を検出することと、
    前記検出された複数のスキルの状態に基づいて、ユマニチュードマルチモーダルの習得度合いを示す度合い情報を取得することと、
    前記取得された度合い情報を蓄積することと、
    前記蓄積された度合い情報を時系列に、前記ユマニチュード提供者が使用しているディスプレイに出力させることと
    を含む動作を行わせることを特徴とするプログラム。
14. ユマニチュードにおけるマルチモーダル介護技法の習得レベルを示すためのマルチモーダル動作訓練装置であって、
    複数のセンサと、
    前記複数のセンサから複数のデータを取得する手段と、
    前記取得された複数のデータに基づいて、複数の予め定義された条件を満たしているかどうかを判定する手段と、
    複数の予め定義された条件のうちの２以上の条件を同時に満たしていると判定された時間を抽出する手段と、
    前記複数のデータの取得開始時刻から現在時刻までの時間に対する前記抽出された時間の割合を算出する手段と、
    前記算出された割合を出力する手段と
    を備えたことを特徴とするマルチモーダル動作訓練装置。
15. 前記複数のセンサは、接触センサ、視覚センサ、及びマイクロフォンを含むことを特徴とする請求項１４のマルチモーダル動作訓練装置。
16. 前記複数のセンサから出力されるデータのうちの少なくとも１つは、機械学習に基づくことを特徴とする請求項１４のマルチモーダル動作訓練装置。
17. 前記算出された割合を出力する手段は、前記算出された割合を透過型のディスプレイに表示する手段を含むことを特徴とする請求項１４のマルチモーダル動作訓練装置。
18. 前記抽出された時間の割合を算出する手段は、前記複数のデータの取得開始時刻から現在時刻までの時間に対する、前記取得された複数のデータの各々が前記複数の予め定義された条件のうちの各々の条件を満たしている時間の割合を算出する手段を含むことを特徴とする請求項１４のマルチモーダル動作訓練装置。
19. 前記算出された割合を出力する手段は、ヒトの感情を表す画像を表示する手段を含むことを特徴とする請求項１４のマルチモーダル動作訓練装置。
20. 前記算出された割合を出力する手段は、ヒトの感情を表す音声を出力する手段を含むことを特徴とする請求項１４のマルチモーダル動作訓練装置。
21. 前記接触センサは、触覚センサグローブであることを特徴とする請求項１５のマルチモーダル動作訓練装置。
22. ユマニチュードにおけるマルチモーダル介護技法の習得レベルを示すためのマルチモーダル動作訓練方法であって、
    中央処理装置によって、
    複数のセンサから複数のデータを取得するステップと、
    前記取得された複数のデータに基づいて、複数の予め定義された条件を満たしているかどうかを判定するステップと、
    前記複数の予め定義された条件のうちの２以上の条件を同時に満たしていると判定された時間を抽出するステップと、
    前記複数のデータの取得開始時刻から現在時刻までの時間に対する前記抽出された時間の割合を算出するステップと、
    前記算出された割合をディスプレイに出力するステップと
    を備えることを特徴とするマルチモーダル動作訓練方法。
23. 教育におけるマルチモーダル動作の習得レベルを示すためのマルチモーダル動作訓練装置であって、
    複数のセンサと、
    前記複数のセンサから複数のデータを取得する手段と、
    前記取得された複数のデータに基づいて、複数の予め定義された条件を満たしているかどうかを判定する手段と、
    複数の予め定義された条件のうちの２以上の条件を同時に満たしていると判定された時間を抽出する手段と、
    前記複数のデータの取得開始時刻から現在時刻までの時間に対する前記抽出された時間の割合を算出する手段と、
    前記算出された割合を出力する手段と
    を備えたことを特徴とするマルチモーダル動作訓練装置。
24. 教育におけるマルチモーダル動作の習得レベルを示すためのマルチモーダル動作訓練方法であって、
    中央処理装置によって、
    複数のセンサから複数のデータを取得するステップと、
    前記取得された複数のデータに基づいて、複数の予め定義された条件を満たしているかどうかを判定するステップと、
    複数の予め定義された条件のうちの２以上の条件を同時に満たしていると判定された時間を抽出するステップと、
    前記複数のデータの取得開始時刻から現在時刻までの時間に対する前記抽出された時間の割合を算出するステップと、
    前記算出された割合をディスプレイに出力するステップと
    を備えることを特徴とするマルチモーダル動作訓練方法。
25. サーバ及び機器を備えた、マルチモーダル動作の習得レベルを示すためのシステムであって、
    前記サーバが、
    複数のセンサから複数のデータを取得し、
    前記取得された複数のデータが各々のデータに対して予め定義された条件を満たすかどうかを判定し、
    前記取得された複数のデータのうち第１のデータが第１の条件を満たし第２のデータが第２の条件を満たすと、前記第１のデータが前記第１の条件を満たしている第１の度合いと前記第２のデータが前記第２の条件を満たしている第２の度合いとを算出し、
    前記第１の度合いおよび前記第２の度合いに基づいて前記習得レベルを示す数値を算出し、
    前記算出した数値を前記機器に送信し、
    前記機器が、
    前記サーバから送信された前記算出した数値を受信し、
    前記受信した数値をディスプレイに出力する
    ように構成されたことを特徴とするシステム。
26. 前記サーバが、
    前記算出した数値に基づいて画像データを作成し、
    前記作成した画像データを前記機器に送信し、
    前記機器が、
    前記サーバから送信された画像データを受信し、
    前記受信した画像データに基づく画像を前記ディスプレイに出力する
    ようにさらに構成されたことを特徴とする請求項２５のシステム。
27. マルチモーダル動作の習得レベルを示すための方法であって、
    中央処理装置によって、
    複数のセンサから複数のデータを取得するステップと、
    前記取得された複数のデータが各々のデータに対して予め定義された条件を満たすかどうかを判定するステップと、
    前記取得された複数のデータのうち第１のデータが第１の条件を満たし第２のデータが第２の条件を満たすと、前記第１のデータが前記第１の条件を満たしている第１の度合いと前記第２のデータが前記第２の条件を満たしている第２の度合いとを算出するステップと、
    前記第１の度合いおよび前記第２の度合いに基づいて前記習得レベルを示す数値を算出するステップと、
    前記算出した数値をディスプレイに出力するステップと
    を備えることを特徴とする方法。
28. 前記中央処理装置によって、
    前記算出した数値に基づいて画像データを作成するステップと、
    前記作成した画像データに基づく画像を前記ディスプレイに出力するステップと
    をさらに備えたことを特徴とする請求項２７の方法。
29. 前記中央処理装置は、情報端末に含まれることを特徴とする請求項２７の方法。

Images