JP2014155693A - 動作情報処理装置及びプログラム - Google Patents

Abstract

【課題】リハビリテーションの質を向上させること。
【解決手段】実施形態に係る動作情報処理装置１００は、取得部と、出力部１１０とを備える。取得部は、人物の動作を表す動作情報を取得する。出力部は、前記取得部によって動作情報を取得された人物に関して、リハビリテーションの係る動作を支援する支援情報を出力する。
【選択図】図１

Description

本発明の実施形態は、動作情報処理装置及びプログラムに関する。

従来、リハビリテーション（rehabilitation）においては、疾病や外傷、老化現象などの様々な原因により生じた心身の障害や、先天的な障害を有する者がより良い生活を送ることを目的として、多数の専門家による連携した支援が行われている。例えば、リハビリテーションは、リハビリテーション専門医、リハビリテーション看護師、理学療法士、作業療法士、言語聴覚士、臨床心理士、義肢装具士、ソーシャルワーカーなどの多数の専門家によって連携した支援が行われている。

一方、近年、人物や物体の動きをデジタル的に記録するモーションキャプチャ（motion capture）技術の開発が進んでいる。モーションキャプチャ技術の方式としては、例えば、光学式、機械式、磁気式、カメラ式などが知られている。一例を挙げると、人物にマーカを装着させて、カメラなどのトラッカーによってマーカを検出し、検出したマーカを処理することにより人物の動きをデジタル的に記録するカメラ方式が知られている。また、マーカ及びトラッカーを用いない方式としては、赤外線センサを利用して、センサから人物までの距離を計測し、該人物の大きさや骨格のさまざまな動きを検出することで人物の動きをデジタル的に記録する方式が知られている。このような方式を利用したセンサとしては、例えば、Ｋｉｎｅｃｔ（登録商標）が知られている。

特開平９−５６６９７号公報

本発明が解決しようとする課題は、リハビリテーションの質を向上させることができる動作情報処理装置及びプログラムを提供することである。

実施形態に係る動作情報処理装置は、取得部と、出力部とを備える。取得部は、人物の動作を表す動作情報を取得する。出力部は、前記取得部によって動作情報を取得された人物に関して、リハビリテーションの係る動作を支援する支援情報を出力する。

図１は、第１の実施形態に係る動作情報処理装置の構成例を示すブロック図である。 図２Ａは、第１の実施形態に係る動作情報生成部の処理を説明するための図である。 図２Ｂは、第１の実施形態に係る動作情報生成部の処理を説明するための図である。 図２Ｃは、第１の実施形態に係る動作情報生成部の処理を説明するための図である。 図３は、第１の実施形態に係る動作情報生成部によって生成される骨格情報の一例を示す図である。 図４は、第１の実施形態に係る動作情報処理装置の詳細な構成例を示すブロック図である。 図５は、第１の実施形態に係る対象者情報記憶部によって記憶される対象者情報の一例を示す図である。 図６は、第１の実施形態に係るルール情報記憶部によって記憶されるルール情報の一例を示す図である。 図７は、第１の実施形態に係る判定部による判定処理の一例を説明するための図である。 図８は、第１の実施形態に係る動作情報処理装置による処理の手順を示すフローチャートである。 図９は、第２の実施形態に係る判定部による処理の一例を説明するための図である。 図１０は、第３の実施形態に係る判定部による判定処理の一例を説明するための図である。 図１１は、距離画像収集部によって撮影される距離画像の一例を示す図である。 図１２は、第５の実施形態に係る動作情報処理装置の詳細な構成例を示すブロック図である。 図１３Ａは、対象者動作特徴記憶部に記憶される情報の一例を示す図である。 図１３Ｂは、介助者動作特徴記憶部に記憶される情報の一例を示す図である。 図１３Ｃは、対象者画像特徴記憶部に記憶される情報の一例を示す図である。 図１３Ｄは、介助者画像特徴記憶部に記憶される情報の一例を示す図である。 図１４Ａは、第１モード判定記憶部に記憶される情報の一例を示す図である。 図１４Ｂは、第２モード判定記憶部に記憶される情報の一例を示す図である。 図１５は、推奨介助状態記憶部に記憶される情報の一例を示す図である。 図１６Ａは、人物判定部が人物の位置に応じて判定する処理を説明するための図である。 図１６Ｂは、人物判定部が識別マーカを用いて判定する処理を説明するための図である。 図１７Ａは、モード判定部の処理を説明するための図である。 図１７Ｂは、モード判定部の処理を説明するための図である。 図１７Ｃは、モード判定部の処理を説明するための図である。 図１７Ｄは、モード判定部の処理を説明するための図である。 図１７Ｅは、モード判定部の処理を説明するための図である。 図１８Ａは、検出部の処理を説明するための図である。 図１８Ｂは、検出部の処理を説明するための図である。 図１８Ｃは、検出部の処理を説明するための図である。 図１９Ａは、出力判定部の処理を説明するための図である。 図１９Ｂは、出力判定部の処理を説明するための図である。 図２０は、第５の実施形態に係る動作情報処理装置の処理手順の一例を説明するためのフローチャートである。 図２１は、第５の実施形態に係る人物判定処理の処理手順の一例を説明するためのフローチャートである。 図２２は、第５の実施形態に係る動作情報処理装置の効果を説明するための図である。 図２３は、介助用ベルトを用いて対象者の立ち上がり動作を助ける場合を説明するための図である。 図２４は、第６の実施形態に係る推奨介助状態記憶部に記憶される情報の一例を示す図である。 図２５は、第７の実施形態に係る動作情報処理装置の全体構成の構成例を示す図である。 図２６は、第７の実施形態に係る動作情報処理装置の構成例を示すブロック図である。 図２７は、第７の実施形態に係る出力制御部の処理を説明するための図である。 図２８は、第８の実施形態に係る出力制御部の処理を説明するための図である。 図２９は、サービス提供装置に適用される場合の一例を説明するための図である。

以下、図面を参照して、実施形態に係る動作情報処理装置及びプログラムを説明する。なお、以下で説明する動作情報処理装置は、動作情報処理装置単体として用いられてもよく、或いは、例えば、カルテシステムや、リハビリ部門システムなどのシステムに組み込まれて用いられる場合であってもよい。

（第１の実施形態）
図１は、第１の実施形態に係る動作情報処理装置１００の構成例を示すブロック図である。第１の実施形態に係る動作情報処理装置１００は、例えば、医療機関や自宅、職場等において行われるリハビリテーションを支援する装置である。ここで、「リハビリテーション」とは、障害、慢性疾患、老年病など、治療期間が長期にわたる患者の潜在能力を高めて、生活機能ひいては、社会的機能を回復、促進するための技術や方法を指す。かかる技術や方法としては、例えば、生活機能、社会的機能を回復、促進するための機能訓練などが含まれる。ここで、機能訓練としては、例えば、歩行訓練や関節可動域訓練などが挙げられる。また、リハビリテーションの対象となる者を「対象者」と表記する。この対象者は、例えば、病人やけが人、高齢者、障害者等である。また、リハビリテーションが行われる際に、対象者を介助する者を「介助者」と表記する。この介助者は、例えば、医療機関に従事する医師、理学療法士、看護師等の医療従事者や、対象者を自宅で介護する介護士、家族、友人等である。また、リハビリテーションは、「リハビリ」とも略記する。

図１に示すように、第１の実施形態において、動作情報処理装置１００は、動作情報収集部１０に接続される。

動作情報収集部１０は、リハビリテーションが行われる空間における人物や物体等の動作を検知し、人物や物体等の動作を表す動作情報を収集する。なお、動作情報については、後述の動作情報生成部１４の処理を説明する際に詳述する。また、動作情報収集部１０としては、例えば、Ｋｉｎｅｃｔ（登録商標）が用いられる。

図１に示すように、動作情報収集部１０は、カラー画像収集部１１と、距離画像収集部１２と、音声認識部１３と、動作情報生成部１４とを有する。なお、図１に示す動作情報収集部１０の構成は、あくまでも一例であり、実施形態はこれに限定されるものではない。

カラー画像収集部１１は、リハビリテーションが行われる空間における人物や物体等の被写体を撮影し、カラー画像情報を収集する。例えば、カラー画像収集部１１は、被写体表面で反射される光を受光素子で検知し、可視光を電気信号に変換する。そして、カラー画像収集部１１は、その電気信号をデジタルデータに変換することにより、撮影範囲に対応する１フレームのカラー画像情報を生成する。この１フレーム分のカラー画像情報には、例えば、撮影時刻情報と、この１フレームに含まれる各画素にＲＧＢ（Red Green Blue）値が対応付けられた情報とが含まれる。カラー画像収集部１１は、次々に検知される可視光から連続する複数フレームのカラー画像情報を生成することで、撮影範囲を動画撮影する。なお、カラー画像収集部１１によって生成されるカラー画像情報は、各画素のＲＧＢ値をビットマップに配置したカラー画像として出力されても良い。また、カラー画像収集部１１は、受光素子として、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）を有する。

距離画像収集部１２は、リハビリテーションが行われる空間における人物や物体等の被写体を撮影し、距離画像情報を収集する。例えば、距離画像収集部１２は、赤外線を周囲に照射し、照射波が被写体表面で反射された反射波を受光素子で検知する。そして、距離画像収集部１２は、照射波とその反射波との位相差や、照射から検知までの時間に基づいて、被写体と距離画像収集部１２との距離を求め、撮影範囲に対応する１フレームの距離画像情報を生成する。この１フレーム分の距離画像情報には、例えば、撮影時刻情報と、撮影範囲に含まれる各画素に、その画素に対応する被写体と距離画像収集部１２との距離が対応付けられた情報とが含まれる。距離画像収集部１２は、次々に検知される反射波から連続する複数フレームの距離画像情報を生成することで、撮影範囲を動画撮影する。なお、距離画像収集部１２によって生成される距離画像情報は、各画素の距離に応じた色の濃淡をビットマップに配置した距離画像として出力されても良い。また、距離画像収集部１２は、受光素子として、例えば、ＣＭＯＳやＣＣＤを有する。この受光素子は、カラー画像収集部１１で用いられる受光素子と共用されても良い。また、距離画像収集部１２によって算出される距離の単位は、例えば、メートル［ｍ］である。

音声認識部１３は、周囲の音声を集音し、音源の方向特定及び音声認識を行う。音声認識部１３は、複数のマイクを備えたマイクアレイを有し、ビームフォーミングを行う。ビームフォーミングは、特定の方向からの音声を選択的に集音する技術である。例えば、音声認識部１３は、マイクアレイを用いたビームフォーミングによって、音源の方向を特定する。また、音声認識部１３は、既知の音声認識技術を用いて、集音した音声から単語を認識する。すなわち、音声認識部１３は、例えば、音声認識技術によって認識された単語、その単語が発せられた方向及びその単語を認識した時刻が対応付けられた情報を、音声認識結果として生成する。

動作情報生成部１４は、人物や物体等の動作を表す動作情報を生成する。この動作情報は、例えば、人物の動作（ジェスチャー）を複数の姿勢（ポーズ）の連続として捉えることにより生成される。概要を説明すると、動作情報生成部１４は、まず、人体パターンを用いたパターンマッチングにより、距離画像収集部１２によって生成される距離画像情報から、人体の骨格を形成する各関節の座標を得る。距離画像情報から得られた各関節の座標は、距離画像の座標系(以下、「距離画像座標系」と呼ぶ)で表される値である。このため、動作情報生成部１４は、次に、距離画像座標系における各関節の座標を、リハビリテーションが行われる３次元空間の座標系（以下、「世界座標系」と呼ぶ）で表される値に変換する。この世界座標系で表される各関節の座標が、１フレーム分の骨格情報となる。また、複数フレーム分の骨格情報が、動作情報である。以下、第１の実施形態に係る動作情報生成部１４の処理を具体的に説明する。

図２Ａから図２Ｃは、第１の実施形態に係る動作情報生成部１４の処理を説明するための図である。図２Ａには、距離画像収集部１２によって生成される距離画像の一例を示す。なお、図２Ａにおいては、説明の便宜上、線画で表現された画像を示すが、実際の距離画像は、距離に応じた色の濃淡で表現された画像等である。この距離画像において、各画素は、距離画像の左右方向における「画素位置Ｘ」と、距離画像の上下方向における「画素位置Ｙ」と、当該画素に対応する被写体と距離画像収集部１２との「距離Ｚ」とを対応付けた３次元の値を有する。以下では、距離画像座標系の座標の値を、この３次元の値（Ｘ，Ｙ，Ｚ）で表記する。

第１の実施形態において、動作情報生成部１４は、様々な姿勢に対応する人体パターンを、例えば、学習により予め記憶している。動作情報生成部１４は、距離画像収集部１２によって距離画像情報が生成されるごとに、生成された各フレームの距離画像情報を取得する。そして、動作情報生成部１４は、取得した各フレームの距離画像情報に対して人体パターンを用いたパターンマッチングを行う。

ここで、人体パターンについて説明する。図２Ｂには、人体パターンの一例を示す。第１の実施形態において、人体パターンは、距離画像情報とのパターンマッチングに用いられるパターンであるので、距離画像座標系で表現され、また、距離画像に描出される人物と同様、人体の表面の情報（以下、「人体表面」と呼ぶ）を有する。例えば、人体表面は、その人物の皮膚や衣服の表面に対応する。更に、人体パターンは、図２Ｂに示すように、人体の骨格を形成する各関節の情報を有する。すなわち、人体パターンにおいて、人体表面と各関節との相対的な位置関係は既知である。

図２Ｂに示す例では、人体パターンは、関節２ａから関節２ｔまでの２０点の関節の情報を有する。このうち、関節２ａは、頭部に対応し、関節２ｂは、両肩の中央部に対応し、関節２ｃは、腰に対応し、関節２ｄは、臀部の中央部に対応する。また、関節２ｅは、右肩に対応し、関節２ｆは、右肘に対応し、関節２ｇは、右手首に対応し、関節２ｈは、右手に対応する。また、関節２ｉは、左肩に対応し、関節２ｊは、左肘に対応し、関節２ｋは、左手首に対応し、関節２ｌは、左手に対応する。また、関節２ｍは、右臀部に対応し、関節２ｎは、右膝に対応し、関節２ｏは、右足首に対応し、関節２ｐは、右足の足根に対応する。また、関節２ｑは、左臀部に対応し、関節２ｒは、左膝に対応し、関節２ｓは、左足首に対応し、関節２ｔは、左足の足根に対応する。

なお、図２Ｂでは、人体パターンが２０点の関節の情報を有する場合を説明したが、実施形態はこれに限定されるものではなく、関節の位置及び数は操作者が任意に設定して良い。例えば、四肢の動きの変化のみを捉える場合には、関節２ａから関節２ｄまでのうち、関節２ｂ及び関節２ｃの情報は取得しなくても良い。また、右手の動きの変化を詳細に捉える場合には、関節２ｈのみならず、右手の指の関節を新たに設定して良い。なお、図２Ｂの関節２ａ、関節２ｈ、関節２ｌ、関節２ｐ、関節２ｔは、骨の末端部分であるためいわゆる関節とは異なるが、骨の位置及び向きを表す重要な点であるため、説明の便宜上、ここでは関節として説明する。

動作情報生成部１４は、かかる人体パターンを用いて、各フレームの距離画像情報とのパターンマッチングを行う。例えば、動作情報生成部１４は、図２Ｂに示す人体パターンの人体表面と、図２Ａに示す距離画像とをパターンマッチングすることで、距離画像情報から、ある姿勢の人物を抽出する。こうして、動作情報生成部１４は、距離画像に描出された人物の人体表面の座標を得る。また、上述したように、人体パターンにおいて、人体表面と各関節との相対的な位置関係は既知である。このため、動作情報生成部１４は、距離画像に描出された人物の人体表面の座標から、当該人物内の各関節の座標を算出する。こうして、図２Ｃに示すように、動作情報生成部１４は、距離画像情報から、人体の骨格を形成する各関節の座標を取得する。なお、ここで得られる各関節の座標は、距離座標系の座標である。

なお、動作情報生成部１４は、パターンマッチングを行う際、各関節の位置関係を表す情報を補助的に用いても良い。各関節の位置関係を表す情報には、例えば、関節同士の連結関係（例えば、「関節２ａと関節２ｂとが連結」等）や、各関節の可動域が含まれる。関節は、２つ以上の骨を連結する部位である。姿勢の変化に応じて骨と骨とがなす角は変化するものであり、また、関節に応じてその可動域は異なる。例えば、可動域は、各関節が連結する骨同士がなす角の最大値及び最小値等で表される。例えば、動作情報生成部１４は、人体パターンを学習する際に、各関節の可動域も学習し、各関節に対応付けてこれを記憶する。

続いて、動作情報生成部１４は、距離画像座標系における各関節の座標を、世界座標系で表される値に変換する。世界座標系とは、リハビリテーションが行われる３次元空間の座標系であり、例えば、動作情報収集部１０の位置を原点とし、水平方向をｘ軸、鉛直方向をｙ軸、ｘｙ平面に直交する方向をｚ軸とする座標系である。なお、このｚ軸方向の座標の値を「深度」と呼ぶことがある。

ここで、距離画像座標系から世界座標系へ変換する処理について説明する。第１の実施形態において、動作情報生成部１４は、距離画像座標系から世界座標系へ変換するための変換式を予め記憶しているものとする。例えば、この変換式は、距離画像座標系の座標、及び当該座標に対応する反射光の入射角を入力として、世界座標系の座標を出力する。例えば、動作情報生成部１４は、ある関節の座標（Ｘ１，Ｙ１，Ｚ１）、及び、当該座標に対応する反射光の入射角をこの変換式に入力して、ある関節の座標（Ｘ１，Ｙ１，Ｚ１）を世界座標系の座標（ｘ１，ｙ１，ｚ１）に変換する。なお、距離画像座標系の座標と、反射光の入射角との対応関係は既知であるので、動作情報生成部１４は、座標（Ｘ１，Ｙ１，Ｚ１）に対応する入射角を変換式に入力することができる。また、ここでは、動作情報生成部１４が距離画像座標系の座標を世界座標系の座標に変換する場合を説明したが、世界座標系の座標を距離画像座標系の座標に変換することも可能である。

そして、動作情報生成部１４は、この世界座標系で表される各関節の座標から骨格情報を生成する。図３は、動作情報生成部１４によって生成される骨格情報の一例を示す図である。各フレームの骨格情報は、当該フレームの撮影時刻情報と、各関節の座標とを含む。例えば、動作情報生成部１４は、図３に示すように、関節識別情報と座標情報とを対応付けた骨格情報を生成する。なお、図３において、撮影時刻情報は図示を省略する。関節識別情報は、関節を識別するための識別情報であり、予め設定されている。例えば、関節識別情報「２ａ」は、頭部に対応し、関節識別情報「２ｂ」は、両肩の中央部に対応する。他の関節識別情報についても同様に、各関節識別情報は、それぞれ対応する関節を示す。また、座標情報は、各フレームにおける各関節の座標を世界座標系で示す。

図３の１行目には、関節識別情報「２ａ」と、座標情報「（ｘ１，ｙ１，ｚ１）」とが対応付けられている。つまり、図３の骨格情報は、あるフレームにおいて頭部が座標（ｘ１，ｙ１，ｚ１）の位置に存在することを表す。また、図３の２行目には、関節識別情報「２ｂ」と、座標情報「（ｘ２，ｙ２，ｚ２）」とが対応付けられている。つまり、図３の骨格情報は、あるフレームにおいて両肩の中央部が座標（ｘ２，ｙ２，ｚ２）の位置に存在することを表す。また、他の関節についても同様に、あるフレームにおいてそれぞれの関節がそれぞれの座標で表される位置に存在することを表す。

このように、動作情報生成部１４は、距離画像収集部１２から各フレームの距離画像情報を取得するごとに、各フレームの距離画像情報に対してパターンマッチングを行い、距離画像座標系から世界座標系に変換することで、各フレームの骨格情報を生成する。そして、動作情報生成部１４は、生成した各フレームの骨格情報を、動作情報処理装置１００へ出力し、後述の動作情報記憶部へ格納する。

なお、動作情報生成部１４の処理は、上述した手法に限られるものではない。例えば、上述では、動作情報生成部１４が人体パターンを用いてパターンマッチングを行う手法を説明したが、実施形態はこれに限られるものではない。例えば、人体パターンに替えて、若しくは人体パターンとともに、部位別のパターンを用いてパターンマッチングを行う手法でも良い。

また、例えば、上述では、動作情報生成部１４が距離画像情報から各関節の座標を得る手法を説明したが、実施形態はこれに限られるものではない。例えば、動作情報生成部１４が、距離画像情報とともにカラー画像情報を用いて各関節の座標を得る手法でも良い。この場合、例えば、動作情報生成部１４は、カラー画像の座標系で表現された人体パターンとカラー画像情報とでパターンマッチングを行い、カラー画像情報から人体表面の座標を得る。このカラー画像の座標系には、距離画像座標系でいう「距離Ｚ」の情報は含まれない。そこで、動作情報生成部１４は、例えば、この「距離Ｚ」の情報については距離画像情報から得て、これら２つの情報を用いた計算処理によって、各関節の世界座標系の座標を得る。

また、動作情報生成部１４は、カラー画像収集部１１によって生成されたカラー画像情報、距離画像収集部１２によって生成された距離画像情報及び音声認識部１３によって出力された音声認識結果を、必要に応じて動作情報処理装置１００へ適宜出力し、後述の動作情報記憶部へ格納する。なお、カラー画像情報の画素位置及び距離画像情報の画素位置は、カラー画像収集部１１及び距離画像収集部１２の位置及び撮影方向に応じて予め対応付け可能である。このため、カラー画像情報の画素位置及び距離画像情報の画素位置は、動作情報生成部１４によって算出される世界座標系とも対応付けが可能である。更に、この対応付けと距離画像収集部１２により算出される距離［ｍ］を用いることで、身長や体の各部の長さ（腕の長さや腹部の長さ）を求めたり、カラー画像上で指定された２ピクセル間の距離を求めたりすることが可能である。また、同様に、カラー画像情報の撮影時刻情報及び距離画像情報の撮影時刻情報も、予め対応付け可能である。また、動作情報生成部１４は、音声認識結果と距離画像情報とを参照し、ある時刻に音声認識された単語が発せられた方向の付近に関節２ａがあれば、その関節２ａを含む人物が発した単語として出力可能である。更に、動作情報生成部１４は、各関節の位置関係を表す情報についても、必要に応じて動作情報処理装置１００へ適宜出力し、後述の動作情報記憶部へ格納する。

なお、ここでは、動作情報収集部１０によって一人の人物の動作が検知される場合を説明したが、実施形態はこれに限定されるものではない。動作情報収集部１０の撮影範囲に含まれていれば、動作情報収集部１０は、複数人の人物の動作を検知しても良い。なお、同一フレームの距離画像情報に複数人の人物が撮影される場合には、動作情報収集部１０は、同一フレームの距離画像情報から生成される複数人の人物の骨格情報を対応付けて、これを動作情報として動作情報処理装置１００へ出力する。

また、動作情報収集部１０の構成は、上記の構成に限定されるものではない。例えば、光学式、機械式、磁気式等、他のモーションキャプチャによって人物の動作を検出することで動作情報を生成する場合には、動作情報収集部１０は、必ずしも距離画像収集部１２を有していなくても良い。かかる場合、動作情報収集部１０は、モーションセンサとして、人物の動作を検知するために人体に装着させるマーカと、マーカを検出するセンサとを有する。そして、動作情報収集部１０は、モーションセンサを用いて人物の動作を検知して動作情報を生成する。また、動作情報収集部１０は、カラー画像収集部１１によって撮影した画像に含まれるマーカの位置を用いて、カラー画像情報の画素位置と動作情報の座標とを対応付けた上で、必要に応じて動作情報処理装置１００へ適宜出力する。また、例えば、動作情報収集部１０は、音声認識結果を動作情報処理装置１００へ出力しない場合には、音声認識部１３を有していなくても良い。

更に、上述した実施形態において、動作情報収集部１０は、骨格情報として世界座標系の座標を出力したが、実施形態はこれに限られるものではない。例えば、動作情報収集部１０は、変換前の距離画像座標系の座標を出力し、距離画像座標系から世界座標系への変換は、必要に応じて、動作情報処理装置１００側で行ってもよい。

図１の説明に戻る。動作情報処理装置１００は、動作情報収集部１０から出力される動作情報を用いて、リハビリテーションを支援するための処理を行う。動作情報処理装置１００は、例えば、コンピュータ、ワークステーション等の情報処理装置であり、図１に示すように、出力部１１０と、入力部１２０と、記憶部１３０と、制御部１４０とを有する。

出力部１１０は、リハビリテーションを支援するための各種情報を出力する。例えば、出力部１１０は、動作情報処理装置１００を操作する操作者が入力部１２０を用いて各種要求を入力するためのＧＵＩ（Graphical User Interface）を表示したり、動作情報処理装置１００において生成された出力画像等を表示したり、或いは警告音を出力したりする。例えば、出力部１１０は、モニタ、スピーカー、ヘッドフォン、ヘッドセットのヘッドフォン部分等である。また、出力部１１０は、メガネ型ディスプレイやヘッドマウントディスプレイ等、利用者の身体に装着させる方式のディスプレイであっても良い。

入力部１２０は、リハビリテーションを支援するための各種情報の入力を受け付ける。例えば、入力部１２０は、動作情報処理装置１００の操作者から各種要求の入力を受け付け、受け付けた各種要求を動作情報処理装置１００に転送する。例えば、入力部１２０は、マウス、キーボード、タッチコマンドスクリーン、トラックボール、マイク、ヘッドセットのマイク部分等である。また、入力部１２０は、血圧計、心拍計、体温計等の生体情報を取得するセンサであっても良い。

記憶部１３０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、ハードディスク装置や光ディスク装置等の記憶装置である。また、制御部１４０は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路、或いはＣＰＵ（Central Processing Unit）が所定のプログラムを実行することで実現することができる。

以上、第１の実施形態に係る動作情報処理装置１００の構成について説明した。かかる構成のもと、第１の実施形態に係る動作情報処理装置１００は、動作情報収集部１０によって収集された人物の動作情報を解析することでリハビリを支援し、リハビリの質を向上させる。具体的には、第１の実施形態に係る動作情報処理装置１００は、人物の動作を表す動作情報を取得する取得部と、取得部によって動作情報を取得された人物に関して、リハビリに係る動作を支援する支援情報を出力する出力部とを備えることによりリハビリの質を向上させる。

ここで、本願に係る動作情報処理装置１００は、リハビリに関わる人物の動作情報を取得して、当該人物に対して支援情報を出力するが、リハビリにはリハビリの対象となる対象者と、対象者を介助する介助者とが関わる。そこで、まず、第１の実施形態〜第４の実施形態において対象者に対する支援を行う場合について説明した後、第５の実施形態〜第９の実施形態において介助者に対する支援を行う場合について説明する。

第１の実施形態に係る動作情報処理装置１００は、上述した構成のもと、対象者に対する支援を行う。具体的には、第１の実施形態に係る動作情報処理装置１００は、動作情報収集部１０によって収集されたリハビリを実行する対象者の動作情報を解析することで、対象者のリハビリを支援する。

ここで、本実施形態に係る動作情報処理装置１００は、以下、詳細に説明する処理により、人為的な支援が無くても効果的なリハビリを行うことを可能にする。現在、リハビリの運動療法においては、理学療法士や介護士などの介助者の支援のもと、動作訓練や歩行訓練、関節可動域訓練、筋肉増強訓練などが実行される。このような運動療法は、リハビリテーション専門医などの適切な指示をもとに訓練メニューが決められる。そして、理学療法士や介護士などの介助者が、対象者に付いて指示をしながら、決められた訓練メニューを実行するように促す。

ここで、リハビリの訓練メニューにおいては、訓練種別ごとに規則（ルール）が設定される場合がある。例えば、足に障害を有する対象者によって実行される歩行訓練のうちの階段歩行訓練では、「階段を上るときには障害を有していない方の足から踏み出し、階段を下りるときには障害を有する方の足から踏み出す」というルールが設定される。また、例えば、腕に障害を有する対象者によって実行される関節可動域訓練では、「腕を肩の高さまで上げて、手首を回す」などのルールが設定される。このようなルールは、理学療法士や介護士などの介助者が対象者に付いて注意を促しながらリハビリを行う場合には遵守されうる。

しかしながら、対象者が一人で訓練メニューを実行する場合には、このようなルールが守られない場合がある。近年、リハビリを支援する介助者の人数が大幅に不足していることも指摘されており、リハビリに対する人為的な支援がなくても、正しく、効果の高いリハビリが行えるようなリハビリ支援方法が求められている。そこで、第１の実施形態に係る動作情報処理装置１００は、動作情報収集部１０によって収集された動作情報を用いた処理により、人為的な支援が無くても効果的なリハビリを行うことを可能にする。

図４は、第１の実施形態に係る動作情報処理装置の詳細な構成例を示すブロック図である。図４に示すように、動作情報処理装置１００においては、例えば、記憶部１３０が動作情報記憶部１３０１と、対象者情報記憶部１３０２と、ルール情報記憶部１３０３とを備える。

動作情報記憶部１３０１は、動作情報収集部１０によって収集された各種情報を記憶する。具体的には、動作情報記憶部１３０１は、動作情報生成部１４によって生成された動作情報を記憶する。より具体的には、動作情報記憶部１３０１１は、動作情報生成部１４によって生成されたフレームごとの骨格情報を記憶する。ここで、動作情報記憶部１３０１は、動作情報生成部１４によって出力されたカラー画像情報、距離画像情報及び音声認識結果をフレームごとにさらに対応付けて記憶することも可能である。

対象者情報記憶部１３０２は、リハビリを実行する対象者の各種情報を記憶する。具体的には、対象者情報記憶部１３０２は、対象者の検査データや、障害箇所の情報などを含む対象者情報を記憶する。ここで、対象者情報記憶部１３０２によって記憶される対象者情報は、医療情報システムや、個人の健康情報記録（ＰＨＲ：Personal Health Record）などから取得される。医療情報システムは、院内で利用される情報システムであり、例えば、電子カルテシステム、レセプト電算処理システム、オーダリングシステム、受付（個人、資格認証）システム、診療支援システムなどが挙げられる。また、ＰＨＲは、例えば、医療機関、健診機関、スポーツジム及び家庭などに散在している医療情報、保健情報及び健康情報を集約して管理される記録である。ＰＨＲは、例えば、ネットワーク上に構築された管理システムを用いて個人が主体となって管理される。

例えば、動作情報処理装置１００がネットワークを介して上述した医療情報システムと接続されている場合には、制御部１４０が入力部１２０を介して動作情報処理装置１００の操作者から対象者情報の取得要求を受付けて、医療情報システムから対象者情報を取得し、取得した対象者情報を対象者情報記憶部１３０２に格納する。ここで、入力部１２０は、対象者情報の取得要求として対象者の氏名や氏名番号などの情報を受付ける。

一方、動作情報処理装置１００がネットワークを介して上述した医療情報システムと接続されていない場合には、操作者が、例えば、外付けハードディスク、フラッシュメモリ（Flash Memory）、メモリカード（Memory Card）フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどの可搬性記憶媒体を用いて医療情報システムから動作情報処理装置１００に対象者情報を移動させることも可能である。または、対象者情報を動作情報処理装置１００に移動させず、上述した可搬性記憶媒体を動作情報処理装置１００に接続した状態で対象者情報記憶部１３０２として用いてもよい。なお、動作情報処理装置１００がネットワークを介して上述した医療情報システムと接続されている場合に、可搬性記憶媒体を用いて医療情報システムから動作情報処理装置１００に対象者情報を移動させることも可能である。以下、対象者情報の一例について説明する。

図５は、第１の実施形態に係る対象者情報記憶部１３０２によって記憶される対象者情報の一例を示す図である。図５においては、構造化された対象者情報の一例を示す。具体的には、図５の（Ａ）においては、対象者ごとに記憶される患者データの例を示す。また、図５の（Ｂ）においては、図５の（Ａ）に示す対象者ごとの患者データにそれぞれ含まれる検査項目の例を示す。また、図５の（Ｃ）〜（Ｅ）においては、図５の（Ｂ）に示す検査項目に含まれる障害箇所情報の例をそれぞれ示す。

例えば、図５の（Ａ）に示すように、対象者情報記憶部１３０２は、対象者ごとに、氏名、氏名番号、所属、生年月日、性別、検査項目などが対応付けられた患者データを記憶する。図５の（Ａ）に示す患者データは、対象者を特定するための情報である。「氏名」は、対象者の氏名を示し、「氏名番号」は、対象者を一意に特定するための識別子を示し、「所属」は、対象者の所属科を示し、「生年月日」は、対象者の生年月日を示し、「性別」は、対象者の性別を示し、「検査項目」は、対象者が受けた検査項目を記述する欄である。

そして、例えば、図５の（Ｂ）に示すように、対象者情報記憶部１３０２は、年月日、機関名、検査データ、所見データ、障害箇所情報などを対応付けた検査項目を記憶する。図５の（Ｂ）に示す「年月日」は、対象者が検査を受信した年月日を示し、「機関名」は、対象者が検査を受信した医療機関名を示し、「検査データ」は、対象者が受信した検査の数値データを示し、「所見データ」は、対象者が受信した検査に対する医師の所見を示し、「障害箇所情報」は、対象者が有する障害の箇所の情報を示す。

ここで、例えば、「検査データ」には、図５の（Ｂ）に示すように、身長、体重、白血球数、中性脂肪数値などが含まれ、各項目について、検査結果の数値が記録される。また、「所見データ」には、図５の（Ｂ）に示すように、心電図、胸部Ｘ線、超音波検査などが含まれ、各項目について、例えば、「異常なし」や、「評価Ａ」、「評価Ｂ」などの所見データが記録される。

そして、図５の（Ｂ）に示す障害箇所情報には、例えば、図５の（Ｃ）〜（Ｅ）に示すような、障害箇所情報が含まれる。例えば、図５の（Ｃ）に示すように、項目と値とを対応付けて構造化された障害箇所情報が含まれる。ここで、「項目」は、どのような行為に対する障害かを示し、「値」は、身体における障害箇所を示す。例えば、図５の（Ｃ）に示す「項目：歩行障害箇所、値：左膝」の情報は、歩行に関して、左膝が障害箇所であることを意味する。

また、例えば、図５の（Ｄ）に示すように、シェーマ情報が障害箇所情報として含まれる。例えば、図５の（Ｄ）に示すように、人体全身のシェーマの左膝にマークされたシェーマ情報が含まれる。

また、例えば、図５の（Ｅ）に示すように、フリーテキストの医療情報が障害箇所情報として含まれる。例えば、図５の（Ｅ）に示すように、カルテのコメント欄に記載されるようなフリーテキストの医療情報「半年前から左膝に痛みが出始めている。最近では、歩くときや階段の昇り降りに痛みを感じている。」が含まれる。

図４に戻って、ルール情報記憶部１３０３は、リハビリテーションにおける対象者に関する規則情報を記憶する。具体的には、ルール情報記憶部１３０３は、リハビリの訓練種別ごとに設定された規則（ルール）の情報であるルール情報を記憶する。図６は、第１の実施形態に係るルール情報記憶部１３０３によって記憶されるルール情報の一例を示す図である。ここで、図６においては、歩行訓練における訓練種別ごとにルールが対応付けられたルール情報を示す。

例えば、図６に示すように、ルール情報記憶部１３０３は、訓練種別と、歩行条件と、歩行正否内容とが対応付けられたルール情報を記憶する。一例を挙げると、図６に示すように、ルール情報記憶部１３０３は、「訓練種別：階段歩行、歩行条件：上り、歩行正否内容：歩行障害箇所を有する側の膝＜歩行障害箇所を有さない側の膝」とするルール情報を記憶する。かかる情報は、「階段歩行」の訓練において、「上り」では、「歩行障害箇所を有する側の膝」が「歩行障害箇所を有さない側の膝」よりも高くならないようにすることを意味する。すなわち、「歩行障害箇所を有する側の膝」が「歩行障害箇所を有さない側の膝」よりも高い位置になった場合には、正しい歩行ではないことを意味する。

これは、例えば、階段を上る際に、常に「歩行障害箇所を有さない側の足」から踏み出した場合、「歩行障害箇所を有さない側の膝」が「歩行障害箇所を有さない側の膝」よりも高くなることはないという事実をもとに設定されたルール情報である。言い換えると、「歩行障害箇所を有さない側の膝」が「歩行障害箇所を有さない側の膝」よりも高くならないように階段を上れば、常に「歩行障害箇所を有さない側の足」から踏み出していることを意味する。

同様に、ルール情報記憶部１３０３は、図６に示すように、「訓練種別：階段歩行、歩行条件：下り、歩行正否内容：歩行障害箇所を有さない側の膝＞歩行障害箇所を有する側の膝」とするルール情報を記憶する。かかる情報は、「階段歩行」の訓練において、「下り」では、「歩行障害箇所を有さない側の膝」が「歩行障害箇所を有する側の膝」よりも低くならないようにすることを意味する。すなわち、「歩行障害箇所を有さない側の膝」が「歩行障害箇所を有する側の膝」よりも低い位置になった場合には、正しい歩行ではないことを意味する。

なお、図６に示すルール情報は、あくまでも歩行訓練の一例を示す。すなわち、ルール情報記憶部１３０３は、動作訓練や、関節可動域訓練、筋肉増強訓練などの各訓練の訓練種別ごとに、種々のルール情報を記憶する。例えば、ルール情報記憶部１３０３は、腕に障害を有する対象者によって実行される関節可動域訓練のルールである「腕を肩の高さまで上げて、手首を回す」のルール情報として、「訓練種別：上肢関節可動域、対象条件：腕全体、正否内容：肩関節の高さ＝肘関節の高さ＆手首の回転」とするルール情報を記憶する。かかる情報は、「上肢関節可動域」の訓練において、「腕全体」を対象とする場合に、「肘関節の高さ」が「肩関節の高さ」と略同一の状態で、「手首の回転」が実施されるようにすることを意味する。すなわち、「肘関節の高さ」が「肩関節の高さ」まで至っていない段階で、「手首の回転」が行われている場合には、正しい関節可動域訓練ではないことを意味する。

上述したように、ルール情報記憶部１３０３は、訓練種別ごとに種々のルール情報を記憶する。これらのルール情報は、対象者情報と同様にネットワーク経由で取得する場合であってもよく、或いは、操作者によって入力部１２０から直接入力される場合であってもよい。上述したルール情報は、病院ごと或いは介助者ごとに独自のルールが設定される場合もある。

図４に戻って、動作情報処理装置１００においては、例えば、制御部１４０が取得部１４０１と、判定部１４０２と、出力制御部１４０３とを備え、記憶部１３０に記憶された各種情報を用いて、人為的な支援が無くても効果的なリハビリを行うことを可能にする。なお、以下では、リハビリとして階段歩行訓練を行う場合を例に挙げて説明する。しかしながら、実施形態はこれに限定されるものでない。

取得部１４０１は、リハビリテーションの対象となる対象者の動作情報を取得する。具体的には、取得部１４０１は、動作情報収集部１０によって収集され、動作情報記憶部１３０１によって記憶された動作情報を取得する。より具体的には、取得部１４０１は、動作情報記憶部１３０１によってフレームごとに記憶された骨格情報を取得する。

例えば、取得部１４０１は、リハビリテーションの内容に対応する動作の実行後の骨格情報を取得する。一例を挙げると、取得部１４０１は、階段歩行訓練を実行する対象者が階段を１段上った後の各フレームの骨格情報を取得する。言い換えると、取得部１４０１は、動作情報収集部１０によって収集された階段を上る際の対象者の行動開始フレームから階段を１段上った後のフレームまでの骨格情報を収集する。

判定部１４０２は、リハビリテーションにおいて対象者に関連する規則情報に基づいて、取得部１４０１によって取得された動作情報で示される対象者の動作が規則情報に含まれる規則に沿っているか否かを判定する。具体的には、判定部１４０２は、対象者によって実行されるリハビリテーションの内容及び当該対象者の患部の情報によって決定されるルール情報に基づいて、動作情報で示される対象者の動作がルール情報に含まれる規則に沿っているか否かを判定する。例えば、判定部１４０２は、取得部１４０１によって取得された動作の実行後の動作情報で示される動作がルール情報に含まれるルールに沿っているか否かを判定する。

一例を挙げると、判定部１４０２は、対象者情報記憶部１３０２によって記憶された対象者情報からリハビリを実行する対象者の対象者情報を取得する。そして、判定部１４０２は、取得した対象者情報に含まれる障害箇所情報から対象者の障害箇所を抽出する。例えば、判定部１４０２は、入力部１２０を介して、患者データが「氏名：Ａ、氏名番号：１」である対象者が階段歩行訓練を実行する旨の情報を受付けると、対応する患者データに含まれる検査項目を参照して、対象者の「障害箇所：左膝」を抽出する（図５参照）。ここで、判定部１４０２は、例えば、障害箇所情報の「項目」をキーとして障害箇所を抽出したり、或いは、シェーマに記された情報（例えば「×」印）の位置から障害箇所を抽出したり、テキストマイニング技術によってフリーテキストから障害箇所を抽出したりする。

そして、判定部１４０２は、ルール情報記憶部１３０３によって記憶されたルール情報を参照して、階段歩行訓練時のルールを抽出する（図６参照）。例えば、判定部１４０２は、図６に示すルール情報を参照して、「訓練種別」が「階段歩行」である「歩行条件：上り」のルール「歩行障害箇所を有する側の膝＜歩行障害箇所を有さない側の膝」と「歩行条件：下り」のルール「歩行障害箇所を有さない側の膝＞歩行障害箇所を有する側の膝」とを取得する。その後、判定部１４０２は、取得部１４０１によって取得される対象者「氏名：Ａ」の動作情報から、「左膝」に障害を有する対象者「氏名：Ａ」の階段歩行訓練がルールに沿って実行されているか否かを判定する。

図７は、第１の実施形態に係る判定部１４０２による判定処理の一例を説明するための図である。図７においては、「左膝」に障害を有する対象者「氏名：Ａ」の階段歩行訓練がルールに沿って実行されているか否かを判定する場合について模式的に示す。ここで、図７においては、階段を昇降している対象者「氏名：Ａ」を撮影対象として、動作情報収集部１０によって収集されたカラー画像情報と、距離画像情報を元に生成された骨格情報の一部を重畳させた図を示す。

例えば、判定部１４０２は、対象者情報から対象者「氏名：Ａ」が「左膝」に障害を有することを識別して、ルール情報をもとに対象者「氏名：Ａ」が階段を上る際には右足から踏み出し、対象者「氏名：Ａ」が階段を下る際には左足から踏み出すという対象者「氏名：Ａ」に対する判定基準を設定する。そして、判定部１４０２は、取得部１４０１によって動作情報記憶部１３０１から取得される動作情報（骨格情報）によって示される対象者「氏名：Ａ」の動作が判定基準を満たすか否かを判定する。

すなわち、判定部１４０２は、図７に示すように、フレームごとに収集される骨格情報において、右膝に対応する関節識別情報「２ｎ」の座標情報と、左膝に対応する関節識別情報「２ｒ」の座標情報とを参照して、階段を上る際には左膝が右膝よりも高くなるか否かを判定し、階段を下る際には右膝が左膝よりも低くなるか否かを判定することで、対象者「氏名：Ａ」の動作が判定基準を満たすか否かを判定する。

換言すると、判定部１４０１は、フレームごとに右膝に対応する関節識別情報「２ｎ」のｙ座標の値「ｙ１４」と、左膝に対応する関節識別情報「２ｒ」のｙ座標の値「ｙ１８」とを比較して、「ｙ１４＞ｙ１８」なっているか否かを判定する（図３参照）。ここで、「ｙ１４＜ｙ１８」となった場合には、判定部１４０２は、実行されているリハビリがルールに沿って実行されていないと判定する。かかる場合には、判定部１４０２は、通知部に対して、リハビリがルールに沿って実行されていないとする判定結果を出力する。

例えば、図７においては、左下側に示す階段歩行の場合には、階段を上る際に左膝が右膝よりも高くなっている（障害のある左足から踏み出している）ことから、判定部１４０２は、ルールに沿っていないと判定する。また、図７の右上側に示す階段歩行の場合には、階段を下る際に右膝が左膝よりも低くなっていない（障害のある左足から踏み出している）ことから、判定部１４０２は、ルールに沿っていると判定する。

このように、判定部１４０２は、動作情報収集部１０によって収集されたフレームごとの骨格情報の座標情報（ｘ，ｙ，ｚ）を用いて、連続的に動きながらリハビリを実行している対象者の動作が、該対象者ごとに導き出されるルールに沿っているか否かをフレームごとに判定する。なお、上述した例では、階段歩行訓練を行う場合を一例に挙げて説明したが、その他の訓練についても同様に、判定部１４０２は、フレームごとの骨格情報の座標情報（ｘ，ｙ，ｚ）を用いて判定処理を行う。

例えば、腕に障害がある対象者が関節可動域の訓練を実行する場合には、判定部１４０２は、対象者情報記憶部１３０２の対象者情報を参照して、対象者の腕に障害があることを取得する。そして、判定部１４０２は、対象者から関節可動域の訓練を実行する旨の操作を受付けると、ルール情報記憶部１３０３によって記憶された「訓練種別：上肢関節可動域、対象条件：腕全体、正否内容：肩関節の高さ＝肘関節の高さ＆手首の回転」とするルール情報を取得して判定を行う。すなわち、判定部１４０２は、肩の関節「２ｅ」及び「２ｉ」のｙ座標の値に対する肘の関節「２ｆ」及び「２ｊ」のｙ座標の値を比較することで、「肩関節の高さ＝肘関節の高さ」となっているかを判定する。

そして、判定部１４０２は、「肩関節の高さ＝肘関節の高さ」となっている状態で、「手首の回転」、すなわち、手首の関節「２ｇ」及び「２ｋ」の座標を基点として、手の関節「２ｈ」及び「２ｌ」の座標がそれぞれ旋回しているかを判定する。ここで、判定部１４０２は、右肩の関節「２ｅ」のｙ座標の値に対する右肘の関節「２ｆ」のｙ座標の値が略同一でない状態で、右手の関節「２ｈ」の座標が旋回している場合、或いは、左肩の関節「２ｉ」のｙ座標の値に対する左肘の関節「２ｊ」のｙ座標の値が略同一でない状態で、左手の関節「２ｌ」の座標が旋回している場合に、訓練が正しく行われていない判定する。

なお、上述した判定の例では、骨格情報の座標情報のみを用いる場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、座標情報に所定の閾値を加える場合であってもよい。上述した階段歩行における判定の一例を挙げると、判定部１４０２は、フレームごとに右膝に対応する関節識別情報「２ｎ」のｙ座標の値「ｙ１４」と、左膝に対応する関節識別情報「２ｒ」のｙ座標の値「ｙ１８」とを比較する際に、例えば、「２ｒ」のｙ座標の値「ｙ１８」に所定の閾値「α」を加えた「ｙ１４＞ｙ１８＋α」になっているか否かを判定する。すなわち、判定部１４０２は、「ｙ１４＜ｙ１８＋α」となった場合に、実行されているリハビリがルールに沿って実行されていないと判定する。これにより、例えば、階段を昇降する際の踏み出した側の足をより確実に判定することができる。

また、上述した階段歩行の判定の例では、膝の高さによって判定する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、足のその他の関節で判定する場合であってもよい。例えば、足首の関節の座標情報を用いて判定する場合であってもよい。かかる場合には、ルール情報記憶部１３０３によって記憶されるルール情報は、「歩行条件：上り」のルール「歩行障害箇所を有する側の足首＜歩行障害箇所を有さない側の足首」と「歩行条件：下り」のルール「歩行障害箇所を有さない側の足首＞歩行障害箇所を有する側の足首」となる。また、例えば、２箇所の関節の高さを用いて、総合的に判定される場合であってもよい。

また、上述した膝の高さを判定する例、及び、肩と肘の高さを判定する例において、それぞれ「ｙ座標の値」のみを用いる場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、「ｘ座標の値」及び「ｚ座標の値」のうち、少なくとも一方を考慮して判定される場合であってもよい。かかる場合には、それぞれを考慮したルール情報がルール情報記憶部１３０３にて記憶される。

図４に戻って、出力制御部１４０３は、判定部１４０２による判定結果を出力部１１０から出力するように制御する。例えば、出力制御部１４０３は、出力部１１０を制御して光や音などを発生させることにより、動作がルールに沿っていないことを、リハビリを実行している対象者に対して通知する。一例を挙げると、出力制御部１４０３は、出力部１１０の表示面を赤く点滅させたり、警告音を鳴らしたりすることで、リハビリを実行している対象者に対して通知する。

ここで、出力制御部１４０３は、音声によって対象者に通知することも可能である。例えば、出力制御部１４０３は、対象者が間違った側の足を踏み出して階段を上った場合に、正しい側の足から踏み出すように音声によって通知することも可能である。

上述したように、第１の実施形態に係る動作情報処理装置１００においては、対象者が一人でリハビリを実行している場合に、対象者ごとのリハビリのルールを抽出して、動作情報によって示される動作がルールに沿っているか否かを判定し、ルールに沿っていない場合に、判定結果を通知する。その結果、第１の実施形態に係る動作情報処理装置１００は、対象者に対する人為的な支援が無くても効果的なリハビリを行うことを可能にする。

次に、図８を用いて、第１の実施形態に係る動作情報処理装置１００の処理について説明する。図８は、第１の実施形態に係る動作情報処理装置１００による処理の手順を示すフローチャートである。なお、図８においては、対象者によってリハビリの支援を開始する指示操作が実行された後の処理について示す。

図８に示すように、第１の実施形態に係る動作情報処理装置１００においては、支援開始の指示を受付けると、判定部１４０２は、対象者情報記憶部１３０２からリハビリを実行する対象者の対象者情報を取得する（ステップＳ１０１）。そして、判定部１４０２は、取得した対象者情報に応じたルール情報をルール情報記憶部１３０３から取得して（ステップＳ１０２）、取得部１４０１が、動作情報（骨格情報）を取得する（ステップＳ１０３）。

その後、判定部１４０２は、動作情報によって示される対象者の動作が取得したルール情報に含まれるルールに沿っているか否かを判定する（ステップＳ１０４）。ここで、ルールに沿っていると判定した場合には（ステップＳ１０４肯定）、判定部１４０２は、リハビリが終了したか否かを判定する（ステップＳ１０６）。

一方、ルールに沿っていないと判定された場合には（ステップＳ１０４否定）、出力制御部１４０３は、対象者に対して、動作が間違っていることを通知する（ステップＳ１０５）。そして、判定部１４０２は、リハビリが終了したか否かを判定する（ステップＳ１０６）。ステップＳ１０６において、リハビリが終了していないと判定した場合には（ステップＳ１０６否定）、ステップＳ１０３に戻って、取得部１４０１が動作情報を取得する。一方、リハビリが終了した場合には（ステップＳ１０６肯定）、動作情報処理装置１００は、処理を終了する。

上述したように、第１の実施形態によれば、取得部１４０１が、リハビリテーションの対象となる対象者の骨格にかかる動作情報を取得する。判定部１４０２が、リハビリテーションにおいて対象者に関連するルール情報に基づいて、取得部１４０１によって取得された動作情報で示される対象者の動作がルール情報に含まれるルールに沿っているか否かを判定する。そして、出力制御部１４０３は、判定部１４０２による判定結果を出力する。従って、第１の実施形態に係る動作情報処理装置１００は、対象者に対して間違いを通知することができ、対象者に対する人為的な支援が無くても効果的なリハビリを行うことを可能にする。

また、第１の実施形態によれば、判定部１４０２は、対象者によって実行されるリハビリテーションの内容及び当該対象者の患部の情報によって決定されるルール情報に基づいて、動作情報で示される対象者の動作がルール情報に含まれるルールに沿っているか否かを判定する。従って、第１の実施形態に係る動作情報処理装置１００は、対象者ごとの注意事項を遵守するようにルールを設定することができ、対象者に適したリハビリを実行させることを可能にする。

また、第１の実施形態によれば、取得部１４０１は、リハビリテーションの内容に対応する動作の実行後の動作情報を取得する。そして、判定部１４０２は、取得部１４０１によって取得された動作の実行後の動作情報で示される動作がルール情報に含まれるルールに沿っているか否かを判定する。従って、第１の実施形態に係る動作情報処理装置１００は、対象者が実施した動作に応じて、判定を行うことを可能にする。

（第２の実施形態）
上述した第１の実施形態では、対象者がリハビリの内容の動作（例えば、階段の昇降など）を実行した後に、当該動作がルールに沿っているか否かを判定する場合について説明した。第２の実施形態に係る動作情報処理装置１００は、対象者がリハビリの内容の動作を完結する前に、実行された動作がルールに沿っているか否かを判定する場合について説明する。すなわち、第２の実施形態に係る動作情報処理装置１００は、対象者の動作を予測して、予測した動作がルールに沿っていない場合に通知する。ここで、第２の実施形態に係る動作情報処理装置１００は、ルール情報記憶部１３０３によって記憶される情報と、判定部１４０２による判定処理が異なる。以下、これらを中心に説明する。

第２の実施形態に係るルール情報記憶部１３０３は、判定部１４０２が対象者の動作を予測するために用いるルール情報を記憶する。例えば、ルール情報記憶部１３０３は、骨格情報における関節識別情報の座標の位置関係から対象者の体勢を予測させる情報や、閾値、などを記憶する。

第２の実施形態に係る判定部１４０２は、ルール情報に記憶されたルール対象者の動作を予測するためのルール情報を参照して、取得部１４０１によって取得される対象者の動作を予測する。図９は、第２の実施形態に係る判定部１４０２による処理の一例を説明するための図である。図９においては、「左膝」に障害を有する対象者「氏名：Ａ」が階段歩行訓練を実行する際の動作を予測する場合について示す。

例えば、図９に示すように、対象者「氏名：Ａ」が階段を上る動作を実行しようとしている場合に、判定部１４０２は、フレームごとに収集される骨格情報において、右の足根に対応する関節識別情報「２ｐ」の座標情報と、左の足根に対応する関節識別情報「２ｔ」の座標情報とを参照して、先に動き出した座標に対応する側の足を踏み出す足として判定し、踏み出す足がルールに沿っているか否かを判定する。

例えば、左の足根に対応する関節識別情報「２ｔ」の座標情報が先に動き出した場合に、判定部１４０２は、左足を踏み出した足として予測して、左膝に障害を有する対象者が階段を上る際に左足から踏み出していることからルールに沿っていないと判定する。これにより、出力制御部１４０３は、対象者が実際に階段を一段上がる前に間違いを通知することができる。なお、左の足根に対応する関節識別情報「２ｔ」の座標情報が先に動き出したか否かを判定する閾値（例えば、最初の座標からの移動距離など）は、ルール情報記憶部１３０３にて記憶される。また、足が動き出したか否かを判定する関節は、足根に限らず、膝や、足首であってもよい。

また、判定部１４０２は、足が動き出したか否かの判定に加速度や速度の情報を用いることも可能である。骨格情報に含まれる各関節の座標情報は、フレームごとに取得される。従って、各関節が動いた場合の加速度や速度を算出することが可能である。判定部１４０２は、例えば、フレームごとに収集される骨格情報において、右の足根に対応する関節識別情報「２ｐ」における加速度と、左の足根に対応する関節識別情報「２ｔ」における加速度とを算出して、加速度が所定の閾値を超えた側の足を踏み出した足として判定し、踏み出した足がルールに沿っているか否かを判定することも可能である。

また、判定部１４０２は、ルール情報記憶部１３０３によって記憶された対象者の体勢の情報（例えば、２点の位置関係など）に基づいて、対象者の現在の体勢を判定し、対象者が次にどのような行動をとるかを予測して、当該行動がルールに沿っているかを判定することも可能である。

上述したように、第２の実施形態によれば、取得部１４０１は、リハビリテーションの内容に対応する動作の実行前の動作情報を取得する。判定部１４０２は、取得部１４０１によって取得された動作の実行前の動作情報で示される動作がルール情報に含まれるルールに沿っているか否かを判定する。従って、第２の実施形態に係る動作情報処理装置１００は、対象者が実際に動作を起こす前に間違いを通知することができ、対象者に対する人為的な支援が無くてもより効果的なリハビリを行うことを可能にする。

（第３の実施形態）
上述した第１及び第２の実施形態では、リハビリの訓練における動作がルールに沿っているか否かを判定する場合について説明した。第３の実施形態では、リハビリの訓練とは直接関係がない動作を判定して、対象者に通知する場合について説明する。ここで、第３の実施形態に係る動作情報処理装置１００は、ルール情報記憶部１３０３によって記憶される情報と、判定部１４０２及び出力制御部１４０２による判定処理が異なる。以下、これらを中心に説明する。

第３の実施形態に係るルール情報記憶部１３０３は、対象者の動作がリハビリの訓練とは直接関係がない動作であるか否かを判定するためのルール情報を記憶する。例えば、ルール情報記憶部１３０３は、対象者が転倒した場合の骨格情報における関節識別情報の座標の動きなどを記憶する。一例を挙げると、ルール情報記憶部１３０３は、対象者が転倒した場合の骨格情報における関節識別情報の座標の動きとして、骨格情報に含まれるすべての関節識別情報の座標の急激な変化を記憶する。

第３の実施形態に係る判定部１４０２は、取得部１４０１によって取得された前記動作情報に基づいて、前記対象者によって実行されている動作が現時点で実行されているリハビリテーションの内容に沿った動作であるか否かを判定する。図１０は、第３の実施形態に係る判定部１４０２による判定処理の一例を説明するための図である。例えば、判定部１４０２は、図１０に示すように、リハビリの対象者の骨格情報におけるすべての関節識別情報の座標が急激に変化した場合に、対象者が転倒したと判定し、判定結果を出力制御部１４０３に出力する。

第３の実施形態に係る出力制御部１４０３は、判定部１４０２によって対象者によって実行されている動作が現時点で実行されているリハビリテーションの内容に沿った動作ではないと判定された場合に、当該リハビリテーションに復帰するための動作に関する情報を対象者に通知する。例えば、出力制御部１４０３は、対象者が転倒した旨の情報を判定部１４０２から受付けると、対象者に対して立ち上がる際のルールを通知する。例えば、左足に障害を有する対象者が転倒した場合には、出力制御部１４０３は、対象者に対して、障害を有していない右足を軸足として立ち上がるように音声などで通知する。

なお、上述した実施形態では、対象者が転倒する場合を例に挙げて説明したが、実施形態はこれに限定されるものではなく、例えば、階段の上りから下り（或いは、下りから上り）に動作を切替える際に、ルールを通知するようにしてもよい。かかる場合には、判定部１４０２は、骨格情報における関節識別情報の座標の動きから体全体の回転動作を判定して、対象者が振り向く動作を識別して、階段の上りから下り（或いは、下りから上り）への動作の切替えを判定して、出力制御部１４０３に出力する。出力制御部１４０３は、対象者に対してルールを通知する。例えば、左足に障害を有する対象者が上りから下りに切替えた場合には、出力制御部１４０３は、左足から下るように通知する。一方、下りから上りに切替えた場合には、出力制御部１４０３は、右足から上るように通知する。

上述したように、第３の実施形態によれば、判定部１４０２は、取得部１４０１によって取得された動作情報に基づいて、対象者によって実行されている動作が現時点で実行されているリハビリテーションの内容に沿った動作であるか否かを判定する。出力制御部１４０３は、判定部１４０２によって対象者によって実行されている動作が現時点で実行されているリハビリテーションの内容に沿った動作ではないと判定された場合に、当該リハビリテーションに復帰するための動作に関する情報を対象者に通知する。従って、第２の実施形態に係る動作情報処理装置１００は、リハビリを行っている間、常に対象者の動作を判定して、最適な動作をとるように誘導することが可能である。

（第４の実施形態）
さて、これまで第１〜第３の実施形態について説明したが、上述した第１〜第３の実施形態以外にも、種々の異なる形態にて実施されてよいものである。

上述した第１〜第３の実施形態においては、リハビリとして階段歩行訓練や、関節可動域訓練を一例に挙げて説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、筋肉増強訓練などが実行される場合であってもよい。かかる場合には、ルール情報記憶部１３０３は、各訓練に応じたルール情報を記憶する。そして、判定部１４０２は、対象者の障害箇所から当該対象者に対応するルール情報を取得し、対象者の動作情報に対応する動作がルールに沿っているか否かを判定する。

上述した第１〜第３の実施形態においては対象者の座標をもとに訓練が正しく行われているか否かを判定する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、ベッドや車椅子などの物の座標をもとに訓練が正しく行われているか否かを判定する場合であってもよい。一例を挙げると、車椅子からベッドへの移乗訓練においては、対象者は、まず、足を上げる分だけスペースを開けた状態まで、車椅子をベッドに直角につける。そして、対象者は、車いすのストッパーをかけて、両足をベッド上に上げてから、車いすとベッドを密着させて、プッシュアップ（ベッド面を押して体を持ち上げる）をしながら、お尻がベッドの上にしっかり乗るまで前進する。その後、対象者は、枕の方向に頭を向けるように体の向きを変える。

このような、車椅子からベッドへの移乗訓練では、例えば、ルール情報記憶部１３０３は、最初に車椅子をベッドに直角に近づける際の車椅子とベッドとの間のスペースを、対象者の身体の大きさに応じて記憶する。一例を挙げると、ルール情報記憶部１３０３は、ルール情報として、「訓練種別：移乗訓練、対象条件：車椅子からベッド、正否内容：（身長：１４０−１５０ｃｍ、対象物間距離：３０ｃｍ）、（身長：１５０ｃｍ−１６０ｃｍ、対象物間距離：４０ｃｍ）、…」とするルール情報を記憶する。かかる情報は、「移乗」の訓練において、「車椅子からベッド」を対象とする場合に、身長ごとの対象物間（車椅子とベッドとの間）の距離が設定されていることを意味する。すなわち、対象者の身長ごとに、車椅子とベッドとの間にどの程度の距離をとることが最適であるかが設定されたものである。なお、この距離については任意に設定することができ、所定の幅をもたせることも可能である。

判定部１４０２は、対象者情報から対象者の身長を読み出し、読み出した身長に対応する距離をルール情報記憶部１３０３から取得する。そして、判定部１４０２は、動作情報収集部１０によって収集されるカラー画像情報から車椅子とベッドとのフレームごとの距離をそれぞれ算出する。そして、判定部１４０２は、車椅子とベッドとの距離の変化が停止した時点で、当該時点での距離が対象者の身長に対応する距離であるか否かを判定する。一例を挙げると、対象者の身長が「１５５ｃｍ」であった場合に、判定部１４０２は、車椅子とベッドとの距離が「４０ｃｍ」から「±５ｃｍ」以内であるか否かを判定する。そして、判定部１４２は、車椅子とベッドとの距離の変化が停止した時点での距離が、上記した範囲内にない場合に、移乗に最適な距離ではないと判定し、判定結果を出力制御部１４０３に出力する。

なお、カラー画像情報からの車椅子とベッドとの距離は、例えば、パターンマッチングにより、車椅子及びベッドの座標を検出して、検出した各座標を用いて、距離を算出することができる。

上述した第１〜第３の実施形態においては、判定部１４０２が対象者の動作がルールに沿っていないと判定した場合に、判定結果を通知部１４０３に出力して、出力制御部１４０３が対象者に通知する場合を例に挙げて説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、判定部１４０２が対象者の動作がルールに沿っていると判定した場合に、判定結果を出力制御部１４０３に出力して、出力制御部１４０３が対象者に通知する場合であってもよい。

以上説明したとおり、第１〜第４の実施形態によれば、本実施形態の動作情報処理装置及びプログラムは、人為的な支援が無くても効果的なリハビリを行うことを可能にする。

（第５の実施形態）
上述したように、第１〜第４の実施形態では、人為的な支援が無くても効果的なリハビリを行うことを可能にすることで、リハビリテーションの質を向上させる場合について説明した。ここで、リハビリテーションは、リハビリの対象となる対象者によってのみ行われるとは限らない。例えば、対象者は、介助者による介助の下、リハビリを行う場合がある。以下、第５〜第９の実施形態では、リハビリテーションの対象となる対象者を介助する介助者によって行われる介助の質を高めることができる動作情報処理装置及び方法を提供する場合について説明する。

図１１は、距離画像収集部１２によって撮影される距離画像の一例を示す。図１１では、人物４ａ（対象者）が人物４ｂ（介助者）からの介助を受けてリハビリを行う場合を例示する。なお、図１１においては、説明の便宜上、距離に応じた色の濃淡で表現される距離画像を線画で表している。

図１１に示すように、人物４ａ（対象者）は、人物４ｂ（介助者）の右手によって左腕を支えられて歩行訓練を行っている。このように、リハビリは、介助者による介助の下、行われる場合がある。

しかしながら、介助者によって行われる介助の質が保てない場合がある。例えば、昨今の対象者の増加によって熟練した介助者が相対的に減少していることにより、介助の質が保てない場合がある。また、例えば、自宅や職場等、専門の介助者がいない環境でリハビリが行われる場合にも、介助の質が保てない場合がある。そこで、第５の実施形態に係る動作情報処理装置１００ａは、以下に説明する処理により、介助者によって行われる介助の質を高めることができる。

図１２は、第５の実施形態に係る動作情報処理装置１００ａの詳細な構成例を示すブロック図である。図１２に示すように、動作情報処理装置１００ａにおいては、記憶部１３０が動作情報記憶部１３０４と、対象者動作特徴記憶部１３０５Ａと、介助者動作特徴記憶部１３０５Ｂと、対象者画像特徴記憶部１３０５Ｃと、介助者画像特徴記憶部１３０５Ｄと、第１モード判定記憶部１３０６Ａと、第２モード判定記憶部１３０６Ｂと、推奨介助状態記憶部１３０７とを有する。

動作情報記憶部１３０４は、動作情報収集部１０によって収集された各種情報を記憶する。例えば、動作情報記憶部１３０４は、人物の動作について、動作情報と、カラー画像情報と、音声認識結果とが対応付けられた情報を記憶する。この動作情報は、動作情報生成部１４によって生成されたフレームごとの骨格情報である。この骨格情報の各関節の座標及びカラー画像情報の画素位置は、予め対応付けられている。また、骨格情報の撮影時刻情報及びカラー画像情報の撮影時刻情報は、予め対応付けられている。また、例えば、動作情報及びカラー画像情報は、動作情報収集部１０によって収集されるごとに動作情報記憶部１３０４に格納される。

例えば、動作情報記憶部１３０４は、歩行訓練や関節可動域訓練等、実施されたリハビリごとに、動作情報を記憶する。ここで、１回のリハビリに複数人の動作が含まれる場合がある。具体例を挙げると、図１１に示したように、対象者が介助者からの介助を受けて歩行訓練を行う場合には、対象者と介助者のそれぞれの動作の組み合わせによって、１回の歩行訓練が行われることとなる。このような場合には、動作情報記憶部１３０４は、同一フレームの距離画像情報から生成される複数人の人物の骨格情報をそれぞれ対応付けて、１つの動作情報として記憶する。すなわち、この動作情報は、複数人の動作を同時に表すものである。動作情報記憶部１３０４は、例えば、動作の撮影が開始された撮影開始時刻情報に対応付けて、動作情報を記憶する。なお、以下では、動作情報が複数人の人物の動作を表す場合を説明するが、実施形態はこれに限定されるものではなく、１人の人物の動作を表す場合であっても良い。

対象者動作特徴記憶部１３０５Ａは、対象者の動作の特徴を表す対象者動作特徴情報を記憶する。例えば、対象者動作特徴記憶部１３０５Ａは、動作ＩＤ（Identification）と、対象者動作特徴情報とが対応付けられた情報を記憶する。このうち、動作ＩＤは、動作を識別するための識別情報であり、動作情報処理装置１００ａの設計者によって動作が定義されるごとに採番される。また、対象者動作特徴情報は、対象者の動作の特徴を表す情報であり、例えば、動作情報処理装置１００ａの設計者によって予め定義される。

図１３Ａは、対象者動作特徴記憶部１３０５Ａに記憶される情報の一例を示す図である。図１３Ａの１つ目のレコードには、動作ＩＤ「１１」と、対象者動作特徴情報「足を引きずっている」とが対応付けられている。つまり、対象者動作特徴記憶部１３０５Ａは、対象者の動作の特徴の一つとして「足を引きずっている」があることを、動作ＩＤ「１１」の動作として記憶する。この対象者動作特徴情報「足を引きずっている」は、例えば、動作が行われている間の足根（関節２ｐ又は関節２ｔ）のｙ座標の最大変化量が１ｃｍ未満であるか否かに応じて判定される。また、図１３Ａの２つ目のレコードには、動作ＩＤ「１２」と、対象者動作特徴情報「歩く姿勢が良くない」とが対応付けられている。つまり、対象者動作特徴記憶部１３０５Ａは、対象者の動作の特徴の一つとして「歩く姿勢が良くない」があることを、動作ＩＤ「１２」の動作として記憶する。この対象者動作特徴情報「歩く姿勢が良くない」は、例えば、動作が行われている間の、背骨（関節２ｂと関節２ｃとを結ぶ線分）と上下方向とがなす角の平均値が３°以上であるか否かに応じて判定される。また、図１３Ａの３つ目のレコードには、動作ＩＤ「１３」と、対象者動作特徴情報「歩く速度が遅い」とが対応付けられている。つまり、対象者動作特徴記憶部１３０５Ａは、対象者の動作の特徴の一つとして「歩く速度が遅い」があることを、動作ＩＤ「１３」の動作として記憶する。この対象者動作特徴情報「歩く速度が遅い」は、例えば、動作が行われている間の腰（関節２ｃ）の移動速度の最大値が１［ｍ／秒］未満であるか否かに応じて判定される。また、他のレコードについても同様に、対象者動作特徴記憶部１３０５Ａは、動作ＩＤと、対象者動作特徴情報とを対応付けて記憶する。なお、ここでは、歩行訓練が行われる場合に用いられる対象者動作特徴記憶部１３０５Ａを例示したが、実施形態はこれに限定されるものではなく、例えば、関節可動域訓練が行われる場合には、関節可動域訓練を行う対象者の動作の特徴が記憶された対象者動作特徴記憶部１３０５Ａが利用されて良い。また、対象者動作特徴記憶部１３０５Ａは、歩行訓練を行う対象者の動作の特徴や関節可動域訓練を行う対象者の動作の特徴を区別することなく記憶しても良い。

介助者動作特徴記憶部１３０５Ｂは、介助者の動作の特徴を表す介助者動作特徴情報を記憶する。例えば、介助者動作特徴記憶部１３０５Ｂは、動作ＩＤと、介助者動作特徴情報とが対応付けられた情報を記憶する。この介助者動作特徴は、介助者の動作の特徴を表す情報であり、動作情報処理装置１００ａの設計者によって予め定義される。

図１３Ｂは、介助者動作特徴記憶部１３０５Ｂに記憶される情報の一例を示す図である。図１３Ｂの１つ目のレコードには、動作ＩＤ「２１」と、介助者動作特徴情報「腕を支えている」とが対応付けられている。つまり、介助者動作特徴記憶部１３０５Ｂは、対象者の動作の特徴の一つとして「腕を支えている」があることを、動作ＩＤ「２１」の動作として記憶する。この対象者動作特徴情報「腕を支えている」は、例えば、動作が行われている間の所定時間について、人物の手（関節２ｈ又は関節２ｌ）が他の人物の腕（関節２ｅと関節２ｆとを結ぶ線分、又は、関節２ｉと関節２ｊとを結ぶ線分）から５ｃｍ以内にあるか否かに応じて判定される。また、図１３Ｂの２つ目のレコードには、動作ＩＤ「２２」と、介助者動作特徴情報「歩く姿勢が良い」とが対応付けられている。つまり、介助者動作特徴記憶部１３０５Ｂは、介助者の動作の特徴の一つとして「歩く姿勢が良い」があることを、動作ＩＤ「２２」の動作として記憶する。この介助者動作特徴情報「歩く姿勢が良い」は、例えば、動作が行われている間の、背骨（関節２ｂと関節２ｃとを結ぶ線分）と上下方向とがなす角の平均値が３°未満であるか否かに応じて判定される。また、図１３Ｂの３つ目のレコードには、動作ＩＤ「２３」と、介助者動作特徴情報「歩く速度が速い」とが対応付けられている。つまり、介助者動作特徴記憶部１３０５Ｂは、介助者の動作の特徴の一つとして「歩く速度が速い」があることを、動作ＩＤ「２３」の動作として記憶する。この対象者動作特徴情報「歩く速度が速い」は、例えば、動作が行われている間の腰（関節２ｃ）の移動速度の最大値が１［ｍ／秒］以上であるか否かに応じて判定される。また、他のレコードについても同様に、介助者動作特徴記憶部１３０５Ｂは、動作ＩＤと、対象者動作特徴情報とを対応付けて記憶する。なお、ここでは、歩行訓練が行われる場合に用いられる介助者動作特徴記憶部１３０５Ｂを例示したが、実施形態はこれに限定されるものではなく、例えば、関節可動域訓練が行われる場合には、関節可動域訓練を行う対象者の動作の特徴が記憶された介助者動作特徴記憶部１３０５Ｂが利用されて良い。また、介助者動作特徴記憶部１３０５Ｂは、歩行訓練を行う対象者の動作の特徴や関節可動域訓練を行う対象者の動作の特徴を区別することなく記憶しても良い。

対象者画像特徴記憶部１３０５Ｃは、対象者の画像の特徴を表す対象者画像特徴情報を記憶する。例えば、対象者画像特徴記憶部１３０５Ｃは、器具ＩＤと、対象者器具特徴とが対応付けられた情報を記憶する。このうち、器具ＩＤは、器具を識別するための識別情報であり、動作情報処理装置１００ａの設計者によって器具が定義されるごとに採番される。また、対象者器具特徴情報は、対象者の器具の特徴を表す情報であり、例えば、パターンマッチングに利用可能な器具の画像情報である。対象者器具特徴情報は、動作情報処理装置１００ａの設計者によって予め定義される。

図１３Ｃは、対象者画像特徴記憶部１３０５Ｃに記憶される情報の一例を示す図である。図１３Ｃの１つ目のレコードには、器具ＩＤ「１１」と、対象者器具特徴情報「松葉杖」とが対応付けられている。つまり、対象者画像特徴記憶部１３０５Ｃは、対象者の画像の特徴の一つとして「松葉杖」の画像情報を、器具ＩＤ「１１」の器具として記憶する。また、図１３Ｃの２つ目のレコードには、器具ＩＤ「１２」と、対象者器具特徴情報「ギプス」とが対応付けられている。つまり、対象者画像特徴記憶部１３０５Ｃは、対象者の画像の特徴の一つとして「ギプス」の画像情報を、器具ＩＤ「１２」の器具として記憶する。また、図１３Ｃの３つ目のレコードには、器具ＩＤ「１３」と、対象者器具特徴情報「車いす」とが対応付けられている。つまり、対象者画像特徴記憶部１３０５Ｃは、対象者の画像の特徴の一つとして「車いす」の画像情報を、器具ＩＤ「１３」の器具として記憶する。なお、ここでは、歩行訓練が行われる場合に用いられる対象者画像特徴記憶部１３０５Ｃを例示したが、実施形態はこれに限定されるものではなく、例えば、関節可動域訓練が行われる場合には、関節可動域訓練を行う対象者の器具の特徴が記憶された対象者画像特徴記憶部１３０５Ｃが利用されて良い。また、対象者画像特徴記憶部１３０５Ｃは、歩行訓練を行う対象者の動作特徴や関節可動域訓練を行う対象者の器具の特徴を区別することなく記憶しても良い。

介助者画像特徴記憶部１３０５Ｄは、介助者の画像の特徴を表す介助者画像特徴情報を記憶する。例えば、介助者画像特徴記憶部１３０５Ｄは、器具ＩＤと、介助者器具特徴とが対応付けられた情報を記憶する。このうち、介助者器具特徴情報は、介助者の器具の特徴を表す情報であり、例えば、パターンマッチングに利用可能な器具の画像情報である。介助者器具特徴情報は、動作情報処理装置１００ａの設計者によって予め定義される。

図１３Ｄは、介助者画像特徴記憶部１３０５Ｄに記憶される情報の一例を示す図である。図１３Ｄの１つ目のレコードには、器具ＩＤ「２１」と、介助者器具特徴情報「聴診器」とが対応付けられている。つまり、介助者画像特徴記憶部１３０５Ｄは、介助者の画像の特徴の一つとして「聴診器」の画像情報を、器具ＩＤ「２１」の器具として記憶する。また、図１３Ｄの２つ目のレコードには、器具ＩＤ「２２」と、介助者器具特徴情報「白衣」とが対応付けられている。つまり、介助者画像特徴記憶部１３０５Ｄは、介助者の画像の特徴の一つとして「白衣」の画像情報を、器具ＩＤ「２２」の器具として記憶する。また、図１３Ｄの３つ目のレコードには、器具ＩＤ「２３」と、介助者器具特徴情報「ネームプレート」とが対応付けられている。つまり、介助者画像特徴記憶部１３０５Ｄは、介助者の画像の特徴の一つとして「ネームプレート」の画像情報を、器具ＩＤ「２３」の器具として記憶する。

第１モード判定記憶部１３０６Ａ及び第２モード判定記憶部１３０６Ｂは、介助者を支援するためのモードである介助モードの開始及び終了を判定するための情報を記憶する。例えば、第１モード判定記憶部１３０６Ａ及び第２モード判定記憶部１３０６Ｂは、後述のモード判定部１４０６によって参照される。また、例えば、第１モード判定記憶部１３０６Ａ及び第２モード判定記憶部１３０６Ｂは、動作情報処理装置１００を利用する利用者によって予め登録される。

例えば、第１モード判定記憶部１３０６Ａは、介助モード判定動作と、介助モード判定結果とが対応付けられた情報を記憶する。このうち、介助モード判定動作は、介助モードを判定するための動作を示す情報である。また、介助モード判定結果は、介助モード判定動作に応じて介助モードを開始するか終了するかを示す情報であり、例えば、「開始」又は「終了」が格納される。

図１４Ａは、第１モード判定記憶部１３０６Ａに記憶される情報の一例を示す図である。図１４Ａの１つ目のレコードには、介助モード判定動作「ＸＸＸ領域で手をＸＸＸ地点まで挙げる」と、介助モード判定結果「開始」とが対応付けられている。つまり、第１モード判定記憶部１３０６Ａは、「ＸＸＸ領域で手をＸＸＸ地点まで挙げる」という動作が行われると、介助モードが開始されることを記憶する。また、図１４Ａの２つ目のレコードには、介助モード判定動作「ＸＸＸ領域で手をＸＸＸ地点まで下げる」と、介助モード判定結果「終了」とが対応付けられている。つまり、第１モード判定記憶部１３０６Ａは、「ＸＸＸ領域で手をＸＸＸ地点まで下げる」という動作が行われると、介助モードが終了されることを記憶する。また、第１モード判定記憶部１３０６Ａは、他のレコードについても同様に、介助モード判定動作と、介助モード判定結果とが対応付けられた情報を記憶する。

また、例えば、第２モード判定記憶部１３０６Ｂは、介助モード判定リハビリ動作と、介助モード判定結果とが対応付けられた情報を記憶する。このうち、介助モード判定リハビリ動作は、介助モードを判定するために用いられる、リハビリに関連する動作を示す情報である。

図１４Ｂは、第２モード判定記憶部１３０６Ｂに記憶される情報の一例を示す図である。図１４Ｂの１つ目のレコードには、介助モード判定リハビリ動作「領域Ａで歩行を開始する」と、介助モード判定結果「開始」とが対応付けられている。つまり、第２モード判定記憶部１３０６Ｂは、「領域Ａで歩行を開始する」というリハビリに関連する動作が行われると、介助モードが開始されることを記憶する。また、図１４Ｂの２つ目のレコードには、介助モード判定リハビリ動作「領域Ｚで歩行を終了する」と、介助モード判定結果「終了」とが対応付けられている。つまり、第２モード判定記憶部１３０６Ｂは、「領域Ｚで歩行を終了する」というリハビリに関連する動作が行われると、介助モードが終了されることを記憶する。また、第２モード判定記憶部１３０６Ｂは、他のレコードについても同様に、介助モード判定リハビリ動作と、介助モード判定結果とが対応付けられた情報を記憶する。なお、ここでは、人物を特定しない条件を例示したが、人物を特定可能な場合には、人物を特定しても良い。例えば、図１４Ｂの１つ目のレコードにおいて、介助モード判定リハビリ動作「対象者が領域Ａで歩行を開始する」が記憶されている場合には、第２モード判定記憶部１３０６Ｂは、「対象者の領域Ａで歩行を開始する」というリハビリに関連する動作が行われると、介助モードが開始されることを記憶することとなる。

推奨介助状態記憶部１３０７は、介助者を支援する推奨介助状態を記憶する。例えば、推奨介助状態記憶部１３０７は、介助ステージと、介助状態と、推奨介助状態とが対応付けられた情報を記憶する。このうち、介助ステージは、リハビリにおける一連の動作の進行度合いを定義する。例えば、操作者は、リハビリの対象となる対象者に対する介助者の介助の状態に応じて介助ステージを決定する。また、介助状態は、リハビリの対象となる対象者に対する介助者の介助の状態を定義する。例えば、操作者は、対象者、介助者又は両者の動作情報に応じて介助状態を決定する。また、推奨介助状態は、対象者に対する介助者の介助として推奨される介助の状態を表す情報であり、例えば、介助ステージごとに登録される。例えば、推奨介助状態記憶部１３０７は、歩行訓練、関節可動域訓練等、リハビリの種別ごとに記憶される。推奨介助状態記憶部１３０７に記憶される情報は、例えば、熟練の介助者や対象者の意見に基づいて、動作情報処理装置１００ａの利用者によって予め登録される。

図１５は、推奨介助状態記憶部１３４に記憶される情報の一例を示す図である。図１５には、推奨介助状態記憶部１３０７が歩行訓練に関する推奨介助状態を記憶する場合を例示する。図１５の１つ目のレコードには、介助ステージ「歩行ステージ１」と、介助状態「領域Ａで歩行を開始する」と、推奨介助状態「介助者は対象者の腕を支える」とが対応付けられている。つまり、推奨介助状態記憶部１３０７は、歩行訓練における介助ステージ「歩行ステージ１」は「領域Ａで歩行を開始する」が行われる状態であり、このとき推奨される対象者に対する介助者の動作が「介助者は対象者の腕を支える」であることを記憶する。図１５の２つ目のレコードには、介助ステージ「歩行ステージ２」と、介助状態「領域Ｂで歩行を開始する」と、推奨介助状態「介助者は対象者の肩を支える」とが対応付けられている。つまり、推奨介助状態記憶部１３０７は、歩行訓練における介助ステージ「歩行ステージ２」は「領域Ｂで歩行を開始する」が行われる状態であり、このとき推奨される対象者に対する介助者の動作が「介助者は対象者の肩を支える」であることを記憶する。なお、推奨介助状態記憶部１３０７に記憶される情報は、上記の例に限定されるものではない。例えば、人物を特定可能な場合には、人物を特定した上で、人物ごとの動作が指定されても良い。具体的には、図１５の１つ目のレコードにおいて、介助状態「対象者及び介助者が領域Ａで歩行を開始する」が記憶されてもよい。

なお、本実施形態では、人物の動作や状態等を概念的に示しているが、これら人物の動作や状態は、連続する複数フレームにおける各関節の座標及び位置関係に基づいて規定されるものである。

図１２の説明に戻る。動作情報処理装置１００ａにおいては、制御部１４０が取得部１４０４と、人物判定部１４０５と、モード判定部１４０６と、検出部１４０７と、出力判定部１４０８と、出力制御部１４０９とを有する。

取得部１４０４は、処理対象となる動作情報を取得する。例えば、取得部１４０４は、処理対象となる動作情報を指定する旨の入力を入力部１２０から受け付けると、指定された動作情報と、対応するカラー画像情報と、対応する音声認識結果とを動作情報記憶部１３０４から取得する。

一例としては、取得部１４０４は、処理対象となる動作情報の撮影開始時刻情報の指定を受け付けると、その動作情報及び動作情報に対応付けられたカラー画像情報を動作情報記憶部１３０４から取得する。なお、この動作情報は、同一フレームの距離画像情報から生成される複数人の人物の骨格情報を含む場合であっても、１人の人物の骨格情報を含む場合であっても良い。

人物判定部１４０５は、取得部１４０４によって取得された動作情報に対応する人物が、対象者であるか否かを判定する。また、人物判定部１４０５は、取得部１４０４によって取得された動作情報に対応する人物が、介助者であるか否かを判定する。ここで、取得部１４０４によって取得された動作情報に、同一フレームの距離画像情報から生成される複数人の人物の骨格情報が含まれる場合には、人物判定部１４０５は、一人一人の人物の骨格情報に対して、対象者であるか否か、或いは介助者であるか否かを判定する。人物判定部１４０５は、判定した結果をモード判定部１４０６へ出力する。以下において、人物判定部１４０５の処理を具体的に説明する。

まず、対象者であるか否かを判定する処理を説明する。例えば、人物判定部１４０５は、対象者動作特徴記憶部１３０５Ａ及び対象者画像特徴記憶部１３０５Ｃのレコードのうち、未処理のレコードを一つ選択する。そして、人物判定部１４０５は、取得された動作情報及びカラー画像情報が、選択したレコードの条件に該当するか否かを判定する。

ここで、対象者動作特徴記憶部１３０５Ａから動作ＩＤ「１１」のレコードが選択された場合を説明する。この場合、図１３Ａに示したように、人物判定部１４０５は、取得部１４０４によって取得された動作情報が、対象者動作特徴情報「足を引きずっている」に該当するか否かを判定する。すなわち、人物判定部１４０５は、取得された動作情報に含まれる各フレームから、足根（関節２ｐ又は関節２ｔ）のｙ座標を抽出する。そして、人物判定部１４０５は、抽出したｙ座標のうち、最大値と最小値との差分を最大変化量として算出する。そして、人物判定部１４０５は、算出した最大変化量が１ｃｍ未満である場合に、取得された動作情報が対象者動作特徴情報に該当する、すなわち足を引きずっていると判定する。

また、対象者動作特徴記憶部１３０５Ａから動作ＩＤ「１２」のレコードが選択された場合を説明する。この場合、図１３Ａに示したように、人物判定部１４０５は、取得部１４０４によって取得された動作情報が、対象者動作特徴情報「歩く姿勢が良くない」に該当するか否かを判定する。例えば、人物判定部１４０５は、取得部１４０４によって取得された動作情報から、各フレームの人物の関節２ｂの座標及び関節２ｃの座標を抽出する。そして、人物判定部１４０５は、抽出した関節２ｂと関節２ｃとを結ぶ線分を人物の背骨と見立て、背骨と上下方向とがなす角をフレームごとに求める。そして、人物判定部１４０５は、歩行訓練が行われている間の複数フレームにおける当該角度の平均値を、人物の歩く姿勢として算出する。そして、人物判定部１４０５は、算出した歩く姿勢が３°以上である場合に、取得された動作情報が対象者動作特徴情報に該当する、すなわち歩く姿勢が良くないと判定する。

また、対象者動作特徴記憶部１３０５Ａから動作ＩＤ「１３」のレコードが選択された場合を説明する。この場合、図１３Ａに示したように、人物判定部１４０５は、取得部１４０４によって取得された動作情報が、対象者動作特徴情報「歩く速度が遅い」に該当するか否かを判定する。例えば、人物判定部１４０５は、所定時間（例えば０．５秒）ごとに人物の腰に対応する関節２ｃの座標が移動した移動距離［ｍ］を求める。そして、人物判定部１４０５は、この所定時間当たりの移動距離に基づいて、人物の移動速度［ｍ／秒］を所定時間ごとに算出する。そして、人物判定部１４０５は、算出した移動速度のうち、最大の移動速度が１［ｍ／秒］未満である場合に、取得された動作情報が対象者動作特徴情報に該当する、すなわち歩く速度が遅いと判定する。

また、対象者画像特徴記憶部１３０５Ｃから器具ＩＤ「１１」のレコードが選択された場合を説明する。この場合、図１３Ｃに示したように、人物判定部１４０５は、取得部１４０４によって取得されたカラー画像情報と、対象者器具特徴情報「松葉杖」とのパターンマッチングを行う。パターンマッチングによってカラー画像情報から松葉杖の画像が抽出されると、人物判定部１４０５は、抽出された松葉杖の画素位置が、処理対象となる動作情報に含まれる骨格情報の座標と重なるか否かを判定する。松葉杖の画素位置が骨格情報の座標と重なる場合には、人物判定部１４０５は、取得されたカラー画像情報が対象者器具特徴情報に該当する、すなわち松葉杖を持っていると判定する。また、人物判定部１４０５は、他のレコードについても同様に、取得されたカラー画像情報が対象者器具特徴情報に該当するか否かを判定する。

このように、人物判定部１４０５は、取得された動作情報及びカラー画像情報が、選択したレコードに該当するか否かを判定する。そして、選択したレコードに該当すると判定した場合には、人物判定部１４０５は、保有対象者特徴数ｎを１インクリメントする。この保有対象者特徴数ｎは、処理対象となる動作情報に対応する人物が保有する対象者としての特徴の数を表す。人物判定部１４０５は、他の未処理のレコードについても同様に、取得された動作情報及びカラー画像情報が当該レコードに該当するか否かを判定する。そして、人物判定部１４０５は、保有対象者特徴数ｎが５に到達すると、処理対象となる動作情報に対応する人物が対象者であると判定する。一方、人物判定部１４０５は、対象者動作特徴記憶部１３０５Ａ及び対象者画像特徴記憶部１３０５Ｃの全てのレコードについて判定を行っても、保有対象者特徴数ｎが５に到達しない場合には、処理対象となる動作情報に対応する人物が対象者ではないと判定する。なお、ここでは、対象者であるか否かを判定する保有対象者特徴数ｎの閾値が「５」である場合を例示したが、実施形態はこれに限定されるものではなく、この閾値は操作者によって任意の値が設定されて良い。また、ここでは各レコードに該当する場合に保有対象者特徴数ｎが１インクリメントされる場合を説明したが、実施形態はこれに限定されるものではなく、例えば、レコードごとに重み付けを行っても良い。

次に、介助者であるか否かを判定する処理を説明する。例えば、人物判定部１４０５は、介助者動作特徴記憶部１３０５Ｂ及び介助者画像特徴記憶部１３０５Ｄのレコードのうち、未処理のレコードを一つ選択する。そして、人物判定部１４０５は、取得された動作情報及びカラー画像情報が、選択したレコードに該当するか否かを判定する。

ここで、介助者動作特徴記憶部１３０５Ｂから動作ＩＤ「２１」のレコードが選択された場合を説明する。この場合、図６Ｂに示したように、人物判定部１４０５は、取得部１４０４によって取得された動作情報が、介助者動作特徴情報「腕を支えている」に該当するか否かを判定する。すなわち、人物判定部１４０５は、取得された動作情報に含まれる各フレームから、手（関節２ｈ又は関節２ｌ）の座標を取得する。そして、人物判定部１４０５は、歩行訓練が行われている間の所定時間について、取得した手から５ｃｍ以内に他の人物の腕（関節２ｅと関節２ｆとを結ぶ線分、又は、関節２ｉと関節２ｊとを結ぶ線分）がある場合に、取得された動作情報が介助者動作特徴情報に該当する、すなわち腕を支えていると判定する。

また、介助者動作特徴記憶部１３０５Ｂから動作ＩＤ「２２」のレコードが選択された場合を説明する。この場合、図１３Ｂに示したように、人物判定部１４０５は、取得部１４０４によって取得された動作情報が、介助者動作特徴情報「歩く姿勢が良い」に該当するか否かを判定する。例えば、人物判定部１４０５は、上記同様に、人物の歩く姿勢を算出する。そして、人物判定部１４０５は、算出した歩く姿勢が３°未満である場合に、取得された動作情報が対象者動作特徴情報に該当する、すなわち歩く姿勢が良いと判定する。

また、介助者動作特徴記憶部１３０５Ｂから動作ＩＤ「２３」のレコードが選択された場合を説明する。この場合、図１３Ｂに示したように、人物判定部１４０５は、取得部１４０４によって取得された動作情報が、介助者動作特徴情報「歩く速度が速い」に該当するか否かを判定する。例えば、人物判定部１４０５は、上記同様に、人物が所定時間（例えば０．５秒）ごとに移動する移動速度［ｍ／秒］を算出する。そして、人物判定部１４０５は、算出した移動速度のうち、最大の移動速度が１［ｍ／秒］以上である場合に、取得された動作情報が対象者動作特徴情報に該当する、すなわち歩く速度が速いと判定する。

また、介助者画像特徴記憶部１３０５Ｄから器具ＩＤ「２１」のレコードが選択された場合を説明する。この場合、図１３Ｄに示したように、人物判定部１４０５は、取得部１４０４によって取得されたカラー画像情報と、介助者器具特徴情報「聴診器」とのパターンマッチングを行う。パターンマッチングによってカラー画像情報から聴診器の画像が抽出されると、人物判定部１４０５は、抽出された聴診器の画素位置が、処理対象となる動作情報に含まれる骨格情報の座標と重なるか否かを判定する。聴診器の画素位置が骨格情報の座標と重なる場合には、対象者画像特徴記憶部１３０５Ｃは、取得されたカラー画像情報が介助者器具特徴情報に該当する、すなわち聴診器を持っていると判定する。また、人物判定部１４０５は、他のレコードについても同様に、取得されたカラー画像情報が介助者器具特徴情報に該当するか否かを判定する。

このように、人物判定部１４０５は、取得された動作情報及びカラー画像情報が、選択したレコードに該当するか否かを判定する。そして、選択したレコードに該当すると判定した場合には、人物判定部１４０５は、保有介助者特徴数ｍを１インクリメントする。この保有介助者特徴数ｍは、処理対象となる動作情報に対応する人物が保有する介助者としての特徴の数を表す。人物判定部１４０５は、他の未処理のレコードについても同様に、取得された動作情報及びカラー画像情報が当該レコードに該当するか否かを判定する。そして、人物判定部１４０５は、保有介助者特徴数ｍが５に到達すると、処理対象となる動作情報に対応する人物が介助者であると判定する。一方、人物判定部１４０５は、介助者動作特徴記憶部１３０５Ｂ及び介助者画像特徴記憶部１３０５Ｄの全てのレコードについて判定を行っても、保有介助者特徴数ｍが５に到達しない場合には、処理対象となる動作情報に対応する人物が介助者ではないと判定する。なお、ここでは、介助者であるか否かを判定する保有介助者特徴数ｎの閾値が「５」である場合を例示したが、実施形態はこれに限定されるものではなく、この閾値は操作者によって任意の値が設定されて良い。また、ここでは各レコードに該当する場合に保有介助者特徴数ｎが１インクリメントされる場合を説明したが、実施形態はこれに限定されるものではなく、例えば、レコードごとに重み付けを行っても良い。

また、人物判定部１４０５の処理は上記の処理に限定されるものではない。例えば、人物判定部１４０５は、取得部１４０４によって取得されたカラー画像情報に複数人の人物が撮影された場合には、カラー画像情報における人物の位置に応じて判定しても良い。また、例えば、人物判定部１４０５は、対象者、介助者又は両者に人物を判定するための識別マーカを持たせておき、カラー画像情報又は距離画像情報に含まれる識別マーカを用いて判定しても良い。なお、識別マーカは、例えば、カラー画像情報からパターンマッチングによって識別可能なマーカや、磁気センサによって空間における位置を特定可能なマーカ等が適用される。

図１６Ａは、人物判定部１４０５が人物の位置に応じて判定する処理を説明するための図である。図１６Ａには、動作情報処理装置１００ａの画面９ａに、人物９ｂ及び人物９ｃによってリハビリが行われている画像が表示される場合を例示する。この場合、例えば、人物判定部１４０５は、カラー画像に撮影された左側の人物９ｂを対象者と判定し、右側の人物９ｃを介助者と判定する。この判定方法は、例えば、リハビリが行われる空間と動作情報収集部１０の位置とが予め決められており、更に、対象者に対して介助者が介助を行う方向が決まっている場合に特に有効である。具体的には、壁に設置された手すりを対象者が右手で掴んで歩行訓練を行う場合には、介助者は対象者の左側から介助を行うこととなるからである。

図１６Ｂは、人物判定部１４０５が識別マーカを用いて判定する処理を説明するための図である。図１６Ｂには、動作情報処理装置１００ａの画面９ｄに、人物９ｅと、識別マーカ９ｆを装着した人物９ｇとによってリハビリが行われている画像が表示される場合を例示する。この場合、例えば、人物判定部１４０５は、識別マーカ９ｆを装着した人物９ｇを介助者と判定し、識別マーカ９ｆを装着していない人物９ｅを対象者と判定する。なお、この例に限定されず、例えば、対象者に識別マーカを装着させても、両者に装着させても良い。この判定方法は、例えば、リハビリが行われる施設に介助者として従事する者や、高頻度でリハビリを行う対象者等がいる場合に特に有効である。

上述してきたように、人物判定部１４０５は、処理対象となる動作情報に対応する人物が、対象者であるか否か、若しくは介助者であるか否かを判定し、判定結果をモード判定部１４０６へ出力する。なお、人物判定部１４０５は、処理対象となる動作情報に対応する人物が、対象者でも介助者でもないと判定した場合には、判定不能という判定結果を検出部１４０７へ出力する。また、人物判定部１４０５は、処理対象となる動作情報に複数人の人物の骨格情報が含まれる場合には、それぞれの人物について対象者であるか介助者であるかを判定する。

モード判定部１４０６は、介助者を支援するためのモードである介助モードの開始及び終了を判定する。例えば、モード判定部１４０６は、取得部１４０４によって取得された動作情報が、第１モード判定記憶部１３０６Ａの介助モード判定動作又は第２モード判定記憶部１３０６Ｂの介助モード判定リハビリ動作に示される条件に該当するか否かに応じて、介助モードの開始及び終了を判定する。

図１７Ａから図１７Ｅは、モード判定部１４０６の処理を説明するための図である。図１７Ａから図１７Ｃまでには、モード判定部１４０６が第１モード判定記憶部１３０６Ａを用いて介助モードの開始及び終了を判定する場合を示し、図１７Ｄ及び図１７Ｅには、モード判定部１４０６が第２モード判定記憶部１３０６Ｂを用いて介助モードの開始及び終了を判定する場合を示す。

図１７Ａには、所定の動作を検知することで、介助モードが開始される場合を例示する。ここで、第１モード判定記憶部１３０６Ａは、介助モード判定動作「画面中央で右手を挙げる」と、介助モード判定結果「開始」とが対応付けられた情報を記憶するものとする。この場合、例えば、モード判定部１４０６は、リハビリが行われる空間において、人物１０ａが画面１０ｂの中央に相当する位置で右手を挙げたこと（例えば、右手の関節２ｈのｙ座標が右肩の関節２ｅのｙ座標より上にあること）を検知すると、介助モードが開始されると判定する。

図１７Ｂには、画面上の操作ボタンを用いて、介助モードが開始される場合を例示する。ここで、第１モード判定記憶部１３０６Ａは、介助モード判定動作「画面内の開始ボタンが指定される」と、介助モード判定結果「開始」とが対応付けられた情報を記憶するものとする。この場合、例えば、モード判定部１４０６は、リハビリが行われる空間において、人物１０ａが画面１０ｂ内の開始ボタン１０ｃに相当する位置に右手を伸ばしたこと（関節２ｈの座標が開始ボタン１０ｃの位置に重なったこと）を検知すると、介助モードが開始されると判定する。

図１７Ｃには、音声を用いて、介助モードが開始される場合を例示する。ここで、第１モード判定記憶部１３０６Ａは、介助モード判定動作「「スタート」と声をかける」と、介助モード判定結果「開始」とが対応付けられた情報を記憶するものとする。この場合、例えば、モード判定部１４０６は、リハビリが行われる空間において認識された音声認識結果から、人物１０ａが「スタート」と単語を発したことを検知すると、介助モードが開始されると判定する。

図１７Ｄには、所定のリハビリ動作を検知することで、介助モードが開始される場合を例示する。ここで、第２モード判定記憶部１３０６Ｂは、介助モード判定リハビリ動作「領域Ａで歩行を開始する」と、介助モード判定結果「開始」とが対応付けられた情報を記憶するものとする。この場合、例えば、モード判定部１４０６は、リハビリが行われる空間において、人物１０ａが画面１０ｂ内の領域Ａに相当する位置で歩行訓練を開始したことを検知すると、介助モードが開始されると判定する。

図１７Ｅには、所定のリハビリ動作を検知することで、介助モードが開始される場合を例示する。ここで、第１モード判定記憶部１３０６Ａは、介助モード判定動作「画面中央で腕をゼロ地点に合わせる」と、介助モード判定結果「開始」とが対応付けられた情報を記憶するものとする。この場合、例えば、モード判定部１４０６は、リハビリが行われる空間において、人物１０ａが画面１０ｂの中央に相当する位置で右腕の関節可動域訓練を行うために、右腕をゼロ地点に合わせたことを検知すると、介助モードが開始されると判定する。なお、ゼロ地点とは、例えば、関節可動域訓練の対象となる関節の曲げ伸ばしを行う際に、当該訓練における当該関節の初期状態を示し、例えば、右肘の関節可動域訓練では右肘をまっすぐに伸ばした状態（関節２ｆのなす角が１８０°）である。

このように、モード判定部１４０６は、第１モード判定記憶部１３０６Ａ又は第２モード判定記憶部１３０６Ｂを参照することで、介助モードの開始及び終了を判定する。なお、モード判定部１４０６の処理は上記の例に限定されるものではなく、例えば、視点の移動や顔の向き、手の加速度、体動、会話の頻度、時間等を用いて判定しても良い。

検出部１４０７は、取得部１４０４によって取得された動作情報に基づいて、リハビリテーションの対象となる対象者に対する介助者による介助の状態を表す介助状態を検出する。例えば、検出部１４０７は、対象者と介助者との位置関係、対象者及び介助者それぞれの移動状態、対象者への介助者の指示行為の少なくとも１つを含む介助状態を検出する。一例を挙げると、検出部１４０７は、介助状態として、対象者と介助者との位置関係、対象者及び介助者それぞれの移動状態、対象者に対する介助者の介助行為、実施者及び介助者の明示的行為をそれぞれ検出する。そして、検出部１４０７は、位置関係、移動状態、介助行為及び明示的行為のうち一つ又は複数の組み合わせを、対象者に対する介助者の介助状態として検出する。なお、検出部１４０７の処理は、人物判定部１４０５によって少なくとも一人の対象者と一人の介助者が特定された動作情報を処理対象とする。このため、以下の説明では、対象者及び介助者がそれぞれ特定されたものとして説明する。

検出部１４０７によって検出される対象者と介助者との位置関係について説明する。例えば、検出部１４０７は、取得部１４０４によって取得された動作情報から、対象者の腰の位置（関節２ｄの座標）と、介助者の腰の位置（関節２ｄの座標）とをフレームごとに抽出する。そして、検出部１４０７は、対象者の腰の位置（関節２ｃの座標）と、介助者の腰の位置（関節２ｃの座標）との間の相対距離を算出する。そして、検出部１４０７は、対象者の腰の位置、介助者の腰の位置及びこれらの間の相対距離等を、対象者と介助者との位置関係として検出する。

検出部１４０７によって検出される対象者及び介助者それぞれの移動状態について説明する。例えば、検出部１４０７は、対象者及び介助者の腰の位置（関節２ｃの座標）が所定時間（例えば０．５秒）ごとに移動した移動距離［ｍ］を求める。そして、検出部１４０７は、この所定時間当たりの移動距離に基づいて、対象者及び介助者それぞれの移動速度や加速度を算出する。そして、検出部１４０７は、算出した対象者及び介助者それぞれの移動速度や加速度を、対象者及び介助者それぞれの移動状態として検出する。

検出部１４０７によって検出される対象者に対する介助者の介助行為について説明する。例えば、検出部１４０７は、取得部１４０４によって取得された動作情報から、介助行為を検出する。この介助行為は、対象者と介助者の接触位置の位置関係と、介助者の音声とを含む。図１８Ａは、検出部１４０７の処理を説明するための図である。図１８Ａには、対象者の関節２ｉ、２ｊ、２ｋと、介助者の関節２ｈ、２ｇとを示す。図１８Ａに示すように、検出部１４０７は、介助者の右手の関節２ｈが、対象者の左腕（関節２ｉと関節２ｊとを結ぶ線分）から所定距離以内に存在することをフレームごとに検知する。これにより、検出部１４０７は、「介助者の右手が対象者の左腕を掴んでいる」という状態を検出する。また、検出部１４０７は、フレームに対応する時刻に介助者の頭部付近を音源とする音声が認識されると、これを介助者の音声として検出する。そして、検出部１４０７は、「介助者の右手が対象者の左腕を掴んでいる」という状態や、介助者の音声を、対象者に対する介助者の介助行為として検出する。

検出部１４０７によって検出される対象者及び介助者の明示的行為について説明する。この明示的行為は、対象者に特有の明示的な動作や介助者に特有の明示的な動作を定義したものである。なお、介助者の行為のうち、介助者が対象者を介助（支援）する動作は上記の介助行為に含まれるものとし、介助者の明示的行為には介助行為以外の行為が含まれるものとする。例えば、検出部１４０７は、取得部１４０４によって取得された動作情報から、対象者に特有の明示的な動作や介助者に特有の明示的な動作を検出する。対象者に特有の明示的な動作の一例としては、足を引きずって歩くことが挙げられる。また、介助者に特有の明示的な動作の一例としては、所定時間間隔でメモを取ることが挙げられる。これらの対象者に特有の明示的な動作や介助者に特有の明示的な動作は、利用者によって予め登録される。検出部１４０７は、検出された対象者に特有の明示的な動作や介助者に特有の明示的な動作を、実施者及び介助者の明示的行為として検出する。

ここで、具体的に、検出部１４０７が介助状態を検出する処理を説明する。図１８Ｂ及び図１８Ｃは、検出部１４０７の処理を説明するための図である。図１８Ｂに示す例では、検出部１４０７は、対象者１１ａと介助者１１ｂとの位置関係として、対象者１１ａの位置、介助者１１ｂの位置、対象者１１ａと介助者１１ｂとの間の相対距離（１．１ｍ）をそれぞれ検出する。また、検出部１４０７は、対象者１１ａ及び介助者１１ｂそれぞれの移動状態として、対象者１１ａ及び介助者１１ｂそれぞれが奥側から手前側に向かって所定速度で移動していることを検出する。これにより、検出部１４０７は、「対象者１１ａの横に介助者１１ｂが付き添って歩いている」という介助状態を検出する。なお、図１８Ｂに示すように、検出部１４０７は、必ずしも対象者と介助者との位置関係、対象者及び介助者それぞれの移動状態、対象者に対する介助者の介助行為、実施者及び介助者の明示的行為の全てを用いなくても良い。

また、図１８Ｃに示す例では、検出部１４０７は、対象者１１ａと介助者１１ｂとの位置関係として、対象者１１ａの位置、介助者１１ｂの位置、対象者１１ａと介助者１１ｂとの間の相対距離をそれぞれ検出する。また、検出部１４０７は、対象者１１ａに対する介助者１１ｂの介助行為として、「介助者１１ｂの右手が対象者１１ａの左腕を掴んでいる」という状態と、介助者１１ｂが発した音声「次は右足」を検出する。これにより、検出部１４０７は、「介助者１１ｂが、対象者１１ａの左腕を右手で支えながら「次は右足」と声かけを行っている」という介助状態を検出する。

このように、検出部１４０７は、位置関係、移動状態、介助行為及び明示的行為のうち少なくとも一つ又は複数の組み合わせを用いて、対象者に対する介助者の介助状態を検出する。そして、検出部１４０７は、検出した介助状態を出力判定部１４０８へ出力する。

出力判定部１４０８は、検出部１４０７によって検出された介助状態が推奨介助状態を満たすか否かを判定する。例えば、出力判定部１４０８は、検出部１４０７によって検出された介助状態を受け付ける。そして、出力判定部１４０８は、推奨介助状態記憶部１３０７を参照し、受け付けた介助状態に対応する介助ステージを特定する。そして、出力判定部１４０８は、受け付けた介助状態と、特定した介助ステージに対応する推奨介助状態とを比較し、介助状態が推奨介助状態を満たすか否かを判定する。

図１９Ａ及び図１９Ｂは、出力判定部１４０８の処理を説明するための図である。図１９Ａ及び図１９Ｂには、動作情報処理装置１００ａの画面に映されたリハビリの様子を例示する。

図１９Ａに示す例では、推奨介助状態記憶部１３０７は、介助ステージ「歩行ステージ３」と、介助状態「領域Ｃで歩行を開始する」と、推奨介助状態「介助者は対象者の肩を支える」とが対応付けられた情報を記憶するものとする。図１９Ａに示すように、出力判定部１４０８は、「領域Ｃにおいて、介助者１２ｂが、対象者１２ａの左腕を右手で支えながら歩行訓練を行っている」という介助状態を受け付ける。そして、出力判定部１４０８は、受け付けた介助状態「領域Ｃにおいて、介助者１２ｂが、対象者１２ａの左腕を右手で支えながら歩行訓練を行っている」が介助状態「領域Ｃで歩行を開始する」を満たすので、介助ステージ「歩行ステージ３」を特定する。そして、出力判定部１４０８は、受け付けた介助状態「領域Ｃにおいて、介助者１２ｂが、対象者１２ａの左腕を右手で支えながら歩行訓練を行っている」と、「歩行ステージ３」の推奨介助状態「介助者は対象者の肩を支える」とを比較する。ここで、介助者１２ｂは対象者１２ａの左腕を支えているので、出力判定部１４０８は、受け付けた介助状態が推奨介助状態を満たしていないと判定する。

図１９Ｂに示す例では、推奨介助状態記憶部１３０７は、介助ステージ「歩行ステージ２」と、介助状態「介助者は、対象者の正面から両肩を支えている」と、推奨介助状態「介助者は対象者よりも先に移動する」とが対応付けられた情報を記憶するものとする。図１９Ａに示すように、出力判定部１４０８は、「介助者１２ｂは、立ち止まって対象者１２ａの正面から両肩を支えており、対象者１２ａは歩き出そうとしている」という介助状態を受け付ける。そして、出力判定部１４０８は、受け付けた介助状態「介助者１２ｂは、立ち止まって対象者１２ａの正面から両肩を支えており、対象者１２ａは歩き出そうとしている」が介助状態「介助者は、対象者の正面から両肩を支えている」を満たすので、介助ステージ「歩行ステージ２」を特定する。そして、出力判定部１４０８は、受け付けた介助状態「介助者１２ｂは、立ち止まって対象者１２ａの正面から両肩を支えており、対象者１２ａは歩き出そうとしている」と、「歩行ステージ２」の推奨介助状態「介助者は対象者よりも先に移動する」とを比較する。ここで、介助者１２ｂは立ち止まっているにも関わらず、対象者１２ａが歩き出そうとしているので、出力判定部１４０８は、受け付けた介助状態が推奨介助状態を満たしていないと判定する。なお、「歩き出そうとしている」という状態は、例えば、膝の関節の加速度が速くなることで、検出部１４０７によって検出される。

このように、出力判定部１４０８は、検出部１４０７によって検出された介助状態が推奨介助状態を満たすか否かを判定する。そして、出力判定部１４０８は、この判定結果を出力制御部１４０９に出力する。

出力制御部１４０９は、検出部１４０７によって検出された介助状態に応じて、介助者を支援する介助支援情報を出力する。例えば、出力制御部１４０９は、出力判定部１４０８の判定結果に応じて、介助支援情報を出力する。

例えば、出力制御部１４０９は、検出部１４０７によって検出された介助状態が推奨介助状態を満たさない旨の判定結果を出力判定部１４０８から受け付ける。この場合、出力制御部１４０９は、例えば、当該推奨介助状態を表す情報を、介助支援情報として出力部１１０に出力する。具体例を挙げると、出力制御部１４０９は、推奨介助状態「介助者は対象者の肩を支える」を表す画像をモニタや、介助者が装着するメガネ型ディスプレイに表示させる。また、出力制御部１４０９は、推奨介助状態「介助者は対象者の肩を支える」を伝えるための音声をスピーカーや、介助者が装着するヘッドセットに音声出力させる。なお、出力制御部１４０９が出力する介助支援情報は、推奨介助状態を表す情報のみならず、警告音であっても良い。

また、例えば、出力制御部１４０９は、介助状態と推奨介助状態との比較結果から、介助状態と推奨介助状態との差異を算出し、算出した差異を介助支援情報として出力しても良い。具体的には、出力制御部１４０９は、判定に用いられた介助状態及び推奨介助状態を、出力判定部１４０８から取得する。そして、出力制御部１４０９は、介助者がどのような動作を行えば推奨介助状態となるかを表す情報を算出する。図１９Ａに示す例では、出力制御部１４０９は、推奨介助状態における介助者の右手（関節２ｈ）の座標（ｘｈ１，ｙｈ１，ｚｈ１）から、介助状態における介助者の右手（関節２ｈ）の座標（ｘｈ２，ｙｈ２，ｚｈ２）を減算する。これにより、出力制御部１４０９は、介助者が自分の右手（関節２ｈ）を、ｘ軸方向にｘｈ１−ｘｈ２、ｙ軸方向にｙｈ１−ｙｈ２、ｚ軸方向にｚｈ１−ｚｈ２ずつ動かすことで、推奨介助状態となることを算出する。出力制御部１４０９は、算出した差異を、画像としてモニタやメガネ型ディスプレイに表示したり、音声として出力したりする。一例としては、出力制御部１４０９は、算出結果を、現在の右手の位置から推奨介助状態の右手の位置へ向かう矢印として表示する。また、例えば、出力制御部１４０９は、算出結果を介助者自身から見た方向に置き換えて、「右手を右方向に５ｃｍ、上方向に２０ｃｍ、奥に向かって何３ｃｍ動かして下さい」と音声出力しても良い。

また、例えば、出力制御部１４０９は、検出部１４０７によって検出された介助状態が推奨介助状態を満たす旨の判定結果を出力判定部１４０８から受け付ける。この場合、出力制御部１４０９は、例えば、推奨介助状態を満たす旨の情報を、介助支援情報として出力部１１０に出力する。具体例を挙げると、出力制御部１４０９は、推奨介助状態を満たす旨の情報として「Ｇｏｏｄ」という文字をモニタや、介助者が装着するメガネ型ディスプレイに表示させる。また、出力制御部１４０９は、推奨介助状態を満たす旨を伝えるための「Ｇｏｏｄ」という音声をスピーカーや、介助者が装着するヘッドセットに音声出力させる。なお、出力制御部１４０９は、検出部１４０７によって検出された介助状態が推奨介助状態を満たす場合には、必ずしも介助支援情報を出力しなくても良い。

次に、図２０を用いて、第５の実施形態に係る動作情報処理装置１００ａの処理手順について説明する。図２０は、第５の実施形態に係る動作情報処理装置１００ａの処理手順の一例を説明するためのフローチャートである。

図２０に示すように、取得部１４０４が処理対象となる動作情報を取得すると（ステップＳ２０１肯定）、人物判定部１４０５は、人物判定処理を実行する（ステップＳ２０２）。この人物判定処理については、図２１を用いて後述する。なお、取得部１４０４が処理対象となる動作情報を取得するまで（ステップＳ２０１否定）、動作情報処理装置１００ａは、待機状態である。

続いて、モード判定部１４０６は、介助モードが開始されたか否かを判定する（ステップＳ２０３）。介助モードが開始された場合には（ステップＳ２０３肯定）、モード判定部１４０６は、介助モードが終了されたか否かを判定する（ステップＳ２０４）。なお、介助モードが開始されない場合（ステップＳ２０３否定）、及び、介助モードが終了された場合には（ステップＳ２０４肯定）、動作情報処理装置１００ａは、介助モード以外のモード、例えば、対象者の動作を検知して対象者を支援するモードで動作する。この動作の処理手順は既知のいかなる処理を行っても良いので、ここでは説明を省略する。

介助モードが終了されない場合には（ステップＳ２０４否定）、検出部１４０７は、取得部１４０４によって取得された動作情報に基づいて、フレームごとに介助状態を検出する（ステップＳ２０５）。例えば、検出部１４０７は、位置関係、移動状態、介助行為及び明示的行為のうち一つ又は複数の組み合わせを用いて、対象者に対する介助者の介助状態を検出する。

続いて、出力判定部１４０８は、検出部１４０７によって検出された介助状態を受け付けて、受け付けた介助状態に対応する介助ステージを特定する（ステップＳ２０６）。そして、出力判定部１４０８は、介助ステージに応じて推奨される支援が行われているか否かを判定する（ステップＳ２０７）。例えば、出力判定部１４０８は、受け付けた介助状態と、特定した介助ステージに対応する推奨介助状態とを比較し、介助状態が推奨介助状態を満たすか否かを判定する。

出力制御部１４０９は、出力判定部１４０８の判定結果に応じて、介助支援情報を出力する（ステップＳ２０８）。なお、出力制御部１４０９は、検出部１４０７によって検出された介助状態が推奨介助状態を満たす場合には、必ずしも介助支援情報を出力しなくても良い。

なお、上述した処理手順は必ずしも上記の順序で実行されなくても良い。例えば、人物判定処理を行うステップＳ２０２の処理は、介助モードが開始されたか否かを判定する処理であるステップＳ２０３の処理が実行された後に実行されても良い。

次に、図２１を用いて、ステップＳ２０２の人物判定処理を説明する。図２１は、第５の実施形態に係る人物判定処理の処理手順の一例を説明するためのフローチャートである。

人物判定部１４０５は、対象者動作特徴記憶部１３０５Ａ及び対象者画像特徴記憶部１３０５Ｃから、未処理のレコードを一つ選択する（ステップＳ３０１）。そして、人物判定部１４０５は、取得した動作情報及びカラー画像情報が、選択したレコードに該当するか否かを判定する（ステップＳ３０２）。該当する場合には（ステップＳ３０２肯定）、人物判定部１４０５は、保有対象者特徴数ｎを１インクリメントする（ステップＳ３０３）。そして、人物判定部１４０５は、保有対象者特徴数ｎが５に到達したか否かを判定する（ステップＳ３０４）。保有対象者特徴数ｎが５に到達した場合には（ステップＳ３０４肯定）、人物判定部１４０５は、取得部１４０４によって取得された動作情報に対応する人物が対象者であると判定する（ステップＳ３０５）。

一方、人物判定部１４０５は、保有対象者特徴数ｎが５に到達していない場合には（ステップＳ３０４否定）、人物判定部１４０５は、動作特徴記憶部及び器具特徴記憶部に、未処理のレコードがあるか否かを判定する（ステップＳ３０６）。未処理のレコードがある場合には（ステップＳ３０６肯定）、人物判定部１４０５は、ステップＳ３０１の処理へ移行する。

一方、人物判定部１４０５は、未処理のレコードがない場合には（ステップＳ３０６否定）、介助者動作特徴記憶部１３０５Ｂ及び介助者画像特徴記憶部１３０５Ｄから、未処理のレコードを一つ選択する（ステップＳ３０７）。そして、人物判定部１４０５は、取得した動作情報及びカラー画像情報が、選択したレコードに該当するか否かを判定する（ステップＳ３０８）。該当する場合には（ステップＳ３０８肯定）、人物判定部１４０５は、保有介助者特徴数ｍを１インクリメントする（ステップＳ３０９）。そして、人物判定部１４０５は、保有介助者特徴数ｍが５に到達したか否かを判定する（ステップＳ３１０）。保有介助者特徴数ｍが５に到達した場合には（ステップＳ３１０肯定）、人物判定部１４０５は、取得部１４０４によって取得された動作情報に対応する人物が介助者であると判定する（ステップＳ３１１）。

一方、人物判定部１４０５は、保有介助者特徴数ｍが５に到達していない場合には（ステップＳ３１０否定）、人物判定部１４０５は、動作特徴記憶部及び器具特徴記憶部に、未処理のレコードがあるか否かを判定する（ステップＳ３１２）。未処理のレコードがある場合には（ステップＳ３１２肯定）、人物判定部１４０５は、ステップＳ３０７の処理へ移行する。

一方、人物判定部１４０５は、未処理のレコードがない場合には（ステップＳ３１２否定）、取得部１４０４によって取得された動作情報に対応する人物は判定不能であると判定する（ステップＳ３１３）。

上述してきたように、第５の実施形態に係る動作情報処理装置１００ａは、人物の動作を表す動作情報を取得する。そして、動作情報処理装置１００ａは、取得した動作情報に基づいて、リハビリテーションの対象となる対象者に対する介助者の状態を表す介助状態を検出する。そして、動作情報処理装置１００ａは、検出した介助状態に応じて、介助者を支援する介助支援情報を出力する。このため、動作情報処理装置１００ａは、介助者によって行われる介助の質を高めることができる。

図２２は、第５の実施形態に係る動作情報処理装置１００ａの効果を説明するための図である。図２２に示すように、動作情報処理装置１００ａは、リハビリにおける対象者及び介助者の動作を表す動作情報を取得する。そして、動作情報処理装置１００ａは、取得した動作情報から対象者に対する介助者の状態を表す介助状態を検出する。そして、動作情報処理装置１００ａは、検出した介助状態に応じた介助支援情報１５ａを出力する。具体的には、動作情報処理装置１００ａは、例えば、現在の介助状態を実線で示し、推奨される関節の位置を破線で示した介助支援情報１５ａを介助者に提示する。このため、例えば、動作情報処理装置１００ａは、未熟な介助者によって介助が行われる場合においても、介助の質を一定に保つことができる。

（第６の実施形態）
上述した第５の実施形態では、対象者に対する介助者の介助を支援する場合を説明したが、実施形態はこれに限定されるものではない。例えば、動作情報処理装置１００ａは、対象者に対して介助者が用具を用いて介助する場合に適用されても良い。そこで、第６の実施形態では、動作情報処理装置１００ａが対象者に対して介助者が用具を用いて介助する場合に適用される際の処理を説明する。

第６の実施形態では、自力で立ち上がれない対象者に対して、介助者が介助用ベルトを用いて対象者の立ち上がり動作を助ける場合を例示する。この介助用ベルトは、介助者が装着するものであり、対象者が立ち上がる際に介助者が装着した介助用ベルトを把持させることで、対象者の立ち上がり動作を助けるためのものである。

図２３は、介助用ベルトを用いて対象者の立ち上がり動作を助ける場合を説明するための図である。図２３に示すように、介助用ベルトを用いた立ち上がり動作の介助ステージは、例えば、立ち上がりステージ１，２，３の３つの段階で順に行われる。立ち上がりステージ１では、介助者１６ａは、介助用ベルト１６ｂを腰に装着し、対象者１６ｃの正面に立っている。このとき、対象者１６ｃは、座っており、介助者１６ａが装着した介助用ベルト１６ｂを掴んでいる。立ち上がりステージ２では、立ち上がりステージ１の状態から、対象者１６ｃが立ち上がり動作を開始している。そして、立ち上がりステージ３では、立ち上がりステージ２の状態から、対象者１６ｃの立ち上がり動作が完了し、対象者１６ｃが立っている。このように、介助用ベルト１６ｂは、介助者１６ａが装着することで対象者１６ｃの立ち上がり動作を助けるものである。

ここで、第６の実施形態に係る動作情報処理装置１００ａは、以下に説明する処理により、介助用ベルト１６ｂを用いて対象者１６ｃの立ち上がり動作を介助する介助者１６ａを支援する。なお、第６の実施形態では、介助用ベルト１６ｂを用いて対象者１６ｃの立ち上がり動作を介助する介助者１６ａを支援する場合を説明するが、実施形態はこれに限定されるものではなく、他の用具を用いて介助者が対象者を介助する場合にも適用可能である。

第６の実施形態に係る動作情報処理装置１００ａは、図１２に示した動作情報処理装置１００ａと同様の構成を有し、推奨介助状態記憶部１３０７に記憶される情報と、検出部１４０７、出力判定部１４０８及び出力制御部１４０９における処理とが一部相違する。そこで、第６の実施形態では、第５の実施形態と相違する点を中心に説明することとし、第５の実施形態において説明した構成と同様の機能を有する点については、図１２と同一の符号を付し、説明を省略する。

推奨介助状態記憶部１３０７は、更に、介助者が対象者を介助する際に利用される器具の位置関係を含む介助状態を記憶する。

図２４は、推奨介助状態記憶部１３０７に記憶される情報の一例を示す図である。図２４には、推奨介助状態記憶部１３０７が、図２３に示した立ち上がり動作に関する推奨介助状態を記憶する場合を例示する。図２４の１つ目のレコードには、介助ステージ「立ち上がりステージ１」と、介助状態「介助者が介助用ベルトを装着する」、「介助者が対象者の正面に立つ」、「対象者が介助用ベルトを掴む」及び「対象者が座っている」と、推奨介助状態「介助者は対象者の両肩に手を添える」とが対応付けられている。つまり、推奨介助状態記憶部１３０７は、図２３に示した立ち上がり動作における介助ステージ「立ち上がりステージ１」が、「介助者が介助用ベルトを装着する」、「介助者が対象者の正面に立つ」、「対象者が介助用ベルトを掴む」及び「対象者が座っている」が行われた状態であり、このとき推奨される対象者に対する介助者の動作が「介助者は対象者の両肩に手を添える」であることを記憶する。また、図２４の２つ目のレコードには、介助ステージ「立ち上がりステージ２」と、介助状態「介助者が介助用ベルトを装着する」、「介助者が対象者の正面に立つ」、「対象者が介助用ベルトを掴む」及び「対象者が立ち上がり動作を開始する」と、推奨介助状態「介助者は対象者の両肩を引き上げる」とが対応付けられている。つまり、推奨介助状態記憶部１３０７は、図２３に示した立ち上がり動作における介助ステージ「立ち上がりステージ２」が、「介助者が介助用ベルトを装着する」、「介助者が対象者の正面に立つ」、「対象者が介助用ベルトを掴む」及び「対象者が立ち上がり動作を開始する」が行われた状態であり、このとき推奨される対象者に対する介助者の動作が「介助者は対象者の両肩を引き上げる」であることを記憶する。また、図２４の３つ目のレコードには、介助ステージ「立ち上がりステージ３」と、介助状態「介助者が介助用ベルトを装着する」、「介助者が対象者の正面に立つ」、「対象者が介助用ベルトを掴む」及び「対象者が立ち上がっている」とが対応付けられており、推奨介助状態には情報が格納されていない。つまり、推奨介助状態記憶部１３０７は、図２３に示した立ち上がり動作における介助ステージ「立ち上がりステージ３」が、「介助者が介助用ベルトを装着する」、「介助者が対象者の正面に立つ」、「対象者が介助用ベルトを掴む」及び「対象者が立ち上がっている」が行われた状態であり、このとき推奨される対象者に対する介助者の動作は存在しないことを記憶する。

検出部１４０７は、取得部１４０４によって取得されたカラー画像情報から、介助者が対象者を介助する際に利用される器具の特徴を表す器具特徴情報を抽出し、抽出した器具特徴情報を更に用いて介助状態を検出する。例えば、検出部１４０７は、介助用ベルトの画像パターンを用いて、カラー画像情報から介助用ベルトのパターンマッチングを行い、介助用ベルトの座標情報及び向きを示す情報を取得する。そして、検出部１４０７は、取得した介助用ベルトの座標情報及び向きを示す情報を用いて、介助状態を検出する。例えば、検出部１４０７は、対象者、介助者及び器具の座標情報及び向きを用いて、これらの位置関係、移動状態、介助行為及び明示的行為のうち一つ又は複数の組み合わせを、介助状態として検出する。ここで、例えば、検出部１４０７は、図２３の立ち上がりステージ２のカラー画像情報及び距離画像情報を用いて介助状態を検出した場合には、「介助者が介助用ベルトを装着する」、「介助者が対象者の正面に立つ」、「対象者が介助用ベルトを掴む」、「対象者が立ち上がり動作を開始する」及び「介助者は対象者の両肩を引き上げる」という介助状態を検出する。

出力判定部１４０８は、検出部１４０７によって検出された介助状態が推奨介助状態を満たすか否かを判定する。例えば、出力判定部１４０８は、「介助者が介助用ベルトを装着する」、「介助者が対象者の正面に立つ」、「対象者が介助用ベルトを掴む」、「対象者が立ち上がり動作を開始する」及び「介助者は対象者の両肩を引き上げる」という介助状態を受け付ける。そして、出力判定部１４０８は、推奨介助状態記憶部１３０７を参照し、受け付けた介助状態が、介助状態「介助者が介助用ベルトを装着する」、「介助者が対象者の正面に立つ」、「対象者が介助用ベルトを掴む」及び「対象者が立ち上がり動作を開始する」に含まれる４つの状態を全て満たすので、介助ステージ「立ち上がりステージ２」を特定する。そして、出力判定部１４０８は、受け付けた介助状態と、「立ち上がりステージ２」の推奨介助状態「介助者は対象者の両肩を引き上げる」とを比較する。ここで、介助者１２ｂは対象者１２ａの両肩を引き上げているので、出力判定部１４０８は、受け付けた介助状態が推奨介助状態を満たしていると判定する。

出力制御部１４０９は、検出部１４０７によって検出された器具特徴情報と、介助状態とに応じて、介助支援情報を出力する。例えば、出力制御部１４０９は、検出部１４０７によって検出された介助状態に応じて、介助者を支援する介助支援情報を出力する。

上述してきたように、第６の実施形態に係る動作情報処理装置１００ａは、動作情報に対応するカラー画像情報を取得する。そして、動作情報処理装置１００ａは、取得したカラー画像情報から、介助者が対象者を介助する際に利用される器具の特徴を表す器具特徴情報を検出する。そして、動作情報処理装置１００ａは、検出した器具特徴情報と、介助状態とに応じて、介助支援情報を出力する。このため、動作情報処理装置１００ａは、介助者が用具を用いて対象者を介助する場合にも、介助者に対して適切な介助支援情報を出力することで、介助者による介助の質を向上させることができる。

なお、実施形態は、上記の例に限定されるものではなく、例えば、介助者が介助用ベルトを装着する場合に適用されても良い。具体的には、動作情報処理装置１００ａは、介助用ベルトが正しく装着された状態を装着ステージとして、介助者と、当該介助者によって装着された介助用ベルトとの位置関係を記憶しておく。そして、動作情報処理装置１００ａは、介助者の骨格情報と、パターンマッチングによって取得した介助用ベルトの座標情報及び向きを示す情報とを取得し（相対距離等も含む）、取得した情報を装着ステージの位置関係と比較する。そして、動作情報処理装置１００ａは、装着ステージの位置関係と比較して、取得した介助者と介助用ベルトとの位置関係が異なる場合には、警告音や正しい装着位置を示す情報を介助者に出力する。例えば、動作情報処理装置１００ａは、装着ステージの位置関係と比較して介助者が装着する介助用ベルトの位置が高い場合には、警告音とともに、介助用ベルトをどの程度下げると良いかを示す情報を介助者に通知する。

更に、例えば、動作情報処理装置１００ａは、「歩行支援用具の安全状態（歩行支援用具の位置）」、「ウォーキングポールの長さ、角度及び動かし方」、「トイレ・排泄用具の位置」、「入浴関連道具（シャワーチェアーやバスボード等）の位置」、「ベッドの介助位置や作業方法（床ずれ・褥瘡の防止等）」、「その他日用生活品の位置」及び「筋肉増強訓練用の重量物の利用方法（物と人両方）」等に適用可能である。例えば、操作者が、上記の各用途に関する一連の動作をいくつかのステージに分類し、各ステージの人物や用具の状態を定義した情報を動作情報処理装置１００ａの記憶部１３０に記憶しておくことで、動作情報処理装置１００ａは、上記の各用具を用いて介助する場合に適用される。

（第７の実施形態）
第７の実施形態では、上述した実施形態に加え、更に、自施設内の動作情報処理装置１００ａが、他施設で用いられている推奨介助状態記憶部１３０７を用いて、対象者に対する介助者の介助を支援する場合を説明する。

図２５は、第７の実施形態に係る動作情報処理装置１００ａの全体構成の構成例を示す図である。図２５に示すように、自施設内に設置された動作情報処理装置１００ａは、ネットワーク５を介して、他施設の動作情報処理装置１００ａと接続されている。そして、自施設及び他施設に設置された動作情報処理装置１００ａ各々は、各施設以外から閲覧可能な公開用記憶部を有し、その公開用記憶部に推奨介助状態記憶部１３０７を記憶している。なお、ネットワーク５としては、有線又は無線を問わず、インターネット（Internet）、ＬＡＮ（Local Area Network）やＶＰＮ（Virtual Private Network）などの任意の種類の通信網を採用して良い。なお、図２５には、自施設の動作情報処理装置１００ａと他施設の動作情報処理装置１００ａとが接続される場合を例示するが、実施形態はこれに限定されるものではない。例えば、自施設の動作情報処理装置１００ａは、他施設の公開用記憶部と直接接続されていても良い。例えば、動作情報処理装置１００ａは、学会組織や第三者機関、或いはサービス所業者等が管理する公開用記憶部に直接接続されていても良い。

図２６は、第７の実施形態に係る動作情報処理装置１００ａの構成例を示すブロック図である。図２６に示す動作情報処理装置１００ａは、図１２に示した動作情報処理装置１００ａと比較して、推奨介助状態取得部１４１０を更に有する点が相違する。そこで、第７の実施形態では、第５の実施形態と相違する点を中心に説明することとし、第５の実施形態において説明した構成と同様の機能を有する点については、図１２と同一の符号を付し、説明を省略する。

推奨介助状態取得部１４１０は、介助者によって介助が行われる際に推奨される介助の状態を表す推奨介助状態を取得する。例えば、推奨介助状態取得部１４１０は、歩行訓練に関する他施設の推奨介助状態記憶部１３０７を検索する検索要求を利用者から受け付ける。この検索要求は、例えば、施設、患者状態或いはリハビリの種目等の情報を検索キーとして指定するものである。推奨介助状態取得部１４１０は、検索要求を受け付けると、他施設の動作情報処理装置１００ａの公開用記憶部に記憶された推奨介助状態記憶部１３０７から、検索要求に該当する推奨介助状態のリストを取得する。推奨介助状態取得部１４１０は、取得した推奨介助状態のリストを利用者に通知し、リストから１つ又は複数の推奨介助状態が利用者によって選択されると、選択された推奨介助状態を推奨介助状態記憶部１３０７から取得する。そして、推奨介助状態取得部１４１０は、取得した歩行訓練に関する推奨介助状態を、他施設推奨介助状態として自施設内の推奨介助状態記憶部１３０７に、自施設の推奨介助状態とは別に、介助ステージに対応付けて格納する。

出力判定部１４０８は、更に、推奨介助状態取得部１４１０によって取得された他施設推奨介助状態と、検出部１４０７によって検出された介助状態とを比較し、介助状態が推奨介助状態を満たすか否かを判定する。例えば、出力判定部１４０８は、検出部１４０７によって検出された介助状態を受け付ける。そして、出力判定部１４０８は、推奨介助状態記憶部１３０７を参照し、受け付けた介助状態に対応する介助ステージを特定する。そして、出力判定部１４０８は、受け付けた介助状態と、特定した介助ステージに対応する他施設推奨介助状態とを比較し、介助状態が他施設推奨介助状態を満たすか否かを判定する。そして、出力判定部１４０８は、判定結果を出力制御部１４０９に出力する。

出力制御部１４０９は、出力判定部１４０８による比較結果に応じて介助支援情報を出力する。例えば、出力制御部１４０９は、検出部１４０７によって検出された介助状態が他施設推奨介助状態を満たさない旨の判定結果を出力判定部１４０８から受け付けると、他施設推奨介助状態と、自施設の推奨介助状態とを並べて表示する表示画像を出力部１１０へ表示させる。

図２７は、第７の実施形態に係る出力制御部１４０９の処理を説明するための図である。図２７において、実線は、介助状態を示し、破線は、推奨介助状態を示す。また、図２７の左側は自施設における推奨介助状態及び介助状態を示す画像であり、図２７の右側は他施設における推奨介助状態及び介助状態を示す画像である。図２７に示すように、出力制御部１４０９は、これらの画像を並べて表示する表示画像をモニタに表示出力する。これにより、介助者は、自施設の推奨介助状態に示される右手（関節２ｈ）の位置よりも、他施設の推奨介助状態に示される右手（関節２ｈ）の位置の方が上にあることを容易に見分けることができる。

なお、図２７では、自施設における推奨介助状態及び介助状態を示す画像と、他施設における推奨介助状態及び介助状態を示す画像とを並列表示する場合を説明したが、実施形態はこれに限定されるものではない。例えば、出力制御部１４０９は、当該２つの画像を重畳表示させても良い。また、例えば、出力制御部１４０９は、自施設の推奨介助状態に示される右手（関節２ｈ）の位置と、他施設の推奨介助状態に示される右手（関節２ｈ）の位置とのズレを算出し、算出したズレを数値として介助者に通知しても良い。更に、出力制御部１４０９は、複数の他の施設における推奨介助状態によって示される右手の位置の平均値等を統計的に算出し、この算出値を介助者に通知しても良い。

上述してきたように、第７の実施形態に係る動作情報処理装置１００ａは、介助者によって介助が行われる際に推奨される介助の状態を表す推奨介助状態を取得する。そして、動作情報処理装置１００ａは、取得した推奨介助状態と、介助状態とを比較し、比較結果に応じて介助支援情報を出力する。このため、動作情報処理装置１００ａは、他施設で用いられている推奨介助状態記憶部１３０７を用いて、対象者に対する介助者の介助を支援することができる。これによれば、例えば、動作情報処理装置１００ａは、他の施設で用いられている推奨介助状態のベストプラクティスを収集し、介助者の支援に活用することができる。

また、例えば、動作情報処理装置１００ａは、アクセス制限を管理する機能部を備えていても良い。例えば、動作情報処理装置１００ａは、特定の施設の動作情報処理装置１００ａからのアクセスを許可したり、特定の施設の動作情報処理装置１００ａからのアクセスを制限したりしても良い。

また、例えば、動作情報処理装置１００ａは、アクセス履歴を管理する機能部を備えても良い。また、動作情報処理装置１００ａは、アクセス履歴とともに、当該アクセス履歴に他施設からの評価を対応付けて記憶しても良い。また、動作情報処理装置１００ａは、公開用記憶部に推奨介助状態記憶部１３０７を記憶する際に、医師によって承認された旨の情報や、エビデンス、医療従事者からの推薦などを合わせて記憶しても良い。また、動作情報処理装置１００ａは、他施設の動作情報処理装置１００ａによって推奨介助状態記憶部１３０７が取得されるごとに、当該他施設に対して課金しても良い。

また、例えば、動作情報処理装置１００ａは、自施設で介助者を支援するために利用している推奨介助状態を、取得した他施設推奨介助状態で更新することで、自施設の情報として取り込むこともできる。

また、例えば、動作情報処理装置１００ａは、取得した推奨介助状態について、取得元の施設に対してフィードバックを行う仕組みを有していても良い。例えば、動作情報処理装置１００ａは、推奨介助状態を取得した際に、当該推奨介助状態の取得元の施設を示す情報を推奨介助状態とともに記憶しておく。そして、動作情報処理装置１００ａは、取得した推奨介助状態についてのフィードバック（感想や評価）の情報の入力を、対象者、介助者或いは操作者等から受け付ける。そして、動作情報処理装置１００ａは、受け付けたフィードバックの情報を、フィードバックのあった推奨介助状態の取得元の施設の動作情報処理装置１００ａへ送信することができる。

（第８の実施形態）
第８の実施形態では、上記の実施形態にて説明した動作情報処理装置１００ａを、介助者の教育に用いる場合を説明する。

第８の実施形態に係る動作情報処理装置１００ａは、図１２に示した動作情報処理装置１００ａと同様の構成を有するが、検出部１４０７、出力判定部１４０８及び出力制御部１４０９における処理が一部相違する。そこで、第８の実施形態では、第５の実施形態と相違する点を中心に説明することとし、第５の実施形態において説明した構成と同様の機能を有する点については、図１２と同一の符号を付し、説明を省略する。なお、第８の実施形態に係る動作情報処理装置１００ａは、モード判定部１４０６を有していなくても良い。

検出部１４０７は、取得部１４０４によって取得された動作情報に基づいて、リハビリテーションの対象となる対象者の状態、又は、その対象者を介助する介助者の状態を検出する。例えば、検出部１４０７は、位置関係、移動状態、介助行為及び明示的行為のうち一つ又は複数の組み合わせを用いて、対象者の状態又は介助者の状態を検出する。そして、検出部１４０７は、検出した対象者の状態又は介助者の状態を出力判定部１４０８へ出力する。なお、上述したように、検出部１４０７の処理は、人物判定部１４０５によって少なくとも一人の対象者と一人の介助者が特定された動作情報を処理対象とするので、以下の説明では、対象者及び介助者がそれぞれ特定されたものとして説明する。

出力判定部１４０８は、例えば、検出部１４０７によって対象者の状態が検出された場合には、その対象者を介助する際の介助者の状態を表す情報を、推奨介助状態記憶部１３０７から取得する。また、例えば、出力判定部１４０８は、検出部１４０７によって介助者の状態が検出された場合には、その介助者によって介助される際の対象者の状態を表す情報を、推奨介助状態記憶部１３０７から取得する。

図２４を用いて、出力判定部１４０８の処理を説明する。例えば、出力判定部１４０８は、検出部１４０７によって対象者の状態「対象者が介助用ベルトを掴む。対象者が座っている。」が検出された場合には、図２４の推奨介助状態記憶部１３０７を参照し、介助ステージ「立ち上がりステージ１」を特定する。そして、出力判定部１４０８は、介助ステージ「立ち上がりステージ１」の介助状態及び推奨介助状態を参照し、その対象者を介助する際の介助者の状態を表す情報を取得する。つまり、出力判定部１４０８は、介助状態「介助者が介助用ベルトを装着する」、「介助者が対象者の正面に立つ」、「対象者が介助用ベルトを掴む」、「対象者が座っている。」及び推奨介助状態「介助者は対象者の両肩に手を添える」のうち、介助者の状態は「介助者が介助用ベルトを装着する」、「介助者が対象者の正面に立つ」及び「介助者は対象者の両肩に手を添える」であるので、これを介助者の状態を表す情報として取得する。そして、出力判定部１４０８は、取得した介助者の状態を表す情報を出力制御部１４０９へ出力する。なお、出力判定部１４０８が、介助者の状態から、その介助者によって介助される際の対象者の状態を表す情報を取得する場合は、対象者と介助者とが入れ替わる点を除けばこれと同様であるので、説明を省略する。

出力制御部１４０９は、検出部１４０７によって対象者の状態が検出された場合には、その対象者を介助する際の介助者の状態を表す情報を出力し、検出部１４０７によって介助者の状態が検出された場合には、その介助者によって介助される際の対象者の状態を表す情報を出力する。例えば、出力制御部１４０９は、出力判定部１４０８から受け付けた、対象者の状態を表す情報、又は、介助者の状態を表す情報を、出力部１１０へ出力させる。

図２８は、第８の実施形態に係る出力制御部１４０９の処理を説明するための図である。図２８において、人物２１ａは、対象者の役を行うことで、画面２１上で介助者の動作を確認する。人物２１ａは、例えば、介助者としての教育を受ける者である。人物２１ａが対象者の役を行って、対象者の状態「対象者が介助用ベルトを掴む」及び「対象者が座っている」と同様の動作を行うと、画面２１上にはこれと同様の動作を行う人物画像２１ｂが表示される。そして、人物画像２１ｂの介助ステージに対応する介助状態及び推奨介助状態に基づいて生成される架空の人物画像２１ｃが、画面２１ｄ上に表示される。この架空の人物画像２１ｃは、介助者の役を担っており、人物２１ａが示す対象者の状態に対応する介助者の状態を表すものである。

上述してきたように、第８の実施形態に係る動作情報処理装置１００ａは、人物の動作を表す動作情報を取得する。そして、動作情報処理装置１００ａは、取得した動作情報に基づいて、リハビリテーションの対象となる対象者の状態、又は、当該対象者を介助する介助者の状態を検出する。そして、動作情報処理装置１００ａは、対象者の状態を検出した場合には、その対象者を介助する際の介助者の状態を表す情報を出力し、介助者の状態を検出した場合には、その介助者によって介助される際の対象者の状態を表す情報を出力する。このため、動作情報処理装置１００ａは、人物が対象者又は介助者の役を行うことで、それぞれの介護ステージにおける介助者又は対象者の状態を示す情報を出力することができ、模擬介助を行うことができる。

なお、第８の実施形態では、推奨介助状態を介助動作の良い例として、介助者の教育に用いる場合を説明したが、実施形態はこれに限定されるものではない。例えば、推奨介助状態記憶部１３０７に、介助動作の悪い例を登録しておくことで、介助者の教育において悪い例を提示しても良い。具体例を挙げると、介助未経験者、介助経験０〜１年目、介助経験１〜３年目等、介助者としての経験年数や、職能レベルの属性に応じた典型的な悪い例の介助状態を推奨介助状態記憶部１３０７に登録しておく。これにより、動作情報処理装置１００ａは、介助動作の悪い例を介助者の教育に用いることができる。

また、例えば、動作情報処理装置１００ａは、介助者の教育を目的として、介助動作を評価する仕組みを有していても良い。例えば、動作情報処理装置１００ａは、第５の実施形態において説明した機能によって、介助者としての訓練を受けている訓練者が行っている介助動作と、推奨介助状態とを比較する。そして、動作情報処理装置１００ａは、介助動作と推奨介助状態とのズレを算出することで、訓練者を評価する。なお、動作情報処理装置１００ａは、算出したズレに基づいて、０〜１００点で表されるスコアをつけても良い。また、動作情報処理装置１００ａは、複数人の訓練者のスコアを蓄積し、蓄積した複数人の訓練者のスコアが高い順にランキング付けしても良い。

（第９の実施形態）
第９の実施形態では、上記の実施形態にて説明した動作情報処理装置１００ａの処理に加え、更に、他のセンサからの情報を利用して、対象者に対する介助者の介助を支援する場合を説明する。

第９の実施形態に係る動作情報処理装置１００ａは、図１２に示した動作情報処理装置１００ａと同様の構成を有するが、取得部１４０４及び出力制御部１４０９における処理が一部相違する。そこで、第９の実施形態では、第５の実施形態と相違する点を中心に説明することとし、第５の実施形態において説明した構成と同様の機能を有する点については、図１２と同一の符号を付し、説明を省略する。

取得部１４０４は、対象者の生体情報を取得する。例えば、取得部１４０４は、入力部１２０に血圧計や脈拍計が適用される場合には、これらを用いて対象者の血圧や脈拍を取得する。そして、取得部１４０４は、取得した対象者の生体情報を出力判定部１４０８へ出力する。なお、取得部１４０４によって取得される生体情報は、取得された取得時刻を用いることで、動作情報に含まれるフレームとの対応付けが可能である。

出力制御部１４０９は、取得部１４０４によって取得された生体情報と、介助状態とに応じて、介助支援情報を出力する。例えば、出力制御部１４０９は、介助ステージ１において、対象者の血圧が低下してきた場合には、介助ステージ２に対応する推奨介助状態を示す情報を介助者に出力する。これにより、介助者は、推奨される介助の動作を事前に知ることができるので、体調が悪くなってきた対象者に対して迅速な対応を取ることができる。

このように、第９の実施形態に係る動作情報処理装置１００ａは、対象者の生体情報を取得する。そして、動作情報処理装置１００ａは、取得した生体情報と、介助状態とに応じて、介助支援情報を出力する。このため、動作情報処理装置１００ａは、対象者の生体情報の変化に基づいて、対象者に対する介助者の介助を支援することができる。

なお、第９の実施形態は、上記の例に限定されるものではなく、例えば、対象者の通常状態の生体情報と、現在の生体情報とを比較する場合であっても良い。具体的には、この場合、動作情報処理装置１００ａは、対象者の通常状態の生体情報（通常時の血圧や通常時の脈拍等）を記憶している。そして、動作情報処理装置１００ａは、取得した現在の血圧と、記憶されている通常時の血圧とを比較する。そして、動作情報処理装置１００ａは、現在の血圧が通常時の血圧より低い場合には、その旨を介助者に通知することで、いつもより手厚い介助を介助者に行わせることができる。

（その他の実施形態）
さて、これまで第１〜第９の実施形態について説明したが、上述した第１〜第９の実施形態以外にも、種々の異なる形態にて実施されてよいものである。

上述した第１〜４の実施形態では、動作情報処理装置１００が、対象者の障害箇所から当該対象者に対応するルール情報を取得し、対象者の動作情報に対応する動作がルール沿っているか否かを判定し、判定結果を通知する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、各処理がネットワーク上のサービス提供装置によって実行される場合であってもよい。

図２９は、サービス提供装置に適用される場合の一例を説明するための図である。図２９に示すように、サービス提供装置２００は、サービスセンタ内に配置され、例えば、ネットワーク５を介して、医療機関や、自宅、職場に配置される端末装置３００とそれぞれ接続される。医療機関、自宅及び職場に配置された端末装置３００は、動作情報収集部１０がそれぞれ接続される。そして、各端末装置３００は、サービス提供装置２００によって提供されるサービスを利用するクライアント機能を備える。

サービス提供装置２００は、図４に示す動作情報処理装置１００と同様の処理をサービスとして端末装置３００に提供する。すなわち、サービス提供装置２００は、取得部１４０１と、判定部１４０２と、出力制御部１４０３と同様の機能部を有する。そして、取得部１４０１と同様の機能部は、リハビリテーションの対象となる対象者の骨格にかかる動作情報を取得する。そして、判定部１４０２と同様の機能部は、リハビリテーションにおいて対象者に関連する規則情報に基づいて、取得部１４０１と同様の機能部によって取得された動作情報で示される対象者の動作が規則情報に含まれる規則に沿っているか否かを判定する。そして、出力制御部１４０３と同様の機能部は、判定部１４０２と同様の機能部による判定結果を出力するように制御する。なお、ネットワーク５には、有線又は無線を問わず、インターネット（Internet）、ＷＡＮ（Wide Area Network）などの任意の種類の通信網を採用できる。

また、上述した第１〜第４の実施形態における動作情報処理装置１００の構成はあくまでも一例であり、各部の統合及び分離は適宜行うことができる。例えば、対象者情報記憶部１３０２とルール情報記憶部１３０３とを統合したり、判定部１４０２を対象者に応じたルール情報を抽出する抽出部と動作を判定する判定部に分離したりすることが可能である。

また、第１の実施形態から第４の実施形態において説明した取得部１４０１、判定部１４０２及び出力制御部１４０３の機能は、ソフトウェアによって実現することもできる。例えば、取得部１４０１、判定部１４０２及び出力制御部１４０３の機能は、上記の実施形態において取得部１４０１、判定部１４０２及び出力制御部１４０３が行うものとして説明した処理の手順を規定した医用情報処理プログラムをコンピュータに実行させることで、実現される。この医用情報処理プログラムは、例えば、ハードディスクや半導体メモリ素子等に記憶され、ＣＰＵやＭＰＵ等のプロセッサによって読み出されて実行される。また、この医用情報処理プログラムは、ＣＤ−ＲＯＭ（Compact Disc − Read Only Memory）やＭＯ（Magnetic Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータ読取り可能な記録媒体に記録されて、配布され得る。

また、例えば、上述した第５〜第９の実施形態では、動作情報収集部１０によって収集した動作情報を、動作情報処理装置１００ａによって解析することで、対象者及び介助者を支援する場合を説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、各処理がネットワーク上のサービス提供装置によって実行されても良い。

例えば、図２９に示すサービス提供装置２００は、図１２において説明した動作情報処理装置１００ａと同様の機能を有し、当該機能によって端末装置３００にサービスとして提供する。すなわち、サービス提供装置２００は、取得部１４０４と、検出部１４０７と、出力制御部１４０９と同様の機能部を有する。そして、取得部１４０４と同様の機能部は、人物の動作を表す動作情報を取得する。そして、検出部１４０７と同様の機能部は、取得部１４０４と同様の機能部によって取得された動作情報に基づいて、リハビリテーションの対象となる対象者に対する介助者の状態を表す介助状態を検出する。そして、出力制御部１４０９と同様の機能部は、検出部１４０７と同様の機能部によって検出された介助状態に応じて、前記介助者を支援する介助支援情報を出力する。このようなことから、介助者によって行われる介助の質を高めることができる。

また、上述した第５〜第９の実施形態における動作情報処理装置１００ａの構成はあくまでも一例であり、各部の統合及び分離は適宜行うことができる。例えば、対象者動作特徴記憶部１３０５Ａと介助者動作特徴記憶部１３０５Ｂとを統合することが可能である。

なお、上述した第１の実施形態〜第９の実施形態で示したリハビリのルール情報や、推奨介助状態などは、日本整形外科学会などで規定されたものだけでなく、その他種々の団体によって規定されたものを用いる場合であってもよい。例えば、「International Society of Orthopaedic Surgery and Traumatology（SICOT）：国際整形外科学会」、「American Academy of Orthopaedic Surgeons(AAOS)：米国整形外科学会」、「European Orthopaedic Research Society（EORS）：欧州整形外科学研究会」、「International Society of Physical and Rehabilitation Medicine (ISPRM) ：国際リハビリテーション医学会」、「American Academy of Physical Medicine and Rehabilitation(AAPM&R)：米国物理療法リハビリテーション学会」などによって規定された各種規則やルールを用いる場合であってもよい。

以上説明した少なくともひとつの実施形態によれば、本実施形態の動作情報処理装置及びプログラムは、リハビリテーションの質を向上させることができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１０ 動作情報収集部
１００、１００ａ 動作情報処理装置
１４０ 制御部
１４０１、１４０４ 取得部
１４０２ 判定部
１４０３、１４０９ 出力制御部
１４４ 検出部

Claims (19)

1. 人物の動作を表す動作情報を取得する取得部と、
   前記取得部によって動作情報を取得された人物に関して、リハビリテーションに係る動作を支援する支援情報を出力する出力部と、
   を備える、動作情報処理装置。
2. 前記リハビリテーションにおいて、前記リハビリテーションの対象となる対象者に関連する規則情報に基づいて、前記取得部によって取得された前記動作情報で示される前記対象者の動作が前記規則情報に含まれる規則に沿っているか否かを判定する判定部をさらに備え、
   前記取得部は、前記リハビリテーションの対象となる対象者の骨格にかかる動作情報を取得し、
   前記出力部は、前記判定部による判定結果を出力する、請求項１に記載の動作情報処理装置。
3. 前記判定部は、前記対象者によって実行されるリハビリテーションの内容及び当該対象者の患部の情報によって決定される規則情報に基づいて、前記動作情報で示される前記対象者の動作が前記規則情報に含まれる規則に沿っているか否かを判定する、請求項２に記載の動作情報処理装置。
4. 前記取得部は、前記リハビリテーションの内容に対応する動作の実行後の動作情報を取得し、
   前記判定部は、前記取得部によって取得された前記動作の実行後の動作情報で示される動作が前記規則情報に含まれる規則に沿っているか否かを判定する、請求項３に記載の動作情報処理装置。
5. 前記取得部は、前記リハビリテーションの内容に対応する動作の実行前の動作情報を取得し、
   前記判定部は、前記取得部によって取得された前記動作の実行前の動作情報で示される動作が前記規則情報に含まれる規則に沿っているか否かを判定する、請求項３に記載の動作情報処理装置。
6. 前記判定部は、前記取得部によって取得された前記動作情報で示される動作に基づいて、前記対象者によって次に実行されるリハビリテーションの内容において前記規則情報に含まれる規則に沿った動作を判定し、
   前記出力部は、前記判定部によって判定された動作に関する情報を前記対象者に出力する、請求項２〜５のいずれか１つに記載の動作情報処理装置。
7. 前記判定部は、前記取得部によって取得された前記動作情報に基づいて、前記対象者によって実行されている動作が現時点で実行されているリハビリテーションの内容に沿った動作であるか否かを判定し、
   前記出力部は、前記判定部によって前記対象者によって実行されている動作が現時点で実行されているリハビリテーションの内容に沿った動作ではないと判定された場合に、当該リハビリテーションに復帰するための動作に関する情報を前記対象者に出力する、請求項５に記載の動作情報処理装置。
8. 前記取得部は、歩行訓練を実行する対象者の動作情報を取得し、
   前記判定部は、前記歩行訓練と前記対象者の患部の情報とから決定される規則情報に基づいて、前記取得部によって取得された前記歩行訓練を実行する対象者の動作情報で示される動作が前記規則情報に含まれる規則に沿っているか否かを判定し、
   前記出力部は、前記判定部による判定結果を、前記歩行訓練を実行する対象者に出力する、請求項２〜７のいずれか１つに記載の動作情報処理装置。
9. 前記取得部は、前記歩行訓練のうちの階段歩行訓練を実行する対象者の動作情報を取得し、
   前記判定部は、前記階段歩行訓練と前記対象者の患部の情報とから決定される規則情報に基づいて、前記取得部によって取得された前記階段歩行訓練を実行する対象者の動作情報で示される動作が前記規則情報に含まれる規則に沿っているか否かを判定する、請求項８に記載の動作情報処理装置。
10. 前記判定部は、前記患部の情報を医療情報システム及び個人の健康情報記録のうち、少なくとも一方から取得する、請求項３〜９のいずれか１つに記載の動作情報処理装置。
11. 前記取得部によって取得された動作情報に基づいて、リハビリテーションの対象となる対象者に対する介助者による介助状態を検出する検出部をさらに備え、
    前記出力部は、前記検出部によって検出された介助状態に応じて、前記介助者を支援する介助支援情報を出力する、請求項１に記載の動作情報処理装置。
12. 前記介助状態は、前記対象者と前記介助者との位置関係、前記対象者及び前記介助者それぞれの移動状態、前記対象者への前記介助者の指示行為の少なくとも１つを含む、請求項１１に記載の動作情報処理装置。
13. 前記取得部は、更に、前記動作情報に対応する画像情報を取得し、
    前記検出部は、更に、前記取得部によって取得された画像情報から、前記介助者が前記対象者を介助する際に利用される器具の特徴を表す器具特徴情報を抽出し、抽出した器具特徴情報を更に用いて前記介助状態を検出する、請求項１１又は１２に記載の動作情報処理装置。
14. 前記介助者によって介助が行われる際に推奨される介助の状態を表す推奨介助状態を記憶する推奨介助状態記憶部を更に備え、
    前記出力部は、前記介助状態と、前記推奨介助状態とを比較して、比較結果に応じて前記介助支援情報を出力する、請求項１１〜１３のいずれか１つに記載の動作情報処理装置。
15. 前記出力部は、前記介助状態と前記推奨介助状態との比較結果から、前記介助状態と前記推奨介助状態との差異を算出し、算出した差異を前記介助支援情報として出力する、請求項１４に記載の動作情報処理装置。
16. 前記推奨介助状態を外部装置から取得する推奨介助状態取得部を更に備え、
    前記出力部は、更に、前記推奨介助状態取得部によって取得された推奨介助状態と、前記介助状態とを比較し、比較結果に応じて前記介助支援情報を出力する、請求項１４又は１５に記載の動作情報処理装置。
17. 前記取得部は、更に、前記対象者の生体情報を取得し、
    前記出力部は、更に、前記取得部によって取得された生体情報と、前記介助状態とに応じて、前記介助支援情報を出力する、請求項１１〜１６のいずれか１つに記載の動作情報処理装置。
18. 前記検出部は、前記取得部によって取得された動作情報に基づいて、リハビリテーションの対象となる対象者の状態、又は、当該対象者を介助する介助者の状態を検出し、
    前記出力部は、前記検出部によって対象者の状態が検出された場合には、当該対象者を介助する際の介助者の状態を表す情報を出力し、前記検出部によって介助者の状態が検出された場合には、当該介助者によって介助される際の対象者の状態を表す情報を出力する、請求項１に記載の動作情報処理装置。
19. コンピュータに、
    人物の動作を表す動作情報を取得する取得手順と、
    前記動作情報を取得された人物に関して、リハビリテーションに係る動作を支援する支援情報を出力する出力手順と、
    を実行させる、プログラム。

Images