JP2018161529A - リハビリテーション支援装置 - Google Patents

リハビリテーション支援装置 Download PDF

Info

Publication number
JP2018161529A
JP2018161529A JP2018137942A JP2018137942A JP2018161529A JP 2018161529 A JP2018161529 A JP 2018161529A JP 2018137942 A JP2018137942 A JP 2018137942A JP 2018137942 A JP2018137942 A JP 2018137942A JP 2018161529 A JP2018161529 A JP 2018161529A
Authority
JP
Japan
Prior art keywords
subject
target
image
rehabilitation
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018137942A
Other languages
English (en)
Other versions
JP6706649B2 (ja
Inventor
栄太 平井
Eita Hirai
栄太 平井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Paramount Bed Co Ltd
Original Assignee
Paramount Bed Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Paramount Bed Co Ltd filed Critical Paramount Bed Co Ltd
Priority to JP2018137942A priority Critical patent/JP6706649B2/ja
Publication of JP2018161529A publication Critical patent/JP2018161529A/ja
Application granted granted Critical
Publication of JP6706649B2 publication Critical patent/JP6706649B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】リハビリテーションの対象者が、より直感的に位置を把握できるようにする。【解決手段】リハビリテーション支援装置は、対象者がリハビリテーション動作を行う領域に画像を出力する出力部と、前記領域のうち、前記対象者の体の一部の位置を検出する検出部と、前記出力部を制御する制御部と、を備え、前記制御部は、前記対象者の体の一部の位置に応じた位置に前記画像を表示させ、前記制御部は、前記対象者の体の一部の位置が第1高さのとき、前記画像を第1形態で表示し、前記対象者の体の一部の位置が前記第1高さと異なる第2高さのとき、前記画像を前記第11形態と異なる第2形態で表示する。【選択図】図2

Description

本発明は、リハビリテーションを支援する技術に関する。
従来、タッチパネル上にリハビリテーション用の画像を表示し、画像に対応してリハビリテーションの対象者が触れたタッチパネル上の位置を検出することによってリハビリテーションを評価する技術がある(例えば特許文献1参照)。
特開2013−172897号公報
リハビリテーションの対象者によっては、画面に示される位置の把握が困難な場合がある。例えば、画面に対象者自身の画像と右手を伸ばす目標の位置とが示されている場合に、対象者自身の画像と実際の対象者とを対応付けることができず、そのために右手を伸ばす目標の位置を把握できない場合がある。対象者が目標の位置を把握できない場合、リハビリテーションの実行に支障が生じる可能性がある。
上記事情に鑑み、本発明は、リハビリテーションの対象者が、より直感的に位置を把握可能とする技術の提供を目的としている。
本発明の一態様は、対象者を検出した結果を示す検出結果情報を取得する入力部と、前記検出結果情報のうち、前記対象者のリハビリテーション動作が行われる動作領域に対応する前記対象者の体の一部に関する検出結果情報に基づいて、前記対象者の体の一部の位置を認識する認識部と、前記動作領域に表示を行う出力装置を制御して、前記対象者の体の一部の位置に応じた位置に前記画像を表示させる表示制御部と、を備えるリハビリテーション支援制御装置である。
本発明の一態様は、上記のリハビリテーション支援制御装置であって、前記表示制御部は、前記対象者の体の一部の現在の位置を示す画像を前記出力装置に出力させる。
本発明の一態様は、上記のリハビリテーション支援制御装置であって、前記表示制御部が、前記対象者の体の一部の位置の履歴を示す画像を前記出力装置に表示させる。
本発明の一態様は、上記のリハビリテーション支援制御装置であって、前記対象者の体の一部の位置に基づいて前記対象者の体の一部の目標位置を決定する目標決定部を更に備え、前記表示制御部が、前記目標位置に画像を表示するように前記出力装置を制御する。
本発明の一態様は、上記のリハビリテーション支援制御装置であって、前記対象者の体の一部の位置と前記目標位置との相対的な位置関係を評価する評価部をさらに備え、前記表示制御部は、前記評価部による評価結果を前記出力装置に表示させる。
本発明の一態様は、上記のリハビリテーション支援制御装置であって、前記表示制御部は、前記対象者の体の一部の位置、及び、前記目標位置のうち少なくともいずれか一方に、前記評価部による評価結果を表示させる。
本発明の一態様は、上記のリハビリテーション支援制御装置であって、前記対象者が行うリハビリテーションの内容に応じた動作領域が、所定の第一動作領域及び所定の第二動作領域のうちの何れであるかを判定する動作領域判定部をさらに備え、前記認識部は、前記動作領域判定部の判定結果に基づいて前記第一動作領域又は前記第二動作領域に関連する前記体の一部の位置の動きを認識する。
本発明の一態様は、対象者を検出した結果を示す検出結果情報を取得する入力部と、前記検出結果情報のうち、前記対象者のリハビリテーション動作が行われる動作領域に対応する前記対象者の体の一部に関する検出結果情報に基づいて、前記対象者の体の一部の位置を認識する認識部と、前記動作領域に表示を行う出力装置を制御して、前記対象者の体の一部の位置に応じた位置に画像を表示させる表示制御部と、を備えるリハビリテーション支援制御装置としてコンピュータを機能させるためのコンピュータプログラムである。
本発明により、リハビリテーションの対象者が、より直感的に位置を把握可能となる。
本発明の一実施形態に係るリハビリテーション支援システム1のシステム構成を示す斜視図である。 リハビリテーション支援システム1に備わるリハビリテーション支援制御装置300の機能構成例を示す概略ブロック図である。 リハビリテーション支援制御装置300による第一動作領域を説明するための斜視図である。 リハビリテーション支援システム1における画像の表示の例を示す平面図である。 リハビリテーション支援制御装置300による第二動作領域を説明するための斜視図である。 リハビリテーション支援システム1における画像の表示の例を示す平面図である。 リハビリテーション支援制御装置300による動作領域の判定処理の一例を示すフローチャートである。 リハビリテーション支援制御装置300が手の移動目標となる目標画像を映し出す例を示す斜視図である。 リハビリテーション支援制御装置300が手の外乱を映し出す例を示す図である。 足用表示パラメータ設定部347がステップの値を設定する例を示す図である。 リハビリテーション支援制御装置300が、対象者EPが歩行する際の回避目標となる目標画像を映し出す例を示す斜視図である。 リハビリテーション支援制御装置300が、対象者EPが歩行する際の外乱を映し出す例を示す斜視図である。 リハビリテーション支援制御装置300による、対象者EPの認識処理の一例を示すフローチャートである。 リハビリテーション支援システム1を用いたリハビリテーションにおけるパラメータ設定の一例を示すフローチャートである。 リハビリテーション支援システム1が対象者EPの体の一部の高さを表示した例を示す図である。 リハビリテーション支援システム1のシステム構成の変形例を示す斜視図である。
図1は、本発明の一実施形態に係るリハビリテーション支援システム1のシステム構成を示す斜視図である。リハビリテーション支援システム1は、リハビリテーションの対象者(以下「対象者」という。)に対して、リハビリテーションの実施を支援するシステムである。リハビリテーション支援システム1は、センサ100、出力装置200及びリハビリテーション支援制御装置300を備える。
センサ100は、同センサ100の検出範囲800内(図1の破線で囲った範囲)で対象者EPを検出する。
センサ100は、例えば、画像センサ、赤外線センサ、レーザセンサ、サーモセンサなど、対象者EPにマーカを装着することなく対象者EPの動きが検出できるセンサである。本実施形態では、このようなセンサの例として、センサ100に、距離センサと画像センサを組み込んだKinect(登録商標)を用いた場合を例に説明を行う。
センサ100は、例えば、画像センサ(不図示)を備える。前記画像センサは、(1)自らの正面方向をリアルタイムに撮像し、連続した複数枚の2次元画像(フレーム画像)を取得する動画カメラとしての機能と、(2)センサ100から、前記2次元画像(フレーム画像)内の各位置に対応する実際の位置までの距離の情報(距離情報を表示した画像)を取得する距離センサ(デプスセンサ)としての機能と、を有している。前記距離センサが有する機能により、対象者EPを撮像した画像と、当該画像に撮像された対象者EPの体の各部位の3次元空間における座標情報である距離画像情報とを取得する。センサ100が検出する3次元空間とは、図1に示すXYZ直交座標系によって示される空間である。
対象者EPの体の各部位とは、対象者EPの動作を認識するために検出することが求められる体の部位である。具体的には、対象者EPの体の各部位とは、例えば、対象者EPの頭、肩、腕、手、腰、足及び各関節部等の位置である。
センサ100は、検出した結果を示す情報(以下「検出結果情報」という。)をリハビリテーション支援制御装置300に出力する。検出結果情報とは、例えば、対象者EPの体の一部の位置情報である。
なお、センサ100は、対象者EPにマーカを装着し、そのマーカの検出により対象者EPを検出するセンサであっても構わない。
出力装置200は、対象者EPに対して行われるリハビリテーションに関する画像を出力する。出力装置200は、例えば、プロジェクタ等の画像投影装置である。出力装置200は、リハビリテーションを支援する画像を投影して、出力領域900に表示する。出力画像の例としては、対象者EPの体の一部の位置の移動履歴、及び、対象者EPの体の一部の移動目標位置を含む画像を挙げることができる。例えば、歩行のリハビリテーションの場合、出力装置200が対象者EPの足の位置の移動履歴、及び、対象者EPが足を動かして移動させる目標位置のうちいずれか一方又は両方を表示するようにしてもよい。また、手の移動のリハビリテーションの場合であれば、出力装置200が、対象者EPの手の位置の移動履歴、及び、対象者EPが手を動かして移動させる目標位置のうちいずれか一方又は両方を表示するようにしてもよい。以下の説明では、対象者EPの体の一部の位置の移動履歴を示す画像を履歴画像と称する。また、対象者EPの体の一部の移動目標位置を示す画像を目標画像と称する。
リハビリテーション支援制御装置300は、情報処理装置を用いて構成される。すなわち、リハビリテーション支援制御装置300は、バスで接続されたCPU(Central Processor Unit)、メモリ及び補助記憶装置を備える。リハビリテーション支援制御装置300は、リハビリテーション支援プログラムを実行することによって動作する。
センサ100等は、脚部310によって支持される。脚部310は、上下方向に伸縮可能であり、センサ100、出力装置200の高さ位置を調整することができる。これにより、センサ100による検出範囲の広さを調整することが可能である。また、出力装置200が投影装置の場合、出力領域900の広さを調整することが可能である。また、脚部310は、キャスター311、312、313、314を備えている。キャスター311〜314は転動可能であるため、手押しなどすることにより、リハビリテーション支援システム1を、フロア上で自由に移動させることができる。
図2は、リハビリテーション支援システム1に備わるリハビリテーション支援制御装置300の機能構成例を示す概略ブロック図である。リハビリテーション支援制御装置300は、入力部31、出力部32、記憶部33、制御部34、操作部35及び表示部36を備える。
入力部31は、外部からの情報を入力するインタフェースである。例えば、入力部31は、センサ100から検出結果を示す情報(検出結果情報)を取得する。
出力部32は、制御部34によって生成された画像を出力装置200に対して出力するインタフェースである。
記憶部33は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部33は、キャリブレーション情報記憶部331、判定条件情報記憶部332、検出履歴情報記憶部333、パラメータ情報記憶部334、プログラム情報記憶部335として機能する。
キャリブレーション情報記憶部331は、キャリブレーション情報を記憶する。キャリブレーション情報は、センサ100の検出結果を示す座標の座標系と、出力装置200が投影する画像面の座標系とを対応付ける情報である。従って、リハビリテーション支援制御装置300におけるキャリブレーションは、センサ100による検出範囲800と、出力装置200による画像の出力領域900との位置関係を把握し、両者に共通の座標系を設定する処理である。なお、センサ100が検出できる検出範囲は、図示する検出範囲800より広くてもよい。本実施形態における検出範囲800とは、出力領域900上で行われる対象者EPの動作において、対象者EPの検出目的とする体の一部の位置情報を取得するのに必要な検出範囲のことである。なお、出力領域900上とは、出力領域900で規定される平面の領域だけではなく、その領域において、出力領域900を基準とする所定高さまでの空間も含む。
キャリブレーション情報は、例えば事前にキャリブレーションを実施することによって得てもよい。
より具体的には、例えば出力装置200がキャリブレーション用のマーカ画像を、画像面(画像の出力領域900)の四隅など、複数箇所に投影する。リハビリテーション支援制御装置300は、出力装置200の座標系における座標を既知である。
出力装置200がマーカ画像を投影すると、センサ100は、各マーカ画像の位置を、センサ100の座標系(センサ100が検出位置を示すのに用いる座標系)における座標にてリハビリテーション支援制御装置300へ出力する。これにより、リハビリテーション支援制御装置300(制御部34)は、各マーカの位置を、センサ100の座標系における座標、及び、出力装置200の座標系における座標の両方で取得する。また、リハビリテーション支援制御装置300(制御部34)は、四隅等に投影されたマーカ画像により、出力装置200の座標系における出力領域900の範囲を示す座標を把握する。これにより、後述する目標決定部345は、出力領域900における出力装置200の座標系における目標位置を計算することができる。
リハビリテーション支援制御装置300(制御部34)は、得られた座標に基づいて、センサ100の座標系を補正するための情報をキャリブレーション情報として取得する。センサ100が座標系調整機能を有している場合、リハビリテーション支援制御装置300(制御部34)は、この機能を利用してセンサ100の座標系を出力装置200の座標系に合わせるためのキャリブレーション情報を生成する。あるいは、出力装置200が座標系調整機能を有している場合、リハビリテーション支援制御装置300(制御部34)が、この機能を利用して出力装置200の座標系をセンサ100の座標系に合わせるためのキャリブレーション情報を生成するようにしてもよい。
床面が光を散乱させてマーカ画像がぼやける場合など、センサ100によるマーカ画像の検出が困難な場合は、マーカ画像を用いた位置検出の代わりに理学療法士等の操作者が手動で位置検出を行うようにしてもよい。出力装置200が出力領域900の全体に画像を投影している状態で、センサ100が画像センサで投影画像全体を含む領域を撮像する。リハビリテーション支援制御装置300は、センサ100による撮像画像を表示画面に表示する。そして、リハビリテーション支援システム1の操作者は、モニタ画面に表示されている出力領域900の四隅の各々をタッチ操作にて指定する。
モニタ画面に表示されている画像は、センサ100が撮像した画像なので、操作者が指定した位置をセンサ100の座標系における座標で取得し得る。リハビリテーション支援制御装置300(制御部34)は、この座標と、出力装置200の座標系における出力領域900の四隅の座標とに基づいて、キャリブレーション情報を取得する。なお、高さ方向の座標として、フロアの座標を用いる。
あるいは、理学療法士等が、例えばコーンなど物理的なマーカを画像面の四隅位置に置くようにしてもよい。この場合、センサ100は、置かれたマーカを検出し、各マーカの座標を出力する。
出力装置200が床面に画像を投影する場合、リハビリテーション支援システム1の初回使用時にキャリブレーションを行えば、2回目の使用時以降はキャリブレーションを行う必要が無い。センサ100と床面との位置関係、及び、出力装置200と床面との位置関係のいずれも変わらないため、初回使用時に得られたキャリブレーション情報を2回目以降の使用時にも使用できるためである。
判定条件情報記憶部332は、動作領域を判定するための条件を記憶する。動作領域については後述する。
検出履歴情報記憶部333は、認識部341が認識した対象者EPの体の一部に関する位置情報(検出結果情報)の履歴を記憶する。例えば、歩行のリハビリテーションを行う場合、検出履歴情報記憶部333は、対象者EPの足の位置の検出結果情報の履歴を記憶する。また、手の移動のリハビリテーションを行う場合、検出履歴情報記憶部333は、対象者EPの手の位置の検出結果情報の履歴を記憶する。
パラメータ情報記憶部334は、後述する足用表示パラメータ設定部347が設定した足用表示パラメータ、後述する手用表示パラメータ設定部348が設定した手用表示パラメータ、後述する外乱用表示パラメータ設定部349が設定した外乱用表示パラメータを記憶する。
プログラム情報記憶部335は、リハビリテーション支援プログラムを記憶する。
制御部34は、CPUを用いて構成される。制御部34は、リハビリテーション支援プログラムを実行することによって、認識部341、表示制御部342、動作領域判定部343、記録部344、目標決定部345、評価部346、足用表示パラメータ設定部347、手用表示パラメータ設定部348、外乱用表示パラメータ設定部349として機能する。
認識部341は、入力部31が取得した検出結果情報を取得し、検出結果情報が示す対象物を認識する。例えば、認識部341は、検出結果情報に基づいて、検出範囲800に存在する人、テーブル、床、壁等を認識する。例えば、Kinect(登録商標)を用いると、対象者EPの人体上の複数の部位の位置を認識することができる。例えば、認識部341は、テーブル上の長尺状の検出対象の先端部を認識すると、その先端部の単位時間ごとの位置情報を検出する。認識部341は、センサ100が時々刻々と検出したこれらの特徴点の位置情報により、対象者EPの体の一部の位置の動きを認識する。例えば、長尺状の対象物を検出した場合、認識部341は、その対象物の先端の位置の動きを認識する。当該先端の位置の動きは、例えば、対象者EPの手の位置として扱ってもよい。また、認識部341は、検出結果情報が示す対象物の形状と人の骨格モデルとの比較を行って対象物が人と認識できる場合、各部位の位置を認識する機能を有していてもよい。この機能によれば、認識部341は、人体の各部位の位置情報を、その部位に対応付けて認識することができる。例えば、対象者EPがセンサ100の前で直立する。すると、認識部341は、その状態で検出された検出結果情報と人の骨格モデルとの比較を行い、対象物が人の形状をしていることから対象物は人であると認識する。さらに、認識部341は、例えば、左のつま先とその位置情報、右のかかととその位置情報、左右の手首とそれぞれの位置情報というように、各部位の位置情報をそれぞれの部位に対応付けて認識する。骨格モデルによる各部位の位置を認識する機能(以下「骨格トラッキング機能」という。)を用いると、認識部341は、対象者EPの各部位の位置の動きを認識することができる。このように認識部341は、検出結果情報に含まれる所定の形状をした対象物の所定の位置をトラッキングすることにより、又は、骨格トラッキング機能により、対象者EPの体の一部の位置およびその動きを認識する。また、Kinect(登録商標)を用いると、検出範囲800に存在する物の座標情報(検出範囲800に存在する物の所定間隔ごとの座標情報を含む点群データ)を得ることができる。認識部341は、検出結果情報(点群データ)を分析し、所定の広さ以上の面積を有し、Z座標の値が変化しない面(要するに、Z座標の値がほぼ一定の点群の集合)を、壁、フロア、テーブル等との平面として認識する。また、認識部341は、検出結果情報のうち、どのデータが、後述する動作領域判定部343が判定した動作領域に関連する対象者EPの体の一部(検出対象部位)の検出データであるかを認識し、そのデータ(検出対象情報)を選択する。
ここで、動作領域とは、対象者EPのリハビリテーションの目的とする動作が行われる領域のことである。より具体的には、リハビリテーションによって回復することを目的とする動作に強く関連する部位が動作する空間内の所定の領域のことである。また、例えば、動作領域とは、対象者EPがリハビリテーションにおいてその部位を近接させる領域である。また、例えば、動作領域とは、対象者EPのリハビリテーションにおいて、その動作の目標(到達点)となる位置を含む領域である。また、動作領域とは、対象者EPがリハビリテーション中に目的とする動作を行う場所である。動作領域の具体例として、2次元領域の場合では、フロア、テーブル等を挙げることができる。例えば、フロアであれば、リハビリテーションによって回復することを目的とする動作に強く関連する部位は足であり、テーブルの場合の当該部位は手である。また、対象者EPは、歩行動作のリハビリテーションにおいて足をフロアに近接させ、手の移動のリハビリテーションにおいては手をテーブルに近接させる。また、例えば、歩行動作のリハビリテーションにおいてフロアは、歩行動作の到達点となる位置(目標画像の表示位置)を含む領域であり、テーブルは手の移動のリハビリテーションにおける手の到達点となる位置(目標画像の表示位置)を含む領域である。また、フロア、テーブルはそれぞれ、歩行動作のリハビリテーション、手の移動のリハビリテーション中に目的となる動作を行う場所である。なお、動作領域が3次元である場合の具体例としては、テーブル上のテーブル表面を基準とする所定高さの範囲の空間(以下「3次元動作領域」という)を挙げることができる。例えば、出力装置200は、テーブルに「10cm」を意味する目標画像を表示する。例えば、テーブル上のある位置に「10cm」と表示してもよい。これは、テーブルの当該目標画像が表示された位置の真上の空間の、テーブル表面を基準とする高さ10cmの位置が、手の到達点となる位置であることを意味する目標画像である。この目標画像が示す位置は、当該3次元動作領域に含まれている。この例の場合も、例えば、3次元動作領域は、リハビリテーションによって回復することを目的とする動作に強く関連する部位(手)が動作する領域である。また、3次元動作領域は、手の移動のリハビリテーションにおいて、手を近接させる領域である。また、3次元動作領域は、手の移動の到達点となる位置(目標画像が示す位置)を含む領域である。また、3次元動作領域は、対象者EPが手の移動のリハビリテーション中に目的とする動作を行う場所である。なお、動作領域が3次元である場合の他の例として、出力領域900上の空間を挙げることができる。例えば、動作領域が出力領域900上の空間の場合、この空間に目標画像を投影し、対象者EPがその目標画像を手で触れる等のリハビリテーションを行ってもよい。
表示制御部342は、出力装置200が出力する画像を生成する。例えば、表示制御部342は、動作領域に表示して対象者EPの動作を誘導する目標画像、リハビリテーションの評価結果の情報を含む画像、リハビリテーション中に行った対象者EPの検出対象部位の動作の軌跡を示す画像などを生成する。
例えば、歩行のリハビリテーションの場合、表示制御部342が出力装置200を制御して、上記のように対象者EPの足の位置の履歴画像、及び、対象者EPが足を動かす目標位置を示す目標画像うちのいずれか一方又は両方を表示させるようにしてもよい。また、手の移動のリハビリテーションの場合、表示制御部342が出力装置200を制御して、上記のように対象者EPの手の位置の履歴画像、及び、対象者EPが手を動かす目標位置を示す目標画像のうちいずれか一方又は両方を表示させるようにしてもよい。
対象者EPの体の一部の位置に応じた位置は、対象者EPの体の一部の実際の位置であってもよいし、実際の位置に応じて定められた目標位置であってもよい。対象者EPの体の一部の実際の位置は、対象者EPの体の一部の現在の位置であってもよいし、過去の位置(履歴の位置)であってもよい。
特に、表示制御部342が出力装置200を制御して、体の一部の形状を示す画像を対象者EPの位置に応じた位置に表示させるようにしてもよい。例えば、歩行のリハビリテーションの場合、表示制御部342が出力装置200を制御して、対象者EPの足の位置の履歴画像、及び、目標画像のうちいずれか一方又は両方を足の形の画像で表示させるようにしてもよい。また、手の移動のリハビリテーションの場合、表示制御部342が出力装置200を制御して、上記のように出力装置200に対象者EPの手の位置の履歴画像、及び、目標画像のうちいずれか一方又は両方を手の形の画像で表示させるようにしてもよい。
表示制御部342が、認識部341が認識した対象者EPの体の一部の実際の形状を出力装置200に表示させるようにしてもよい。あるいは、記憶部33が体の一部の形状を示す画像を予め記憶しておき、表示制御部342が、当該画像を記憶部33から読み出して出力装置200に表示させるようにしてもよい。
動作領域判定部343は、認識部341による認識結果に基づいて動作領域を判定する。後述するように、動作領域の判定方法は、様々であってよい。動作領域判定部343は、所定の判定条件に基づいて、例えば、動作領域がフロアであると判定する。また、例えば、動作領域判定部343は、動作領域がテーブルであると判定する。
動作領域判定部343は、動作領域を判定すると、対象者EPの動作領域に関連する検出対象となる部位(検出対象部位)を決定する。検出対象部位とは、リハビリテーションの目的とする動作に関係が深い体の一部である。例えば、動作領域判定部343は、動作領域をフロアであると判定した場合、対象者EPの足首を検出対象部位として決定する。あるいは、動作領域判定部343は、対象者EPのつま先を検出対象部位として決定してもよい。また、例えば、動作領域判定部343は、動作領域をテーブルであると判定した場合、対象者EPの手の甲を検出対象部位として決定する。あるいは、動作領域判定部343は、対象者EPの指先を検出対象部位として決定してもよい。
なお、動作領域に関連する検出対象部位は、予め記憶部33に設定されており、動作領域判定部343は、その情報と自らが判定した動作領域とに基づいて検出対象部位を決定する。検出対象部位には、例えば、リハビリテーションの目標とする動作において、動作範囲が大きい部位が設定されていてもよい。例えば、歩行動作のリハビリテーションであれば、動作範囲が大きい部位は、対象者EPの足(足首、つま先、踵など)である。手の移動のリハビリテーションであれば、動作範囲が大きい部位は、対象者EPの手(手首、指先、手の甲など)である。
あるいは、検出対象部位には、表示制御部342が生成する目標画像の表示位置に近接する部位が設定されていてもよい。例えば、歩行動作のリハビリテーションの場合、本実施形態では、対象者EPが歩行動作において足を踏み出すべき位置に足型などを模した目標画像を表示するが、この場合、目標画像の表示位置に近接する部位とは、対象者EPの足(足首、つま先、踵など)である。また、手の移動のリハビリテーションの場合、対象者EPがタッチすべき位置に目標画像を表示するが、この場合、目標画像の表示位置に近接する部位とは、対象者EPの手(手首、指先、手の甲など)である。
なお、認識部341は、検出結果情報に含まれる動作領域判定部343が決定した検出対象部位のデータ(体の一部の位置情報)を、記録部344を介して、検出履歴情報記憶部333に記録する。
記録部344は、検出結果情報を検出履歴情報記憶部333に書き込んで記録する。
目標決定部345は、認識部341が認識する対象者EPの体の一部(検出対象部位)の位置に基づいて対象者EPの体の一部の目標位置を決定する。例えば、歩行のリハビリテーションの場合、目標決定部345は、対象者EPの現在の足の位置、及び、対象者EPの足の位置の履歴のうち少なくともいずれかに基づいて、対象者EPの足の移動目標位置を決定する。特に、目標決定部345が、対象者EPの足の位置の履歴に基づいて対象者EPの進行方向を判定し、判定した進行方向に応じて移動目標位置を決定するようにしてもよい。あるいは、目標決定部345が、対象者EPの足の向きに基づいて対象者EPの進行方向を判定し、判定した進行方向に応じて移動目標位置を決定するようにしてもよい。あるいは、目標決定部345が、対象者EPの進行方向にかかわらず、例えばランダムな向きに、或いは所定のゴールの位置に向けて、移動目標位置を決定するようにしてもよい。
目標決定部345が、対象者EPの体の検出対象部位の移動量を算出し、算出した移動量に基づいて移動目標位置を決定するようにしてもよい。例えば、認識部341が対象者EPの足の位置を認識する場合、目標決定部345は、対象者EPの足の位置の履歴に基づいて対象者EPの歩幅を算出する。そして、目標決定部345は、対象者EPの足の現在位置から歩幅分だけ移動した位置に移動目標位置を設定する。対象者EPの歩幅は、対象者EPの足の移動量を示しており、対象者EPの体の検出対象部位の移動量の例に該当する。
認識部341が対象者EPの足の位置の動きを認識する場合、目標決定部345が、対象者EPの足が動いた間隔を歩幅として検出するようにしてもよい。あるいは、認識部341が、対象者EPが床面に足をついた位置を認識する場合、目標決定部345が、対象者EPが床面に足をついた位置から次に足をついた位置までの間隔を歩幅として検出するようにしてもよい。
評価部346は、対象者EPの体の検出対象部位の位置と移動目標位置との位置関係を評価する。例えば、評価部346は、認識部341が認識した対象者EPの体の部位の位置と、目標決定部345が決定した移動目標位置との距離を算出する。そして、評価部346は、算出した距離が所定の閾値以下か否かを判定する。対象者EPの体の検出対象部位と移動目標位置との距離が閾値以下であると判定した場合、評価部346は、目標位置到達と評価する。一方、対象者EPの体の検出対象部位と移動目標位置との距離が閾値より大きいと判定した場合、評価部346は、目標位置不到達と評価する。
評価部346が用いる距離の閾値は、複数の対象者EPに共通に予め設定された定数であってもよい。あるいは、評価部346が、対象者EPの歩幅の10分の1を閾値に設定するなど対象者EP毎に閾値を設定するようにしてもよい。また、評価部346が用いる距離の閾値は、複数種類のリハビリテーションに共通に設定されていてもよいし、リハビリテーションの種類毎に設定されていてもよい。また閾値の大きさは、手を移動させるリハビリテーションよりも足を移動させるリハビリテーションの方が大きくなるよう設定されていてもよい。
また、評価部346が、対象者EPの体の一部の位置(検出対象部位)と移動目標位置との相対的な位置関係を評価する段階数は、上述した目標位置到達又は目標位置不到達の2段階に限らず、3段階以上の多段階であってもよい。例えば、評価部346が、目標位置到達か否かの判定閾値に加えてさらに目標位置不到達の場合のずれの大小の判定閾値を用いて、目標位置到達、ずれ小、ずれ大の3段階で評価を行うようにしてもよい。
また、評価部346が対象者EPの体の検出対象部位の位置と移動目標位置との位置関係を評価する方法は、閾値を用いる方法のみに限らない。例えば、評価部346が、対象者EPの体の検出対象部位の位置と移動目標位置との重なりの有無を判定し、重なり有りと判定した場合に目標位置到達と評価するようにしてもよい。
さらに、例えば歩行のリハビリテーションの場合、目標決定部345が、移動目標位置を面積のある範囲にて床面上に決定し、認識部341が、対象者EPの足の位置を、対象者EPの足の形状の範囲にて認識するようにしてもよい。そして、評価部346が、移動目標位置として決定されている範囲と、対象者EPの足の位置として検出された範囲との重なりの有無を判定するようにしてもよい。
足用表示パラメータ設定部347は、歩行などの足を移動させるリハビリテーションにおいて、足用表示パラメータを設定する。足用表示パラメータは、対象者EPが足を移動させるときの目標画像の表示に用いられるパラメータである。
手用表示パラメータ設定部348は、手を動かすリハビリテーションにおいて、手用表示パラメータを設定する。手用表示パラメータは、対象者EPが手を動かすときの目標画像の表示に用いられるパラメータである。
外乱用表示パラメータ設定部349は、外乱用表示パラメータを設定する。外乱用表示パラメータは、リハビリテーションの対象者EPが足または手を所定の目標画像まで移動させるときに、対象者EPが足または手を目標画像まで移動させる妨げとなる外乱の表示に用いられるパラメータである。または、外乱用表示パラメータは、リハビリテーションの対象者EPが足または手を回避目標となる目標画像から回避させるときに、対象者EPが足または手を目標画像から回避させる妨げとなる外乱の表示に用いられるパラメータである。
操作部35は、キーボード、ポインティングデバイス(マウス、タブレット等)、ボタン、タッチパネル等の既存の入力装置を用いて構成される。操作部35は、理学療法士等の指示をリハビリテーション支援制御装置300に入力する際に理学療法士等によって操作される。操作部35は、入力装置をリハビリテーション支援制御装置300に接続するためのインタフェースであってもよい。この場合、操作部35は、入力装置において理学療法士等の入力に応じ生成された入力信号をリハビリテーション支援制御装置300に入力する。操作部35は、表示部36と一体のタッチパネルとして構成されてもよい。
表示部36は、CRT(Cathode Ray Tube)ディスプレイ、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ等の画像表示装置である。表示部36は、画像や文字を表示する。表示部36は、画像表示装置をリハビリテーション支援制御装置300に接続するためのインタフェースであってもよい。この場合、表示部36は、画像や文字を表示するための映像信号を生成し、自身に接続されている画像表示装置に映像信号を出力する。
図3は、リハビリテーション支援制御装置300による第一動作領域を説明するための斜視図である。
図3は、対象者EPがテーブルT(第一動作領域)上で手の移動のリハビリテーションを行っている様子を示している。出力装置200は、テーブルTに目標画像M1を投影している。対象者EPは、出力装置200が出力領域900に出力する目標画像M1に基づいて、手の移動に関するリハビリテーションを行う。
センサ100は、対象者EPが検出範囲800内において手を移動する際の対象者EPの体の一部の位置を検出し、検出結果情報を所定の時間毎にリハビリテーション支援制御装置300に出力する。
図4は、リハビリテーション支援システム1における画像の表示例を示す平面図である。図4では、リハビリテーション支援システム1を用いて手の移動のリハビリテーションを行う場合の画像の例を示している。図4の例では、出力装置200の画像の投影によって、机上の投影面(出力領域900)に画像が表示されている。具体的には、目標位置の履歴を示す目標画像M111a、M111b、M112a及びM112bと、対象者EPの手の位置の履歴画像M121a及びM121bと、対象者EPの現在の手の位置を示す画像M131a及びM131bと、次の目標位置を示す目標画像M141a及びM141bとが、それぞれ手の形の画像で示されている。図4では、符号の「a」は右手を示し、「b」は左手を示す。例えば、目標画像M111aは、右手の目標位置の履歴を示す。目標画像M111bは、左手の目標位置の履歴を示す。
但し、リハビリテーション支援システム1におけるこれらの画像は、体の検出対象部位の形状の画像に限らない。例えば、出力装置200が、右手の目標位置を赤丸で表示し、左手の目標位置を青丸で表示するなど、体の検出対象部位の形状の画像に代えて丸印を表示するようにしてもよい。
このように、表示制御部342が、出力装置200を制御してテーブルTに目標画像および履歴画像を表示させることで、対象者EPが、直感的に自分が目標に対して手を移動させた実績を把握できる。
図3に戻り、本実施形態における動作領域の判定処理の一例について説明を行う。
センサ100は、対象者EPの手の移動が行われる領域を検出し、リハビリテーション支援制御装置300の入力部31が、その検出結果情報を取得する。認識部341は、入力部31が取得した検出結果情報に基づいて、検出結果情報が示す対象物を認識する。動作領域判定部343は、認識部341による認識結果に基づいて、対象者EPがリハビリテーションを行う動作領域を判定する。
例えば、認識部341が骨格トラッキング機能を有している場合、動作領域判定部343は、認識部341による認識結果が、対象者EPが手や腕を大きく動かす動作を行ったことを示していれば、動作領域はテーブルT(第一動作領域)であると判定する。例えば、センサ100が、Kinect(登録商標)の場合、対象者EPの関節とその位置情報を得ることができる。これを利用して、例えば、対象者EPが、図3に示すようにイスに腰掛けてテーブル上で大きく腕を動かす動作を行う。すると、認識部341は、このときに検出された検出結果情報を分析し、対象者EPのどの関節がどの程度動いたかを認識する。また、判定条件情報記憶部332には、動作領域「テーブル」と動作部位「手」、「腕」とが対応付けられて設定されている。動作領域判定部343は、この認識結果から、対象者EPの手や腕の動作範囲が所定の範囲以上であること及び判定条件情報記憶部332の設定情報に基づいて動作領域がテーブルTであると判定する。
また、例えば、動作領域判定部343は、認識部341による認識結果における対象者EPの体の検出範囲に基づいて、検出範囲内に対象者EPの下半身が含まれていなければ、動作領域はテーブルTであると判定してもよい。例えば、対象者EPが、図3に示すようにイスに腰掛ける。すると、認識部341は、このときに検出された検出結果情報を分析し、例えば、検出結果情報が示す対象物の形状から対象者EPの上半身を認識する。また、判定条件情報記憶部332には、動作領域「テーブル」と検出範囲「上半身」とが対応付けられて設定されている。動作領域判定部343は、この認識結果から、対象者EPの下半身が検出範囲に含まれていないこと及び判定条件情報記憶部332の設定情報に基づいて動作領域がテーブルTであると判定する。
また、例えば、認識部341が骨格トラッキング機能を有している場合、動作領域判定部343は、認識結果における対象者EPの頭部の高さに基づいて、頭部の高さが所定の範囲であれば動作領域はテーブルTであると判定してもよい。例えば、対象者EPの身長を予め判定条件情報記憶部332に記録しておく、そして、対象者EPが、図3に示すようにイスに腰掛ける。すると、認識部341は、このときに検出された検出結果情報を分析し、頭部の位置情報(座標情報)を認識する。動作領域判定部343は、この認識結果から、対象者EPの頭部の高さが判定条件情報記憶部332に記録された身長比べ低く、記録された身長を基準とする所定の範囲内に含まれていないことに基づいて動作領域がテーブルTであると判定する。
また、例えば、動作領域判定部343は、認識結果に基づく動作領域の候補とセンサ100との距離に応じて動作領域がテーブルTであると判定してもよい。例えば、センサ100が、Kinect(登録商標)の距離センサの場合、所定の検出範囲に存在する物の所定間隔ごとの座標情報を得ることができる。認識部341は、検出結果情報を分析し、所定の広さ以上の面積を有する動かない平面を、壁、フロア、テーブル等と認識する。動作領域判定部343は、この認識結果のうち、認識部341が認識した平面とセンサ100の距離に基づいて、又は、平面の広さに基づいて、この平面が所定の条件を満たす場合、平面はテーブルTであると判定し、センサ100の検出範囲にテーブルTが含まれていることに基づいて動作領域がテーブルTであると判定する。又は、動作領域判定部343は、平面の座標情報からその平面の位置する高さに基づいて、平面はテーブルTであると判定してもよい。なお、平面がテーブルTであると判定するための距離、広さ、高さ等の閾値は、判定条件情報記憶部332に設定されている。
なお、同様の判定は、Kinect(登録商標)の画像センサによる検出結果情報に基づいて行ってもよい。この場合、例えば、認識部341が入力部31を介して画像センサによる検出結果情報(画像)を取得する。また、認識部341は、公知の画像認識処理によって、対象者EPによる手や腕の動作を認識したり、対象者EPの体の検出範囲が上半身だけであることを認識したり、対象者EPの頭部の高さを認識したり、画像に含まれる平面部分の高さや広さを認識する。そして、動作領域判定部343は、上記の判定条件に基づいて、動作領域がテーブルTであると判定する。
また、上記の例のうち、Kinect(登録商標)が提供する関節の位置情報による判定を、Kinect(登録商標)の距離センサによる検出結果情報に基づいて行ってもよい。
また、本実施形態において、出力装置200によるテーブルTへの目標画像の出力は必須ではない。例えば、対象者EPは、作業療法士による手の移動を誘導する音声に合わせて、テーブルT上で手の移動のリハビリテーションを行ってもよい。
図5は、リハビリテーション支援制御装置300による第二動作領域を説明するための斜視図である。
図5は、対象者EPがフロアFL(第二動作領域)上で歩行動作のリハビリテーションを行っている様子を示している。出力装置200は、フロアFLに目標画像M2〜M5を投影している。対象者EPは、出力装置200が出力領域900に出力する目標画像M2〜M5に基づいて、歩行動作のリハビリテーションを行う。例えば、対象者EPは、目標画像M2〜M5に示されるスタート位置から目標位置まで歩行するリハビリテーションを行う。センサ100は、対象者EPが検出範囲800内において対象者EPの足の位置を検出し、検出結果情報を所定の時間毎にリハビリテーション支援制御装置300に出力する。
図6は、リハビリテーション支援システム1における画像の表示の例を示す平面図である。
図6は、リハビリテーション支援システム1における画像の表示の、もう1つの例を示す図である。図6では、リハビリテーション支援システム1を用いて歩行のリハビリテーションを行う場合の画像の例を示している。図6の例では、出力装置の画像の投影によって、床上の投影面(出力領域900)に画像が表示されている。具体的には、目標位置の履歴を示す目標画像M211〜M214と、対象者EPの足の位置の履歴画像M221〜M223と、対象者EPの現在の足の位置を示す画像M231と、次の目標位置を示す目標画像M241とが、それぞれ足の形の画像で示されている。
図4の例では、右手、左手それぞれの目標位置が表示されていたのに対し、図6の例では、左足の次の目標画像M241が示されているものの、右足の次の目標画像は示されていない。手の移動では、右手と左手とを同時に動かし得るのに対し、歩行では右足と左足とを交互に動かすからである。なお、本実施形態のリハビリテーション支援システム1によれば、足の移動のリハビリテーションとして、歩行(左右の足を交互に踏み出す動作)だけではなく、片足だけを連続して移動させたり、「けんけんぱ」のように両足を同時に移動させたりする足の移動を訓練することも可能である。その場合、出力装置200は、それぞれの足の移動に応じた目標画像、履歴画像を出力領域900に出力する。
なお、図4を参照して説明したのと同様、出力装置200が表示する画像は、足の形の画像に限らない。例えば、出力装置200が、右足の目標位置を赤丸で表示し、左足の目標位置を青丸で表示するなど、足の形の画像に代えて丸印を表示するようにしてもよい。また上記の実施形態とは逆に、左右の足の目標画像を片方ずつ表示するのではなく、常に先行して左右の足の目標画像を共に表示するようにしてもよい。また現在の足の位置画像と過去の足の位置の履歴画像で異なる表示とすることも可能である。例えば現在の足の位置画像は円、方形などの図形で表示し、過去の左右の足の履歴画像は「足あと」の図形で表示してもよい。
このように、表示制御部342が、出力装置200を制御してフロアFLに目標画像および履歴画像を表示させることで、対象者EPが、直感的に自分が目標に対して足を移動させた実績を把握できる。
図5に戻り、本実施形態における動作領域の判定処理の一例について説明を行う。センサ100は、対象者EPの歩行動作が行われる領域を検出し、リハビリテーション支援制御装置300の入力部31が、その検出結果情報を取得する。認識部341は、入力部31が取得した検出結果情報に基づいて、検出結果情報が示す対象物を認識する。動作領域判定部343は、認識部341による認識結果に基づいて、対象者EPがリハビリテーションを行う動作領域を判定する。
例えば、認識部341が骨格トラッキング機能を有している場合、動作領域判定部343は、認識部341による認識結果が、対象者EPの動作が足を大きく動かしていることを示していれば、動作領域はフロア(第二動作領域)であると判定する。例えば、対象者EPが、フロアFLで歩行動作を行う。すると、認識部341は、このときに検出された検出結果情報を分析し、対象者EPのどの関節がどの程度動いたかを認識する。また、判定条件情報記憶部332には、動作領域「フロア」と動作部位「足」とが対応付けられて設定されている。動作領域判定部343は、この認識結果から、対象者EPの足の移動範囲が所定の範囲以上であること及び判定条件情報記憶部332の設定情報に基づいて動作領域がフロアFLであると判定する。
また、例えば、動作領域判定部343は、認識部341による認識結果における対象者EPの体の検出範囲に基づいて、検出範囲内に対象者EPの全身が含まれていれば、動作領域はフロアFLであると判定してもよい。例えば、対象者EPが、フロアFLに立つ。認識部341は、このときに検出された検出結果情報を分析し、例えば、検出結果情報が示す対象物の形状から対象者EPの全身を認識する。また、判定条件情報記憶部332には、動作領域「フロア」と検出範囲「全身」とが対応付けられて設定されている。動作領域判定部343は、この認識結果及び判定条件情報記憶部332の設定情報から、対象者EPの全身が検出範囲に含まれていることに基づいて動作領域がフロアFLであると判定する。又は、動作領域判定部343は、対象者EPの脚部が検出範囲内に含まれていることに基づいて動作領域がフロアFLであると判定してもよい。
また、例えば、認識部341が骨格トラッキング機能を有している場合、動作領域判定部343は、認識部341による認識結果が示す対象者EPの頭部の高さに基づいて、頭部の高さが所定の高さ以上であれば動作領域はフロアFLであると判定してもよい。例えば、対象者EPの身長を予め判定条件情報記憶部332に記録しておく、そして、対象者EPは、フロアFLに立つ。すると、認識部341は、このとき検出された検出結果情報を分析し、対象者EPの頭部の高さを計算する。動作領域判定部343は、この認識結果から、対象者EPの頭部の高さが判定条件情報記憶部332に記録された身長を基準とする所定の範囲内に含まれていることに基づいて動作領域がフロアFLであると判定する。
また、例えば、動作領域判定部343は、認識結果に基づく動作領域の候補とセンサ100との距離に応じて動作領域がフロアであると判定してもよい。認識部341は、検出結果情報を分析し、壁、フロア、テーブル等の平面を認識する。動作領域判定部343は、この認識結果のうち、認識部341が認識した平面とセンサ100との相対的な距離に基づいて、その距離が所定の長さ以上であれば、その平面はフロアFLであって、動作領域がフロアFLであると判定する。又は、認識部341は、平面の広さを認識し、動作領域判定部343は、所定の検出範囲にテーブルに相当する平面が存在しないことに基づいて動作領域がフロアFLであると判定してもよい。又は、動作領域判定部343は、平面の座標情報からその平面の位置する高さに基づいて、平面はフロアFLであると判定してもよい。なお、平面をフロアFLであると判定するための距離、広さ、高さ等の閾値は、判定条件情報記憶部332に設定されている。
なお、動作領域がテーブルであると判定する場合と同様、動作領域判定部343による判定は、画像センサによる検出結果情報に基づいて行ってもよい。この場合、例えば、認識部341は、公知の画像認識処理によって、対象者EPによる足の移動を認識したり、対象者EPの体の検出範囲が全身であることを認識したり、対象者EPの頭部の高さを認識したり、画像に含まれる平面部分の高さや広さを認識する。そして、動作領域判定部343は、上記の判定条件に基づいて、動作領域がフロアFLであると判定する。
また、本実施形態において、出力装置200によるフロアFLへの目標画像の出力は必須ではない。例えば、対象者EPは、例えば、理学療法士による歩行動作の指示に合わせて、フロアFL上で歩行動作を行ってもよい。
次に図7を用いて、対象者のリハビリテーション検出対象情報の検出および記録処理の流れについて説明する。
図7は、リハビリテーション支援制御装置300による動作領域の判定処理の一例を示すフローチャートである。
まず、理学療法士又は作業療法士がこれから行おうとするリハビリテーション内容に応じて、対象者EPがリハビリテーションを行う環境にリハビリテーション支援システム1を移動させる。また、脚部310の高さを適切に調節する。次に、対象者EPが、検出範囲800で、これから行うリハビリテーション内容に応じた姿勢を取る。例えば、テーブル上での腕のリハビリテーションを行う場合であれば、対象者EPは椅子に座ってテーブル上に手を置く姿勢を取る。また、例えば、歩行動作のリハビリテーションを行う場合、対象者EPは起立した姿勢を取る。対象者EPがこれらの姿勢を取ると、理学療法士等がリハビリテーション支援制御装置300に準備開始指示情報を入力する。操作部35は、その準備開始指示情報を取得する(ステップS10)。なお、理学療法士等がリハビリテーション支援制御装置300に準備開始指示情報を入力した後に、対象者EPが、検出範囲800で、これから行うリハビリテーション内容に応じた姿勢を取っても良い。
すると、センサ100が検出を開始し、入力部31は、検出結果情報を取得する(ステップS11)。入力部31は、検出結果情報を制御部34へ出力する。制御部34では、認識部341が検出結果情報を取得し、対象者EPの動作を認識する。あるいは、認識部341は、検出範囲800に存在するテーブル、フロア等を認識する。認識部341は、認識結果を動作領域判定部343へ出力する。
次に動作領域判定部343は、図3及び図5を用いて説明した方法によって動作領域を判定する(ステップS12)。例えば、動作領域判定部343は、認識部341による認識結果が、対象者EPの全身を認識したことを示していれば、動作領域はフロアFLであると判定してもよい。また、例えば、動作領域判定部343は、認識結果がテーブルTの存在を示していれば、動作領域はテーブルTであると判定してもよい。動作領域判定部343は、この他にも、上述した様々な判定方法を用いて動作領域の判定を行うことができる。次に動作領域判定部343は、動作領域はフロアFLかどうかを判定する(ステップS13)。動作領域がフロアFLの場合(ステップS13;Yes)、動作領域判定部343は、検出対象部位を対象者EPの足(例えば、足首又はつま先)に設定する(ステップS17)。動作領域判定部343が、検出対象部位を対象者EPの足に設定すると、次に足用表示パラメータ設定部347は、足を移動させるリハビリテーションにおける足用表示パラメータを設定する(ステップS18)。足用表示パラメータは、対象者EPが足を移動させるときの目標画像の表示に用いられるパラメータである。
足用表示パラメータには、例えば、足用距離パラメータ、足用時間パラメータ、足用ベクトルパラメータなどが含まれる。足用距離パラメータには、例えば、目標画像が示す歩幅を決定するために用いられるパラメータ(図10に示すステップの値)、目標画像が示すスタンス(歩隔を含む)を決定するために用いられるパラメータ(図10に示す歩隔)などが含まれている。スタンスとは、対象者の前方(例えば体の前面や顔面が向く方向や進行予定の方向)に伸びる2本の平行線であって対象者の2つの脚の所定部位(例えば踵や親指の先端)をそれぞれ通る平行線の距離を表す。また、足用時間パラメータには、例えば、目標画像が表示されリハビリテーションが行われる総時間を示すパラメータ、現在表示されている目標画像が表示されてから目標画像が表示される次のタイミングまでの時間を示すパラメータなどが含まれている。また、足用ベクトルパラメータには、例えば、現在表示されている目標画像を基準とした次のタイミングに表示される目標画像の表示方向を決定するために用いられるパラメータなどが含まれる。足用表示パラメータ設定部347は、指定された足用距離パラメータ、足用時間パラメータ、足用ベクトルパラメータなどをパラメータ情報記憶部334に記録する。これらのパラメータを設定することにより、例えば、図6に例示したような足型の目標画像を対象者EPのリハビリテーションの内容に応じて表示することができる。
この他にも、例えば、足用表示パラメータ設定部347は、目標画像が、対象者EPが歩行するときの回避目標となるリハビリテーションの場合に、操作部35から入力された情報に応じて、足用表示パラメータを設定する。目標画像が、対象者EPが歩行するときの回避目標となるリハビリテーションとは、例えば、図11に示すように、リハビリテーション支援制御装置300が、対象者EPが横断歩道を歩行するときに回避目標となる自動車の形状をした目標画像を映し出し、対象者EPが目標画像を回避するリハビリテーションである。
足用表示パラメータ設定部347が足用表示パラメータを設定すると、次に外乱用表示パラメータ設定部349は、足の外乱用表示パラメータを設定する(ステップS19)。例えば、リハビリテーション支援制御装置300が専用アプリケーションを実行し、理学療法士等がリハビリテーション支援制御装置300に対して種々の情報を入力する。外乱用表示パラメータ設定部349は、目標画像が、対象者EPが歩行するときの足の移動目標となるリハビリテーションの場合に、リハビリテーション支援制御装置300に入力された情報に応じて、外乱用表示パラメータを設定する。
外乱用表示パラメータは、例えば、図12で示したように、リハビリテーション支援制御装置300が、対象者EPが横断歩道を歩行するときに、リハビリテーションの対象者EPが足を所定の目標画像まで移動させる妨げとなる自動車の形状をした外乱を画像として映し出すために用いられるパラメータである。
足の外乱用表示パラメータには、例えば、外乱用距離パラメータ、外乱用時間パラメータ、外乱用ベクトルパラメータなどが含まれる。外乱用距離パラメータには、例えば、現在表示されている外乱から次のタイミングに表示される外乱までの距離を決定するために用いられるパラメータなどが含まれる。また、外乱用時間パラメータには、例えば、現在表示されている外乱が現在と異なる位置に表示されるまでの時間を示すパラメータなどが含まれる。また、外乱用ベクトルパラメータには、例えば、現在表示されている外乱を基準とした次のタイミングに表示される外乱の表示方向を決定するために用いられるパラメータが含まれる。外乱用表示パラメータ設定部349は、指定された外乱用距離パラメータ、外乱用時間パラメータ、外乱用ベクトルパラメータなどをパラメータ情報記憶部334に記録する。
一方、動作領域がフロアFLではない場合(ステップS13;No)。動作領域判定部343は、検出対象部位を手(例えば、手の甲又は指先)に設定する(ステップS14)。動作領域判定部343は、検出対象部位の情報を認識部341へ出力する。また、動作領域判定部343は、動作領域を、表示制御部342へ出力する。動作領域判定部343が、検出対象部位を対象者EPの手に設定すると、次に手用表示パラメータ設定部348は、手用表示パラメータを設定する(ステップS15)。例えば、リハビリテーション支援制御装置300が専用アプリケーションを実行し、作業療法士等がリハビリテーション支援制御装置300に対して種々の情報を入力する。手用表示パラメータ設定部348は、目標画像が、対象者EPが手を動かすときの手の移動目標となるリハビリテーションの場合に、リハビリテーション支援制御装置300から入力された情報に応じて、手用表示パラメータを設定する。
目標画像が、対象者EPが手を動かすときの手の移動目標となるリハビリテーションとは、例えば、図8に示すように、リハビリテーション支援制御装置300が、対象者EPが手を動かすときの手の移動目標となるリンゴの形状をした目標画像を映し出し、対象者EPが目標画像の位置に手を移動させるリハビリテーションである。
手用表示パラメータには、例えば、手用位置パラメータ、手用時間パラメータ、手用ベクトルパラメータなどが含まれる。手用位置パラメータには、例えば、目標画像が表示されるエリアを決定するために用いられるパラメータなどが含まれる。手用時間パラメータには、現在表示されている目標画像が現在と異なる位置に表示されるまでの時間を示す時間パラメータなどが含まれる。手用ベクトルパラメータには、現在表示されている目標画像を基準とした次のタイミングに表示される目標画像の表示方向を決定するために用いられるパラメータなどが含まれる。手用表示パラメータ設定部348は、指定された手用距離パラメータ、手用時間パラメータ、手用ベクトルパラメータなどをパラメータ情報記憶部334に記録する。これらのパラメータを設定することにより、例えば、図4に例示したような目標画像を、対象者EPのリハビリテーションの内容に応じて表示することができる。
手用表示パラメータ設定部348が手用表示パラメータを設定すると、外乱用表示パラメータ設定部349は、手の外乱用表示パラメータを設定する(ステップS16)。
例えば、リハビリテーション支援制御装置300が専用アプリケーションを実行し、作業療法士等がリハビリテーション支援制御装置300に対して種々の情報を入力する。外乱用表示パラメータ設定部349は、目標画像が、対象者EPが手を動かすときの手の移動目標となるリハビリテーションの場合に、リハビリテーション支援制御装置300に入力された情報に応じて、外乱用表示パラメータを設定する。
手の外乱用表示パラメータは、例えば、図9に示すように、リハビリテーション支援制御装置300が、対象者EPが選択したキャラクターである目標画像の位置に手を動かすときに、手の移動の妨げとなる選択してはいけないキャラクターである外乱を画像として映し出すために用いられるパラメータである。
手の外乱用表示パラメータには、例えば、外乱用距離パラメータ、外乱用時間パラメータ、外乱用ベクトルパラメータなどが含まれる。外乱用距離パラメータには、例えば、現在表示されている外乱から次のタイミングに表示される外乱までの距離を決定するために用いられるパラメータなどが含まれる。また、外乱用時間パラメータには、例えば、現在表示されている外乱が現在と異なる位置に表示されるまでの時間を示すパラメータなどが含まれる。また、外乱用ベクトルパラメータには、例えば、現在表示されている外乱を基準とした次のタイミングに表示される外乱の表示方向を決定するために用いられるパラメータが含まれる。外乱用表示パラメータ設定部349は、指定された外乱用距離パラメータ、外乱用時間パラメータ、外乱用ベクトルパラメータなどをパラメータ情報記憶部334に記録する。以上で実際のリハビリテーションの準備処理が完了する。次に対象者EPが、準備処理において判定した動作領域でのリハビリテーションを開始する。
次に図13を用いて、リハビリテーション中の対象者EPの認識処理について説明する。
図13は、リハビリテーション支援制御装置300による対象者EPの認識処理の一例を示すフローチャートである。
リハビリテーションを行う対象者EPが検出範囲800に入ってリハビリテーションを開始する。また、理学療法士等は、対象者EPの氏名、性別、身長等と共に、リハビリーション開始指示情報をリハビリテーション支援制御装置300に入力する。すると、操作部35がリハビリテーション開始指示情報を取得する(ステップS20)。次に、表示制御部342は、動作領域に応じた目標画像を生成する。例えば、動作領域がフロアFLの場合、表示制御部342は、足型を表示した目標画像を生成する。また、目標決定部345は、その目標画像を表示する位置の座標情報を計算する。目標画像を表示する位置は、ステップS18で設定した足用表示パラメータに応じて変化させてもよい。また、動作領域がテーブルの場合、表示制御部342は、対象者EPが手でタッチする対象となるターゲットを表示した目標画像を生成する。また、目標決定部345は、その表示位置の座標情報を計算する。出力部32は、これらの情報(目標画像と表示位置)を取得し、出力装置200に出力指示を行う。出力装置200は、出力部32の指示に従って、表示制御部342が生成した目標画像を出力領域900に表示する(ステップS21)。このように、出力装置200が動作領域に目標画像を表示すると、対象者EPは、その表示位置に検出対象部位に関連する体の部位を移動させる動作を行う。例えば、足型の目標画像が表示された場合、対象者EPは、足型が表示された位置に足を移動させる。また、例えば、テーブル上にターゲットの目標画像が表示された場合、対象者EPは、目標画像が表示された位置に手を移動させ、テーブルにタッチする。
センサ100は、対象者EPの動作を検出し続け、リハビリテーション支援制御装置300へ出力する。リハビリテーション支援制御装置300では、入力部31が検出結果情報を取得し(ステップS22)、検出結果情報を、制御部34へ出力する。
制御部34では、認識部341が検出結果情報を取得する。認識部341は、検出結果情報を取得すると、その中から検出対象部位のデータを選択する。例えば、Kinect(登録商標)を利用した場合、認識部341は、検出結果情報として、対象者EPの複数の部位についての位置情報を取得する。認識部341は、その中から、動作領域判定部343が決定した検出対象部位の位置情報を選択する。例えば、動作領域判定部343が決定した検出対象部位が足(動作領域がフロア)の場合、認識部341は、検出結果情報の中から足(例えば、足首)の位置情報を選択する。また、例えば、動作領域判定部343が決定した検出対象部位が手(動作領域がテーブル)の場合、認識部341は、検出結果情報の中から手(例えば、手の甲)の位置情報を選択する。認識部341は、選択した検出対象部位とその位置情報を記録部344へ出力する。記録部344は、検出対象部位の検出結果情報を検出履歴情報記憶部333へ記録する(ステップS23)。このように、認識部341は、検出結果情報に対象者EPの動作に関する全身のデータが含まれている場合でも、検出結果情報に含まれるデータのうち、どのデータが動作領域に関連する検出対象部位のデータであるかを認識し、そのデータを選択する。そして、記録部344は、選択された検出対象部位の検出結果情報(位置情報)だけを記録する。
次に、表示制御部342は、履歴画像を生成し出力部32へ出力する。出力装置200は、出力部32の指示に従って、履歴画像を出力領域900に表示する(ステップS24)。
次に、制御部34は、検出処理を終了するかどうかを判定する(ステップS25)。例えば、理学療法士等がリハビリテーション終了指示情報を入力した場合、制御部34は、操作部35を介してその情報を取得し、検出処理を終了すると判定する。また、対象者EPが検出範囲800の外に出てしまった場合や対象者EPの手が検出範囲800の外に出てしまった場合、あるいは、予め設定されたリハビリテーションの実施時間が経過した場合にも、制御部34は、検出処理を終了すると判定する。
終了しないと判定した場合(ステップS25;No)、ステップS21からの処理を繰り返す。
終了すると判定した場合(ステップS25;Yes)、制御部34は、目標画像の生成処理や検出対象部位のデータを記録する処理を終了する。なお、表示制御部342は、検出履歴情報記憶部333に記録された対象者EPの検出対象部位のデータ(検出対象情報)から、今回のリハビリテーションにおける対象者EPの動作結果(例えば、検出対象部位が動いた軌跡)を表示する画像を生成し、出力装置200がこの画像を表示してもよい。
次に図14を用いて、リハビリテーション中にパラメータ設定を行う処理について説明する。
図14は、リハビリテーション支援システム1を用いたリハビリテーションにおけるパラメータ設定の一例を示すフローチャートである。
まず、リハビリテーションの実施前に理学療法士等が、対象者EPについてのパラメータ(足用表示パラメータ等)を設定する(ステップS30)。具体的には、理学療法士等が、リハビリテーション支援制御装置300に設けられた表示画面(表示部36)を参照して、各種パラメータをリハビリテーション支援制御装置300に入力する。次に理学療法士等が、リハビリテーション支援制御装置300に準備開始指示情報を入力し、リハビリテーションを実施する(ステップS31)。上記のとおり、リハビリテーション支援制御装置300の動作領域判定部343は、動作領域を判定して検出対象部位の設定を行う。動作領域がフロアFLの場合、足用表示パラメータ設定部347が、ステップS30で入力された足用表示パラメータの設定を行う。また、外乱用表示パラメータ設定部349が、ステップS30で入力された足の外乱用表示パラメータの設定を行う。一方、動作領域がテーブルTの場合、手用表示パラメータ設定部348が、ステップS30で入力された手用表示パラメータを設定し、外乱用表示パラメータ設定部349が、ステップS30で入力された手の外乱用表示パラメータの設定を行う。足用表示パラメータ設定部347等によるパラメータの設定が終了すると、表示制御部342が、動作領域に応じて目標画像等を生成し、出力装置200がそれらの画像を表示する。対象者EPは、表示された目標画像に基づいてリハビリテーションを行う。予め定められた一連のリハビリテーション・プログラムが終了すると、表示制御部342が、リハビリテーション結果を含む画像を生成し、出力装置200がリハビリテーション結果を表示する(ステップS32)。リハビリテーション結果とは、例えば、評価部346によるリハビリテーション・プログラムを通した評価結果の実績値である。リハビリテーション結果は、例えば、目標画像の全表示数に対して評価部346が目標位置到達と評価した回数の割合として表示されてもよい。
次に理学療法士等が、リハビリを続けるかどうかを判断する。例えば、理学療法士等は、予め定められた時間分だけリハビリテーションを行ったかどうかでリハビリテーションを続けるかどうかを判断してもよい。あるいは、理学療法士等は、対象者EPの疲れ具合やリハビリテーション結果が示す達成具合に基づいてリハビリテーションを続けるかどうかを判断してもよい。リハビリテーションを続けないと判断した場合(ステップS33;No)、フローチャートを終了する。
リハビリテーションを続けると判断した場合(ステップS33;Yes)、理学療法士等は、パラメータ設定の見直しが必要かどうかを判断する(ステップS34)。例えば、対象者EPのリハビリテーション結果が予想を上回る場合、理学療法士等は、より難易度の高い動作を要求するようなパラメータ設定にするよう見直しが必要であると判断する。又は、対象者EPの手の移動や足の移動が予想通りであって、再度、同じ難易度の手や足の移動を訓練した方が良いと思われるような場合、理学療法士等は、パラメータ設定の見直しは必要ないと判断する。パラメータ設定の見直しが必要ないと判断した場合(ステップS34;No)、理学療法士等は、リハビリテーション支援制御装置300に開始指示情報を入力し、ステップS31からの処理を繰り返す。なお、同じ対象者EPに対して同じ動作領域でのリハビリテーションの実施を繰り返す場合、動作領域判定部343による動作領域の判定処理を省略してもよい。
パラメータ設定の見直しが必要と判断した場合(ステップS34;Yes)、理学療法士等は、新しいパラメータを検討する(ステップS35)。例えば、今回のリハビリテーション結果が良好だった場合、理学療法士等は、より難易度の高い動作を要求するようなパラメータを検討する。あるいは、今回のリハビリテーション結果が良好ではなかった場合、理学療法士等は、難易度の低い動作を要求するようなパラメータを検討する。パラメータを検討し終えると、理学療法士等は、その新しいパラメータを設定し(ステップS30)、ステップS31からの処理を繰り返す。本実施形態のリハビリテーション支援システム1によれば、パラメータを任意に設定することができるので、対象者EPは、体調や能力に応じたリハビリテーションを実施することができる。なお上記の説明においては、リハビリテーション支援制御装置300に設けられた表示画面(表示部36)を参照してパラメータ入力・設定を実行したが、出力装置200から出力されたパラメータ設定画面を参照して、フロアやテーブル上に表示された設定画面上で各種パラメータ入力・設定を実行してもよい。
本実施形態によれば、理学療法士が行うフロアFLでのリハビリテーション及び作業療法士が行うテーブルTでのリハビリテーションにおける対象者EPの動作情報(本実施形態の検出対象情報)の記録を、1台のリハビリテーション支援システム1で行うことができる。例えば、歩行動作のリハビリテーションを行う場所と手の移動のリハビリテーションを行うテーブルTとが離れた位置に存在しても、リハビリテーション支援システム1を移動させて、それぞれの位置で対象者EPの動作を検出し、動作情報を記録することができる。また、手の移動のリハビリテーションを、歩行動作のリハビリテーションを行う場所にテーブルTを設置して行うような場合、リハビリテーションの前に動作領域判定部343に動作領域を判定させるだけで、歩行動作のリハビリテーションを検出するモードと手の移動のリハビリテーションを検出するモードとを切り替えることができる。従って、リハビリテーションの種類ごとにリハビリテーション支援制御装置を導入する必要が無い。また、複数のリハビリテーション支援制御装置を導入した場合、各装置が出力する対象者EPに関するデータのデータ構造は異なることが一般的である。データ構造が異なると、例えば、ある対象者EPのリハビリテーション履歴を解析するような場合、データの扱いが複雑になり大変である。本実施形態では、対象者EPに関して記録するデータは、両手又は両足の一つの部位の位置情報であり、共通のデータ構造で記録、処理することができる。そのため、記録したデータの解析処理等を共通化することができ、データの扱いが容易になる。また、対象者EPがどのような動作をしようとも、リハビリテーションの目的とする動作に関連した部位の左右一対のデータに絞って認識処理及び記録処理を行うので、処理を高速化、簡素化することができる。また、一般的なモーションキャプチャでは、対象者EPの動作を検出するために、対象者EPはマーカを装着する必要があり手間がかかるといった問題があるが、本実施形態のリハビリテーション支援システム1であれば、対象者EPはマーカを装着する必要が無く、簡単に対象者EPの動作を検出することができる。
なお、表示制御部342が、対象者EPの体の一部の高さを出力装置200に表示させるようにしてもよい。この点について図15を参照して説明する。
図15は、リハビリテーション支援システム1が、対象者EPの体の一部の高さを表示した例を示す図である。図15は、机上で手の移動に関するリハビリテーションが行われる場合の例を示している。出力装置200は表示制御部342の制御に従って、対象者EPの右手の現在の位置を示す画像M311aと、左手の現在の位置を示す画像M311bと、右手の目標位置を示す画像M321aとを机上の投影面(出力領域900)に表示(投影)している。
出力装置200は、例えば、右手の現在の位置を示す画像M311aを赤丸(赤い円)で表示し、左手の現在の位置を示す画像M311bを青丸(青い円)で表示する。例えば、出力装置200は表示制御部342の制御に従って、センサ100が2つ認識した対象者EPの体の一部のうちセンサ100から見て左側の一部の位置を青丸で表示し、右側の部位の位置を赤丸で表示する。
また、出力装置200は表示制御部342の制御に従って、手の高さを丸の大きさで表示する。図15の例では、対象者EPが左手を机上面に置いているのに対し、右手を机上面よりも上に上げている。そこで、出力装置200は、右手の位置を示す画像M311aを、左手の位置を示す画像M311bよりも小さい丸で表示している。このように、出力装置200は、対象者EPの手の位置が高いほど小さい丸を表示している。
出力装置200は、対象者EPの手の目標位置についても、その高さを丸の大きさで表示する。図15の例では、出力装置200は、右手の目標位置を示す画像M321aを、右手の現在の位置を示す画像M311aよりもやや大きい丸で表示している。
対象者EPは、画像M311aを移動させて画像M321aに重ねるように、右手の水平方向の位置を変化させる。また、対象者EPは、画像M311aの大きさを画像M321aの大きさに合せるように、右手の垂直方向の位置を変化させる。
このように、図15の例では、手の水平方向の動きだけでなく垂直方向の動きも含めたリハビリテーションが行われている。
図15では、表示制御部342が、対象者EPの手の高さを出力装置200に表示させる場合を例に説明した。同様に、表示制御部342が、対象者EPの足の高さを出力装置200に表示させるようにしてもよい。例えば、歩行のリハビリテーションで、足を上げるリハビリテーションを行う場合がある。このリハビリテーションで、表示制御部342が、対象者EPの足の目標位置の表示及び現在位置の表示にて、図15の例と同様に足の高さを示すようにしてもよい。
なお、表示制御部342が、出力装置200に画像を表示させる位置は、対象者EPの体の一部の位置に応じた位置に限らない。
例えば、上述した図12では、外乱として登場する自動車の画像を避けながら目標画像(目標位置を示す画像)に従って歩行するリハビリテーションの例を示している。図12の例では、出力装置200は、例えば、予め定められたタイミングで予め定められた位置に自動車の画像を表示するなど、対象者EPの体の一部の位置(図12の例では足の位置)に依存しない位置に自動車の画像を表示する。
一方、ターゲットの位置は、対象者EPの足の位置に依存していてもよいし、依存していなくてもよい。例えば、出力装置200が、予め定められた位置にターゲットの画像を表示するようにしてもよい。あるいは、上記のように目標決定部345が、対象者EPの足の位置に応じて次の目標位置を決定し、出力装置200が、決定された位置にターゲットの画像を表示するようにしてもよい。
図12の例で、出力装置200が、予め定められた位置にターゲットの画像を表示する場合は、対象者EPの体の一部に依存しない位置に画像を表示する場合の例に該当する。また、図12の例で、出力装置200が、目標決定部345が対象者EPの足の位置に応じて決定した目標位置にターゲットの画像を表示する場合は、対象者EPの体の一部に依存しない位置への画像の表示と、対象者EPの体の一部に依存する位置への画像の表示との組み合わせの例に該当する。
なお、図3の例のように、表示制御部342が、出力装置200を制御して評価部346による評価結果を表示させるようにしてもよい。図3は、対象者EPが目標位置に右手を合わせた(目標位置を叩いた)場合の例を示している。出力装置200は、表示制御部342の制御に従って「OK」との評価結果を目標位置に表示している。この「OK」の評価結果は、対象者EPの右手が目標位置に到達したことを示す。
出力装置200が、評価部346による評価結果を目標位置に表示するようにしてもよいし、対象者EPの体の一部の現在の位置(図3の例では右手の位置)に表示するようにしてもよい。あるいは、出力装置200が、目標位置、及び、対象者EPの体の一部の現在の位置の両方に、評価部346による評価結果を表示するようにしてもよい。
あるいは、出力装置200が、例えば予め定められた位置に評価部346による評価結果を表示するなど、目標位置、対象者EPの体の一部の現在の位置のいずれとも異なる位置に、評価部346による評価結果を表示するようにしてもよい。
以上のように、入力部31は、対象者EPを検出した結果を示す検出結果情報を取得する。認識部341は、検出結果情報のうち、動作領域に対応する対象者EPの体の一部に関する検出結果情報に基づいて、対象者EPの体の一部の位置を認識する。表示制御部342は、動作領域に画像を表示する出力装置200を制御して、対象者EPの体の一部の位置に応じた位置に画像を表示させる。
このように、表示制御部342が、出力装置200を制御して動作領域に画像を表示させることで、対象者EPが、画像の位置を実際の位置に対応付ける必要無しに、画像が示す位置を把握することができる。この点で、対象者EPは、より直感的に位置を把握できる。
また、表示制御部342が、出力装置200を制御して動作領域に画像を表示させることで、対象者EPが、対象者EP自らのリハビリテーションに関する画像であると認識する可能性を高めることができる。
例えば、リハビリテーション支援システム1を用いたリハビリテーションでは、対象者EPの手又は足などの部位の実際の位置、又は、対象者EPが過去に手又は足などの部位を移動させた実際の目標位置に、対象者EPの動作に対する評価を表示することができる。これにより、対象者EPが、対象者EP自らの動作に対する評価であると認識する可能性を高めることができる。
また、表示制御部342は、対象者EPの体の一部の現在の位置を示す画像を出力装置200に表示させる。
このように、表示制御部342が、出力装置200を制御して対象者EPの体の一部の現在の位置を表示させることで、対象者EPは、対象者EP自らの体の一部の位置と、出力装置200による表示(出力領域900)とが対応付けられていることを理解し易くなる。これにより、対象者EPが、対象者EP自らの体の一部の位置と、目標位置との位置関係を把握し易くなる。対象者EPは、この位置関係を把握することで、リハビリテーションのための動作(対象者EP自らの体の一部を目標位置へ移動させる動作)を行えることができる。
また、表示制御部342は、対象者EPの体の一部の位置の履歴を示す画像を出力装置200に表示させる。
このように、表示制御部342が、出力装置200を制御して対象者EPの体の一部が実際にあった位置に履歴を表示させることで、対象者EPが、対象者EP自らの体の一部の位置の履歴であると認識する可能性を高めることができる。
また、目標位置の履歴を示す目標画像に対する対象者EPの一部の位置の履歴画像の位置のずれの大きさによって、目標に対する対象者EPの動きのずれの度合いが示されている。対象者EPは、目標位置の履歴を示す目標画像と対象者EPの体の一部の位置の履歴画像とのずれを見ることで、目標に対する対象者EP自らの動きのずれの度合いを把握することができる。
また、目標決定部345は、対象者EPの体の一部の位置に基づいて対象者EPの体の一部の目標位置を決定する。表示制御部342は、目標位置に画像を表示するように出力装置を制御する。
目標決定部345は、対象者EPの体の一部の位置に基づいて対象者EPの体の一部の目標位置を決定することで、対象者EPの体の一部の現在位置が前回の目標位置からずれている場合でも、対象者EPの体の一部の現在位置から到達可能な範囲に到達目標を設定できる。
また、表示制御部342が、出力装置200を制御して実際の目標位置に画像を表示させることで、対象者EPは、比較的容易に目標位置を把握することができる。また、対象者EPは、体の一部が目標位置に到達したことを比較的容易に認識することができる。 また、リハビリテーション支援システム1を用いたリハビリテーションでは、実際に手又は足などの部位を動かす目標位置に画像を表示することができる。これにより、対象者EPが、対象者EP自らに示された目標位置であると認識する可能性を高めることができる。
また、実際に手又は足などの部位を動かす目標位置に目標画像を表示することで、対象者EPは、手又は足などの部位をどこへ移動させればよいかを比較的容易に認識することができ、リハビリテーションのための動作を行うことができる。
また、実際に手又は足などの部位を動かす目標位置に目標画像を表示することで、対象者EPは、手又は足などの部位が目標位置に到達したことを比較的容易に認識できる。具体的には、対象者EPは、手又は足などの部位がある位置に目標画像が表示されていることを実際に見て確認することで、手又は足などの部位が目標位置に到達したことを認識できる。
また、評価部346は、対象者EPの体の一部の位置と目標位置との相対的な位置関係を評価する。そして、表示制御部342は、評価部346による評価結果を出力装置200に表示させる。
対象者EPは、この評価結果の表示を参照することで、自らが行った動作に対する評価(例えば、目標位置への到達又は不到達)を知ることができ、動作の改善に役立てることができる。例えば、表示制御部342が、リアルタイムで出力装置200を制御して評価結果を表示させることで、対象者EPは、動作を行うごとに評価結果を確認することができる。評価が低い場合、対象者EPは、次の動作では評価が高くなるように動作の改善を図ることができる。
また、表示制御部342は、対象者EPの体の一部の位置、及び、目標位置のうち少なくともいずれか一方に、評価部346による評価結果を表示させる。
これにより、対象者EPは、対象者EP自らが行った行為に対する評価結果の表示であることを、比較的容易に把握することができる。
また、目標決定部345は、対象者EPの体の一部の移動量を算出する。さらに、目標決定部345は、算出した移動量に基づいて目標位置を決定する。
このように、目標決定部345が対象者EPの体の部位の移動量を算出して目標位置を決定することで、対象者EPの体の一部の実際の移動量に応じた適切な目標位置を設定することができる。
また、動作領域判定部343は、対象者の体の部位のうち検出対象となる部位を決定する。そして、表示制御部342は、動作領域判定部343が決定した部位に応じた部位の形状の画像を対象者EPの位置に応じた位置に表示するように出力装置200を制御する。
例えば、動作領域判定部343が、動作領域がテーブル(机上面又は机上)であると判定して検出対象部位を手首に決定した場合、表示制御部342は、記憶部33が記憶している画像のうち手の形状の画像を選択して出力装置200に表示させる。また、動作領域判定部343が、動作領域がフロア(床面又は床上)であると判定して検出対象部位を足首に決定した場合、表示制御部342は、記憶部33が記憶している画像のうち足の形状の画像を選択して出力装置200に表示させる。
このように、表示制御部342が出力装置200を制御して体の一部の形状を示す画像を表示させることで、対象者EPは自らの体の一部に関連する画像であることを直感的に認識することができる。従って、対象者EPが、リハビリテーションに関連する画像であることを認識する可能性を高めることができる。
このリハビリテーション支援システム1を用いたリハビリテーションについて、対象者EPの前方の表示画面に対象者EPの画像を表示して行う従来のリハビリテーションとの比較にて説明する。
対象者EPの前方の表示画面に対象者EPの画像が表示される従来のリハビリテーションでは、対象者EPの画像が表示されている位置が対象者EPの実際の位置とは異なる。このため、対象者EPが、対象者EPの画像を対象者EP自らの画像と認識できないことがある。更には、対象者EPの画像がいわゆるミラーリングによって左右逆に表示されることで、対象者EPが、対象者EPの画像を対象者EP自らの画像と認識できない可能性が高くなる。
対象者EPが、対象者EPの画像を対象者EP自らの画像と認識できないことで、対象者EPの動作に対する評価が表示画面に表示された場合に、対象者EP自らの動作に対する評価であると認識することができない可能性がある。また、目標画像(目標位置を示す画像)が表示画面に表示された場合も、対象者EPは、対象者EP自らに示された目標画像であることを認識できない可能性がある。
これに対し、リハビリテーション支援システム1を用いたリハビリテーションでは、リハビリテーション動作が行われる動作領域に画像を表示する。動作領域に画像が表示される点で、対象者EPが、対象者EP自らの動作に対する評価の表示画像や目標画像などを、対象者EP自らのリハビリテーションに関する画像であることを、対象者EPに比較的容易に認識させることができる。また、対象者EPは、対象者EP自らの画像を認識する必要無しに直接、動作領域に表示された画像を把握することができる。この点でも、対象者EPが、対象者EP自らの動作に対する評価の表示画像や目標画像などを、対象者EP自らのリハビリテーションに関する画像であることを対象者EPに比較的容易に認識させることができる。
また、対象者EPの前方の表示画面に対象者EPの画像が表示される従来のリハビリテーションでは、対象者EPの画像が表示されている位置が対象者EPの実際の位置とは異なる。このため、表示画面に目標画像が表示された場合に、対象者EPは、表示画面における対象者EPの画像の位置と目標画像の位置との相対位置関係を、対象者EPの実際の位置と実際の目標位置の相対位置関係に置き換えて、実際の目標位置を把握する必要がある。対象者EPが、表示画面における対象者EPの画像の位置と目標画像の位置との相対位置関係を、対象者EPの実際の位置との相対位置関係に上手く置き換えられない場合、実際の目標位置を把握できない可能性がある。この場合、対象者EPは、手や足などの部位をどこへ移動させたらよいか認識できず、リハビリテーションに支障が生じる可能性がある。
これに対し、リハビリテーション支援システム1を用いたリハビリテーションでは、実際の目標位置に直接、目標画像を表示することができる。この点で、対象者EPは目標位置を比較的容易に把握することができる。
また、対象者EPの前方の表示画面に対象者EPの画像が表示される従来のリハビリテーションでは、対象者EPが、到達目標位置を認識し、到達目標位置に手や足などの部位を移動させた場合、画像中で到達目標位置に表示されている物に触れることはできない。このため、対象者EPが到達目標位置に到達したことを認識できずに到達目標位置を通り過ぎてしまうなど、手や足などの部位をどこまで動かせばよいか把握できない可能性がある。
これに対し、リハビリテーション支援システム1を用いたリハビリテーションでは、対象者EPは、手又は足などの部位がある位置に目標画像が表示されていることを実際に見て確認することで、手又は足などの部位が目標位置に到達したことを認識できる。この点で、対象者EPが、手や足などの部位をどこまで動かせばよいかを比較的容易に把握できる。
(変形例)
図16は、リハビリテーション支援システム1のシステム構成の変形例を示す斜視図である。
リハビリテーション支援制御装置300は、複数の装置に機能を分けて実装されてもよい。例えば、入力部31及び認識部341は画像認識装置として他の装置に実装されてもよい。例えば、認識部341はセンサ100に設けられてもよい。
また、出力装置200は、画像投影装置に代えて、画像を表示する画像表示装置を用いて構成されてもよい。この場合、図16に示すように出力装置200は、上述の説明において画像投影装置が映像を投影した面(投影面)に相当する面に表示面を有したディスプレイ装置として構成される。画像表示装置の具体例として、液晶ディスプレイ装置、有機EL(Electro Luminescence)ディスプレイ装置、タッチパネル式ディスプレイ装置等がある。例えば、テーブルの表面にディスプレイ装置を組み込んで、このディスプレイ装置の表示画面に対象者EPがタッチするマークを表示するようにしてもよい。この場合も、リハビリテーション支援制御装置300(制御部34)は、例えば、ディスプレイ装置に表示されたマーカ画像を目印にしてキャリブレーションを実施する。
上述した各装置が備える各機能の全て又は一部は、ASIC(Application Specific Integrated Circuit)やPLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されてもよい。上述した各装置が実行するプログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。各プログラムは、電気通信回線を介して送信されてもよい。
1…リハビリテーション支援システム, 100…センサ, 200…出力装置, 300…リハビリテーション支援制御装置, 31…入力部, 32…出力部, 33…記憶部, 331…キャリブレーション情報記憶部, 332…判定条件情報記憶部, 333…検出履歴情報記憶部, 334…パラメータ情報記憶部, 335…プログラム情報記憶部, 34…制御部, 341…認識部, 342…表示制御部, 343…動作領域判定部, 344…記録部, 345…目標決定部, 346…評価部, 347…足用表示パラメータ設定部, 348…手用表示パラメータ設定部, 349…外乱用表示パラメータ設定部, 35…操作部, 36…表示部

Claims (2)

  1. 対象者がリハビリテーション動作を行う領域に画像を出力する出力部と、
    前記領域のうち、前記対象者の体の一部の位置を検出する検出部と、
    前記出力部を制御する制御部と、
    を備え、
    前記制御部は、前記対象者の体の一部の位置に応じた位置に前記画像を表示させ、
    前記制御部は、前記対象者の体の一部の位置が第1高さのとき、前記画像を第1形態で表示し、前記対象者の体の一部の位置が前記第1高さと異なる第2高さのとき、前記画像を前記第1形態と異なる第2形態で表示することを特徴とするリハビリテーション支援装置。
  2. 前記対象者の体の一部の位置に基づいて前記対象者の体の一部の目標位置を決定する決定部を更に備え、
    前記制御部は、前記対象者の体の一部の位置の高さに応じて前記画像の表示形態を変更する請求項1に記載のリハビリテーション支援装置。
JP2018137942A 2018-07-23 2018-07-23 リハビリテーション支援装置 Active JP6706649B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018137942A JP6706649B2 (ja) 2018-07-23 2018-07-23 リハビリテーション支援装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018137942A JP6706649B2 (ja) 2018-07-23 2018-07-23 リハビリテーション支援装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016114823A Division JP6377674B2 (ja) 2016-06-08 2016-06-08 リハビリテーション支援制御装置及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2018161529A true JP2018161529A (ja) 2018-10-18
JP6706649B2 JP6706649B2 (ja) 2020-06-10

Family

ID=63859244

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018137942A Active JP6706649B2 (ja) 2018-07-23 2018-07-23 リハビリテーション支援装置

Country Status (1)

Country Link
JP (1) JP6706649B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020185110A (ja) * 2019-05-13 2020-11-19 学校法人北里研究所 リハビリテーション支援システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011110215A (ja) * 2009-11-26 2011-06-09 Toyota Motor Kyushu Inc リハビリテーション用システム、プログラム、およびプログラムを記録したコンピュータ読み取り可能な記録媒体
JPWO2012039467A1 (ja) * 2010-09-22 2014-02-03 パナソニック株式会社 運動支援システム
JP2015228957A (ja) * 2014-06-04 2015-12-21 日本光電工業株式会社 リハビリテーション支援システム
JP2016049427A (ja) * 2014-08-31 2016-04-11 株式会社日本リハビリデバイス技術研究所 運動機能回復を目的とした上肢・下肢リハビリ訓練装置
JP2017217268A (ja) * 2016-06-08 2017-12-14 パラマウントベッド株式会社 リハビリテーション支援制御装置及びコンピュータプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011110215A (ja) * 2009-11-26 2011-06-09 Toyota Motor Kyushu Inc リハビリテーション用システム、プログラム、およびプログラムを記録したコンピュータ読み取り可能な記録媒体
JPWO2012039467A1 (ja) * 2010-09-22 2014-02-03 パナソニック株式会社 運動支援システム
JP2015228957A (ja) * 2014-06-04 2015-12-21 日本光電工業株式会社 リハビリテーション支援システム
JP2016049427A (ja) * 2014-08-31 2016-04-11 株式会社日本リハビリデバイス技術研究所 運動機能回復を目的とした上肢・下肢リハビリ訓練装置
JP2017217268A (ja) * 2016-06-08 2017-12-14 パラマウントベッド株式会社 リハビリテーション支援制御装置及びコンピュータプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020185110A (ja) * 2019-05-13 2020-11-19 学校法人北里研究所 リハビリテーション支援システム
JP7445276B2 (ja) 2019-05-13 2024-03-07 学校法人北里研究所 リハビリテーション支援システム

Also Published As

Publication number Publication date
JP6706649B2 (ja) 2020-06-10

Similar Documents

Publication Publication Date Title
WO2017213124A1 (ja) リハビリテーション支援制御装置及びコンピュータプログラム
US20150140534A1 (en) Apparatus and method for gait training
KR101645693B1 (ko) 가상 격자무늬를 이용한 골프 퍼팅 시뮬레이션 장치 및 방법
CN111093782A (zh) 评分方法、评分程序以及评分装置
JP2013111449A (ja) 映像生成装置、映像生成方法及びプログラム
US11027195B2 (en) Information processing apparatus, information processing method, and program
US20140258192A1 (en) Apparatus for training recognition capability using robot and method for same
KR20170010157A (ko) 인터랙티브 운동프로그램을 통한 사용자의 운동동작 유도 방법 및 그 장치
JP6694333B2 (ja) リハビリテーション支援制御装置及びコンピュータプログラム
JP6747925B2 (ja) リハビリテーション支援装置
KR20160076488A (ko) 근골격계 질환의 발생가능성의 판단 장치 및 방법
JP2017012691A (ja) リハビリテーション支援装置、リハビリテーション支援システム、リハビリテーション支援方法及びプログラム
KR20130030117A (ko) 실시간 캐릭터 애니메이션에서의 발 미끄러짐 제거를 위한 캐릭터 영상 처리 장치 및 방법
JP6744139B2 (ja) リハビリテーション支援制御装置及びコンピュータプログラム
JP6706649B2 (ja) リハビリテーション支援装置
JP6441417B2 (ja) リハビリテーション支援システム及びコンピュータプログラム
JP6310255B2 (ja) オプションを提示するための方法及び装置
JP2016077346A (ja) 運動支援システム、運動支援方法、及び運動支援プログラム
JP6623122B2 (ja) リハビリテーション支援制御装置及びコンピュータプログラム
JP6625486B2 (ja) リハビリテーション支援制御装置及びコンピュータプログラム
US20040059264A1 (en) Footprint analyzer
JP2019024579A (ja) リハビリテーション支援システム、リハビリテーション支援方法及びプログラム
JP6694491B2 (ja) リハビリテーション支援システム及びコンピュータプログラム
JP6430441B2 (ja) リハビリテーション支援システム及びコンピュータプログラム
JP2017217276A (ja) リハビリテーション支援制御装置及びコンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181121

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20190424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190924

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200428

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200518

R150 Certificate of patent or registration of utility model

Ref document number: 6706649

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250