JP2013172897A - 表示装置型リハビリテーション支援装置及びリハビリテーション支援装置の制御方法 - Google Patents

Abstract

【課題】本発明はリハビリテーションを効率良く行うことを課題とする。
【解決手段】 リハビリテーション支援装置１０の制御装置２００は、マイクロコンピュータからなるメイン制御部２１０と、表示制御部２２０と、記憶装置２３０とを有する。メイン制御部２１０は、記憶装置２３０に予め記憶された各リハビリテーション用プログラムから選択された任意のプログラムを読み込んで表示制御部２２０に表示データを送出する表示データ生成手段２４０を有する。表示制御部２２０は、表示データが入力されることにより、後述するように液晶パネル４１にリハビリテーション用画像を表示する。また、メイン制御部２１０は、検出手段２２２と、識別手段２２４と、演算手段２２６と、検出データ出力手段２２８と、表示データに対する検出データに基づいてリハビリテーションの評価を行う評価手段２５０を有する。
【選択図】図６

Description

本発明は表示画面に表示された画像を用いてリハビリテーション対象者がリハビリテーションを行えるよう構成された表示装置型リハビリテーション支援装置及びリハビリテーション支援装置の制御方法に関する。

例えば脳卒中などにより身体の運動機能が低下した患者（リハビリテーション対象者）が入院する病院等の施設では、リハビリテーション（運動機能回復訓練）が行われている。また、リハビリテーションを実施する場合、当該患者の機能低下具合に応じて様々な訓練方法が試行錯誤されており、より効果的な訓練方法が模索されている。

近年、表示装置に画像を表示して患者が所定の訓練を行う訓練システムが開発されている（例えば、特許文献１参照）。この特許文献１に記載された訓練システムでは、患者の指先に振動体を有する指サックを装着し、表示装置に表示された画像をみながら表示装置と別個に配されたパネルを指サックで押圧することで表示内容に応じた入力操作を行うと共に、正しい応答の場合に指サックの振動体が振動して体感させるシステムである。

特開２００１−３２１４５８号公報

上記特許文献１では、表示装置と別個に配されたパネルを指サックを介して押圧操作することになるため、リハビリテーションを行う前に看護師が患者の各指に指サックを装着する作業が必要であり、さらには画像が表示される画面と離れたパネルを押圧操作しなければならないので、画面をみた後に指先をみることになり、どうしても視線移動による時間的な遅れが生じてしまい、その分患者の応答性が低下していると誤判断されるおそれがあった。

そこで、本発明は上記事情に鑑み、患者が直接が画像表示面に触れることでリハビリテーションを効率的に行えるリハビリテーション支援装置及び制御方法の提供を目的とする。

上記課題を解決するため、本発明は以下のような手段を有する。

（１）本発明は、画像表示面を有する表示装置と、前記画像表示面に形成されたパネル状入力装置と、前記画像表示面に画像を表示させる画像制御部とを有する表示装置型リハビリテーション支援装置であって、
前記画像表示面にリハビリテーション用の画像を表示させるための表示データを生成する表示データ生成手段と、
リハビリテーション対象者が前記画像表示面に表示されたリハビリテーション用の画像に対応して前記パネル状入力装置に接触した際のタッチポイントを検出する検出手段と、
前記パネル状入力装置におけるタッチポイントの移動に伴って前記検出手段により検出された検出データに基づいてリハビリテーションの評価を行う評価手段と、
を備えたことを特徴とする。
（２）本発明は、（１）に記載の表示装置型リハビリテーション支援装置であって、
前記リハビリテーション対象者が前記パネル状入力装置に接触した際のタッチポイントの痕跡を撮像する撮像手段から得られた検出画像に基づいて前記タッチポイントを識別する識別手段と、
前記識別手段による前記タッチポイントの識別結果から前記検出手段により検出された前記タッチポイントの座標位置、移動方向、速度、加速度を演算する演算手段と、
前記演算手段による演算結果を前記検出データとして出力する検出データ出力手段と、
を有することを特徴とする。
（３）本発明の前記表示データ作成手段は、
前記リハビリテーション用の複数の表示データが記憶された記憶手段と、
前記記憶手段に記憶された複数の表示データから任意の表示データを選択する選択手段と、
前記選択手段により選択された表示データを前記画像制御部に出力する表示データ出力手段と、
を有することを特徴とする。
（４）本発明の前記評価手段は、
前記検出データと前記表示データとを比較し、両データの差を求める比較手段と、
前記比較手段による前記両データの差が予め決められた範囲内であるか否かを判別する判別手段と、
前記判別手段により前記両データの差が予め決められた範囲内であると判別された場合、当該タッチポイントの移動に対する評価点数を増加し、前記両データの差が予め決められた範囲外であると判別された場合、当該タッチポイントの移動に対する評価点数を減少させる評価点数修正手段と、
前記評価点数修正手段により修正された各評価点数を積算し、積算された総評価点数を表示する点数表示手段と、
を有することを特徴とする。
（５）本発明は、画像表示面を有する表示装置と、前記画像表示面に形成されたパネル状入力装置と、前記画像表示面に画像を表示させる画像制御部とを有する表示装置型リハビリテーション支援装置の制御方法であって、
コンピュータを、
前記画像表示面にリハビリテーション用の画像を表示させるための表示データを生成する表示データ生成手段と、
リハビリテーション対象者が前記画像表示面に表示されたリハビリテーション用の画像に対応して前記パネル状入力装置に接触した際のタッチポイントを検出する検出手段と、
前記パネル状入力装置におけるタッチポイントの移動に伴って前記検出手段により検出された検出データに基づいてリハビリテーションの評価を行う評価手段として機能させることを特徴とする。

本発明によれば、リハビリテーション対象者が特別な道具を使用することなく表示された画像に応じてパネル状入力装置に直接的に接触することでリハビリテーションが行えると共に、画像が表示されたタイミングでリハビリテーションが同時に行えるので、視線移動による動作遅れがなくなり、当該リハビリテーションに対する評価の誤差を減少することが可能になる。

本発明によるリハビリテーション支援装置の一実施例を示す斜視図である。 パネル状表示装置の構成を示す縦断面図である。 パネル状入力装置の構成を示す分解縦断面図である。 パネル状入力装置の概略構成を示す分解斜視図である。 パネル状入力装置の検出原理を説明する図であり、（Ａ）は赤外線の軌道を模式的に示す図、（Ｂ）は赤外線の伝搬を模式的に示す図であり、（Ｃ）は指先で押圧したタッチポイントを検出する原理を示す図である。 リハビリテーション支援装置の制御系統の構成を示すブロック図である。 メイン制御部が実行するメイン制御処理を説明するためのフローチャートである。 画像表示面に表示される各マークの異なる動きを示す図である。 図８Ａにおけるタッチポイント検出処理１を説明するためのフローチャートである。 リハビリテーション用画像の変形例１を模式的に示す図である。 図９Ａにおけるタッチポイント検出処理２を説明するためのフローチャートである。 リハビリテーション用画像の変形例２を模式的に示す図である。 図１０Ａにおけるドラッグ操作による速度の演算方法の一例を説明するための図である。 図１０Ａにおけるマークを周縁部で反射させる際の表示方法の一例を説明するための図である。 図１０Ａにおけるタッチポイント検出処理３を説明するためのフローチャートである。 リハビリテーション用画像の変形例３を模式的に示す図である。 図１１Ａにおけるタッチポイント検出処理４を説明するためのフローチャートである。

以下、図面を参照して本発明を実施するための形態について説明する。

〔リハビリテーション支援装置の概要〕
図１は本発明によるリハビリテーション支援装置の一実施例を示す斜視図である。図１に示されるように、リハビリテーション支援装置１０は、画像表示面が上面となるように水平に配されたパネル状表示装置２０を有しており、パネル状表示装置２０の底部四隅には、四本の支柱３０が取り付けられている。従って、パネル状表示装置２０は、外観的には、テーブルのように構成されている。

また、パネル状表示装置２０は、複数の患者（例えば４人）Ａ〜Ｄが同時にリハビリテーションを行えるように大型ディスプレイを用いた構成であり、且つ各人毎にリハビリテーション用の画像を表示することができる。そして、各患者Ａ〜Ｄによって、それぞれ自分の障害の程度及びその日の体調（血圧、体温など）に応じた表示モードが選択されると、画像表示面には選択された各表示モードのリハビリテーション用画像（マーク）が表示される。

また、パネル状表示装置２０の画像表示面には、パネル状入力装置４０が形成されている。このパネル状入力装置４０の構成については、後述する。各患者Ａ〜Ｄは、夫々パネル状表示装置２０の周縁部に配された椅子５０に着席した状態で、画像表示面に表示されたリハビリテーション用画像（マーク）の動きに合わせて指先をパネル状入力装置４０に直接的に接触させながら表示されたマークの移動に追従させる。

さらに、リハビリテーション支援装置１０は、各患者Ａ〜Ｄがパネル状入力装置４０に指先を接触させるタッチポイントの移動を検出する検出手段と、検出された検出データに基づいてリハビリテーションの評価を行う評価手段を有している。尚、検出手段及び評価手段の詳細は、後述する。
〔パネル状表示装置２０の内部構造について〕
図２はパネル状表示装置２０の構成を示す縦断面図である。尚、図２においては、説明の便宜上、水平方向の幅寸法と垂直方向の厚さ寸法との比率が変更されており、実際の製品は図２に示すものよりも、薄型化されている。

図２に示されるように、パネル状表示装置２０は、パネル状入力装置４０と、検出手段を構成する赤外線カメラ６０（撮像手段）と、バックライト７０とを有する。パネル状入力装置４０は、筐体１００の上部開口１０２に取り付けられている。また、赤外線カメラ６０は、パネル状入力装置４０の下面に対向するように筐体１００の底部中央に取り付けられている。

パネル状入力装置４０は、液晶パネル４１と、拡散フィルム４２と、入力板４３と、保護フィルム４４と、赤外線発光ダイオード４５と、赤外線発光ダイオード駆動基板４６と、支持ガラス板４７と、偏光手段４８とを有する。

また、筐体１００の底部には、上記赤外線カメラ６０の他に、バックライト７０と、スペーサ８０と、反射板９０とを備える。また、赤外線カメラ６０は、レンズ６２と、フィルタ６３と、固体撮像素子６４とを備える。バックライト７０は、シャーシ７１と、蛍光管７２と、反射板７３と、拡散板７４と、拡散フィルム７５と、フレーム７６とを備える。また、偏光手段４８は、入力板４３の下面に配された第１偏光板４８ａと、レンズ６２の周囲に配された第２偏光板４８ｂとよりなる。

図３はパネル状入力装置４０の構成を示す分解縦断面図である。図３に示されるように、パネル状入力装置４０は、液晶パネル４１と、入力板４３と、赤外線発光ダイオード４５と、支持ガラス板４７と、偏光板４８ａ、４８ｂとを備える。

液晶パネル４１は、上面ガラス基板２１と、液晶層２２と、下面ガラス基板２３とを備える。上面ガラス基板２１と下面ガラス基板２３との間に、液晶層２２が支持されている。

入力板４３は、液晶パネル４１よりも上方に設けられ、側面に赤外線発光ダイオード４５を備える。入力板４３は、透明なアクリル板であり、赤外線を伝搬する性質を有する。

入力板４３は、例えば、３〜５〔ｍｍ〕程度の厚さで形成されてもよい。直方形形状の赤外線発光ダイオード４５の上面の長方形の辺の長さが、３〜５〔ｍｍ〕程度の場合が多いので、入力板４３は、赤外線発光ダイオード４５を側面に設置することが可能な、適切な厚さに設定されている。

入力板４３は、単独では非常に柔らかく、指先等の接触により、圧力が加わったときに、下方に沈んで変形する状態となり得るので、支持ガラス板４７により支持される。

赤外線発光ダイオード４５は、入力板４３の側面に設けられるが、光学的距離がゼロとなるように、光学的接触を保って設置されることが好ましい。また、赤外線発光ダイオード４５は、入力板４３の四方の周縁側面に、所定間隔を有して、複数個設けられている。このように、赤外線発光ダイオード４５が入力板４３の四方の各辺に複数個設置されることにより、入力板４３内に均一に赤外線を入射させることができる。

また、支持ガラス板４７は、液晶パネル４１を介して、下方から入力板４３を補強している。また、支持ガラス板４７は、下方からはバックライト７０からの光を透過し、上方からは入力板４３からの赤外線を透過する必要があるので、透明なガラスで構成される。

なお、最上面の入力板４３から最下面の支持ガラス板４７までの間に積層された各
層は、各境界面が密着した状態に一体的に構成される。

赤外線カメラ６０は、入力板４３に接触により入力された指先の痕跡を撮像するための撮像手段である。赤外線カメラ６０は、入力板４３より下方に配置されており、入力板４３から液晶パネル４１及び支持ガラス板４７を経て下方に出光された赤外線を受光し、入力板４３を裏面（下面）から撮像する。

尚、赤外線カメラ６０は、１台だけ設置されてもよいし、複数台設置されてもよい。

バックライト７０は、液晶パネル４１を背面から照らし、液晶パネル４１に画像が表示される明るさを保つ。

偏光板４８ａ、４８ｂは、一定方向の偏光成分の光のみを透過させる手段である。一般的に、偏光板４８ａ、４８ｂは、液晶パネル４１のおもて面、裏面に設けられるが、本実施例に係るパネル状入力装置４０においては、第１偏光板４８ａは液晶パネル４１のおもて面に設けられているが、第２偏光板４８ｂは、バックライト７０の表面に設けられている。そして、赤外線カメラ６０のレンズ６２の部分には開口が形成され、レンズ６２を覆わない形状に構成されている。第２偏光板４８ｂは、液晶パネル４１に画像を表示する際には必要となるが、入力板４３から発生する赤外線の拡散光を受光する際には、赤外線の信号量を減衰させてしまう。よって、バックライト７０から上方に発射される光については、第２偏光板４８ｂを経由し、入力板４３から下方に拡散される赤外線については、第２偏光板４８ｂを経由せずに赤外線カメラ６０のレンズ６２で直接受光ができるような構成となっている。

図４はパネル状入力装置４０の概略構成を示す分解斜視図である。図４に示されるように、患者Ａ〜Ｄが液晶パネル４１に表示された画像をみながら指先１２０でパネル状入力装置４０の入力板４３上面に接触することにより、リハビリテーションが行われる例が示されている。

赤外線カメラ６０は、指先１２０が入力板４３に接触することにより、入力板４３から拡散してくる赤外線Ｌの拡散光を検出する。そして、赤外線Ｌの拡散光を検出する赤外線カメラ６０により検出された画像データ（検出データ）に基づいて、入力板４３への入力位置（座標位置）が検出される。
〔指先の接触位置の検出方法〕
図５はパネル状入力装置の検出原理を説明する図であり、（Ａ）は赤外線の軌道を模式的に示す図、（Ｂ）は赤外線の伝搬を模式的に示す図であり、（Ｃ）は指先で押圧したタッチポイントを検出する原理を示す図である。

図５（Ａ）において、実線が赤外線Ｌの反射光であり、破線が透過光を示している。指先１２０の接触位置は、透過光が指先１２０により遮蔽され、下向きの透過光の強度が強くなって下方に透過している。このように、指先１２０が置かれた場所では、赤外線Ｌの伝搬の仕方が、指先１２０が置かれていない場所と異なる。よって、この赤外線３５の透過光の乱れ、つまり拡散光を検出することにより、指先１２０の接触位置（座標位置）を検出することができる。

図５（Ｂ）は、赤外線３５の伝搬の様子を、図５（Ａ）よりも実際の状態に近付けて示した原理説明図である。図５（Ｂ）において、赤外線入射手段としての赤外線発光ダイオード４５が用いられ、入力板４３には透明なアクリル板が用いられている。そして、入力板４３の側面から、赤外線Ｌが入射されている。入力板４３に入射された赤外線Ｌは、種々の方向に反射しながら入力板４３内を進行してゆく。このとき、指先１２０が入力板４３に接触すると、その箇所の赤外線Ｌが拡散され、入力板４３の下方面から見たとき、接触した部分だけが丸く見える状態となる。

図５（Ｃ）において、入力板４３が指先１２０によって押圧されると、前述した赤外線発光ダイオード４５からの赤外線Ｌの伝搬が変化するため、液晶パネル４１の下方に配された赤外線カメラ６０により、指先１２０の押圧部分が指先１２０の形状に対応する輪郭を有する患者が入力操作したタッチポイントの入力マークＭとして撮像される。従って、赤外線カメラ６０で撮像された検出データから光って見える部分を入力マークＭとして抽出することで、指先１２０の接触位置（座標位置）を検出できる。
〔リハビリテーション支援装置１０の制御系統〕
図６はリハビリテーション支援装置１０の制御系統の構成を示すブロック図である。図６に示されるように、リハビリテーション支援装置１０の制御装置２００は、マイクロコンピュータからなるメイン制御部２１０と、表示制御部２２０と、記憶装置２３０とを有する。

メイン制御部２１０は、記憶装置２３０に予め記憶された各リハビリテーション用プログラムから選択された任意のプログラムを読み込んで表示制御部２２０に表示データを送出する表示データ生成手段（制御プログラム）２４０を有する。表示制御部２２０は、表示データが入力されることにより、後述するように液晶パネル４１にリハビリテーション用画像を表示する。

また、メイン制御部２１０は、検出手段２２２と、識別手段２２４と、演算手段２２６と、検出データ出力手段２２８と、表示データに対する検出データに基づいてリハビリテーションの評価を行う評価手段（制御プログラム）２５０を有する。

検出手段２２２は、赤外線カメラ６０により撮像された入力板４３の下面側の画像データ（検出データ）からタッチポイントの座標位置を検出する。

識別手段２２４は、患者Ａ〜Ｄがパネル状入力装置４０の入力板４３に接触した際のタッチポイントの痕跡を撮像する赤外線カメラ６０から得られた検出画像に基づいてタッチポイントを識別する。

演算手段２２６は、識別手段２２４によるタッチポイントの識別結果から検出手段２２２により検出されたタッチポイントの座標位置、移動方向、加速度を演算する。検出データ出力手段２２８は、演算結果を検出データとして出力する。

評価手段２５０は、比較手段２６０と、判別手段２７０と、評価点数修正手段２８０と、点数表示手段２９０とを有する。

比較手段２６０は、検出データと表示データとを比較し、両データの差を求める。判別手段２７０は、比較手段２６０による両データの差が予め決められた範囲内であるか否かを判別する。評価点数修正手段２８０は、判別手段２７０により両データの差が予め決められた範囲内であると判別された場合、当該タッチポイントの移動に対する評価点数を増加し、両データの差が予め決められた範囲外であると判別された場合、当該タッチポイントの移動に対する評価点数を減少させる。点数表示手段２９０は、評価点数修正手段２８０により修正された各評価点数を積算し、積算された総評価点数を液晶パネル４１の得点表示部に表示する。
〔メイン制御部２１０の制御処理〕
図７はメイン制御部２１０が実行するメイン制御処理を説明するためのフローチャートである。図７において、メイン制御部２１０は、Ｓ１１で表示モードの選択操作が行われたか否かをチェックする（選択手段）。例えば図１に示す４人の患者Ａ〜Ｄあるいは看護師がパネル状入力装置４０を操作して各患者の症状に合ったレベルのリハビリテーション用表示モードを選択する。Ｓ１１において、各患者Ａ〜Ｄの表示モードの選択操作が完了したことが赤外線カメラ６０からの検出データにより確認されると、Ｓ１２に進み、選択された各表示モードのリハビリテーション用制御プログラムを記憶装置２３０から読み込む。

次のＳ１３では、選択された各表示モードのリハビリテーション用制御プログラムを実行して液晶パネル４１に表示する表示データを生成する（表示データ生成手段）。

続いて、Ｓ１４では、各表示モードのリハビリテーション用制御プログラムから得られた初期フレームの表示データ（初期値）を表示制御部２２０へ出力する（表示データ出力手段）。そして、Ｓ１５において、赤外線カメラ６０によって撮像されたパネル状入力装置４０の検出データにより各患者Ａ〜Ｄが液晶パネル４１に表示された表示データに対応するように入力板４３に指先１２０（又は手の平）を接触させたリハビリテーションの開始位置（初期位置）を確認する（検出手段）。

続いて、Ｓ１６に進み、赤外線カメラ６０より得られた検出データから各患者Ａ〜Ｄの指先１２０（又は手の平）によるタッチポイントの座標位置を生成して記憶装置２３０に記憶する。次のＳ１７では、初期画面（最初に表示されるフレーム）を表示開始してから予め決められた１／ｎ秒が経過したか否かをチェックする。この１／ｎ秒は、例えば１秒間に３０フレームを順次表示する場合、１／３０秒が設定される。つまり、各フレームの表示時間が経過したか否かを確認している。Ｓ１７において、初期画面の表示開始から１／ｎ秒が経過していない場合（ＮＯの場合）、Ｓ１５〜Ｓ１７の処理を繰り返す。上記Ｓ１１〜Ｓ１７の処理は、初期位置（移動開始位置）を規定するための処理であり、次のＳ１８〜Ｓ２２で判別するための移動後の位置と比較する移動前の位置を規定する。

Ｓ１７において、初期画面の表示開始から１／ｎ秒が経過した場合（ＹＥＳの場合）、Ｓ１８に進み、次フレームの表示データの生成処理を行う（表示データ生成手段）。そして、Ｓ１９では、各表示モードのリハビリテーション用制御プログラムから得られた次フレームの表示データを表示制御部２２０へ出力する（出力手段）。Ｓ２０において、赤外線カメラ６０によって撮像されたパネル状入力装置４０の検出データを読み込み、入力板４３に指先１２０（又は手の平）を接触させたまま移動させるリハビリテーション動作の移動位置（座標位置）を確認する（検出手段）。

さらに、Ｓ２１では、当該検出データにより各患者Ａ〜Ｄが液晶パネル４１に表示された表示データと、赤外線カメラ６０による検出データとを比較し、両データの差を求め、記憶装置２３０に表示データと検出データとの差を記憶する（比較手段）。なお、両データの差としては、例えば座標位置の差、移動方向の差、加速度の差等のデータが得られる。また、加速度データは、連続する各フレームのうち一のフレームに表示される座標位置（移動前の位置）が、次フレームに表示される次座標位置（移動後の位置）へ移動する間の加速度である。

Ｓ２２では、表示データと検出データとの差が予め決められた範囲内であるか否かを判別する。Ｓ２２において、表示データと検出データとの差が予め決められた範囲内であると判別された場合、Ｓ２３では当該タッチポイントの移動に対する評価点数をα％増加し、両データの差が予め決められた範囲外であると判別された場合、当該タッチポイントの移動に対する評価点数をβ％減少させる（評価点数修正手段）。上記α及びβの値は、任意の値に設定される。

続いて、Ｓ２４では、上記のように修正された評価点数を積算し、その積算値を各患者Ａ〜Ｄの前の評価表示エリアに表示する（点数表示手段）。この表示された評価点数の積算値に基づいて、リハビリテーションの効果を推測することが可能になる。

Ｓ２５では、終了操作が行われたか否かをチェックする。終了操作としては、例えば患者が両手を入力板４３から離した場合、あるいは各患者毎に表示される操作エリアの終了マークに手を接触させた場合などが設定されている。Ｓ２５において、終了操作が行われない場合（ＮＯの場合）、Ｓ２６に進み、上記Ｓ２２の判別結果を反映させた次フレーム（１／ｎ秒後のフレーム）の表示データを生成する。例えば上記Ｓ２２において、表示データと検出データとの差が予め決められた範囲内であると判別された場合には、当該患者の指先操作８移動速度、座標位置など）が表示データと一致しているので、次フレームの表示データを修正せず、表示データと検出データとの差が予め決められた範囲外であると判別された場合には、当該患者の指先操作が表示データより遅れているので、その差に応じて表示データの移動速度を減速させるように生成する。

そして、Ｓ１９に戻り、Ｓ２６で生成された次フレームの表示データを表示制御部２２０に出力してＳ１９〜Ｓ２５の処理を繰り返す。このように、各フレーム毎に表示データと検出データとの差を求め、その判別結果から評価点数を修正して積算するため、各患者Ａ〜Ｄのリハビリテーションの結果を数値として認識することが可能になり、リハビリテーションによる効果を各患者毎に比べたり、患者自身がゲーム感覚で楽しみながらリハビリテーションを行える。
〔赤外線カメラ６０からの検出データの解析方法〕
図８Ａは画像表示面に表示される各マークの異なる動きを示す図である。図８Ａにおいて、４人の患者Ａ〜Ｄが同時にリハビリテーションを行う場合、入力板４３には、指先１２０が押圧された状態に接触されると共に、赤外線カメラ６０により指先１２０が接触した各タッチポイントＴＡ〜ＴＤが画像データとして検出される。また、各患者Ａ〜Ｄの前には、リハビリテーションによる評価点数を表示する得点表示部ＫＡ〜ＫＤが表示される。

尚、図８Ａにおいて、各タッチポイントＴＡ〜ＴＤは、時間ｔ０〜ｔｎの経過と共に各位置（破線で示す）に移動する。時間ｔ０〜ｔｎの各タッチポイントＴＡ〜ＴＤの移動位置は、例えば前述した１／ｎ秒間隔による各フレーム（１番フレーム〜ｎ番フレーム）毎の座標位置に対応している。

各タッチポイントＴＡ〜ＴＤの移動位置に応じた検出データは、座標位置、移動方向、加速度などのデータによって表わされる。すなわち、入力板４３では、４人の各タッチポイントＴＡ〜ＴＤがほぼ同時に移動することになるため、接近したり、交差した場合には、各タッチポイントＴＡ〜ＴＤを識別することができなくなる。

そこで、本実施例においては、各フレーム毎の検出位置に基づいて移動方向を求めるため、例えばタッチポイントＴＡの軌跡とＴＢの軌跡とが交差する場合でも、移動方向に基づいてタッチポイントＴＡとＴＢとが入れ替わることがないようにタッチポイント検出処理が行われる。また、タッチポイントＴＣのように移動による軌跡が直角に曲がる場合は、曲がり角の位置で速度が減速されて一時的に停止するため、停止状態のときに移動方向が変更されたことを認識することが可能になる。

図８Ｂは図８Ａにおけるタッチポイント検出処理１を説明するためのフローチャートである。メイン制御部２１０は、所定時間間隔毎に図８Ｂに示すタッチポイント検出処理１を実行する。

図８Ｂにおいて、メイン制御部２１０は、Ｓ３１で赤外線カメラ６０により撮像された入力板４３の画像（１番フレーム）から各タッチポイントＴＡ〜ＴＤの有無を識別しており、各タッチポイントＴＡ〜ＴＤが検出されたか否かをチェックする。Ｓ３１において、入力板４３の画像から各タッチポイントＴＡ〜ＴＤの存在が識別されて各タッチポイントＴＡ〜ＴＤが検出された場合（ＹＥＳの場合）、Ｓ３２に進み、移動前の各タッチポイントＴＡ〜ＴＤの座標位置及び入力板４３に接触させた指先１２０の大きさ（接触面積及び輪郭形状を含む）を記憶装置２３０に記憶する。尚、Ｓ３１において、各タッチポイントＴＡ〜ＴＤが検出されない場合（ＮＯの場合）、各患者Ａ〜Ｄの指先１２０が入力板４３に接触していないので、待機状態となる。

次のＳ３３では、赤外線カメラ６０により撮像された入力板４３の次フレーム（１／ｎ秒後の２番フレーム）の画像から各タッチポイントＴＡ〜ＴＤを識別し、各タッチポイントＴＡ〜ＴＤが検出されたか否かをチェックする。Ｓ３３において、入力板４３の画像（１／ｎ秒後の２番フレーム）から各タッチポイントＴＡ〜ＴＤが検出された場合（ＹＥＳの場合）、Ｓ３４に進み、次フレームの画像から検出された移動後の各タッチポイントＴＡ〜ＴＤの座標位置及び入力板４３に接触させた指先１２０の大きさ（接触面積及び輪郭形状を含む）を記憶装置２３０に記憶する。尚、Ｓ３３においては、各タッチポイントＴＡ〜ＴＤの何れかが検出されない場合は、患者Ａ〜Ｄの何れかがリハビリテーションを中断したものと判断して、検出された他のタッチポイントについての処理を進める。

続いて、Ｓ３５に進み、直前に検出された過去２点の座標位置及び指先１２０の大きさ（接触面積及び輪郭形状を含む）から次フレーム（１／ｎ秒後の３番フレーム）における各タッチポイントＴＡ〜ＴＤの移動方向を推測する。次のＳ３６では、赤外線カメラ６０により撮像された入力板４３の次フレーム（１／ｎ秒後の３番フレーム）の画像から各タッチポイントＴＡ〜ＴＤが検出されたか否かをチェックする。

Ｓ３６において、入力板４３を撮像した次フレーム（１／ｎ秒後の３番フレーム）の画像から各タッチポイントＴＡ〜ＴＤの有無を識別し、各タッチポイントＴＡ〜ＴＤが検出された場合（ＹＥＳの場合）、Ｓ３７に進み、次フレーム（１／ｎ秒後の３番フレーム）に基づいて検出された移動後の各タッチポイントＴＡ〜ＴＤの中から推測値に近いものを抽出する。すなわち、Ｓ３７においては、上記Ｓ３５で推測された各タッチポイントＴＡ〜ＴＤの座標位置（推測値）と、Ｓ３６で検出された各タッチポイントＴＡ〜ＴＤの座標位置（検出値）とを比較し、検出された各座標位置の中から推測値に近い座標位置のものを移動後の各タッチポイントＴＡ〜ＴＤの座標位置と判定する。尚、Ｓ３６においては、各タッチポイントＴＡ〜ＴＤの何れかが検出されない場合は、患者Ａ〜Ｄの何れかがリハビリテーションを中断したものと判断して、検出された他のタッチポイントについての処理を進める。

そして、Ｓ３８では、上記識別した各タッチポイントＴＡ〜ＴＤの各座標位置、移動方向、加速度を求めて記憶装置２３０に記憶する。次のＳ３９では、赤外線カメラ６０により撮像された入力板４３の次フレーム（１／ｎ秒後の４番以降のフレーム）の画像から各タッチポイントＴＡ〜ＴＤの有無を識別し、各タッチポイントＴＡ〜ＴＤが検出されたか否かをチェックする。Ｓ３９において、次フレーム（１／ｎ秒後の４番以降のフレーム）の画像から各タッチポイントＴＡ〜ＴＤが検出された場合（ＹＥＳの場合）、上記Ｓ３４に戻り、Ｓ３４〜Ｓ３９の処理を繰り返す。尚、Ｓ３９においては、各タッチポイントＴＡ〜ＴＤの何れかが検出されない場合は、患者Ａ〜Ｄの何れかがリハビリテーションを中断したものと判断して、検出された他のタッチポイントについての処理を進める。

また、Ｓ３９において、次フレーム（１／ｎ秒後の４番以降のフレーム）の画像から各タッチポイントＴＡ〜ＴＤが全て検出されない場合（ＮＯの場合）、各患者Ａ〜Ｄの指先１２０が入力板４３から離間してリハビリテーションを終了したものと判断して今回のタッチポイント検出処理を終了する。

このように、本実施例において、各患者Ａ〜Ｄは、特別な装具を必要とせず、直接入力板４３に手の指先１２０を接触させるだけなので、看護師に面倒な作業をお願いすることもなくなり、リハビリテーションを効率良く行える。
〔変形例１〕
図９Ａはリハビリテーション用画像の変形例１を模式的に示す図である。図９Ａにおいて、入力板４３の各得点表示部ＫＡ〜ＫＤには、各患者Ａ〜Ｄの氏名及び得点（評価点数）が表示される。各患者Ａ〜Ｄは、自分の氏名が表示された場所の椅子５０に着席する。入力板４３に対して各患者Ａ〜Ｄの手を動かせる範囲に応じて各人のリハビリテーション可能領域ＬＡ〜ＬＤが設定されている。各リハビリテーション可能領域ＬＡ〜ＬＤは、それぞれ個人差があり、手の長さが同じでも各人の肘や肩の関節の動く角度によって異なる半径が設定される。

液晶パネル４１の各リハビリテーション可能領域ＬＡ〜ＬＤには、各患者Ａ〜Ｄに対応させてリハビリテーション用のマークＭＡ〜ＭＤが表示される。各マークＭＡ〜ＭＤは、それぞれ例えば、○、△、□、☆といった具合に視覚的に異なる形状にデザインされている。また、各マークＭＡ〜ＭＤは、それぞれ各患者Ａ〜Ｄの症状に合わせた動きをするように表示動作パターンが予めプログラムされており、各マークＭＡ〜ＭＤの動作速度は各患者Ａ〜Ｄの症状に合わせてプログラム上で適宜選択できる。尚、液晶パネル４１の上方に入力板４３が積層されているので、患者Ａ〜Ｄからみると、最上位の入力板４３にマークＭＡ〜ＭＤが表示されているように見える。

従って、液晶パネル４１に表示された各マークＭＡ〜ＭＤの動作パターンは、それぞれ異なるため、異なる速度で異なる方向に移動する。各患者Ａ〜Ｄは、入力板４３に表示された各マークＭＡ〜ＭＤを右手又は左手で触るように指示される。そして、各マークＭＡ〜ＭＤが移動し始めると、各患者Ａ〜Ｄは指先１２０を入力板４３に接触させながら各マークＭＡ〜ＭＤの移動方向に移動させて各マークＭＡ〜ＭＤに追従させることで指先、肘、肩などのリハビリテーションが行われる。

各患者Ａ〜Ｄの指先１２０が各マークＭＡ〜ＭＤの動きに追従している間は、各マークＭＡ〜ＭＤが表示され、且つ移動し続ける。患者の指先１２０が各マークＭＡ〜ＭＤの動きに追従できない場合には、指先１２０のタッチポイントＴＡ〜ＴＤがマークＭＡ〜ＭＤから離れる。タッチポイントＴＡ〜ＴＤとマークＭＡ〜ＭＤとの位置ずれ（座標位置の差）が所定値以上になると、当該マークＭＡ〜ＭＤの表示が消えて、新たに別の位置にマークＭＡ〜ＭＤが表示されてリハビリテーションが再開される。

また、リハビリテーションの評価点数は、指先１２０を各マークＭＡ〜ＭＤに追従させる時間が長いほど増加する。そのため、４人の患者Ａ〜Ｄが同時にリハビリテーションを開始し、マーク追従時間が長い患者ほど評価点数が高くなる。よって、各患者の評価点数によって各患者の順位が分かるため、ゲーム感覚でリハビリテーションが行える。

図９Ｂは図９Ａにおけるタッチポイント検出処理２を説明するためのフローチャートである。メイン制御部２１０は、所定時間間隔毎に図９Ｂに示すタッチポイント検出処理２を実行する。

図９Ｂにおいて、メイン制御部２１０は、Ｓ４１で赤外線カメラ６０により撮像された入力板４３の画像から各タッチポイントＴＡ〜ＴＤの有無を識別しており、各タッチポイントＴＡ〜ＴＤが検出されたか否かをチェックする。Ｓ４１において、入力板４３の画像から各タッチポイントＴＡ〜ＴＤの存在が識別されて各タッチポイントＴＡ〜ＴＤが検出された場合（ＹＥＳの場合）、Ｓ４２に進み、移動前の各タッチポイントＴＡ〜ＴＤの座標位置及び入力板４３に接触させた指先１２０の移動速度、移動軌跡を記憶装置２３０に記憶すると共に、タイマをスタート（計時開始）させる。尚、Ｓ４１において、各タッチポイントＴＡ〜ＴＤが検出されない場合（ＮＯの場合）、各患者Ａ〜Ｄの指先１２０が入力板４３に接触していないので、待機状態となる。

次のＳ４３では、液晶パネル４１に表示された各マークＭＡ〜ＭＤの座標位置（表示位置）と、各タッチポイントＴＡ〜ＴＤの座標位置（検出位置）とを比較する。続いて、Ｓ４４に進み、各マークＭＡ〜ＭＤの座標位置（表示位置）と、各タッチポイントＴＡ〜ＴＤの座標位置（検出位置）との差を求める。

次のＳ４５では、上記各マークＭＡ〜ＭＤと各タッチポイントＴＡ〜ＴＤとの座標位置の差が閾値Ｈより大きい値か否かをチェックする。閾値Ｈは、予め設定される任意の値であり、例えば各患者の症状に応じて異なる数値を設定するようにしても良い。

Ｓ４５において、上記各マークＭＡ〜ＭＤの何れかが各タッチポイントＴＡ〜ＴＤとの座標位置の差が閾値Ｈよりも大きい場合（ＹＥＳの場合）、Ｓ４６に進み、当該マークの表示を液晶パネル４１から一時的に消すと共に、別の位置に当該マークを表示させる。これにより、マークＭＡ〜ＭＤの移動に指先１２０の移動が追いつかない場合は、例えば当該マークの表示位置を当該患者の近い位置に新たに表示することで、リハビリテーションの操作が容易に行えるように調整できる。

また、上記Ｓ４５において、上記各マークＭＡ〜ＭＤの何れかが各タッチポイントＴＡ〜ＴＤとの座標位置の差が閾値Ｈよりも小さい場合（ＮＯの場合）、Ｓ４７に進み、当該マークの表示を継続する。これにより、マークＭＡ〜ＭＤの移動に指先１２０の移動が追い付く場合は、例えば当該マークの表示位置及び移動速度を変えずにリハビリテーションを継続できる。

次のＳ４８では、タイマにより計時された時間（タイマカウント値）に応じた点数（得点）を演算し、その演算結果を評価点数として液晶パネル４１に表示する。これにより、各患者Ａ〜Ｄは、リハビリテーションに対する評価点数（得点）をチェックしてどの程度のリハビリテーション効果があるかを確認できる。また、液晶パネル４１には、各リハビリテーション可能領域ＬＡ〜ＬＤ毎に各患者の評価点数が表示させることにより、他の患者の点数の差が分かり、よりゲーム感覚でリハビリテーションを行うことができ、各患者同士が楽しみながらリハビリテーション効果を高められる。

次のＳ４９では、赤外線カメラ６０により撮像された入力板４３の画像から各タッチポイントＴＡ〜ＴＤの有無を識別しており、各タッチポイントＴＡ〜ＴＤが検出されたか否かをチェックする。Ｓ４９において、入力板４３の画像から各タッチポイントＴＡ〜ＴＤの存在が識別されて各タッチポイントＴＡ〜ＴＤの何れかが検出された場合（ＹＥＳの場合）、各患者のリハビリテーションが継続していると判断してＳ４２に戻り、上記Ｓ４２〜Ｓ４９の処理を繰り返す。

また、Ｓ４９において、各タッチポイントＴＡ〜ＴＤの全てが検出されない場合（ＮＯの場合）、各患者のリハビリテーションが終了したものと判断して今回の処理を終了する。そして、終了後に記憶手段２３０に記憶された各タッチポイントＴＡ〜ＴＤの座標位置及び入力板４３に接触させた指先１２０の移動速度、移動軌跡を液晶パネル４１に表示させることにより、各患者Ａ〜Ｄのリハビリテーションを確認したり、指先１２０の遅れがどのように動きのときに生じるのかを検証することが可能になる。

また、変形例１においても、各患者Ａ〜Ｄは、特別な装具を必要とせず、直接入力板４３に手の指先１２０を接触させるだけなので、看護師に面倒な作業をお願いすることもなくなり、リハビリテーションを効率良く行える。
〔変形例２〕
図１０Ａはリハビリテーション用画像の変形例２を模式的に示す図である。図１０Ａにおいて、入力板４３の４辺の各得点表示部ＫＡ〜ＫＤには、各患者Ａ〜Ｄの氏名及び得点（評価点数）が表示される。各患者Ａ〜Ｄは、自分の氏名が表示された場所の椅子５０に着席する。また、入力板４３は、各患者Ａ〜Ｄが共用しており、異なる形状のマークＭＡ〜ＭＤが表示される。各マークＭＡ〜ＭＤは、それぞれ例えば、○、△、□、☆といった具合に視覚的に異なる形状にデザインされている。また、各マークＭＡ〜ＭＤは、例えばマークＭＡが３点、マークＭＢが５点、マークＭＣが７点、マークＭＤが１０点といった具合にそれぞれ異なる得点が設定されている。そのため、マークＭＡよりもマークＭＤを多く集めるほうがより高得点が得られる。

この変形例３の場合、各患者Ａ〜Ｄは、液晶パネル４１に表示された各マークＭＡ〜ＭＤを加速させて氏名が記載された得点表示部ＫＡ〜ＫＤに集めることでリハビリテーションが行える。各得点表示部ＫＡ〜ＫＤは、各患者Ａ〜Ｄの近くに表示されており、各患者Ａ〜Ｄは、液晶パネル４１に表示されている複数のマークＭＡ〜ＭＤをできるだけ多く得点表示部ＫＡ〜ＫＤに集めることで、高得点が得られる。

また、各マークＭＡ〜ＭＤは、指先１２０によりドラッグ（マークを引きずるようにスライド操作すること）されて押し出されると、押された方向に直線的にスライドする。そして、液晶パネル４１において、各マークＭＡ〜ＭＤが指先１２０による押出し力（ドラッグした距離）に応じた加速度で移動するように表示される。

図１０Ｂは各マークＭＡ〜ＭＤを移動させる際の移動方向と速度を演算する方法について説明する。図１０Ｂに示されるように、マークＭＡ〜ＭＤをポイントＰ１からポイントＰ２まで指先１２０によるドラッグ操作が行われた場合、ポイントＰ１からポイントＰ２への移動速度とベクトルを求める。そして、ポイントＰ２で指先１２０がマークＭＡ〜ＭＤから離れた後のポイントＰ３への移動方向（押出し方向）と速度を求める。

例えばポイントＰ１からポイントＰ２までのＸ方向距離ｘ１と、Ｙ方向距離ｙ１と、角度θからドラッグした距離Ｌ１と、ドラッグ操作時間ｔから、次式により求まる。
ｔａｎθ＝ｙ１／ｘ１・・・（Ａ）
移動速度Ｖ１＝ｘ１・ｔａｎθ／ｔ・・・（Ｂ）
ポイントＰ２からポイントＰ３までの速度Ｖ２は、上記移動速度Ｖ１に係数ｋを掛けることで求まる。例えば係数ｋを１．５とした場合、マークＭＡ〜ＭＤの速度Ｖ２は、ドラッグ操作の１．５倍の速度に加速されてスライドするように表示される。従って、マークＭＡ〜ＭＤを集める際のドラッグ操作による押出し力が強いほど、マークＭＡ〜ＭＤの速度Ｖ２がより高速に加速されてマーク回収効率が向上する。

また、マークＭＡ〜ＭＤは、図１０Ｃに示されるように、液晶パネル４１の周縁部４１ａ（ポイントＰ３）に対して入射角度θで衝突すると、同じ出射角度θでポイントＰ４に反射するように表示されると共に、衝突により速度が所定の割合で減速される。この場合、係数ｋ＝０．５〜０．７を設定することで、反射した後のマークＭＡ〜ＭＤの速度Ｖ２は、５０％〜７０％に減速される。

従って、マークＭＡ〜ＭＤを液晶パネル４１の周縁部４１ａに反射させる際は、入射角度θ及び出射角度θと、減速割合を考慮してマークＭＡ〜ＭＤに対する押出し力を調整することが必要になる。その分、各患者Ａ〜Ｄは、各マークＭＡ〜ＭＤの移動方向、速度を計算してリハビリテーション操作を行うことになり、各マークを集めるというゲームを楽しみながら脳の運動も行うことになる。

図１０Ｄは図１０Ａにおけるタッチポイント検出処理３を説明するためのフローチャートである。メイン制御部２１０は、所定時間間隔毎に図１０Ｄに示すタッチポイント検出処理３を実行する。

図１０Ｄに示されるように、メイン制御部２１０は、Ｓ５１で赤外線カメラ６０により撮像された入力板４３の画像から各タッチポイントＴＡ〜ＴＤの有無を識別（識別手段）しており、各タッチポイントＴＡ〜ＴＤが検出されたか否かをチェックする（検出手段）。Ｓ５１において、入力板４３の画像から各タッチポイントＴＡ〜ＴＤの存在が識別されて各タッチポイントＴＡ〜ＴＤが検出された場合（ＹＥＳの場合）、Ｓ５２に進み、移動前の各タッチポイントＴＡ〜ＴＤの座標位置及び入力板４３に接触させた指先１２０の移動速度、移動方向を記憶装置２３０に記憶する。尚、Ｓ５１において、各タッチポイントＴＡ〜ＴＤが検出されない場合（ＮＯの場合）、各患者Ａ〜Ｄの指先１２０が入力板４３に接触していないので、待機状態となる。

次のＳ５３では、液晶パネル４１に表示された複数のマークＭＡ〜ＭＤから各タッチポイントＴＡ〜ＴＤの座標位置と一致する一つのマークを選別する。続いて、Ｓ５４に進み、当該マークに対するドラッグ操作が行われたか否かをチェックする。

Ｓ５４において、ドラッグ操作が行われなかった場合（ＮＯの場合）、上記Ｓ５１の処理に戻り、Ｓ５１〜Ｓ５４の処理を繰り返す。また、Ｓ５４において、ドラッグ操作が行われた場合（ＹＥＳの場合）、Ｓ５５に進み、ドラッグ操作によるポイントＰ１からポイントＰ２への方向、操作距離、速度を演算する（演算手段）。続いて、Ｓ５６では、ドラッグされた当該マークのポイントＰ２からポイントＰ３への各タッチポイントＴＡ〜ＴＤの座標位置、移動方向及び速度、加速度を演算する（演算手段）。

次のＳ５７では、上記演算結果に基づいてドラッグされた当該マークを移動させるように表示する。さらに、Ｓ５８で、ドラッグされたマークが液晶パネル４１の周縁部４１ａに衝突するか否かをチェックする。Ｓ５８において、ドラッグされたマークが周縁部４１ａに衝突する場合（ＹＥＳの場合）、Ｓ５９に進み、当該マークの周縁部４１ａに対する入射角、速度を演算する（演算手段）。次のＳ６０では、当該マークの周縁部４１ａに対する出射角、速度を演算する（演算手段）。そして、Ｓ６１では、上記Ｓ６０の演算結果を表示制御部２２０に出力することにより、当該マークを上記演算結果に基づく反射方向及び速度で表示する（検出データ出力手段）。また、上記Ｓ５８において、ドラッグされたマークが周縁部４１ａに衝突しない場合（ＮＯの場合）、上記Ｓ５９〜Ｓ６１の処理を省略する。

次のＳ６２では、ドラッグされたマークの移動先が得点表示部ＫＡ〜ＫＤであるか否かをチェックする。Ｓ６２において、ドラッグされたマークが得点表示部ＫＡ〜ＫＤの何れかに回収された場合（ＹＥＳの場合）、Ｓ６３に進み、当該マークの点数が回収された得点表示部の得点として加算され、当該得点表示部に加算された数値が評価点数として表示される。また、Ｓ６２において、ドラッグされたマークが得点表示部ＫＡ〜ＫＤの何れかにも回収されない場合（ＮＯの場合）、Ｓ６３の処理を省略する。従って、ドラッグされたマークが得点表示部ＫＡ〜ＫＤの何れかに回収された場合（ＹＥＳの場合）、各タッチポイントＴＡ〜ＴＤの移動によりマークＭＡ〜ＭＤが得点表示部ＫＡ〜ＫＤに移動する度に、当該マークの点数が得点表示部ＫＡ〜ＫＤに表示される数値に加算されて総得点が更新される。

このように、患者Ａ〜Ｄは、表示された複数のマークＭＡ〜ＭＤを得点の高い順に各得点表示部ＫＡ〜ＫＤに集めると共に、各マークをドラッグ操作により効率良く得点を増やすことが可能になるので、指先１２０の操作方向、ドラッグ操作力、及びマークの反射動作（反射角度、速度）を考慮するリハビリテーションを行うことになり、指先１２０の筋力だけでなく、脳のリハビリテーションも効果的に行える。

また、変形例２においても、各患者Ａ〜Ｄは、特別な装具を必要とせず、直接入力板４３に手の指先１２０を接触させるだけなので、看護師に面倒な作業をお願いすることもなくなり、リハビリテーションを効率良く行える。
〔変形例３〕
図１１Ａはリハビリテーション用画像の変形例３を模式的に示す図である。図１１Ａに示されるように、変形例３の液晶パネル４１は、演奏する音楽の音符を順次表示する音符表示部３００、３１０と、ハンドベル表示部３２０と、得点表示部３３１〜３３４とを有する。そして、各患者Ａ〜Ｄは、時間の経過と共に音符表示部３００、３１０に順に表示される音符に合わせてハンドベル表示部３２０に表示されるハンドベルＨＢ１〜ＨＢ９の中から音符の音を発生する一のハンドベルを選択して演奏を行う。従って、各患者Ａ〜Ｄは、ハンドベルＨＢ１〜ＨＢ９の中から表示された音符の音を発生するハンドベルを選択することにより、手の動きと脳のリハビリテーションが行える。

また、各患者Ａ〜Ｄが担当するハンドベルＨＢ１〜ＨＢ９を予め決めておくことにより、操作間違いが起きないようにする。例えば患者ＡはハンドベルＨＢ１、ＨＢ２を担当し、患者ＢはハンドベルＨＢ３、ＨＢ４を担当し、患者ＣはハンドベルＨＢ５、ＨＢ６を担当し、患者ＤはハンドベルＨＢ７，ＨＢ８，ＨＢ９を担当する。各患者Ａ〜Ｄは、順に表示される音符に対応するハンドベルを担当している場合、当該ハンドベルのマークに手を接触させる。これにより、当該ハンドベルの音が発生され、表示された音符と同じ音が発生された場合には、得点表示部３３１〜３３４に表示される点数に当該ハンドベルの得点が加算され、音符と異なる音を発生させた場合（別のハンドベルのマークに手が触れた場合）、得点表示部３３１〜３３４に表示される点数から当該ハンドベルの得点が減点される。また、音符が表示されてから所定時間内にハンドベルのマークに接触することで、各患者Ａ〜Ｄの時間的な対応も評価点数として加算しても良い。例えば選択したハンドベルが正しい場合でも、音符が表示されてから１秒以内に当該ハンドベルを選択したときは、５点を加算し、音符が表示されてから１〜２秒以内に当該ハンドベルを選択したときは、２点を加算するようにしても良い。

本変形例３では、得点表示部３３１〜３３４に表示される点数が評価点数に相当する。また、各患者Ａ〜Ｄは、表示された音符に対応するハンドベルを選択する必要があるため、手の動きだけでなく、音符とハンドベルとの一致性を判断する判断力の回復訓練もリハビリテーションとして行える。

図１１Ｂは図１１Ａにおけるタッチポイント検出処理４を説明するためのフローチャートである。メイン制御部２１０は、所定時間間隔毎に図１１Ｂに示すタッチポイント検出処理４を実行する。

図１１Ｂに示されるように、メイン制御部２１０は、Ｓ７１で予め選択された曲の音符を記憶装置２３０から読み込み、液晶パネル４１に最初の音符を音符表示部３００、３１０に表示すると共にハンドベルＨＢ１〜ＨＢ９を表示する。続いて、Ｓ７２に進み、赤外線カメラ６０により撮像された入力板４３の画像からタッチポイントの有無を識別しており、タッチポイントが検出されたか否かをチェックする。Ｓ７２において、入力板４３の画像からタッチポイントの存在が識別されてタッチポイントが検出された場合（ＹＥＳの場合）、Ｓ７３に進み、ハンドベルＨＢ１〜ＨＢ９の中から当該タッチポイントの座標位置に一致するハンドベルを識別し、当該ハンドベルの音を発生させると共に、当該ハンドベルの番号、音階を記憶装置２３０に記憶する。尚、Ｓ７２において、各タッチポイントＴＡ〜ＴＤが検出されない場合（ＮＯの場合）、各患者Ａ〜Ｄの指先１２０が入力板４３に接触していないので、待機状態となる。

次のＳ７４では、当該ハンドベルの音と表示された音符の音とを比較する。そして、Ｓ７５で、当該ハンドベルの音と表示された音符の音とが一致するか否かをチェックする。

Ｓ７５において、当該ハンドベルの音と表示された音符の音とが一致した場合（ＹＥＳの場合）、Ｓ７６に進み、当該ハンドベルの得点を当該ハンドベルに手を接触させた患者の点数に加算し、得点表示部３３１〜３３４のうち当該患者に対応する得点表示部に加算した得点を表示する。

また、Ｓ７５において、当該ハンドベルの音と表示された音符の音とが一致しなかった場合（ＮＯの場合）、Ｓ７７に進み、当該ハンドベルの得点を当該ハンドベルに手を接触させた患者の点数から減算し、得点表示部３３１〜３３４のうち当該患者に対応する得点表示部に減算した得点を表示する。

次のＳ７８では、当該曲の演奏が終了したか否かをチェックする。Ｓ７８において、演奏が終了していない場合（ＮＯの場合）、Ｓ７９に進み、次の音符を音符表示部３００、３１０に表示する。そして、上記Ｓ７２〜Ｓ７８の処理を繰り返す。また、Ｓ７８において、演奏が終了した場合（ＹＥＳの場合）、今回の処理を終了する。

このように、各患者Ａ〜Ｄは、自分の担当する音符が表示された場合にハンドベルＨＢ１〜ＨＢ９のうち音符と一致する音のハンドベルを選択し、当該ハンドベルのマークに手を接触させることで、その楽曲を演奏できると共に、その選択操作が正しい否かが判定されて得点（評価点数）に反映されるため、リハビリテーションを行えると共に、音符に合ったハンドベルを選択するという脳のリハビリテーションも同時に行える。

また、変形例３においても、各患者Ａ〜Ｄは、特別な装具を必要とせず、直接入力板４３に手の指先１２０を接触させるだけなので、看護師に面倒な作業をお願いすることもなくなり、リハビリテーションを効率良く行える。

上記実施例及び変形例以外のシステムにも本発明を適用することができるのは勿論である。例えば液晶パネル４１にサッカーゲームやテニスゲーム、ホッケー、ラグビー等の複数のプレイヤが同時に行えるゲームの画像を表示する場合にも本発明を適用することができる。

１０ リハビリテーション支援装置
２０ パネル状表示装置
４０ パネル状入力装置
４１ 液晶パネル
４２ 拡散フィルム
４３ 入力板
４４ 保護フィルム
４５ 赤外線発光ダイオード
４６ 赤外線発光ダイオード駆動基板
４７ 支持ガラス板
４８ 偏光手段
５０ 椅子
６０ 赤外線カメラ（撮像手段）
７０ バックライト
１００ 筐体
２００ 制御装置
２１０ メイン制御部
２２０ 表示制御部
２２２ 検出手段
２２４ 識別手段
２２６ 演算手段
２２８ 検出データ出力手段
２３０ 記憶装置
２４０ 表示データ生成手段
２５０ 評価手段
２６０ 比較手段
２７０ 判別手段
２８０ 評価点数修正手段
２９０ 点数表示手段
３００、３１０ 音符表示部
３２０ ハンドベル表示部
Ａ〜Ｄ 患者
ＴＡ〜ＴＤ タッチポイント
ＬＡ〜ＬＤ リハビリテーション可能領域
ＭＡ〜ＭＤ マーク
ＫＡ〜ＫＤ 得点表示部
ＨＢ１〜ＨＢ９ ハンドベル

Claims (8)

1. 画像表示面を有する表示装置と、前記画像表示面に形成されたパネル状入力装置と、前記画像表示面に画像を表示させる表示制御部とを有する表示装置型リハビリテーション支援装置であって、
   前記画像表示面にリハビリテーション用の画像を表示させるための表示データを生成する表示データ生成手段と、
   リハビリテーション対象者が前記画像表示面に表示されたリハビリテーション用の画像に対応して前記パネル状入力装置に接触した際のタッチポイントを検出する検出手段と、
   前記パネル状入力装置におけるタッチポイントの移動に伴って前記検出手段により検出された検出データに基づいてリハビリテーションの評価を行う評価手段と、
   を備えたことを特徴とする表示装置型リハビリテーション支援装置。
2. 請求項１に記載の表示装置型リハビリテーション支援装置であって、
   前記リハビリテーション対象者が前記パネル状入力装置に接触した際のタッチポイントの痕跡を撮像する撮像手段から得られた検出画像に基づいて前記タッチポイントを識別する識別手段と、
   前記識別手段による前記タッチポイントの識別結果から前記検出手段により検出された前記タッチポイントの座標位置、移動方向、速度、加速度を演算する演算手段と、
   前記演算手段による演算結果を前記検出データとして出力する検出データ出力手段と、
   を有することを特徴とする表示装置型リハビリテーション支援装置。
3. 前記表示データ作成手段は、
   前記リハビリテーション用の複数の表示データが記憶された記憶手段と、
   前記記憶手段に記憶された複数の表示データから任意の表示データを選択する選択手段と、
   前記選択手段により選択された表示データを前記表示制御部に出力する表示データ出力手段と、
   を有することを特徴とする請求項１又は２に記載の表示装置型リハビリテーション支援装置。
4. 前記評価手段は、
   前記検出データと前記表示データとを比較し、両データの差を求める比較手段と、
   前記比較手段による前記両データの差が予め決められた範囲内であるか否かを判別する判別手段と、
   前記判別手段により前記両データの差が予め決められた範囲内であると判別された場合、当該タッチポイントの移動に対する評価点数を増加し、前記両データの差が予め決められた範囲外であると判別された場合、当該タッチポイントの移動に対する評価点数を減少させる評価点数修正手段と、
   前記評価点数修正手段により修正された各評価点数を積算し、積算された総評価点数を表示する点数表示手段と、
   を有することを特徴とする請求項１又は２に記載の表示装置型リハビリテーション支援装置。
5. 画像表示面を有する表示装置と、前記画像表示面に形成されたパネル状入力装置と、前記画像表示面に画像を表示させる表示制御部とを有する表示装置型リハビリテーション支援装置の制御方法であって、
   コンピュータを、
   前記画像表示面にリハビリテーション用の画像を表示させるための表示データを生成する表示データ生成手段と、
   リハビリテーション対象者が前記画像表示面に表示されたリハビリテーション用の表示画像に対応して前記パネル状入力装置に接触した際のタッチポイントを検出する検出手段と、
   前記パネル状入力装置におけるタッチポイントの移動に伴って前記検出手段により検出された検出データに基づいてリハビリテーションの評価を行う評価手段として機能させることを特徴とする表示装置型リハビリテーション支援装置の制御方法。
6. 請求項５に記載の表示装置型リハビリテーション支援装置の制御方法であって、
   コンピュータを、
   前記リハビリテーション対象者が前記パネル状入力装置に接触した際のタッチポイントの痕跡を撮像する撮像手段から得られた検出画像に基づいて前記タッチポイントを識別する識別手段と、
   前記識別手段による前記タッチポイントの識別結果から前記検出手段により検出された前記タッチポイントの座標位置、移動方向、速度、加速度を演算する演算手段と、
   前記演算手段による演算結果を前記検出データとして出力する検出データ出力手段として機能させることを特徴とする表示装置型リハビリテーション支援装置の制御方法。
7. 前記表示データ作成手段は、
   コンピュータを、
   前記リハビリテーション用の複数の表示データが記憶された記憶手段と、
   前記記憶手段に記憶された複数の表示データから任意の表示データを選択する選択手段と、
   前記選択手段により選択された表示データを前記画像制御部に出力する出力手段として機能させることを特徴とする請求項５又は６に記載の表示装置型リハビリテーション支援装置の制御方法。
8. 前記評価手段は、
   コンピュータを、
   前記検出データと前記表示データとを比較し、両データの差を求める比較手段と、
   前記比較手段による前記両データの差が予め決められた範囲内であるか否かを判別する判別手段と、
   前記判別手段により前記両データの差が予め決められた範囲内であると判別された場合、当該タッチポイントの移動に対する評価点数を増加し、前記両データの差が予め決められた範囲外であると判別された場合、当該タッチポイントの移動に対する評価点数を減少させる評価点数修正手段と、
   前記評価点数修正手段により修正された各評価点数を積算し、積算された総評価点数を表示する点数表示手段として機能させることを特徴とする請求項５又は６に記載の表示装置型リハビリテーション支援装置の制御方法。
   

Images