JP2022046481A - 高次脳機能障害用のリハビリテーションシステム及び画像処理装置 - Google Patents

Abstract

【課題】患者が違和感なくリハビリテーションを行なえる画像処理装置及びコンピュータプログラムを提供する。【解決手段】高次脳機能障害のリハビリテーション用の画像処理装置５は、周辺の空間を認識する空間認識部５７と、画像処理装置５の位置及び傾きを認識するトラッキング部５８と、ユーザの向きを検出する向き検出部５９と、仮想の対象物を空間認識部５７が認識した空間上に配置して、トラッキング部５８が認識した位置及び傾き並びに向き検出部５９が検出した向きに基づいて、ユーザから見える仮想の対象物の画像を生成する画像処理部５０と、現実空間上に、画像処理部５０が生成した仮想の対象物の画像が存在するかのように、ユーザに対して表示する複合現実用の表示部５３と、現実空間上に、高次脳機能障害のリハビリテーションに使用する仮想の対象物の画像が存在するかのような問題を生成する制御部５１を備える。【選択図】図５

Description

特許法第３０条第２項適用申請有り （１）ウェブサイトの掲載日２０１８年２月１９日 ウェブサイトのアドレス ｈｔｔｐ：／／ｒｅｈａｍａｒｕ．ｊｐ／ ウェブサイトの掲載日２０１８年２月１９日 ウェブサイトのアドレス ｈｔｔｐ：／／ｒｅｈａｍａｒｕ．ｊｐ／％Ｅ３％８３％Ａ１％Ｅ３％８３％８７％Ｅ３％８２％Ａ３％Ｅ３％８２％ＡＢ％Ｅ３％８３％ＡＢ％Ｅ３％８３％ＢＢ％Ｅ３％８２％Ｂ８％Ｅ３％８３％Ａ３％Ｅ３％８３％９１％Ｅ３％８３％Ｂ３％ＥＦ％ＢＣ％９２％ＥＦ％ＢＣ％９０％ＥＦ％ＢＣ％９１％ＥＦ％ＢＣ％９８％ＥＦ％ＢＣ％８８％ＥＦ％ＢＣ％９２％Ｅ６％９Ｃ％８８％ＥＦ％ＢＣ％９２％ＥＦ％ＢＣ％９１％Ｅ６％９７％Ａ５％ＥＦ％ＢＤ％９Ｅ％ＥＦ％ＢＣ％９２／ （２）展示日２０１８年２月２１日～２月２３日 展示会名、開催場所 メディカルジャパン２０１８ 医療ＩＴソリューション展、インテックス大阪（大阪市住之江区南港北１－５－１０２） （３）放送日 ２０１８年２月２６日 放送番組 フジテレビＴＨＥ ＮＥＷＳ α （４）展示日 ２０１８年２月２７日 展示会名、開催場所 国際イノベーション会議ＨａｃｋＯｓａｋａ２０１８スタートアップショーケース、グランフロント大阪（大阪府大阪市北区大深町３－１） （５）放送日 ２０１８年２月２７日 放送番組 ＭＢＳニュースＶＯＩＣＥ （６）展示日 ２０１８年３月４日 展示会名、開催場所 堺市健康さかい２１ 健康フェア、堺市産業振興センターイベントホール他（堺市北区長曽根町１８３－５） （７）公開日２０１８年４月５日 ウェブサイトのアドレス（ＵＲＬ） ｈｔｔｐ：／／ｗｗｗ．ｋｍｕ．ａｃ．ｊｐ／ｎｅｗｓ／ｌａａｅｓ７００００００１ｄ０ｖ－ａｔｔ／２０１８０４０５Ｐｒｅｓｓ＿Ｒｅｌｅａｓｅ＿ｒｅ．ｐｄｆ 公開日２０１８年４月１２日 公開場所学校法人関西医科大学 枚方学舎（大阪府枚方市新町２－５－１） （８）展示日 ２０１８年４月７日 展示会名、開催場所 はっと！！ＫＯＢＥ健康フェア、ＷＨＯ神戸センター（神戸市中央区脇浜海岸通１－５－１ ＩＨＤビル９Ｆ） （９） ウェブサイトの掲載日２０１８年４月１２日 ウェブサイトのアドレス ｈｔｔｐｓ：／／ｗｗｗ．ｎｉｓｈｉｎｉｐｐｏｎ．ｃｏ．ｊｐ／ｎｎｐ／ｍｅｄｉｃａｌ／ａｒｔｉｃｌｅ／４０８０９０／

特許法第３０条第２項適用申請有り （１０）ウェブサイトの掲載日２０１８年４月１２日 ウェブサイトのアドレス ｈｔｔｐｓ：／／ｗｗｗ．４７ｎｅｗｓ．ｊｐ／２２６６９０８．ｈｔｍｌ （１１）ウェブサイトの掲載日２０１８年４月１２日 ウェブサイトのアドレス ｈｔｔｐｓ：／／ｔｈｉｓ．ｋｉｊｉ．ｉｓ／３５７０７８７７２３６６８５３２１７？ｃ＝３９５４６７４１８３９４６２４０１ （１２）ウェブサイトの掲載日２０１８年４月１２日 ウェブサイトのアドレス ｈｔｔｐｓ：／／ｎｅｗｓ．ｇｏｏ．ｎｅ．ｊｐ／ａｒｔｉｃｌｅ／ｋｙｏｄｏ＿ｎｏｒ／ｗｏｒｌｄ／ｋｙｏｄｏ＿ｎｏｒ－２０１８０４１２０１００１３９６．ｈｔｍｌ （１３）ウェブサイトの掲載日２０１８年４月１２日 ウェブサイトのアドレス ｈｔｔｐｓ：／／ｗｗｗ．ｆｕｋｕｉｓｈｉｍｂｕｎ．ｃｏ．ｊｐ／ａｒｔｉｃｌｅｓ／－／３１６９２３ （１４）ウェブサイトの掲載日２０１８年４月１２日 ウェブサイトのアドレス ｈｔｔｐ：／／ｗｗｗ．ｙａｍａｇａｔａ－ｎｐ．ｊｐ／ｎｅｗｓ＿ｃｏｒｅ／ｉｎｄｅｘ＿ｐｒ．ｐｈｐ？ｎｏ＝２０１８０４１２０１００１３９６＆ｋａｔｅ＝Ｓｃｉｅｎｃｅ＿Ｅｎｖｉｒｏｎｍｅｎｔ＿Ｈｅａｌｔｈ （１５）ウェブサイトの掲載日２０１８年４月１２日 ウェブサイトのアドレス ｈｔｔｐｓ：／／ｗｗｗ．ｋｙｏｔｏ－ｎｐ．ｃｏ．ｊｐ／ｐｏｌｉｔｉｃｓ／ａｒｔｉｃｌｅ／２０１８１１０４００００５６ ウェブサイトの掲載日２０１８年４月１２日 ウェブサイトのアドレス ｈｔｔｐｓ：／／ｗｗｗ．ｋｙｏｔｏ－ｎｐ．ｃｏ．ｊｐ／ｅｎｖｉｒｏｎｍｅｎｔ／ａｒｔｉｃｌｅ／２０１８０４１２０００１１５ （１６）ウェブサイトの掲載日２０１８年４月１２日 ウェブサイトのアドレス ｈｔｔｐｓ：／／ｗｗｗ．ａｓａｈｉ．ｃｏｍ／ａｒｔｉｃｌｅｓ／ＡＳＬ４Ｃ５ＨＺ３Ｌ４ＣＰＬＢＪ００５．ｈｔｍｌ （１７）発行日２０１８年４月１３日 刊行物 朝日新聞 ２０１８年４月１３日付朝刊 第２９面 （１８）発行日２０１８年４月１３日 刊行物 日刊工業新聞 ２０１８年４月１３日付 第２９面 （１９）ウェブサイトの掲載日２０１８年４月１４日 ウェブサイトのアドレス ｈｔｔｐｓ：／／ｗｗｗ．ａｓａｈｉ．ｃｏｍ／ａｒｔｉｃｌｅｓ／ＡＳＬ４Ｆ７ＴＤＬＬ４ＦＵＢＱＵ０１Ｍ．ｈｔｍｌ

特許法第３０条第２項適用申請有り （２０）ウェブサイトの掲載日２０１８年４月１４日 ウェブサイトのアドレス ｈｔｔｐｓ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／ｗａｔｃｈ？ｖ＝Ｐ１ｙ７５ｂ７ｄＤ５４ （２１）ウェブサイトの掲載日２０１８年４月１８日 ウェブサイトのアドレス ｈｔｔｐｓ：／／ｐａｎｏｒａ．ｔｏｋｙｏ／５８５２５／ （２２）ウェブサイトの掲載日２０１８年４月１８日 ウェブサイトのアドレス ｈｔｔｐｓ：／／ｎｅｗｓ．ｎｉｃｏｖｉｄｅｏ．ｊｐ／ｗａｔｃｈ／ｎｗ３４４３１９３ （２３）ウェブサイトの掲載日２０１８年４月１８日 ウェブサイトのアドレス ｈｔｔｐｓ：／／ｗｅｂ．ｈａｃｋａｄｏｌｌ．ｃｏｍ／ｎ／８ｍｎＬ２ （２４）ウェブサイトの掲載日２０１８年４月２１日 ウェブサイトのアドレス ｈｔｔｐｓ：／／ｉｎｆｏ．ｎｉｎｃｈｉｓｈｏ．ｎｅｔ／ａｒｃｈｉｖｅｓ／２８８７１ （２５）ウェブサイトの掲載日２０１８年４月２１日 ウェブサイトのアドレス ｈｔｔｐｓ：／／ｎｅｗｓ．ｉｎｆｏｓｅｅｋ．ｃｏ．ｊｐ／ａｒｔｉｃｌｅ／ｎｉｎｃｈｉｓｈｏｎｅｔ＿ａｒｃｈｉｖｅｓ＿２８８７１／ （２６）ウェブサイトの掲載日２０１８年６月１日 ウェブサイトのアドレス ｈｔｔｐｓ：／／ｗｗｗ．ｓａｎｇｙｏ－ｔｉｍｅｓ．ｊｐ／ａｒｔｉｃｌｅ．ａｓｐｘ？ＩＤ＝２６４５ （２７）ウェブサイトの掲載日２０１８年６月４日 ウェブサイトのアドレス ｈｔｔｐｓ：／／ｎｅｗｓ．ｆｉｎａｎｃｅ．ｙａｈｏｏ．ｃｏ．ｊｐ／ｄｅｔａｉｌ／２０１８０６０４－００００６２６４－ｔｏｕｓｈｉｎｏｎｅ－ｂｕｓ＿ａｌｌ ウェブサイトの掲載日２０１８年６月４日 ウェブサイトのアドレス ｈｔｔｐｓ：／／ｌｉｍｏ．ｍｅｄｉａ／ａｒｔｉｃｌｅｓ／－／６２６４ （２８）ウェブサイトの掲載日２０１８年６月４日 ウェブサイトのアドレス ｈｔｔｐｓ：／／ｗｗｗ．ｅｘｃｉｔｅ．ｃｏ．ｊｐ／ｎｅｗｓ／ａｒｔｉｃｌｅ／Ｔｏｕｓｈｉｎ＿６２６４／？ｐ＝３ （２９）ウェブサイトの掲載日２０１８年７月２３日 ウェブサイトのアドレス ｈｔｔｐ：／／ａｓｃｉｉ．ｊｐ／ｅｌｅｍ／０００／００１／７０７／１７０７５２７／ （３０）ウェブサイトの掲載日２０１８年７月２３日 ウェブサイトのアドレス ｈｔｔｐｓ：／／ｗｅｅｋｌｙ．ａｓｃｉｉ．ｊｐ／ｅｌｅｍ／０００／０００／４１７／４１７１４６／

特許法第３０条第２項適用申請有り （３１）ウェブサイトの掲載日２０１８年７月２３日 ウェブサイトのアドレス ｈｔｔｐ：／／ｓｔａｒｔｕｐｔｉｍｅｓ．ｊｐ／２０１８／０７／２３／９１７８２／ （３２）ウェブサイトの掲載日２０１８年８月２日 ウェブサイトのアドレス ｈｔｔｐｓ：／／ｅａｒｔｈｋｅｙｌａｂ．ｃｏｍ／ｊａｐａｎ／％Ｅ３％８３％ＡＡ％Ｅ３％８３％８Ｆ％Ｅ３％８１％ＢＥ％Ｅ３％８２％８Ｂ－％Ｅ３％８０％８Ｅ％Ｅ３％８３％Ａ１％Ｅ３％８３％８７％Ｅ３％８２％Ａ３％Ｅ３％８２％ＡＢ％Ｅ３％８３％ＡＢ％Ｅ３％８１％ＡＢ％Ｅ３％８２％Ａ８％Ｅ３％８３％Ｂ３％Ｅ３％８２％ＢＦ％Ｅ３％８３％８６％Ｅ３％８３％ＢＣ％Ｅ３％８３％Ａ１％Ｅ３％８３％Ｂ３％Ｅ３％８３％８８％Ｅ３％８２％９２％Ｅ３％８０％８Ｆｍｒ－ｖｒ／ （３３）発行日２０１８年８月１８日 刊行物 日本経済新聞 ２０１８年８月１８日付 （３４）ウェブサイトの掲載日２０１８年８月１８日 ウェブサイトのアドレス ｈｔｔｐｓ：／／ｗｗｗ．ｎｉｋｋｅｉ．ｃｏｍ／ａｒｔｉｃｌｅ／ＤＧＫＫＺＯ３４２６１９６０Ｘ１０Ｃ１８Ａ８ＬＫＤ０００／ （３５）発行日２０１８年８月３１日 刊行物 日本経済新聞 ２０１８年８月３１日付 第３９面 （３６）ウェブサイトの掲載日２０１８年８月３１日 ウェブサイトのアドレス ｈｔｔｐｓ：／／ｗｗｗ．ｎｉｋｋｅｉ．ｃｏｍ／ａｒｔｉｃｌｅ／ＤＧＸＭＺＯ３４７９５６２０Ｑ８Ａ８３０Ｃ１ＬＫＡ０００／ （３７－１）発行日２０１８年８月２９日 刊行物 第５２回作業療法学会抄録集 （３７－２）開催日２０１８年９月８日 集会名、開催場所 第５２回作業療法学会、名古屋国際会議場（愛知県名古屋市熱田区西町１－１） （３８）展示日２０１８年９月２７日～９月２９日 展示会名、開催場所 第２３回中国国際医療機械展覧会、中国国際展覧センター（中国北京市朝陽区北三杯東路６号）（３９）発行日２０１８年１０月１３日 刊行物 毎日新聞 ２０１８年１０月１３日付夕刊第１面 （４０）ウェブサイトの掲載日２０１８年１０月１３日 ウェブサイトのアドレス ｈｔｔｐｓ：／／ｍａｉｎｉｃｈｉ．ｊｐ／ａｒｔｉｃｌｅｓ／２０１８１０１３／ｄｄｆ／００１／０４０／００３０００ｃ

特許法第３０条第２項適用申請有り （４１－１）発行日（抄録集の発送日） ２０１８年１０月１５日 刊行物 第２回日本リハビリテーション医学会秋季学術集会抄録集 （４１－２）開催日２０１８年１１月２日～１１月４日 集会名、開催場所 第２回日本リハビリテーション医学会秋季学術集会、仙台国際センター（仙台市青葉区青葉山無番地） （４２）展示日２０１８年１１月２日～１１月４日 展示会名、開催場所 第２回日本リハビリテーション医学会秋季学術集会の企業ブース、仙台国際センター（仙台市青葉区青葉山無番地） （４３－１）発行日 ２０１８年１０月１日 刊行物 第４８回日本臨床神経生理学会学術大会抄録集（臨床神経生理学４６巻５号） （４３－２）開催日２０１８年１１月８日～１１月１０日 集会名、開催場所 第４８回日本臨床神経生理学会学術大、東京ファッションタウン東館９階（東京都江東区有明３丁目６－１１） （４４）開催日 ２０１８年１１月１８日 集会名、開催場所 ひらかた市民大学、学校法人関西医科大学枚方学舎オープンラウンジ（大阪府枚方市新町２－５－１） （４５）展示日２０１８年１２月６日～１２月７日 展示会名、開催場所 第４２回日本高次脳機能障害学会学術総会の企業ブース、神戸国際展示場（神戸市中央区港島中町６－１１－１） （４６－１）発行日 ２０１８年１０月 刊行物 第４２回日本高次脳機能障害学会学術総会： プログラム・講演抄録 （４６－２）開催日２０１８年１２月６日～１２月７日 集会名、開催場所 第４２回日本高次脳機能障害学会学術総会、神戸国際展示場（神戸市中央区港島中町６－１１－１） （４７）販売日２０１８年９月２５日 販売した場所 社会医療法人平成醫塾苫小牧東病院（北海道苫小牧市明野新町五丁目１番３０号）

本発明は、脳卒中、認知症、脳性麻痺、外傷性脳損傷、脳腫瘍、発達障害、うつ病、統合失調症、又はパーキンソン病などが原因で生じる高次脳機能障害の患者に対して、リハビリテーションを行うためのシステムに関し、より特定的には、画像処理技術を用いて高次脳機能障害に対するリハビリテーションを行うためのシステム及び画像処理装置に関する。

高次脳機能障害とは、脳卒中、認知症、脳性麻痺、外傷性脳損傷、脳腫瘍、発達障害、うつ病、統合失調症、又はパーキンソン病などが原因で、脳が損傷を受けることによって、記憶障害や注意障害、遂行機能障害等の症状が現れる病気である。

従来、特許文献１ないし７に記載のように、仮想画像を用いて、高次脳機能障害のリハビリを行う装置が提案されている。

特許文献１に記載の脳機能障害者に対するリハビリテーション装置では、頭部装着式視覚表示装置（４）に仮想現実の画像を表示させて、訓練機（６）やスペースジョイスティック（５）を患者が操作することで、仮想空間上を患者が移動しているかのような画像が頭部装着式視覚表示装置（４）に表示される。これにより、患者は仮想環境の画像を見ながら訓練機（６）等を動かし、その動きが仮想環境の画像に反映されるので、視覚が脳に与える刺激に応じて体を動かす機能を回復させることができるとされている。特許文献１では、仮想環境の画像としては、種々のものが用意できるので、情報量の多い視覚情報をさらに変化させることにより、患者に訓練に対する意欲と興味を起こさせることができるとされている。

特許文献２に記載の高次脳機能障害リハビリテーション装置では、仮想世界制御手段（１０４）に、仮想世界が表示されると共に、課題データが患者に提示される。課題データに対する患者の反応より、成否判定がなされ、成否判定の結果に基づいて、患者の認識状態のデータが作成される。また、特許文献２に記載の高次脳機能障害リハビリテーション装置では、患者の成績の評価結果に基づいて、課題データの難易度が変更していく。これにより、特許文献２に記載の高次脳機能障害リハビリテーション装置は、日常生活を営む上で必要とされる様々な動作を、患者に実行させることのできる環境を提供する。

特許文献３に記載のリハビリテーション支援システムでは、患者の頭部に装着されるヘッドマウントディスプレイにリハビリテーション動作の指標となる指標画像を表示させて、患者が行うべき動作を示す指標を患者の視界内に表示させる。これにより、患者は、自身が行うべき動作を直感的かつ自然に理解することができ、リハビリテーションを円滑に進捗させることが可能となる。

特許文献４に記載のリハビリテーション支援装置では、ヘッドマウントディスプレイ（９４）に、画像を表示するようにしている。たとえば、利用者が椅子に座っているときは海中の画像が見えるようにし、利用者が立ち上がると海面上の空の画像が見えるようにしている。これによって、立ち座りのリハビリテーション運動に対するモチベーションを高めようとする。

特許文献５ないし７に記載のリハビリテーション支援システムは、リハビリテーション動作に応じて動くアバター画像及びリハビリテーション動作の目標を示す目標画像を、ヘッドマウントディスプレイ（２３３）に表示させて、リハビリテーション動作と目標位置とを比較して、リハビリテーション能力を評価している。また、特許文献５ないし７では、認知機能と運動課題など、二つの課題を組み合わせることで、リハビリテーション効果を高めようとする、デュアルタスクの有用性について触れられており、第１リハビリテーション動作及び第２リハビリテーション動作を検出して、両方の動作に基づいて、リハビリテーション能力を評価している。

特許文献８に記載のリハビリテーションシステムでは、高次脳機能障害の患者に対するリハビリテーションを行うために、タブレット端末に、リハビリ課題を表示して、リハビリを行うシステムが提案されている。特許文献８に記載のシステムでは、サーバが、リハビリ課題についての患者のレベルをハードディスクから取得し、取得したレベルに応じてリハビリ課題の出題内容を決定する。タブレット端末は、サーバにより決定された出題内容に対応するリハビリ課題を表示して、リハビリ課題を患者に解答させる。タブレット端末は、リハビリ課題についての直近の所定回数分の解答結果に基づいてリハビリ課題についての患者のレベルを判定する。

特許文献９は、高次脳機能障害の患者がリハビリをする意欲を継続させるためにエンターテインメント性を含んだシステムに関する。特許文献９に記載のリハビリテーション支援システムでは、患者を撮影するカメラと、カメラで撮影された患者の画像を表示させるプロジェクタや液晶ディスプレイ等の画像表示手段とが設けられている。特許文献９に記載のシステムでは、画像表示手段で表示させる画像中に、リハビリテーション用のゲームの目標表示とカメラで撮影した患者の手の画像を合成し、手の位置を検出することで、患者が目標表示を選べたか否かで、ゲームを進行し、リハビリテーションを行うものである。

特許文献１０に記載のリハビリテーション用システムでは、カメラ（１１）により取得された患者の撮像画像と、コンピュータ（１２）において生成されるリハビリ画像とを合成し、プロジェクタ（１４）を用いて、スクリーン（１３）に表示させる。当該リハビリテーション用システムでは、患者の撮像画像において画像データから患者の動作部（手）の位置を特定し、その患者の動作部とリハビリ画像に含まれる反応画像部との干渉状態に基づいて、リハビリ画像における反応画像部の表示態様等を変化させ、患者のリハビリ動作を促す。

特許文献１１及び１２は、ディスプレイに仮想画像を表示して、患者のリハビリテーションを実行するものである。

特許文献１ないし７に記載のシステムは、ヘッドマウントディスプレイなどを用いて、仮想空間を再現し、患者を仮想空間上で移動させたり、仮想空間上に提示される課題をクリアさせたりことで、患者にリハビリテーションのための動作を行われるようにするためのものである。

特許文献９ないし１２に記載のシステムのように、プロジェクタやディスプレイに合成画像などを表示して、リハビリテーション動作を促すシステムも存在する。

特許文献８に記載のシステムでは、タブレット端末に課題を表示して、リハビリテーションを行うものである。特許文献８には、サーバからタブレット端末に、患者のレベルに応じた出題内容を送信するシステムが開示されている。

特開平8-280762号公報 特開2001-079050号公報 特開2015-228957号公報 特開2018-079308号公報 特許第6200615号公報 特開2018-185501号公報 特許第6425287号公報 特開2018-195273号公報 特開2006-325740号公報 特開2011-110215号公報 特開平09-120464号公報 特開平10-151162号公報

高次脳機能障害の患者に対するリハビリテーションの現場では、医師が患者のリハビリテーションの内容を決定して、作業療法士などの施術者が医師からの指示に基づいて、患者に対して、リハビリテーションを実施する。リハビリテーションを効率的かつ効果的なものとするためには、患者の症状や改善状況を医師と施術者が共有し、患者の状況に合わせた適切なリハビリテーションを実施することが求められる。

特許文献１ないし７に記載のシステムでは、仮想画像を用いて、リハビリテーションを行うということだけに注目している。仮想画像を用いた高次脳機能障害のリハビリテーションの有用性については、否定されるものではないが、特許文献１ないし７では、医師と施術者とが如何にして情報を共有して、医師が、最適なリハビリテーションを決定していくのかという点については、何ら考慮されていない。画像をプロジェクタやディスプレイに表示する特許文献９ないし１２のシステムについても同様である。

特許文献８に記載のシステムにおいても、サーバからタブレット端末に対して、患者のレベルに応じた出題内容が送信されるだけに過ぎない。特許文献８に記載のシステムは、患者の改善状況などを医師が的確に把握し、最適なリハビリテーションメニューを決定するためのシステムではない。

高次脳機能障害は、脳の損傷などを原因とする障害であり、高次脳機能障害の治療のためには、医師と施術者が適切に改善状況を把握して、適切なリハビリテーションメニューを用いて、脳の機能障害を徐々に改善させていくことが効果的である。しかし、特許文献１ないし１２に記載の従来のシステムでは、医師と施術者との間で、患者のリハビリテーションの実施結果や施術後の改善状況などを共有することはできなかった。

それゆえ、本発明は、医師及び施術者が患者のリハビリテーションの状況を把握しやすくし、適切なリハビリテーションメニューを構築することができるようにするための高次脳機能障害のリハビリテーションシステムを提供することを目的とする。

また、特許文献１ないし７に記載のシステムでは、ヘッドマウントディスプレイなどに、画像を表示することで、仮想現実（VR：Virtual Reality）を実現し、リハビリテーションに使用しているが、患者がいわゆるVR酔いという状態に陥ったり、転倒や現実世界の障害物にぶつかるといった危険性もある。VRによるリハビリテーションによって、患者の気分が悪くなったり、感覚に異変が生じたり、けがなどをするようなことがあっては、リハビリテーションの効果も期待できなくなる。

それゆえ、本発明の他の目的は、患者が違和感なくリハビリテーションを行なうことがきるシステムを提供することである。

上記課題を解決するために、本発明は、以下のような特徴を有する。本発明は、高次脳機能障害のリハビリテーションを実施するためのリハビリテーションシステムであって、仮想現実、拡張現実、又は複合現実を用いた画像によるリハビリ用の問題を患者に提示するためのアプリを実行し、患者が問題を解いた履歴をリハビリ履歴情報として記憶する画像処理装置と、画像処理装置からリハビリ履歴情報を受信する施術者側端末と、施術者側端末から送られてくるリハビリ履歴情報を保存するサーバと、サーバから、リハビリ履歴情報を受信し、リハビリ履歴情報に基づいて、患者のリハビリテーションの実施状況を表示する医師側端末とを備える。

画像処理装置は、問題を提示するための一種類以上のアプリを含んでいる。施術者側端末は、画像処理装置で実施するアプリを選択し、画像処理装置に対して、選択したアプリを実行するように指示することができる。

医師側端末は、使用するアプリを紐付けるようにして、画像処理装置において実施されるリハビリのスケジュールを作成して、サーバに保存する。施術者側端末は、サーバに保存されているスケジュールをダウンロードして、画像処理装置に対して、スケジュールで指定されているアプリを実行するように、指示することができる。

画像処理装置で使用するアプリには、アプリを実施することによって改善が見込まれる障害が少なくとも１つ対応付けられている。リハビリ履歴情報には、アプリが出題した問題に対する解答のスコアが含まれている。医師側端末は、障害毎に、アプリのスコアを表示することで、障害の改善状況が分かるように表示する。

医師側端末は、時系列に、アプリの採点結果を表示する。

リハビリ履歴情報には、患者の動きに関する情報が含まれている。医師側端末及び／又は施術者側端末は、リハビリ履歴情報に基づいて、患者の動きを再現する表示を行うことができる。

画像処理装置は、アプリの実行中に患者から見えている画像を施術者側端末に送信する。施術者側端末は、画像処理装置から送信されてきた画像を表示する。

施術者側端末で表示された画像は、動画として保存される。

医師側端末は、保存された動画を再生することができる。

画像処理装置から送信されてきた画像は、医師側端末に同時配信される。

画像処理装置で実行されるアプリは、調整可能な設定条件を有している。医師側端末及び／又は施術者側端末は、設定条件を調整可能である。

問題が表示される角度の範囲が設定条件として調整可能である。

問題で表示される対象物の数が設定条件として調整可能である。

画像処理装置は、アプリを実行するモードとして、測定モードとトレーニングモードとを有している。測定モードでは、画像処理装置は、予め決められた問題を出題する。トレーニングモードでは、画像処理装置は、ランダムに作成した問題を出題する。

画像処理装置には、仮想のトレーナーとなるアバター画像が表示される。

医師側端末、施術者側端末、画像処理装置、又はサーバは、問題の過去のスコアに基づいて、問題の難易度を調整し、難易度に応じた問題を画像処理装置に出題させる。

リハビリ履歴情報に基づいた患者の弱点に応じて、医師側端末、施術者側端末、画像処理装置、又はサーバは、弱点に応じた問題を作成し、画像処理装置に出題させる。

画像処理装置は、仮想現実、拡張現実、又は複合現実を用いて、数字の画像を表示して、数字の画像を順番に抹消させる問題を出題する数字抹消アプリを実行する。

画像処理装置は、仮想現実、拡張現実、又は複合現実を用いて、ターゲット及び非ターゲットとなる画像を表示して、ターゲットとなる画像を抹消させる問題を出題する第１の選択抹消アプリを実行する。

画像処理装置は、仮想現実、拡張現実、又は複合現実を用いて、ターゲット及び非ターゲットとなる画像を表示して、ターゲットとなる画像を選択させて、選択後に画像を変化させる問題を出題する第２の選択抹消アプリを実行する。

画像処理装置は、仮想現実、拡張現実、又は複合現実を用いて、少なくとも一つの壁の画像及び壁の上に配置されたターゲット及び非ターゲットとなる画像を表示して、ターゲットとなる画像を抹消させる問題を出題する空間配置アプリを実行する。

画像処理装置は、仮想現実、拡張現実、又は複合現実を用いて、迷路となる画像を表示して、迷路をクリアさせる問題を出題する迷路アプリを実行する。

迷路アプリでは、ターゲットとなる画像を表示して、ターゲットとなる画像を抹消させる問題を出題する。なお、ここで、抹消とは、ターゲットを意図的に選ぶことに加えて、決められた位置に達した場合に、ターゲットが抹消することを含む概念である。

画像処理装置は、仮想現実、拡張現実、又は複合現実を用いて、マス目となる画像を表示して、マス目上を移動させる問題を出題するマス目移動アプリを実行する。

画像処理装置は、仮想現実、拡張現実、又は複合現実を用いて、仮想の画像を表示するアプリにおいて、患者の視界の範囲外にも、仮想の画像を表示する。

仮想の画像は、問題のターゲット及び／又は非ターゲットとなる画像である。

仮想の画像は、問題で使用する壁、迷路、又はマス目の画像である。

また、本発明は、画像処理装置の周辺の空間を認識する空間認識部と、空間認識部が認識した空間における画像処理装置の位置及び傾きを認識するトラッキング部と、ユーザの向きを検出する向き検出部と、仮想の対象物を空間認識部が認識した空間上に配置して、トラッキング部が認識した位置及び傾き並びに向き検出部が検出した向きに基づいて、ユーザから見える仮想の対象物の画像を生成する画像処理部と、現実空間上に、画像処理部が生成した仮想の対象物の画像が存在するかのように、画像処理部が生成した画像をユーザに対して表示する複合現実用の表示部とを備える画像処理装置であって、現実空間上に、高次脳機能障害のリハビリテーションに使用する仮想の対象物の画像が存在するかのような問題を生成する制御部をさらに備える。

制御部は、向き検出部による検出結果を用いて、ユーザによる仮想の対象物の画像の選択を検出し、検出した選択結果に基づいて、問題の採点を行う。

制御部は、仮想の対象物の画像として、ユーザに選択させるための画像を用い、その画像を少なくともユーザの視界上に配置するように、問題を生成する。

制御部は、ユーザに選択させるための画像を、ユーザの視界の外にも配置するように、問題を生成する。

制御部は、トラッキング部による画像処理装置の位置の検出結果に基づいて、問題の採点を行う。

制御部は、仮想の対象物の画像として、ユーザによる現実空間上の移動を促すための画像を用い、その画像を少なくともユーザの視界上に配置するように、問題を生成する。

制御部は、ユーザによる現実空間上の移動を促すための画像を、ユーザの視界の外にも配置するように、問題を生成する。
制御部は、問題を患者に提示するためのアプリを実行するモードとして、測定モードとトレーニングモードとを有しており、測定モードでは、制御部は、予め決められた問題を出題し、トレーニングモードでは、制御部は、ランダムに作成した問題を出題する。
画像処理装置は、問題を患者に提示するためのアプリを実行する際に、仮想のトレーナーとなるアバター画像を表示する。
画像処理装置は、問題の過去のスコアに基づいて、難易度を調整し、難易度に応じた問題を出題する。
画像処理装置は、リハビリテーションの履歴情報に基づいて、患者の弱点に応じた問題を出題する。

また、本発明は、画像処理装置の周辺の空間を認識する空間認識部と、空間認識部が認識した空間における画像処理装置の位置及び傾きを認識するトラッキング部と、ユーザの向きを検出する向き検出部と、仮想の対象物を空間認識部が認識した空間上に配置して、トラッキング部が認識した位置及び傾き並びに向き検出部が検出した向きに基づいて、ユーザから見える仮想の対象物の画像を生成する画像処理部と、現実空間上に、画像処理部が生成した仮想の対象物の画像が存在するかのように、画像処理部が生成した画像をユーザに対して表示する拡張現実用の表示部とを備える画像処理装置において実行されるコンピュータプログラムであって、画像処理装置を、現実空間上に、高次脳機能障害のリハビリテーションに使用する仮想の対象物の画像が存在するかのような問題を生成する制御手段として機能させるための高次脳機能障害のリハビリテーション用のコンピュータプログラム。

本発明によれば、仮想現実、拡張現実、又は複合現実を用いた画像によるリハビリを実行する画像処理装置において、リハビリ履歴情報が記憶されて、当該リハビリ履歴情報が施術者側端末及び医師側端末において、共有することができる。したがって、医師及び施術者が患者のリハビリテーションの状況を把握しやすくなり、その結果、適切なリハビリテーションメニューを構築することができるようになる。

画像処理装置は一種類以上のアプリを含んでおり、施術者側端末から、使用するアプリが指定される。これにより、患者の症状に合わせたアプリの実行が可能となり、リハビリテーションの効果を高めることが可能となる。

医師側端末において、施術に使用するアプリを指定してリハビリのスケジュールを簡単に作成することができる。そして、施術者側端末において、医師側端末で作成したスケジュールをダウンロードして、画像処理装置に対して、アプリの実行を指示することができる。よって、医師の指示通りの適切なリハビリが簡単に実施可能となる。

アプリ毎に、改善の見込まれる障害を対応付けておくことで、アプリの実行時のスコアを、障害毎に把握することができるようになるので、医師側端末では、障害の改善状況を客観的かつ視覚的に把握することが可能となる。

また、医師側端末は時系列にスコアを表示することで、リハビリの効果が出ているかを客観的かつ視覚的に把握することが可能となる。

リハビリ履歴情報に含まれる患者の動きを医師側端末及び／又は施術者側端末に表示することで、医師等は、患者の障害の状況を客観的かつ視覚的に把握することが可能となる。

アプリの実行中に、患者が見ている画像を施術者側端末で表示することで、施術者等は、患者が意味を理解してリハビリを実行しているかなどを把握することができ、適切な助言などを行うことが可能となる。

上記の画像を動画として保存することで、後からも、患者のリハビリの様子を確認することが可能となる。

後で、医師側端末で、保存された動画を再生することができ、リハビリの現場にいなかった医師でも、リハビリの様子を把握することが可能となり、今後のリハビリメニューの構築の参考にすることが可能となる。

また、上記の画像を医師側端末に同時配信することで、遠隔地でのリハビリであっても、同時に医師がリハビリの様子を理解することができ、適切なリハビリメニューの構築に役立てることが可能となる。

アプリの設定条件を調整可能とすることで、リハビリの進行に合わせて、問題を易しくしたり、難しくしたりすることが可能となる。これらの調整は、医師側端末及び／又は施術者側端末で行うことができるようにしておくことで、患者の状況に合わせた臨機応変なリハビリメニューの作成が可能となる。

たとえば、問題が表示される角度の範囲を調整可能としておくことで、患者の視界の広狭に合わせて、臨機応変にリハビリメニューの調整を行うことが可能となる。

たとえば、問題で表示される対象物の数を調整可能としておくことで、患者の障害の度合いに合わせて、臨機応変にリハビリメニューの調整を行うことが可能となる。

アプリの実行モードとして、測定モードとトレーニングモードとを設けることで、患者の障害の度合いを測定したり、患者に新しい問題に挑戦させたりすることが可能となり、リハビリの効果を高めることが期待できる。

仮想のトレーナーとなるアバター画像が画像処理装置に表示されることで、患者のリハビリへの意欲が増すことが期待できる。

問題の難易度を調整することで、患者の障害の状況に合わせた出題が可能となる。

患者の弱点に合わせた出題を可能とすることで、患者の弱点を改善するようなリハビリが可能となる。

数字抹消アプリによって、注意力の機能障害の改善が期待できる。

第１の選択抹消アプリによって、注意力の機能障害及び／又は空間認知力の機能障害の改善が期待できる。

第２の選択抹消アプリによって、注意力の機能障害及び／又は抑制力の機能障害の改善が期待できる。

空間配置アプリによって、空間認知力の機能障害及び／又は情報獲得力の機能障害の改善が期待できる。

迷路アプリによって、空間認知力の機能障害の改善が期待できる。

迷路アプリにおいて、ターゲットとなる画像を抹消させる問題も合わせて出題することで、遂行機能の機能障害の改善が期待できる。

マス目移動アプリによって、記憶力の機能障害及び／又は遂行機能の機能障害の改善が期待できる。

患者の視界の範囲外にも、仮想の画像を表示することで、空間認知力の機能障害及び／又は記憶力の機能障害の改善が期待できる。

拡張現実用の画像処理装置を用いて、現実空間上に、高次脳機能障害のリハビリテーションに使用する仮想の対象物の画像が存在するかのような問題を生成することで、患者が、いわゆるＶＲ酔いや転倒などという状況に陥る危険性が軽減する。よって、患者が違和感なく、安全に、リハビリテーションを行うことができることとなる。

拡張現実を用いる場合、ユーザの動きに基づいた選択を用いて採点を行うことで、簡易な採点が可能となる。

ユーザの視界に少なくとも画像を配置して問題を提供すれば、患者は、とまどうことなく問題を解いていくことができる。

ユーザの視界外にも問題の画像を配置することで、患者は、顔を動かしたり、移動したりして、問題を解いていくことができるので、脳機能と身体機能を同時に使用することとなり、いわゆるデュアルタスクによるリハビリ効果を期待できる。なお、ユーザの視界内に問題の画像が配置されている場合でも、患者は、タップ時に手を動かすこととなるので、脳機能と身体機能を同時に使用することとなるのであるから、デュアルタスクによるリハビリ効果が期待できる。また、患者は、もしかしたら、視界の外にも問題の画像が配置されているのではないかと考えて、身体機能を使う場合も考えられるため、そのような観点からも、デュアルタスクによるリハビリ効果が期待できる。

トラッキング部による位置の検出に基づいて、採点が行われることで、患者に移動を促すリハビリが可能となる。

少なくとも、患者の視界上に、問題を表示すれば、患者の移動を確実に促すことができる。

また、視界外に画像を表示することで、患者の移動をさらに促すことが可能となる。

本発明の動作処理を実行可能なプログラムを一時保存ではない記録媒体として提供することで、本発明を、汎用的な画像処理装置で実行させることが可能となり、本発明の普及が期待できる。

本発明のこれら、及び他の目的、特徴、局面、効果は、添付図面と照合して、以下の詳細な説明から一層明らかになるであろう。

図１は、本発明の第１の実施形態に係るリハビリテーションシステム１の全体構成を示す図である。 図２は、医師側端末２の機能的構成を示すブロック図である。 図３は、サーバ３の機能的構成を示すブロック図である。 図４は、施術側端末４の機能的構成を示すブロック図である。 図５は、画像処理装置５の機能的構成を示すブロック図である。 図６は、リハビリテーションシステム１における各装置の全体的な動作の流れを示すフローチャートである。 図７は、数字抹消アプリを実行している場合の操作イメージを示す図である。 図８は、第１の選択抹消アプリを実行している場合の操作イメージを示す図である。 図９は、第２の選択抹消アプリを実行している場合の操作イメージを示す図である。 図１０は、空間配置アプリを実行している場合の操作イメージを示す図である。 図１１は、迷路アプリを実行している場合の操作イメージを示す図である。 図１２は、マス目移動アプリを実行している場合の操作イメージを示す図である。 図１３は、画像処理装置５に記憶されるリハビリ履歴情報のデータ構造を示す図である。 図１４は、医師側端末２におけるスケジュール作成処理（Ｓ１０３）で用いられるスケジュール作成画面の一例を示す図である。 図１５は、図１４（ａ）の状態で、１２月２０日の欄が選択されたときのスケジュールの作成の流れを示す図である。 図１６は、施術者側端末４でのリハビリメニューの選択の画面の一例を示す図である。 図１７（ａ）は、施術者側端末４でのリハビリの指示を開始するための画面の一例を示す図である。図１７（ｂ）は、施術者側端末４でのリハビリ中の画面の一例を示す図である。 図１８は、施術者側端末４でのリハビリ中の画面の一例を示す図である。 図１９は、施術者側端末４に表示されるアプリの実行結果の画面の一例を示す図である。 図２０は、医師側端末２でのリハビリ履歴情報の表示の一例を示す図である。 図２１は、リハビリ履歴情報の詳細を医師側端末２で閲覧した場合の表示画面の一例を示す図である。 図２２は、医師側端末２でのスケジュールの作成処理のフローチャートである。 図２３は、施術者側端末４でのスケジュールのダウンロード処理を示すフローチャートである。 図２４は、施術者側端末４でのリハビリ開始指示のフローチャートである。 図２５は、数字抹消アプリを実行中の画像処理装置５の動作を示すフローチャートである。 図２６は、画像処理部５０における画像の描画処理のフローチャートである。 図２７は、図２５の動作の続きを示すフローチャートである。 図２８は、第１の選択抹消アプリを実行の画像処理装置５の動作を示すフローチャートである。 図２９は、第２の選択抹消アプリを実行の画像処理装置５の動作を示すフローチャートである。 図３０は、図２９の動作の続きを示すフローチャートである。 図３１は、空間配置アプリを実行の画像処理装置５の動作を示すフローチャートである。 図３２は、迷路アプリを実行の画像処理装置５の動作を示すフローチャートである。 図３３は、図３２の動作の続きを示すフローチャートである。 図３４は、マス目移動アプリを実行の画像処理装置５の動作を示すフローチャートである。 図３５は、図３４の動作の続きを示すフローチャートである。 図３６は、第２の実施形態における施術者側端末４と画像処理装置５との間の動作の流れを示すフローチャートである。 図３７は、医師側端末２及び／又は施術者側端末４での数字抹消アプリでのアプリ設定条件の設定画面の一例を示す図である。 図３８は、医師側端末２及び／又は施術者側端末４での第１の選択抹消アプリでのアプリ設定条件の設定画面の一例を示す図である。 図３９は、医師側端末２及び／又は施術者側端末４での第２の選択抹消アプリでのアプリ設定条件の設定画面の一例を示す図である。 図４０は、医師側端末２及び／又は施術者側端末４での空間配置アプリでのアプリ設定条件の設定画面の一例を示す図である。 図４１は、医師側端末２及び／又は施術者側端末４での迷路アプリでのアプリ設定条件の設定画面の一例を示す図である。 図４２は、医師側端末２及び／又は施術者側端末４でのマス目移動アプリでのアプリ設定条件の設定画面を示す図である。 図４３は、画像処理装置５に表示されるバーチャルトレーナーの一例である。 図４４は、問題の難易度を自動的に調整できるようにしたときの医師側端末２及び／又は施術者側端末４の動作を示すフローチャートである。

（第１の実施形態）
図１は、本発明の第１の実施形態に係るリハビリテーションシステム１の全体構成を示す図である。図１において、リハビリテーションシステム１は、医師側端末２と、サーバ３と、施術者側端末４と、画像処理装置５とを備える。

医師側端末２、サーバ３、及び施術者側端末４は、ネットワーク６を介して通信可能に接続されている。画像処理装置５と施術者側端末４とは、無線または有線によって、通信可能に接続されている。なお、施術者側端末４と画像処理装置５とは、病院等のリハビリ施設内で接続されているような場合（院内でのリハビリ）だけを想定しているのではなく、施術者側端末４と画像処理装置５とが、ネットワークを介して接続されているような場合（在宅リハビリや遠隔地でのリハビリなど）についても、本発明のリハビリテーションシステム１では、想定されている。

医師側端末２は、高次脳機能障害のリハビリテーションのメニュー（以下、「リハビリメニュー」という。）を患者毎に作成して、サーバ３に記憶させる。施術者側端末４は、医師側端末２が登録したリハビリメニューをサーバ３からダウンロードする。施術者側端末４は、患者が使用する画像処理装置５に対して、ダウンロードしたリハビリメニューに関するリハビリテーションを実行するように指示する。画像処理装置５は、指示されたリハビリメニューにしたがって、リハビリテーションに必要な画像を表示する。画像処理装置５によって実行されたリハビリ履歴情報は、施術者側端末４に送信される。施術者側端末４は、リハビリ履歴情報をサーバ３にアップロードする。医師側端末２は、サーバ３にアップロードされているリハビリ履歴情報に基づいて、患者のリハビリテーションの実施状況を視覚的に分かるように表示する。このようにして、リハビリテーションシステム１は、医師によるリハビリメニューの決定、施術者側におけるリハビリテーションの実施、リハビリテーションによる患者の状況の表示を実現するシステムである。

なお、医師側端末２及びサーバ３を使用せずに、施術者側端末４と画像処理装置５とによってリハビリテーションを実施することも可能であり、その実施形態については、第２の実施形態において、説明する。

本実施形態のリハビリテーションシステム１は、システムが単独で存在するとして説明している。しかし、本発明のリハビリテーションシステムは、医療用のグループウエアや電子カルテシステム、その他の医療用システムの一部に組み込んで、動作させることも可能である。したがって、他の医療用システムに組み込まれて動作しているリハビリテーションシステムも、本発明に含まれるものとする。

医師側端末２は、医師が使用するコンピュータ装置であり、パーソナルコンピュータや、ワークステーション、タブレット端末、スマートフォンなど、情報処理装置であれば、その名称は特に限定されるものではない。複数の医師が医師側端末２を使用する場合は、各医師がそれぞれ、別々の医師側端末２を使用してもよい。また、一つの医師側端末２を複数の医師で共有して、医師毎に、アカウントを設定して、使用するようにしてもよい。その他、周知のあらゆる手法で、医師側端末２を医師が利用することができる。

施術者側端末４は、作業療法士などの施術者が使用するコンピュータ装置であり、パーソナルコンピュータや、ワークステーション、タブレット端末、スマートフォンなどの情報処理装置であれば、その名称は特に限定されるものではない。なお、施術者とは、患者に、リハビリテーションを施す者であり、作業療法士だけに限らず、発明としては、理学療法士や、看護師、医師、介護士、鍼灸師、家族、知人なども含み、本件発明においては、資格の有無を問わない概念として用いている。施術者側端末４についても、各施術者がそれぞれ、別々の施術者側端末４を使用してもよいし、また、一つの施術者側端末４を複数の施術者で共有して、施術者毎に、アカウントを設定して、使用するようにしてもよい。その他、周知のあらゆる手法で、施術者側端末４を施術者が利用することができる。

サーバ３は、リハビリテーションシステム１で用いる患者のデータなどを保存したり、リハビリテーションのスケジュールを作成したり、リハビリ履歴情報を表示したりするためのプログラムを実行するコンピュータ装置である。ここでは、一つのサーバ３が図示されているが、複数のサーバ３を用いて、データを保存したり、プログラムを実行したりしてもよい。また、データを保存するサーバとプログラムを実行するサーバとは、別々の装置として存在してもよい。その他、周知のあらゆる手法で、サーバ３を構築することができる。

画像処理装置５は、たとえば、ヘッドマウントディスプレイ（ＨＭＤ）５ａや、マイクロソフト（登録商標）社のＨＯＬＯＬＥＮＳ（登録商標）５ｂ、スマートフォンやタブレット端末などの装置５ｃ及びそれを装着するゴーグル５ｄ、タブレット端末やスマートフォンなどのタッチ入力型の表示装置５ｅなどである。図１では、３つの画像処理装置５を図示しているが、数に限定はなく、患者毎に画像処理装置５を所有していてもよいし、複数の患者で画像処理装置５を共有して使用してもよい。本実施形態において、明細書及び図面において、ＨＭＤと表記する場合があるが、画像処理装置５をヘッドマウントディスプレイに限定する意味ではなく、画像処理装置５を略記するために、表記しているに過ぎない。

画像処理装置５において用いられる技術は、仮想現実（VR：Virtual Reality）、拡張現実（AR：Augmented Reality）、及び複合現実（MR：Mixed Reality）のいずれかである。仮想現実、拡張現実、及び複合現実の分類方法については、種々考えられるが、本明細書では、以下の意義を有するものとして、説明することとする。

仮想現実を用いた場合、画像処理装置５は、仮想空間に関する画像を表示し、ユーザに対して、実際に仮想空間に存在しているかのような知覚を与える。一般に、仮想現実を用いた場合、ユーザの動きに合せて、表示されている画像が変化し、仮想空間上を移動しているかのような知覚をユーザに与えることができる。仮想現実を用いる場合は、仮想空間上の物体の３次元情報及び画像処理装置５の位置や傾き、ユーザの視線などトラッキング情報が必要である。仮想空間上で、ユーザがどの位置で、どのような向きで仮想空間を視認しているかが計算され、その計算に基づいて、仮想空間上での画像が画像処理装置５に表示されることとなる。

なお、以下の説明において、仮想現実及び拡張現実において、アイトラッキング機能等によって、ユーザの視線を検出する場合を用いて、例示的に説明するが、ユーザがどの方向を向いているか、少なくともユーザの向きが分かればよい。したがって、ユーザの視線と説明している箇所は、全て、ユーザの向きと置き換えて読むことができ、その場合、画像処理装置５において、視線検出部５９の代わりに、向き検出部５９が用いられているとして、発明を理解するものとする。なお、ユーザの視線は、ユーザの向きに包含される概念である。視線検出部５９は、向き検出部５９に包含される概念である。視線以外にユーザの向きを検出するための具体的手段として、たとえば、頚部運動センシングを用いることができるが、本発明を限定するものではない。

拡張現実を用いた場合、画像処理装置５が得た現実画像に対して、現実画像に仮想の対象物の画像が合成されて、合成された両者の画像が表示される。拡張現実では、仮想の対象物を合成するための現実画像を認識して、認識した現実画像に対して、仮想の対象物の画像を合成している。そのため、本明細書上では、画像処理装置５は、仮想現実や複合現実のように、画像処理装置５の位置や傾き、ユーザの視線などのトラッキング情報を得ていないとする。ただし、この定義は、説明を分かりやすくするための本明細書上の定義に過ぎず、本発明において、トラッキング情報を得ることができる画像処理装置を用いて、拡張現実によって、本発明を実現していてもよいことは言うまでもない。

表示装置５ｅを用いる場合は、主に、ＡＲの場合を想定している。患者がタブレット端末などの表示装置５ｅを持ちながら、表示装置５ｅのカメラで周囲の現実空間を映しながら、表示装置５ｅを動かし、その動きに合わせて、仮想空間上の対象物が画像合成で現実空間の映像に合成される。ただし、ＡＲの場合が、表示装置５ｅに限定されるものではない。

複合現実では、現実空間を、画像認識や深度カメラ、赤外線センサー、レーザ照射、その他の各種センサや検出機などによって、立体形状として認識する空間認識を実現している。複合現実を用いた場合、画像処理装置５は、認識した現実空間に対象物が存在しているかのような画像を表示し、ユーザに、現実空間に仮想の対象物が存在しているかのような知覚を与える。さらに、複合現実を用いた場合は、画像処理装置５は、現実空間における画像処理装置５の位置や傾き、ユーザの視線など（トラッキング情報）を認識でき、現実空間におけるユーザの移動と合せて、仮想の対象物が現実空間に配置されたままであるとの知覚をユーザに与えることができる表示を行うことができる。複合現実の場合、画像処理装置５は、ユーザの視線を検出することができ、ユーザがどの向きを向いているかを把握することができる。そのため、画像処理装置５は、ユーザの向きに合せて、表示される画像も変化させることができる。さらに、複合現実では、ユーザによる指や手の動作が検出されて、仮想の対象物を選択等することができるものとする。

複合現実における空間認識の手法は種々提案されているが、たとえば、画像上の特異点を抽出して、抽出した複数の特異点を３次元座標に変換することで、周囲の立体形状を把握し、さらに、自身の位置を特定する。

なお、本実施形態は、複合現実を用いた場合を想定しているが、適宜、仮想現実及び拡張現実を用いた場合の実施形態についても説明する。本発明のリハビリテーションシステムは、複合現実だけでなく、仮想現実及び拡張現実を用いても実現できる。

また、画像処理装置５の位置、傾き、及びユーザの視線に関する情報をまとめてトラッキング情報ということにする。なお、画像処理装置５の位置及び傾きを検出することで、ユーザの位置及び傾きが検出されるのであるから、画像処理装置５のトラッキング情報とユーザのトラッキング情報とは、同義であるとして説明していく。

図２は、医師側端末２の機能的構成を示すブロック図である。図２において、医師側端末２は、制御部２１と、入力部２２と、表示部２３と、通信部２４と、記憶部２５とを備える。

制御部２１は、リハビリテーションシステム１を実行するために必要なプログラムを記憶部２５から読み込んで実行することで、医師側端末２の動作を制御する。入力部２２は、キーボードやマウス、タッチパネルなど、医師側端末２を操作するための機器である。表示部２３は、ディスプレイなどの表示装置である。通信部２４は、ネットワーク６を介して、外部のサーバ３と通信可能とするための装置である。

記憶部２５は、メモリやハードディスクなどの記録媒体である。記憶部２５には、制御部２１で実行されるスケジューリング兼閲覧プログラムの他、サーバ３からダウンロードした患者毎の患者データが記録されている。

なお、サーバ３からのリターンを医師側端末２で表示する場合、スケジューリングと患者データの閲覧を医師側端末２で可能とする場合、汎用のブラウザプログラムを、スケジューリング兼閲覧プログラムとして機能させることが可能である。このような技術は、周知の事項であり、ここでは、詳しい説明は省略する。

なお、ここでは、患者データの保存は、サーバ３の分担とし、医師側端末２の記憶部２５には、一時的に、患者データが保存されており、サーバ３と医師側端末２とが協働することで、医師側端末２に、一時保存された患者データに基づく表示がなされる。ただし、医師側端末２は、患者データを、一時的ではないように、記憶部２５に保存してもよい。

図３は、サーバ３の機能的構成を示すブロック図である。サーバ３は、制御部３１と、通信部３２と、記憶部３３とを備える。サーバ３の制御部３１は、通信部３２を介して得られる医師側端末２及び施術者側端末４からの指示に応じて、記憶部３３に記憶されているスケジューリングプログラム及び／又は履歴閲覧プログラムを実行して、実行結果を、医師側端末２及び施術者側端末４に返す。

医師側端末２を操作するユーザ（典型的には、「医師」であるが、医師に限られない）は、入力部２２を使用して、サーバ３にアクセスする。制御部２１は、入力部２２からの指示に応じて、通信部２４を介して、サーバ３にアクセスし、リハビリスケジュールを登録する。また、制御部２１は、必要な患者の患者データをダウンロードして、記憶部２５に記憶させる。

制御部２１は、入力部２２を介したユーザの入力に応じて、サーバ３上のプログラムと連携して、施術対象となる患者のリハビリメニューを作成する。制御部２１は、作成したリハビリメニューを、サーバ３に記憶させる。また、制御部２１は、サーバ３から得られる患者データをダウンロードし、患者のリハビリ履歴を表示部２３に表示させる。

なお、ここでは、サーバ３が、スケジュールや、リハビリ履歴情報の管理を行う実施形態を想定しているが、サーバ３を単に施術者側端末４との間でデータのやりとりを行う記録装置として扱う場合、医師側端末２において、スケジューリングプログラム及び履歴閲覧プログラムに相当するプログラムを実行するようにしてもよい。

すなわち、本発明のリハビリテーションシステムでは、医師側端末２、サーバ３、施術者側端末４、及び画像処理装置５がそれぞれ有する機能は、システム全体のどこかに設けられていればよいのであって、以下に説明する各装置に設けられていることを必須とするものではない。たとえば、画像処理装置５が有するとしている機能の一部を施術者側端末４が有していてもよい。また、施術者側端末４が有するとしている機能の一部を医師側端末２やサーバ３が有していてもよい。

図４は、施術側端末４の機能的構成を示すブロック図である。施術者側端末４は、制御部４１と、入力部４２と、表示部４３と、通信部４４と、記憶部４５とを備える。

制御部４１は、記憶部４に記憶されているリハビリ指示プログラムを実行して、施術者側端末４の動作を制御する。入力部４２は、キーボードやマウス、タッチパネルなど、施術者側端末４を操作するための機器である。表示部４３は、ディスプレイなどの表示装置である。通信部４４は、ネットワーク６を介して、外部のサーバ３と通信可能とするための装置である。通信部４４は、画像処理装置５と通信するための装置である。ネットワーク６は、インターネットや構内ＬＡＮなど、特に、ネットワークの種類が限定されない。通信部４４と画像処理装置５との間の通信についても、有線又は無線など、通信の種類は特に限定されない。

記憶部４５は、メモリやハードディスクなどの記録媒体である。記憶部４５には、リハビリ指示プログラムと、サーバ３からダウンロードした患者毎の患者データとが記録されている。なお、ここでは、患者データの保存は、サーバ３の分担とし、施術者側端末４の記憶部４５には、一時的に、患者データが保存されており、リハビリ指示プログラムによって、一時保存された患者データがサーバ３にアップロードされる。ただし、施術者側端末４において、患者データを、一時的ではないように、記憶部４５に保存しておくようにしてもよい。

施術者側端末４は、リハビリ指示プログラムを実行して、画像処理装置５に対して、リハビリの実行を指示し、リハビリ履歴情報を画像処理装置５から取得し、サーバ３にリハビリ履歴情報を送信する。

ここで、患者データについて説明する。患者データとして、患者の氏名や生年月日、通院履歴などの基本的な情報が記憶されているのは当然であるが、その他に、リハビリテーションの詳細な履歴を示す「リハビリ履歴情報」、リハビリテーションのメニューの詳細を示す「リハビリメニュー情報」、及びリハビリテーションのスケジュールを示す「スケジュール情報」が患者データとして用いられている。

患者データは、サーバ３に保存されており、医師側端末２及び施術者側端末４から、最新の患者データにアクセスすることができるようになっている。当然、周知のあらゆる手法を用いて、患者データは、適切にバックアップされると共に、外部から不正な取得がされないように、セキュリティが施されている。

図５は、画像処理装置５の機能的構成を示すブロック図である。図５において、画像処理装置５は、制御部５１と、入力部５２と、表示部５３と、通信部５４と、記憶部５５と、音声出力部５６と、空間認識部５７と、トラッキング部５８と、視線検出部５９と、画像処理部５０とを備える。

制御部５１は、画像処理装置５全体の動作を制御する。

入力部５２は、有線又は無線のスイッチやタッチパネルなど、画像処理装置５を操作するための機器である。なお、画像処理装置５においては、ユーザのジェスチャーを認識して、画像処理装置５を操作することも可能であるため、図示しないカメラと画像認識処理部とが入力部５２として機能すると捉えることも可能である。さらに、視線が一定時間一定の場所で止まっている場合（いわゆる、凝視されている場合）にも、選択という操作が行われたと言えるので、視線検出部５９からの情報に基づいて、制御部５１が操作が行われたと捉える処理も入力部５２による処理であると理解することもできる。

表示部５３は、生成された画像を表示するための装置である。ＶＲ用のＨＭＤ５ａであれば、表示部５３は、左右の眼用の小型ディスプレイである。なお、ＶＲ用のＨＭＤ５ａにおいて、背景が透過されていてもよいし、背景を不透過としてもよい。ＭＲ用のＨＯＬＯＬＥＮＳ（登録商標）５ｂであれば、左右の眼用の小型ディスプレイである。ＭＲ用のＨＯＬＯＬＥＮＳ（登録商標）５ｂであれば、背景が透過されている。スマートフォンなどの装置５ｃ及びそれを装着するゴーグル５ｄによって、画像処理装置５を構築する場合は、装置５ｃの表示画面が表示部５３となる。

なお、ＭＲの例として、ここでは、マイクロソフト（登録商標）社のＨＯＬＯＬＥＮＳ（登録商標）５ｂを例示したが、それ以外のＭＲ用の装置であっても良いことは言うまでもない。ＭＲの場合、レンズから現実空間が透過して知覚できるようになっていてもよいし、また、カメラから撮影した現実空間のリアルタイムの画像が小型ディスプレイに表示されるようにして、リアルタイムの画像と仮想の対象物とを合成することで、ＭＲを実現するようにしてもよい。その他、周知のあらゆる手法を用いて、ＭＲを実現する装置が、画像処理装置５に含まれている。

通信部５４は、少なくとも、施術者側端末４と通信可能な装置であるが、ネットワーク６との間で通信可能であってもよい。

記憶部５５は、メモリ等の記録媒体である。記憶部５５には、アプリの動作を制御するアプリ実行プログラム、リハビリ履歴情報、数字抹消アプリ、第１の選択抹消アプリ、第２の選択抹消アプリ、空間配置アプリ、迷路アプリ、及びマス目移動アプリが記憶されている。数字抹消アプリ、第１の選択抹消アプリ、第２の選択抹消アプリ、空間配置アプリ、迷路アプリ、及びマス目移動アプリについては、いずれか一つが記憶されていればよく、全てのリハビリ用アプリが記憶されていることは必須ではない。なお、各リハビリ用アプリの詳細については、追って、順に説明していく。

将来、新しいリハビリ用アプリが開発された場合、画像処理装置５は、施術者側端末４との通信や、ネットワーク６との通信によって、記憶部５５に新しいリハビリ用アプリを追加することが可能である。

アプリ実行プログラムを制御部５１に読み込んで実行することで、各リハビリ用アプリへの動作の開始指示、各リハビリ用アプリの動作条件の設定（「アプリ設定条件」という。）、リハビリ履歴情報の記憶、施術者側端末４へのリハビリ履歴情報の送信を実現することが可能となる。

音声出力部５６は、スピーカーやイヤホンなどである。音声出力部５６は、制御部５１からの指示に応じて、問題の正解音や不正解音、リハビリ用アプリの実行開始音、リハビリ用アプリ実行中の音声などを出力する。

空間認識部５７は、カメラを含んでおり、画像処理装置５の周辺空間の立体形状を画像認識技術を用いて認識する。カメラ撮影によって、空間の立体形状を認識するための技術については、既に、種々開発されているため、ここでは、そのいずれかの技術を利用して、空間認識を行うものとする。なお、空間認識部５７は、ＶＲ及びＡＲを用いる場合は、無くてもよい。

なお、空間認識部５７による空間認識を必要とするアプリは、空間配置アプリ、迷路アプリ、及びマス目移動アプリである。数字抹消アプリ並びに第１及び第２の選択抹消アプリについては、空間認識処理を行わなくても、仮想空間の対象物が現実空間に配置されているかのように表示部５３に表示させることは可能である。ただし、空間認識した上で、数字抹消アプリ並びに第１及び第２の選択抹消アプリにおいても、仮想空間の対象物を配置した方が、より、正確な配置となる。

トラッキング部５８は、画像処理装置５の位置や傾きなどを認識する。ＶＲやＭＲでのトラッキング技術については、既に、種々開発されているため、ここでは、そのいずれかの技術を利用して、位置や傾きの認識を行うものとする。

トラッキング部５８は、画像処理装置５の筐体の内部に構造的に含まれているものばかりでなく、筐体の外部に取り付けられたセンサ等によって、位置や傾きなどを検出するようにしてもよい。したがって、画像処理装置５は、インサイドアウト方式によるトラッキングだけでなく、アウトサイドイン方式によるトラッキングを実現してもよい。その場合、トラッキング部５８は、画像処理装置５の筐体の外部に存在することとなるが、筐体の外部に存在するトラッキング部５８を含めて、画像処理装置５であると捉えるものとする。

視線検出部５９は、画像処理装置５を使用しているユーザの視線を検出する装置である。ＶＲやＭＲでの視線検出技術については、既に、種々開発されているため、ここでは、そのいずれかの技術を利用して、視線の認識を行うものとする。なお、視線検出をトラッキング技術の一部と捉えるのであれば、視線検出部５９は、トラッキング部５８に含まれていると捉えてもよい。

画像処理部５０は、表示部５３に表示すべき３次元画像を生成する。ここでは、３次元画像の元となるデータを３次元データと呼ぶことにする。各リハビリ用アプリの実行中、画像処理部５０は、空間認識部５７で認識された現実空間の立体構造を、３次元データとして記憶部５５に記憶しておく。画像処理部５０は、配置すべき仮想の対象物の３次元データを、現実空間の立体構造の３次元データと同じ座標軸で記憶部５５に記憶しておく。画像処理部５０は、トラッキング情報（位置、傾き、及び視線）の３次元データについても、現実空間の立体構造の３次元データと同じ座標軸で記憶部５５に記憶しておく。これらの３種類の３次元データを同じ座標軸で管理することで、画像処理部５０は、患者の視線から見える仮想の対象物の画像を生成して、表示部５３に表示させることが可能となる。

なお、３次元データの処理負担が大きいので、ここでは、制御部５１とは切り離して画像処理部５０が３次元データの計算を行うこととしているが、当然、制御部５１で行うようにしてもよい。

患者は、表示部５３に表示される画像を見ながら、与えられた課題をクリアしていく。

図６は、リハビリテーションシステム１における各装置の全体的な動作の流れを示すフローチャートである。

医師側端末２は、まず、サーバ３にログインする（Ｓ１０１）。医師側端末２のログインを受けて、サーバ３は、スケジューリングプログラム及び履歴閲覧プログラムを実行する（Ｓ２０１）。医師側端末２には、リハビリテーションのメニュー作成、スケジュール管理及びリハビリ履歴情報の表示のための画面が表示される。その後、医師側端末２側で、当該画面を見ながら、リハビリテーションのメニュー作成、スケジュール管理及びリハビリ履歴情報の表示が行われる。

本実施形態は、いわゆるクラウドシステムであるため、先述したように、医師側端末２に、ソフトウエアをインストールする必要はない。ただし、本発明には、医師側端末２にソフトウエアをインストールして、リハビリテーションのメニュー作成、スケジュール管理及びリハビリ履歴情報の表示を行う実施形態も含まれており、その実施形態の場合は、サーバ３は、スケジュールやリハビリメニュー、リハビリ履歴情報を記録する記録装置としての役割を主に担うこととなる。医師側端末２にソフトウエアをインストールする場合の医師側端末２の動作については、クラウドシステムの場合の動作と概ね同様であり、当業者であれば、クラウドシステムの場合の動作を援用すれば、十分に実施可能であるので、詳しい説明は省略する。

図６の説明に戻る。医師側端末２は、リハビリスケジュールを組む患者を選択する（Ｓ１０２）。この際、サーバ３から当該医師の担当する患者の名称が医師側端末２に送信されて（Ｓ２０２）、医師側端末２で患者を選択できるようになっている。なお、医師側端末２から、サーバ３に記憶されている患者を検索して、検索結果に基づいて、患者を医師側端末２で選ぶようにしてもよい。

次に、医師側端末２で、リハビリメニューのスケジュール作成処理が実行されて（Ｓ１０３）、作成されたスケジュールが、サーバ３にアップロードされる（Ｓ１０４）。サーバ３は、アップロードされたリハビリメニュー情報及びスケジュール情報を保存する（Ｓ２０３）。患者データに紐付いている情報は、リハビリ履歴情報、リハビリメニュー情報、及びスケジュール情報である。リハビリメニュー情報には、どのアプリを使用するか、その際のアプリ設定条件は何かが含まれている。スケジュール情報には、施術日時と紐付いたリハビリメニュー情報が含まれている。

ここまでの動作は、典型的には、医師が、施術日時よりも前に、実行しておくこととなる。次に、施術日時が近づいてきた場合の施術者側端末４での動作の説明に移る。

施術者側端末４は、サーバ３にログインする（Ｓ３０１）。そして、必要なスケジュールをダウンロードする（Ｓ３０２）。施術者側端末４は、ダウンロードしたスケジュールで登録されているリハビリメニューのアプリを実行するように、画像処理装置５に指示する（Ｓ３０３）。このアプリの開始指示は、典型的には、施術者が行うとよいが、患者自らが行ってもよい。

画像処理装置５は、リハビリ開始指示を受けて、対応するリハビリ用アプリを実行する（Ｓ４０１）。アプリの実行中、採点が行われる。また、患者の視線からどのような画像が見られているかが、画像処理装置５から施術者側端末４に送信される。施術者側端末４では、患者が見ている画像が表示される（Ｓ３０４）。なお、透過型の画像処理装置５を使用している場合は、画像処理装置５のカメラで撮影した現実画像と仮想の対象物とを合成した画像が施術者側端末４に表示されることとなる。

画像処理装置５は、リハビリ用アプリの実行が終了すると、リハビリ履歴情報を、施術者側端末４に送信する（Ｓ４０２）。施術者側端末４は、送信されてきたリハビリ履歴情報を受信する（Ｓ３０５）。施術者からの指示または自動的に、施術者側端末４は、リハビリ履歴情報をサーバ３にアップロードする（Ｓ３０６）。

サーバ３は、送信されてきたリハビリ履歴情報を保存する（Ｓ２０４）。

Ｓ１０５の前に、医師側端末２が一旦ログアウトされて、再ログイン後に、Ｓ１０５の動作が行われてもよい。医師によって、患者が選択された場合（Ｓ１０５）、医師側端末２は、選択された患者のリハビリ履歴情報をダウンロードして、リハビリ履歴を表示する（Ｓ１０６）。そして、必要に応じて、医師側端末２は、リハビリ履歴情報に紐付けるように、医師が入力した所見をサーバ３に送信する（Ｓ１０７）。サーバ３は、リハビリ履歴情報に、所見を紐付けて、保存する（Ｓ２０５）。

以上が、リハビリテーションシステム１の全体的な動きである。次に、具体的な画面例やデータ構造、リハビリイメージを示しながら、リハビリテーションシステム１の全体的な動きの概略を説明することとする。なお、例示する画面例やデータ構造、リハビリイメージは、あくまでも一例であって、本発明を何ら、限定するものではないのは言うまでもない。適宜、当業者の技術常識を用いて、これらは変更可能であることは言うまでもない。

図７は、数字抹消アプリを実行している場合の操作イメージを示す図である。図７において、破線で示した枠が、空間全体であるとする。ここで空間全体とは、ＶＲの場合は、仮想上に作り上げた空間であり、仮想空間上に、ベッドと机が仮想的に置いてあるとしている。ＡＲ及びＭＲの場合は、空間全体とは、患者の周り現実空間を指し、図７の例では、現実空間上に、ベッドと机が存在すると例示している。

図７において、一点鎖線で示した領域は、画像処理装置５を装着した患者から見えている視界の範囲を示している。視界は、仮想空間又は現実空間の一部であるから、一点鎖線は、破線部分よりも狭い領域となる。

画像処理装置５によって、仮想空間又は現実空間に、ここでは、１から１３までの数値が配置されている。

ＭＲを用いた場合、現実空間の立体形状が空間認識によって認識され、３次元データに変換される。そして、画像処理装置５は、仮想の対象物の３次元データを同じ３次元座標上に配置し、実際に見えている現実空間に、仮想の対象物が存在するかのように、表示部５３に表示する。ＭＲでは、実際にユーザが視認している現実空間の上に、仮想の対象物が存在するかのような画像が表示されており、ユーザが見ている現実空間は、ＶＲとは異なり実際の空間である。

ＶＲを用いた場合は、仮想空間の三次元データ上に、各数字が配置され、配置後の３次元データに基づいて、画像処理装置５が、表示部５３に数字が配置された仮想空間の画像を表示させる。ＶＲでは、対象物の周辺の画像は、仮想空間上の画像である。

ＡＲを用いた場合、画像処理装置５は、カメラで撮影された現実空間の画像に、仮想の対象物を合成し、合成された画像を、表示部５３に表示する。ＡＲでは、対象物の周辺は、実際に撮影された現実空間の画像であり、現実空間の画像に、仮想の対象物の画像が合成されている。ＡＲでは、現実空間の画像に仮想の対象物の画像を合成した画像をユーザが見ており、実際の現実空間をユーザに見せているＭＲとは相違する。

ＶＲ，ＡＲ，ＭＲの何れの技術を用いる場合であっても、空間全体に対して、患者の視界という限られた範囲が存在することとなる。

空間全体に、仮想の対象物（ここでは、数字）が配置されている。画像処理装置５を動かすことで、空間全体に配置されている数字を患者は探すことが可能である。１から順に、数字を消去するというルールであるとすると、図７（ａ）の場合、顔や目線を動かして視線を動かすことで、１の数字の上に、視線を持って行くものとする。すると、図７（ｂ）に示すように、視界が紙面上左側に移動し、患者が見えている映像も異なるものとなる。１の上に、視線を動かし、入力部５２を操作したり、消去ジェスチャーを行ったり、凝視（一定時間視線を対象物に固定する動作）したりすることによって、１を消去することができる。以後、対象物を選択又は消去するための動作を、総称してタップと呼ぶことにするが、タップには、選択又は消去のためのジェスチャー、入力部５２の操作、凝視が少なくとも含まれており、その他、周知の選択又は消去の方法（たとえば、音声認識による選択又は消去など）が含まれているものとする。

次に、紙面上右側に視線を移動させれば図７（ｃ）のように、２の上に、視線をもってくることができる。そして、同様にして、２を消去する。さらに、図面上、下に視線を移動させれば、３が視界に入ってきて、図７（ｄ）のように、３を消去することができる。

ＶＲ，ＡＲ，ＭＲの何れの場合でも、同様にして、数字を空間上に配置するようにして、指定されたルールに基づいて、数字を消去するというリハビリテーションを行うことができる。

数字抹消アプリによって、高次脳機能障害を患っている患者の注意力の向上が期待できる。本発明者等が、実際のリハビリ現場で数字抹消アプリを用いてリハビリを行った結果、情報処理速度や、ワーキングメモリ、全般的認知機能についての改善効果も認められた。

図８は、第１の選択抹消アプリを実行している場合の操作イメージを示す図である。図８の表現方法は、図７と同様である。第１の選択抹消アプリでは、数字抹消アプリの数字に代わって、各種イラストが表示されている。各種イラストの描画方法は、ＶＲ，ＡＲ及びＭＲ共に、数字抹消アプリの場合と同様である。

第１の選択抹消アプリでは、指定されたイラストを選択して、ユーザが抹消していく。数字抹消アプリと同様に、ユーザは、視線を動かして、消去対象のイラストの上に、視線を持っていく。図８（ａ）の例では、視線の左斜め上にある「イチゴ」がターゲットのイラストであるとする。図８（ｂ）に示すように、視線を「イチゴ」の上におき、数字抹消アプリと同様の方法で、「イチゴ」をタップして消去する。ここで、ターゲットとは、仮想空間の対象物であり、選択又は消去の対象のことをいう。非ターゲットとは、選択又は消去の対象となっていない仮想空間の対象物のことをいう。

次に、図８（ｂ）の視線の左側にある「イチゴ」の消去を同様に行う（図８（ｃ）参照）。また、図８（ｄ）に示すように、右斜め上の「イチゴ」の消去を同様に行う。

なお、消去対象となるターゲットは、一つに限らず、別な種類の複数のターゲットが消去対象となっていてもよい。

第１の選択抹消アプリによって、高次脳機能障害を患っている患者の注意力及び／又は空間認知力の向上が期待できる。本発明者等が、実際のリハビリ現場で第１の選択抹消アプリを用いてリハビリを行った結果、注意機能や、空間認知機能に関与することが分かってきた。

図９は、第２の選択抹消アプリを実行している場合の操作イメージを示す図である。図９の表現方法は、図７と同様である。第２の選択抹消アプリでは、数字抹消アプリの数字に代わって、各種イラストが表示されている。各種イラストの描画方法は、ＶＲ，ＡＲ及びＭＲ共に、数字抹消アプリの場合と同様である。

第２の選択抹消アプリでは、指定されたイラストを選択して、ユーザが選択していく。数字抹消アプリと同様に、ユーザは、視線を動かして、選択対象のイラストの上に、視線を持っていく。図９（ａ）の例では、視線の左にある「猫」がターゲットのイラストであるとする。図９（ｂ）に示すように、視線を「猫」の上におき、数字抹消アプリと同様の方法で、「猫」を選択する。

第２の選択抹消アプリでは、選択後の処理が、第１の選択抹消アプリと異なる。第２の選択抹消アプリでは、選択したターゲットのイラストが変化する。ここでは、黒色のイラストが白色に変化するとしている。ただし、変化の仕方は、特に限定されるものではなく、たとえば、立っていたターゲットが座っているようにイラストが変化するなど、色以外の変化であってよい。

次に、図９（ｂ）の視線の右斜め上側にある「猫」の選択を同様に行う（図９（ｃ）参照）。また、図９（ｄ）に示すように、右斜め下の「猫」の選択を同様に行う。

なお、選択対象となるターゲットは、一つに限らず、別な種類の複数のターゲットが選択対象となっていてもよい。

第２の選択抹消アプリによって、高次脳機能障害を患っている患者の注意力及び／又は抑制力の向上が期待できる。注意力及び／又は抑制力の向上を想定しているが、本発明者等が、実際のリハビリ現場で第２の選択抹消アプリを用いてリハビリを行った結果、空間認知機能にも関与することが分かってきた。

なお、数字抹消アプリ、第１の選択抹消アプリ、及び第２の選択抹消アプリでは、患者は、座ったり立ったりした状態で歩行せずに、顔を動かしながら、ターゲットを探していって、消滅又は選択するといった使用方法を前提としている。ただし、歩行しながら、ターゲットを探すような方法で使用してもよい。

なお、患者の症状の度合いに合わせて、ターゲット及び非ターゲットを配置する領域を調整することができるようにしてもよい。たとえば、視線を中心に、６０度程度の狭い範囲にのみ、ターゲット及び非ターゲットを配置するような設定を用いてもよいし、逆に、１８０度程度の広い範囲にのみ、ターゲット及び非ターゲットを配置するような設定を用いてもよい。

図１０は、空間配置アプリを実行している場合の操作イメージを示す図である。図１０において、破線は、図７と同様に、空間全体であるとする。ここでは、ＶＲの場合は、仮想空間上に、ベッドと壁が仮想的に置いてあるとしている。ＡＲ及びＭＲの場合は、図１０の例では、現実空間上に、ベッドが存在しているとしている。ＡＲの場合、ベッドの存在する現実空間の画像に、壁の画像が合成されるとしている。ＭＲの場合、ベッドの存在する現実空間に、仮想空間上の壁が存在するとしている。

図１０において、一点鎖線で示した領域は、図７と同様、画像処理装置５を装着した患者から見えている視界の範囲を示している。

ＶＲの場合、ターゲット（ここでは、白の花）及び非ターゲット（ここでは、黒の花）が、仮想空間上の壁に配置されて、描画されている。ＡＲの場合、ターゲットないし非ターゲットの画像が、壁の画像と共に、現実空間の画像に合成されている。ＭＲの場合、仮想空間上の壁の上に、ターゲットないし非ターゲットが配置されて、描画されている。

空間配置アプリでは、患者が実際に歩行して、ターゲットを探しながら、消去していく。画像処理装置５の現在位置と視線の向きに合わせて、表示される画像が変化していく。

ＭＲの場合、画像処理装置５は、現実空間上での現在位置と視線を認識し、表示される仮想空間の対象物の画像を生成して、表示する。ＭＲの場合、画像処理装置５は、周辺の現実空間の画像を認識して、現実空間の立体構造を認識した上で、仮想空間の対象物の画像（壁や花など）を表示している。

ＶＲの場合、画像処理装置５は、現在位置と視線を認識し、表示される仮想空間上の画像を生成して、表示する。

ＡＲの場合、画像処理装置５は、カメラが撮影している画像を認識して、認識した画像に仮想の対象物を合成する。たとえば、室内の床の模様に沿って、仮想の壁を合成するとした場合、カメラが撮影している床の模様の画像に合うように、仮想の壁の画像を生成して、フレーム毎に、画像合成を行うことで、あたかも、床に、仮想の壁が配置されているかのような画像をユーザに提供することができる。

このように、ＶＲ，ＡＲ，及びＭＲのいずれの場合であっても、画像処理装置５の移動に合わせて、表示される画像が刻々と変化することとなる。そのため、ユーザは、あたかも、壁の上に配置されているターゲット画像を探すようにして、移動することができる。

図１０（ａ）の例では、視線の左斜め上にターゲット（白い花）が視認されている。患者は、少し前に歩いて移動すると、図１０（ｂ）のように、徐々に、壁と花が近づいてくる画像を視認する。ターゲットであることが確認できた時点で、患者は、視線をターゲットに合わせて、図７の例の場合と同様にして、ターゲットをタップして消去する。その後も、同様にして、ターゲットを消去していく。図１０（ｃ）の例では、右側に存在する白い花に気づいた患者が、顔を、右側に動かして、視線を右側の白い花に合わせて、ターゲットを消去する様子が示されている。

なお、図１０に示した例では、２つの壁に挟まれた道を歩くことを想定しているが、壁は１つでもよいし、３つ以上でもよい。また、壁は、一直線でなく、曲がっているようにしてもよい。

空間配置アプリによって、高次脳機能障害を患っている患者の空間認知力及び／又は情報獲得力の向上が期待できる。本発明者等が、実際のリハビリ現場で空間配置アプリを用いてリハビリを行った結果、情報処理速度や、ワーキングメモリにも関連することが分かってきた。

図１１は、迷路アプリを実行している場合の操作イメージを示す図である。図１１に示した図は、空間全体である。ここでは、ＶＲの場合は、仮想空間上に、ドア、机、床及び迷路用の壁が仮想的に置いてあるとしている。ＡＲ及びＭＲの場合は、図１１の例では、現実空間上に、ドア、机及び床が存在しているとしている。ＡＲの場合、ドア、机及び床の存在する現実空間の画像に、壁の画像が合成されるとしている。ＭＲの場合、ドア、机及び床の存在する現実空間に、仮想空間上の壁が存在するとしている。

なお、図１１では、作図の困難さの関係上、画像処理装置５を装着した患者から見えている視界の範囲については、記載していないが、図７ないし図１０と同様に、患者は、空間全体の一定の範囲が画像処理装置５を介して視認している。

ＶＲ、ＡＲ、及びＭＲの場合のそれぞれの画像処理装置５における描画方法は、空間配置アプリの場合と同様である。

図１１（ａ）に示すように、迷路には、ゴールを示すフラッグが配置されている。また、ターゲットを示す画像が、迷路内に配置されている。患者が移動すると、画像処理装置５は、患者が移動した先の画像を表示して、迷路内に進入したかのような印象を患者に与える。そのような画像処理は、図１０の空間配置アプリの場合と同様である。

図１１（ａ）の他、図１１（ｂ）に示すように、画像処理装置５は、患者が見ている画像上にヒントとなる画像を表示してもよい。ここでは、星印で示した地点がターゲットを示しており、患者がターゲット地点を通って、ゴールに行くことを促す画像となっている。なお、必ずターゲットを通らないとゴールできないようにするか、若しくは、ターゲットを通らなくてもゴールできるようにするかは、適宜、設計すべき事項に過ぎない。

患者の移動に応じて、画像処理装置５は、ターゲット地点まで移動したかを認識する。ＶＲやＭＲの場合は、位置情報を直接的に得ることができるので、画像処理装置５は、認識した位置情報がターゲット地点やゴール地点であるかを認識して、採点を行う。ＡＲの場合は、画像処理装置５のカメラが撮影した画像を認識して、認識した画像がターゲット地点やゴール地点で得られる画像であるか否かを画像処理装置５が判断することで、採点が可能となっている。

なお、迷路アプリにおいて、単に、ゴールまで到達するか否かを採点基準としてもよく、ターゲットを問題として使用しなくてもよい。

迷路アプリによって、高次脳機能障害を患っている患者の空間認知力及び／又は遂行機能の向上が期待できる。

図１２は、マス目移動アプリを実行している場合の操作イメージを示す図である。図１２に示した図は、空間全体である。ここでは、ＶＲの場合は、仮想空間上に、ドア、机、床及び移動用のマス目が仮想的に置いてあるとしている。ＡＲ及びＭＲの場合、図１２の例では、現実空間上に、ドア、机及び床が存在しているとしている。ＡＲの場合、ドア、机及び床の存在する現実空間の画像に、マス目の画像が合成されるとしている。ＭＲの場合、ドア、机及び床の存在する現実空間に、仮想空間上のマス目が存在するとしている。

なお、図１２では、作図の困難さの関係上、画像処理装置５を装着した患者から見えている視界の範囲については、記載していないが、図７ないし図１０と同様に、患者は、空間全体の一定の範囲が画像処理装置５を介して視認している。

ＶＲ、ＡＲ、及びＭＲの場合のそれぞれの画像処理装置５における描画方法は、空間配置アプリの場合と同様である。

図１２（ａ）に示すように、まず、マス目移動アプリによって、東西南北を示したマス目が表示される。患者が視認している画面上に、最初の指示として、『スタート「Ｓ」に立ってください。』との指示が表示される。当該指示に応じて、患者が「Ｓ」の地点まで移動する。

患者の移動に応じて、画像処理装置５は、ターゲット地点まで移動したかを認識する。ＶＲやＭＲの場合は、位置情報を直接的に得ることができるので、画像処理装置５は、認識した位置情報がターゲット地点（スタート地点や、指示のあった地点）であるかを認識して、採点を行う。ＡＲの場合は、画像処理装置５のカメラが撮影した画像を認識して、認識した画像がターゲット地点で得られる画像であるか否かを画像処理装置５が判断することで、採点が可能となっている。

スタート地点に到達したら、画像処理装置５は、次の指示としてマス目の移動を指示する。図１２（ｂ）の例では、「西へ３、南へ４、東へ１」の移動指示がなされている。画像処理装置５は、このターゲット地点にまで到達したか否かを、同様に認識し、採点を行う。

なお、この際、一つのマス目に立っていられる時間を制限したり、指示通りの移動経路でなければ減点したり、途中の通過点を指定したりなど、種々のゲーム性を持たせることが可能である。

マス目移動アプリによって、高次脳機能障害を患っている患者の遂行機能及び／又は記憶力の向上が期待できる。

なお、各アプリにおける採点基準は、特に本発明を限定するものではない。たとえば、数字抹消アプリや第１及び第２の選択抹消アプリ、空間配置アプリであれば、ターゲットの消去又は選択の毎に点数を加算していき、間違ったタップがなされたら、点数を減点し、クリアまでの時間をボーナスポイントとして、スコアを採点するとよい。迷路アプリであれば、ターゲット地点への到達毎に点数を加算していき、ゴールに到達したまでの時間をボーナスポイントとして、スコアを採点するとよい。マス目移動アプリであれば、指示された地点の移動に要した時間を基準にスコアを採点するとよい。これらの採点基準は、単なる一例に過ぎず、他の採点方法用いてもよいことはいうまでもない。

図１３は、画像処理装置５に記憶されるリハビリ履歴情報のデータ構造を示す図である。図１３に示すように、主治医毎に、患者が管理され、各患者について、使用したアプリの種類や、アプリの使用モード（ここでは、測定モードを“１”、トレーニングモードを“２”としている）、リハビリを実施した施術年月日、施術者、アプリのスコア、ターゲットをどのように達成したかを示す達成履歴（タップの時間や正誤など）、視点位置の移動履歴などがリハビリ履歴情報として、画像処理装置５の記憶部５５に記憶される。なお、オプションとして、患者がリハビリ時に見ていた動画が記憶されていてもよい。なお、視線位置の移動履歴について、視線の代わりに、患者の向きを用いる場合は、患者の向きの移動履歴となる。したがって、移動履歴を概念的に捉えると、患者の動きに関する情報であると言える。

なお、言うまでも無いことであるが、図１３は、あくまでも、リハビリ履歴情報のデータ構造の一例を示すに過ぎず、本発明を限定するものではない。リハビリの履歴が分かるようなデータであれば、リハビリ履歴情報のデータ構造はどのような構造であってもよい。

図１４は、医師側端末２におけるスケジュール作成処理（Ｓ１０３）で用いられるスケジュール作成画面の一例を示す図である。図１４（ａ）において、２０１８年１２月２０日における患者「田中一郎」のスケジュールが作成される前が示されている。図１４（ａ）の状態で、１２月２０日の欄が選択されたときのスケジュールの作成の流れを示す図が、図１５である。

まず、図１５（ａ）に示すように、リハビリスケジュールを選択する画面が立ち上がる。ここで、施術日を入力し、リハビリメニューを選べるようになっている。プルダウンを選ぶと、過去に作成した既存のメニューが選択できるようになっている。ここでは、「田中１」及び「田中２」が既存のメニューであるとしている。ここでは、新たに「田中３」というメニューを作成する流れを示す。

図１５（ａ）の「＋」のボタンを選択すると、メニューの編集画面（図１５（ｂ））が立ち上がる。図１５（ｂ）の画面で新規のメニュー名を入力し（ここでは、「田中３」）、使用するアプリを選択できるようになっている。アプリ選択を選ぶと、図１５（ｃ）に示すアプリの追加画面が立ち上がる。検査モードとトレーニングモードのタブがあり、モードのタブ毎に、障害のある機能に有効なアプリが選べるようになっている。

ここでは、障害のある機能として、空間認知力、遂行能力、記憶力、情報獲得力、注意力、及び抑制力を用いている。障害毎に、アプリが選択できる。なお、各障害に有効なアプリは、重複していてもよい。すなわち、各アプリには、アプリを実施することによって改善が見込まれる障害が少なくとも１つ対応付けられている。

図１５（ｄ）は、アプリの選択後の画面である。ここでは、「田中３」というメニューに「数字抹消」、「第１の選択抹消」、及び「第２の選択抹消」のアプリが選択されたことが示されている。そして、保存ボタンを押すことで、「田中３」というメニューが保存され、かつ、１２月２０日のメニューに、追加される（図１４（ｂ））。

なお、言うまでもないことであるが、図１４及び図１５に示すスケジュールメニューの作成の流れや画面は、あくまでも一例に過ぎず、本発明を限定するものではない。当業者が周知のあらゆる手法を用いて、当業者が、スケジュールメニューの作成を行うことが本発明には含まれる。

また、リハビリメニューとして、デフォルトで、典型的なメニューを選択できるようにしておいてもよい。

図１６は、施術者側端末４でのリハビリメニューの選択の画面の一例を示す図である。図１６（ａ）は、基本画面である。基本画面には、「検査開始（スケジュール）」、「検査開始（スポット）」、「リハビリメニューダウンロード」、及び「リハビリ結果送信」のボタンが存在する。「検査開始（スポット）」については、第２の実施形態で用いるボタンであるので、ここでは、説明を省略する。

まず、施術者は、「リハビリメニューダウンロード」を押して、スケジュールダウンロード処理（Ｓ３０２）を実行する。本実施形態では、施術者側端末４は、ダウンロードする日に実行するリハビリメニューがダウンロードする設定としている。ただし、施術日を指定したり、患者を指定したりして、リハビリメニューをダウンロードするようにしてもよいことは言うまでもない。

図１６（ｂ）は、リハビリメニューのダウンロード画面の一例を示す図である。ダウンロードボタンを押すと、本日実施するリハビリメニューが、サーバ３からダウンロードできるようになっている。「ダウンロード済みリハビリメニュー」に、すでにダウンロードしたリハビリメニューが、表示されている。どれかのメニューを選択すると、「リハビリメニューの詳細」の欄に、メニューの詳細が表示される。このようにして、まずは、リハビリメニューをダウンロードしておいて、施術者は、リハビリ実行の準備を進めておく。

実際にリハビリを開始する際には、施術者は、「検査開始（スケジュール）」を押す。すると、図１６（ｃ）に示すような画面に遷移する。図１６（ｃ）に示すように、施術担当者を選択して、ダウンロード済みのメニューが選択できるようになっている。ここでは、「田中２」が選択されているとしている。また、ＨＭＤの項目で、使用する画像処理装置５を選択できるようになっている。このようにして、メニューを選択すると、図１７（ａ）に示すような画面に遷移する。

図１７（ａ）に示す画面では、「特許五郎」という施術者が、「田中２」というメニューを、「端末Ａ」という画像処理装置５を用いて実施する状態が示されている。ここで、アプリの詳細が図１７（ａ）に記載のように、画面に表示されている。表示内容はあくまでも一例であるが、ここでは、「数字抹消アプリ」を使用した場合の詳細な設定が表示されている。ここでは、詳細項目は、「ボール（数字を表示するボールのこと）の色」、「ボールの数」、「文字の大きさ」、「ヒント表示猶予（ヒント表示までの猶予時間）」、「設定範囲（数字が視線を中心に何度の角度の範囲で表示されているか）」、「モード（測定モードかトレーニングモードか）」、「抹消方法（ジェスチャー、凝視、タップなど）」、「制限時間（クリアまでの制限時間）」であるとしている。これらの項目は、アプリ設定条件の一例である。

なお、測定モードとは、リハビリの成果を測定するために、予め決められた問題を繰り返し出題するモードである。予め決められた問題は、一つとは限らず、複数パターンの問題であってもよい。トレーニングモードとは、様々なパターンの問題を出題して、リハビリの成果を得るためのモードである。第１の実施形態では、トレーニングモードでは、ランダムに問題を生成するとしている。

編集ボタンを押すことで、アプリ設定条件の詳細項目の内容を調整できるようになっている。

「前のアプリ」又は「次のアプリ」を押すことで、実行予定のアプリの詳細が順に表示される。同様に、各アプリについても、アプリ設定条件の詳細項目の内容を調整できるようになっている。

アプリ設定条件の詳細項目の編集は必須ではない。デフォルトで設定されている条件でよければ、詳細項目を編集する必要はない。

図１７（ａ）において、「実行」ボタンを押すことで、施術者側端末４から画像処理装置５に対して、リハビリのメニューと詳細な設定が送信されて、リハビリが開始される。

なお、言うまでもないことであるが、図１７（ａ）に示す画面例はあくまでも一例に過ぎず、本発明を限定するものではない。

図１７（ｂ）は、リハビリ中の施術者側端末４に表示される画面の一例を示す図である。ここでは、数字抹消アプリが実行されているとする。「患者の見え方」の欄に、患者が実際に見ている画像が表示される。「患者の見え方」の欄に表示される画像は、ＶＲの場合であれば、仮想空間上の画像であり、ＡＲ及びＭＲの場合であれば、現実空間の画像に仮想の対象物を合成した画像である。

図１７（ｂ）に示すように、視線がたとえば黒丸で示されている。「次は１番」と表示されているように、次のターゲットが表示されている。「中止」を押すと、リハビリを施術者側で中止できる。「助言」を押すと、次のターゲットについてのヒントが画像処理装置５に表示される。ヒントとしてはたとえば、次のターゲットの位置を示す矢印などが考えられる。

図１８（ａ）に示すように、視線がターゲットの上に位置すると、視線がたとえば二重丸に変化する。その状態で、タップが患者によって行われると、図１８（ａ）に示すように、ターゲットが消去される。

図１７（ｂ）～図１８（ｂ）に示した施術者側端末４におけるリハビリ中の画面例は一例に過ぎず、本発明を限定するものではないことは言うまでもない。また、ここでは、数字抹消アプリの場合のみを図示したが、他のアプリについても、同様に、患者の見ている画像が、施術者側端末４に表示されるようになっていればよい。

図１７（ｂ）～図１８（ｂ）に示したような患者の視線から見えている画像は、施術者側端末４から、ネットワーク６及びサーバ３を介して、医師側端末２に同時配信されるようにしてもよい。これにより、医師側端末２でも、リハビリの状況を遠隔地から、ほぼリアルタイムに把握することができる。

アプリの実行中、画像処理装置５は、リハビリ履歴情報を順次記憶していく。

アプリがクリアされると、画像処理装置５は、リハビリ履歴情報を施術者側端末４に送信する。リハビリ履歴情報が施術者側端末４に送信されると、施術者側端末４は、アプリの実行結果を表示する。図１９は、施術者側端末４に表示されるアプリの実行結果の画面の一例を示す図である。

図１９に示すように、施術者側端末４は、スコア（ここでは、４７点）を表示し、タップ履歴を表示する。タップ履歴は、一つのタップに至るタップ時刻や所要時間、タップした対象（ターゲット又は非ターゲット）の番号、正誤などである。ここでは、数字抹消アプリの例を示しているが、各アプリについて、各アプリに適したタップ履歴を、施術者側端末４が表示するとよい。また、施術者側端末４では、アプリの設定内容を確認（設定確認）できるようになっている。

施術者側端末４は、画像処理装置５から得たリハビリ履歴情報を記憶しておき、図１６（ａ）に示す「リハビリ結果送信」を施術者が押すことで、リハビリ履歴情報が送信される（Ｓ３０６）。ただし、施術者のアクションなく、施術者側端末４は、自動で、サーバ３にリハビリ履歴情報を送信してもよい。また、リハビリ履歴情報については、複数の患者の情報をまとめて送信してもよいし、患者毎に送信してもよい。

医師側端末２では、サーバ３からダウンロードしたリハビリ履歴情報に基づいて、リハビリの成果を視覚的に分かりやすく表示することができる。図２０は、医師側端末２でのリハビリ履歴情報の表示の一例を示す図である。まず、前提として、各アプリには、それぞれ、アプリを実施することによって改善が見込まれる障害が少なくとも１つ対応付けられており、アプリ毎に、リハビリが有効な空間認知力等の機能障害が決められている。たとえば、数字抹消アプリであれば、注意力に有効であり、第１の選択抹消アプリであれば、注意力及び／又は空間認知力に有効であり、第２の選択抹消アプリであれば、注意力及び／又は抑制力に有効であり、空間配置アプリであれば、空間認知力及び／又は情報獲得力に有効であり、迷路アプリであれば、空間認知力及び／又は遂行機能に有効であり、マス目移動アプリであれば、記憶力及び／又は遂行能力に有効である。そして、アプリの実行スコア毎に、各機能障害の状況を判定することができる。

たとえば、図２０（ａ）に示すように、機能障害毎のスコアをグラフ化することで、患者の現在の機能障害の度合いを医師が容易に把握することができる。たとえば、図２０（ａ）に示す例では、抑止力及び記憶力が極端に低下していることが、一目で分かるようになっている。ここでは、レーダ式のグラフで表現しているが、用いるグラフとしては、周知のあらゆるグラフを用いることができるのであり、グラフの種類は、本発明を限定するものではない。

また、図２０（ｂ）に示すように、機能障害毎のスコアを時系列のグラフに表すことで、患者のリハビリの成果を確認することができる。図２０（ｂ）に示す例では、日を追う毎に、各機能障害についてのスコアが上昇傾向にあることが確認できるので、リハビリの成果が出てきていると言える。ここでは、折れ線グラフで表現しているが、用いるグラフとしては、周知のあらゆるグラフを用いることができるのであり、グラフの種類は、本発明を限定するものではない。

なお、一つのアプリに、改善の見込まれる複数の障害が対応付けられている場合もあるが、その場合は、一つのアプリの実施によって、複数の障害のスコアが表示される。

また、一つの障害に、複数のアプリが対応付けられている場合もあるが、その場合は、その障害に対応する複数のアプリのスコアの平均値や重み付け平均値などを用いて、その障害のスコアが表示される。

図２１（ａ）は、リハビリ履歴情報の詳細を医師側端末２で閲覧した場合の表示画面の一例を示す図である。リハビリ履歴情報として、医師側端末2では、患者毎に、施術年月日、使用したアプリ、モード、施術者、及びスコアが表示されるようになっている。また、図２１（ａ）の詳細を選ぶと、図２１（ｂ）に示すように、アプリ実行時のリハビリの様子を詳細に確認することができるようになっている。

図２１（ｂ）に示す画面の例では、数字抹消アプリの場合の患者の動きが再現されて表示されている。医師がこのような患者の動きの履歴を確認すれば、患者がどのような障害を有しているか診断可能である。患者の動きは、適宜、再生ボタンを押すことで、順に再生させることも可能であるが、必須ではない。また、ここでは、図示していないが、患者のリハビリ時の施術者側端末４に表示されていた動画を、サーバ３に記憶しておいて、医師側端末２でダウンロードして、表示するようにしてもよい。また、図２１（ｂ）に示す画面の例では、タップ履歴の表も表示されている。これらの詳細な表示は、アプリ毎に、適宜、設計して決めればよいものである。言うまでもないが、ここに図示した例は、一例に過ぎず、本発明を限定するものではない。図２１（ｂ）のような表示は、施術者側端末４において行われてもよい。

以上のような画面遷移の一例を念頭に、各装置での動作の詳細について、以下、フローチャートを参照しながら説明する。

図２２は、医師側端末２でのスケジュールの作成処理のフローチャートである。まず、前提として、医師側端末２の制御部２１は、スケジューリング兼閲覧プログラムを記憶部２５から読み込んで実行しているものとする。

医師側端末２の制御部２１は、施術日の指定を受け付けるための表示を表示部２３に表示させて、入力部２２からの施術日の指定を受け付ける（Ｓ５０１）。なお、以下、冗長な説明を避けるために、表示部２３及び入力部２２と制御部５１との関係が当業者にとって明らかな場合は、単に、「制御部２１は、施術日の指定を受け付ける。」と表現して、表示部２３及び入力部２２との関係については、記載を省く（図２３以降のフローチャートについても同様）。また、制御部２１が記憶部２５に情報を保存する場合についても、単に、「制御部２１は、情報を保存する。」とのみ表現して、冗長な記載をさけることとする（図２３以降のフローチャートについても同様）。

次に、制御部２１は、メニューの選択か又は作成のどちらかを受けつける（Ｓ５０２）。

メニューの選択を受け付けた場合、制御部２１は、リハビリメニュー情報に基づいて、既存のメニューを選択させて（Ｓ５０３）、施術日と紐付けて、スケジュール情報として保存する（Ｓ５０４）。

一方、Ｓ５０２において、メニューの作成を受け付けた場合、制御部２１は、表示部２３にメニューを作成させるための画面を表示させる（Ｓ５０５）。次に、制御部２１は、メニュー名称を受け付ける（Ｓ５０６）。次に、制御部２１は、使用するアプリを選択させる（Ｓ５０７）。次に、必要に応じて、制御部２１は、アプリ設定条件を調整させる（Ｓ５０８）。Ｓ５０８の動作は、任意であり、医師が必要であると考えれば行われる動作である。そして、制御部２１は、作成されたメニューを新しいメニューとして、リハビリメニュー情報として保存し、さらに、施術日を紐付けして、スケジュール情報として、保存する（Ｓ５０４）。

制御部２１は、保存したリハビリメニュー情報及び／又はスケジュール情報を通信部２４を介して、サーバ３にアップロードする（図６のＳ１０４）。

図２３は、施術者側端末４でのスケジュールのダウンロード処理を示すフローチャートである。前提として、施術者側端末４の制御部４１は、リハビリ処理プログラムを記憶部４５から読み込んで実行しているものとする。

施術者側端末４の制御部４１は、ユーザからの指示に応じて、通信部４４を介して、サーバ３に対して、リハビリメニュー情報及びスケジュール情報のダウンロードを要求する（Ｓ６０１）。制御部４１は、当日分のリハビリメニュー情報及びスケジュール情報をダウンロードして（Ｓ６０２）、保存する（Ｓ６０３）。なお、ここでは、当日分だけをダウンロードするとしているが、それに限定されるものではなく、複数日分や指定した日の分などをダウンロードしてもよいのは言うまでもない。

図２４は、施術者側端末４でのリハビリ開始指示のフローチャートである。前提として、施術者側端末４の制御部４１は、リハビリ処理プログラムを記憶部４５から読み込んで実行しているものとする。

施術者側端末４の制御部４１は、施術者を選択させる（Ｓ７０１）。次に、制御部４１は、選択した施術者が担当する患者のリハビリメニューを選択させる（Ｓ７０２）。次に、制御部４１は、使用する画像処理装置５を選択させ、選択された画像処理装置５との通信を開始する（Ｓ７０３）。ここで、適宜、制御部４１は、アプリ設定条件の調整を受け付ける（Ｓ７０４）。準備が整ったら、制御部４１は、アプリを実行するように、画像処理装置５に対して、指示を行う（Ｓ７０５）。

以上のように、画像処理装置５へのアプリの実行指示がなされた上で、画像処理装置５にて、指示がなされたアプリが実行され、リハビリが実地される。以下、各アプリでの画像処理装置５の動作について、説明する。

図２５は、数字抹消アプリを実行中の画像処理装置５の動作を示すフローチャートである。前提として、画像処理装置５の制御部５１は、アプリ実行プログラムを読み込んで、実行しており、施術者側端末４から指示されたアプリを指示された設定条件で、実行するものとする。また、前提として、図２５に示す動作は、ＭＲの場合を想定しているが、適宜、ＶＲ及びＡＲの場合の動作について、説明を加えていく。

図２５において、まず、制御部５１は、カウントダウンの表示を表示部５３に表示させて、アプリを実行する位置をユーザが向くための時間を与える（Ｓ８０１）。なお、カウントダウン処理は、必須でなく、アプリの実行が開始したときの画像処理装置５の位置を開始位置としてもよいし、開始位置をユーザのタップ等の入力に合わせて、決定してもよい。

次に、ＭＲの場合、空間認識部５７は、内蔵されているカメラを用いて、周囲の３次元空間を認識して、３次元データ化する（Ｓ８０２）。次に、トラッキング部５８は、画像処理装置５の位置や傾きを認識する（Ｓ８０３）。制御部５１は、Ｓ８０２及びＳ８０３の処理によって、画像処理装置５の３次元空間上の位置を把握して、３次元空間のどの位置に、画像処理装置５が存在しているかを認識する。なお、空間認識のための処理や、トラッキングのための処理については、画像処理装置５のＯＳが行う場合も、本発明に含まれる。また、空間認識処理については、内蔵されているカメラによる画像認識に限らず、深度カメラや、赤外線センサ、レーザ照射など、その他の各種センサや検出機などを用いて行われる場合も、本発明に含まれる。

ＶＲの場合は、制御部５１は、Ｓ８０２で仮想空間の３次元データを生成し、Ｓ８０３で画像処理装置５の位置や傾きを認識して、仮想空間上に画像処理装置５がどこに位置しているかを認識する。

ＡＲの場合は、制御部５１は、Ｓ８０２及びＳ８０３で、周辺の画像を撮影し、問題を合成する領域を決定する。

次に、制御部５１は、数字抹消のための問題を生成する（Ｓ８０４）。ここで、問題生成処理について、詳しく説明する。アプリ設定条件に基づいて、制御部５１は、問題を生成する。モードが測定モードである場合は、固定した問題を３次元データ上に配置する。モードがトレーニングモードである場合は、ランダムに生成した問題を３次元データ上に配置する。配置する範囲は、アプリ設定条件で指定されている設定範囲（視線を中心とした角度）とする。その他ターゲットの色や数、大きさなどのアプリ設定条件に基づいて、問題が生成されることとなる。

制御部５１は、生成した問題を、３次元データ上に配置する（Ｓ８０５）。その後、数字抹消アプリの実行が進んでいくこととなるが、アプリの実行と平行して、画像処理部５０による描画処理が行われる（Ｓ８０６）。

図２６は、画像処理部５０における画像の描画処理のフローチャートである。画像の描画処理は、高速かつ大量の計算を必要とするため、ここでは、制御部５１とは別の画像処理部５０によって、処理が実行されているとしているが、当然、制御部５１の性能によっては、制御部５１が実行してもよいことは言うまでもない。

画像処理部５０は、トラッキング部５８からの情報に基づいて、画像処理装置５の３次元データ上での位置及び傾きを検出する（Ｓ９０１）。次に、視線検出部５９からの情報に基づいて、３次元データ上での視線の向きを検出する（Ｓ９０２）。次に、画像処理部５０は、画像処理装置５の現在位置及び傾き並びに視線の向きに応じて、仮想空間の対象物を３次元データ上に配置し（Ｓ９０３）、表示部５３に表示させる画像を決定して、当該画像を表示させる（Ｓ９０４）。このような処理がフレーム毎に実施されることで、画像処理装置５の動きに合わせて、現実空間上に、仮想の画像が存在するかのような表示を表示部５３に表示させることが可能となる。

ＶＲの場合は、画像処理部５０は、表示部５３に仮想空間の画像上に、対象物を配置した画像を表示させる点を除いては、上記ＭＲの場合と同様である。

ＡＲの場合は、画像処理装置５の撮像している現実空間の画像を認識して、画像処理装部５０は、仮想空間の対象物を合成する。

図２７は、図２５の動作の続きを示すフローチャートである。制御部５１は、視線とターゲットとが重なっているか否かを判断する（Ｓ１００１）。重なっていない場合、制御部５１は、そのまま、視線を示す画像の描画を継続する（Ｓ１００２）。一方、重なっている場合は、制御部５１は、視線を示す画像を重なっていることを示す画像に表示を変更する（Ｓ１００３）。

なお、Ｓ１００１において、ＭＲ及びＶＲの場合は、視線の位置とターゲット位置との比較によって、制御部５１は、重なりを判断することができる。ＡＲの場合は、視線の位置が認識されていないので、Ｓ１００１～Ｓ１００４において、制御部５１は、患者の指先がターゲットと重なっているか否かや、患者がタブレット端末５ｅのディスプレイを直接タップ（指で触って位置指定するなど）したか否かなどを画像認識やタッチセンサなどで判断することで、タップが行われたか否かを判断することとする。

Ｓ１００３の状態で、タップが行われたか否かを判断する（Ｓ１００４）。タップが行われなければ、制御部５１は、Ｓ１００１の動作に戻る。したがって、Ｓ１００３の動作に一旦進んだとしても、タップまでに、途中で、重なりが外れれば、制御部５１は、Ｓ１００２の動作に進んでいくことになる。

タップが行われた場合、制御部５１は、正誤を判断し、正解の場合はターゲットを３次元データ上から消滅させて、ターゲットを消滅した表示を行う（Ｓ１００５）。不正解の場合は、制御部５１は、不正解である旨の表示を表示部５３に表示させる（Ｓ１００５）。

タップによって、制御部５１は、リハビリ履歴情報を記憶部５５に記憶させる（Ｓ１００６）。リハビリ履歴情報の記憶は、抹消動作毎に行われる。

抹消動作の後、制御部５１は、全てのターゲットが消滅して問題をクリアしたか否かを判断する（Ｓ１００７）。問題がクリアできていない場合は、制御部５１は、Ｓ１００１の動作に戻る。一方、問題がクリアできた場合は、制御部５１は、予め決めた採点基準に基づいて、スコアを採点する（Ｓ１００８）。スコアがリハビリ履歴情報として記憶部５５に記憶される。そして、制御部５１は、通信部５４を介して、記憶部５５に記憶されているリハビリ履歴情報を、施術者側端末４に送信する（Ｓ１００９）。なお、リハビリ履歴情報の保存方法については、特に限定されないが、たとえば、画像処理装置５は、予め決められた時間毎に、位置と視線などの情報を保存しておき、スコアと共に、リハビリ履歴情報として、施術者側端末４に送信するとよいが、限定されるものではない。また、画像処理装置５は、リハビリ履歴情報を、一定時間毎に、施術者側端末４に送信してもよい。

図２８は、第１の選択抹消アプリを実行の画像処理装置５の動作を示すフローチャートである。ここでの前提条件は、図２５の場合と同様である。また、図２８において、図２５における動作と同様の動作については、同一の参照符号を付すこととし、異なる点についてのみ説明する。

第１の選択抹消アプリは、数字抹消アプリと異なり、ターゲットを抹消する順序は問わない。したがって、図２８の続きとなる図２７のフローチャートにおけるＳ１００５の正誤判断において、ターゲット（正解のターゲット）が選択されて抹消されれば、正解とし、抹消の順序を問うことなく採点する。

図２９は、第２の選択抹消アプリを実行の画像処理装置５の動作を示すフローチャートである。図３０は、図２９の動作の続きを示すフローチャートである。ここでの前提条件は、図２５の場合と同様である。また、図２９及び図３０において、図２５及び図２７における動作と同様の動作については、同一の参照符号を付すこととし、異なる点についてのみ説明する。

第２の選択抹消アプリは、数字抹消アプリと異なり、ターゲットを抹消する順序は問わない。第２の選択抹消アプリは、第１の選択抹消アプリと異なり、正解のターゲットを選択した場合、ターゲットの表示が変更になるが、消滅はしない。また、第２の選択抹消アプリは、表示が変更されたターゲットを選択してしまうと不正解とする。なお、正解以外のターゲットを選択した場合、スコアには何ら影響がないとしてもよいし、また、不正解としてスコアに影響するようにしてもよいが、限定されるものではない。したがって、図２９の続きとなる図３０のフローチャートにおけるＳ１００５ｂの正誤判断において、ターゲットが選択されれば、制御部５１は、ターゲットの表示を変更して、抹消の順序を問うことなく正解として採点する。

図３１は、空間配置アプリを実行の画像処理装置５の動作を示すフローチャートである。ここでの前提条件は、図２５の場合と同様である。また、図３１において、図２５における動作と同様の動作については、同一の参照符号を付すこととし、説明を省略する。

図３１において、トラッキング部５８が、画像処理装置５の位置や傾きを認識した（Ｓ８０３）後、制御部５１は、アプリ設定条件に合わせて、表示部５３に仮想の通路を表示させる（Ｓ１１０１）。仮想の通路は、仮想の壁を表示するための目印となるものであり、仮想の通路の位置を決めることで、仮想の壁の位置が決まるものとする。患者が、画像処理装置５の位置を調整すると、それに合わせて、仮想の通路の位置も調整される。仮想の通路が、現実空間の障害物と重なって配置されてしまっては、患者が現実空間上を歩行することができないので、患者は、障害物が存在しない領域に仮想の通路が表示されるように、画像処理装置５の位置を調整する。仮想の通路の位置の調整が完了したら、患者によって、タップが行われる。それに応じて、制御部５１は、仮想の通路の位置を決定する（Ｓ１１０２）。仮想通路の位置が決定すると、制御部５１は、３次元データ上に、仮想通路を示すデータを反映させる。

Ｓ１１０１～Ｓ１１０２の動作は、ＭＲ，ＶＲ及びＡＲ共に同様である。すなわち、ＭＲの場合は、制御部５１は、仮想通路を現実空間と重なるように表示し、ＶＲの場合は、制御部５１は、仮想空間上に仮想通路を表示し、ＡＲの場合は、制御部５１は、撮影している現実空間の映像に仮想通路を合成して表示するようにすればよい。

次に、制御部５１は、アプリ設定条件に合わせて、仮想通路に沿った仮想の壁面の３次元データを生成する（Ｓ１１０３）。制御部５１は、アプリ設定条件に合わせて、仮想壁面の上に、ターゲットを配置するようにターゲットの位置を決定する問題を生成する（Ｓ１１０４）。制御部５１は、測定モードの場合、固定的にターゲットの位置を決定し、トレーニングモードの場合、ランダムにターゲットの位置を決定する。制御部５１は、生成した問題を、３次元データ上に配置する（Ｓ８０５）。その後、画像処理部５０が、図２６（Ｓ８０６）の動作を、問題の採点と平行して実行する。

問題の採点は、基本的には、第１の選択抹消アプリの動作（図２７）と同様である。数字抹消アプリと異なり、Ｓ１００５の動作において、ターゲットの抹消の順番は問わない。

図３２は、迷路アプリを実行の画像処理装置５の動作を示すフローチャートである。図３３は、図３２の動作の続きを示すフローチャートである。ここでの前提条件は、図２５の場合と同様である。また、図３２及び図３３において、図２５及び図２７における動作と同様の動作については、同一の参照符号を付すこととし、説明を省略する。

図３２において、トラッキング部５８が、画像処理装置５の位置や傾きを認識した（Ｓ８０３）後、制御部５１は、アプリ設定条件に合わせて、表示部５３に仮想のマス目を表示させる（Ｓ１２０１）。仮想のマス目は、迷路のための仮想の壁を表示するための目印となるものであり、仮想のマス目の位置を決めることで、仮想の壁の位置が決まるものとする。患者が、画像処理装置５の位置を調整すると、それに合わせて、仮想のマス目の位置も調整される。仮想のマス目が、現実空間の障害物と重なって配置されてしまっては、患者が現実空間上を歩行することができないので、患者は、障害物が存在しない領域に仮想のマス目が表示されるように、画像処理装置５の位置を調整する。仮想のマス目の位置の調整が完了したら、患者によって、タップが行われる。それに応じて、制御部５１は、仮想のマス目の位置、すなわち、迷路を配置する位置を決定する（Ｓ１２０２）。仮想迷路の位置が決定すると、制御部５１は、３次元データ上に、仮想のマス目を示すデータを反映させる。

Ｓ１２０１～Ｓ１２０２の動作は、ＭＲ，ＶＲ及びＡＲ共に同様である。すなわち、ＭＲの場合は、制御部５１は、仮想マス目を現実空間と重なるように表示し、ＶＲの場合は、制御部５１は、仮想空間上に仮想マス目を表示し、ＡＲの場合は、制御部５１は、撮影している現実空間の映像に仮想マス目を合成して表示するようにすればよい。

次に、制御部５１は、アプリ設定条件に合わせて、仮想マス目に沿った迷路用の仮想の壁面のデータを生成する（Ｓ１２０３）。制御部５１は、アプリ設定条件に合わせて、仮想マス目の上に、ターゲットを配置するようにターゲットの位置を決定する問題を生成する（Ｓ１２０４）。制御部５１は、測定モードの場合、固定的にターゲットの位置を決定し、トレーニングモードの場合、ランダムにターゲットの位置を決定する。制御部５１は、生成した問題を、３次元データ上に配置する（Ｓ８０５）。その後、画像処理部５０が、図２６（Ｓ８０６）の動作を、問題の採点と平行して実行する。

問題のクリアの判断は、図３３の流れに即して実行される。制御部５１は、空間認識部５７からの情報に基づいて、画像処理装置５の現在位置を把握し、現在位置のマス目の表示を変更する（たとえば、マス目の色を変えるなどする）（Ｓ１３０１）。次に、制御部５１は、現在のマス目の位置がターゲットの位置であるか否かを判断する（Ｓ１３０２）。現在位置がターゲットの位置でない場合、制御部５１は、Ｓ１３０１の動作に戻る。

Ｓ１３０２において、ＭＲ及びＶＲの場合は、現在位置とターゲット位置との比較によって、制御部５１は、ターゲット位置への到達を判断することができる。ＡＲの場合は、現在位置が認識されていないので、Ｓ１３０１及びＳ１３０２において、制御部５１は、画像処理装置５の周辺の画像を認識して、ターゲット位置に到達しているか否かで、判断することとする。

現在位置がターゲットの位置である場合、制御部５１は、ターゲットを消滅させて（Ｓ１３０３）、リハビリ履歴情報に反映させる（Ｓ１３０４）。次に、制御部５１は、全ターゲットが消滅したか否かを判断する（Ｓ１３０５）。全ターゲットが消滅していない場合、制御部５１は、Ｓ１３０１の動作に戻る。全ターゲットが消滅している場合、制御部５１は、現在位置がゴール地点に到達するまで処理を継続し、ゴール地点に到達したら（Ｓ１３０６）、採点（Ｓ１００８）及びリハビリ履歴情報の送信（Ｓ１００９）に進む。

ゴール地点に到達したか否かの判断については、ＭＲ、ＶＲ、及びＡＲの場合共に、Ｓ１３０２の動作で説明したのと同様である。

なお、ここでは、全ターゲットが消滅した後でないとゴールできないこととしているが、全ターゲットが消滅していなくても、ゴール地点に達したら、制御部５１は、クリアしたと判断して、採点してもよい。その場合、制御部５１は、ターゲットが消滅していないことを減点するなどして採点結果に反映させるとよいが、本発明を限定するものではない。

図３４は、マス目移動アプリを実行の画像処理装置５の動作を示すフローチャートである。図３５は、図３４の動作の続きを示すフローチャートである。ここでの前提条件は、図２５の場合と同様である。また、図３４及び図３５において、図２５、図２７、図３２、及び図３３における動作と同様の動作については、同一の参照符号を付すこととし、説明を省略する。

図３４において、Ｓ１２０２までは、図３２と同様に、仮想マス目の位置が決定される。その後、制御部５１は、仮想マス目用のデータを生成する。画像処理部５０は、３次元データ上に、仮想マス目を示すデータを反映させる（Ｓ１４０１）。制御部５１は、アプリ設定条件に合わせて、問題を生成する（Ｓ１４０２）。ここで生成される問題は、スタートの位置と、移動方向を示す問題である。制御部５１は、測定モードの場合、固定的にターゲットの位置を決定し、トレーニングモードの場合、ランダムにターゲットの位置を決定する。制御部５１は、生成した問題に基づいて、図３５のクリア判断の動作に進む。

問題のクリアの判断は、図３５の流れに即して実行される。制御部５１は、現在位置のマス目の表示を変更する（Ｓ１３０１）。制御部５１は、スタート位置をマス目上に表示させる（Ｓ１５０１）。制御部５１は、現在位置がスタート位置に到達したか否かを判断する（Ｓ１５０２）。スタート位置に到達した場合、制御部５１は、問題を表示させる（Ｓ１５０３）。制御部５１は、問題で指定されたクリア位置に達したか否かを判断する（Ｓ１５０４）。クリア位置に達するまで、問題が表示される。クリア位置に達した場合、制御部５１は、採点（Ｓ１００８）及びリハビリ履歴情報の送信（Ｓ１００９）に進む。

なお、ＭＲ、ＶＲ、及びＡＲ毎のスタート位置への到達やクリア位置への到達判断については、図３３のターゲット位置への到達判断と同様である。

このように、第１の実施形態によれば、仮想現実、拡張現実、又は複合現実を用いた画像によるリハビリを実行する画像処理装置５において、リハビリ履歴情報が記憶されて、当該リハビリ履歴情報が施術者側端末４及び医師側端末２において、共有することができる。したがって、医師及び施術者が患者のリハビリテーションの状況を把握しやすくなり、その結果、適切なリハビリテーションメニューを構築することができるよう

特に、拡張現実用の画像処理装置を用いて、現実空間上に、高次脳機能障害のリハビリテーションに使用する仮想の対象物の画像が存在するかのような問題を生成することで、患者が、いわゆるＶＲ酔いや転倒などという状況に陥る危険性が軽減する。よって、患者が違和感なく、安全に、リハビリテーションを行うことができることとなる。

（第２の実施形態）
第２の実施形態は、図１６（ａ）に示した「検査開始（スポット）」の場合の動作を示す。第１の実施形態では、医師側端末２が作成したスケジュールでリハビリメニューが決められることとした。しかし、医師の指示の下、具体的なリハビリの内容については、施術者が決定するということも、リハビリを行う国の法制度によっては、あり得る。また、医師が、リハビリテーションシステム１を用いずに、別な手段（口頭や電子メール、グループウエア、紙など）を用いて、施術者にリハビリの方針を指示する場合もあり得る。そこで、本発明のリハビリテーションシステム１には、施術者が単独でリハビリメニューを組んで、リハビリを行うことができるようになっている。

図３６は、第２の実施形態における施術者側端末４と画像処理装置５との間の動作の流れを示すフローチャートである。まず、施術者側端末４は、使用するアプリを選択し（Ｓ１６０１）、使用する画像処理装置５を選択する（Ｓ１６０２）。施術者側端末４は、施術者の指示に応じて、リハビリ設定条件を調整する（Ｓ１６０３）。次に、施術者側端末４は、施術者の指示に応じて、アプリの実行指示を画像処理装置５に対して行う（Ｓ１６０４）。

その後は、第１の実施形態と同様にして、画像処理装置５は、アプリの実行処理を行う（Ｓ１６０５）。アプリの実行中、施術者側端末４は、患者の視線画像を表示する（Ｓ１６０６）。アプリの実行が完了すると、画像処理装置５は、リハビリ履歴情報を施術者側端末４に送信する（Ｓ１６０７）。施術者側端末４は、リハビリ履歴情報を受信して（Ｓ１６０８）、保存する（Ｓ１６０９）。施術者側端末４は、リハビリ履歴情報を患者と紐付けて、保存しておく。施術者側端末４は、リハビリ履歴情報をサーバ３にアップロードすることができる。医師側端末２は、スポットで実施されたリハビリ履歴情報を、サーバ３からダウンロードすることができる。

このように、第２の実施形態では、施術者側端末からも、リハビリメニューが指定できるので、施術者が臨機応変にリハビリを実施することが可能となる。

図３７は、医師側端末２及び／又は施術者側端末４での数字抹消アプリでのアプリ設定条件の設定画面の一例を示す図である。図３７に示すように、数字抹消アプリでは、たとえば、ターゲットの色、数、文字の大きさ、ヒント表示の猶予時間、設定範囲、モード、抹消方法、制限時間などを調整することができる。

図３８は、医師側端末２及び／又は施術者側端末４での第１の選択抹消アプリでのアプリ設定条件の設定画面の一例を示す図である。図３８に示すように、第１の選択抹消アプリでは、たとえば、正解ターゲットの種類や数、不正解ターゲットの種類や数、設定範囲、モード、抹消方法、制限時間などを調整することができる。

図３９は、医師側端末２及び／又は施術者側端末４での第２の選択抹消アプリでのアプリ設定条件の設定画面の一例を示す図である。図３９に示すように、第２の選択抹消アプリでは、たとえば、正解ターゲットの種類や数、設定範囲、モード、抹消方法、制限時間などを調整することができる。

図４０は、医師側端末２及び／又は施術者側端末４での空間配置アプリでのアプリ設定条件の設定画面の一例を示す図である。図４０に示すように、空間配置アプリでは、壁の種類、道の長さ、道幅、壁の高さの最低値、壁の高さの最高値、正解ターゲットの種類や数、不正解ターゲットの種類や数、モード、抹消方法、制限時間などを調整することができる。

図４１は、医師側端末２及び／又は施術者側端末４での迷路アプリでのアプリ設定条件の設定画面の一例を示す図である。図４１に示すように、迷路アプリでは、モード、迷路の横幅のマス数、奥行きのマス数、通路の幅、壁の高さ、正解ターゲットの種類や数、制限時間などを調整することができる。

図４２は、医師側端末２及び／又は施術者側端末４でのマス目移動アプリでのアプリ設定条件の設定画面を示す図である。図４２に示すように、マス目移動アプリでは、横幅のマス数、奥行きのマス数、移動回数（何回移動してターゲット地点とするか）、繰り返し回数（全部で何回問題が出されるか）、停止可能実行時間（１マスに停止できる時間）、モード、制限時間などを調整することができる。

ここに示したアプリ設定条件は、あくまでも、一例に過ぎず、いかようにでも変更してよく、本発明を限定するものではない。

（その他の実施形態）
画像処理装置５で実行されるアプリ実行プログラムにおいて、バーチャルトレーナーが表示されるようになっていてもよい。図４３は、画像処理装置５に表示されるバーチャルトレーナーの一例である。

画像処理装置５は、表示部５３に、バーチャルトレーナーのアバター画像を表示させる。バーチャルトレーナーは、文字又は音声で、励ましの言葉やヒントとなる言葉を出力する。

バーチャルトレーナーを用いることで、施術者の負担が軽減できる。

また、問題の難易度は、自動的に調整できるようになっているとよい。図４４は、問題の難易度を自動的に調整できるようにしたときの医師側端末２及び／又は施術者側端末４の動作を示すフローチャートである。以下、説明の簡略化のために、難易度の設定及び弱点に対応した問題の作成は、施術者側端末４で行っているものとするが、医師側端末２で行ってもよい。また、在宅リハビリを想定した場合、スマートフォンやタブレット端末等の画像処理装置５ｃ，５ｅによって、患者がリハビリを自宅等で行うことも考えられる。そのような場合、バーチャルトレーナーは有用である。また、在宅リハビリの場合に、図４４に示すような難易度の自動調整及び弱点に対応した問題の作成は、画像処理装置５で行われてもよいし、サーバ３で行われてもよい。すなわち、難易度の調整を、どの機器が行うかは、本発明を限定するものではない。

施術者側端末４は、患者属性データを読み込み（Ｓ１９０１）、対応する患者の前々回の結果データを読み込み（Ｓ１９０２）、前回の結果データを読み込む（Ｓ１９０３）。そして、施術者側端末４は、前回の結果データと前々回の結果データとを比較し、成績がよくなっているかを判断する（Ｓ１９０４）。

そして、前回の成績が前々回の成績よりも高い場合、施術者側端末４は、難易度を前回よりも高く設定する（Ｓ１９０５）。前回の成績と前々回の成績が同じ場合、施術者側端末４は、難易度を前回と同じに設定する（Ｓ１９０６）。前回の成績が前々回の成績よりも低い場合、施術者側端末４は、難易度を前回よりも低く設定する（Ｓ１９０７）。難易度とは、ターゲットの数や配置範囲などで、設定可能である。ただし、難易度の設定は一例であり、本発明を限定するものではない。

難易度の設定の後、施術者側端末４は、視線履歴に問題があるか否かを判断する（Ｓ１９０８）。ここで、視線履歴に問題があるとは、たとえば、右側のターゲットの選択や抹消についての不正解が多いか否かなどである。Ｓ１９０６の動作は、施術者側端末４が自動で判断してもよいし、施術者又は医師が手動で判断してもよい。

視線履歴に問題が無い場合、施術者側端末４は、標準的な配置ロジックを選択する（Ｓ１９０９）。一方、視線履歴に問題がある場合、施術者側端末４は、弱点を強化する配置ロジックを選択する（Ｓ１９１０）。標準的な配置ロジックとして、たとえば、ランダムにターゲットを配置するロジックが考えられる。弱点を強化するロジックは、たとえば、右側が弱点の場合は、右側へのターゲットの配置を多くするロジックなどが考えられる。ただし、ロジックは一例であり、本発明を限定するものではない。

このようにして、難易度と配置ロジックを設定した上で、施術者側端末４は、問題を生成する際に、難易度と配置ロジックを考慮しても問題を生成するように、画像処理装置５に対して指示する（Ｓ１９１１）。画像処理装置５は、難易度と配置ロジックに基づいて、問題を生成する。

なお、ここでは、前回と前々回とのスコアを比較することで、難易度を調整しているが、比較すべき対象は、前回と前々回とのスコアに限るものではない。前回と何回か前の平均値でもよいし、何回か前の平均値の増減傾向でもよい。いずれにしても、過去のスコアに基づいて、難易度が調整されていればよい。

なお、難易度の調整のみが実施されてもよいし、弱点把握による配置ロジックの調整のみが実施されてもよい。

このように、難易度及び／又は配置ロジックの調整を実現することで、患者のリハビリ効果をより高めることが可能となる。

なお、ターゲットの画像のサイズが変更可能であってもよい。同じ問題の中で、ターゲットの画像のサイズが変わってもよいし、問題の難易度に合わせて、ターゲットの画像のサイズが変わってもよい。

また、ターゲットの画像の色や明るさなどが変更可能であってもよい。同じ問題の中で、ターゲットの画像の色や明るさなどが変わってもよいし、問題の難易度に合わせて、ターゲットの画像の色や明るさが変わってもよい。

これらの調整は、人が手動で設定してもよいし、リハビリ履歴情報に応じて、自動で調整されてもよい。

また、問題の中で、ターゲットは、静止しているだけでなく、移動していてもよい。ターゲットが移動していくことによって、さらなる障害の改善が期待できる。

以上、本発明を詳細に説明してきたが、前述の説明はあらゆる点において本発明の例示にすぎず、その範囲を限定しようとするものではない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。本明細書に開示されている発明の構成要件は、それぞれ独立に単独した発明として成立するものとする。各構成要件をあらゆる組み合わせ方法で組み合わせた発明も、本発明に含まれることとする。

本発明は、リハビリテーションシステム及び画像処理装置に関し、産業上利用可能である。

１ リハビリテーションシステム
２ 医師側端末
３ サーバ
４ 施術者側端末
５ 画像処理装置
６ ネットワーク
５０ 画像処理部
５１ 制御部
５２ 入力部
５３ 表示部
５４ 通信部
５５ 記憶部
５６ 音声出力部
５７ 空間認識部
５８ トラッキング部
５９ 視線検出部（向き検出部）

また、本発明は、画像処理装置の周辺の空間を認識する空間認識部と、空間認識部が認識した空間における画像処理装置の位置及び傾きを認識するトラッキング部と、ユーザの向きを検出する向き検出部と、仮想の対象物を空間認識部が認識した空間上に配置して、トラッキング部が認識した位置及び傾き並びに向き検出部が検出した向きに基づいて、ユーザから見える仮想の対象物の画像を生成する画像処理部と、現実空間上に、画像処理部が生成した仮想の対象物の画像が存在するかのように、画像処理部が生成した画像をユーザに対して表示する複合現実用の表示部とを備える画像処理装置であって、画像処理部に仮想の対象物の画像を生成させて、仮想の対象物の画像を現実空間上に配置するように表示部に表示させることで、高次脳機能障害のリハビリテーションに使用する問題を生成する制御部をさらに備える。

制御部は、向き検出部による検出結果を用いて、ユーザによる問題となる仮想の対象物の画像の選択を検出し、検出した選択結果に基づいて、問題の採点を行う。

制御部は、問題となる仮想の対象物の画像として、ユーザに選択させるための画像を用い、その画像を少なくともユーザの視界上に配置するように、問題を生成する。

制御部は、問題となる仮想の対象物の画像として、ユーザによる現実空間上の移動を促すための画像を用い、その画像を少なくともユーザの視界上に配置するように、問題を生成する。

制御部は、ユーザによる現実空間上の移動を促すための画像を、ユーザの視界の外にも配置するように、問題を生成する。
制御部は、問題となる仮想の対象物の画像を患者に提示するためのアプリを実行するモードとして、測定モードとトレーニングモードとを有しており、測定モードでは、制御部は、予め決められた問題を出題し、トレーニングモードでは、制御部は、ランダムに作成した問題を出題する。
画像処理装置は、問題となる仮想の対象物の画像を患者に提示するためのアプリを実行する際に、仮想のトレーナーとなるアバター画像を表示する。
画像処理装置は、問題の過去のスコアに基づいて、難易度を調整し、難易度に応じた問題を出題する。
画像処理装置は、リハビリテーションの中の患者の視線の履歴情報に基づいて、患者の視線の弱点部分に、問題となる仮想の対象物の画像を、標準的な配置と比較して多く配置する問題を出題する。

また、本発明は、画像処理装置の周辺の空間を認識する空間認識部と、空間認識部が認識した空間における画像処理装置の位置及び傾きを認識するトラッキング部と、ユーザの向きを検出する向き検出部と、仮想の対象物を空間認識部が認識した空間上に配置して、トラッキング部が認識した位置及び傾き並びに向き検出部が検出した向きに基づいて、ユーザから見える仮想の対象物の画像を生成する画像処理部と、現実空間上に、画像処理部が生成した仮想の対象物の画像が存在するかのように、画像処理部が生成した画像をユーザに対して表示する拡張現実用の表示部とを備える画像処理装置において実行されるコンピュータプログラムであって、画像処理装置を、画像処理部に仮想の対象物の画像を生成させて、仮想の対象物の画像を現実空間上に配置するように表示部に表示させることで、高次脳機能障害のリハビリテーションに使用する問題を生成する制御手段として機能させるための高次脳機能障害のリハビリテーション用のコンピュータプログラム。

Claims (12)

1. 画像処理装置の周辺の空間を認識する空間認識部と、
   前記空間認識部が認識した空間における前記画像処理装置の位置及び傾きを認識するトラッキング部と、
   ユーザの向きを検出する向き検出部と、
   仮想の対象物を前記空間認識部が認識した空間上に配置して、前記トラッキング部が認識した前記位置及び前記傾き並びに前記向き検出部が検出した前記向きに基づいて、前記ユーザから見える前記仮想の対象物の画像を生成する画像処理部と、
   現実空間上に、前記画像処理部が生成した前記仮想の対象物の画像が存在するかのように、前記画像処理部が生成した画像を前記ユーザに対して表示する複合現実用の表示部とを備える画像処理装置であって、
   現実空間上に、高次脳機能障害のリハビリテーションに使用する前記仮想の対象物の画像が存在するかのような問題を生成する制御部をさらに備えることを特徴とする、高次脳機能障害のリハビリテーション用の画像処理装置。
2. 前記制御部は、前記向き検出部による検出結果を用いて、前記ユーザによる前記仮想の対象物の画像の選択を検出し、検出した選択結果に基づいて、前記問題の採点を行うことを特徴とする、請求項１に記載の画像処理装置。
3. 前記制御部は、前記仮想の対象物の画像として、前記ユーザに選択させるための画像を用い、その画像を少なくとも前記ユーザの視界上に配置するように、前記問題を生成することを特徴とする、請求項２に記載の画像処理装置。
4. 前記制御部は、前記ユーザに選択させるための画像を、前記ユーザの視界の外にも配置するように、前記問題を生成することを特徴とする、請求項３に記載の画像処理装置。
5. 前記制御部は、前記トラッキング部による前記画像処理装置の位置の検出結果に基づいて、前記問題の採点を行うことを特徴とする、請求項１～４のいずれかに記載の画像処理装置。
6. 前記制御部は、前記仮想の対象物の画像として、前記ユーザによる現実空間上の移動を促すための画像を用い、その画像を少なくとも前記ユーザの視界上に配置するように、前記問題を生成することを特徴とする、請求項５に記載の画像処理装置。
7. 前記制御部は、前記ユーザによる現実空間上の移動を促すための画像を、前記ユーザの視界の外にも配置するように、前記問題を生成することを特徴とする、請求項６に記載の画像処理装置。
8. 前記制御部は、前記問題を患者に提示するためのアプリを実行するモードとして、測定モードとトレーニングモードとを有しており、
   前記測定モードでは、前記制御部は、予め決められた問題を出題し、
   前記トレーニングモードでは、前記制御部は、ランダムに作成した問題を出題することを特徴とする、請求項１～７のいずれかに記載の画像処理装置。
9. 前記問題を患者に提示するためのアプリを実行する際に、仮想のトレーナーとなるアバター画像を表示することを特徴とする、請求項１～８のいずれかに記載の画像処理装置。
10. 前記問題の過去のスコアに基づいて、難易度を調整し、前記難易度に応じた問題を出題することを特徴とする、請求項１～９のいずれかに記載の画像処理装置。
11. 前記リハビリテーションの履歴情報に基づいて、患者の弱点に応じた問題を出題することを特徴とする、請求項１～１０のいずれかに記載の画像処理装置。
12. 画像処理装置の周辺の空間を認識する空間認識部と、
    前記空間認識部が認識した空間における前記画像処理装置の位置及び傾きを認識するトラッキング部と、
    ユーザの向きを検出する向き検出部と、
    仮想の対象物を前記空間認識部が認識した空間上に配置して、前記トラッキング部が認識した前記位置及び前記傾き並びに前記向き検出部が検出した前記向きに基づいて、前記ユーザから見える前記仮想の対象物の画像を生成する画像処理部と、
    現実空間上に、前記画像処理部が生成した前記仮想の対象物の画像が存在するかのように、前記画像処理部が生成した画像を前記ユーザに対して表示する複合現実用の表示部とを備える画像処理装置において実行されるコンピュータプログラムであって、
    前記画像処理装置を、現実空間上に、高次脳機能障害のリハビリテーションに使用する前記仮想の対象物の画像が存在するかのような問題を生成する制御手段として機能させるための高次脳機能障害のリハビリテーション用のコンピュータプログラム。

Images