CN113678206A - 用于高级脑功能障碍的康复训练系统及图像处理装置 - Google Patents

Abstract

本发明提供一种康复训练系统(1)，其用于实施高级脑功能障碍的康复训练，且具备：图像处理装置(5)、训练师侧终端(4)、服务器(3)、医师侧终端(2)，图像处理装置(5)执行应用程序，该应用程序用于通过使用了虚拟现实、增强现实或者混合现实的图像来向患者提示康复训练用的问题，图像处理装置(5)将患者解答问题的履历作为康复训练履历信息进行存储；训练师侧终端(4)从图像处理装置(5)接收康复训练履历信息；服务器(3)保存从训练师侧终端(4)发送来的康复训练履历信息；医师侧终端(2)从服务器(3)接收康复训练履历信息，并基于康复训练履历信息来显示患者的康复训练的实施状况。

Description

用于高级脑功能障碍的康复训练系统及图像处理装置

技术领域

本发明涉及一种用于对由于脑卒中、认知症、脑麻痹、外伤性脑损伤、脑肿瘤、发育障碍、抑郁症、精神分裂症或帕金森病等原因而产生的高级脑功能障碍的患者进行康复训练的系统，尤其涉及一种使用图像处理技术来对高级脑功能障碍进行康复训练的系统和图像处理装置。

背景技术

高级脑功能障碍是指由于脑卒中、认知症、脑麻痹、外伤性脑损伤、脑肿瘤、发育障碍、抑郁症、精神分裂症或帕金森病等原因导致脑损伤而出现记忆障碍、注意障碍、遂行机能障碍等症状的疾病。

如专利文献1至7中记载的那样，以往提出了使用虚拟图像进行高级脑功能障碍的康复训练的装置。

在专利文献1记载的针对脑功能障碍者的康复训练装置中，在头戴式视觉显示装置(4)上显示虚拟现实的图像，通过患者操作训练机(6)或空间操纵杆(5)，从而在头戴式视觉显示装置(4)上显示患者是否正在虚拟空间中移动的图像。由此，患者一边观察虚拟环境的图像一边移动训练机(6)等，该移动反映在虚拟环境的图像中，因此能够恢复根据视觉对脑的刺激来移动身体的机能。就专利文献1而言，作为虚拟环境的图像，能够准备各种图像，因此通过进一步改变信息量较多的视觉信息，从而能够使患者对训练产生意愿和兴趣。

在专利文献2记载的高级脑功能障碍康复训练装置中，虚拟世界控制单元(104)显示虚拟世界并且向患者提示题目数据。根据患者对题目数据的反应来判定是否成功，并根据是否成功的判定结果来生成患者的识别状态的数据。此外，在专利文献2记载的高级脑功能障碍康复训练装置中，基于患者的成绩评价结果变更题目数据的难易度。由此，专利文献2中记载的高级脑功能障碍康复训练装置提供了能够使患者执行日常生活所需各种动作的环境。

在专利文献3记载的康复训练辅助系统中，在安装于患者头部的头戴式显示器上显示作为康复训练动作的指标的指标图像，并在患者的视野内显示表示患者应该进行的动作的指标。由此，患者能够直观且自然地理解自己应该进行的动作，并能够使康复训练顺利进行。

在专利文献4记载的康复训练辅助装置中，在头戴式显示器(94)上显示图像。例如，当使用者坐在椅子上时可以看到海中的图像，当使用者站起时可以看到海面上的天空的图像。由此，提高对坐立的康复训练运动的动机。

就专利文献5至7中记载的康复训练辅助系统而言，将根据康复训练动作而运动的网络虚拟图像以及表示康复训练动作的目标的目标图像显示在头戴式显示器(233)上，从而将康复训练动作与目标位置进行比较来评价康复训练能力。此外，就专利文献5至7而言，涉及到通过对认知机能和运动题目等两种题目进行组合来提高康复训练效果的双重任务的有用性，检测第一康复训练动作和第二康复训练动作，基于两者的动作来评价康复训练能力。

在专利文献8记载的康复训练系统中，为了对高级脑功能障碍的患者进行康复训练，提出了在平板终端上显示康复训练题目来进行康复训练的系统。在专利文献8记载的系统中，服务器从硬盘获取患者关于康复训练题目的等级，根据获取的等级来决定康复训练题目的出题内容。平板终端显示与通过服务器决定的出题内容对应的康复训练题目，供患者解答康复训练题目。平板终端基于最近的规定次数的对康复训练题目的解答结果，来判定患者关于康复训练题目的等级。

专利文献9涉及一种为了使高级脑功能障碍的患者保持进行康复训练的意愿而具备娱乐性的系统。在专利文献9记载的康复训练辅助系统中，设置有对患者进行拍摄的摄像机、以及显示通过摄像机拍摄的患者图像的投影仪或液晶显示器等图像显示单元。在专利文献9记载的系统中，在通过图像显示单元显示的图像中，对用于康复训练的游戏的目标显示与通过摄像机拍摄的患者的手的图像进行合成，并检测手的位置，从而根据患者是否选择了目标显示来进行游戏并进行康复训练。

在专利文献10记载的用于康复训练系统中，对通过摄像机(11)获取的患者的拍摄图像与在计算机(12)中生成的康复训练图像进行合成，并使用投影仪(14)在屏幕(13)上进行显示。在该用于康复训练的系统中，在患者的摄像图像中，根据图像数据来确定患者的动作部(手)的位置，基于该患者的动作部与康复训练图像中包含的反应图像部之间的干涉状态，来改变康复训练图像中的反应图像部的显示方式等，促使患者进行康复训练动作。

就专利文献11和12而言，在显示器上显示虚拟图像来执行患者的康复训练。

就专利文献1至7记载的系统而言，使用头戴式显示器等来再现虚拟空间，并使患者在虚拟空间中移动，或者解答在虚拟空间中提示的题目，从而使患者进行用于康复训练的动作。

也有如专利文献9至12记载的系统那样在投影仪或显示器上显示合成图像等来促进康复训练动作的系统。

在专利文献8记载的系统中，在平板终端上显示题目来进行康复训练。在专利文献8中，公开了从服务器向平板终端发送与患者的等级对应的出题内容的系统。

现有技术文献

专利文献

专利文献1：日本特开平成8-280762号公报

专利文献2：日本特开2001-079050号公报

专利文献3：日本特开2015-228957号公报

专利文献4：日本特开2018-079308号公报

专利文献5：日本专利第6200615号公报

专利文献6：日本特开2018-185501号公报

专利文献7：日本专利第6425287号公报

专利文献8：日本特开2018-195273号公报

专利文献9：日本特开2006-325740号公报

专利文献10：日本特开2011-110215号公报

专利文献11：日本特开平成09-120464号公报

专利文献12：日本特开平成10-151162号公报

发明内容

(一)要解决的技术问题

在对高级脑功能障碍的患者进行康复训练的现场，医师决定患者的康复训练内容，作业治疗师等训练师根据医师的指示，对患者实施康复训练。为了高效且有效地进行康复训练，要求医师和训练师共享患者的症状和改善状况，实施符合患者状况的适当的康复训练。

在专利文献1至7记载的系统中，仅关注了使用虚拟图像进行康复训练的情况。虽然不否认使用虚拟图像的高级脑功能障碍的康复训练的有用性，但是在专利文献1至7中并未考虑到：医师和训练师如何共享信息，医师是否决定了最佳的康复训练。将图像显示在投影仪或显示器上的专利文献9至12的系统也同样如此。

在专利文献8记载的系统中，也只是从服务器向平板终端发送与患者的等级相应的出题内容。就专利文献8记载的系统而言，并非供医师准确掌握患者的改善状况等并决定最佳的康复训练菜单的系统。

高级脑功能障碍是由脑损伤等引起的障碍，为了治疗高级脑功能障碍，医师和训练师适当地掌握改善状况，并使用适当的康复训练菜单，来逐渐改善脑功能障碍是有效的。但是，就专利文献1至12记载的现有系统而言，无法在医师和训练师之间共享患者的康复训练的实施结果、训练后的改善状况等。

因此，本发明的目的在于，提供一种高级脑功能障碍的康复训练系统，可使医师和训练师容易掌握患者的康复训练的状况，并能够生成适当的康复训练菜单。

此外，在专利文献1至7记载的系统中，通过在头戴式显示器等上显示图像，从而实现虚拟现实(VR：Virtual Reality)并用于康复训练，但是也存在患者陷入所谓的VR晕眩的状态、跌倒或碰到现实世界的障碍物的危险性。存在因基于VR的康复训练而导致患者的心情变差、感觉发生异变、受伤等情况，无法获得康复训练的效果。

因此，本发明的另一个目的是提供一种能够使患者没有不适感地进行康复训练的系统。

(二)技术方案

为了解决上述课题，本发明具有以下特征。本发明是一种康复训练系统，其用于实施高级脑功能障碍的康复训练，且具备：图像处理装置，其执行应用程序，该应用程序用于通过使用了虚拟现实、增强现实或者混合现实的图像来向患者提示康复训练用的问题，所述图像处理装置将患者解答问题的履历作为康复训练履历信息进行存储；训练师侧终端，其从图像处理装置接收康复训练履历信息；服务器，其保存从训练师侧终端发送来的康复训练履历信息；以及医师侧终端，其从服务器接收康复训练履历信息，并基于康复训练履历信息来显示患者的康复训练的实施状况。

图像处理装置包含用于提示问题的一种以上的应用程序。训练师侧终端能够选择通过图像处理装置实施的应用程序，并指示图像处理装置执行选择的应用程序。

医师侧终端将对使用的应用程序建立关联，生成在图像处理装置中实施的康复训练的计划安排，并保存于所述服务器。训练师侧终端能够下载服务器中保存的计划安排，并指示图像处理装置执行通过计划安排指定的应用程序。

至少一个预期可通过实施应用程序而改善的障碍与通过图像处理装置使用的应用程序建立对应。在康复训练履历信息中包含针对应用程序提出的问题的解答的得分。医师侧终端按照障碍来显示应用程序的得分，从而进行显示以供了解障碍的改善状况。

医师侧终端按时间序列显示应用程序的评分结果。

在康复训练履历信息中包含与患者的动作有关的信息。医师侧终端和/或训练师侧终端能够基于康复训练履历信息进行再现患者的动作的显示。

图像处理装置在执行应用程序的过程中将从患者的视角看到的图像发送到训练师侧终端。训练师侧终端显示从图像处理装置发送来的图像。

通过训练师侧终端显示的图像作为动画保存。

医师侧终端能够对保存的动画进行播放。

从图像处理装置发送来的图像被同时传送到医师侧终端。

通过图像处理装置执行的应用程序具有可调整的设定条件。医师侧终端和/或训练师侧终端能够调整设定条件。

能够将显示问题的角度的范围作为设定条件进行调整。

能够将通过问题显示的对象物的数量作为设定条件进行调整。

图像处理装置具有测定模式和训练模式，作为执行应用程序的模式。在测定模式下，图像处理装置提出预先确定的问题。在训练模式下，图像处理装置提出随机生成的问题。

在图像处理装置上显示作为虚拟训练员的网络虚拟图像。

医师侧终端、训练师侧终端、图像处理装置或服务器基于问题的过去的得分，调整问题的难易度，并使图像处理装置提出与难易度对应的问题。

医师侧终端、训练师侧终端、图像处理装置或服务器根据基于康复训练履历信息的患者的弱点，生成与弱点对应的问题，并使图像处理装置提出该问题。

图像处理装置执行数字抹消应用程序，该数字抹消应用程序使用虚拟现实、增强现实或者混合现实来显示数字的图像，提出将数字的图像依次抹消的问题。

图像处理装置执行第一选择抹消应用程序，该第一选择抹消应用程序使用虚拟现实、增强现实、或者混合现实来显示作为目标和非目标的图像，提出将作为目标的图像抹消的问题。

图像处理装置执行第二选择抹消应用程序，该第二选择抹消应用程序使用虚拟现实、增强现实或者混合现实来显示作为目标和非目标的图像，提出选择作为目标的图像并在选择后使图像变化的问题。

图像处理装置执行空间配置应用程序，该空间配置应用程序使用虚拟现实、增强现实或者混合现实来显示至少一个墙壁的图像和配置在墙壁上的作为目标和非目标的图像，提出将作为目标的图像抹消的问题。

图像处理装置执行迷宫应用程序，该迷宫应用程序使用虚拟现实、增强现实或者混合现实来显示作为迷宫的图像，提出将迷宫破解的问题。

通过迷宫应用程序，显示作为目标的图像，提出将作为目标的图像抹消的问题。另外，这里的“抹消”是除了有意地选择目标之外还包括在到达了决定的位置时抹消目标的概念。

图像处理装置执行网格移动应用程序，该网格移动应用程序使用虚拟现实、增强现实或者混合现实来显示作为网格的图像，提出在网格上移动的问题。

图像处理装置在使用虚拟现实、增强现实或者混合现实来显示虚拟图像的应用程序中，在患者的视野范围外也显示虚拟图像。

虚拟图像是问题的作为目标和/或非目标的图像。

虚拟图像是在问题中使用的墙壁、迷宫或网格的图像。

此外，本发明是一种图像处理装置，其具备：空间识别部，其识别图像处理装置的周边的空间；跟踪部，其对空间识别部识别的空间中的图像处理装置的位置或倾斜进行识别；朝向检测部，其检测使用者的朝向；图像处理部，其将虚拟的对象物配置在空间识别部识别的空间中，并基于跟踪部识别的位置或倾斜以及朝向检测部检出的朝向，生成从使用者的视角看到的虚拟的对象物的图像；以及用于增强现实的显示部，其以在现实空间中是否存在图像处理部生成的虚拟的对象物的图像的方式向使用者显示图像处理部生成的图像，该图像处理装置还具备控制部，该控制部生成如下的问题：在现实空间中是否存在有在高级脑功能障碍的康复训练中使用的虚拟的对象物的图像。

控制部使用基于朝向检测部的检测结果，检测使用者对虚拟的对象物的图像的选择，并基于检出的选择结果进行问题的评分。

控制部使用供使用者选择之用的图像作为虚拟的对象物的图像，以将该图像至少配置在使用者的视野中的方式生成问题。

控制部以将供使用者选择之用的图像也配置在使用者的视野外的方式生成问题。

控制部基于跟踪部对图像处理装置的位置的检测结果，进行问题的评分。

控制部使用促使使用者在现实空间中移动的图像作为虚拟的对象物的图像，以将该图像至少配置在使用者的视野中的方式生成问题。

控制部以将用于促使使用者在现实空间中移动的图像也配置在使用者的视野外的方式提出问题。

此外，本发明是一种存储介质，其存储有用于高级脑功能障碍的康复训练的计算机程序，该计算机程序通过图像处理装置执行，所述图像处理装置具备：空间识别部，其识别图像处理装置的周边的空间；跟踪部，其对空间识别部识别的空间中的图像处理装置的位置或倾斜进行识别；朝向检测部，其检测使用者的朝向；图像处理部，其将虚拟的对象物配置在空间识别部识别的空间中，并基于跟踪部识别的位置或倾斜以及朝向检测部检出的朝向，生成从使用者的视角看到的虚拟的对象物的图像；以及用于增强现实的显示部，其以在现实空间中是否存在图像处理部生成的虚拟的对象物的图像的方式向使用者显示图像处理部生成的图像，该存储介质的特征在于，计算机程序使图像处理装置作为控制单元发挥功能，该控制单元生成如下的问题：在现实空间中是否存在有在高级脑功能障碍的康复训练中使用的虚拟的对象物的图像。

(三)有益效果

根据本发明，在基于使用了虚拟现实、增强现实或者混合现实的图像来执行康复训练的图像处理装置中，存储康复训练履历信息，该康复训练履历信息能够在训练师侧终端和医师侧终端中共享。因此，医师和训练师容易掌握患者的康复训练的状况，其结果是，能够生成适当的康复训练菜单。

图像处理装置包含一种以上的应用程序，从训练师侧终端指定要使用的应用程序。由此，能够执行符合患者症状的应用程序，并能够提高康复训练的效果。

在医师侧终端中，能够指定用于训练的应用程序，并简单地生成康复训练的计划安排。并且，在训练师侧终端中，能够下载通过医师侧终端生成的计划安排，指示图像处理装置执行应用程序。因此，能够简单地按照医师的指示来实施适当的康复训练。

通过预先将预期改善的障碍按照应用程序来建立对应，从而能够按照障碍来掌握执行应用程序时的得分，因此能够在医师侧终端中客观地并且以视觉方式掌握障碍的改善状况。

此外，医师侧终端按时间序列显示得分，从而能够客观地并且以视觉方式掌握是否产生了康复训练的效果。

通过在医师侧终端和/或医师侧终端上显示康复训练履历信息中包含的患者的动作，从而医师等能够客观地并且以视觉方式掌握患者的障碍的状况。

在执行应用程序的过程中，通过在训练师侧终端显示患者正在观看的图像，从而训练师等能够掌握患者是否理解含义并正在执行康复训练等，并且能够进行适当的建议等。

通过将上述图像作为动画保存，从而以后也能够确认患者的康复训练的状态。

之后，能够通过医师侧终端对保存的动画进行播放，即使不在康复训练的现场的医师也能够掌握康复训练的情况，并且能够作为今后生成康复训练菜单的参考。

此外，通过将上述图像同时传送到医师侧终端，从而即使是远程的康复训练，医师也能够同时地了解康复训练的情况，能够有助于生成适当的康复训练菜单。

由于能够调整应用程序的设定条件，从而能够根据康复训练的进展来调整问题的难易程度。通过在医师侧终端和/或训练师侧终端中预先进行这些调整，从而能够生成符合患者状况的灵活的康复训练菜单。

例如，由于能够预先对显示问题的角度的范围进行调整，从而能够配合患者的视野的宽窄而灵活地进行康复训练菜单的调整。

例如，由于能够预先对通过问题显示的对象物的数量进行调整，从而能够配合患者的障碍程度而灵活地进行康复训练菜单的调整。

通过设置测定模式和训练模式作为应用程序的执行模式，从而能够测定患者的障碍程度，或者使患者挑战新问题，能够提高康复训练的效果。

通过在图像处理装置上显示作为虚拟训练员的网络虚拟图像，从而能够增强患者对康复训练的意愿。

通过调整问题的难易度，从而能够配合患者的障碍状况来出题。

由于能够根据患者的弱点来出题，从而能够进行改善患者的弱点的康复训练。

通过数字抹消应用程序，能够改善注意力的功能障碍。

通过第一选择抹消应用程序，能够改善注意力的功能障碍和/或空间认知力的功能障碍。

通过第二选择抹消应用程序，能够改善注意力的功能障碍和/或抑制力的功能障碍。

通过空间配置应用程序，能够改善空间认知力的功能障碍和/或信息获得力的功能障碍。

通过迷宫应用程序，能够改善空间认知力的功能障碍。

在迷宫应用程序中，通过一并提出将作为目标的图像抹消的问题，从而能够改善遂行机能的功能障碍。

通过网格移动应用程序，能够改善记忆力的功能障碍和/或遂行机能的功能障碍。

通过在患者的视野范围外也显示虚拟图像，从而能够改善空间认知力的功能障碍和/或记忆力的功能障碍。

通过使用增强现实用的图像处理装置，生成在现实空间中是否存在有在高级脑功能障碍的康复训练中使用的虚拟的对象物的图像的问题，从而降低了患者陷入所谓的VR晕眩或跌倒等状况的危险性。因此，患者能够没有不适感地安全地进行康复训练。

在使用增强现实的情况下，通过使用基于使用者动作的选择来进行评分，从而能够进行简单的评分。

如果在使用者的视野中至少配置图像来提供问题，则能够使患者方便地解答问题。

通过在使用者的视野外也配置问题的图像，从而患者能够通过脸部移动或身体移动来解答问题，因此具有能够同时使用脑功能和身体功能、的双重任务的康复训练效果。另外，即使在使用者的视野内配置有问题的图像的情况下，也会由于患者在敲击时动手而同时使用脑功能和身体功能，从而能够获得双重任务的康复训练效果。此外，考虑到患者可能会想是否在视野外也配置了问题的图像而使用身体功能的情况，因此基于该观点也能够获得双重任务的康复训练效果。

通过基于跟踪部对位置的检测来进行评分，从而能够进行促使患者移动的康复训练。

只要至少在患者的视野中显示问题，就能够切实地促使患者移动。

此外，通过在视野外显示图像，从而能够进一步促使患者移动。

通过将能够执行本发明的动作处理的程序以将其非暂时性地保存的记录介质来提供，从而能够在通用的图像处理装置中实现本发明，并使本发明普及。

本发明的这些目的、特征、方面、效果以及其他的目的、特征、方面、效果可通过附图和以下的详细说明而更加清楚。

附图说明

图1是表示本发明第一实施方式的康复训练系统1的整体结构的图。

图2是表示医师侧终端2的功能性结构的框图。

图3是表示服务器3的功能性结构的框图。

图4是表示训练侧终端4的功能性结构的框图。

图5是表示图像处理装置5的功能性结构的框图。

图6是表示康复训练系统1中的各装置的整体性的动作流程的流程图。

图7是表示正在执行数字抹消应用程序时的操作影像的图。

图8是表示正在执行第一选择抹消应用程序时的操作影像的图。

图9是表示正在执行第二选择抹消应用程序时的操作影像的图。

图10是表示正在执行空间配置应用程序时的操作影像的图。

图11是表示正在执行迷宫应用程序时的操作影像的图。

图12是表示正在执行网格移动应用程序时的操作影像的图。

图13是表示存储在图像处理装置5中的康复训练履历信息的数据结构的图。

图14是表示在医师侧终端2中的计划安排生成处理(S103)中使用的计划安排生成画面的一例的图。

图15是表示在图14的(a)的状态下选择了12月20日的栏时的计划安排的生成流程的图。

图16是表示训练师侧终端4中的康复训练菜单的选择画面的一例的图。

图17的(a)是表示训练师侧终端4中的用于开始康复训练的指示的画面的一例的图。图17的(b)是表示训练师侧终端4中的康复训练中的画面的一例的图。

图18是表示训练师侧终端4中的康复训练中的画面的一例的图。

图19是表示在训练师侧终端4上显示的应用程序的执行结果的画面的一例的图。

图20是表示医师侧终端2上的康复训练履历信息的显示的一例的图。

图21是表示通过医师侧终端2阅览康复训练履历信息的详细内容时的显示画面的一例的图。

图22是医师侧终端2中的计划安排的生成处理的流程图。

图23是表示训练师侧终端4中的计划安排的下载处理的流程图。

图24是训练师侧终端4中的康复训练开始指示的流程图。

图25是表示正在执行数字抹消应用程序的图像处理装置5的动作的流程图。

图26是图像处理部50中的图像描绘处理的流程图。

图27是表示图25的动作的后续的流程图。

图28是表示执行第一选择抹消应用程序的图像处理装置5的动作的流程图。

图29是表示执行第二选择抹消应用程序的图像处理装置5的动作的流程图。

图30是表示图29的动作的后续的流程图。

图31是表示执行空间配置应用程序的图像处理装置5的动作的流程图。

图32是表示执行迷宫应用程序的图像处理装置5的动作的流程图。

图33是表示图32的动作的后续的流程图。

图34是表示执行网格移动应用程序的图像处理装置5的动作的流程图。

图35是表示图34的动作的后续的流程图。

图36是表示第二实施方式中的训练师侧终端4与图像处理装置5之间的动作流程的流程图。

图37是表示医师侧终端2和/或训练师侧终端4中的数字抹消应用程序中的应用程序设定条件的设定画面的一例的图。

图38是表示医师侧终端2和/或训练师侧终端4中的第一选择抹消应用程序中的应用程序设定条件的设定画面的一例的图。

图39是表示医师侧终端2和/或训练师侧终端4中的第二选择抹消应用程序中的应用程序设定条件的设定画面的一例的图。

图40是表示医师侧终端2和/或训练师侧终端4中的空间配置应用程序中的应用程序设定条件的设定画面的一例的图。

图41是表示医师侧终端2和/或训练师侧终端4中的迷宫应用程序中的应用程序设定条件的设定画面的一例的图。

图42是表示医师侧终端2和/或训练师侧终端4中的网格移动应用程序中的应用程序设定条件的设定画面的图。

图43是显示在图像处理装置5上的虚拟训练员(virtual trainer)的一例。

图44是表示在设定为能够自动地调整问题的难易度时医师侧终端2和/或训练师侧终端4的动作的流程图。

具体实施方式

(第一实施方式)

图1是表示本发明第一实施方式的康复训练系统1的整体结构的图。在图1中，康复训练系统1具备：医师侧终端2、服务器3、训练师侧终端4以及图像处理装置5。

医师侧终端2、服务器3以及训练师侧终端4经由网络6以可通信的方式连接。信息处理装置5和训练师侧终端4通过无线或有线方式可通信地连接。另外，在本发明的康复训练系统1中设定为包括：训练师侧终端4和信息处理装置5在医院等康复训练设施内连接的情况(院内的康复训练)；以及训练师侧终端4和信息处理终端5经由网络连接的情况(在家康复训练或远程康复训练等)。

医师侧终端2按照患者生成高级脑功能障碍的康复训练的菜单(以下称为“康复训练菜单”。)，并将其存储在服务器3中。训练师侧终端4从服务器3下载医师侧终端2登记的康复训练菜单。训练师侧终端4指示患者使用的图像处理装置5执行与下载的康复训练菜单有关的康复训练。图像处理装置5按照指示的康复训练菜单，显示康复训练所需的图像。将通过图像处理装置5执行的康复训练履历信息发送到训练师侧终端4。训练师侧终端4将康复训练履历信息上传至服务器3。医师侧终端2基于上传至服务器3的康复训练履历信息，以能够通过视觉知晓的方式来显示患者的康复训练的实施状况。这样，康复训练系统1是如下的系统，该系统实现：医师对康复训练菜单的决定、训练师侧的康复训练的实施、对进行康复训练的患者的状况的显示。

另外，也能够不使用医师侧终端2和服务器3，而通过训练师侧终端4和图像处理装置5来实施康复训练，对于该实施方式，在第二实施方式中进行说明。

对于本实施方式的康复训练系统1，设定为系统单独存在来进行说明。但是，本发明的康复训练系统也能够嵌入到医疗用的群件(groupware)或电子病历系统、其他医疗用系统的一部分中来运行。

因此，嵌入其他医疗用系统中运行的康复训练系统也包含在本发明中。

医师侧终端2是医师使用的计算机装置，只要是个人计算机、工作站、平板终端、智能手机等信息处理装置即可，其名称没有特别限定。在多个医师使用医师侧终端2的情况下，各医师可以分别使用不同的医师侧终端2。此外，也可以由多个医师共享一个医师侧终端2，并按照医师设定账户进行使用。此外，医师能够通过任何公知的方法使用医师侧终端2。

训练师侧终端4是作业治疗师等训练师使用的计算机装置，只要是个人计算机、工作站、平板终端、智能手机等信息处理装置即可，其名称没有特别限定。另外，训练师是指对患者实施康复训练的人，不限于作业治疗师，就本发明而言，还包括理疗师、护士、医师、护理师、针灸师、家属、熟人亲友等，在本发明中是不考虑有无职业资格的概念。关于训练师侧终端4，各训练师也可以分别使用不同的训练师侧终端4，此外，也可以由多个训练师共享一个训练师侧终端4，并按照训练师设定账户进行使用。此外，训练师能够通过任何公知的方法使用训练师侧终端4。

服务器3是执行程序的计算机装置，所述程序用于：保存在康复训练系统1中使用的患者的数据等、生成康复训练的计划安排、显示康复训练履历信息。虽然这里图示了一个服务器3，但是也可以使用多个服务器3来保存数据或执行程序。此外，保存数据的服务器和执行程序的服务器也可以作为不同的装置而存在。此外，能够通过任何公知的方法来构建服务器3。

图像处理装置5例如是头戴式显示器(HMD)5a、微软(注册商标)公司的HOLOLENS(注册商标)5b、智能手机或平板终端等装置5c以及安装有该装置5c的护目镜5d、平板终端或智能手机等触摸输入型显示装置5e等。在图1中，图示出三个图像处理装置5，但是对数量没有限定，可以每一位患者各自拥有图像处理装置5，也可以由多位患者共享使用图像处理装置5。在本实施方式中，虽然在说明书和附图中有标记为HMD的情况，但是并不意味着将图像处理装置5限定于头戴式显示器，只是为了简化标记图像处理装置5。

在图像处理设备5中使用的技术是虚拟现实(VR：Virtual Reality)、增强现实(AR：Augmented Reality)以及混合现实(MR：Mixed Reality)。关于虚拟现实、增强现实以及混合现实的分类方法，可以考虑各种方法，但是在本说明书中，作为具有以下意义的方法进行说明。

在使用虚拟现实的情况下，图像处理装置5显示与虚拟空间有关的图像，并向使用者提供是否实际存在于虚拟空间中的感觉。一般地，当使用虚拟现实时，所显示的图像对应于用户的动作而改变，能够向使用者提供是否在虚拟空间中移动的感觉。在使用虚拟现实的情况下，需要虚拟空间中的物体的三维信息以及图像处理装置5的位置或倾斜、使用者的视线等跟踪信息。在虚拟空间中，计算使用者正在什么位置以什么朝向来观察虚拟空间，并基于该计算，在图像处理装置5上显示虚拟空间中的图像。

另外，虽然在以下的说明中，在虚拟现实以及增强现实中，使用通过眼跟踪功能等来检测使用者的视线的情况进行例示性的说明，但是只要知道使用者朝向什么方向、或者至少是使用者的朝向即可。因此，以使用者的视线进行说明的内容全部都能够置换为使用者的朝向来理解，在此情况下，在图像处理装置5中，代替视线检测部59而使用朝向检测部59来理解发明。另外，使用者的视线是包含在使用者的朝向中的概念。视线检测部59是包含在朝向检测部59中的概念。除了视线以外，作为用于检测使用者的朝向的具体手段，例如能够使用颈部运动感知，但是并不限定本发明。

在使用增强现实的情况下，针对图像处理装置5获取的现实图像，将虚拟的对象物的图像与现实图像进行合成，并显示合成后的两者的图像。在增强现实中，识别用于合成虚拟的对象物的现实图像，并将虚拟的对象物的图像与识别的现实图像进行合成。因此，在本说明书中设定为，图像处理装置5不是如虚拟现实或混合现实那样获得图像处理装置5的位置或倾斜、使用者的视线等跟踪信息。但是，该定义只是为了容易理解说明而在本说明书中进行的定义，在本发明中，当然也可以使用能够获得跟踪信息的图像处理装置，并通过增强现实来实现本发明。

在使用显示装置5e的情况下，主要设定为AR的情况。患者一边拿着平板终端等显示装置5e，一边用显示装置5e的摄像机拍摄周围的现实空间，同时移动显示装置5e，配合该移动，通过图像合成将虚拟空间中的对象物合成到现实空间的影像中。但是，AR的情况不限于显示装置5e。

在混合现实中实现空间识别，该空间识别通过图像识别或深度摄像机、红外线传感器、激光照射、其他各种传感器或检测器等将现实空间识别为立体形状。在使用混合现实的情况下，图像处理装置5显示在识别的现实空间中是否存在对象物的图像，向使用者提供在现实空间中是否存在虚拟的对象物的感觉。此外，在使用混合现实的情况下，图像处理装置5能够识别现实空间中的图像处理装置5的位置或倾斜、使用者的视线等(跟踪信息)，能够配合现实空间中的使用者的移动进行显示，向使用者提供虚拟的对象物保持在现实空间中配置的状态的感觉。在混合现实的情况下，图像处理装置5能够检测使用者的视线，并能够掌握使用者正在朝向什么方向。因此，图像处理装置5也能够根据使用者的朝向来改变所显示的图像。此外，在混合现实中，能够检测使用者的手指或手的动作，进行虚拟的对象物的选择等。

关于混合现实中的空间识别的方法提出了多种方案，例如提取图像上的奇异点，将提取的多个奇异点变换为三维坐标，从而掌握周围的立体形状，进而确定自身的位置。

另外，虽然本实施方式设定为使用混合现实的情况，但是也适当地对使用虚拟现实和增强现实的情况下的实施方式进行说明。本发明的康复训练系统不仅能够使用混合现实来实现，也能够使用虚拟现实和增强现实来实现。

此外，将与图像处理装置5的位置、倾斜以及使用者的视线有关的信息统称为跟踪信息。另外，由于通过检测图像处理装置5的位置或倾斜来检测使用者的位置或倾斜，因此将图像处理装置5的跟踪信息和使用者的跟踪信息视为来进行说明。

图2是表示医师侧终端2的功能性结构的框图。在图2中，医师侧终端2具备：控制部21、输入部22、显示部23、通信部24和存储部25。

控制部21通过从存储部25读取用于执行康复训练系统1所需的程序并执行该程序，从而控制医师侧终端2的动作。输入部22是键盘、鼠标、触摸面板等用于操作医师侧终端2的设备。显示部23是显示器等显示装置。通信部24是能够经由网络6与外部的服务器3进行通信的装置。

存储部25是存储器或硬盘等记录介质。在存储部25中，除了通过控制部21执行的计划安排兼阅览程序之外，还记录有从服务器3下载的各患者的患者数据。

另外，当在医师侧终端2上显示来自服务器3的返回时、或者在能够通过医师侧终端2进行计划安排和阅览患者数据的情况下，能够使通用的浏览器程序作为计划安排兼阅览程序发挥功能。这样的技术是公知的事项，在此省略详细的说明。

另外，在此，患者数据的保存通过服务器3进行，在医师侧终端2的存储部25中暂时保存患者数据，通过服务器3和医师侧终端2协作，在医师侧终端2上进行基于暂时保存的患者数据的显示。但是，医师侧终端2也可以将患者数据以非暂时性的方式保存于存储部25。

图3是表示服务器3的功能性结构的框图。服务器3具备：控制部31、通信部32和存储部33。服务器3的控制部31根据经由通信部32获取的来自医师侧终端2和训练师侧终端4的指示，执行存储在存储部33中的计划安排程序和/或履历阅览程序，并将执行结果返回至医师侧终端2和训练师侧终端4。

操作医师侧终端2的使用者(典型地为“医师”，但不限于医师)使用输入部22访问服务器3。控制部21根据来自输入部22的指示，经由通信部24访问服务器3，登记康复训练计划安排。此外，控制部21下载所需的患者的患者数据，并将其存储在存储部25中。

控制部21根据经由输入部22的使用者的输入，与服务器3上的程序协作而生成作为执行对象的患者的康复训练菜单。控制部21将生成的康复训练菜单存储在服务器3中。此外，控制部21下载从服务器3获取的患者数据，并将患者的康复训练履历显示在显示部23上。

另外，虽然在此设定为服务器3进行计划安排、康复训练履历信息的管理的实施方式，但是在将服务器3单纯作为在与训练师侧终端4之间进行数据交换的记录装置进行处理的情况下，也可以通过医师侧终端2执行与计划安排程序以及履历阅览程序相当的程序。

即，在本发明的康复训练系统中，医师侧终端2、服务器3、训练师侧终端4以及图像处理装置5各自具有的功能只要设置在系统整体的某处即可，并不是必须设置在以下说明的各装置中。例如，训练师侧终端4也可以具有图像处理装置5所具有的功能的一部分。此外，医师侧终端2或服务器3也可以具有训练师侧终端4具有的功能的一部分。

图4是表示训练侧终端4的功能性结构的框图。训练师侧终端4具备：控制部41、输入部42、显示部43、通信部44和存储部45。

控制部41执行存储在存储部4中的康复训练指示程序，并控制训练师侧终端4的动作。输入部42是键盘、鼠标、触摸面板等用于操作训练师侧终端4的设备。显示部43是显示器等显示装置。通信部44是能够经由网络6与外部的服务器3进行通信的装置。通信部44是用于与图像处理装置5进行通信的装置。网络6不特别限定网络的种类，例如是互联网或局域网LAN等。通信部44与图像处理装置5之间的通信也不特别限定通信的种类，例如是有线或无线等。

存储部45是存储器或硬盘等记录介质。在存储部45中记录有康复训练指示程序和从服务器3下载的各患者的患者数据。另外，在此，患者数据的保存通过服务器3进行，在训练师侧终端4的存储部45中暂时保存患者数据，通过康复训练指示程序将暂时保存的患者数据上传到服务器3。但是，在训练师侧终端4中，也可以将患者数据以非暂时性的方式保存在存储部45中。

训练师侧终端4执行康复训练指示程序，向图像处理装置5指示康复训练的执行，从图像处理装置5获取康复训练履历信息，并将康复训练履历信息发送至服务器3。

在此，对患者数据进行说明。作为患者数据，当然存储有患者的姓名、出生年月日、住院履历等基本的信息，除此之外，还使用了表示康复训练的详细履历的“康复训练履历信息”、表示康复训练的菜单的详细内容的“康复训练菜单信息”、以及表示康复训练的计划安排的“计划安排信息”作为患者数据。

患者数据保存在服务器3中，并且能够从医师侧终端2和训练师侧终端4访问最新的患者数据。当然，使用任何公知的方法将患者数据适当地备份，并且对其实施了安全措施以防止从外部非法获取。

图5是表示图像处理装置5的功能性结构的框图。在图5中，图像处理装置5具备：控制部51、输入部52、显示部53、通信部54、存储部55、声音输出部56、空间识别部57、跟踪部58、视线检测部59和图像处理部50。

控制部51控制图像处理装置5整体的动作。

输入部52是有线或无线的开关或触摸面板等用于操作图像处理装置5的设备。另外，在图像处理装置5中，也能够识别使用者的手势来操作图像处理装置5，因此也可以认为没有图示的摄像机和图像识别处理部作为输入部52发挥功能。此外，当视线在一定的场所停留一定时间的时(所谓凝视的情况)，也可以认为进行了选择的操作，因此也可以将基于视线检测部59的信息而控制部51认为进行了操作的处理认为是通过输入部52进行的处理。

显示部53是用于显示生成的图像的装置。如果是VR用的HMD5a，则显示部53是左右眼用的小型显示器。另外，在VR用HMD5a中，可以透过背景，也可以不透过背景。如果是MR用的HOLOLENS(注册商标)5b，则是左右眼用的小型显示器。如果是MR用的HOLOLENS(注册商标)5b，则透过背景。在通过智能手机等装置5c以及安装有该装置5c的护目镜5d来构建信息处理装置5的情况下，将装置5c的显示画面作为显示部53。

另外，作为MR的例子，在此例示了微软(注册商标)公司的HOLOLENS(注册商标)5b，但是当然也可以是除此之外的其他MR用的装置。在MR的情况下，能够从镜头透过现实空间进行感知，此外，也可以在小型显示器上显示通过摄像机拍摄的现实空间的实时图像，并将实时图像和虚拟的对象物合成来实现MR。除此之外，使用任何公知的方法来实现MR的装置均包含在信息处理装置5中。

通信部54是至少能够与训练师侧终端4进行通信的装置，但是也可以在与网络6之间进行通信。

存储部55是存储器等存储介质。在存储部55中存储有：控制应用程序的动作的应用程序执行程序、康复训练履历信息、数字抹消应用程序、第一选择抹消应用程序、第二选择抹消应用程序、空间配置应用程序、迷宫应用程序、以及网格移动应用程序。关于数字抹消应用程序、第一选择抹消应用程序、第二选择抹消应用程序、空间配置应用程序、迷宫应用程序、以及网格移动应用程序，只要存储了其中任一即可，并不是必须存储全部的康复训练用应用程序。另外，对于各康复训练用应用程序的详细情况将在后面依次进行说明。

在将来开发了新的康复训练用应用程序的情况下，图像处理装置5能够通过与训练师侧终端4的通信、与网络6的通信而在存储部55中添加新的康复训练用应用程序。

通过将应用程序执行程序读取控制部51并执行，能够实现：针对各康复训练用应用程序的动作开始指示、各康复训练用应用程序的动作条件设定(称为“应用程序设定条件”)、康复训练履历信息的存储、康复训练履历信息向训练师侧终端4的发送。

声音输出部56是扬声器或耳机等。声音输出部56根据来自控制部51的指示而输出：问题的正确音或者错误音、康复训练用应用程序的执行开始音、康复训练用应用程序正在执行中的声音等。

空间识别部57包含摄像机，并且使用图像识别技术来识别图像处理装置5的周边空间的立体形状。由于已经开发了多种用于通过摄像机拍摄来识别空间的立体形状的技术，因此这里设定为使用这些技术中的任意一种来进行空间识别。另外，在使用VR和AR的情况下，也可以没有空间识别部57。

另外，需要通过空间识别部57进行空间识别的应用程序是空间配置应用程序、迷宫应用程序以及网格移动应用程序。对于数字抹消应用程序以及第一和第二选择抹消应用程序而言，即使不进行空间识别处理，也能够在显示部53上显示是否在现实空间中配置有虚拟空间的对象物。但是，在数字抹消应用程序、第一选择抹消应用程序和第二选择抹消应用程序中，也能够通过进行空间识别而使得虚拟空间的对象物的配置更加准确。

跟踪部58识别图像处理装置5的位置或倾斜等。关于VR或MR

中的跟踪技术，已经开发了多种技术，因此这里采用这些技术中的任意一种来进行位置或倾斜的识别。

除了通过在结构上包含于图像处理装置5的壳体内部的装置之外，跟踪部58还可以通过安装在壳体外部的传感器等来检测位置或倾斜等。因此，图像处理装置5不仅可以实现基于内-外(日语：イ

ンサイドアウト)方式的跟踪，还可以实现基于外-内(日语：アウ

トサイドイン)方式的跟踪。在这种情况下，虽然跟踪部58存在于图像处理装置5的壳体外部，但是可以认为图像处理装置5包括存在于壳体外部的跟踪部58。

视线检测部59是检测正在使用图像处理装置5的使用者的视线的装置。关于VR或MR中的视线检测技术，已经开发了多种技术，因此这里采用这些技术中的任意一种来进行视线的识别。另外，如果视线检测被认为是跟踪技术的一部分，则可以认为视线检测部59包含在跟踪部58中。

图像处理部50生成在显示部53上进行显示的三维图像。在此，将作为三维图像的基础的数据称为三维数据。在各康复训练用应用程序的执行时，图像处理部50将通过空间识别部57识别的现实空间的立体结构作为三维数据存储在存储部55中。图像处理部50将进行配置的虚拟的对象物的三维数据以与现实空间的立体结构的三维数据相同的坐标轴预先存储在存储部55中。对于跟踪信息(位置、倾斜以及视线)的三维数据，图像处理部50也以与现实空间的立体结构的三维数据相同的坐标轴预先存储在存储部55中。通过以相同的坐标轴来管理这三种三维数据，从而图像处理部50能够生成从患者的视线看到的虚拟的对象物的图像，并显示于显示部53。

另外，由于三维数据的处理负荷大，因此这里与控制部51分开，通过图像处理部50来进行三维数据的计算，但是当然也可以通过控制部51进行。

患者一边观看显示部53显示的图像，一边解答给出的题目。

图6是表示康复训练系统1中的各装置的整体性的动作流程的流程图。

医师侧终端2首先登录服务器3(S101)。服务器3接受医师侧终端2的登录，执行计划安排程序以及履历阅览程序(S201)。医师侧终端2显示用于显示康复训练的菜单生成、计划安排管理以及康复训练履历信息的画面。之后，在医师侧终端2侧，一边观察该画面，一边进行康复训练的菜单生成、计划安排管理以及康复训练履历信息的显示。

由于本实施方式是所谓的云系统，因此如上所述，无需在医师侧终端2安装软件。但是，本发明也包括在医师侧终端2安装软件来进行康复训练的菜单生成、计划安排管理以及康复训练履历信息的显示的实施方式，在该实施方式的情况下，服务器3主要作为用于记录计划安排、康复训练菜单、康复训练履历信息的记录装置发挥作用。就医师侧终端2安装有软件时的医师侧终端2的动作而言，与云系统的情况下的动作基本相同，本领域技术人员能够通过援用云系统的情况下的动作来充分地实施，因此省略详细说明。

回到图6的说明。医师侧终端2选择制定康复训练计划安排的患者(S102)。此时，能够从服务器3向医师侧终端2发送该医师负责的患者的名称(S202)，并通过医师侧终端2选择患者。另外，也可以从医师侧终端2检索在服务器3中存储的患者，基于检索结果并通过医师侧终端2选择患者。

接着，通过医师侧终端2执行康复训练菜单的计划安排生成处理(S103)，生成的计划安排被上传到服务器3(S104)。服务器3对上传的康复训练菜单信息和计划安排信息进行保存(S203)。与患者数据建立关联的信息是康复训练履历信息、康复训练菜单信息和计划安排信息。在康复训练菜单信息中包含：使用什么应用程序、此时的应用程序设定条件是什么。在计划安排信息中包含：与训练的日期和时间建立关联的康复训练菜单信息。

到此为止的上述动作典型地是医师在训练的日期和时间之前预先执行的动作。接下来，对接近了训练的日期和时间的情况下的训练师侧终端4中的动作的说明。

训练师侧终端4登录服务器3(S301)。然后，下载所需的计划安排(S302)。训练师侧终端4指示图像处理装置5执行在下载的计划安排中登记的康复训练菜单的应用程序(S303)。该应用程序的开始指示典型地是由训练师进行，但是也可以由患者自己进行。

图像处理装置5接受康复训练开始指示，执行对应的康复训练用应用程序(S401)。在应用程序的执行期间进行评分。此外，从图像处理装置5向训练师侧终端4发送从患者的视线看到了什么图像。通过训练师侧终端4来显示患者正在观看的图像(S304)。另外，在使用透过型的图像处理装置5的情况下，在训练师侧终端4上显示由通过图像处理装置5的摄像机拍摄的现实图像与虚拟的对象物合成的图像。

当康复训练用应用程序的执行结束时，图像处理装置5将康复训练履历信息发送到训练师侧终端4(S402)。训练师侧终端4接收发送来的康复训练履历信息(S305)。训练师侧终端4根据来自训练师的指示或自动地将康复训练履历信息上传到服务器3(S306)。

服务器3对发送来的康复训练履历信息进行保存(S204)。

也可以是在S105之前医师侧终端2先暂时退出登录，并在再次登录后再进行S105的动作。在由医师选择了患者的情况下(S105)，医师侧终端2下载选择的患者的康复训练履历信息并显示康复训练履历(S106)。然后，根据需要，医师侧终端2以与康复训练履历信息建立关联的方式将医师输入的意见发送到服务器3(S107)。服务器3将意见与康复训练信息建立关联并保存(S205)。

以上是康复训练系统1的整体性的动作。接着，示出具体的画面例、数据结构、康复训练影像，来对康复训练系统1的整体性的动作的概要进行说明。另外，例示的画面例、数据结构、康复训练影像仅为示例，当然不对本发明进行任何限定。当然，能够适当地使用本领域技术人员的技术常识来对其进行变更。

图7是表示正在执行数字抹消应用程序时的操作影像的图。在图7中，用虚线表示的框是空间整体。这里，在VR的情况下，空间整体是指虚拟地创建的空间，在虚拟空间中虚拟地设置有床和桌子。在AR和MR的情况下，空间整体是指患者周围的现实空间，在图7的例子中，例示了在现实空间中存在床和桌子。

在图7中，用单点划线表示的区域表示从佩戴了图像处理装置5的患者的视角看到的视野范围。视野是虚拟空间或现实空间的一部分，因此单点划线是比虚线部分窄的区域。

这里，通过图像处理装置5，在虚拟空间或现实空间中配置有1至13的数值。

在使用MR的情况下，通过空间识别来识别现实空间的立体形状，并转换为三维数据。然后，图像处理装置5将虚拟的对象物的三维数据配置在相同的三维坐标上，并且以在实际看到的现实空间中是否存在虚拟的对象物的方式在显示部53上进行显示。在MR中显示了在使用者实际看到的现实空间中是否存在虚拟的对象物的图像，使用者看到的现实空间与AR不同而是实际的空间。

在使用VR的情况下，在虚拟空间的三维数据上配置各数字，并基于配置后的三维数据，图像处理装置5使配置有数字的虚拟空间的图像显示于显示部53。在VR中，对象物的周边的图像是虚拟空间中的图像。

在使用AR的情况下，图像处理装置5将虚拟的对象物与通过摄像机拍摄的现实空间的图像进行合成，并将合成的图像显示于显示部53。在AR中，对象物的周边是实际拍摄的现实空间的图像，在现实空间的图像中合成有虚拟的对象物的图像。在AR中，使用者观看在现实空间的图像中合成了虚拟的对象物的图像而生成的图像，这与使用者观看实际的现实空间的MR不同。

无论在使用VR、AR、MR哪一种技术的情况下，相对于空间整体都存在患者的视野这样的有限的范围。

在空间整体中配置有虚拟的对象物(在此为数字)。通过使图像处理装置5移动，从而患者能够寻找在空间整体中配置的数字。如果是从1开始依次消去数字的规则，则在图7的(a)的情况下，移动脸或视线来移动视线，从而将视线移动到1的数字上。于是，如图7的(b)所示，视野向纸面上左侧移动，患者看到的影像也不同。将视线移动到1上，并操作输入部52、或做出消去手势、或凝视(将视线固定在对象物上一定时间的动作)，从而能够消去1。以下，虽然将用于选择或消去对象物的动作统称为敲击，但是敲击至少包含用于选择或消去的手势、输入部52的操作、凝视，此外，还包含公知的选择或消去的方法(例如，基于声音识别的选择或消去等)。

接着，如果将视线移动到纸面上右侧，则如图7的(c)所示，能够将视线移动到2上。然后，同样地消去2。此外，如果将视线移动到图面中的下方，则3进入视野，如图7的(d)所示，能够消去3。

在VR、AR、MR各情况下，都能够同样地将数字配置在空间中，并基于指定的规则来进行消去数字这样的康复训练。

通过数字抹消应用程序，能够提高患有高级脑功能障碍的患者的注意力。本发明人等在实际的康复训练现场使用数字抹消应用程序进行了康复训练，其结果是，还确认了关于信息处理速度、工作记忆、整体认知机能的改善效果。

图8是表示正在执行第一选择抹消应用程序时的操作影像的图。

图8的表现方法与图7相同。在第一选择抹消应用程序中，代替数字抹消应用程序的数字而显示各种插图。关于各种插图的描绘方法，在VR、AR和MR中都与数字抹消应用程序的情况相同。

在第一选择抹消应用程序中，选择指定的插图，使用者将其抹消。与数字抹消应用程序同样地，使用者移动视线，将视线移动到消去对象的插图上。在图8的(a)的例子中，位于视线的左斜上方的“草莓”是目标插图。如图8的(b)所示，将视线置于“草莓”上，通过与数字抹消应用程序相同的方法敲击并消去“草莓”。在此，目标是指虚拟空间的对象物，是指选择或消去的对象。非目标是指不作为选择或消去的对象的虚拟空间的对象物。

接着，同样地进行位于图8的(b)的视线的左侧的“草莓”的消去(参照图8的(c))。此外，如图8的(d)所示，同样地进行右斜上方的“草莓”的消去。

另外，作为消去对象的目标不限于一个，也可以是不同种类的多个目标成为消去对象。

通过第一选择抹消应用程序，能够提高患有高级脑功能障碍的患者的注意力和/或空间认知力。本发明人等在实际的康复训练现场使用第一选择抹消应用程序进行了康复训练，其结果是，了解了与注意机能、空间认知机能有关的情况。

图9是表示正在执行第二选择抹消应用程序时的操作影像的图。

图8的表现方法与图7相同。在第二选择抹消应用程序中，代替数字抹消应用程序的数字而显示各种插图。关于各种插图的描绘方法，在VR、AR和MR中都与数字抹消应用程序的情况相同。

在第二选择抹消应用程序中，选择指定的插图，并由使用者进行选择。与数字抹消应用程序同样地，使用者移动视线，将视线移动到选择对象的插图上。在图9的(a)的例子中，位于视线左侧的“猫”是目标的插图。如图9的(b)所示，将视线置于“猫”上，通过与数字抹消应用程序相同的方法选择“猫”。

在第二选择抹消应用程序中，选择后的处理与第一选择抹消应用程序不同。在第二选择抹消应用程序中，选择的目标插图发生变化。在此，黑色的插图变成白色。但是，变化的方法没有特别限定，例如也可以是如站立的目标坐下那样使插图发生变化等颜色以外的变化。

接着，同样地进行位于图9的(b)的视线的右斜上侧的“猫”的选择(参照图9的(c))。此外，如图9的(d)所示，同样地进行右斜下方的“猫”的选择。

此外，成为选择对象的目标不限于一个，也可以是不同种类的多个目标成为选择对象。

通过第二选择抹消应用程序，能够提高患有高级脑功能障碍的患者的注意力和/或抑制力。虽然设定为提高注意力和/或抑制力，但是本发明人等在实际的康复训练现场使用第二选择抹消应用程序进行了康复训练，其结果是，知道了也与空间认知机能有关的情况。

另外，在数字抹消应用程序、第一选择抹消应用程序以及第二选择抹消应用程序中，以如下的使用方法为前提：即患者在坐着或站立的状态下不行走，而是一边移动脸一边寻找目标来进行消去或选择。但是，也可以通过一边行走一边寻找目标的方法来使用。

另外，也可以按照患者的症状程度，对配置目标和非目标的区域进行调整。例如以视线为中心，可以使用仅在60度左右的较窄范围内配置目标和非目标的设定，反之，也可以使用仅在180度左右的较宽范围内配置目标和非目标的设定。

图10是表示正在执行空间配置应用程序时的操作影像的图。在图10中，虚线与图7同样地为空间整体。这里在VR的情况下，床和墙壁虚拟地置于虚拟空间中。在AR和MR的情况下，在图10的例子中，床存在于现实空间中。在AR的情况下，床存在的现实空间的图像中合成有墙壁的图像。在MR的情况下，在床存在的现实空间中存在有虚拟空间中的墙壁。

在图10中，单点划线所示的区域与图7同样地表示从佩戴了图像处理装置5的患者的视角看到的视野范围。

在VR的情况下，以目标(在此为白花)和非目标(在此为黑花)配置在虚拟空间中的壁上的方式进行了描绘。在AR的情况下，目标或非目标的图像与墙壁的图像一起被合成到现实空间的图像中。在MR的情况下，以在虚拟空间中的墙壁上配置目标或非目标的方式进行了描绘。

在空间配置应用程序中，患者实际行走，一边寻找目标一边进行消去。与图像处理装置5的当前位置和视线的朝向相应地，显示的图像发生变化。

在MR的情况下，图像处理装置5识别现实空间中的当前位置和视线，生成进行显示的虚拟空间的对象物的图像并进行显示。在MR的情况下，图像处理装置5识别周边的现实空间的图像，在识别了现实空间的立体结构的基础上，显示了虚拟空间的对象物的图像(墙壁或花等)。

在VR的情况下，图像处理装置5识别当前位置和视线，生成进行显示的虚拟空间中的图像并进行显示。

在AR的情况下，图像处理装置5识别摄像机正在拍摄的图像，并在识别的图像上合成虚拟的对象物。例如，在沿着室内的地板的花纹合成虚拟的墙壁的情况下，以与摄像机正在拍摄的地板的花纹的图像相匹配的方式生成虚拟的墙壁的图像，并逐帧进行图像合成，从而能够向使用者提供是否在地板上配置有虚拟的墙壁的图像。

这样，在VR、AR和MR各情况下，所显示的图像都根据图像处理装置5的移动而时时刻刻发生变化。因此，使用者能够以寻找在墙壁上配置的目标图像的方式进行移动。

在图10的(a)的例子中，在视线的左斜上方看到目标(白花)。

当患者稍微向前行走移动时，如图10的(b)所示，逐渐看到墙壁和花接近的图像。在能够确认是目标的时刻，患者将视线对准目标，与图7的例子的情况同样地敲击并消去目标。之后也同样地消去目标。在图10的(c)的例子中，示出了注意到右侧存在的白花的患者将脸向右侧移动，将视线对准右侧的白花并将目标消去的情况。

另外，在图10所示的例子中，设定为在被两个墙壁夹着的道路上行走的情况，但是墙壁也可以是一个，也可以是三个以上。此外，墙壁也可以不是一条直线而是弯曲的。

通过空间配置应用程序，能够提高患有高级脑功能障碍的患者的空间认知力和/或信息获得力。本发明人等在实际的康复训练现场使用空间配置应用程序进行了康复训练，其结果是，得知了也与信息处理速度、工作记忆有关的情况。

图11是表示正在执行迷宫应用程序时的操作影像的图。图11所示的图是空间整体。这里在VR的情况下，在虚拟空间中虚拟地设置有门、桌子、地板以及迷宫用的墙壁。在AR和MR的情况下，在图11的例子中，门、桌子和地板存在于现实空间中。在AR的情况下，在门、桌子和地板所存在的现实空间的图像上合成有墙壁的图像。在MR的情况下，在门、桌子和地板所存在的现实空间中存在有虚拟空间中的墙壁。

另外，在图11中，由于作图困难的关系，没有记载从佩戴了图像处理装置5的患者的视角看到的视野范围，但是与图7至图10同样地，患者通过图像处理装置5看到了空间整体的一定范围。

在VR、AR和MR各情况下，图像处理装置5中的描绘方法与空间配置应用程序的情况相同。

如图11的(a)所示，在迷宫中配置有表示终点的旗标。此外，表示目标的图像配置在迷宫内。当患者移动时，图像处理装置5显示患者移动前方的图像，向患者提供是否进入了迷宫内的印象。这样的图像处理与图10的空间配置应用程序的情况相同。

除了图11的(a)之外，如图11的(b)所示，图像处理装置5也可以在患者正在观看的图像上显示作为提示的图像。在此，用星号表示的位置表示目标，是促使患者通过目标位置向终点前进的图像。另外，是否设定为必须通过目标否则无法到达终点、或者是否设定为不通过目标也能到达终点只是应该适当设计的事项。

根据患者的移动，图像处理装置5识别是否移动到了目标位置。在VR或MR的情况下，能够直接获得位置信息，因此图像处理装置5对识别的位置信息是否为目标位置或终点位置进行识别，并进行评分。在AR的情况下，对图像处理装置5的摄像机拍摄的图像进行识别，从而图像处理装置5判断识别的图像是否为在目标位置或终点位置获取的图像，从而能够进行评分。

另外，在迷宫应用程序中，可以仅将是否到达终点作为评分基准，不将目标作为问题来使用。

通过迷宫应用程序，能够提高患有高级脑功能障碍的患者的空间认知力和/或遂行机能。

图12是表示正在执行网格移动应用程序时的操作影像的图。图12所示的图是空间整体。这里在VR的情况下，在虚拟空间中虚拟地设置有门、桌子、地板和移动用的网格。在AR和MR的情况下，在图12的例子中，门、桌子和地板存在于现实空间中。在AR的情况下，在门、桌子和地板所存在的现实空间的图像中合成有网格的图像。在MR的情况下，在门、桌子和地板所存在的现实空间中存在有虚拟空间中的网格。

另外，在图12中，由于作图困难的关系，没有记载从佩戴了图像处理装置5的患者的视角看到的视野范围，但是与图7至图10同样地，患者通过图像处理装置5看到了空间整体的一定范围。

在VR、AR和MR各情况下，图像处理装置5中的描绘方法与空间配置应用程序的情况相同。

如图12的(a)所示，首先，通过网格移动应用程序，显示表示东西南北的网格。在患者看到的画面上，显示“请站在起点S。”的指示作为最初的指示。患者响应该指示而移动到“S”的位置。

根据患者的移动，图像处理装置5识别是否移动到了目标位置。在VR或MR的情况下，能够直接获得位置信息，因此图像处理装置5对识别的位置信息是否为目标位置(起点位置或有指示的位置)进行识别，并进行评分。在AR的情况下，对图像处理装置5的摄像机拍摄的图像进行识别，图像处理装置5判断识别的图像是否是在目标位置获取的图像，从而能够进行评分。

在到达起点位置之后，作为下一个指示，图像处理装置5指示网格的移动。在图12的(b)的例子中，进行了“请向西前进3格、向南前进4格、向东前进1格。”的移动指示。图像处理装置5同样地识别是否到达了该目标位置，并进行评分。

另外，此时可以具有各种游戏性，例如限制可站在一个网格上的时间，或者如果不是按照指示的移动路径则减分，或者指定中途的通过点等。

通过网格移动应用程序，能够提高患有高级脑功能障碍的患者的遂行机能和/或记忆力。

另外，各应用程序中的评分基准对本发明没有特别限定。例如，如果是数字抹消应用程序、第一和第二选择抹消应用程序、空间配置应用程序，则可以在每次进行目标的消去或选择时增加分数，且当进行了错误的敲击时则减掉分数，将到清除为止的时间作为加分，对得分进行评分。如果是迷宫应用程序，则当每次到达目标位置时增加分数，将到达终点为止的时间作为加分，对得分进行评分。如果是网格应用程序，则以指示的位置的移动所需的时间为基准对得分进行评分。这些评分基准仅为示例，当然也可以使用其他的评分方法。

图13是表示存储在图像处理装置5中的康复训练履历信息的数据结构的图。如图13所示，按照主治医师来管理患者，针对各患者将所使用的应用程序的种类、应用程序的使用模式(在此，将测定模式设定为“1”，将训练模式设定为“2”)、实施了康复训练的训练年月日、训练师、应用程序的得分、表示如何达成了目标的达成履历(敲击的时间或正误等)、视点位置的移动履历等作为康复训练履历信息存储在图像处理装置5的存储部55中。另外，作为选项，也可以存储患者在康复训练时看到的动画。另外，就视线位置的移动履历而言，在代替视线而使用患者的朝向的情况下，是患者的朝向的移动履历。因此，如果概念性地理解移动履历，则可以说是与患者的动作有关的信息。

另外，图13当然只是表示康复训练履历信息的数据结构的一例，并不限定本发明。只要是可知康复训练的履历的数据，则康复训练履历信息的数据结构可以是任何结构。

图14是表示在医师侧终端2中的计划安排生成处理(S103)中使用的计划安排生成画面的一例的图。在图14的(a)中示出了2018年12月20日的患者“田中一郎”的计划安排生成之前的情况。图15是表示在图14的(a)的状态下选择了12月20日的栏时的计划安排的生成流程的图。

首先，如图15的(a)所示，出现选择康复训练计划安排的画面。在此，能够输入训练日期并选择康复训练菜单。如果选择下拉菜单，则能够选择过去生成的现有的菜单。在此，“田中1”和“田中2”是现有的菜单。在此，示出新生成“田中3”菜单的流程。

如果选择了图15的(a)的“+”按钮，则出现菜单的编辑画面(图15的(b))。在图15的(b)的画面中输入新的菜单名(在此为“田中3”)，并且能够选择要使用的应用程序。当选择了应用程序选择时，则出现图15的(c)所示的应用程序的添加画面。有检查模式和训练模式的标签，能够按照模式的标签来选择对有障碍的机能有效的应用程序。

在此，使用空间认知力、遂行能力、记忆力、信息获得力、注意力和抑制力作为有障碍的机能。能够按照障碍来选择应用程序。另外，对各障碍有效的应用程序也可以重复执行。即，在各应用程序中与至少一个预期可通过实施应用程序而改善的障碍建立对应。

图15的(d)是选择应用程序后的画面。这里示出了在“田中3”的菜单中选择了“数字抹消”、“第一选择抹消”以及“第二选择抹消”的应用程序的情况。然后，按下保存按钮，从而保存“田中3”的菜单，并且被添加到12月20日的菜单中(图14的(b))。

当然，图14和图15所示的计划安排菜单的生成流程或画面仅为示例，并不限定本发明。本领域技术人员使用任何公知的方法来生成计划安排菜单的方式均包含在本发明中。

此外，作为康复训练菜单，可以预先设定为能够默认选择典型的菜单。

图16是表示训练师侧终端4中的康复训练菜单的选择画面的一例的图。图16的(a)是基本画面。在基本画面中，存在“检查开始(计划安排)”、“检查开始(地点)”、“康复训练菜单下载”以及“康复训练结果发送”的按钮。关于“检查开始(地点)”，由于是在第二实施方式中使用的按钮，因此这里省略说明。

首先，训练师按下“康复训练菜单下载”，执行计划安排下载处理(S302)。在本实施方式中，训练师侧终端4设定为对在下载日执行的康复训练菜单进行下载。但是，当然也可以指定实施日或者指定患者来下载康复训练菜单。

图16的(b)是表示康复训练菜单的下载画面的一例的图。按下下载按钮，则能够从服务器3下载当日要实施的康复训练菜单。在“已下载的康复训练菜单”中显示已下载的康复训练菜单。如果选择某个菜单，则在“康复训练菜单的详细内容”栏中显示菜单的详细内容。这样，首先下载了康复训练菜单，训练师进行执行康复训练的准备。

在实际开始康复训练时，训练师按下“检查开始(计划安排)”。于是，转移到图16的(c)所示的画面。如图16的(c)所示，能够选择训练负责人，并且能够选择已下载的菜单。这里选择了“田中2”。此外，在HMD的项目中，能够选择要使用的图像处理装置5。这样，如果选择了菜单，则转移到图17的(a)所示的画面。

在图17的(a)所示的画面中，示出了名为“特许五郎”的训练师使用“终端A”的图像处理装置5来实施“田中2”的菜单的情况。在此，如图17的(a)所示，在屏幕上显示应用程序的详细情况。显示内容仅为示例，在此显示使用了“数字抹消应用程序”时的详细设定。在此，详细项目是“球(指显示数字的球)的颜色”、“球的数量”、“文字的大小”、“提示显示宽限(到提示显示为止的宽限时间)”、“设定范围(数字以视线为中心以几度的角度的范围显示)”、“模式(是测定模式还是训练模式)”、“抹消方法(手势、凝视、敲击等)”、“限制时间(到清除为止的限制时间)”。这些项目是应用程序设定条件的例示。

另外，测定模式是指为了测定康复训练的成果而反复提出预先决定的问题的模式。预先决定的问题不限于一个，也可以是多种模式的问题。训练模式是指提出各种模式的问题，从而获得康复训练的成果的模式。在第一实施方式中，设定为在训练模式中随机生成问题。

通过按下编辑按钮，能够调整应用程序设定条件的详细项目的内容。

通过按下“上一个应用程序”或“下一个应用程序”，依次显示预定执行的应用程序的详细内容。同样地，对于各应用程序，也能够调整应用程序设定条件的详细项目的内容。

应用程序设定条件的详细项目的编辑不是必须的。如果是默认设定的条件即可，则无需编辑详细项目。

在图17的(a)中，通过按下“执行”按钮，从训练师侧终端4向图像处理装置5发送康复训练的菜单和详细的设定，开始康复训练。

另外，图17的(a)所示的画面例当然仅为例示，并不限定本发明。

图17的(b)是表示康复训练中的在训练师侧终端4上显示的画面的一例的图。这里正在执行数字抹消应用程序。在“患者的视角”栏中显示患者实际看到的图像。就在“患者的视角”栏中显示的图像而言，在VR的情况下是虚拟空间中的图像，在AR以及MR的情况下是在现实空间的图像上合成了虚拟的对象物的图像。

如图17的(b)所示，视线例如用黑圆表示。如显示“下一个是1号”那样来显示下一个目标。如果按下“中止”，则能够在训练师侧中止康复训练。如果按下“建议”，则在图像处理装置5上显示关于下一个目标的提示。作为提示，例如可以考虑表示下一个目标的位置的箭头等。

如图18的(a)所示，当视线位于目标上时，视线例如变化为双重圆。在该状态下，如果由患者进行敲击，则如图18的(a)所示，目标被消去。

图17的(b)～图18的(b)所示的训练师侧终端4中的康复训练中的画面例仅为例示，当然不限定本发明。此外，虽然这里仅图示了数字抹消应用程序的情况，但是对于其他的应用程序也同样地，能够将患者看到的图像显示在训练师侧终端4上。

如图17的(b)～图18的(b)所示的从患者的视线看到的图像也可以从训练师侧终端4经由网络6和服务器3同时传送到医师侧终端2。由此，医师侧终端2也能够从远程几乎实时地掌握康复训练的状况。

在应用程序的执行过程中，图像处理装置5依次存储康复训练履历信息。

当应用程序被清除时，图像处理装置5将康复训练履历信息发送到训练师侧终端4。当康复训练履历信息被发送到训练师侧终端4时，训练师侧终端4显示应用程序的执行结果。图19是表示在训练师侧终端4上显示的应用程序的执行结果的画面的一例的图。

如图19所示，训练师侧终端4显示得分(这里为47分)，并显示敲击履历。敲击履历是完成一个敲击的敲击时刻或所需时间、敲击的对象(目标或非目标)的编号、正误等。虽然这里示出了数字抹消应用程序的例子，但是对于各应用程序而言，训练师侧终端4可以显示适合于各应用程序的敲击S履历。此外，通过训练师侧终端4，能够确认(设定确认)应用程序的设定内容。

训练师侧终端4将从图像处理装置5获取的康复训练履历信息预先存储，训练师按下图16的(a)所示的“康复训练结果发送”，从而发送康复训练履历信息(S306)。但是，也可以在没有训练师的动作的情况下，由训练师侧终端4自动地向服务器3发送康复训练履历信息。此外，对于康复训练履历信息而言，可以汇总发送多个患者的信息，也可以按每位患者进行发送。

通过医师侧终端2，能够基于从服务器3下载的康复训练履历信息，以容易视觉辨识的方式来显示康复训练的成果。图20是表示医师侧终端2上的康复训练履历信息的显示的一例的图。首先作为前提，各应用程序分别与至少一个预期可通过实施应用程序而改善的障碍建立对应，并且按照应用程序来决定对康复训练有效的空间认知力等功能障碍。例如，如果是数字抹消应用程序，则对注意力有效；如果是第一选择抹消应用程序，则对注意力和/或空间认知力有效；如果是第二选择抹消应用程序，则对注意力和/或抑制力有效；如果是空间配置应用程序，则对空间认知力和/或信息获得力有效；如果是迷宫应用程序，则对空间认知力和/或遂行机能有效；如果是网格移动应用程序，则对记忆力和/或遂行能力有效。并且，能够按照执行应用程序的得分来判定各功能障碍的状况。

例如，如图20的(a)所示，通过将对应于功能障碍的得分图表化，医师能够容易地掌握患者当前的功能障碍的程度。例如，在图20的(a)所示的例子中，对于抑制力和记忆力极低的情况能够一目了然。虽然这里用雷达式的图表来表现，但是能够使用任何公知的图表作为使用的图表，图表的种类并不限定本发明。

此外，如图20的(b)所示，通过将对应于功能障碍的得分表示成时间序列的图表，从而能够确认患者的康复训练的成果。在图20的(b)所示的例子中，能够确认到各功能障碍的相关得分具有逐日上升的趋势，因此可以说取得了康复训练的成果。虽热这里用折线图来表现，但是能够使用任何公知的图表作为使用的图表，图表的种类并不限定本发明。

另外，也存在一个应用程序与多个预期改善的障碍建立对应的情况，在该情况下通过一个应用程序的实施来显示多个障碍的得分。

此外，也存在对一个障碍与多个应用程序建立对应的情况，在该情况下使用与该障碍对应的多个应用程序的得分的平均值或加权平均值等来显示该障碍的得分。

图21的(a)是表示通过医师侧终端2阅览康复训练履历信息的详细内容时的显示画面的一例的图。作为康复训练履历信息，在医师侧终端2中按照患者来显示训练年月日、使用的应用程序、模式、训练师以及得分。此外，若选择图21的(a)的详细内容，则如图21的(b)所示，能够详细地确认应用程序执行时的康复训练的情形。

在图21的(b)所示的画面的例子中，数字抹消应用程序的情况下的患者的动作被再现显示。如果医师确认了这样的患者动作履历，则能够诊断患者有什么障碍。虽然患者的动作也能够通过适当地按下播放按钮来依次播放，但这不是必须的。此外，虽然这里没有图示，但是也可以将患者康复训练时显示在训练师侧终端4上的动画存储在服务器3中，并通过医师侧终端2进行下载来显示。此外，在图21的(b)所示的画面的例子中，还显示了达成履历的表。这些详细的显示只要针对每个应用程序适当设计决定即可。当然，在此示出的例子仅为示例，并不限定本发明。图21的(b)那样的显示也可以在训练师侧终端4中进行。

基于上述这样的画面转变的一例，参照流程图来详细说明各装置中的动作。

图22是医师侧终端2中的计划安排的生成处理的流程图。首先，作为前提，医师侧终端2的控制部21从存储部25读取计划安排兼阅览程序并执行。

医师侧终端2的控制部21使显示部23进行用于受理训练日的指定的显示，从而受理来自输入部22的训练日的指定(S501)。另外，以下，为了避免冗长的说明，在显示部23、输入部22与控制部51的关系对于本领域技术人员而言是显而易见的情况下，仅表述为“控制部21受理训练日的指定。”，省略关于与显示部23、输入部22的关系的记载(对于图23以后的流程图也同样如此)。此外，对于控制部21将信息保存于存储部25的情况，也仅表述为“控制部21保存信息。”，避免冗长的记载(对于图23以后的流程图也同样如此)。

接着，控制部21受理菜单的选择或生成(S502)。

在受理了菜单选择的情况下，控制部21基于康复训练菜单信息来选择现有菜单(S503)，与训练日建立关联并保存为计划安排信息(S504)。

另一方面，在S502中受理了菜单生成的情况下，控制部21使显示部23显示用于生成菜单的画面(S505)。接着，控制部21受理菜单名称(S506)。接着，控制部21选择要使用的应用程序(S507)。接着，根据需要，控制部21调整应用程序设定条件(S508)。S508的动作是任意的，是只要医师认为需要则进行的动作。然后，控制部21将生成的菜单作为新的菜单，并作为康复训练菜单信息进行保存，进而与训练日建立关联，并作为计划安排信息进行保存(S504)。

控制部21将保存的康复训练菜单信息和/或计划安排信息经由通信部24上传到服务器3(图6的S104)。

图23是表示训练师侧终端4中的计划安排的下载处理的流程图。作为前提，训练师侧终端4的控制部41从存储部45读取康复训练处理程序并执行。

训练师侧终端4的控制部41根据来自使用者的指示，经由通信部44向服务器3请求下载康复训练菜单信息和计划安排信息(S601)。控制部41下载当日的康复训练菜单信息和计划安排信息(S602)并进行保存(S603)。另外，虽然这里仅下载当日的信息，但是不限于此，当然也可以下载多日或者指定日等的信息。

图24是训练师侧终端4中的康复训练开始指示的流程图。作为前提，训练师侧终端4的控制部41从存储部45读取康复训练处理程序并执行。

训练师侧终端4的控制部41选择训练师(S701)。接着，控制部41选择由选择的训练师负责的患者的康复训练菜单(S702)。接着，控制部41选择要使用的图像处理装置5，开始与选择的图像处理装置5的通信(S703)。在此，控制部41适当地受理应用程序设定条件的调整(S704)。一旦准备就绪，则控制部41指示图像处理装置5执行应用程序(S705)。

如上所述，在对图像处理装置5指示了应用程序的执行之后，通过图像处理装置5来执行指示的应用程序，实施康复训练。以下，对各应用程序中的图像处理装置5的动作进行说明。

图25是表示正在执行数字抹消应用程序的图像处理装置5的动作的流程图。作为前提，图像处理装置5的控制部51读取应用程序执行程序并执行，并且以指示的设定条件来执行由训练师侧终端4指示的应用程序。此外，作为前提，图25所示的动作设定为MR的情况，但是对于VR和AR情况下的动作会适当加以说明。

在图25中，首先，控制部51使显示部53进行倒计时的显示，提供使用者到达执行应用程序的位置所需的时间(S801)。另外，倒计时处理不是必须的，也可以将开始执行应用程序时的图像处理装置5的位置作为开始位置，也可以按照使用者的敲击等输入来决定开始位置。

接着，在MR的情况下，空间识别部57使用内置的摄像机来识别周围的三维空间，并进行三维数据化(S802)。接着，跟踪部58识别图像处理装置5的位置或倾斜(S803)。控制部51通过S802和S803的处理，掌握图像处理装置5在三维空间中的位置，识别图像处理装置5存在于三维空间的什么位置。另外，关于用于空间识别的处理、用于跟踪的处理，图像处理装置5的OS进行的情况也包含在本发明中。此外，关于空间识别处理，不限于利用内置的摄像机进行的图像识别，使用深度摄像机、红外线传感器、激光照射等其他各种传感器或检测器等进行的情况也包含在本发明中。

在VR的情况下，控制部51在S802中生成虚拟空间的三维数据，在S803中识别图像处理装置5的位置或倾斜，并识别图像处理装置5在虚拟空间中位于何处。

在AR的情况下，控制部51在S802和S803中拍摄周边的图像，决定合成问题的区域。

接着，控制部51生成用于数字抹消的问题(S804)。在此，详细说明问题生成处理。控制部51基于应用程序设定条件来生成问题。在模式为测定模式的情况下，将固定的问题配置在三维数据上。在模式为训练模式的情况下，将随机生成的问题配置在三维数据上。配置的范围是以应用程序设定条件指定的设定范围(以视线为中心的角度)。除此之外，基于目标的颜色、数量、大小等应用程序设定条件来生成问题。

控制部51将生成的问题配置在三维数据上(S805)。之后，继续进行数字抹消应用程序的执行，但是与应用程序的执行并行地，通过图像处理部50进行描绘处理(S806)。

图26是图像处理部50中的图像描绘处理的流程图。由于图像的描绘处理需要进行高速且大量的计算，因此这里设定为通过与控制部51不同的图像处理部50来执行处理，但是当然也可以根据控制部51的性能而通过控制部51来执行。

图像处理部50基于来自跟踪部58的信息，检测图像处理装置5在三维数据上的位置或倾斜(S901)。接着，基于来自视线检测部59的信息，检测三维数据上的视线的朝向(S902)。接着，图像处理部50根据图像处理装置5的当前位置或倾斜以及视线的朝向，将虚拟空间的对象物配置在三维数据上(S903)，决定在显示部53上显示的图像，并显示该图像(S904)。通过逐帧执行这种处理，能够按照图像处理装置5的动作，在显示部53上显示在现实空间中是否存在虚拟图像。

在VR的情况下，除了图像处理部50使显示部53显示将对象物配置在虚拟空间的图像上的图像这一点之外，其余与上述MR的情况相同。

在AR的情况下，识别图像处理装置5拍摄的现实空间的图像，图像处理装置50合成虚拟空间的对象物。

图27是表示图25的动作的后续的流程图。控制部51判断视线与目标是否重叠(S1001)。在不重叠的情况下，控制部51仍然继续描绘表示视线的图像(S1002)。另一方面，在重叠的情况下，控制部51将表示视线的图像变更为表示重叠的图像(S1003)。

另外，在S1001中，在MR和VR的情况下，通过对视线的位置与目标位置进行比较，控制部51能够判断重叠。在AR的情况下，不对视线的位置进行识别，因此在S1001～S1004中，控制部51通过图像识别或者触摸传感器等来判断：患者的指尖是否与目标重叠、或者患者是否直接敲击了(用手指触摸来指定位置等)平板终端5e的显示器等，从而判断是否进行了敲击。

在S1003的状态下，判断是否进行了敲击(S1004)。如果没有进行敲击，则控制部51返回到S1001的动作。因此，即使暂时进入到S1003的动作，如果在敲击之前在中途发生重叠分离，则控制部51进入到S1002的动作。

在进行了敲击的情况下，控制部51判断正误，在正确的情况下使目标从三维数据上消失，进行使目标消失的显示(S1005)。在错误的情况下，控制部51使显示部53进行表示错误的显示(S1005)。

通过敲击，控制部51使存储部55存储康复训练履历信息(S1006)。康复训练履历信息的存储在每一次抹消动作时进行。

在抹消动作之后，控制部51判断是否全部目标消失而清除了问题(S1007)。在问题没有清除的情况下，控制部51返回到S1001的动作。另一方面，在清除了问题的情况下，控制部51基于预先决定的评分基准，对得分进行评分(S1008)。得分被作为康复训练履历信息存储在存储部55中。然后，控制部51经由通信部54将存储在存储部55中的康复训练履历信息发送给训练师侧终端4(S1009)。另外，对于康复训练履历信息的保存方法，没有特别限定，例如，图像处理装置5可以按照预先决定的时间周期，来预先保存位置和视线等信息，并且与得分一起作为康复训练履历信息发送到训练师侧终端4，但是不限于此。此外，图像处理装置5也可以每隔一定时间向训练师侧终端4发送康复训练履历信息。

图28是表示执行第一选择抹消应用程序的图像处理装置5的动作的流程图。这里的前提条件与图25的情况相同。此外，在图28中，对与图25中的动作相同的动作标注相同的参照符号，仅对不同点进行说明。

第一选择抹消应用程序与数字抹消应用程序不同，抹消目标的顺序没有影响。因此，在接续图28的、图27的流程图中的S1005的正误判断中，如果选择并抹消目标(正确的目标)，则视为正确且不受抹消的顺序影响地进行评分。

图29是表示执行第二选择抹消应用程序的图像处理装置5的动作的流程图。图30是表示图29的动作的后续的流程图。这里的前提条件与图25的情况相同。此外，在图29和图30中，对与图25和图27中的动作相同的动作标注相同的参照符号，仅对不同点进行说明。

第二选择抹消应用程序与数字抹消应用程序不同，抹消目标的顺序没有影响。第二选择抹消应用程序与第一选择抹消应用程序不同，在选择了正确的目标的情况下，目标的显示发生变更，但不会消失。此外，在第二选择抹消应用程序中，如果选择了显示被变更的目标，则视为错误。另外，在选择了正确以外的目标的情况下，也可以设定为不对得分产生任何影响，此外，也可以设定为被作为错误而对得分产生影响，但是不限于此。因此，在接续图29的、图30的流程图中的S1005b的正误判断中，如果选择了目标，则控制部51变更目标的显示，不受抹消的顺序影响地视为正确并进行评分。

图31是表示执行空间配置应用程序的图像处理装置5的动作的流程图。这里的前提条件与图25的情况相同。此外，在图31中对与图25中的动作相同的动作标注相同的参照符号并省略说明。

在图31中，在跟踪部58识别了图像处理装置5的位置或倾斜(S803)之后，控制部51根据应用程序设定条件在显示部53上显示虚拟通路(S1101)。虚拟通路是用于显示虚拟的墙壁的标记，通过决定虚拟通路的位置来决定虚拟的墙壁的位置。当患者调整图像处理装置5的位置时，与此相应地，虚拟通路的位置也被调整。如果虚拟通路与现实空间的障碍物重叠配置，则患者无法在现实空间中行走，因此，患者调整图像处理装置5的位置，以使得虚拟通路被显示在没有障碍物的区域中。如果完成了虚拟通路的位置调整，则患者进行敲击。与此相应地，控制部51决定虚拟通路的位置(S1102)。当决定了虚拟通路的位置时，控制部51使表示虚拟通路的数据反映在三维数据上。

S1101～S1102的动作在MR、VR以及AR中都相同。即，在MR的情况下，控制部51以与现实空间重叠的方式显示虚拟通路；在VR的情况下，控制部51在虚拟空间中显示虚拟通路；在AR的情况下，控制部51在拍摄的现实空间的影像上合成虚拟通路并显示。

接着，控制部51根据应用程序设定条件，生成沿着虚拟通路的虚拟的墙面的三维数据(S1103)。控制部51根据应用程序设定条件，生成在虚拟墙面上决定目标的位置从而配置目标的问题(S1104)。在测定模式的情况下，控制部51固定地决定目标的位置，在训练模式的情况下，控制部51随机地决定目标的位置。控制部51将生成的问题配置在三维数据上(S805)。之后，图像处理部50将图26(S806)的动作与问题的评分并行地执行。

问题的评分基本上与第一选择抹消应用程序的动作(图27)相同。与数字抹消应用程序不同，在S1005的动作中，目标的抹消顺序没有影响。

图32是表示执行迷宫应用程序的图像处理装置5的动作的流程图。图33是表示图32的动作的后续的流程图。这里的前提条件与图25的情况相同。此外，在图32和图33中，对与图25和图27中的动作相同的动作标注相同的参照符号，并省略说明。

在图32中，在跟踪部58识别了图像处理装置5的位置或倾斜(S803)之后，控制部51根据应用程序设定条件，使显示部53显示虚拟网格(S1201)。虚拟网格是用于显示用于迷宫的虚拟墙壁的标记，通过决定虚拟网格的位置来决定虚拟墙壁的位置。当患者调整图像处理装置5的位置时，与此相应地，虚拟网格的位置也被调整。如果虚拟网格与现实空间的障碍物重叠配置，则患者无法在现实空间中行走，因此，患者调整图像处理装置5的位置，以使得虚拟网格显示在没有障碍物的区域中。如果完成了虚拟网格的位置调整，则患者进行敲击。与此相应地，控制部51决定假想的网格的位置、即配置迷宫的位置(S1202)。当决定了虚拟迷宫的位置时，控制部51使表示虚拟网格的数据反映在三维数据上。

S1201～S1202的动作在MR、VR以及AR中都相同。即，在MR的情况下，控制部51以与现实空间重叠的方式显示虚拟网格；在VR的情况下，控制部51在虚拟空间中显示虚拟网格；在AR的情况下，控制部51在拍摄的现实空间的影像上合成虚拟网格并显示。

接着，控制部51根据应用程序设定条件，生成沿着虚拟网格的迷宫用的虚拟墙面的数据(S1203)。控制部51根据应用程序设定条件，生成在虚拟网格上决定目标的位置从而配置目标的问题(S1204)。在测定模式的情况下，控制部51固定地决定目标的位置，在训练模式的情况下，控制部51随机地决定目标的位置。控制部51将生成的问题配置在三维数据上(S805)。之后，图像处理部50将图26(S806)的动作与问题的评分并行地执行。

问题清除的判断按照图33的流程来执行。控制部51基于来自空间识别部57的信息，掌握图像处理装置5的当前位置，变更当前位置的网格的显示(例如，改变网格的颜色等)(S1301)。接着，控制部51判断当前的网格的位置是否是目标的位置(S1302)。在当前位置不是目标位置的情况下，控制部51返回到S1301的动作。

在步骤S1302中，在MR和VR的情况下，控制部51能够通过对当前位置与目标位置进行比较来判断是否到达目标位置。在AR的情况下，不对当前位置进行识别，因此在S1301和S1302中，控制部51识别图像处理装置5的周边的图像，判断是否到达了目标位置。

在当前位置是目标位置的情况下，控制部51使目标消失(S1303)并反映到康复训练履历信息中(S1304)。接着，控制部51判断是否全部目标消失(S1305)。在并非全部目标消失的情况下，控制部51返回到S1301的动作。在全部目标消失的情况下，控制部51继续进行处理，直到当前位置到达终点位置为止，如果到达终点位置(S1306)，则进行评分(S1008)以及康复训练履历信息的发送(S1009)。

关于是否到达了终点位置的判断，在MR、VR和AR的情况下，都与在S1302的动作中说明的情况相同。

另外，虽然在此设定为如果不是在全部目标消失之后就无法到达终点，但是即使不是全部目标消失，如果到达了终点位置，则控制部51也可以判断为清除并进行评分。在这种情况下，控制部51对目标未消失的情况进行减分处理等并将其反映到评分结果中即可，但是本发明不限于此。

图34是表示执行网格移动应用程序的图像处理装置5的动作的流程图。图35是表示图34的动作的后续的流程图。这里的前提条件与图25的情况相同。此外，在图34和图35中，对与图25、图27、图32以及图33中的动作相同的动作标注相同的参照符号，并省略说明。

在图34中，到S1202为止，与图32同样地决定虚拟网格的位置。之后，控制部51生成虚拟网格用的数据。图像处理部50在三维数据上反映表示虚拟网格的数据(S1401)。控制部51根据应用程序设定条件来生成问题(S1402)。这里生成的问题是表示起点的位置和移动方向的问题。在测定模式的情况下，控制部51固定地决定目标的位置，在训练模式的情况下，控制部51随机地决定目标的位置。控制部51基于生成的问题，进入图35的清除判断的动作。

问题的清除判断按照图35的流程来执行。控制部51变更当前位置的网格的显示(S1301)。控制部51使开始位置显示在网格上(S1501)。控制部51判断当前位置是否到达了起点位置(S1502)。在到达了起点位置的情况下，控制部51显示问题(S1503)。控制部51判断是否到达了通过问题指定的清除位置(S1504)。在到达清除位置之前显示问题。在到达了清除位置的情况下，控制部51进行评分(S1008)以及康复训练履历信息的发送(S1009)。

另外，在MR、VR以及AR各情况下，对于到达起点位置或到达清除位置的判断，与图33的到达目标位置的判断相同。

这样，根据第一实施方式，在基于使用了虚拟现实、增强现实或者混合现实的图像来执行康复训练的图像处理装置5中，存储康复训练履历信息，该康复训练履历信息能够在训练师侧终端4和医师侧终端2中共享。因此，医师和训练师容易掌握患者的康复训练的状况，其结果是，能够生成适当的康复训练菜单。

尤其是，通过使用增强现实用的图像处理装置，生成在现实空间中是否存在有在高级脑功能障碍的康复训练中使用的虚拟的对象物的图像的问题，从而减轻患者陷入所谓VR晕眩或跌倒等状况的危险性。因此，患者能够没有不适感地安全地进行康复训练。

(第二实施方式)

第二实施方式表示图16的(a)所示的“检查开始(地点)”的情况下的动作。在第一实施例中，根据医师侧终端2生成的计划安排来决定康复训练菜单。但是，也存在如下情况：根据进行康复训练的国家的法律制度，在医师的指示下，由训练师决定具体的康复训练的内容。此外，也存在如下情况：医师不使用康复训练系统1，而是使用其他手段(口头、电子邮件、群件、纸等)，向训练师指示康复训练的方针。因此，在本发明的康复训练系统1中，训练师能够单独制定康复训练菜单来进行康复训练。

图36是表示第二实施方式中的训练师侧终端4与图像处理装置5之间的动作流程的流程图。首先，训练师侧终端4选择要使用的应用程序(S1601)，并选择要使用的图像处理装置5(S1602)。训练师侧终端4根据训练师的指示，调整康复训练设定条件(S1603)。接着，训练师侧终端4根据训练师的指示，对图像处理装置5进行应用程序执行指示(S1604)。

之后，与第一实施方式同样地，图像处理装置5进行应用程序执行处理(S1605)。在执行应用程序的过程中，训练师侧终端4显示患者视线图像(S1606)。当应用程序的执行完成时，图像处理装置5将康复训练履历信息发送给训练师侧终端4(S1607)。训练师侧终端4接收康复训练履历信息(S1608)并保存(S1609)。训练师侧终端4预先将康复训练履历信息与患者建立关联并保存。训练师侧终端4能够将康复训练履历信息上传到服务器3。医师侧终端2能够从服务器3下载在现场实施的康复训练履历信息。

这样，在第二实施方式中，从训练师侧终端也能够指定康复训练菜单，因此训练师能够灵活地实施康复训练。

图37是表示医师侧终端2和/或训练师侧终端4中的数字抹消应用程序中的应用程序设定条件的设定画面的一例的图。如图37所示，在数字抹消应用程序中，例如能够调整目标的颜色、数量、文字的大小、提示显示的宽限时间、设定范围、模式、抹消方法、限制时间等。

图38是表示医师侧终端2和/或训练师侧终端4中的第一选择抹消应用程序中的应用程序设定条件的设定画面的一例的图。如图38所示，在第一选择抹消应用程序中，例如能够调整正确目标的种类或数量、错误目标的种类或数量、设定范围、模式、抹消方法、限制时间等。

图39是表示医师侧终端2和/或训练师侧终端4中的第二选择抹消应用程序中的应用程序设定条件的设定画面的一例的图。如图39所示，在第二选择抹消应用程序中，例如能够调整正确目标的种类或数量、设定范围、模式、抹消方法、限制时间等。

图40是表示医师侧终端2和/或训练师侧终端4中的空间配置应用程序中的应用程序设定条件的设定画面的一例的图。如图40所示，在空间配置应用程序中，能够调整墙壁种类、道路长度、道路宽度、墙壁高度的最低值、墙壁高度的最高值、正确目标的种类或数量、错误目标的种类或数量、模式、抹消方法、限制时间等。

图41是表示医师侧终端2和/或训练师侧终端4中的迷宫应用程序中的应用程序设定条件的设定画面的一例的图。如图41所示，在迷宫应用程序中，能够调整模式、迷宫的横宽格数、进深格数、通路宽度、墙壁高度、正确目标的种类或数量、限制时间等。

图42是表示医师侧终端2和/或训练师侧终端4中的网格移动应用程序中的应用程序设定条件的设定画面的图。如图42所示，在网格移动应用程序中，能够调整横宽格数、进深格数、移动次数(移动几次作为目标位置)、重复次数(全部出现几次问题)、可停止执行时间(在1格可停止的时间)、模式、限制时间等。

这里示出的应用程序设定条件仅为示例，可以进行任意变更，不限定本发明。

(其他实施方式)

在通过图像处理装置5执行的应用程序执行程序中，也可以显示虚拟训练员。图43是在图像处理装置5中显示的虚拟训练员的一例。

图像处理装置5使显示部53显示虚拟训练员的网络虚拟图像。虚拟训练员以文字或声音输出鼓励的语言或提示的语言。

通过使用虚拟训练员，能够减轻训练师的负荷。

此外，问题的难易度能够自动调整。图44是表示在设定为能够自动调整问题的难易度时医师侧终端2和/或训练师侧终端4的动作的流程图。以下，为了简化说明，设定为难易度的设定以及与弱点对应的问题的生成通过训练师侧终端4进行，但是也可以通过医师侧终端2进行。此外，在设定为在家康复训练的情况下，还可以考虑患者通过智能手机或平板终端等图像处理装置5c、5e在自己家中等场所进行康复训练。在这种情况下，虚拟训练员是有用的。此外，在家康复训练的情况下，图44所示的难易度的自动调整以及与弱点对应的问题的生成可以在图像处理装置5中进行，也可以在服务器3中进行。即，什么设备进行难易度的调整并不限定本发明。

训练师侧终端4读取患者属性数据(S1901)，读取对应的患者的上上次的结果数据(S1902)，并读取上一次的结果数据(S1903)。然后，训练师侧终端4对上一次的结果数据与上上次的结果数据进行比较，判断成绩是否为好(S1904)。

然后，在上一次的成绩比上上次的成绩高的情况下，训练师侧终端4将难易度设定为比上一次高(S1905)。在上一次的成绩与上上次的成绩相同的情况下，训练师侧终端4将难易度设定为与上一次相同(S1906)。在上一次的成绩比上上次的成绩低的情况下，训练师侧终端4将难易度设定为比上一次低(S1907)。难易度能够根据目标的数量或配置范围等来设定。但是，难易度的设定仅为示例，并不限定本发明。

在设定难易度之后，训练师侧终端4判断在视线履历中是否有问题(S1908)。在此，所谓在视线履历中有问题，是指例如关于右侧的目标的选择或抹消的错误是否较多等。S1906的动作可以由训练师侧终端4自动判断，也可以由训练师或医师手动判断。

在视线履历没有问题的情况下，训练师侧终端4选择标准的配置逻辑(S1909)。另一方面，在视线履历有问题的情况下，训练师侧终端4选择强化弱点的配置逻辑(S1910)。作为标准的配置逻辑，例如可以考虑随机配置目标的逻辑。强化弱点的逻辑例如在右侧为弱点的情况下，可以考虑增加将目标向右侧配置的逻辑等。但是，逻辑仅为示例，并不限定本发明。

这样，通过设定难易度和配置逻辑，使得训练师侧终端4能够在生成问题时，也考虑到难易度和配置逻辑，来指示图像处理装置5生成问题(S1911)。图像处理装置5根据难易度和配置逻辑生成问题。

另外，虽然在此通过比较上一次与上上次的得分来调整难易度，但是用于比较的对象不限于上一次与上上次的得分。也可以是上一次和几次前的平均值，也可以是几次前的平均值的增减倾向。总之，只要基于过去的得分来调整难易度即可。

另外，也可以仅实施难易度的调整，也可以仅实施基于弱点掌握的配置逻辑的调整。

这样，通过实现难易度和/或配置逻辑的调整，能够进一步提高患者的康复训练效果。

另外，目标图像的尺寸也能够变更。在相同的问题中，目标图像的尺寸可以改变，目标图像的尺寸也可以与问题的难度相应地改变。

此外，目标图像的颜色或明亮度等也能够变更。在相同的问题中，目标图像的颜色或明亮度可以改变，目标图像的颜色或明亮度也可以与问题的难度相应地改变。

这些调整可以由人通过手动设定，也可以根据康复训练履历信息自动调整。

此外，在问题中，目标不仅可以静止，也可以移动。通过目标进行移动，能够进一步改善障碍。

以上对本发明进行了详细说明，但是上述说明在各方面都仅为本发明的例示，并不限定其范围。当然，在不脱离本发明的范围内能够进行各种改良或变形。本说明书中公开的发明的构成要件各自独立地成立单独的发明。以各种组合方法来组合各构成要件而成的发明也包含在本发明中。

产业上的利用可能性

本发明涉及康复训练系统及图像处理装置，在产业上可利用。

附图标记说明

1-康复训练系统；2-医师侧终端；3-服务器；4-训练师侧终端；5-图像处理装置；6-网络；50-图像处理部；51-控制部；52-输入部；53-显示部；54-通信部；55-存储部；56-声音输出部；57-空间识别部；58-跟踪部；59-视线检测部(朝向检测部)。

Claims (35)

1.一种康复训练系统，其用于实施高级脑功能障碍的康复训练，其特征在于，具备：

图像处理装置，其执行应用程序，该应用程序用于通过使用了虚拟现实、增强现实或者混合现实的图像来向患者提示康复训练用的问题，所述图像处理装置将所述患者解答所述问题的履历作为康复训练履历信息进行存储；

训练师侧终端，其从所述图像处理装置接收所述康复训练履历信息；

服务器，其保存从所述训练师侧终端发送来的所述康复训练履历信息；以及

医师侧终端，其从所述服务器接收所述康复训练履历信息，并基于所述康复训练履历信息来显示所述患者的康复训练的实施状况。

2.根据权利要求1所述的康复训练系统，其特征在于，

所述图像处理装置包含用于提示所述问题的一种以上的应用程序，

所述训练师侧终端能够选择通过所述图像处理装置实施的应用程序，并指示所述图像处理装置执行选择的应用程序。

3.根据权利要求1或2所述的康复训练系统，其特征在于，

所述医师侧终端对使用的应用程序建立关联，生成在所述图像处理装置中实施的康复训练的计划安排，并保存于所述服务器，

所述训练师侧终端能够下载所述服务器中保存的所述计划安排，并指示所述图像处理装置执行通过所述计划安排指定的所述应用程序。

4.根据权利要求1至3中任一项所述的康复训练系统，其特征在于，

至少一个预期可通过实施应用程序而改善的障碍与通过所述图像处理装置使用的应用程序建立对应，

在所述康复训练履历信息中包含针对应用程序提出的问题的解答的得分，

所述医师侧终端按照障碍来显示应用程序的得分，从而进行显示以供了解障碍的改善状况。

5.根据权利要求4所述的康复训练系统，其特征在于，

所述医师侧终端按时间序列显示应用程序的评分结果。

6.根据权利要求1至5中任一项所述的康复训练系统，其特征在于，

在所述康复训练履历信息中包含与所述患者的动作有关的信息，

所述医师侧终端和/或所述训练师侧终端能够基于所述康复训练履历信息进行再现所述患者的动作的显示。

7.根据权利要求1至6中任一项所述的康复训练系统，其特征在于，

所述图像处理装置在执行应用程序的过程中将从所述患者的视角看到的图像发送到所述训练师侧终端，

所述训练师侧终端显示从所述图像处理装置发送来的所述图像。

8.根据权利要求7所述的康复训练系统，其特征在于，

通过所述训练师侧终端显示的图像作为动画保存。

9.根据权利要求8所述的康复训练系统，其特征在于，

所述医师侧终端能够对保存的所述动画进行播放。

10.根据权利要求7所述的康复训练系统，其特征在于，

从所述图像处理装置发送来的所述图像被同时传送到所述医师侧终端。

11.根据权利要求1至10中任一项所述的康复训练系统，其特征在于，

通过所述图像处理装置执行的应用程序具有可调整的设定条件，

所述医师侧终端和/或所述训练师侧终端能够调整所述设定条件。

12.根据权利要求11所述的康复训练系统，其特征在于，

能够将显示所述问题的角度的范围作为所述设定条件进行调整。

13.根据权利要求11或12所述的康复训练系统，其特征在于，

能够将通过所述问题显示的对象物的数量作为所述设定条件进行调整。

14.根据权利要求1至13中任一项所述的康复训练系统，其特征在于，

所述图像处理装置具有测定模式和训练模式，作为执行应用程序的模式，

在所述测定模式下，所述图像处理装置提出预先确定的问题，

在所述训练模式下，所述图像处理装置提出随机生成的问题。

15.根据权利要求1至14中任一项所述的康复训练系统，其特征在于，

在所述图像处理装置上显示作为虚拟训练员的网络虚拟图像。

16.根据权利要求1至15中任一项所述的康复训练系统，其特征在于，

所述医师侧终端、所述训练师侧终端、所述图像处理装置或所述服务器基于所述问题的过去的得分，调整所述问题的难易度，并使所述图像处理装置提出与所述难易度对应的问题。

17.根据权利要求1至16中任一项所述的康复训练系统，其特征在于，

所述医师侧终端、所述训练师侧终端、所述图像处理装置或所述服务器根据基于所述康复训练履历信息的患者的弱点，生成与所述弱点对应的问题，并使所述图像处理装置提出该问题。

18.根据权利要求1至17中任一项所述的康复训练系统，其特征在于，

所述图像处理装置执行数字抹消应用程序，该数字抹消应用程序使用所述虚拟现实、所述增强现实或者所述混合现实来显示数字的图像，提出将所述数字的图像依次抹消的问题。

19.根据权利要求1至18中任一项所述的康复训练系统，其特征在于，

所述图像处理装置执行第一选择抹消应用程序，该第一选择抹消应用程序使用所述虚拟现实、所述增强现实、或者所述混合现实来显示作为目标和非目标的图像，提出将作为所述目标的图像抹消的问题。

20.根据权利要求1至19中任一项所述的康复训练系统，其特征在于，

所述图像处理装置执行第二选择抹消应用程序，该第二选择抹消应用程序使用所述虚拟现实、所述增强现实或者所述混合现实来显示作为目标和非目标的图像，提出选择作为所述目标的图像并在选择后使图像变化的问题。

21.根据权利要求1至20中任一项所述的康复训练系统，其特征在于，

所述图像处理装置执行空间配置应用程序，该空间配置应用程序使用所述虚拟现实、所述增强现实或者所述混合现实来显示至少一个墙壁的图像和配置在所述墙壁上的作为目标和非目标的图像，提出将作为所述目标的图像抹消的问题。

22.根据权利要求1至21中任一项所述的康复训练系统，其特征在于，

所述图像处理装置执行迷宫应用程序，该迷宫应用程序使用所述虚拟现实、所述增强现实或者所述混合现实来显示作为迷宫的图像，提出将所述迷宫破解的问题。

23.根据权利要求22所述的康复训练系统，其特征在于，

通过所述迷宫应用程序，显示作为目标的图像，提出将作为所述目标的图像抹消的问题。

24.根据权利要求1至23中任一项所述的康复训练系统，其特征在于，

所述图像处理装置执行网格移动应用程序，该网格移动应用程序使用所述虚拟现实、所述增强现实或者所述混合现实来显示作为网格的图像，提出在所述网格上移动的问题。

25.根据权利要求1至24中任一项所述的康复训练系统，其特征在于，

所述图像处理装置在使用所述虚拟现实、所述增强现实或者所述混合现实来显示虚拟图像的应用程序中，在所述患者的视野范围外也显示所述虚拟图像。

26.根据权利要求25所述的康复训练系统，其特征在于，

所述虚拟图像是所述问题的作为目标和/或非目标的图像。

27.根据权利要求25所述的康复训练系统，其特征在于，

所述虚拟图像是在所述问题中使用的墙壁、迷宫或网格的图像。

28.一种图像处理装置，其用于高级脑功能障碍的康复训练，且具备：

空间识别部，其识别所述图像处理装置的周边的空间；

跟踪部，其对所述空间识别部识别的空间中的所述图像处理装置的位置或倾斜进行识别；

朝向检测部，其检测使用者的朝向；

图像处理部，其将虚拟的对象物配置在所述空间识别部识别的空间中，并基于所述跟踪部识别的所述位置和所述倾斜以及所述朝向检测部检出的所述朝向，生成从所述使用者的视角看到的所述虚拟的对象物的图像；以及

用于增强现实的显示部，其以在现实空间中是否存在所述图像处理部生成的所述虚拟的对象物的图像的方式向所述使用者显示所述图像处理部生成的图像，

所述图像处理装置的特征在于，

还具备控制部，其生成如下的问题：在现实空间中是否存在有在高级脑功能障碍的康复训练中使用的所述虚拟的对象物的图像。

29.根据权利要求28所述的图像处理装置，其特征在于，

所述控制部使用基于所述朝向检测部的检测结果，检测所述使用者对所述虚拟的对象物的图像的选择，并基于检出的选择结果进行所述问题的评分。

30.根据权利要求29所述的图像处理装置，其特征在于，

所述控制部使用供所述使用者选择之用的图像作为所述虚拟的对象物的图像，以将该图像至少配置在所述使用者的视野中的方式生成所述问题。

31.根据权利要求30所述的图像处理装置，其特征在于，

所述控制部以将供所述使用者选择之用的图像也配置在所述使用者的视野外的方式生成所述问题。

32.根据权利要求28至31中任一项所述的图像处理装置，其特征在于，

所述控制部基于所述跟踪部对所述图像处理装置的位置的检测结果，进行所述问题的评分。

33.根据权利要求32所述的图像处理装置，其特征在于，

所述控制部使用促使所述使用者在现实空间中移动的图像作为所述虚拟的对象物的图像，以将该图像至少配置在所述使用者的视野中的方式生成所述问题。

34.根据权利要求33所述的图像处理装置，其特征在于，

所述控制部以将用于促使所述使用者在现实空间中移动的图像也配置在所述使用者的视野外的方式提出所述问题。

35.一种存储介质，其存储有用于高级脑功能障碍的康复训练的计算机程序，所述计算机程序通过图像处理装置执行，所述图像处理装置具备：

空间识别部，其识别所述图像处理装置的周边的空间；

跟踪部，其对所述空间识别部识别的空间中的所述图像处理装置的位置或倾斜进行识别；

朝向检测部，其检测使用者的朝向；

图像处理部，其将虚拟的对象物配置在所述空间识别部识别的空间中，并基于所述跟踪部识别的所述位置和所述倾斜以及所述朝向检测部检出的所述朝向，生成从所述使用者的视角看到的所述虚拟的对象物的图像；以及

用于增强现实的显示部，其以在现实空间中是否存在所述图像处理部生成的所述虚拟的对象物的图像的方式向所述使用者显示所述图像处理部生成的图像，

所述存储介质的特征在于，

所述计算机程序使所述图像处理装置作为控制单元发挥功能，该控制单元生成如下的问题：在现实空间中是否存在有在高级脑功能障碍的康复训练中使用的所述虚拟的对象物的图像。

Images