CN117794453A - 对手指运动进行测量处理的测量处理终端、方法和计算机程序 - Google Patents

Abstract

本发明提供一种不仅能够捕捉指关节的运动、定量地评价手指的弯曲/伸展运动功能和/或两指开合运动功能，还能够客观并且细致、正确、高精度地评价上肢运动功能的测量处理终端、方法和计算机程序。本发明的测量处理终端(50)包括：摄像数据收集器(9)，其收集通过拍摄受检者的手指运动得到的摄像数据；手部追踪数据生成器(26)，其具有基于摄像数据来检测并追踪手指位置的手部追踪功能，根据摄像数据利用手部追踪功能来生成随时间变化的手部追踪数据；和数据处理器(27)，其对从手部追踪数据生成器得到的手部追踪数据进行处理，生成关于随指关节的运动而发生的手指的弯曲/伸展运动和/或两指开合运动的定量数据，并且，对手部追踪数据、从移动距离测量器得到的距离数据和时间数据、以及从视线检测器得到的视线数据进行处理，生成将这些数据的相关关系定量化而得的相关性数据。

Description

对手指运动进行测量处理的测量处理终端、方法和计算机 程序

技术领域

本发明涉及测量包括手指敲击运动等在内的手指运动并处理其测量结果的测量处理终端、测量处理方法和计算机程序。

背景技术

由于社会老龄化的加深，阿尔茨海默型认知障碍的患者逐年增加，如果能够早期发现，就能够通过用药来延缓疾病的发展。不过，可能难以区分是由于健忘等衰老导致的症状还是疾病，很多情况下要在症状加重后才在医院首次接受诊断。

在这样的状况下，作为早期发现阿尔茨海默型认知障碍的筛查，以往进行的是血液检查、嗅觉测试以及在平板终端上重现医师问诊的检查等，但存在采血时疼痛和检查时间较长等受检者负担较大的问题。另一方面，作为受检者负担较小的检查，也可以通过点按按钮、使用平板终端测量单手的手指运动来进行认知功能评价，但存在不能获得足够高的检查精度的缺点。如果能够高精度且受检者负担小地进行简易的筛查，则能够实现阿尔茨海默型认知障碍的早期发现，有助于改善患者的生活质量、削减医疗费和护理费。

对此，近年来研究发现，从两手的拇指和食指进行的两指开合运动(手指敲击运动)中能够提取出阿尔茨海默型认知障碍特有的运动模式，确认了手指的运动测量与通过一般的问诊进行的认知障碍检查具有高相关性。人们认为，通过手指敲击运动测量能够捕捉到阿尔茨海默型认知障碍中的脑萎缩引起的两个手指的节奏运动功能的降低。另外，手指被称为第二脑，大脑中多数区域与手指的作用相关，人们认为手指的运动不仅与阿尔茨海默型认知障碍相关，还与脑血管性和路易体型等认知障碍、帕金森病、发育性协调障碍(不能蹦跳走和跳绳等)等相关。即，能够根据手指的敲击运动获知大脑的状态。进而，通过将手指的敲击运动有效地用作表示大脑健康状态的“标尺”，能够将手指的精细运动功能定量化，所以也能够在保健领域、康复领域、生活辅助领域等各种领域中使用。

作为高精度地对手指敲击运动进行测量和评价的方法，例如，专利文献1和专利文献2中公开了包括运动功能测定装置和评价装置的运动功能评价系统及方法，其中，运动功能测定装置基于在生物体的可动部分安装的一对信号发送线圈与信号接收线圈的相对距离计算运动数据，评价装置基于从运动功能测定装置接收的运动数据评价生物体的运动功能。即，这些专利文献给出的技术是，利用安装在指尖上的磁传感器，将因2根手指的敲击运动而发生变动的磁力的变化转换为电信号，对该运动进行测量、定量化来捕捉表示手指的运动的特征的特征量，由此了解脑功能的状态。

另外，在康复领域中，为了确认脑卒中/脑梗塞患者的术后康复效果可以进行简易上肢功能检查(STEF)，其中，用秒表测定患者抓持不同大小、形状的物体并使其移动的一系列动作所需的时间。

现有技术文献

专利文献

专利文献1：日本特开2016-49123号公报

专利文献2：日本特开2015-217282号公报

发明内容

发明要解决的技术问题

但是，在上述专利文献中公开的使用了佩戴于指尖的磁传感器的手指敲击装置中，因为不能识别手指关节的运动，所以不能定量地评价“捏”动作等手指的弯曲/伸展运动。另外，在因手指受伤或变形等导致难以佩戴传感器的情况下，将无法进行测量。

另外，上述简易上肢功能检查(STEF)是由医师目视观察手臂、手指的运动而进行的，因此测量者(医师)主观判断的部分较大，存在取决于测量者而得到不同检查结果的情况。

另外，为了客观并且细致、正确、高精度地评价上肢运动功能，不仅需要对手指进行评价，还需要与手臂、眼睛等身体的其他部位的运动同步地进行评价(例如定量地评价手指与手臂的运动的联动性(相关性)、手指与眼睛运动的联动性(相关性))，但是像现有的检查方法那样以目视进行确认的方法中，同时评价其他部位的运动对测量者的负担较大，难以实现。

进而，为了正确地掌握上肢运动功能的恢复程度，或者为了在检查/测量中不产生误差(波动)，需要统一检查/测量环境从而使检查/测量条件一致。取决于检查/测量方法，若不统一检查/测量条件(或环境)，存在检查/测量结果在受检者之间产生误差，不能进行正确的检查/测量的情况。

本发明是鉴于上述情况作出的，其目的在于提供一种不仅能够捕捉指关节的运动、定量地评价手指的弯曲/伸展运动功能和/或两指开合运动功能，还能够客观并且细致、正确、高精度地评价上肢运动功能的测量处理终端、方法和计算机程序。

解决问题的技术手段

为了解决上述问题，本发明提供一种对受检者的手指运动进行测量并处理其测量结果的测量处理终端，其特征在于，包括：摄像数据收集器，其收集通过拍摄受检者的手指运动得到的摄像数据；手部追踪数据生成器，其具有基于所述摄像数据来检测并追踪手指位置的手部追踪功能，根据所述摄像数据利用所述手部追踪功能来生成随时间变化的手部追踪数据；和数据处理器，其对从所述手部追踪数据生成器得到的手部追踪数据进行处理，生成关于随指关节的运动而发生的手指的弯曲/伸展运动和/或两指开合运动的定量数据。

采用本发明的上述结构，能够根据拍摄受检者的手指运动得到的摄像数据，利用手部追踪功能来生成随时间变化的手部追踪数据，并且能够对手部追踪数据进行处理而生成关于随指关节的运动而发生的手指的弯曲/伸展运动的定量数据，因此能够正确地捕捉现有的磁传感器型装置不能识别的关节的运动，能够定量地评价“捏”动作等手指的弯曲/伸展运动。由此，在手指的精细运动功能的评价中，能够将两指间距离的信息与手指各关节的运动(关节角度)的信息组合，进行更详细的分析、评价。

具备这种功能的测量处理终端可以构成为任意形态。例如，测量处理终端可以构成为智能手机这样的小型终端，也可以是平板型的薄型计算机或个人计算机等形态，或者也可以构成为头戴式显示器(Head Mounted Display：HMD，下称HMD)等形态。

另外，上述结构中，数据处理器可以计算并分析与受检者的脑功能评价相关的特征量。进而，数据处理器也可以根据计算出的特征量进行受检者的脑功能、认知功能的评价(例如通过与健全者的数据比较)。这样的评价作为判断认知障碍的初期阶段的筛查是有效的，有助于检测认知障碍。另外，这样的带有数据处理器的测量处理终端，其用途不限于临床领域，例如也能够有助于判断车辆驾驶时的判断力，并且能够应用于脑锻炼的游戏等，其应用范围广。

另外，上述结构中，可以进而设置移动距离测量器和视线检测器，其中，移动距离测量器测量手随着手臂的运动而移动时的随时间变化的移动距离，视线检测器检测受检者的眼睛的视线，该情况下优选的是，数据处理器对从手部追踪数据生成器得到的手部追踪数据、从移动距离测量器得到的距离数据和时间数据、以及从视线检测器得到的视线数据进行处理，生成将这些数据的相关关系定量化而得的相关性数据。由此，例如在移动手臂而抓持(捏持)对象物时，能够同时定量地评价手臂的运动和手指的开合动作(能够定量地评价手指与手臂的运动的联动性(相关性))，进而，也能够定量地评价手指与眼睛的运动的联动性(相关性)。即，能够对手指与身体的其他部位的运动同步地进行评价，从而，能够客观并且细致、正确、高精度地评价上肢运动功能。

另外，作为由数据处理器生成的相关性数据，例如能够举出这样的图表数据(graph data)，其中，与手指开合时刻一起表示了从测量开始位置至要抓持的物体为止的手的移动距离与时间之间的关系。这样的相关性数据能够用于掌握要张开手指时的手的移动距离、从测量开始位置至物体为止的距离、和抓住(捏住)物体所需的时间。另外，也能够举出表示两指间距离与时间之间的关系的图表数据作为相关性数据。这样的相关性数据能够用于掌握手指的开合时刻(抓住物体的时机)。进而，作为相关性数据，也能够举出表示根据手部追踪数据得到的关节角度与时间之间的关系、从测量开始位置起的距离与两指间距离之间的关系的图表数据。表示关节角度与时间之间的关系的图表数据能够用于掌握随时间发生的关节角度的变化，另外，表示从测量开始位置起的距离与两指间距离之间的关系的图表数据能够用于掌握在手从测量开始位置起移动了何种程度时作出了张开手指的动作。另外，为了与通过视线检测器的眼动追踪检测出的眼睛的运动同步地评价手指运动，例如可以生成能够用散点图表示眼睛的视线位置相对于要抓住的物体之间的偏离的相关性数据。

另外，上述结构中，数据处理器可以生成与测量基准位置和/或测量历史相关的图像数据。由此，能够在多次检查/测量之间使测量条件统一，而且，能够在多次检查/测量之间掌握手指(上肢)运动功能的变化。另外，作为与测量基准位置相关的图像数据，例如能够举出用于在显示画面上标记测量开始位置(应当放置手的位置等)的图像数据、或用于在显示画面上进行指导显示的图像数据——其表示用于规定测量开始时的手的方向和位置的手指轮廓，另外，作为与测量历史相关的图像数据，例如能够举出用于将过去的测量结果用虚线、手的轮廓等显示在显示画面上的图像数据。

另外，上述结构中，可以进而设置有用于设定测量条件的条件设定器，该情况下优选的是，数据处理器生成与通过条件设定器设定的测量条件对应的图像数据和/或声音数据。由此，通过设定测量条件，例如能够减小测量误差(波动)，统一检查/测量环境，并且能够使检查/测量条件一致(统一)，其结果是，能够消除使用拍摄数据的情况下固有的问题(例如，考虑可能随着从摄像单元即摄像机至拍摄对象的距离变化而发生变动的参数，在Z轴方向上将基准统一等)，或尽可能减少外部因素(噪声等)，或者多个受检者能够尽可能地在同一环境下进行测量。从而，例如能够正确地掌握上肢运动功能的恢复程度，或者使得检查/测量状态不会在受检者之间产生误差。另外，如果利用图像或声音使设定的条件可视化或可听化，则测量条件能够被受检者更可靠地认识到(或者，会对测量造成不良影响的外部因素被排除)，能够准备好合适的测量环境，得到正确的测量结果。

此处，条件设定器设定的测量条件可以与测量环境以及受检者的视野相关联，该情况下优选的是，数据处理器生成用于排除测量环境的噪声的声音数据和/或用于限制受检者的视野的图像数据。作为用于排除测量环境的噪声的声音数据，例如可以举出用于从扬声器输出将周边的噪音抵消的音乐的声音数据，另外，作为用于限制受检者的视野的图像数据，例如能够举出用于在显示画面上在受检者的手指与周边的物体之间插入虚拟物体进行遮挡的图像数据。

另外，条件设定器设定的测量条件也可以与测量的初始设定相关联。作为这样的初始设定能够举出，在为了正确地掌握上肢运动功能的恢复程度而对于同一受检者多次执行测量的情况下，各测量中首先进行的测量基准位置(受检者的头部、手指、视线的位置等)的设定、摄像数据的取得位置(例如摄像机的位置)的设定等。另外，这样的条件设定也能够作为测量处理(检查)的前处理进行，可以有助于统一测量条件。

另外，上述结构中，摄像数据收集器可以具有拍摄手指运动的摄像机。这样的摄像机能够拍摄测量环境。另外，上述结构中，测量处理终端可以进而具有输出由手部追踪数据生成器和/或数据处理器生成的数据的输出接口。作为这样的输出接口，能够举出显示图像、文本等的显示装置、头戴式耳机、扬声器等声音输出装置。

另外，本发明除了上述测量处理终端以外，还提供测量手指运动并处理其测量结果的方法和计算机程序。

发明效果

采用本发明，由于具有手部追踪功能并且对手部追踪数据、手指的移动距离数据以及时间数据进行处理，获得将这些数据的相关关系定量化而得的相关性数据，因此，不仅能够捕捉指关节的运动、定量地评价手指的弯曲/伸展运动功能和/或两指开合运动功能，还能够客观并且细致、正确、高精度地评价上肢运动功能。

附图说明

图1是表示本发明的第一实施方式的作为HMD的测量处理终端的结构例的框图。

图2是表示利用佩戴于受检者的头部的、图1中的作为HMD的测量处理终端的摄像机拍摄手指敲击运动的状态的概略图。

图3是在HMD画面上显示了通过手部追踪功能使手指地标显示与手指的影像重叠而得到的手部追踪图像，和通过手部追踪数据的处理得到的关节角度的数值数据的状态的概略图。

图4是表示在HMD画面上显示了表示用于规定测量开始时的手的方向和位置的手指轮廓的指导显示的状态的概略图。

图5是表示在HMD画面上显示了表示用于规定测量开始时的手的方向和位置的手指轮廓的指导显示，和表示过去的测量结果(手指的上抬程度、张开程度)的虚线的状态的概略图。

图6是表示在执行用手去抓放置在较远位置的物体的检查时，受检者将自己的手载置在测量开始位置的状态的概略图。

图7中，(a)是表示受检者将自己的手载置在测量开始位置的状态下，HMD的摄像机获取手的位置的状况的概略图；(b)是表示在HMD的摄像机的捕捉范围内受检者改变视线的情况下，摄像机也始终追踪手的位置的状况的概略图。

图8是表示受检者移动手臂使自己的手向放置在较远位置的物体移动的状态的概略图。

图9是表示受检者用手抓住放置在较远位置的物体的状态的概略图。

图10是与手指的开合时刻一起表示了从测量开始位置至要抓持的物体为止的手的移动距离与时间之间的关系的图(相关性数据)。

图11是表示两指间距离与时间之间的关系的图(相关性数据)。

图12是表示根据手部追踪数据得到的关节角度与时间之间的关系的图(相关性数据)。

图13是表示从测量开始位置起的距离与两指间距离之间的关系的图(相关性数据)。

图14是表示测量手指敲击运动时在HMD画面上显示了视线定位用标记的状态的概略图，(a)表示在HMD画面上直接显示了包括测量环境在内的摄像机的整个拍摄图像的状态，(b)表示在HMD画面上显示了将手指以外的测量环境遮挡了的图像(限制受检者的视野的图像)的状态。

图15表示执行受检者不看自己的手地进行手指敲击运动的检查时在HMD画面上显示的图像，(a)是手指被透射遮罩遮挡的显示图像，(b)是在(a)的显示状态下，在透射遮罩上叠加了作为放置手的位置的标记的手指轮廓的显示图像。

图16是表示本发明的第一实施方式的作为HMD的测量处理终端的动作之一例的流程图。

图17表示使用本发明的第二实施方式的作为智能手机的测量处理终端由受检者单独进行的检查/测量之一例，(a)是表示用智能手机的前置摄像头拍摄受检者的脸、眼睛的运动，并用智能手机的后置摄像头追踪拍摄受检者的手指敲击运动的状况的概略图，(b)是表示事先获取并登记测量时的手的位置和方向的状况的概略图。

图18是表示在图17的(a)的状态下进而使用前置摄像头由医师等进行在线诊疗的状况的概略图。

图19是表示医师等测量者使用智能手机的后置摄像头追踪拍摄受检者的手指运动的状况的概略图。

图20是表示受检者和测量者双方使用具有可开闭的2个显示屏幕的智能手机(折叠屏智能手机)共享检查/测量图像的状况的概略图。

具体实施方式

以下参照附图对本发明的实施方式进行说明。本实施例通过提供以下所示的技术，能够用先进技术辅助医疗发展和实现健康社会。通过实现本测量处理终端，有助于联合国提倡的可持续发展目标(SDGs：Sustainable Development Goals)的“9.产业、创新和基础设施”。

另外，以下按照头戴式显示器(HMD)(第一实施方式)或者智能手机(第二实施方式)说明对手指运动进行测量和处理的本发明的测量处理终端，但本发明的测量处理终端也可以构成为平板型的薄型计算机或个人计算机等形态，或者，也可以考虑经由通信手段(网络)与服务器连接的使用形态，可以采用任意的结构形态和使用形态。

另外，以下实施方式中表示了由于自身具备摄像机和显示器等，所以能够单独地取得摄像数据并对手指运动进行测量处理和显示的测量处理终端，但本发明也可以实现为，能够通过与分体的摄像机和显示器协作来对手指运动进行测量和处理的终端或方法，或者也可以构成为能够使计算机进行这样的测量和处理的计算机程序。

图1～图16表示本发明的第一实施方式，其中，测量受检者的手指运动并处理其测量结果的测量处理终端由头戴式显示器(HMD)50实现。图1表示了这样的HMD50的结构的框图。

如图1所示，HMD50具有第一和第二摄像机6、8、距离检测传感器10、任意的地磁传感器(重力传感器)25、手部追踪数据生成器26、条件设定器24、数据处理器27、右眼和左眼视线检测器12、14、显示装置16、任意的操作输入接口19、麦克风18、扬声器20、由程序29和信息数据32构成的存储器28、通信接口22以及收发天线23，这些构成要素除收发天线23以外分别经由总线39相互连接。该情况下，至少第一和第二摄像机6、8以及距离检测传感器10构成测量受检者的手指运动的测量器。另外，本实施方式设置了拍摄受检者的手指运动的第一和第二摄像机6、8，该摄像机6、8构成对拍摄受检者的手指运动得到的摄像数据进行收集的摄像数据收集器9，但其他实施方式中也可以是，不设置摄像机6、8，摄像数据收集器9经由数据输入接口导入由与测量处理终端分体的摄像机拍摄受检者的手指运动得到的摄像数据。

第一摄像机6是为了包括测量环境(周边的物体和景色)在内地拍摄受检者的手指运动而内置在HMD50中的外侧摄像头，另外，第二摄像机8是为了实现视线检测器12、14的眼动追踪而作为拍摄受检者的眼睛的内侧摄像头内置在HMD50中的。各摄像机6、8都能够拍摄对象并导入其拍摄图像(摄像数据)。

距离检测传感器10构成移动距离测量器，测量手随着手臂的运动而移动的随时间变化的移动距离，是能够立体地捕捉人或物等对象物的形状的传感器(或者也可以另外设置测量时间的计时器)。作为这样的传感器，能够举出：向对象物照射红外线等激光并测定反射回的散射光从而分析并检测位于远处的对象物的距离和该对象物的状态的LiDAR(Light Detection and Ranging)，按每个像素测量向被摄体照射的脉冲光的反射时间而进行测距的TOF(Time Of Flight)传感器，发射毫米波的无线电波并捕捉其反射波来检测反射无线电波的对象物的距离和对象物的状态的毫米波雷达等。特别是，本实施方式的距离检测传感器10能够分别检测受检者的手指的距离及其角度，能够随时间经过地测量各距离。

右眼视线检测器12和左眼视线检测器14分别检测受检者的右眼和左眼的视线。其中，检测视线的处理可以利用作为眼动追踪处理通常使用的公知技术，例如在利用了角膜反射的方法中，已知一种使红外线LED(Light Emitting Diode)照射人脸并用红外线摄像机拍摄，以通过红外线LED照射而产生的反射光在角膜上的位置(角膜反射)为基准点，基于瞳孔相对于角膜反射的位置所处的位置来检测视线的技术。

地磁传感器25是检测地球的磁力的传感器(重力传感器)，检测HMD50朝向的方向(受检者的颈部的角度)。作为地磁传感器，使用除了前后方向和左右方向之外还检测上下方向的地磁场的三轴型传感器，捕捉与HMD50的运动对应的地磁场变化，由此还能够检测HMD50的运动(受检者的颈部的角度)。

条件设定器24用于设定测量条件，例如由用户接口构成，其中能够选择上肢运动功能或手指敲击运动功能等检查模式，或选择按每一个检查模式准备的测量条件，能够在HMD50的显示画面上显示该用户接口，通过手势操作或声音输入、或者使用键盘或按钮、触摸按键等输入手段进行输入来设定测量条件。在作为用户接口准备的手指敲击运动功能中，作为测量条件例如能够列举下述的选项：双手同时/双手交替/仅单手(右手)/仅单手(左手)等测量模式的选择、测量时是否使受检者看到手指部分的选择(手指部分的透射遮罩功能的ON/OFF)、或者是否抑制从眼睛或耳朵进入的测量环境的噪声(妨碍受检者专注于测量的因素)的选择(例如，在手指与周边的物体之间插入虚拟物体来将周边的信息遮挡之功能的ON/OFF)等。另外，其他作为用户接口准备的测量条件例如是，能够设定一个功能，用手指的轮廓或虚线等显示过去的测量结果或作为目标的标准，以便掌握手指(上肢)运动功能的变化(康复训练的情况下是其康复效果)。

另外，手部追踪数据生成器26具有手部追踪功能，基于由摄像机6取得的摄像数据来检测并追踪手指位置，根据摄像数据利用手部追踪功能来生成随时间变化的手部追踪数据。作为手部追踪(骨架检测)功能，例如可以应用美国Google提供的开源机器学习工具“MediaPipe”。

另外，数据处理器27不仅对从手部追踪数据生成器26得到的手部追踪数据进行处理而生成关于随指关节的运动而发生的手指的弯曲/伸展运动和/或两指开合运动的定量数据，还对从手部追踪数据生成器26得到的手部追踪数据、从距离检测传感器10得到的距离数据和时间数据、以及从视线检测器12、14得到的视线数据进行处理，生成将这些数据的相关关系定量化而得的相关性数据。另外，数据处理器27生成与测量基准位置和/或测量历史相关的图像数据，并且还生成与条件设定器24设定的测量条件对应的图像数据和/或声音数据。特别是，在测量条件与测量环境以及受检者的视野相关联的情况下，数据处理器27生成用于排除测量环境的噪声的声音数据和/或用于限制受检者的视野的图像数据。另外，数据处理器27在本实施方式中还构成HMD50的控制器，由CPU等构成，通过执行存储并保存在存储器28中的操作系统(Operating System：OS)30和各种动作控制用应用31等程序29，来进行整个HMD50的动作控制处理，并且控制各种应用的启动动作。

存储器28由闪存等构成，存储了操作系统30和图像、声音、文档、显示、测量等各种处理的动作控制用应用31等程序29。另外，存储器28保存了操作系统30等进行基本动作所需的基础数据33，和供各种应用31等使用的文件数据34等信息数据32。例如，图像处理应用在启动后利用摄像机进行拍摄，保存拍摄的文件数据。另外，也可以将数据处理器27中的处理预先存储为1个应用A，通过启动应用A来执行手指运动的测量处理、各种特征量的计算分析。另外，也可以利用运算性能强且大容量的外部服务器装置等从信息处理终端接收测得的测量结果，进行特征量的计算分析。

显示装置16是输出由手部追踪数据生成器26和/或数据处理器27生成的数据的输出接口，特别是能够显示由数据处理器27处理的处理结果。在该显示装置16是光学透视型HMD的情况下，例如包括用于投影由启动应用生成的再现信息、面向受检者的通知信息等各种信息的投影部，和使投影的各种信息在用户眼前成像显示的透明的半反射镜。另外，在视频透视型HMD的情况下，包括将第一摄像机6拍摄的眼前的现实空间物体与各种信息一并显示的液晶面板等显示器。由此，受检者除了眼前的视野内的图像以外，也能够一并观看、收看来自其他来源的图像信息。

另外，后述的第二实施方式中测量处理终端是智能手机，因此显示装置16由液晶面板等构成，能够显示图像、影像并且显示电池容量的剩余量、各种警报、时间等面向受检者的通知信息，以及显示画面内启动的应用的图标等。

HMD50的操作输入接口19大多使用手势操作或声音输入，但也可以使用例如键盘或按钮、触摸按键等输入单元，设定并输入受检者要输入的信息。后述的第二实施方式中测量处理终端是智能手机，因此操作输入接口19可以设置在终端自身，而在本实施方式中，操作输入接口19可以在HMD50内设置成容易由受检者进行输入操作的位置或形态，或者也可以是与HMD50的本体分离并通过有线或无线连接的形态。另外，可以在显示装置16的显示画面内显示输入操作画面，根据右眼视线检测器12和左眼视线检测器14检测出的视线所指向的输入操作画面上的位置来导入输入操作信息，另外，也可以在输入操作画面上显示指针并通过操作输入接口19操作指针来导入输入操作信息。另外，也可以由受检者发出表示输入操作的声音，用麦克风18拾音来导入输入操作信息。

麦克风18也能够构成输出由数据处理器27生成的声音数据的输出接口，并且拾取来自外部的声音、用户自身发出的声音。另外，扬声器20对外部输出声音来向用户传递通知信息、音乐等声音。另外，也可以通过扬声器20用声音对受检者通知关于手指运动测量的指示。

通信接口22是通过近距离无线通信、无线LAN或基站通信而与位于其他场所的服务器装置等进行无线通信的通信接口，在无线通信时经由收发天线23与服务器装置等收发测量数据、分析并计算得到的特征量等。另外，例如可以使用电子标签进行近距离无线通信，但不限定于此，只要在位于其他信息终端附近时至少能够进行无线通信即可，可以使用Bluetooth(注册商标)、IrDA(Infrared Data Association，注册商标)、Zigbee(注册商标)、HomeRF(Home Radio Frequency，注册商标)或Wi-Fi(注册商标)等无线LAN进行通信。另外，作为基站通信，可以使用W-CDMA(Wideband Code Division Multiple Access)或GSM(注册商标)(Global System for Mobile communications)等远距离的无线通信。另外，也能够使用超宽带无线系统(Ultra Wide Band：UWB)检测终端间的位置关系、方向。虽然未图示，但通信接口22也可以使用光通信、声波通信等其他方法作为无线通信的手段。该情况下，代替收发天线23分别使用发光/受光部、声波输出/声波输入接口。

另外，HMD50在本实施方式中如上所述，个别地具有上述各构成要素，但也可以具备由这些构成要素的至少一部分或全部整合而得的功能部，重要的是只要确保这些各构成要素的功能即可，能够采用任意的构成方式。

接着，基于图1～图15，参照图16所示的流程图，对测量并处理手指运动的HMD50的测量处理动作进行说明。

图2表示利用佩戴于受检者60的头部62的HMD50的第一摄像机6，来拍摄受检者60进行的手指敲击运动的状态。在HMD50的显示装置16的画面上，显示了第一摄像机6拍摄到的受检者60的手指的动态影像70。

图3表示HMD50的显示装置16的画面16a的显示状态，其中显示了通过上述手部追踪功能使手指地标显示72与手指的动态影像70叠加而得到的手部追踪图像75，和由数据处理器27对手部追踪数据生成器26生成的手部追踪数据进行处理而得到的与测量相关的各种信息、例如关节角度的数值数据73。当然，关于手指地标(hand landmarks)的数据本质上是供数据处理器27中的数据处理使用的，因此也可以不对受检者显示(可以不在画面(屏幕)16a上显示手指地标显示72)。

图4表示在HMD50的显示装置16的画面16a上，与手部追踪图像75一起显示了与测量基准位置相关的图像数据的状态，其中，作为与测量基准位置相关的图像数据显示的是表示用于规定测量开始时的手的方向和位置的手指轮廓的指导显示(指导轮廓)76。该指导显示76通过第一摄像机6事先获取并登记(在存储器28中存储)测量时的手的位置和方向，每次测量时从存储器28读出，按获取时的位置在画面16a上显示。这样的指导显示76不仅能够形成与测量基准位置相关的图像数据，也能够在为了正确地掌握上肢运动功能的恢复程度而对同一受检者多次执行测量的情况下，形成各测量中首先进行的初始设定用的图像数据，能够在多次检查/测量之间统一测量条件。当然，也可以代替手指轮廓显示可透视的手的影像。另外，与测量基准位置相关的图像数据由数据处理器27生成。

图5表示在HMD50的显示装置16的画面16a上，与表示用于规定测量开始时的手的方向和位置的手指轮廓的指导显示76一起，显示了表示过去的测量结果(手指的上抬程度、张开程度)的虚线79作为与测量历史相关的图像数据的状态。当然，也可以代替虚线79，显示表示过去的手指的上抬程度、张开程度的手指轮廓等。这样的与测量历史相关的图像数据能够用于掌握手指(上肢)运动功能在多次检查/测量之间的变化(康复训练的情况下是其康复效果)。另外，与测量历史相关的图像数据由数据处理器27生成。

另外，在多人共享HMD50的情况下，也可以事先登记指纹或手相等固有的识别信息，在测量前进行对照，由此读出并显示该受检者的手指的轮廓信息。

图6表示执行用手去抓放置在较远位置的物体80的检查时，受检者60将自己的手63载置在测量开始位置的状态。这样的测量开始位置作为与测量基准位置相关的图像数据，在HMD50的显示装置16的画面16a上(例如在拍摄测量环境的图像中拍摄到的桌子93上)显示为标记83。在这样的检查开始时，例如，以将手63放置在这样的标记83的位置为条件(图16的步骤S1)。另外，与测量基准位置相关的图像数据由数据处理器27生成。

图7的(a)表示在受检者60将自己的手63载置在标记83上的状态下，HMD50的第一摄像机6获取手63的位置的状况。在检查开始时也进行这样的开始位置的获取(图16的步骤S2)。图7的(b)是表示在HMD50的第一摄像机6的捕捉范围内受检者60改变了视线L的情况下，第一摄像机6也始终追踪手63的位置的状况的概略图。从这样的意义来看，优选第一摄像机6能够大范围地捕捉手63的位置。

另外，检查开始时，在通过条件设定器24设定了测量条件的情况(图16的条件设定步骤S3)下，数据处理器27生成与测量条件对应的图像数据和/或声音数据(图16的步骤S4)。通过设定测量条件，例如能够减小测量误差(波动)，统一检查/测量环境，并且能够使检查/测量条件一致(统一)，其结果是，能够消除使用拍摄数据的情况下固有的问题(例如考虑可能随着从第一摄像机6至物体80的距离变化而发生变动的参数，在Z轴方向上将基准统一等)，或尽可能减少外部因素(噪声等)，或者多个受检者能够尽可能地在同一环境下进行测量。从而，例如能够正确地掌握上肢运动功能的恢复程度，或者使检查/测量状态不会在受检者之间产生误差(波动)。另外，如果利用图像或声音使设定的条件可视化或可听化，则测量条件能够被受检者60可靠地认识到(或者，会对测量造成不良影响的外部因素被排除)，能够准备好合适的测量环境，得到正确的测量结果。

在本实施方式中，条件设定器24设定的测量条件与测量环境和受检者60的视野相关联，数据处理器27生成用于排除测量环境的噪声的声音数据和/或用于限制受检者60的视野的图像数据。例如，数据处理器27为了抑制从耳朵或眼睛进入的多余的信息，生成用于从扬声器20输出将周边的噪声抵消的音乐的声音数据作为用于排除测量环境的噪声的声音数据，另外，生成用于在画面16a上在受检者60的手指与周边的物体之间插入虚拟物体进行遮挡的图像数据作为用于限制受检者60的视野的图像数据。即，用HMD50播放为了受检者可以放松地进行测量的影像、音乐。

在图14和图15中表示与这样的测量条件设定相关的图像数据的生成之一例。图14表示在受检者60用自己的双手63、63的手指进行手指敲击运动的测量时，在HMD50的显示装置16的画面16a上与文本显示87一起显示了视线定位用标记85的状态。该情况下，特别是图14的(a)表示在画面16a上直接显示了包括测量环境在内的第一摄像机6的整个拍摄图像的状态，图14的(b)表示在画面16a上显示了将手63以外的测量环境遮挡了的图像(限制受检者的视野的遮罩91)的状态。遮罩91是用于限制受检者60的视野的图像数据，另外，视线定位用标记85是与为了使受检者专注于测量的测量条件对应的图像数据，同时也具有作为与测量基准位置相关的图像数据或与初始设定相关的图像数据的功能。

另外，图15表示执行受检者60不看自己的手63地进行手指敲击运动的检查时在画面16a上显示的图像，图15的(a)是受检者60的手63被透射遮罩89遮挡的显示图像，图15的(b)是在图15的(a)的显示状态下，在透射遮罩89上叠加了作为放置手63的位置的标记的手指轮廓76的显示图像。

这样，本实施方式能够按照测量用途相应地切换手的部分的显示/不显示。即，在进行使受检者能够看到手指运动的测量的情况下，如图14所示地，仅针对手63的部分显示由第一摄像机6拍摄得到的影像，在进行使受检者不能看到手指运动的测量的情况下，如图15所示地遮挡手63的部分(或者仅进行定位用的指导(轮廓)显示76)。通过使受检者60不能看到手指运动，能够抑制从眼睛进入的信息对手指敲击运动的测量造成的影响，能够使测量条件一致(统一)。

另外，如图14所示地显示视线定位用标记85的情况下，使用内侧摄像头即第二摄像机8以及视线检测器12、14进行眼动追踪，在测量中检测到受检者60的视线脱离标记85时提示重新进行测量(例如，从扬声器20播放提示重新进行测量的声音，或者在画面16a上显示提示重新进行测量的文本)。或者，也可以使用地磁传感器25测量佩戴HMD50的受检者60的颈部的角度，对受检者60提示使其不要面朝手边而是面朝前方(不使颈部向下倾斜)。

图8表示受检者60移动手臂64使自己的手63向放置在较远位置的物体80移动的状态。在这样开始测量时(图16的步骤S5)，摄像数据收集器9(第一摄像机6)取得拍摄受检者60的手指运动得到的摄像数据，并且手部追踪数据生成器26根据摄像数据利用手部追踪功能来生成随时间变化的手部追踪数据(图16的步骤S6(摄像步骤、摄像数据取得步骤和手部追踪数据生成步骤))。另外，与此同时，利用距离检测传感器10测量手63随着受检者60的手臂64的运动而移动的随时间变化的移动距离(也计算使手63移动至抓住物体80为止的时间)，并且利用第二摄像机8和视线检测器12、14检测受检者60的眼睛的视线(检测受检者60在何时看着何处……图16的步骤S7(移动距离测量步骤和视线检测步骤))。即，如上所述放置在标记83上的手63被第一摄像机6获取并识别之后，经由距离检测传感器10并通过数据处理器27计算出手63从获取的开始位置随着手臂64的运动而移动的随时间变化的移动距离。

然后，如图9所示，当受检者60用其手63抓住放置在较远位置的物体80时(图16的步骤8)，数据处理器27对从手部追踪数据生成器26得到的手部追踪数据进行处理，生成关于随指关节的运动而发生的手指的弯曲/伸展运动和/或两指开合运动的定量数据，并且对从手部追踪数据生成器26得到的手部追踪数据、从距离检测传感器10得到的距离数据和时间数据、以及经由第二摄像机8从视线检测器12、14得到的视线数据进行处理，生成将这些数据的相关关系定量化而得的相关性数据(数据处理步骤S9)。根据这样的相关性数据，能够对手臂64的运动与手指的开合动作(该开合动作能够通过手部追踪功能掌握)同步地进行评价(能够在手臂64伸出并抓住物体80的一系列动作中，检测手指开合的时刻进行评价)。

在图10～图13中表示这样的相关性数据之一例。图10是与手指的开合时刻一起表示了从测量开始位置至要抓持的物体为止的手的移动距离与时间之间的关系的图。这样的相关性数据能够用于掌握要张开手指时的手的移动距离、从测量开始位置至物体为止的距离、和抓住物体所需的时间。另外，图11是表示两指间距离与时间之间的关系的图。这样的相关性数据能够用于掌握手指的开合时刻(抓住物体的时机)。另外，图12是表示根据手部追踪数据得到的关节角度与时间之间的关系的图。这样的相关性数据能够用于掌握关节角度的随时间的变化。另外，图13是表示从测量开始位置起的距离与两指间距离之间的关系的图。这样的相关性数据能够用于掌握在手从测量开始位置起移动了何种程度时作出了张开手指的动作。另外，为了能够与通过视线检测器12、14的眼动追踪检测出的眼睛的运动同步地评价手指运动，例如可以生成能够用散点图表示眼睛的视线位置相对于要抓住的物体之间的偏离的相关性数据。

以上所述的相关性数据能够与通过手部追踪数据生成器26和/或数据处理器27生成的其他数据一起显示在画面16a上(图16的输出步骤S10)。

接着，参照图17～图20对本发明的第二实施方式进行说明。该实施方式中，测量处理终端构成为智能手机100。另外，其基本结构和作用与已经基于图1和图16等说明的相同。

图17和图18表示在受检者60的脸69与手63之间配置智能手机100，由受检者单独进行检查/测量的使用例。此处，图17的(a)表示用智能手机100的第二摄像机8(前置摄像头)拍摄受检者60的脸、眼睛的运动，用智能手机100的第一摄像机6(后置摄像头)追踪拍摄受检者60的手指敲击运动(和/或测量环境)的状况。另外，为了防抖、实现双手同时测量，优选智能手机100不是用手持而是预先固定设置。另外，包括手部追踪用的用户接口在内的与测量相关的各种信息(因为已经在上文中叙述，所以在图中标注相同的附图标记并省略其说明……图18～图20也是同样的)，被显示在智能手机100的显示装置16的画面16a。另外，第二摄像机8拍摄到的受检者60的脸、眼睛的运动，被作为插入图像110显示在画面16a上。

图17的(b)表示事先获取并登记测量时的手63的位置和方向的状况。在测量前读出所登记的信息，将手的轮廓指导76显示在获取时的位置处。除此以外，手的轮廓显示、视线用标记等关于HMD已经叙述过的显示，在该智能手机100中也同样地进行。

图18表示在图17的(a)的状态下进而使用第二摄像机8由医师等进行在线诊疗的状况。能够这样使用Facetime(注册商标)等，一边与画面16a上作为插入图像112显示的医师对话一边进行测量。

图19和图20表示在比受检者60的手63更远的一侧配置智能手机100并由医师等测量者120测量受检者60的手指敲击运动的使用例。此处，图19表示医师等测量者120手持智能手机100，用智能手机100的第一摄像机6从对面来追踪拍摄受检者60的上半身和手指运动的状况。测量者120能够在智能手机100的画面16a上显示并确认包括手部追踪用的用户接口在内的与测量相关的各种信息。受检者60面向智能手机100进行手指敲击运动。

图20表示受检者60和测量者120双方使用具有可开闭的2个显示画面(屏幕)16a、16a＇的智能手机(折叠屏智能手机)100A来共享检查/测量图像的状况。即，此处，将受检者60一侧的摄像机拍摄的影像也显示在测量者120一侧的画面16a＇上进行共享。具体而言，在受检者60一侧显示摄像机拍摄到的影像，在测量者120一侧附加追踪信息等进行显示。例如，仅在受检者60一侧的画面上，用遮罩89使得无法看到手63，或显示视线标记85、定位用的轮廓76。另外，对于摄像机拍摄到的影像，按受检者60和测量者120分别显示进行了不同的处理(附加了不同的信息)的影像，例如，仅在测量者120一侧的画面16a＇上显示叠加了手指地标显示72的影像。另外，可以仅在受检者60一侧仅显示轮廓来作为康复训练时的标准。

如以上所说明，采用第一和第二实施方式，能够根据拍摄受检者60的手指运动得到的摄像数据，利用手部追踪功能来生成随时间变化的手部追踪数据，并且能够对手部追踪数据进行处理而生成关于随指关节的运动而发生的手指的弯曲/伸展运动和/或两指开合运动的定量数据，因此能够正确地捕捉现有的磁传感器型装置不能识别的关节运动，能够定量地评价“捏”动作等手指的弯曲/伸展运动。与现有的磁传感器型装置的情况不同，无需在指尖佩戴传感器。

另外，采用第一和第二实施方式，能够对从手部追踪数据生成器26得到的手部追踪数据、从距离检测传感器10得到的距离数据和时间数据、以及从视线检测器12、14得到的视线数据进行处理，生成将这些数据的相关关系定量化而得的相关性数据，因此，例如在移动手臂而抓持对象物时，能够同时定量地评价手臂的运动和手指的开合动作(能够定量地评价手指与手臂的运动的联动性(相关性))，进而，也能够定量地评价手指与眼睛的运动的联动性(相关性)。即，能够对手指与身体的其他部位的运动同步地评价，从而，能够客观并且细致、正确、高精度地评价上肢运动功能。

以上对本发明的实施方式参照附图进行了说明，但本发明不限定于上述实施方式，包括各种变形例。例如，上述实施方式是为了易于理解地说明本发明而详细说明的，并不限定于必须具备所说明的全部结构。另外，能够将某个实施方式的结构的一部分置换为其他实施方式的结构，也能够在某个实施方式的结构上添加其他实施方式的结构。另外，对于各实施方式的结构的一部分，能够追加、删除、置换其他结构。

另外，对于上述各结构、功能、处理部、处理单元等，例如可以通过在集成电路中设计等而用硬件实现其一部分或全部。另外，上述各结构、功能等，也可以通过处理器解释、执行实现各功能的程序而用软件实现。实现各功能的程序、表、文件等信息，可以保存在存储器、硬盘、SSD(Solid State Drive)等记录装置、或者IC卡、SD卡、DVD等记录介质中，也可以保存在通信网中的装置中。

另外，控制线和信息线表示了认为说明上必要的，并不一定表示产品上全部的控制线和信息线。实际上也可以认为几乎全部结构都相互连接。

附图标记说明

6、8摄像机

9摄像数据收集器

10距离检测传感器(移动距离测量器)

12、14视线检测器

16显示装置(输出接口)

20扬声器(输出接口)

24 条件设定器

26 手部追踪数据生成器

27 数据处理器

50HMD(测量处理终端)

100、100A智能手机(测量处理终端)。

Claims (36)

1.一种测量受检者的手指运动并处理其测量结果的测量处理终端，其特征在于，包括：

摄像数据收集器，其收集通过拍摄受检者的手指运动得到的摄像数据；

手部追踪数据生成器，其具有基于所述摄像数据来检测并追踪手指位置的手部追踪功能，根据所述摄像数据利用所述手部追踪功能来生成随时间变化的手部追踪数据；和

数据处理器，其对从所述手部追踪数据生成器得到的手部追踪数据进行处理，生成关于随指关节的运动而发生的手指的弯曲/伸展运动和/或两指开合运动的定量数据。

2.如权利要求1所述的测量处理终端，其特征在于：

还包括移动距离测量器，其测量手随着手臂的运动而移动的随时间变化的移动距离，

所述数据处理器对从所述手部追踪数据生成器得到的手部追踪数据、从所述移动距离测量器得到的距离数据和时间数据进行处理，生成将这些数据的相关关系定量化而得的相关性数据。

3.如权利要求2所述的测量处理终端，其特征在于：

还包括检测受检者的眼睛的视线的视线检测器，

所述数据处理器对从所述手部追踪数据生成器得到的手部追踪数据、从所述移动距离测量器得到的距离数据和时间数据、以及从所述视线检测器得到的视线数据进行处理，生成将这些数据的相关关系定量化而得的相关性数据。

4.如权利要求1～3中任意一项所述的测量处理终端，其特征在于：

所述数据处理器生成与测量基准位置和/或测量历史相关的图像数据。

5.如权利要求1～4中任意一项所述的测量处理终端，其特征在于：

还包括用于设定测量条件的条件设定器，

所述数据处理器生成与通过所述条件设定器设定的测量条件对应的图像数据和/或声音数据。

6.如权利要求5所述的测量处理终端，其特征在于：

所述测量条件与测量环境和受检者的视野相关联。

7.如权利要求6所述的测量处理终端，其特征在于：

所述数据处理器生成用于排除测量环境的噪声的声音数据和/或用于限制受检者的视野的图像数据。

8.如权利要求5所述的测量处理终端，其特征在于：

所述测量条件与测量的初始设定相关联。

9.如权利要求1～8中任意一项所述的测量处理终端，其特征在于：

所述摄像数据收集器包括用于拍摄手指运动的摄像机。

10.如权利要求1～9中任意一项所述的测量处理终端，其特征在于：

还包括输出接口，其输出由所述手部追踪数据生成器和/或所述数据处理器生成的数据。

11.一种测量受检者的手指运动并处理其测量结果的测量处理终端，其特征在于，包括：

测量器，其测量受检者的手指运动；

数据处理器，其对所述测量器得到的测量数据进行处理；和

条件设定器，其设定与测量环境和受检者的视野相关联的测量条件，其中，

所述数据处理器生成与通过所述条件设定器设定的测量条件对应的图像数据和/或声音数据。

12.如权利要求11所述的测量处理终端，其特征在于：

所述数据处理器生成用于排除测量环境的噪声的声音数据和/或用于限制受检者的视野的图像数据。

13.如权利要求11所述的测量处理终端，其特征在于：

所述测量条件与测量的初始设定相关联。

14.如权利要求11～13中任意一项所述的测量处理终端，其特征在于，还包括：

摄像数据收集器，其收集通过拍摄受检者的手指运动得到的摄像数据；和

手部追踪数据生成器，其具有基于所述摄像数据来检测并追踪手指位置的手部追踪功能，根据所述摄像数据利用所述手部追踪功能来生成随时间变化的手部追踪数据，其中，

所述数据处理器对从所述手部追踪数据生成器得到的手部追踪数据进行处理，生成关于随指关节的运动而发生的手指的弯曲/伸展运动和/或两指开合运动的定量数据。

15.如权利要求14所述的测量处理终端，其特征在于：

还包括移动距离测量器，其测量手随着手臂的运动而移动的随时间变化的移动距离，

所述数据处理器对从所述手部追踪数据生成器得到的手部追踪数据、从所述移动距离测量器得到的距离数据和时间数据进行处理，生成将这些数据的相关关系定量化而得的相关性数据。

16.如权利要求15所述的测量处理终端，其特征在于：

还包括检测受检者的眼睛的视线的视线检测器，

所述数据处理器对从所述手部追踪数据生成器得到的手部追踪数据、从所述移动距离测量器得到的距离数据和时间数据、以及从所述视线检测器得到的视线数据进行处理，生成将这些数据的相关关系定量化而得的相关性数据。

17.一种测量受检者的手指运动并处理其测量结果的测量处理方法，其特征在于，包括：

摄像数据取得步骤，其中取得通过拍摄受检者的手指运动得到的摄像数据；

手部追踪数据生成步骤，其中利用基于所述摄像数据来检测并追踪手指位置的手部追踪功能，根据所述摄像数据来生成随时间变化的手部追踪数据；和

数据处理步骤，其中对通过所述手部追踪数据生成步骤得到的手部追踪数据进行处理，生成关于随指关节的运动而发生的手指的弯曲/伸展运动和/或两指开合运动的定量数据。

18.如权利要求17所述的测量处理方法，其特征在于：

还包括移动距离测量步骤，其中测量手随着手臂的运动而移动的随时间变化的移动距离，

在所述数据处理步骤中，对通过所述手部追踪数据生成步骤得到的手部追踪数据、通过所述移动距离测量步骤得到的距离数据和时间数据进行处理，生成将这些数据的相关关系定量化而得的相关性数据。

19.如权利要求18所述的测量处理方法，其特征在于：

还包括检测受检者的眼睛的视线的视线检测步骤，

在所述数据处理步骤中，对通过所述手部追踪数据生成步骤得到的手部追踪数据、通过所述移动距离测量步骤得到的距离数据和时间数据、以及通过所述视线检测步骤得到的视线数据进行处理，生成将这些数据的相关关系定量化而得的相关性数据。

20.如权利要求17～19中任意一项所述的测量处理方法，其特征在于：

在所述数据处理步骤中，生成与测量基准位置和/或测量历史相关的图像数据。

21.如权利要求17～20中任意一项所述的测量处理方法，其特征在于：

还包括用于设定测量条件的条件设定步骤，

在所述数据处理步骤中，生成与所述条件设定步骤中设定的测量条件对应的图像数据和/或声音数据。

22.如权利要求21所述的测量处理方法，其特征在于：

所述测量条件与测量环境和受检者的视野相关联。

23.如权利要求22所述的测量处理方法，其特征在于：

所述数据处理器生成用于排除测量环境的噪声的声音数据和/或用于限制受检者的视野的图像数据。

24.如权利要求21所述的测量处理方法，其特征在于：

所述测量条件与测量的初始设定相关联。

25.如权利要求17～24中任意一项所述的测量处理方法，其特征在于：

所述摄像数据取得步骤包括拍摄手指运动的摄像步骤。

26.如权利要求17～25中任意一项所述的测量处理方法，其特征在于：

还包括输出步骤，其中输出通过所述手部追踪数据生成步骤和/或所述数据处理步骤生成的数据。

27.一种测量受检者的手指运动并处理其测量结果的计算机程序，其特征在于，使计算机执行：

摄像数据取得步骤，其中取得通过拍摄受检者的手指运动得到的摄像数据；

手部追踪数据生成步骤，其中利用基于所述摄像数据来检测并追踪手指位置的手部追踪功能，根据所述摄像数据来生成随时间变化的手部追踪数据；和

数据处理步骤，其中对通过所述手部追踪数据生成步骤得到的手部追踪数据进行处理，生成关于随指关节的运动而发生的手指的弯曲/伸展运动和/或两指开合运动的定量数据。

28.如权利要求27所述的计算机程序，其特征在于：

还使计算机执行移动距离测量步骤，其中测量手随着手臂的运动而移动的随时间变化的移动距离，

在所述数据处理步骤中，对通过所述手部追踪数据生成步骤得到的手部追踪数据、通过所述移动距离测量步骤得到的距离数据和时间数据进行处理，生成将这些数据的相关关系定量化而得的相关性数据。

29.如权利要求28所述的计算机程序，其特征在于：

还使计算机执行检测受检者的眼睛的视线的视线检测步骤，

在所述数据处理步骤中，对通过所述手部追踪数据生成步骤得到的手部追踪数据、通过所述移动距离测量步骤得到的距离数据和时间数据、以及通过所述视线检测步骤得到的视线数据进行处理，生成将这些数据的相关关系定量化而得的相关性数据。

30.如权利要求27～29中任意一项所述的计算机程序，其特征在于：

在所述数据处理步骤中，生成与测量基准位置和/或测量历史相关的图像数据。

31.如权利要求27～30中任意一项所述的计算机程序，其特征在于：

还使计算机执行用于设定测量条件的条件设定步骤，

在所述数据处理步骤中，生成与所述条件设定步骤中设定的测量条件对应的图像数据和/或声音数据。

32.如权利要求31所述的计算机程序，其特征在于：

所述测量条件与测量环境和受检者的视野相关联。

33.如权利要求32所述的计算机程序，其特征在于：

所述数据处理器生成用于排除测量环境的噪声的声音数据和/或用于限制受检者的视野的图像数据。

34.如权利要求31所述的计算机程序，其特征在于：

所述测量条件与测量的初始设定相关联。

35.如权利要求27～34中任意一项所述的计算机程序，其特征在于：

所述摄像数据取得步骤包括拍摄手指运动的摄像步骤。

36.如权利要求27～35中任意一项所述的计算机程序，其特征在于：

还使计算机执行输出步骤，其中输出通过所述手部追踪数据生成步骤和/或所述数据处理步骤生成的数据。