CN113807323B - 基于图像识别的手功能精准评估系统及方法 - Google Patents

Abstract

本发明是关于一种基于图像识别的手功能精准评估系统及方法，方法包括：手运动视频获取模块，用于获取每个被试者在预设时间段内的手部运动视频；视频处理模块，用于对手部运动视频进行手部关键点标注，以确定手部运动视频中关键点的空间坐标位置数据；数据分析模块，用于根据手部运动视频中关键点的空间坐标位置数据，分别以左手掌底位置和右手掌底位置为参考点计算左手和右手各手指相对其运动距离随时间的变化曲线，并将相对距离随时间的变化曲线转换成评估手运动功能所需的特征参数；结果存储输出模块，用于将评估手功能所需的特征参数进行存储，并构建手运动功能数据库进行输出。

Description

基于图像识别的手功能精准评估系统及方法

技术领域

本发明涉及图片处理技术领域，尤其涉及一种基于图像识别的手功能精准评估系统及方法。

背景技术

手是人类日常生活完成信息沟通、情感交流，进行最为精细、灵活和复杂的运动功能的重要载体。研究表明，人的上肢功能占全身功能的60％，而手指功能则占上肢功能的90％。手部功能障碍会导致患者的生活在一定程度上不能自理，不仅给患者本人带来不便，而且给患者家属带来负担。目前手外伤、脑卒中或者其它神经系统退行性疾病如颈椎病等导致手功能障碍的发生率在不断上升。在康复治疗前后对手功能评价是指患者的患侧手在康复过程中，通过与健侧手或标准手进行比较，从而得出患侧手的伤残程度和康复程度。这在手功能恢复的过程中起着评价、对比、观察疗效的作用，可以指导医生随时调整治疗方案；并通过伤残程度的数据标示为社会有关部门提供手功能的判断标准。手功能评价必须严格按照规范的标准方法实施，以保障评价的效度和信度。

目前对手功能评估和康复训练方案定制与实施中，主要根据比较有代表性的量表(如徒手肌力评定法(Manual Muscle Test,MMT)、改良Ashworth痉挛量表、Brunnstrom量表、Fugl-Meyer评定量表(Fugl-Meyer Assessment,FMA)、运动功能状态量表(MotorStatus Scale,MSS)、运动评估量表(Motor Assessment Scale,MAS)、上肢运动研究量表(Action Research Arm Test,ARAT)、Wolf上肢功能测试(WolfMotor Functional Test,WMFT)等)进行定性的康复程度评估，由康复医生通过人为观察和感受病人在手部功能上的障碍及僵硬程度来进行评估，治疗个体差异性大，主观性强。而且传统评估量表为一种定性评估量表，如在Fugl-Meyer评定量表中以“0-1-2”粗打分，其对于动作评估划分笼统，对于特定动作恢复程度描述宽泛，患者在一个或多个康复疗程中恢复情况难以准确判断，不利于医生调整康复训练方案，不利于患者增加自身复健的信心，不符合“精准医疗”的新时代目标。

现阶段为了得到患者手部位如手指、手掌、手腕等的定量运动数据，基本上分为穿戴式传感器方案与不接触式视觉方案两大类。基于各类穿戴式模块的传感器方案主要借助加速度传感器、电子陀螺仪等电子测量芯片，得到肢体的加速度、位移等运动参数，此类方法的缺陷是穿戴过程非常繁琐，评测中可能产生不适感，还可能对患者手部造成二次伤害，而且这种穿戴设备成本较高，难以普及。基于摄像机所采集的视频数据的不接触式方案，仅仅需要放置在指定位置即可，但是目前很多计算机视觉和模式识别算法与工程技术还没到可以识别任意人手动作的程度，即使有一些很复杂的算法经过多种深度学习，对人手动作有较高识别率，但是由于某些患者如脑卒中病人的患手在运动、屈伸等方面功能比较弱，进一步增加了依靠视觉算法识别的难度，而且大多在实际测试中还存在手部关节遮挡、重叠、动作多义性等难题，对于患指的各个关节运动，以及运动轨迹，均不能进行反映及体现，缺乏连续性和准确性。

准确追踪行为发生期间的身体运动部位是运动科学的一项重要内容。随着计算机软硬件技术的飞速发展，当相机以足够高的速率连续拍摄时，从图像序列中就可以得到该点的运动轨迹。以往研究人员通常需要耗费大量时间和精力，来对每一帧进行标记；有些研究需要在研究对象身体的预定点上放置标记物，但是标记物可能会干扰研究目标的行为，而且适合的运动类型非常有限。DeepLabCut是一种可以自动追踪并智能标记移动生物身体部位的开源工具包，可以快速便捷地对任何动物进行高精度的运动追踪。任何研究人员都可以从网络上下载任何视频，并在几十帧素材对其中特定的身体部位进行数字标记。这一工具就会自动学习如何在视频的其余部分挑选出相同或者类似的功能，从而将任何包含运动的视频转换为运动捕捉信息，DeepLabCut在理论上适用于任何视频，为运动科学打开了巨大的数据来源。

发明内容

为克服相关技术中存在的问题，本发明提供一种基于图像识别的手功能精准评估系统和方法，能够更客观有效地评估患者的患侧手功能状态，排除主观因素干扰以及个体差异等不利因素。辅助医师为手功能患者提供客观的评估以及制定个性化的康复计划，使患者在康复过程中有更好的效果和体验。克服目前现有手功能康复评估方法中过于依赖医师判断、治疗个体差异大、主观性强等缺点。可以在记录手部运动学参数的基础上，为精准评估、训练手功能提供准确可靠的信号。

根据本发明实施例的第一方面，提供一种基于图像识别的手功能精准评估系统，用于脊髓型颈椎病病情评估、手术治疗预后预测和康复量化依据等，系统包括：

手运动视频获取模块，用于获取每个被试者在预设时间段内的手部运动视频；

视频处理模块，用于对手部运动视频进行手部关键点标注，以确定手部运动视频中关键点的空间坐标位置数据；

数据分析模块，用于根据手部运动视频中关键点的空间坐标位置数据，分别以左手掌底位置和右手掌底位置为参考点计算左手和右手各手指相对其运动距离随时间的变化曲线，并将相对距离随时间的变化曲线转换成评估手运动功能所需的特征参数；

结果存储输出模块，用于将评估手功能所需的特征参数进行存储，并构建手运动功能数据库进行输出。

在一个实施例中，优选地，手部运动视频包括二维手部运动视频或三维手部运动视频；

当手部运动视频包括二维手部运动视频时，空间坐标位置数据包括二维空间坐标位置数据，当手部运动视频包括三维手部运动视频时，空间坐标位置数据包括三维空间坐标位置数据。

在一个实施例中，优选地，视频处理模块包括：

标注单元，用于从所有手部运动视频的每个手部运动视频中通过聚类算法抓取预设数量的帧图，并对预设关键点进行标注，得到标注图集；

训练单元，用于使用标注图集和深度神经网络进行训练，得到训练好的手运动关键点标注模型；

预测单元，用于使用手运动关键点标注模型预测所有手部运动视频中所有帧图的关键点的空间坐标位置数据，并保存在预设格式的文件里。

在一个实施例中，优选地，特征参数包括：预设时间段内手指运动频次、周期、各手指运动相位差、相对运动距离相关性、运动速度、加速度、累计运动距离和手指屈伸角度。

在一个实施例中，优选地，数据分析模块包括：

剔除单元，用于根据每个手部运动视频的帧图的关键点的空间坐标位置数据，进行线性插值，以剔除与相邻帧图差异大于预设差异的帧图；

第一计算单元，用于分别计算左手各手指指间关节相对于左手掌底的欧氏距离，和右手各手指指间关节相对于右手掌底的欧氏距离，以确定每个手指关节相对距离随时间的变化曲线；

处理单元，用于对每个手指关节相对距离随时间的变化曲线进行一维高斯滤波并以其均值进行归一化，以得到各手指关节的相对运动曲线；

第一确定单元，用于使用过零检测方法确定各相对运动曲线的周期值；

第二确定单元，用于以周期值为分割单元，寻找周期内曲线峰值位置，以确定预设时间段内手指运动频次；

第二计算单元，用于计算各手指关节的相对运动曲线与其他手指关节的相对运动曲线之间的相位差；

第三计算单元，用于根据各手指关节的相对运动曲线计算各手指关节相对运动曲线之间的pearson相关系数；

第三确定单元，用于根据特征参数确定各手指是否存在异常。

根据本发明实施例的第二方面，提供一种基于图像识别的手功能精准评估方法，用于脊髓型颈椎病病情评估、手术治疗预后预测和康复量化依据等，方法包括：

获取每个被试者在预设时间段内的手部运动视频；

对手部运动视频进行手部关键点标注，以确定手部运动视频中关键点的空间坐标位置数据；

根据手部运动视频中关键点的空间坐标位置数据，分别以左手掌底位置和右手掌底位置为参考点计算左手和右手各手指相对其运动距离随时间的变化曲线，并将相对距离随时间的变化曲线转换成评估手运动功能所需的特征参数；

将评估手功能所需的特征参数进行存储，并构建手运动功能数据库进行输出。

在一个实施例中，优选地，手部运动视频包括二维手部运动视频或三维手部运动视频；

当手部运动视频包括二维手部运动视频时，空间坐标位置数据包括二维空间坐标位置数据，当手部运动视频包括三维手部运动视频时，空间坐标位置数据包括三维空间坐标位置数据。

在一个实施例中，优选地，对手部运动视频进行手部关键点标注，以确定手部运动视频中关键点的空间坐标位置数据，包括：

从所有手部运动视频的每个手部运动视频中通过聚类算法抓取预设数量的帧图，并对预设关键点进行标注，得到标注图集；

使用标注图集和深度神经网络进行训练，得到训练好的手运动关键点标注模型；

使用手运动关键点标注模型预测所有手部运动视频中所有帧图的关键点的空间坐标位置数据，并保存在预设格式的文件里。

在一个实施例中，优选地，特征参数包括：预设时间段内手指运动频次、周期、各手指运动相位差、相对运动距离相关性、运动速度、加速度、累计运动距离和手指屈伸角度。

在一个实施例中，优选地，根据手部运动视频中关键点的空间坐标位置数据，分别以左手掌底位置和右手掌底位置为参考点计算左手和右手各手指相对其运动距离随时间的变化曲线，并将相对距离随时间的变化曲线转换成评估手运动功能所需的特征参数，包括：

根据每个手部运动视频的帧图的关键点的空间坐标位置数据，进行线性插值，以剔除与相邻帧图差异大于预设差异的帧图；

分别计算左手各手指指间关节相对于左手掌底的欧氏距离，和右手各手指指间关节相对于右手掌底的欧氏距离，以确定每个手指关节相对距离随时间的变化曲线；

对每个手指关节相对距离随时间的变化曲线进行一维高斯滤波并以其均值进行归一化，以得到各手指关节的相对运动曲线；

使用过零检测方法确定各相对运动曲线的周期值；

以周期值为分割单元，寻找周期内曲线峰值位置，以确定预设时间段内手指运动频次；

计算各手指关节的相对运动曲线与其他手指关节的相对运动曲线之间的相位差；

根据各手指关节的相对运动曲线计算各手指关节相对运动曲线之间的pearson相关系数；

根据特征参数确定各手指是否存在异常。

根据本发明实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机指令，指令被处理器执行时实现如第二方面的实施例中任一项方法的步骤。

本发明的实施例提供的技术方案可以包括以下有益效果：

本发明实施例中，可以进行二维视频图像分析也可以根据患侧手上的每个指间关节和指节的三维空间位置，来匹配健侧手或者标准手的相应位置，从而能够自动给出患侧手的变化数据，计算机在这个数据的基础上，可以客观的给出患侧手病患级别。这样，能够提高患者手部关节的二维空间及三维空间参数计算精度，将计算机视觉技术与人工智能技术相结合，给出更为精确的定量康复评估数据。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种基于图像识别的手功能精准评估系统的框图。

图2是根据一示例性实施例示出的手运动视频获取模块进行视频拍摄的示意图。

图3是根据一示例性实施例示出的一种基于图像识别的手功能精准评估系统中视频处理模块的框图。

图4是根据一示例性实施例示出的选取的手关键点示意图。

图5是根据一示例性实施例示出的一种基于图像识别的手功能精准评估系统中数据分析模块的框图。

图6是根据一示例性实施例示出的提取相对距离时间曲线示意图。

图7是根据一示例性实施例示出的一种基于图像识别的手功能精准评估方法的流程图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种基于图像识别的手功能精准评估系统的框图。

如图1所示，根据本发明实施例的第一方面，提供一种基于图像识别的手功能精准评估系统，包括：

手运动视频获取模块11，用于获取每个被试者在预设时间段内的手部运动视频；

具体地，如图2所示，手运动视频获取模块可以使用桌面支架将一个(或三个)高速摄像头放在检测桌的固定位置，在正对其中一个摄像头的桌面固定距离处放置框样支架，上面夹持黑色平绒遮挡布(绒面能有效防止反光)，遮挡布水平开有两道缝便于双手穿出被摄像头拍摄，同时有效防止人脸及其它部位进入摄像头拍摄视野，能很好突出双手这个拍摄对像同时也能有效保护被试隐私。摄像头和遮挡布的距离可根据图像大小和手掌手指关节等研究对象的大小清晰程度进行调整。为了精准跟踪手部运动，本发明中摄像的参数为帧速170FPS，曝光时间1000ms，图像大小800*400像素。在环境光不足的情况下，在遮挡布支架框上加装便携日光灯管补光。手运动视频获取模块可以对被试手部摆放位置和运动过程进行实时显示和监控，并完成设定时间段如10s的自动计时停止，并保存为.png连续帧图或.avi视频格式便于后续图像处理。

在一个实施例中，优选地，手部运动视频包括二维手部运动视频或三维手部运动视频；

当手部运动视频包括二维手部运动视频时，空间坐标位置数据包括二维空间坐标位置数据，当手部运动视频包括三维手部运动视频时，空间坐标位置数据包括三维空间坐标位置数据。

其中，模块除了采集二维信息也能捕捉三维运动信息，而且紧凑小巧、便于小空间内采集高频高清视频且无背景干扰。为满足这些要求，初步使用了三个相机同步采集，相机分辨率100万像素以上，帧率100FPS以上，视场角尽可能大。多相机之间的同步由触发线和同步盒完成，触发线一端连接相机，一端连接同步盒，通过TTL信号进行外部触发同步。采集到的数据通过U3线(一端连接相机，一端连接采集卡)、采集卡(插到工控机的PCIe卡槽上)，存储到工控机中，并在工控机上对采集到的数据进行预处理。多相机同步采集软件，逐一预览每个相机的实时视频；设置相机曝光、增益、分辨率；可以外触发或者Free-run采集；可以通过时间或帧数设置记录时间；可以设置存储格式raw、bmp、jpg、avi；可记录采集图片张数，和记录丢帧数量；在电脑下可实现长时间无丢帧存储。多相机同步采集软件也应可基于相机的SDK进行后续编程功能添加。

视频处理模块12，用于对手部运动视频进行手部关键点标注，以确定手部运动视频中关键点的空间坐标位置数据；

数据分析模块13，用于根据手部运动视频中关键点的空间坐标位置数据，分别以左手掌底位置和右手掌底位置为参考点计算左手和右手各手指相对其运动距离随时间的变化曲线，并将相对距离随时间的变化曲线转换成评估手运动功能所需的特征参数；

结果存储输出模块14，用于将评估手功能所需的特征参数进行存储，并构建手运动功能数据库进行输出。

将被试上述手运动视频及提取的特征参数建立手运动功能数据库，包括视频信息及临床信息。所有数据由专业数据库管理软件如MySQL等系统化管理，软件根据受试者类型(患者、健康志愿者)、疾病类型、测试动作编号、摄像机设备号、测试日期时间等对数据进行保存。为手功能精准评估提供比对依据。

图3是根据一示例性实施例示出的一种基于图像识别的手功能精准评估系统中视频处理模块的框图。

如图3所示，在一个实施例中，优选地，视频处理模块12包括：

标注单元31，用于从所有手部运动视频的每个手部运动视频中通过聚类算法抓取预设数量的帧图，并对预设关键点进行标注，得到标注图集；其中，如图4所示，预设关键点包括右手掌底部，右手拇指第一指间关节，右手食指第一指间关节，右手中指第一指间关节，右手无名指第一指间关节，右手小手指第一指间关节，左手掌底部，左手拇指第一指间关节，左手食指第一指间关节，左手中指第一指间关节，左手无名指第一指间关节，左手小手指第一指间关节。

训练单元32，用于使用标注图集和深度神经网络进行训练，得到训练好的手运动关键点标注模型；

根据已完成的手工标注图集，使用deeplabcut.create_training_dataset生成训练集创建训练环境，并使用deeplabcut.train_network训练以得到手运动关键点智能标注模型。训练中使用50层残差网络ResNet50作为预训练网络，最大迭代次数100000次，自动调整训练网络模块batch_size大小剔除预测帧图中的outlier，对网络结构循环训练精修，达到对训练集和测试集的预测误差均小于2个像素值；

预测单元33，用于使用手运动关键点标注模型预测所有手部运动视频中所有帧图的关键点的空间坐标位置数据，并保存在预设格式的文件里。

在一个实施例中，优选地，特征参数包括：预设时间段内手指运动频次、周期、各手指运动相位差、相对运动距离相关性、运动速度、加速度、累计运动距离和手指屈伸角度。

图5是根据一示例性实施例示出的一种基于图像识别的手功能精准评估系统中数据分析模块的框图。

如图5所示，在一个实施例中，优选地，数据分析模块13包括：

剔除单元51，用于根据每个手部运动视频的帧图的关键点的空间坐标位置数据，进行线性插值，以剔除与相邻帧图差异大于预设差异的帧图；

第一计算单元52，用于分别计算左手各手指指间关节相对于左手掌底的欧氏距离，和右手各手指指间关节相对于右手掌底的欧氏距离，以确定每个手指关节相对距离随时间的变化曲线，如图6所示；

处理单元53，用于对每个手指关节相对距离随时间的变化曲线进行一维高斯滤波并以其均值进行归一化，以得到各手指关节的相对运动曲线；

第一确定单元54，用于使用过零检测方法确定各相对运动曲线的周期值；

第二确定单元55，用于以周期值为分割单元，寻找周期内曲线峰值位置，以确定预设时间段内手指运动频次；

第二计算单元56，用于计算各手指关节的相对运动曲线与其他手指关节的相对运动曲线之间的相位差；

如A，B分别代表两个不同手指关节相对运动曲线，

首先分别用其均值和标准差标化：A-＝A.mean()；A/＝A.std()；B-＝B.mean()；B/＝B.std()

再寻找标化曲线的相关性：xcorr＝correlate(A,B)

根据相关性峰值位可知两曲线间的时间差time_shift＝dt[xcorr.argmax()]

然后根据曲线信号的周期即可得到相位差phase_shift＝2*pi*((0.5+time_shift/period)-0.5)。

第三计算单元57，用于根据各手指关节的相对运动曲线计算各手指关节相对运动曲线之间的pearson相关系数；

第三确定单元58，用于根据特征参数确定各手指是否存在异常。

本发明同现有技术相比具有以下优点及有益效果：

1、设备简单，易于推广，适用于各级医疗场所。本发明使用的设备主要包括一个(或三个)高性能摄像头和一台计算机及一个配有日光灯管的遮挡帘装置。传统视频获取设备及系统安装与使用易受环境条件限制，本系统可以在任何场地使用支架固定摄像头和遮挡帘，搭建捕捉分析系统，更加实用便捷。

2、使用方便，适应性好，系统稳定可靠。本发明所使用的摄像头安装固定时便可进行摄像头标定等校准调试，免去了普通动作捕捉设备使用时需要标定的步骤，方便使用，并对环境变化具有一定的鲁棒性。在视频捕捉过程中可实时显示手的位置及运动状态并固定拍摄时长，省去人工计时麻烦。

3、本发明通过DeepLabCut软件对获取的手“屈伸”运动视频进行手部关键点识别，实现了对左右手各手指第一指间关节及手掌底部共12个关键点在获取训练模型的基础上进行自动标记。DeepLabCut是一个快速便捷地高精度的跟踪任何动物运动的工具。在得到训练模型中只需要少量的训练数据(通常不超过200个)就可以得到类似人工标记准确度的预测，相比一般深度学习的庞大数据集学习需求，效率大大提高，从而使得本发明对于视频动作的分析，速度大为提高。

4、通过各项具体参数的分析，实现对手功能相对于传统评价方式更为客观、准确的评价。

5、本发明的比对不仅能进行同帧情况下的比对，还能进行整个流程的动作时间序列的比对，不仅能进行自身左手或右手或左右手的比对，也能进行不同个体间的比对，能更好的评估被试患侧手或患侧手指之间的动作差异程度；

图7是根据一示例性实施例示出的一种基于图像识别的手功能精准评估方法的流程图。

如图7所示，根据本发明实施例的第二方面，提供一种基于图像识别的手功能精准评估方法，方法包括：

步骤S701，获取每个被试者在预设时间段内的手部运动视频；

步骤S702，对手部运动视频进行手部关键点标注，以确定手部运动视频中关键点的空间坐标位置数据；

步骤S703，根据手部运动视频中关键点的空间坐标位置数据，分别以左手掌底位置和右手掌底位置为参考点计算左手和右手各手指相对其运动距离随时间的变化曲线，并将相对距离随时间的变化曲线转换成评估手运动功能所需的特征参数；

步骤S704，将评估手功能所需的特征参数进行存储，并构建手运动功能数据库进行输出。

在一个实施例中，优选地，手部运动视频包括二维手部运动视频或三维手部运动视频；

当手部运动视频包括二维手部运动视频时，空间坐标位置数据包括二维空间坐标位置数据，当手部运动视频包括三维手部运动视频时，空间坐标位置数据包括三维空间坐标位置数据。

在一个实施例中，优选地，对手部运动视频进行手部关键点标注，以确定手部运动视频中关键点的空间坐标位置数据，包括：

从所有手部运动视频的每个手部运动视频中通过聚类算法抓取预设数量的帧图，并对预设关键点进行标注，得到标注图集；

使用标注图集和深度神经网络进行训练，得到训练好的手运动关键点标注模型；

使用手运动关键点标注模型预测所有手部运动视频中所有帧图的关键点的空间坐标位置数据，并保存在预设格式的文件里。

在一个实施例中，优选地，特征参数包括：预设时间段内手指运动频次、周期、各手指运动相位差、相对运动距离相关性、运动速度、加速度、累计运动距离和手指屈伸角度。

在一个实施例中，优选地，根据手部运动视频中关键点的空间坐标位置数据，分别以左手掌底位置和右手掌底位置为参考点计算左手和右手各手指相对其运动距离随时间的变化曲线，并将相对距离随时间的变化曲线转换成评估手运动功能所需的特征参数，包括：

根据每个手部运动视频的帧图的关键点的空间坐标位置数据，进行线性插值，以剔除与相邻帧图差异大于预设差异的帧图；

分别计算左手各手指指间关节相对于左手掌底的欧氏距离，和右手各手指指间关节相对于右手掌底的欧氏距离，以确定每个手指关节相对距离随时间的变化曲线；

对每个手指关节相对距离随时间的变化曲线进行一维高斯滤波并以其均值进行归一化，以得到各手指关节的相对运动曲线；

使用过零检测方法确定各相对运动曲线的周期值；

以周期值为分割单元，寻找周期内曲线峰值位置，以确定预设时间段内手指运动频次；

计算各手指关节的相对运动曲线与其他手指关节的相对运动曲线之间的相位差；

根据各手指关节的相对运动曲线计算各手指关节相对运动曲线之间的pearson相关系数；

根据特征参数确定各手指是否存在异常。

根据本发明实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机指令，指令被处理器执行时实现如第二方面的实施例中任一项方法的步骤。

进一步可以理解的是，本发明中“多个”是指两个或两个以上，其它量词与之类似。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。单数形式的“一种”、“”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

进一步可以理解的是，术语“第一”、“第二”等用于描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开，并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。

进一步可以理解的是，本发明实施例中尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (6)

1.一种基于图像识别的手功能精准评估系统，其特征在于，系统包括：

手运动视频获取模块，用于获取每个被试者在预设时间段内的手部运动视频；

视频处理模块，用于对手部运动视频进行手部关键点标注，以确定手部运动视频中关键点的空间坐标位置数据；

数据分析模块，用于根据手部运动视频中关键点的空间坐标位置数据，分别以左手掌底位置和右手掌底位置为参考点计算左手和右手各手指相对其运动距离随时间的变化曲线，并将相对距离随时间的变化曲线转换成评估手运动功能所需的特征参数；

结果存储输出模块，用于将评估手功能所需的特征参数进行存储，并构建手运动功能数据库进行输出；

特征参数包括：预设时间段内手指运动频次、周期、各手指运动相位差、相对运动距离相关性、运动速度、加速度、累计运动距离和手指屈伸角度；

数据分析模块包括：

剔除单元，用于根据每个手部运动视频的帧图的关键点的空间坐标位置数据，进行线性插值，以剔除与相邻帧图差异大于预设差异的帧图；

第一计算单元，用于分别计算左手各手指指间关节相对于左手掌底的欧氏距离，和右手各手指指间关节相对于右手掌底的欧氏距离，以确定每个手指关节相对距离随时间的变化曲线；

处理单元，用于对每个手指关节相对距离随时间的变化曲线进行一维高斯滤波并以其均值进行归一化，以得到各手指关节的相对运动曲线；

第一确定单元，用于使用过零检测方法确定各相对运动曲线的周期值；

第二确定单元，用于以周期值为分割单元，寻找周期内曲线峰值位置，以确定预设时间段内手指运动频次；

第二计算单元，用于计算各手指关节的相对运动曲线与其他手指关节的相对运动曲线之间的相位差；

第三计算单元，用于根据各手指关节的相对运动曲线计算各手指关节相对运动曲线之间的pearson相关系数；

第三确定单元，用于根据特征参数确定各手指是否存在异常。

2.根据权利要求1的系统，其特征在于，手部运动视频包括二维手部运动视频或三维手部运动视频；

当手部运动视频包括二维手部运动视频时，空间坐标位置数据包括二维空间坐标位置数据，当手部运动视频包括三维手部运动视频时，空间坐标位置数据包括三维空间坐标位置数据。

3.根据权利要求1的系统，其特征在于，视频处理模块包括：

标注单元，用于从所有手部运动视频的每个手部运动视频中通过聚类算法抓取预设数量的帧图，并对预设关键点进行标注，得到标注图集；

训练单元，用于使用标注图集和深度神经网络进行训练，得到训练好的手运动关键点标注模型；

预测单元，用于使用手运动关键点标注模型预测所有手部运动视频中所有帧图的关键点的空间坐标位置数据，并保存在预设格式的文件里。

4.一种基于图像识别的手功能精准评估方法，其特征在于，方法包括：

获取每个被试者在预设时间段内的手部运动视频；

对手部运动视频进行手部关键点标注，以确定手部运动视频中关键点的空间坐标位置数据；

根据手部运动视频中关键点的空间坐标位置数据，分别以左手掌底位置和右手掌底位置为参考点计算左手和右手各手指相对其运动距离随时间的变化曲线，并将相对距离随时间的变化曲线转换成评估手运动功能所需的特征参数；

将评估手功能所需的特征参数进行存储，并构建手运动功能数据库进行输出；

特征参数包括：预设时间段内手指运动频次、周期、各手指运动相位差、相对运动距离相关性、运动速度、加速度、累计运动距离和手指屈伸角度；

根据手部运动视频中关键点的空间坐标位置数据，分别以左手掌底位置和右手掌底位置为参考点计算左手和右手各手指相对其运动距离随时间的变化曲线，并将相对距离随时间的变化曲线转换成评估手运动功能所需的特征参数，包括：

根据每个手部运动视频的帧图的关键点的空间坐标位置数据，进行线性插值，以剔除与相邻帧图差异大于预设差异的帧图；

分别计算左手各手指指间关节相对于左手掌底的欧氏距离，和右手各手指指间关节相对于右手掌底的欧氏距离，以确定每个手指关节相对距离随时间的变化曲线；

对每个手指关节相对距离随时间的变化曲线进行一维高斯滤波并以其均值进行归一化，以得到各手指关节的相对运动曲线；

使用过零检测方法确定各相对运动曲线的周期值；

以周期值为分割单元，寻找周期内曲线峰值位置，以确定预设时间段内手指运动频次；

计算各手指关节的相对运动曲线与其他手指关节的相对运动曲线之间的相位差；

根据各手指关节的相对运动曲线计算各手指关节相对运动曲线之间的pearson相关系数；

根据特征参数确定各手指是否存在异常。

5.根据权利要求4的方法，其特征在于，手部运动视频包括二维手部运动视频或三维手部运动视频；

当手部运动视频包括二维手部运动视频时，空间坐标位置数据包括二维空间坐标位置数据，当手部运动视频包括三维手部运动视频时，空间坐标位置数据包括三维空间坐标位置数据。

6.根据权利要求4的方法，其特征在于，对手部运动视频进行手部关键点标注，以确定手部运动视频中关键点的空间坐标位置数据，包括：

从所有手部运动视频的每个手部运动视频中通过聚类算法抓取预设数量的帧图，并对预设关键点进行标注，得到标注图集；

使用标注图集和深度神经网络进行训练，得到训练好的手运动关键点标注模型；

使用手运动关键点标注模型预测所有手部运动视频中所有帧图的关键点的空间坐标位置数据，并保存在预设格式的文件里。

Images