CN114663463A - 关节活动度的测量方法、系统、设备、电子设备和存储介质 - Google Patents

Abstract

本发明公开了一种关节活动度的测量方法、系统、设备、电子设备和存储介质，该关节活动度的测量方法包括：获取目标关节的运动影像数据，运动影像数据包括表征目标关节在目标坐标系中的运动幅度的起点像素点坐标和终点像素点坐标；将起点像素点坐标和终点像素点坐标均映射至预设人体关节标准模型中对应于目标关节的关节坐标系中，分别得到关节坐标系中对应于起点像素点坐标和终点像素点坐标的关节活动度数据；根据关节活动度数据确定目标关节的关节活动度。本发明提供的关节活动度的测量方法将目标关节的空间运动起点和终点所对应的像素点坐标映射至人体关节标准模型中的相应关节坐标系来表征目标关节的关节活动度，有效保持了测量结果的一致性。

Description

关节活动度的测量方法、系统、设备、电子设备和存储介质

技术领域

本发明涉及医疗检测技术领域，特别涉及一种关节活动度的测量方法、系统、设备、电子设备和存储介质。

背景技术

关节活动度测量是人体运动功能评估的一项关键内容，现有技术中，常见的关节活动度测量方法是应用角度尺来进行测量，如图1所示，受试者在被动状态下屈曲肩关节，以便医师遵循测量方法使用角度尺来获取人体关节的关节活动度数值。

然而，此种被动测量会因测量者的技术水平不同而使得最终的关节活动度测量结果产生差异，在进行后续的健康状态评估时所获得的结果会与实际生活有较大认知差距，减弱了关节活动度评测的实际价值；此外，上述方需要在与受试者进行有效沟通的基础上得到受试者的配合才能顺利进行，耗时耗力，不易操作。

发明内容

本发明要解决的技术问题是为了克服现有技术中使用角度尺测量关节活动度时测量结果一致性差且效率不高的缺陷，提供一种关节活动度的测量方法、系统、设备、电子设备和存储介质。

本发明是通过下述技术方案来解决上述技术问题：

第一方面，本发明提供一种关节活动度的测量方法，所述关节活动度的测量方法包括：

获取目标关节的运动影像数据，所述运动影像数据包括表征所述目标关节在目标坐标系中的运动幅度的起点像素点坐标和终点像素点坐标；

将所述起点像素点坐标和所述终点像素点坐标均映射至预设人体关节标准模型中对应于所述目标关节的关节坐标系中，分别得到所述关节坐标系中对应于所述起点像素点坐标和所述终点像素点坐标的关节活动度数据；

根据所述关节活动度数据确定所述目标关节的关节活动度；

其中，所述人体关节标准模型由若干人体关节的空间位置数据所对应的关节坐标系基于正常人体骨骼的生理链接方式构建而成。

较佳地，所述运动影像数据包括深度图，所述深度图用于确定所述起点像素点坐标和终点像素点坐标；

所述获取目标关节的运动影像数据的步骤，包括：

获取调制光往返影像采集装置与目标关节之间所需时间的测量值；

根据所述测量值生成所述深度图。

较佳地，所述运动影像数据还包括RGB图像；

所述获取目标关节的运动影像数据的步骤，还包括：

将所述RGB图像与所述深度图的像素进行配准，以生成RGB-D图像；

从所述RGB-D图像中获取所述起点像素点坐标和终点像素点坐标；

和/或，所述运动影像数据还包括惯性测量数据；

所述获取目标关节的运动影像数据的步骤，还包括：

基于所述惯性测量数据计算所述目标关节对应的运动角度和运动加速度；

基于所述运动角度和运动加速度对所述起点像素点坐标和终点像素点坐标进行校准。

较佳地，所述方法还包括：

获取表征正常人体的关节在空间上的连接位置关系的空间位置数据集；

根据所述空间位置数据集构建所述人体关节标准模型。

第二方面，本发明提供一种关节活动度的测量系统，所述关节活动度的测量系统包括：

检测单元，用于获取目标关节的运动影像数据，所述运动影像数据包括表征所述目标关节在目标坐标系中的运动幅度的起点像素点坐标和终点像素点坐标；

运算单元，用于将所述起点像素点坐标和所述终点像素点坐标均映射至预设人体关节标准模型中对应于所述目标关节的关节坐标系中，分别得到所述关节坐标系中对应于所述起点像素点坐标和所述终点像素点坐标的关节活动度数据；

所述运算单元还用于根据所述关节活动度数据确定目标关节的关节活动度；

其中，所述人体关节标准模型由若干人体关节的空间位置数据所对应的关节坐标系基于正常人体骨骼的生理链接方式构建而成。

第三方面，本发明提供一种关节活动度的测量设备，所述关节活动度的测量设备包括：

摄像头组，用于获取目标关节的运动影像数据，所述运动影像数据包括表征所述目标关节在目标坐标系中的运动幅度的起点像素点坐标和终点像素点坐标；

处理器，用于将所述起点像素点坐标和所述终点像素点坐标均映射至预设人体关节标准模型中对应于所述目标关节的关节坐标系中，分别得到所述关节坐标系中对应于所述起点像素点坐标和所述终点像素点坐标的关节活动度数据；

所述处理器还用于根据所述关节活动度数据确定目标关节的关节活动度；

其中，所述人体关节标准模型由若干人体关节的空间位置数据所对应的关节坐标系基于正常人体骨骼的生理链接方式构建而成。

较佳地，所述运动影像数据包括深度图，所述深度图用于确定所述起点像素点坐标和终点像素点坐标，所述摄像头组包括深度摄像头，所述深度摄像头用于：

获取调制光往返影像采集装置与目标关节之间所需时间的测量值；

根据所述测量值生成所述深度图；

和/或，所述运动影像数据包括RGB图像，所述摄像头组包括RGB摄像头，所述处理器还用于：

将所述RGB图像与所述深度图的像素进行配准，以生成RGB-D图像；

从所述RGB-D图像中获取所述起点像素点坐标和终点像素点坐标；

和/或，所述摄像头组包括红外摄像头，所述红外摄像头用于获取所述目标关节与所述红外摄像头之间的距离值；

所述处理器还用于：

基于所述距离值对所述起点像素点坐标和终点像素点坐标进行校准；

和/或，所述运动影像数据包括惯性测量数据，所述设备还包括惯性测量单元，所述惯性测量单元用于获取所述目标关节对应的惯性测量数据，所述处理器还用于：

基于所述惯性测量数据计算所述目标关节对应的运动角度和运动加速度；

基于所述运动角度和运动加速度对所述起点像素点坐标和终点像素点坐标进行校准。

较佳地，所述处理器还用于：

获取表征正常人体的关节在空间上的连接位置关系的空间位置数据集；

根据所述空间位置数据集构建所述人体关节标准模型。

第四方面，本发明提供一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上所述的关节活动度的测量方法。

第五方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述的关节活动度的测量方法。

本发明的积极进步效果在于：本发明提供的关节活动度的测量方法从目标关节的运动影像数据中获取其空间运动的起点和终点所对应的像素点坐标，并将该像素点坐标映射至人体关节标准模型中的相应关节坐标系，以基于映射后的坐标来表征目标关节的关节活动度的测量，在实现对肩、肘、髋、膝等人体关节活动度的主动测量的过程中，避免因直接基于运动影像数据生成测量结果所导致的数据缺陷、数据丢失、数据噪音、伪数据等使测量结果不符合人体关节生理特征的情况，以确保测量结果同时符合实际情况及临床医学特征，并且有效保持测量结果的一致性和客观性；此外，本发明提供的方法在测量过程不依赖医生和治疗师，减少了人力投入，提高了测量效率。

附图说明

图1为现有技术中使用角度尺测量关节活动度的场景示意图。

图2为本发明实施例1的关节活动度的测量方法的第一流程示意图。

图3为本发明实施例1的关节活动度的测量方法的步骤S1的第一子步骤流程示意图。

图4为本发明实施例1的关节活动度的测量方法的步骤S1的第二子步骤流程示意图。

图5为本发明实施例1的关节活动度的测量方法的步骤S1的第三子步骤流程示意图。

图6为本发明实施例1的关节活动度的测量方法的第二流程示意图。

图7为本发明实施例2的关节活动度的测量系统的单元模块示意图。

图8为本发明实施例3的关节活动度的测量设备的硬件结构示意图。

图9为本发明实施例4的用于实现关节活动度的测量方法的电子设备的结构示意图。

具体实施方式

下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。

实施例1

本实施例公开了一种关节活动度的测量方法，如图2所示，上述关节活动度的测量方法包括：

S1、获取目标关节的运动影像数据，该运动影像数据包括表征目标关节在目标坐标系中的运动幅度的起点像素点坐标和终点像素点坐标；

S2、将起点像素点坐标和终点像素点坐标均映射至预设人体关节标准模型中对应于目标关节的关节坐标系中，分别得到关节坐标系中对应于起点像素点坐标和终点像素点坐标的关节活动度数据；

S3、根据关节活动度数据确定目标关节的关节活动度；

其中，所述人体关节标准模型由若干人体关节的空间位置数据所对应的关节坐标系基于正常人体骨骼的生理链接方式构建而成。

本实施例以对应的关节活动度的测量设备的工作流程为例来对上述关节活动度的测量方法进行说明，应当理解，本实施例中的设备仅作举例说明只用，并不因此将其限制于此。

在具体实施过程中，测量设备由显示单元、运算单元和检测单元组成。其中，显示单元由49寸红外触控屏组成，通过触控实现软件的各项功能操作；运算单元由电脑主机组成，提供GPU算力并对检测单元进行供能；检测单元由摄像头组和嵌入式惯性测量单元(IMU)构成，摄像头组分为红外摄像头、RGB摄像头和深度摄像头，嵌入式惯性测量单元(IMU)分为三轴加速度传感器和三轴陀螺仪传感器。

对于步骤S1，在获取运动影像数据时，设备的运算单元与显示单元通过HDMI高清视频线连接，以运行基于Unity 3D引擎开发的应用程序，在运行应用程序时，显示单元显示按照程序设计的虚拟人物的动作引导演示，受试者跟随完成相关动作行为，即可通过检测单元获取受试者的运动影像数据。

在一种优选实施方式中，运动影像数据包括深度图，深度图用于确定起点像素点坐标和终点像素点坐标；

如图3所示，步骤S1，包括：

S111、获取调制光往返影像采集装置与目标关节之间所需时间的测量值；

S112、根据测量值生成深度图。

深度图是指图像每个像素的一组坐标值，其以毫米为单位。在本实施方式中，深度摄像头选择使用NFOV(窄视野模式)，以获得更高质量的数据，从而能够得到可以更好地表征目标关节在目标坐标系中的运动幅度的起点像素点坐标和终点像素点坐标。

具体地，检测单元中的深度摄像头通过调频连续波(AMCW)时差测距原理，将近红外频谱中的调制光投射到场景中，并记录光线从摄像头传播到到场景、从场景返回摄像头所花费的间接时间测量值，然后由测量值生成深度图。

在本实施方式中，深度摄像头的噪音主要来源于系统误差和随机误差，其中，系统误差公式如下：

其中，d表示时间t处的测量深度，N是t求平均过程使用的帧数，dgt是真是深度；

随机误差公式如下：

其中，N表示深度测量值数，d表示时间t处的深度测量值，d表示t基于所有深度测量值dt计算出的平均值。

基于上述公式，针对系统误差，本实施例中的方法根据静态场景中的多帧计算时态平均值进行校正，以消除尽可能多的深度噪音；针对随机误差，本实施例中的方法根据一段时间内的深度标准差进行校正，以消除散粒噪音。

为了进一步提高所获得的起点像素点坐标和终点像素点坐标的位置准确性，在另一种优选实施方式中，运动影像数据还包括RGB图像；

如图4所示，步骤S1，还包括：

S121、将RGB图像与深度图的像素进行配准，以生成RGB-D图像；

S122、从RGB-D图像中获取起点像素点坐标和终点像素点坐标；

和/或，运动影像数据还包括惯性测量数据；

如图5所示，步骤S1，还包括：

S131、基于惯性测量数据计算目标关节对应的运动角度和运动加速度；

S141、基于运动角度和运动加速度对起点像素点坐标和终点像素点坐标进行校准。

本实施例中设备的检测单元同时包括深度摄像头和RGB摄像头，故其可以实现对目标关节的运动影像数据的实时捕获，并能够通过RGB-D图像得到相较于深度图更加准确的起点像素点坐标和终点像素点坐标。

本实施例中的设备还包括红外摄像头，用于获取目标关节与红外摄像头之间的距离值，并基于距离值对起点像素点坐标和终点像素点坐标进行校准，以提高最终关节活动度测量结果的准确度。

在具体实施时，检测单元中摄像头组的摄像头均以30fps的一致速率运行，从而通过三个不同的摄像头来更准确地感知受试者周围的环境及受试者的运动变化情况。

此外，本实施例中设备的检测单元还包括惯性测量单元，从而可以基于惯性测量单元检测到的目标关节在X、Y、Z三个方向的陀螺仪数据和加速度数据进行数据校准处理，以得到目标关节的运动角度和运动加速度等信息对起点像素点坐标和终点像素点坐标进行校准，使最终生成的关节活动度坐标更加准确。

需要说明的是，上述校准过程的实现需要基于具体实施场景对应的特定条件进行定制化开发，故此处不对其作具体限制。

在本实施例中，想要获取惯性测量单元的数据，必须先打开配置设备，然后捕获运动影像数据。RGB摄像头和/或深度摄像头正在运行时，惯性测量单元中的传感器才能正常工作，即惯性测量传感器不能单独工作。

需要说明的是，本实施例中的摄像头所获取到的运动影像数据为像素点数据，在具体实施过程中各个坐标系之间的坐标可以基于相应的坐标转换矩阵进行相互转换，例如，可以根据需要将其转换成摄像头坐标信息，然后再转换成世界坐标系平面信息等，此处不对坐标转换的顺序作具体限制。

步骤S2中的人体关节标准模型记录了正常人体每一个关节点相对于完整人体的空间位置，并在每一关节对应的空间位置处构建有上述对应的三元关节坐标系。每个关节坐标系均由相应关节的位置和方向构成，而所有的关节坐标系是相对于深度摄像头三维坐标系的绝对坐标系。并且，每一坐标系中关节的位置和方向是相对于深度传感器参考帧的估算值，位置以毫米为单位，方向以规范化四元数表示。

其中，步骤S1中获取到的目标关节的运动影像数据所包括的像素点坐标可以通过函数映射至上述关节坐标系中，以实现基于目标关节的像素点坐标变化对应在关节坐标系中的变化来统一表征目标关节的关节活动度。

基于此，本实施例中的方法还包括通过运动影像数据获取受试者的身体轮廓，并将其身体轮廓对应至人体关节标准模型中，以确定各个关节点所对应的关节坐标系在人体关节标准模型中的相对空间位置并进行映射。

在一种优选实施方式中，如图6所示，上述方法还包括：

S10、获取表征正常人体的关节在空间上的连接位置关系的空间位置数据集；

S11、根据空间位置数据集构建所述人体关节标准模型。

本实施例中的关节活动度的测量方法是基于构建的人体关节标准模型，通过检测单元捕捉到的动作影像数据来提取各关节运动空间位置的变化，进而计算出关节活动度的范围。

因此，在本实施方式中，通过上述设备采集若干表征正常人体的关节在空间上的连接位置关系的数据并将其构建为上述空间位置数据集，并基于该正常人的关节空间位置的数据集来搭建对应于每一人体关节的X、Y、Z三元关节坐标系。当收集到足够多的空间信息后，若干个关节坐标系形成一个完整人体空间位置模型，其中的关节点遵循一定的关节层次结构，并通过父关节和子关节的联系形成人体骨骼生理链接。关节层次以骨盆(接近人体重心点位置)为基点，由内而外建立四肢模型，同时按照流向构建父关节和子关节，为关节位置的准确构建整体联系。

对于步骤S3，本实施例中通过三元组坐标来保证关节活动度，即关节活动度包括目标关节在X方向、Y方向和Z方向的关节活动度。

本发明提供的关节活动度的测量方法从目标关节的运动影像数据中获取其空间运动的起点和终点所对应的像素点坐标，并将该像素点坐标映射至人体关节标准模型中的相应关节坐标系，以基于映射后的坐标来表征目标关节的关节活动度的测量，在实现对肩、肘、髋、膝等人体关节活动度的主动测量的过程中，避免因直接基于运动影像数据生成测量结果所导致的数据缺陷、数据丢失、数据噪音、伪数据等使测量结果不符合人体关节生理特征的情况，以确保测量结果同时符合实际情况及临床医学特征，并且有效保持测量结果的一致性和客观性；此外，本发明提供的方法在测量过程不依赖医生和治疗师，减少了人力投入，提高了测量效率。

实施例2

本实施例公开了一种关节活动度的测量系统，如图7所示，该关节活动度的测量系统包括：

检测单元21，用于获取目标关节的运动影像数据，运动影像数据包括表征目标关节在目标坐标系中的运动幅度的起点像素点坐标和终点像素点坐标；

运算单元22，用于将起点像素点坐标和终点像素点坐标均映射至预设人体关节标准模型中对应于目标关节的关节坐标系中，分别得到关节坐标系中对应于起点像素点坐标和终点像素点坐标的关节活动度数据；

运算单元22还用于根据关节活动度数据确定目标关节的关节活动度；

其中，人体关节标准模型由若干人体关节的空间位置数据所对应的关节坐标系基于正常人体骨骼的生理链接方式构建而成。

在具体实施过程中，本实施例中的系统还包括显示单元23。其中，显示单元23由49寸红外触控屏组成，通过触控实现软件的各项功能操作；运算单元22由电脑主机组成，提供GPU算力并对检测单元进行供能；检测单元21由摄像头组和嵌入式惯性测量单元(IMU)构成，摄像头组分为红外摄像头、RGB摄像头和深度摄像头，嵌入式惯性测量单元(IMU)分为三轴加速度传感器和三轴陀螺仪传感器。

在获取运动影像数据时，运算单元22与显示单元23通过HDMI高清视频线连接，以运行基于Unity 3D引擎开发的应用程序，在运行应用程序时，显示单元23显示按照程序设计的虚拟人物的动作引导演示，受试者跟随完成相关动作行为，即可通过检测单元1获取受试者的运动影像数据。

在一种优选实施方式中，运动影像数据包括深度图，深度图用于确定起点像素点坐标和终点像素点坐标；

检测单元21还用于：

获取调制光往返影像采集装置与目标关节之间所需时间的测量值；

根据测量值生成深度图。

深度图是指图像每个像素的一组坐标值，其以毫米为单位。在本实施方式中，深度摄像头选择使用NFOV(窄视野模式)，以获得更高质量的数据，从而能够得到可以更好地表征目标关节在目标坐标系中的运动幅度的起点像素点坐标和终点像素点坐标。

具体地，检测单元21中的深度摄像头通过调频连续波(AMCW)时差测距原理，将近红外频谱中的调制光投射到场景中，并记录光线从摄像头传播到到场景、从场景返回摄像头所花费的间接时间测量值，然后由测量值生成深度图。

在本实施方式中，深度摄像头的噪音主要来源于系统误差和随机误差，其中，系统误差公式如下：

其中，d表示时间t处的测量深度，N是t求平均过程使用的帧数，dgt是真是深度；

随机误差公式如下：

其中，N表示深度测量值数，d表示时间t处的深度测量值，d表示t基于所有深度测量值dt计算出的平均值。

基于上述公式，针对系统误差，运算单元22根据静态场景中的多帧计算时态平均值进行校正，以消除尽可能多的深度噪音；针对随机误差，运算单元22根据一段时间内的深度标准差进行校正，以消除散粒噪音。

为了进一步提高所获得的起点像素点坐标和终点像素点坐标的位置准确性，在另一种优选实施方式中，运动影像数据还包括RGB图像；

检测单元21还用于：

将RGB图像与深度图的像素进行配准，以生成RGB-D图像；

从RGB-D图像中获取起点像素点坐标和终点像素点坐标；

和/或，运动影像数据还包括惯性测量数据；

检测单元21还用于：

基于惯性测量数据计算目标关节对应的运动角度和运动加速度；

基于运动角度和运动加速度对起点像素点坐标和终点像素点坐标进行校准。

本实施例中的检测单元21同时包括深度摄像头和RGB摄像头，故其可以实现对目标关节的运动影像数据的实时捕获，并能够通过RGB-D图像得到相较于深度图更加准确的起点像素点坐标和终点像素点坐标。

本实施例中的检测单元21还包括红外摄像头，用于获取目标关节与红外摄像头之间的距离值，并基于距离值对起点像素点坐标和终点像素点坐标进行校准，以提高最终关节活动度测量结果的准确度。

在具体实施时，检测单元21中摄像头组的摄像头均以30fps的一致速率运行，从而通过三个不同的摄像头来更准确地感知受试者周围的环境及受试者的运动变化情况。

此外，本实施例中检测单元21还包括惯性测量单元，从而可以基于惯性测量单元检测到的目标关节在X、Y、Z三个方向的陀螺仪数据和加速度数据进行数据校准处理，以得到目标关节的运动角度和运动加速度等信息对起点像素点坐标和终点像素点坐标进行校准，使最终生成的关节活动度坐标更加准确。

需要说明的是，上述校准过程的实现需要基于具体实施场景对应的特定条件进行定制化开发，故此处不对其作具体限制。

在本实施例中，想要获取惯性测量单元的数据，必须先捕获运动影像数据。RGB摄像头和/或深度摄像头正在运行时，惯性测量单元中的传感器才能正常工作，即惯性测量传感器不能单独工作。

需要说明的是，本实施例中的摄像头所获取到的运动影像数据为像素点数据，在具体实施过程中各个坐标系之间的坐标可以进行相应的函数进行相互转换，例如，可以根据需要将其转换成摄像头坐标信息，然后再转换成世界坐标系平面信息等，此处不对坐标转换的顺序作具体限制。

本实施例中的人体关节标准模型记录了正常人体每一个关节点相对于完整人体的空间位置，并在每一关节对应的空间位置处构建有上述对应的三元关节坐标系。每个关节坐标系均由相应关节的位置和方向构成，而所有的关节坐标系是相对于深度摄像头三维坐标系的绝对坐标系。并且，每一坐标系中关节的位置和方向是相对于深度传感器参考帧的估算值，位置以毫米为单位，方向以规范化四元数表示。

其中，检测单元21获取到的目标关节的运动影像数据所包括的像素点坐标可以通过函数映射至上述关节坐标系中，以实现基于目标关节的像素点坐标变化对应在关节坐标系中的变化来统一表征目标关节的关节活动度。

基于此，本实施例中的运算单元22还用于通过运动影像数据获取受试者的身体轮廓，并将其身体轮廓对应至人体关节标准模型中，以确定各个关节点所对应的关节坐标系在人体关节标准模型中的相对空间位置并进行映射。

在一种优选实施方式中，运算单元22还用于：

获取表征正常人体的关节在空间上的连接位置关系的空间位置数据集；

根据空间位置数据集构建所述人体关节标准模型。

本实施例中的关节活动度的测量系统是基于构建的人体关节标准模型，通过检测单元捕捉到的动作影像数据来提取各关节运动空间位置的变化，进而计算出关节活动度的范围。

因此，在本实施方式中，运算单元22通过通过检测单元21采集若干表征正常人体关节在空间上的连接位置关系的数据并将其构建为上述空间位置数据集，并基于该正常人的关节空间位置的数据集来搭建对应于每一人体关节的X、Y、Z三元关节坐标系。当收集到足够多的空间信息后，若干个关节坐标系形成一个完整人体空间位置模型，其中的关节点遵循一定的关节层次结构，并通过父关节和子关节的联系形成人体骨骼生理链接。关节层次以骨盆(接近人体重心点位置)为基点，由内而外建立四肢模型，同时按照流向构建父关节和子关节，为关节位置的准确构建整体联系。

本实施例中通过三元组坐标来保证关节活动度，即关节活动度包括目标关节在X方向、Y方向和Z方向的关节活动度。

本发明提供的关节活动度的测量系统从检测单元21采集的目标关节的运动影像数据中获取其空间运动的起点和终点所对应的像素点坐标，并通过运算单元22将该像素点坐标映射至人体关节标准模型中的相应关节坐标系，以基于映射后的坐标来表征目标关节的关节活动度的测量，在实现对肩、肘、髋、膝等人体关节活动度的主动测量的过程中，避免因直接基于运动影像数据生成测量结果所导致的数据缺陷、数据丢失、数据噪音、伪数据等使测量结果不符合人体关节生理特征的情况，以确保测量结果同时符合实际情况及临床医学特征，并且有效保持测量结果的一致性和客观性；此外，本发明提供的方法在测量过程不依赖医生和治疗师，减少了人力投入，提高了测量效率。

实施例3

本实施例公开了一种关节活动度的测量设备，如图8所示，该关节活动度的测量设备包括：

摄像头组31，用于获取目标关节的运动影像数据，该运动影像数据包括表征目标关节在目标坐标系中的运动幅度的起点像素点坐标和终点像素点坐标；

处理器32，用于将起点像素点坐标和终点像素点坐标均映射至预设人体关节标准模型中对应于目标关节的关节坐标系中，分别得到关节坐标系中对应于起点像素点坐标和终点像素点坐标的关节活动度数据；

处理器32还用于根据关节活动度数据确定目标关节的关节活动度；

其中，所述人体关节标准模型由若干人体关节的空间位置数据所对应的关节坐标系基于正常人体骨骼的生理链接方式构建而成。

在具体实施过程中，该测量设备还包括显示器33，其中，显示器33由49寸红外触控屏组成，通过触控实现软件的各项功能操作；处理器32由电脑主机组成，提供GPU算力并对检测单元进行供能；摄像头组31分为红外摄像头、RGB摄像头和深度摄像头。

在获取运动影像数据时，设备的处理器32与显示器33通过HDMI高清视频线连接，以运行基于Unity 3D引擎开发的应用程序，在运行应用程序时，显示器33显示按照程序设计的虚拟人物的动作引导演示，受试者跟随完成相关动作行为，即可通过摄像头组31获取受试者的运动影像数据。

在一种优选实施方式中，运动影像数据包括深度图，深度图用于确定起点像素点坐标和终点像素点，坐标摄像头组31包括深度摄像头311，深度摄像头311用于：

获取调制光往返影像采集装置与目标关节之间所需时间的测量值；

根据所述测量值生成所述深度图。

深度图是指图像每个像素的一组坐标值，其以毫米为单位。在本实施方式中，深度摄像头311选择使用NFOV(窄视野模式)，以获得更高质量的数据，从而能够得到可以更好地表征目标关节在目标坐标系中的运动幅度的起点像素点坐标和终点像素点坐标。

具体地，深度摄像头311通过调频连续波(AMCW)时差测距原理，将近红外频谱中的调制光投射到场景中，并记录光线从摄像头传播到到场景、从场景返回摄像头所花费的间接时间测量值，然后由测量值生成深度图。

在本实施方式中，深度摄像头311的噪音主要来源于系统误差和随机误差，其中，系统误差公式如下：

其中，d表示时间t处的测量深度，N是t求平均过程使用的帧数，dgt是真是深度；

随机误差公式如下：

其中，N表示深度测量值数，d表示时间t处的深度测量值，d表示t基于所有深度测量值dt计算出的平均值。

基于上述公式，针对系统误差，处理器32根据静态场景中的多帧计算时态平均值进行校正，以消除尽可能多的深度噪音；针对随机误差，处理器32根据一段时间内的深度标准差进行校正，以消除散粒噪音。

为了进一步提高所获得的起点像素点坐标和终点像素点坐标的位置准确性，在另一种优选实施方式中，运动影像数据还包括RGB图像，摄像头组31包括RGB摄像头312，处理器32还用于：

将RGB图像与深度图的像素进行配准，以生成RGB-D图像；

从RGB-D图像中获取起点像素点坐标和终点像素点坐标。

和/或，摄像头组31包括红外摄像头313，红外摄像头313用于获取目标关节与红外摄像头313之间的距离值；

处理器32还用于：

基于距离值对起点像素点坐标和终点像素点坐标进行校准；

和/或，运动影像数据包括惯性测量数据，该设备还包括惯性测量单元34，惯性测量单元34用于获取目标关节对应的惯性测量数据，处理器32还用于：

基于惯性测量数据计算目标关节对应的运动角度和运动加速度；

基于运动角度和运动加速度对起点像素点坐标和终点像素点坐标进行校准。

本实施例中的设备同时包括深度摄像头311和RGB摄像头312，故其可以实现对目标关节的运动影像数据的实时捕获，并能够通过RGB-D图像得到相较于深度图更加准确的起点像素点坐标和终点像素点坐标。

本实施例中的设备还包括红外摄像头313，用于获取目标关节与红外摄像头之间的距离值，并基于距离值对起点像素点坐标和终点像素点坐标进行校准，以提高最终关节活动度测量结果的准确度。

在具体实施时，检测单元中摄像头组31的摄像头均以30fps的一致速率运行，从而通过三个不同的摄像头来更准确地感知受试者周围的环境及受试者的运动变化情况。

此外，本实施例中设备的检测单元还包括惯性测量单元34，其为嵌入式惯性测量单元(IMU)，包括三轴加速度传感器341和三轴陀螺仪传感器342，从而可以基于检测到的目标关节在X、Y、Z三个方向的陀螺仪数据和加速度数据进行数据校准处理，以得到目标关节的运动角度和运动加速度等信息对起点像素点坐标和终点像素点坐标进行校准，使处理器32最终生成的关节活动度坐标更加准确。

需要说明的是，上述校准过程的实现需要基于具体实施场景对应的特定条件进行定制化开发，故此处不对其作具体限制。

在本实施例中，想要获取惯性测量单元34的数据，必须先打开配置设备，然后捕获运动影像数据。RGB摄像头312和/或深度摄像头311正在运行时，惯性测量单元34中的传感器才能正常工作，即惯性测量传感器不能单独工作。

需要说明的是，本实施例中的摄像头所获取到的运动影像数据为像素点数据，在具体实施过程中各个坐标系之间的坐标可以进行相应的函数进行相互转换，例如，可以根据需要将其转换成摄像头坐标信息，然后再转换成世界坐标系平面信息等，此处不对坐标转换的顺序作具体限制。

本实施例中的人体关节标准模型记录了正常人体每一个关节点相对于完整人体的空间位置，并在每一关节对应的空间位置处构建有上述对应的三元关节坐标系。每个关节坐标系均由相应关节的位置和方向构成，而所有的关节坐标系是相对于深度摄像头三维坐标系的绝对坐标系。并且，每一坐标系中关节的位置和方向是相对于深度传感器参考帧的估算值，位置以毫米为单位，方向以规范化四元数表示。

其中，摄像头组31获取到的目标关节的运动影像数据所包括的像素点坐标可以通过函数映射至上述关节坐标系中，以实现基于目标关节的像素点坐标变化对应在关节坐标系中的变化来统一表征目标关节的关节活动度。

基于此，本实施例中的处理器32还用于通过运动影像数据获取受试者的身体轮廓，并将其身体轮廓对应至人体关节标准模型中，以确定各个关节点所对应的关节坐标系在人体关节标准模型中的相对空间位置并进行映射。

在一种优选实施方式中，处理器32还用于：

获取表征正常人体的关节在空间上的连接位置关系的空间位置数据集；

根据空间位置数据集构建所述人体关节标准模型。

本实施例中的关节活动度的测量设备是基于构建的人体关节标准模型，通过摄像头组31捕捉到的动作影像数据来提取各关节运动空间位置的变化，进而通过处理器32计算出关节活动度的范围。

因此，在本实施方式中，处理器32通过通过摄像头组31采集若干表征正常人体关节在空间上的连接位置关系的数据并将其构建为上述空间位置数据集，并基于该正常人的关节空间位置的数据集来搭建对应于每一人体关节的X、Y、Z三元关节坐标系。当收集到足够多的空间信息后，若干个关节坐标系形成一个完整人体空间位置模型，其中的关节点遵循一定的关节层次结构，并通过父关节和子关节的联系形成人体骨骼生理链接。关节层次以骨盆(接近人体重心点位置)为基点，由内而外建立四肢模型，同时按照流向构建父关节和子关节，为关节位置的准确构建整体联系。

本实施例中通过三元组坐标来保证关节活动度，即关节活动度包括目标关节在X方向、Y方向和Z方向的关节活动度。

本发明提供的关节活动度的测量设备通过摄像头组31从目标关节的运动影像数据中获取其空间运动的起点和终点所对应的像素点坐标，并通过处理器32将该像素点坐标映射至人体关节标准模型中的相应关节坐标系，以基于映射后的坐标来表征目标关节的关节活动度的测量，在实现对肩、肘、髋、膝等人体关节活动度的主动测量的过程中，避免因直接基于运动影像数据生成测量结果所导致的数据缺陷、数据丢失、数据噪音、伪数据等使测量结果不符合人体关节生理特征的情况，以确保测量结果同时符合实际情况及临床医学特征，并且有效保持测量结果的一致性和客观性；此外，本发明提供的方法在测量过程不依赖医生和治疗师，减少了人力投入，提高了测量效率。

实施例4

图9为本发明实施例4提供的一种电子设备的结构示意图。所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例1所提供的关节活动度的测量方法。图9显示的电子设备40仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图9所示，电子设备40可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备40的组件可以包括但不限于：上述至少一个处理器41、上述至少一个存储器42、连接不同系统组件(包括存储器42和处理器41)的总线43。

总线43包括数据总线、地址总线和控制总线。

存储器42可以包括易失性存储器，例如随机存取存储器(RAM)421和/或高速缓存存储器422，还可以进一步包括只读存储器(ROM)423。

存储器42还可以包括具有一组(至少一个)程序模块424的程序/实用工具425，这样的程序模块424包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

处理器41通过运行存储在存储器42中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1所提供的关节活动度的测量方法。

电子设备40也可以与一个或多个外部设备44(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口45进行。并且，模型生成的设备40还可以通过网络适配器46与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图9所示，网络适配器46通过总线43与模型生成的设备40的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的设备40使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。

应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。

实施例4

本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现实施例1中的关节活动度的测量方法。

其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。

在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行实现实施例1中的关节活动度的测量方法。

其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (10)

1.一种关节活动度的测量方法，其特征在于，所述关节活动度的测量方法包括：

获取目标关节的运动影像数据，所述运动影像数据包括表征所述目标关节在目标坐标系中的运动幅度的起点像素点坐标和终点像素点坐标；

将所述起点像素点坐标和所述终点像素点坐标均映射至预设人体关节标准模型中对应于所述目标关节的关节坐标系中，分别得到所述关节坐标系中对应于所述起点像素点坐标和所述终点像素点坐标的关节活动度数据；

根据所述关节活动度数据确定所述目标关节的关节活动度；

其中，所述人体关节标准模型由若干人体关节的空间位置数据所对应的关节坐标系基于正常人体骨骼的生理链接方式构建而成。

2.如权利要求1所述的关节活动度的测量方法，其特征在于，所述运动影像数据包括深度图，所述深度图用于确定所述起点像素点坐标和终点像素点坐标；

所述获取目标关节的运动影像数据的步骤，包括：

获取调制光往返影像采集装置与目标关节之间所需时间的测量值；

根据所述测量值生成所述深度图。

3.如权利要求2所述的关节活动度的测量方法，其特征在于，所述运动影像数据还包括RGB图像；

所述获取目标关节的运动影像数据的步骤，还包括：

将所述RGB图像与所述深度图的像素进行配准，以生成RGB-D图像；

从所述RGB-D图像中获取所述像素点坐标和终点像素点坐标；

和/或，所述运动影像数据还包括惯性测量数据；

所述获取目标关节的运动影像数据的步骤，还包括：

基于所述惯性测量数据计算所述目标关节对应的运动角度和运动加速度；

基于所述运动角度和运动加速度对所述起点像素点坐标和终点像素点坐标进行校准。

4.如权利要求1所述的关节活动度的测量方法，其特征在于，所述方法还包括：

获取表征正常人体的关节在空间上的连接位置关系的空间位置数据集；

根据所述空间位置数据集构建所述人体关节标准模型。

5.一种关节活动度的测量系统，其特征在于，所述关节活动度的测量系统包括：

检测单元，用于获取目标关节的运动影像数据，所述运动影像数据包括表征所述目标关节在目标坐标系中的运动幅度的起点像素点坐标和终点像素点坐标；

运算单元，用于将所述起点像素点坐标和所述终点像素点坐标均映射至预设人体关节标准模型中对应于所述目标关节的关节坐标系中，分别得到所述关节坐标系中对应于所述起点像素点坐标和所述终点像素点坐标的关节活动度数据；

所述运算单元还用于根据所述关节活动度数据确定目标关节的关节活动度；

其中，所述人体关节标准模型由若干人体关节的空间位置数据所对应的关节坐标系基于正常人体骨骼的生理链接方式构建而成。

6.一种关节活动度的测量设备，其特征在于，所述关节活动度的测量设备包括：

摄像头组，用于获取目标关节的运动影像数据，所述运动影像数据包括表征所述目标关节在目标坐标系中的运动幅度的起点像素点坐标和终点像素点坐标；

处理器，用于将所述起点像素点坐标和所述终点像素点坐标均映射至预设人体关节标准模型中对应于所述目标关节的关节坐标系中，分别得到所述关节坐标系中对应于所述起点像素点坐标和所述终点像素点坐标的关节活动度数据；

所述处理器还用于根据所述关节活动度数据确定目标关节的关节活动度；

其中，所述人体关节标准模型由若干人体关节的空间位置数据所对应的关节坐标系基于正常人体骨骼的生理链接方式构建而成。

7.如权利要求6所述的关节活动度的测量设备，其特征在于，所述运动影像数据包括深度图，所述深度图用于确定所述起点像素点坐标和终点像素点坐标，所述摄像头组包括深度摄像头，所述深度摄像头用于：

获取调制光往返影像采集装置与目标关节之间所需时间的测量值；

根据所述测量值生成所述深度图；

和/或，所述运动影像数据包括RGB图像，所述摄像头组包括RGB摄像头，所述处理器还用于：

将所述RGB图像与所述深度图的像素进行配准，以生成RGB-D图像；

从所述RGB-D图像中获取所述起点像素点坐标和终点像素点坐标；

和/或，所述摄像头组包括红外摄像头，所述红外摄像头用于获取所述目标关节与所述红外摄像头之间的距离值；

所述处理器还用于：

基于所述距离值对所述起点像素点坐标和终点像素点坐标进行校准；

和/或，所述运动影像数据包括惯性测量数据，所述设备还包括惯性测量单元，所述惯性测量单元用于获取所述目标关节对应的惯性测量数据，所述处理器还用于：

基于所述惯性测量数据计算所述目标关节对应的运动角度和运动加速度；

基于所述运动角度和运动加速度对所述起点像素点坐标和终点像素点坐标进行校准。

8.如权利要求6所述关节活动度的测量设备，其特征在于，所述处理器还用于：

获取表征正常人体的关节在空间上的连接位置关系的空间位置数据集；

根据所述空间位置数据集构建所述人体关节标准模型。

9.一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-4中任一项所述的关节活动度的测量方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4中任一项所述的关节活动度的测量方法。

Images