CN117745902B - 一种用于康复演示的数字人生成方法及装置 - Google Patents

Abstract

本发明提供一种用于康复演示的数字人生成方法及装置，属于计算机技术领域。所述方法包括：基于预处理和特征提取的真实人物康复演示视频和照片，构建康复演示数字化人物模型，采集康复演示数字化人物模型的演示视频；进而计算康复演示数字化人物模型的动作准确性指数和康复演示数字化人物模型稳定性指数；基于康复演示数字化人物模型的动作准确性指数和康复演示数字化人物模型稳定性指数，计算康复演示数字化人物模型的综合质量符合系数，对数字化人物模型的动作准确性、稳定性和综合质量进行评估，能够为康复演示的数字人生成方法提供科学的评估体系和优化路径，有助于提高数字化人物模型在康复演示中的质量和实用性。

Description

一种用于康复演示的数字人生成方法及装置

技术领域

本发明涉及计算机技术领域，特别是指一种用于康复演示的数字人生成方法及装置。

背景技术

康复演示数字人模型的需求往往与社会对康复和医疗的关注度相关，随着人口老龄化趋势的加剧，对于康复治疗和辅助工具的需求也在增加，这促使了康复演示数字人生成方法的发展。

例如公开号：CN113886642A数字人生成方法、装置、设备及介质，通过数字人生成方法包括：从目标图片中提取人物的目标人脸姿态信息；依据所述目标人脸姿态信息和目标音频，确定所述人物的目标嘴巴轮廓线；对所述目标图片进行处理，得到不包含所述人物嘴巴区域的中间图片；依据所述目标嘴巴轮廓线、所述中间图片，生成数字人图片。由此，能够使得生成的数字人的姿态更加自然，提升用户体验。

但是现有技术无法实现康复演示数字人的生成，因此需要构建康复演示数字化人物模型，进行康复演示。

发明内容

为了解决现有技术存在的无法生成康复演示数字人的技术问题，本发明实施例提供了一种用于康复演示的数字人生成方法及装置。所述技术方案如下：

一方面，提供了一种用于康复演示的数字人生成方法，该方法由数字人生成设备实现，该方法包括：

S1，获取真实人物的康复演示视频和照片，并对其进行预处理和特征提取；

S2，基于预处理和特征提取的真实人物康复演示视频和照片，构建康复演示数字化人物模型，采集康复演示数字化人物模型的演示视频；

S3，基于真实人物的康复演示视频与康复演示数字化人物模型的演示视频，对康复演示数字化人物模型动作准确性进行测试，采集康复演示数字化人物模型视频差异化数据，估算康复演示数字化人物模型的动作准确性指数；

S4，基于康复演示数字化人物模型的演示视频，对康复演示数字化人物模型稳定性进行测试，采集康复演示数字化人物模型稳定性数据，估算康复演示数字化人物模型稳定性指数；

S5，基于康复演示数字化人物模型的动作准确性指数和康复演示数字化人物模型稳定性指数，计算康复演示数字化人物模型的综合质量符合系数，基于康复演示数字化人物模型的综合质量符合系数，对康复演示数字化人物模型进行优化；

S6，对优化后的康复演示数字化人物模型进行康复演示。

进一步地，对获取的真实人物的康复演示视频和照片进行预处理包括：

使用图像处理算法的中值滤波去除图像中的噪声，调整演示视频和照片的尺寸，并对演示视频和照片进行归一化处理，将像素值映射到 0到1的范围内；

对获取的真实人物的康复演示视频和照片进行特征提取包括：

将图像的颜色空间划分为不同的区域，统计每个区域中像素的数量，获取颜色直方图，对照片进行颜色特征提取；

使用GLCM统计工具，构建灰度共生矩阵，对照片进行纹理特征提取；

使用开源计算机视觉库OpenCV和python检测关节运动位置数据、绘制肢体轨迹，对演示视频进行运动特征提取。

进一步地，所述基于预处理和特征提取的真实人物康复演示视频和照片，构建康复演示数字化人物模型包括：

基于预处理和特征提取的真实人物康复照片使用Blender 3D建模软件构建康复演示数字化初始人物模型，将骨骼及关节点对应到康复演示数字化初始人物模型的相应部位上；

基于预处理和特征提取的真实人物康复演示视频，利用循环神经网络RNN深度学习模型来捕捉真实人物康复演示视频中的运动模式和特征，使用序列模型LSTM来学习动作的时序，使用生成模型GAN生成动作序列，并将深度学习模型、序列模型LSTM、生成模型GAN所获得的数据导入康复演示数字化初始人物模型中构建康复演示数字化人物模型。

进一步地，所述基于真实人物的康复演示视频与康复演示数字化人物模型的演示视频，对康复演示数字化人物模型动作准确性进行测试，采集康复演示数字化人物模型视频差异化数据包括：

基于真实人物康复演示视频和康复演示数字化人物模型的演示视频，且具有相同的时间长度和视角，使用计算机视觉技术骨骼追踪，从每个视频中提取关键的运动特征，使用相似性度量方法逐帧比较真实人物和数字化人物模型的动作，识别真实人物的康复演示视频与康复演示数字化人物模型的演示视频的动作差异；其中，所述关键的运动特征包括：肢体的移动方向、速度和加速度、肢体的最大位移和运动周期、身体的重心位置和移动轨迹；

记录康复演示数字化人物模型视频差异化数据，其中，康复演示数字化人物模型视频差异化数据包括：动作轨迹偏移距离和动作轨迹延迟时间。

进一步地，所述康复演示数字化人物模型的动作准确性指数的计算公式为：

；

其中，表示康复演示数字化人物模型的动作准确性指数，/>表示动作轨迹偏移距离，/>表示动作轨迹延迟时间，/>表示动作轨迹偏移距离允许的偏差值，/>表示动作轨迹延迟时间允许的偏差值，/>表示动作轨迹偏移距离对应康复演示数字化人物模型的动作准确性指数的权重因子，/>表示动作轨迹延迟时间对应康复演示数字化人物模型的动作准确性指数的权重因子，e表示自然数。

进一步地，所述基于康复演示数字化人物模型的演示视频，对康复演示数字化人物模型稳定性进行测试，采集康复演示数字化人物模型稳定性数据包括：

基于康复演示数字化人物模型的演示视频，在Unreal Engine中对康复演示数字化人物模型进行旋转、拉伸、移动，记录每个动作康复演示数字化人物模型的反应时间，并依次编号；

使用Unreal Engine的GPU Profiler插件来检测渲染性能，记录每一帧康复演示数字化人物模型的渲染时间和GPU负载，并依次编号。

进一步地，所述康复演示数字化人物模型稳定性指数的计算公式为：

；

其中，表示康复演示数字化人物模型稳定性指数，/>表示康复演示数字化人物模型的反应时间对应康复演示数字化人物模型稳定性指数的权重因子，/>表示康复演示数字化人物模型的渲染时间对应康复演示数字化人物模型稳定性指数的权重因子，/>表示康复演示数字化人物模型的GPU负载对应康复演示数字化人物模型稳定性指数的权重因子，/>表示每个动作康复演示数字化人物模型的反应时间，/>表示每一帧康复演示数字化人物模型的渲染时间，/>表示每一帧康复演示数字化人物模型的GPU负载，e表示自然数。

进一步地，所述康复演示数字化人物模型的综合质量符合系数的计算公式为：

；

其中，表示康复演示数字化人物模型的综合质量符合系数，/>表示康复演示数字化人物模型的动作准确性指数对应康复演示数字化人物模型的综合质量符合系数的权重因子，/>表示康复演示数字化人物模型稳定性指数对应康复演示数字化人物模型的综合质量符合系数的权重因子。

进一步地，所述基于康复演示数字化人物模型的综合质量符合系数，对康复演示数字化人物模型进行优化包括：

将康复演示数字化人物模型的综合质量符合系数与预设的阈值进行比较，若康复演示数字化人物模型的综合质量符合系数小于预设的阈值，则对数据质量进行检查并优化模型；

其中，对数据质量进行检查包括：

检测康复演示数字化人物模型的输入数据质量，若数据质量不足，则重新执行数据清洗和预处理步骤；

优化模型包括：

重新训练康复演示数字化人物模型，调整康复演示数字化人物模型的超参数设置，使用交叉验证技术找到最佳的超参数组合，同时提高训练集的样本数量以及训练轮次，其中，超参数包括：学习率、批大小和隐藏层的大小。

另一方面，提供了一种用于康复演示的数字人生成装置，该装置应用于用于康复演示的数字人生成方法，该装置包括：

数据获取模块，用于获取真实人物的康复演示视频和照片，并对其进行预处理和特征提取；

模型构建模块，用于基于预处理和特征提取的真实人物康复演示视频和照片，构建康复演示数字化人物模型，采集康复演示数字化人物模型的演示视频；

准确性测试模块，用于基于真实人物的康复演示视频与康复演示数字化人物模型的演示视频，对康复演示数字化人物模型动作准确性进行测试，采集康复演示数字化人物模型视频差异化数据，估算康复演示数字化人物模型的动作准确性指数；

稳定性测试模块，用于基于康复演示数字化人物模型的演示视频，对康复演示数字化人物模型稳定性进行测试，采集康复演示数字化人物模型稳定性数据，估算康复演示数字化人物模型稳定性指数；

优化模块，用于基于康复演示数字化人物模型的动作准确性指数和康复演示数字化人物模型稳定性指数，计算康复演示数字化人物模型的综合质量符合系数，基于康复演示数字化人物模型的综合质量符合系数，对康复演示数字化人物模型进行优化；

演示模块，用于对优化后的康复演示数字化人物模型进行康复演示。

另一方面，提供一种数字人生成设备，所述数字人生成设备包括：处理器；存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如上述用于康复演示的数字人生成方法中的任一项方法。

另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述用于康复演示的数字人生成方法中的任一项方法。

本发明实施例提供的技术方案带来的有益效果至少包括：

本发明实施例提供的用于康复演示的数字人生成方法，通过计算康复演示数字化人物模型的动作准确性指数、康复演示数字化人物模型稳定性指数、康复演示数字化人物模型的综合质量符合系数，对数字化人物模型的动作准确性、稳定性和综合质量进行评估，能够为康复演示的数字人生成方法提供科学的评估体系和优化路径，有助于提高数字化人物模型在康复演示中的质量和实用性。

本发明实施例提供的用于康复演示的数字人生成方法的装置，通过构建康复演示数字化人物模型，进行康复演示，可以为康复提供更科学、精准、个性化的训练指导，帮助患者更有效地进行康复训练，提高康复效果，同时为医护人员提供科学的决策支持，帮助他们更好地制定个性化的康复方案，提高康复治疗的精准性和有效性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种用于康复演示的数字人生成方法流程图；

图2是本发明实施例提供的一种用于康复演示的数字人生成装置框图；

图3是本发明实施例提供的一种数字人生成设备的结构示意图。

具体实施方式

下面结合附图，对本发明中的技术方案进行描述。

在本发明实施例中，“示例地”、“例如”等词用于表示作例子、例证或说明。本发明中被描述为“示例”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用示例的一词旨在以具体方式呈现概念。此外，在本发明实施例中，“和/或”所表达的含义可以是两者都有，或者可以是两者任选其一。

本发明实施例中，“图像”，“图片”有时可以混用，应当指出的是，在不强调其区别时，其所要表达的含义是一致的。“的(of)”，“相应的（corresponding，relevant）”和“对应的(corresponding)”有时可以混用，应当指出的是，在不强调其区别时，其所要表达的含义是一致的。

本发明实施例中，有时候下标如W₁可能会笔误为非下标的形式如W1，在不强调其区别时，其所要表达的含义是一致的。

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明实施例提供了一种用于康复演示的数字人生成方法，该方法可以由数字人生成设备实现，该数字人生成设备可以是终端或服务器。如图1所示的用于康复演示的数字人生成方法流程图，该方法的处理流程可以包括如下的步骤：

S1，获取真实人物的康复演示视频和照片，并对其进行预处理和特征提取；

S2，基于预处理和特征提取的真实人物康复演示视频和照片，构建康复演示数字化人物模型，采集康复演示数字化人物模型的演示视频；

S3，基于真实人物的康复演示视频与康复演示数字化人物模型的演示视频，对康复演示数字化人物模型动作准确性进行测试，采集康复演示数字化人物模型视频差异化数据，估算康复演示数字化人物模型的动作准确性指数；

S4，基于康复演示数字化人物模型的演示视频，对康复演示数字化人物模型稳定性进行测试，采集康复演示数字化人物模型稳定性数据，估算康复演示数字化人物模型稳定性指数；

S5，基于康复演示数字化人物模型的动作准确性指数和康复演示数字化人物模型稳定性指数，计算康复演示数字化人物模型的综合质量符合系数，基于康复演示数字化人物模型的综合质量符合系数，对康复演示数字化人物模型进行优化；

S6，对优化后的康复演示数字化人物模型进行康复演示。

本发明实施例提供的用于康复演示的数字人生成方法，通过计算康复演示数字化人物模型的动作准确性指数、康复演示数字化人物模型稳定性指数、康复演示数字化人物模型的综合质量符合系数，对数字化人物模型的动作准确性、稳定性和综合质量进行评估，能够为康复演示的数字人生成方法提供科学的评估体系和优化路径，有助于提高数字化人物模型在康复演示中的质量和实用性。

优选地，对获取的真实人物的康复演示视频和照片进行预处理包括：

使用图像处理算法的中值滤波去除图像中的噪声，调整演示视频和照片的尺寸，并对演示视频和照片进行归一化处理，将像素值映射到 0到1的范围内；

对获取的真实人物的康复演示视频和照片进行特征提取包括：

将图像的颜色空间划分为不同的区域，统计每个区域中像素的数量，获取颜色直方图，对照片进行颜色特征提取；

使用GLCM统计工具，构建灰度共生矩阵，对照片进行纹理特征提取；

使用开源计算机视觉库OpenCV和python检测关节运动位置数据、绘制肢体轨迹，对演示视频进行运动特征提取。

本实施例中，预处理过程中的中值滤波、尺寸调整和归一化处理可以帮助去除图像中的噪声，调整图像大小并统一像素值范围，保证康复演示视频和照片的质量和一致性；运动特征提取利用OpenCV和python检测关节运动位置数据、绘制肢体轨迹，可以帮助数字人生成方法获取康复演示视频中的关节运动信息，包括运动范围、速度、加速度等指标，这有助于数字人生成的模型更好地模拟真实人物的动作和姿势。

优选地，所述基于预处理和特征提取的真实人物康复演示视频和照片，构建康复演示数字化人物模型包括：

基于预处理和特征提取的真实人物康复照片使用Blender 3D建模软件构建康复演示数字化初始人物模型，将骨骼及关节点对应到康复演示数字化初始人物模型的相应部位上；

基于预处理和特征提取的真实人物康复演示视频，利用循环神经网络RNN深度学习模型来捕捉真实人物康复演示视频中的运动模式和特征，使用序列模型LSTM来学习动作的时序，使用生成模型GAN生成动作序列，并将深度学习模型、序列模型LSTM、生成模型GAN所获得的数据导入康复演示数字化初始人物模型中构建康复演示数字化人物模型。

本实施例中，通过使用Blender 3D建模软件，结合预处理和特征提取的真实人物康复照片，可以更准确地构建康复演示数字化初始人物模型，并将骨骼及关节点对应到康复演示数字化初始人物模型的相应部位上。这样做可以使得生成的数字化人物更加真实，能够准确地模拟真实人体的姿势和动作；将预处理和特征提取的真实人物康复演示视频，输入到循环神经网络RNN深度学习模型中，并进行模型训练，监控模型的性能并进行调整，以提高对康复动作的模式捕捉能力，使用随机梯度下降算法进行模型优化，将训练好的模型应用于新的康复演示视频数据中，以捕获其中的运动模式和特征；使用序列模型LSTM来学习动作的时序，以及使用生成模型GAN生成动作序列，可以有效地模拟和生成符合真实场景的运动和动作，为康复演示提供更加生动和有效的数字人生成效果。

优选地，所述基于真实人物的康复演示视频与康复演示数字化人物模型的演示视频，对康复演示数字化人物模型动作准确性进行测试，采集康复演示数字化人物模型视频差异化数据包括：

基于真实人物康复演示视频和康复演示数字化人物模型的演示视频，且具有相同的时间长度和视角，使用计算机视觉技术骨骼追踪，从每个视频中提取关键的运动特征，使用相似性度量方法逐帧比较真实人物和数字化人物模型的动作，识别真实人物的康复演示视频与康复演示数字化人物模型的演示视频的动作差异；其中，所述关键的运动特征包括：肢体的移动方向、速度和加速度、肢体的最大位移和运动周期、身体的重心位置和移动轨迹；

记录康复演示数字化人物模型视频差异化数据，其中，康复演示数字化人物模型视频差异化数据包括：动作轨迹偏移距离和动作轨迹延迟时间。

本实施例中，通过比较真实人物和数字化人物模型的康复演示视频，可以评估数字化人物模型的动作准确性。通过计算机视觉技术的骨骼追踪，提取关键的运动特征，并使用相似性度量方法逐帧比较两者的动作，可以识别数字化人物模型的动作与真实人物的差异。记录动作轨迹偏移距离和动作轨迹延迟时间等数据，有助于量化评估数字化人物模型的动作表现，为改进数字人生成方法提供客观的参考；通过分析数字化人物模型的动作差异数据，可以发现模型在康复演示中可能存在的不足之处，从而有针对性地改进数字人生成方法。经过改进后的数字化人物模型将能更加准确地展示康复动作，提高康复效果的展示效果，为康复治疗提供更好的指导和帮助。

优选地，所述康复演示数字化人物模型的动作准确性指数的计算公式为：

；

其中，表示康复演示数字化人物模型的动作准确性指数，/>表示动作轨迹偏移距离，/>表示动作轨迹延迟时间，/>表示动作轨迹偏移距离允许的偏差值，/>表示动作轨迹延迟时间允许的偏差值，/>表示动作轨迹偏移距离对应康复演示数字化人物模型的动作准确性指数的权重因子，/>表示动作轨迹延迟时间对应康复演示数字化人物模型的动作准确性指数的权重因子，e表示自然数。

本实施例中，通过康复演示数字化人物模型的动作准确性指数的计算公式，可以将动作轨迹偏移距离和动作轨迹延迟时间转化为一个综合的动作准确性指数。这一指数的引入使得对数字化人物模型动作准确性的评估不再停留在定性观察的阶段，而是得到了量化和数值化的表达，使得评估更加客观和可比较；通过计算动作准确性指数，可以及时发现数字化人物模型的动作在偏移距离和延迟时间方面的不足之处。根据该公式，当偏移距离和延迟时间超出允许的偏差值时，动作准确性指数会下降。这为改进数字人生成方法提供了具体的指导，使得可以有针对性地对模型进行调整和优化，以提高动作的准确性。

进一步地，所述基于康复演示数字化人物模型的演示视频，对康复演示数字化人物模型稳定性进行测试，采集康复演示数字化人物模型稳定性数据包括：

基于康复演示数字化人物模型的演示视频，在Unreal Engine中对康复演示数字化人物模型进行旋转、拉伸、移动，记录每个动作康复演示数字化人物模型的反应时间，并依次编号；

使用Unreal Engine的GPU Profiler插件来检测渲染性能，记录每一帧康复演示数字化人物模型的渲染时间和GPU负载，并依次编号。

本实施例中，通过记录康复演示数字化人物模型对旋转、拉伸、移动等操作的反应时间，可以客观地评估数字化人物模型在面对不同动作时的稳定性。较短的反应时间意味着数字化人物模型具有更高的实时响应能力，这对于康复演示的真实性和交互性至关重要。同时，通过编号记录，可以建立不同动作反应时间与稳定性的对应关系，为后续分析提供数据支撑；利用GPU Profiler插件记录每一帧康复演示数字化人物模型的渲染时间和GPU负载，能够全面了解数字化人物模型在渲染过程中的性能表现。稳定的渲染性能意味着数字化人物模型在不同操作下能够保持流畅的显示效果，而且避免出现卡顿或画面闪烁等影响用户体验的问题。

优选地，所述康复演示数字化人物模型稳定性指数的计算公式为：

；

其中，表示康复演示数字化人物模型稳定性指数，/>表示康复演示数字化人物模型的反应时间对应康复演示数字化人物模型稳定性指数的权重因子，/>表示康复演示数字化人物模型的渲染时间对应康复演示数字化人物模型稳定性指数的权重因子，/>表示康复演示数字化人物模型的GPU负载对应康复演示数字化人物模型稳定性指数的权重因子，/>表示每个动作康复演示数字化人物模型的反应时间，/>表示每一帧康复演示数字化人物模型的渲染时间，/>表示每一帧康复演示数字化人物模型的GPU负载，e表示自然数。

本实施例中，通过将反应时间、渲染时间和GPU负载等因素纳入稳定性指数的计算公式中，可以综合评估数字化人物模型在康复演示中的稳定性，这有助于全面了解模型在不同方面的表现，并以更客观的方式对其稳定性进行评估；引入权重因子可以对不同影响因素进行权衡，使得稳定性指数更加符合实际情况。例如，如果反应时间对稳定性的影响更为重要，那么可以给予其更大的权重，从而更加准确地反映数字化人物模型的稳定性表现。

优选地，所述康复演示数字化人物模型的综合质量符合系数的计算公式为：

；

其中，表示康复演示数字化人物模型的综合质量符合系数，/>表示康复演示数字化人物模型的动作准确性指数对应康复演示数字化人物模型的综合质量符合系数的权重因子，/>表示康复演示数字化人物模型稳定性指数对应康复演示数字化人物模型的综合质量符合系数的权重因子。

本实施例中，通过将动作准确性指数和稳定性指数纳入综合质量符合系数的计算公式中，可以综合评估数字化人物模型在康复演示中的整体质量。这有助于全面了解模型的表现，并以更客观的方式对其综合质量进行评估；通过综合质量符合系数的计算，可以量化地评估数字化人物模型的综合质量，从而指导后续的改进优化工作。这样，可以根据综合质量符合系数的变化趋势和具体数值，有针对性地对模型进行调整和改进，以提高其在康复演示中的整体质量和用户体验。

优选地，所述基于康复演示数字化人物模型的综合质量符合系数，对康复演示数字化人物模型进行优化包括：

将康复演示数字化人物模型的综合质量符合系数与预设的阈值进行比较，若康复演示数字化人物模型的综合质量符合系数小于预设的阈值，则对数据质量进行检查并优化模型；

其中，对数据质量进行检查包括：

检测康复演示数字化人物模型的输入数据质量，若数据质量不足，则重新执行数据清洗和预处理步骤；

优化模型包括：

重新训练康复演示数字化人物模型，调整康复演示数字化人物模型的超参数设置，使用交叉验证技术找到最佳的超参数组合，同时提高训练集的样本数量以及训练轮次，其中，超参数包括：学习率、批大小和隐藏层的大小。

本实施例中，通过比较综合质量符合系数与设定的阈值，可以实时监测数字化人物模型的整体质量。这有助于建立一个明确的标准，确保生成的数字化人物模型在康复演示中具有足够的质量和稳定性；重新训练数字化人物模型并调整模型的超参数设置，例如学习率、批大小、隐藏层的大小等，可以进一步优化模型的表现和适应性。使用交叉验证等技术找到最佳的超参数组合，同时增加训练集的样本数量和训练轮次，有助于提高模型的泛化能力和适应性，从而更好地满足康复演示的需求。

图2是根据一示例性实施例示出的一种用于康复演示的数字人生成装置框图，该装置用于康复演示的数字人生成方法。参照图3，该装置包括：数据获取模块310、模型构建模块320、准确性测试模块330、稳定性测试模块340、优化模块350以及演示模块360。其中：

数据获取模块310，用于获取真实人物的康复演示视频和照片，并对其进行预处理和特征提取；

模型构建模块320，用于基于预处理和特征提取的真实人物康复演示视频和照片，构建康复演示数字化人物模型，采集康复演示数字化人物模型的演示视频；

准确性测试模块330，用于基于真实人物的康复演示视频与康复演示数字化人物模型的演示视频，对康复演示数字化人物模型动作准确性进行测试，采集康复演示数字化人物模型视频差异化数据，估算康复演示数字化人物模型的动作准确性指数；

稳定性测试模块340，用于基于康复演示数字化人物模型的演示视频，对康复演示数字化人物模型稳定性进行测试，采集康复演示数字化人物模型稳定性数据，估算康复演示数字化人物模型稳定性指数；

优化模块350，用于基于康复演示数字化人物模型的动作准确性指数和康复演示数字化人物模型稳定性指数，计算康复演示数字化人物模型的综合质量符合系数，基于康复演示数字化人物模型的综合质量符合系数，对康复演示数字化人物模型进行优化；

演示模块360，用于对优化后的康复演示数字化人物模型进行康复演示。

本发明实施例提供的用于康复演示的数字人生成方法的装置，通过构建康复演示数字化人物模型，进行康复演示，可以为康复提供更科学、精准、个性化的训练指导，帮助患者更有效地进行康复训练，提高康复效果，同时为医护人员提供科学的决策支持，帮助他们更好地制定个性化的康复方案，提高康复治疗的精准性和有效性。

图3是本发明实施例提供的一种数字人生成设备的结构示意图，如图3所示，数字人生成设备可以包括上述图2所示的用于康复演示的数字人生成装置。可选地，数字人生成设备410可以包括第一处理器2001。

可选地，数字人生成设备410还可以包括存储器2002和收发器2003。

其中，第一处理器2001与存储器2002以及收发器2003，如可以通过通信总线连接。

下面结合图3对数字人生成设备410的各个构成部件进行具体的介绍：

其中，第一处理器2001是数字人生成设备410的控制中心，可以是一个处理器，也可以是多个处理元件的统称。例如，第一处理器2001是一个或多个中央处理器（centralprocessing unit，CPU），也可以是特定集成电路（application specific integratedcircuit，ASIC），或者是被配置成实施本发明实施例的一个或多个集成电路，例如：一个或多个微处理器（digital signal processor，DSP），或，一个或者多个现场可编程门阵列（field programmable gate array，FPGA）。

可选地，第一处理器2001可以通过运行或执行存储在存储器2002内的软件程序，以及调用存储在存储器2002内的数据，执行数字人生成设备410的各种功能。

在具体的实现中，作为一种实施例，第一处理器2001可以包括一个或多个CPU，例如图3中所示出的CPU0和CPU1。

在具体实现中，作为一种实施例，数字人生成设备410也可以包括多个处理器，例如图3中所示的第一处理器2001和第二处理器2004。这些处理器中的每一个可以是一个单核处理器（single-CPU），也可以是一个多核处理器（multi-CPU）。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据（例如计算机程序指令）的处理核。

其中，所述存储器2002用于存储执行本发明方案的软件程序，并由第一处理器2001来控制执行，具体实现方式可以参考上述方法实施例，此处不再赘述。

可选地，存储器2002可以是只读存储器（read-only memory，ROM）或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器（random access memory，RAM）或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器（electrically erasable programmable read-only memory，EEPROM）、只读光盘（compactdisc read-only memory，CD-ROM）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器2002可以和第一处理器2001集成在一起，也可以独立存在，并通过数字人生成设备410的接口电路（图3中未示出）与第一处理器2001耦合，本发明实施例对此不作具体限定。

收发器2003，用于与网络设备通信，或者与终端设备通信。

可选地，收发器2003可以包括接收器和发送器（图3中未单独示出）。其中，接收器用于实现接收功能，发送器用于实现发送功能。

可选地，收发器2003可以和第一处理器2001集成在一起，也可以独立存在，并通过数字人生成设备410的接口电路（图3中未示出）与第一处理器2001耦合，本发明实施例对此不作具体限定。

需要说明的是，图3中示出的数字人生成设备410的结构并不构成对该路由器的限定，实际的知识结构识别设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

此外，数字人生成设备410的技术效果可以参考上述方法实施例所述的用于康复演示的数字人生成方法的技术效果，此处不再赘述。

应理解，在本发明实施例中的第一处理器2001可以是中央处理单元（centralprocessing unit，CPU），该处理器还可以是其他通用处理器、数字信号处理器（digitalsignal processor，DSP）、专用集成电路（application specific integrated circuit，ASIC）、现成可编程门阵列（field programmable gate array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

还应理解，本发明实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器（read-only memory，ROM）、可编程只读存储器（programmable ROM，PROM）、可擦除可编程只读存储器（erasable PROM，EPROM）、电可擦除可编程只读存储器（electrically EPROM，EEPROM）或闪存。易失性存储器可以是随机存取存储器（random access memory，RAM），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器（random accessmemory，RAM）可用，例如静态随机存取存储器（static RAM，SRAM）、动态随机存取存储器（DRAM）、同步动态随机存取存储器（synchronous DRAM，SDRAM）、双倍数据速率同步动态随机存取存储器（double data rate SDRAM，DDR SDRAM）、增强型同步动态随机存取存储器（enhanced SDRAM，ESDRAM）、同步连接动态随机存取存储器（synchlink DRAM，SLDRAM）和直接内存总线随机存取存储器（direct rambus RAM，DR RAM）。

上述实施例，可以全部或部分地通过软件、硬件（如电路）、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质（例如，软盘、硬盘、磁带）、光介质（例如，DVD）、或者半导体介质。半导体介质可以是固态硬盘。

应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A,B可以是单数或者复数。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系，但也可能表示的是一种“和/或”的关系，具体可参考前后文进行理解。

本发明中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a,b,或c中的至少一项（个），可以表示：a, b, c, a-b, a-c, b-c, 或a-b-c，其中a,b,c可以是单个，也可以是多个。

应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种用于康复演示的数字人生成方法，其特征在于，所述方法包括：

S1，获取真实人物的康复演示视频和照片，并对其进行预处理和特征提取；

S2，基于预处理和特征提取的真实人物康复演示视频和照片，构建康复演示数字化人物模型，采集康复演示数字化人物模型的演示视频；

S3，基于真实人物的康复演示视频与康复演示数字化人物模型的演示视频，对康复演示数字化人物模型动作准确性进行测试，采集康复演示数字化人物模型视频差异化数据，估算康复演示数字化人物模型的动作准确性指数；

S4，基于康复演示数字化人物模型的演示视频，对康复演示数字化人物模型稳定性进行测试，采集康复演示数字化人物模型稳定性数据，估算康复演示数字化人物模型稳定性指数；

S5，基于康复演示数字化人物模型的动作准确性指数和康复演示数字化人物模型稳定性指数，计算康复演示数字化人物模型的综合质量符合系数，基于康复演示数字化人物模型的综合质量符合系数，对康复演示数字化人物模型进行优化；

S6，对优化后的康复演示数字化人物模型进行康复演示；

其中，所述基于真实人物的康复演示视频与康复演示数字化人物模型的演示视频，对康复演示数字化人物模型动作准确性进行测试，采集康复演示数字化人物模型视频差异化数据包括：

基于真实人物康复演示视频和康复演示数字化人物模型的演示视频，且具有相同的时间长度和视角，使用计算机视觉技术骨骼追踪，从每个视频中提取关键的运动特征，使用相似性度量方法逐帧比较真实人物和数字化人物模型的动作，识别真实人物的康复演示视频与康复演示数字化人物模型的演示视频的动作差异；其中，所述关键的运动特征包括：肢体的移动方向、速度和加速度、肢体的最大位移和运动周期、身体的重心位置和移动轨迹；

记录康复演示数字化人物模型视频差异化数据，其中，康复演示数字化人物模型视频差异化数据包括：动作轨迹偏移距离和动作轨迹延迟时间；

其中，所述康复演示数字化人物模型的动作准确性指数的计算公式为：

；

其中，表示康复演示数字化人物模型的动作准确性指数，/>表示动作轨迹偏移距离，表示动作轨迹延迟时间，/>表示动作轨迹偏移距离允许的偏差值，/>表示动作轨迹延迟时间允许的偏差值，/>表示动作轨迹偏移距离对应康复演示数字化人物模型的动作准确性指数的权重因子，/>表示动作轨迹延迟时间对应康复演示数字化人物模型的动作准确性指数的权重因子，e表示自然数。

2.根据权利要求1所述的用于康复演示的数字人生成方法，其特征在于，对获取的真实人物的康复演示视频和照片进行预处理包括：

使用图像处理算法的中值滤波去除图像中的噪声，调整演示视频和照片的尺寸，并对演示视频和照片进行归一化处理，将像素值映射到 0到1的范围内；

对获取的真实人物的康复演示视频和照片进行特征提取包括：

将图像的颜色空间划分为不同的区域，统计每个区域中像素的数量，获取颜色直方图，对照片进行颜色特征提取；

使用GLCM统计工具，构建灰度共生矩阵，对照片进行纹理特征提取；

使用开源计算机视觉库OpenCV和python检测关节运动位置数据、绘制肢体轨迹，对演示视频进行运动特征提取。

3.根据权利要求1所述的用于康复演示的数字人生成方法，其特征在于，所述基于预处理和特征提取的真实人物康复演示视频和照片，构建康复演示数字化人物模型包括：

基于预处理和特征提取的真实人物康复照片使用Blender 3D建模软件构建康复演示数字化初始人物模型，将骨骼及关节点对应到康复演示数字化初始人物模型的相应部位上；

基于预处理和特征提取的真实人物康复演示视频，利用循环神经网络RNN深度学习模型来捕捉真实人物康复演示视频中的运动模式和特征，使用序列模型LSTM来学习动作的时序，使用生成模型GAN生成动作序列，并将深度学习模型、序列模型LSTM、生成模型GAN所获得的数据导入康复演示数字化初始人物模型中构建康复演示数字化人物模型。

4.根据权利要求1所述的用于康复演示的数字人生成方法，其特征在于，所述基于康复演示数字化人物模型的演示视频，对康复演示数字化人物模型稳定性进行测试，采集康复演示数字化人物模型稳定性数据包括：

基于康复演示数字化人物模型的演示视频，在Unreal Engine中对康复演示数字化人物模型进行旋转、拉伸、移动，记录每个动作康复演示数字化人物模型的反应时间，并依次编号；

使用Unreal Engine的GPU Profiler插件来检测渲染性能，记录每一帧康复演示数字化人物模型的渲染时间和GPU负载，并依次编号。

5.根据权利要求4所述的用于康复演示的数字人生成方法，其特征在于，所述康复演示数字化人物模型稳定性指数的计算公式为：

；

其中，表示康复演示数字化人物模型稳定性指数，/>表示康复演示数字化人物模型的反应时间对应康复演示数字化人物模型稳定性指数的权重因子，/>表示康复演示数字化人物模型的渲染时间对应康复演示数字化人物模型稳定性指数的权重因子，/>表示康复演示数字化人物模型的GPU负载对应康复演示数字化人物模型稳定性指数的权重因子，/>表示每个动作康复演示数字化人物模型的反应时间，/>表示每一帧康复演示数字化人物模型的渲染时间，/>表示每一帧康复演示数字化人物模型的GPU负载，e表示自然数。

6.根据权利要求5所述的用于康复演示的数字人生成方法，其特征在于，所述康复演示数字化人物模型的综合质量符合系数的计算公式为：

；

其中，表示康复演示数字化人物模型的综合质量符合系数，/>表示康复演示数字化人物模型的动作准确性指数对应康复演示数字化人物模型的综合质量符合系数的权重因子，/>表示康复演示数字化人物模型稳定性指数对应康复演示数字化人物模型的综合质量符合系数的权重因子。

7.根据权利要求1所述的用于康复演示的数字人生成方法，其特征在于，所述基于康复演示数字化人物模型的综合质量符合系数，对康复演示数字化人物模型进行优化包括：

将康复演示数字化人物模型的综合质量符合系数与预设的阈值进行比较，若康复演示数字化人物模型的综合质量符合系数小于预设的阈值，则对数据质量进行检查并优化模型；

其中，对数据质量进行检查包括：

检测康复演示数字化人物模型的输入数据质量，若数据质量不足，则重新执行数据清洗和预处理步骤；

优化模型包括：

重新训练康复演示数字化人物模型，调整康复演示数字化人物模型的超参数设置，使用交叉验证技术找到最佳的超参数组合，同时提高训练集的样本数量以及训练轮次，其中，超参数包括：学习率、批大小和隐藏层的大小。

8.一种用于康复演示的数字人生成装置，所述用于康复演示的数字人生成装置用于实现如权利要求1-7任一项所述用于康复演示的数字人生成方法，其特征在于，所述装置包括：

数据获取模块，用于获取真实人物的康复演示视频和照片，并对其进行预处理和特征提取；

模型构建模块，用于基于预处理和特征提取的真实人物康复演示视频和照片，构建康复演示数字化人物模型，采集康复演示数字化人物模型的演示视频；

准确性测试模块，用于基于真实人物的康复演示视频与康复演示数字化人物模型的演示视频，对康复演示数字化人物模型动作准确性进行测试，采集康复演示数字化人物模型视频差异化数据，估算康复演示数字化人物模型的动作准确性指数；

其中，所述准确性测试模块，具体用于基于真实人物康复演示视频和康复演示数字化人物模型的演示视频，且具有相同的时间长度和视角，使用计算机视觉技术骨骼追踪，从每个视频中提取关键的运动特征，使用相似性度量方法逐帧比较真实人物和数字化人物模型的动作，识别真实人物的康复演示视频与康复演示数字化人物模型的演示视频的动作差异；其中，所述关键的运动特征包括：肢体的移动方向、速度和加速度、肢体的最大位移和运动周期、身体的重心位置和移动轨迹；记录康复演示数字化人物模型视频差异化数据，其中，康复演示数字化人物模型视频差异化数据包括：动作轨迹偏移距离和动作轨迹延迟时间；

其中，所述康复演示数字化人物模型的动作准确性指数的计算公式为：

；

其中，表示康复演示数字化人物模型的动作准确性指数，/>表示动作轨迹偏移距离，表示动作轨迹延迟时间，/>表示动作轨迹偏移距离允许的偏差值，/>表示动作轨迹延迟时间允许的偏差值，/>表示动作轨迹偏移距离对应康复演示数字化人物模型的动作准确性指数的权重因子，/>表示动作轨迹延迟时间对应康复演示数字化人物模型的动作准确性指数的权重因子，e表示自然数；

稳定性测试模块，用于基于康复演示数字化人物模型的演示视频，对康复演示数字化人物模型稳定性进行测试，采集康复演示数字化人物模型稳定性数据，估算康复演示数字化人物模型稳定性指数；

优化模块，用于基于康复演示数字化人物模型的动作准确性指数和康复演示数字化人物模型稳定性指数，计算康复演示数字化人物模型的综合质量符合系数，基于康复演示数字化人物模型的综合质量符合系数，对康复演示数字化人物模型进行优化；

演示模块，用于对优化后的康复演示数字化人物模型进行康复演示。