CN110796064B

CN110796064B - 人体肌肉图像的建立方法、装置、存储介质及电子设备

Info

Publication number: CN110796064B
Application number: CN201911021720.5A
Authority: CN
Inventors: 陈虹; 顾鸿宇
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2019-10-25
Filing date: 2019-10-25
Publication date: 2022-08-23
Anticipated expiration: 2039-10-25
Also published as: CN110796064A

Abstract

本申请公开了一种人体肌肉图像的建立方法、装置、存储介质及电子设备，涉及图像建模技术。具体方案包括：获取包含目标人体的人体图像；根据人体图像，确定姿态特征图；姿态特征图，包括至少一个预设关节和预设关节之间的连接线；基于姿态特征图，确定预设关节之间的肌肉图像，得到目标人体的人体肌肉图像；人体肌肉图像，包括每两个有连接线的预设关节之间的肌肉图像。本申请可以通过图像建模技术，建立虚拟的人体肌肉图像可以在提供成本低廉的、具有参考价值的人体肌肉图像的同时，避免影像检查带来的身体伤害。

Description

人体肌肉图像的建立方法、装置、存储介质及电子设备

技术领域

本申请涉及图像建模技术，特别是涉及一种人体肌肉图像的建立方法、装置、存储介质及电子设备。

背景技术

很多领域都需要人体肌肉图像，例如，在医疗领域，获取或建立人体肌肉图像可以给医生术前规划提供更多有价值的信息。现有技术中人体肌肉图像通常需要通过X光、核磁共振等影像检查手段获取。

目前没有能够准确生成人体肌肉图像的图像建模技术，而通过影像检查手段获取人体肌肉图像成本高昂，且易带来身体伤害。

发明内容

有鉴于此，本申请的主要目的在于提供一种人体肌肉图像的建立方法，该方法可以通过图像建模技术，建立虚拟的人体肌肉图像可以在提供成本低廉的、具有参考价值的人体肌肉图像的同时，避免影像检查带来的身体伤害。

为了达到上述目的，本申请提出的技术方案为：

第一方面，本申请实施例提供了一种人体肌肉图像的建立方法，包括以下步骤：

获取包含目标人体的人体图像；

根据所述人体图像，确定姿态特征图；所述姿态特征图，包括至少一个预设关节和预设关节之间的连接线；所述预设关节的位置由关节点像素坐标表示；所述关节点像素坐标，为预设关节在所述人体图像中的位置坐标；

基于所述姿态特征图，确定预设关节之间的肌肉图像，得到目标人体的人体肌肉图像；所述人体肌肉图像，包括每两个有连接线的预设关节之间的肌肉图像。

一种可能的实施方式中，所述根据所述人体图像，确定姿态特征图的步骤包括：

根据所述人体图像，确定所述姿态特征图中至少一个预设关节的关节点像素坐标；

确定所述姿态特征图中预设关节之间的连接线。

一种可能的实施方式中，所述确定所述姿态特征图中至少一个预设关节的关节点像素坐标的步骤包括：

提取所述人体图像的特征向量；

将所述特征向量输入预先训练得到的姿态特征提取模型；

针对每个预设关节，得到所述人体图像中的每个像素点是该预设关节的概率；

将所述概率最大的像素点的坐标确定为该预设关节的关节点像素坐标。

一种可能的实施方式中，所述确定所述姿态特征图中预设关节之间的连接线的步骤，包括：

根据人体关节的实际连接关系，将有连接关系的预设关节之间使用连接线进行连接。

一种可能的实施方式中，所述基于所述姿态特征图，确定预设关节之间的肌肉图像，得到目标人体的人体肌肉图像的步骤，包括：

将所述姿态特征图输入预先训练得到的肌肉生成模型中，得到所述目标人体的初始人体肌肉图像；

将所述初始人体肌肉图像输入预先训练得到的评分模型中，得到所述初始人体肌肉图像的评价分值；

当所述评价分值大于预设分值阈值时，将所述初始人体肌肉图像确定为所述人体肌肉图像。

一种可能的实施方式中，所述将所述姿态特征图输入预先训练得到的肌肉生成模型中的步骤之前，所述方法还包括对所述肌肉生成模型和所述评分模型使用进行训练的步骤：

生成训练样本集；所述训练样本集中包含预设数量个第一样本人体肌肉图像、以及由每个第一样本人体肌肉图像分别生成的样本姿态特征图；

根据所述训练样本集中的每个样本姿态特征图，分别生成与该样本姿态特征图姿态一致的第二样本人体肌肉图像；

根据所述训练样本集中的每个样本姿态特征图，分别生成与该样本姿态特征图姿态不一致的第三样本人体肌肉图像；

使用所述训练样本集、每个样本姿态特征图及每个样本姿态特征图分别对应的第二样本人体肌肉图像、以及每个样本姿态特征图及每个样本姿态特征图分别对应的第三样本人体肌肉图像对初始评分模型进行至少一轮训练，得到评分模型；

根据所述训练样本集中的每个样本姿态特征图，分别生成与该样本姿态特征图姿态一致的第四样本人体肌肉图像；

使用每个样本姿态特征图及每个样本姿态特征图分别对应的第四样本人体肌肉图像对初始肌肉生成模型进行训练，得到肌肉生成模型。

一种可能的实施方式中，所述得到肌肉生成模型的步骤之后，所述方法还包括：

判断是否达到预设迭代次数阈值；

当未达到预设迭代次数阈值时，返回执行所述生成训练样本集的步骤。

第二方面，本申请实施例还提供一种人体肌肉图像的建立装置，包括：

获取模块，用于获取包含目标人体的人体图像；

姿态特征提取模块，用于根据所述人体图像，确定姿态特征图；所述姿态特征图，包括至少一个预设关节和预设关节之间的连接线；所述预设关节的位置由关节点像素坐标表示；所述关节点像素坐标，为预设关节在所述人体图像中的位置坐标；

肌肉建立模块，用于基于所述姿态特征图，确定预设关节之间的肌肉图像，得到目标人体的人体肌肉图像；所述人体肌肉图像，包括每两个有连接线的预设关节之间的肌肉图像。

第三方面，本申请实施例还提供一种计算机可读存储介质。具体方案为：

一种计算机可读存储介质，存储有计算机指令，所述指令被处理器执行时可实现上述第一方面及第一方面中任一种可能的实施方式的步骤。

第四方面，本申请实施例还提供一种电子设备。具体方案为：

一种电子设备，该电子设备包括上述的计算机可读存储介质，还包括可执行所述计算机可读存储介质的处理器。

综上所述，本申请提出的一种人体肌肉图像的建立方法、装置、存储介质及电子设备。本申请实施例仅需获取包含目标人体的人体图像，就可以根据人体图像确定包含至少一个预设关节的关节点像素坐标和预设关节之间的连接线的姿态特征图，并且基于姿态特征图，生成目标人体的人体肌肉图像。与现有技术基于影像检查手段获取人体肌肉图像相比，本申请通过获取人体图像生成人体肌肉图像，可以在提供成本低廉的、具有参考价值的人体肌肉图像的同时，避免影像检查带来的身体伤害。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种人体肌肉图像的建立方法的流程示意图；

图2为一种姿态特征图的示例；

图3为本申请实施例提供的另一种人体肌肉图像的建立方法的流程示意图；

图4为本申请实施例提供的一种人体肌肉图像的建立装置的结构示意图；

图5为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。

很多领域都需要人体肌肉图像，具体例如，在医疗领域，尤其在中医针灸治疗中，获取或建立人体肌肉图像可以给医生术前规划提供更多有价值的信息。中医针灸治疗一般分为术前准备、进针、行针、留针、出针五个步骤。其中，在术前准备这一步中，医生需要根据患者的症状规划制定合适的针刺位置。在目前的技术条件下，医生一般都是通过肉眼直接观察患者的身体选择合适的位置，这就很依赖医生自身的经验技术。如需为医生提供人体肌肉图像，仅能利用X光、核磁共振等影像检查手段。同样的，在手术、医疗或理疗中，人体肌肉图像也能为医生提供很大的帮助。

有鉴于此，本申请的核心发明点在于，获取包含目标人体的人体图像，就可以根据人体图像确定包含至少一个预设关节的关节点像素坐标和预设关节之间的连接线的姿态特征图，并且基于姿态特征图，生成目标人体的人体肌肉图像。与现有技术基于影像检查手段获取人体肌肉图像相比，本申请通过获取人体图像生成人体肌肉图像，可以在提供成本低廉的、具有参考价值的人体肌肉图像。将本申请技术方案应用于中医针灸治疗中时，相比于直接观察，肌肉模型给医生进行术前规划提供了更多有价值的信息，使医生可以透过皮肤直接看到肌肉组成，从而更加容易地选择合适的针刺穴位；相比与影像检查，可以避免影像检查带来的身体伤害。

为使本申请的目的、技术方案和优点更加清楚，下面以具体实施例对本发明的技术方案进行详细说明。下面几个具体实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

实施例一

图1为本申请实施例一的流程示意图，如图1所示，该实施例主要包括：

S101：获取包含目标人体的人体图像。

这里目标人体为等待生成肌肉图像的人体，人体图像为采用影像采集设备采集的包含目标人体的图像。人体图像通常为静态图像，可以使用摄像头、相机等静态图像采集设备采集；也可以使用动态图像采集设备采集，将动态图像采集设备采集的图像流中的一帧图像作为人体图像使用。优选的，为了生成的人体肌肉图像更清晰、更有价值、更便于对后续针灸、医疗或理疗方案的指导，人体图像中仅包括目标人体的影像。人体图像为目标人体预设姿态的全身图像，也可仅包括目标人体的一部分人体影像，例如包括需进行针灸治疗的左臂的影像。另外，为了保证成像质量，目标人体的影像需完整、清晰且无遮挡，背景统一、简洁且与目标人体的区分度足够大。人体图像中的目标人体可以应实际需求做出任意的动作姿态。

S102：根据所述人体图像，确定姿态特征图；所述姿态特征图，包括至少一个预设关节和预设关节之间的连接线；所述预设关节的位置由关节点像素坐标表示；所述关节点像素坐标，为预设关节在所述人体图像中的位置坐标。

获取人体图像后，首先根据人体图像确定姿态特征图，姿态特征图以图像的形式提取目标人体的姿态特征。具体的，根据人体图像确定至少一个预设关节的位置，之后确定预设关键之间的连接线，预设关节的位置由关节点像素坐标表示。关节点像素坐标为人体图像中的像素点的坐标，表征了预设关节在人体图像中的位置，是预设关节在所述人体图像中的位置坐标。姿态特征图中包括至少一个预设关节和预设关节之间的连接线，如图2所示为姿态特征图的示例，图2中为了突出显示预设关节，使用圆圈表示每个预设关节，实际每个预设关节在人体图像中仅一个像素大小。使用连接线对预设关节之间进行连接，就得到了姿态特征图。优选的，可以采用卷积神经网络等深度学习算法确定姿态特征图。

S103：基于所述姿态特征图，确定预设关节之间的肌肉图像，得到目标人体的人体肌肉图像；所述人体肌肉图像，包括每两个有连接线的预设关节之间的肌肉图像。

肌肉图像为由连接线的两个预设关节之间的肌肉的仿真图像。肌肉图像基于姿态特征图生成，生成每两个有连接线的预设关节之间的肌肉图像，就得到了目标人体的人体肌肉图像。优选的，可以采用深度学习算法确定人体肌肉图像。

本申请通过获取人体图像生成人体肌肉图像，可以在提供成本低廉的、具有参考价值的人体肌肉图像的同时，避免影像检查带来的身体伤害。

为了更详尽地介绍人体肌肉图像的建立方法，本申请实施例二提供了一种能够建立精准人体肌肉图像的可能的实施方式。

实施例二

如图3所示，本申请实施例还提供另一种人体肌肉图像的建立方法，包括：

S301：获取包含目标人体的人体图像。

优选的，为了生成的人体肌肉图像更清晰、更有价值、更便于对后续针灸、医疗或理疗方案的指导，人体图像中仅包括目标人体的影像。人体图像可包括目标人体的全身影像，也可仅包括目标人体的一部分人体影像，例如包括需进行针灸治疗的左臂的影像。另外，为了保证成像质量，目标人体的影像需完整、清晰且无遮挡，背景统一、简洁且与目标人体的区分度足够大。人体图像中的目标人体可以应实际需求做出任意的动作姿态。

S302：根据所述人体图像，确定所述姿态特征图中至少一个预设关节的关节点像素坐标。

获取符合标准的人体图像之后，首先确定姿态特征图中的至少一个预设关节，优选的采用姿态特征提取模型确定姿态特征图，具体的，可以采用下述步骤1至步骤4确定姿态特征图中至少一个预设关节的关节点像素坐标。

步骤1、提取所述人体图像的特征向量。

使用姿态特征提取模型确定关节点像素坐标，首先需要提取人体图像的特征向量。示例性的可以使用卷积神经网络模型提取人体图像的特征向量。

步骤2、将所述特征向量输入预先训练得到的姿态特征提取模型。

示例性的可以使用深度学习算法搭建姿态特征提取模型，姿态特征提取模型使用人体图像样本进行了预先训练，示例性的，可以将人体图像样本输入初始姿态特征提取模型中，并针对每个预设关节，针对该预设关节进行分析时的样本人体图像中的每个像素点，根据该像素点、该预设关节的实际关节点像素坐标以及预设的控制像素点范围的参数，确定本轮计算中该预设关节的计算关节点像素坐标。具体的，预设的控制像素点范围的参数值越大预设关节的实际关节点像素坐标在样本人体图像中可能的位置的分布范围越广。

根据上述该预设关节的计算关节点像素坐标，和样本人体图像中该预设关节的实际关节点像素坐标，对初始姿态特征提取模型的参数进行调整，得到姿态特征提取模型。

步骤3、针对每个预设关节，得到所述人体图像中的每个像素点是该预设关节的概率。

经过预先训练后，姿态特征提取模型可以对人体图像进行分析，针对每个预设关节，得到人体图像中每个像素点是该预设关节的概率。之后，将所述概率最大的像素点的坐标确定为该预设关节的关节点像素坐标。

步骤4、将所述概率最大的像素点的坐标确定为该预设关节的关节点像素坐标。

示例性的，可以采用多级卷积神经网络模型实现上述姿态特征提取模型，每一级卷积神经网络均包含一定数量的卷积层，每一级卷积神经网络的输入均为特征向量和上一级卷积神经网络的输出特征进行拼接后得到的输入向量，并对每一级卷积神经网络均进行误差计算和误差纠正。这样，姿态特征提取模型确定关节点像素坐标的能力不断增强，确定得到的关节点像素坐标越来越准确。

当姿态特征图如图2所示时，通过姿态特征提取模型可以得到18个预设关节的关节点像素坐标，分别是鼻子-0，脖子-1，右肩-2，右肘-3，右手腕-4，左肩-5，左肘-6，左手腕-7，右臀-8，右膝-9，右脚踝-10，左臀-11，左膝-12，左脚踝-13，右眼-14，左眼-15，右耳-16，左耳-17.

S303：确定所述姿态特征图中预设关节之间的连接线。

具体的，可以根据人体关节的实际连接关系，将有连接关系的预设关节之间使用连接线进行连接。对于人体关节而言，实际的连接关系就包括左肩连接左肘、右臀连接右膝等，因此，根据实际的人体关节连接关系将图2所示的18个预设关节进行连接，就可以得到姿态特征图。图2仅为姿态特征图的示意图，目的在于展示预设关节和预设关节之间的连接线，实际得到的姿态特征图还展现除了目标人体的实际姿态，生成的姿态特征图可以与目标人体的人体图像包含同样多的像素点，其中，预设关节根据关节点像素坐标绘制在人体图像中相应的像素位置，预设关节之间使用连接线连接。为了突出显示人体肌肉图像，生成的姿态特征图也可以不参考人体图像的大小，根据关节点像素坐标确定预设关节的相应位置，并绘制出姿态特征图中的预设关节，并在预设关节之间绘制连接线，得到姿态特征图。

S304：将所述姿态特征图输入预先训练得到的肌肉生成模型中，得到所述目标人体的初始人体肌肉图像。

肌肉生成模型的输入为步骤S303确定的姿态特征图，为了方便描述，使用姿态特征图C_i表示姿态特征图。具体的，肌肉生成模型从N维高斯分布中随机选择一个向量Z_i，将姿态特征图C_i和向量Z_i输入肌肉生成网络中，生成初始人体肌肉图像X_i＝G(C_i，Z_i)。

S305：将所述初始人体肌肉图像输入预先训练得到的评分模型中，得到所述初始人体肌肉图像的评价分值。

将步骤S303确定的姿态特征图C_i和步骤S304生成的初始人体肌肉图像X_i输入评分模型中，可以得到一个标量S_i＝D(C_i，X_i)，标量S_i为初始人体肌肉图像的评价分值。评分模型从两个方面对初始人体肌肉图像进行评价：第一方面，判断姿态特征图C_i和初始人体肌肉图像X_i是否一致，也就是说，判断初始人体肌肉图像X_i是否为根据姿态特征图C_i生成的肌肉图像；第二方面，判断生成的初始人体肌肉图像X_i是否真实，也即是说，生成的初始人体肌肉图像X_i是否足够逼近自然的、非合成的图片。当生成的初始人体肌肉图像X_i一致且真实时，评分模型会得到较高的评价分值S_i，反之会得到较低的评价分值S_i。示例性的，可以使用分类器算法实现评分模型。

S306：当所述评价分值大于预设分值阈值时，将所述初始人体肌肉图像确定为所述人体肌肉图像。

当评价分值大于预设分值阈值时，说明初始人体肌肉图像X_i与姿态特征图C_i足够一致，且生成的初始人体肌肉图像X_i足够真实，此时初始人体肌肉图像X_i符合标准，将初始人体肌肉图像X_i确定为人体肌肉图像。

上述肌肉生成模型和评分模型预先进行了联合训练，示例性的可以采用下述步骤I至步骤VI：

步骤I、生成训练样本集；所述训练样本集中包含预设数量个第一样本人体肌肉图像、以及由每个第一样本人体肌肉图像分别生成的样本姿态特征图。

训练样本集可以获取核磁共振等影像设备采集的实际人体肌肉图像作为第一样本人体肌肉图像，还可以采用三维建模等技术生成的虚拟人体肌肉图像作为第一样本人体肌肉图像。为了获得良好的训练效果，获取的第一样本人体肌肉图像中人体肌肉图像的色调、纹理等特征统一、背景统一，每张图像均为全身像，且第一样本人体肌肉图像中的人体肌肉图像清晰、无遮挡，并且第一样本人体肌肉图像中包含尽可能多的姿态类型。

将获取的第一样本人体肌肉图像先输入姿态特征提取模型中，得到每个第一样本人体肌肉图像对应的样本姿态特征图。每个第一样本人体肌肉图像和该第一样本人体肌肉图像对应的样本姿态特征图，构成了一对训练样本。为了方便描述，将第一样本人体肌肉图像描述为Y_i，该第一样本人体肌肉图像对应的样本姿态特征图描述为C_i，一对训练样本为(Y_i，C_i)。假设预设数量为m，则获取m个第一样本人体肌肉图像C₁，……，C_m，生成m对训练样本(Y₁，C₁)，……，(Y_m，C_m)。

步骤II、根据所述训练样本集中的每个样本姿态特征图，分别生成与该样本姿态特征图姿态一致的第二样本人体肌肉图像。

使用肌肉生成模型，根据样本姿态特征图，分别生成与该样本姿态特征图姿态一致的第二样本人体肌肉图像

这里当步骤I至步骤VI的训练过程仅进行一轮时，使用初始肌肉生成模型生成第二样本人体肌肉图像；当步骤I至步骤VI的训练过程仅进行两轮以上时，使用上一轮训练得到的肌肉生成模型生成第二样本人体肌肉图像。针对每个样本姿态特征图，初始肌肉生成模型从N维高斯分布中随机选择一个向量Z_i，将姿态特征图C_i和向量Z_i输入初始肌肉生成网络中，生成第二样本人体肌肉图像

假设预设数量为m，生成第二样本人体肌肉图像

步骤III、根据所述训练样本集中的每个样本姿态特征图，分别生成与该样本姿态特征图姿态不一致的第三样本人体肌肉图像。

可以将上述与样本姿态特征图姿态一致的第二样本人体肌肉图像打散，分别与姿态不一致的样本姿态特征图进行对应，生成与样本姿态特征图姿态不一致的第三样本人体肌肉图像。还可以使用肌肉生成模型，根据样本姿态特征图，分别重新生成与该样本姿态特征图姿态一致的人体肌肉图像之后，将生成的人体肌肉图像打散，分别与姿态不一致的样本姿态特征图进行对应，得到与该样本姿态特征图姿态不一致的第三样本人体肌肉图像

这里当步骤I至步骤VI的训练过程仅进行一轮时，使用初始肌肉生成模型生成第三样本人体肌肉图像；当步骤I至步骤VI的训练过程仅进行两轮以上时，使用上一轮训练得到的肌肉生成模型生成第三样本人体肌肉图像假设预设数量为m，生成第三样本人体肌肉图像

步骤IV、使用所述训练样本集、每个样本姿态特征图及每个样本姿态特征图分别对应的第二样本人体肌肉图像、以及每个样本姿态特征图及每个样本姿态特征图分别对应的第三样本人体肌肉图像对初始评分模型进行至少一轮训练，得到评分模型。

对初始评分进行训练，需要使用下述三组数据：

第一组数据为训练样本集，包括了每对训练样本(Y₁，C₁)，……，(Y_m，C_m)。第一组数据代表了真实的、一致的第一样本人体肌肉图像与样本姿态特征图。

第二组数据为每个样本姿态特征图及每个样本姿态特征图分别对应的第二样本人体肌肉图像，分别是

第二组数据代表了一致的样本人体肌肉图像与与样本姿态特征图。

第三组数据为每个样本姿态特征图及每个样本姿态特征图分别对应的第三样本人体肌肉图像，分别是

第二组数据代表了不一致的样本人体肌肉图像与与样本姿态特征图。

根据三组数据可以得到初始评分模型的目标函数，示例性的，如下述公式(2)所示：

其中，V(θ_D)为初始评分模型的目标函数值，m为预设数量个样本数，D为初始评分模型。根据上述步骤I至步骤IV对初始评分模型进行至少一轮训练，每轮训练依据公式(2)中的目标函数修正初始评分模型的参数，并根据下述公式(3)使初始评分模型的目标函数值最大化，从而得到评分模型。

其中，θ_D为初始评分模型的模型参数，V(θ_D)为初始评分模型的目标函数值，α为学习率，α可根据实际需求设置。

优选的，可以根据对评分模型精度要求和时间成本等因素，调整对初始评分模型进行训练的轮数。

步骤V、根据所述训练样本集中的每个样本姿态特征图，分别生成与该样本姿态特征图姿态一致的第四样本人体肌肉图像。

将训练样本集中的每个样本姿态特征图输入经过训练后的肌肉生成模型，分别生成与该样本姿态特征图姿态一致的第四样本人体肌肉图像。具体的，针对每个样本姿态特征图，经过上述训练后的肌肉生成模型从N维高斯分布中随机选择一个向量Z_i，将姿态特征图C_i和向量Z_i输入上述训练后的肌肉生成网络中，生成第四样本人体肌肉图像

步骤VI、使用每个样本姿态特征图及每个样本姿态特征图分别对应的第四样本人体肌肉图像对初始肌肉生成模型进行训练，得到肌肉生成模型。

对初始肌肉生成模型进行训练，需要使用下述数据，每个样本姿态特征图及每个样本姿态特征图分别对应的第四样本人体肌肉图像

分别是

将

至

输入初始肌肉生成模型中，对初始肌肉生成模型进行训练。示例性的，可以采用下述公式(4)确定初始肌肉生成模型的目标函数：

其中，V(θ_G)为初始肌肉生成模型的目标函数值，m为预设数量个样本数，D为经过上述步骤I至步骤IV训练的评分模型。仅需根据上述步骤V至步骤VI对初始肌肉生成模型进行一轮训练，并根据下述公式(5)使初始肌肉生成模型的目标函数值最大化，从而得到肌肉生成模型。

其中，θ_G为初始肌肉生成模型的模型参数，V(θ_G)为初始肌肉生成模型的目标函数值，α为学习率，α可根据实际需求设置。

经过上述步骤I至步骤VI的训练得到肌肉生成模型和评分模型后，可以直接应用。在一种可能的实施方式中，在得到评分模型的步骤之后，还可以判断是否达到预设迭代次数阈值；当未达到预设迭代次数阈值时，返回执行所述生成训练样本集的步骤。从而重复上述步骤I至步骤VI，将每轮训练得到的肌肉生成模型和评分模型作为下一轮训练采用的初始肌肉生成模型和初始评分模型，对肌肉生成模型和评分模型进行预设迭代次数的迭代训练。每次迭代训练选择不同的预设数量个第一样本人体肌肉图像，依据对人体肌肉图像的生成精度确定预设迭代次数阈值，可以得到满足需求的肌肉生成模型和评分模型。训练完成后，肌肉生成模型就有了根据输入的姿态特征图自动进行肌肉图像生成的能力。只需要将姿态特征提取模块的输出作为肌肉生成模型和评分模型的输入就可以得到在该姿态下目标人体的实时人体肌肉图像并显示。

示例性的，将本申请实施例提供的人体肌肉图像的建立方法应用于针灸的术前准备等医疗领域时，可以按照下述步骤实施：(1)使用摄像头对准患者，并确保患者全身进入摄像头视野。(2)影像采集模块开始采集，患者根据医生要求做出相应的姿态。(3)采集到的每一帧人体图像依次进入姿态特征提取模块，提取出每一帧人体图像的姿态特征图。(4)肌肉生成模型和评分模型根据每一帧人体图像的姿态特征图重建出相应姿态下的人体肌肉图像。(5)将得到的人体肌肉图像实时显示到屏幕供医生使用。

基于相同的设计构思，本申请实施例还提供一种人体肌肉图像的建立装置、存储介质及电子设备。

实施例三

如图4所示，本申请实施例提供了一种人体肌肉图像的建立装置400，包括：

获取模块401，用于获取包含目标人体的人体图像；

姿态特征提取模块402，用于根据所述人体图像，确定姿态特征图；所述姿态特征图，包括至少一个预设关节和预设关节之间的连接线；所述预设关节的位置由关节点像素坐标表示；所述关节点像素坐标，为预设关节在所述人体图像中的位置坐标；

肌肉建立模块403，用于基于所述姿态特征图，确定预设关节之间的肌肉图像，得到目标人体的人体肌肉图像；所述人体肌肉图像，包括每两个有连接线的预设关节之间的肌肉图像。

一种可能的实施方式中，姿态特征提取模块402，具体用于：

确定所述姿态特征图中预设关节之间的连接线。

一种可能的实施方式中，姿态特征提取模块402，还用于：

提取所述人体图像的特征向量；

将所述特征向量输入预先训练得到的姿态特征提取模型；

一种可能的实施方式中，姿态特征提取模块402，还用于：

一种可能的实施方式中，肌肉建立模块403，具体用于：

将所述姿态特征图输入肌肉生成模型中，得到所述目标人体的初始人体肌肉图像；

将所述初始人体肌肉图像输入评分模型中，得到所述初始人体肌肉图像的评价分值；

一种可能的实施方式中，人体肌肉图像的建立装置400，还包括，模型训练模块404，用于：

一种可能的实施方式中，模型训练模块404，还用于：

判断是否达到预设迭代次数阈值；

实施例四

一种计算机可读介质，所述计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行本申请实施例提供的任一种人体肌肉图像的建立方法的步骤。实际应用中，所述的计算机可读介质可以是上述实施例中描述的设备/装置/系统中所包含的，也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或多个程序被执行时，实现根据参考本申请实施例提供的任一种人体肌肉图像的建立装置进行本申请实施例提供的任一种人体肌肉图像的建立方法的步骤。

根据本申请公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件，或者上述的任意合适的组合，但不用于限制本申请保护的范围。在本申请公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

本申请所述的方法步骤除了可以用数据处理程序来实现，还可以由硬件来实现，例如，可以由逻辑门、开关、专用集成电路(ASIC)、可编程逻辑控制器和嵌微控制器等来实现。因此这种可以实现本申请所述方法的硬件也可以构成本申请。

实施例五

本申请实施例还提供一种电子设备，可以是计算机或服务器，其中可以集成本申请实施例提供的任一种人体肌肉图像的建立装置。如图5所示，其示出了本申请实施例提供的电子设备500。

该电子设备可以包括一个或者一个以上处理核心的处理器501、一个或一个以上计算机可读存储介质502。该电子设备还可以包括电源503、输入输出单元504。本领域技术人员可以理解，图5中并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

其中：

处理器501是该电子设备的控制部分，利用各种接口和线路连接各个部分，通过运行或执行存储在计算机可读存储介质502中的软件程序，执行本申请实施例提供的任一种人体肌肉图像的建立方法的步骤。

计算机可读存储介质502可用于存储软件程序，即本申请实施例提供的任一种人体肌肉图像的建立方法中涉及的程序。

处理器501通过运行存储在计算机可读存储介质502的软件程序，从而执行各种功能应用以及数据处理。计算机可读存储介质502可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据电子设备需要使用的数据等。此外，计算机可读存储介质502可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，计算机可读存储介质502还可以包括存储器控制器，以提供处理器501对计算机可读存储介质502的访问。

电子设备还包括给各个部件供电的电源503，优选的，电源503可以通过电源管理系统与处理器501逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源503还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该服务器还可包括输入输出单元504，比如可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入；比如可用于显示由用户输入的信息或提供给用户的信息以及服务器的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。

本申请实施例提供的任一种人体肌肉图像的建立方法、装置、存储介质及电子设备均基于相同的设计构思，并且本申请任一个实施例中的技术手段可以进行自由组合，组合得到的技术手段仍在本申请的保护范围之内。

本申请附图中的流程图和框图，示出了按照本申请公开的各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或者代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应该注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同附图中所标准的顺序发生。例如，两个连接地表示的方框实际上可以基本并行地执行，它们有时也可以按照相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或者流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本申请的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本申请中。特别地，在不脱离本申请精神和教导的情况下，本申请的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，所有这些组合和/或结合均落入本申请公开的范围。

本申请中应用了具体实施例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思路，并不用于限制本申请。对于本领域的技术人员来说，可以依据本申请的思路、精神和原则，在具体实施方式及应用范围上进行改变，其所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims

1.一种人体肌肉图像的建立方法，其特征在于，包括：

获取包含目标人体的人体图像；

当所述评价分值大于预设分值阈值时，将所述初始人体肌肉图像确定为所述人体肌肉图像；所述人体肌肉图像，包括每两个有连接线的预设关节之间的肌肉图像；

其中，确定姿态特征图的步骤包括：

根据人体关节的实际连接关系，将有连接关系的预设关节之间使用连接线进行连接；

其中，所述确定所述姿态特征图中至少一个预设关节的关节点像素坐标的步骤包括：

提取所述人体图像的特征向量；

将所述特征向量输入预先训练得到的姿态特征提取模型；

2.根据权利要求1所述的方法，其特征在于，所述将所述姿态特征图输入预先训练得到的肌肉生成模型中的步骤之前，所述方法还包括对所述肌肉生成模型和所述评分模型进行训练的步骤：

3.根据权利要求2所述的方法，其特征在于，所述得到肌肉生成模型的步骤之后，所述方法还包括：

判断是否达到预设迭代次数阈值；

4.一种人体肌肉图像的建立装置，其特征在于，包括：

获取模块，用于获取包含目标人体的人体图像；

肌肉建立模块，用于基于所述姿态特征图，确定预设关节之间的肌肉图像，得到目标人体的人体肌肉图像；所述人体肌肉图像，包括每两个有连接线的预设关节之间的肌肉图像；

其中，所述姿态特征提取模块，具体用于：

确定所述姿态特征图中预设关节之间的连接线；

其中，所述姿态特征提取模块，还用于：

提取所述人体图像的特征向量；

将所述特征向量输入预先训练得到的姿态特征提取模型；

将所述概率最大的像素点的坐标确定为该预设关节的关节点像素坐标；

其中，所述肌肉建立模块，具体用于：

5.一种计算机可读存储介质，存储有计算机指令，其特征在于，所述指令被处理器执行时可实现权利要求1～3任一项所述的方法的步骤。

6.一种电子设备，其特征在于，该电子设备包括如权利要求5所述的计算机可读存储介质，还包括可执行所述计算机可读存储介质的处理器。