CN117893696A - 一种三维人体数据生成方法、装置、存储介质及电子设备 - Google Patents
一种三维人体数据生成方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN117893696A CN117893696A CN202410301175.XA CN202410301175A CN117893696A CN 117893696 A CN117893696 A CN 117893696A CN 202410301175 A CN202410301175 A CN 202410301175A CN 117893696 A CN117893696 A CN 117893696A
- Authority
- CN
- China
- Prior art keywords
- data
- patient
- human body
- dimensional human
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000003860 storage Methods 0.000 title claims abstract description 23
- 230000033001 locomotion Effects 0.000 claims abstract description 137
- 230000000875 corresponding effect Effects 0.000 claims abstract description 97
- 230000036544 posture Effects 0.000 claims abstract description 18
- 230000009471 action Effects 0.000 claims description 64
- 238000009826 distribution Methods 0.000 claims description 28
- 238000000605 extraction Methods 0.000 claims description 22
- 230000000007 visual effect Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 8
- 230000002123 temporal effect Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 230000006872 improvement Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010367 cloning Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本说明书公开了一种三维人体数据生成方法、装置、存储介质及电子设备。所述三维人体数据生成方法包括：获取患者的基础图片数据，根据基础图片数据中包含的患者的姿态信息，确定构建患者的三维人体模型所需的每个体积原语的配置参数，并根据配置参数构建患者的目标三维人体模型，根据预先确定的目标运动数据，驱动目标三维人体模型做出相应的动作，并生成目标运动数据对应的在指定视角下患者的视频数据，目标运动数据包括不同运动姿态下患者的关节节点的坐标，根据视频数据、目标运动数据，生成患者的三维人体数据集，从而可以降低获取患者的三维人体数据的难度。
Description
技术领域
本说明书涉及康复医学技术领域，尤其涉及一种三维人体数据生成方法、装置、存储介质及电子设备。
背景技术
三维人体数据集是一种包含有诸如：患者在执行指定的康复动作时的视频数据、患者的在执行指定的康复动作时的关节数据等数据的集合，在康复医学领域中，三维人体数据集具有重要的意义和广泛的应用场景。例如：基于患者的三维人体数据集，为患者定制个性化、专业化康复方案。再例如：利用患者的三维人体数据集供医学研究人员研究学习，以深入理解康复运动的规律和特点等。
通常情况下，在获取三维人体数据时，需要通过各种复杂的设备记录患者在运动过程中的关节信息（如：各关节的弯曲、伸展、旋转角度等），从而导致获取患者的三维人体数据较为困难。
因此，如何降低获取患者的三维人体数据的难度，则是一个亟待解决的问题。
发明内容
本说明书提供一种三维人体数据生成方法、装置、存储介质及电子设备，以部分的解决现有技术存在的上述问题。
本说明书采用下述技术方案：
本说明书提供了一种三维人体数据生成方法，包括：获取患者的基础图片数据，所述基础图片数据为任意单一视角下采集的患者图片数据；
根据所述基础图片数据中包含的所述患者的姿态信息，确定构建所述患者的三维人体模型所需的每个体积原语的配置参数，并根据所述配置参数构建所述患者的初始三维人体模型，所述体积原语为具有三维高斯分布形状的体积原语，所述配置参数包括：三维位置、方向、尺度、颜色、不透明度；
以最大化所述初始三维人体模型中包含的体积原语的密度为优化目标，对所述初始三维人体模型中包含的各体积原语数量以及每个体积原语的配置参数进行调整，以对所述初始三维人体模型进行优化，得到目标三维人体模型；
根据预先确定的目标运动数据，驱动所述目标三维人体模型做出相应的动作，并生成所述目标运动数据对应的在指定视角下所述患者的视频数据，所述目标运动数据包括不同运动姿态下所述患者的关节节点的坐标；
根据所述视频数据、所述目标运动数据，构建所述患者的三维人体数据集，并根据所述三维人体数据集进行任务执行。
可选地，所述配置参数还包括：蒙皮权重向量，所述蒙皮权重向量用于表征不同的姿态对体积原语的影响程度；
根据预先确定的目标运动数据，驱动所述目标三维人体模型做出相应的动作，并生成所述目标运动数据对应的在指定视角下所述患者的视频数据，具体包括：
根据预先确定的目标运动数据，确定需要驱动所述三维人体模型做出的目标动作；
针对所述三维人体模型中包含的每个体积原语，根据所述目标动作和该体积原语的所述蒙皮权重向量，确定该体积原语对应的变换后体积原语；
根据各变换后体积原语，得到做出所述目标动作后的所述目标三维人体模型，并生成所述目标运动数据对应的在指定视角下所述患者的视频数据。
可选地，所述配置参数还包括：非刚性运动编码特征，所述非刚性运动编码特征用于表征不同的姿态对体积原语表面亮度的影响程度，以及，不同的姿态下体积原语表面的遮挡关系；
根据预先确定的目标运动数据，驱动所述目标三维人体模型做出相应的动作，并生成所述目标运动数据对应的在指定视角下所述患者的视频数据，具体包括：
根据预先确定的目标运动数据，驱动所述目标三维人体模型做出相应的动作；
针对所述目标三维人体模型中包含的每个体积原语，根据该体积原语的所述非刚性运动编码特征，按照至少一种指定调整方式，对该体积原语进行调整，得到调整后体积原语，所述指定调整方式包括：平移、旋转、改变亮度中的至少一种；
根据各调整后体积原语，生成所述目标运动数据对应的在指定视角下所述患者的视频数据。
可选地，确定目标运动数据，具体包括：
获取动作指示数据，所述动作指示数据包括：动作指示视频数据、动作指示文本数据中的一种；
根据所述动作指示数据，确定所述患者按照所述动作指示数据做出相应动作时的关节节点的坐标，作为目标运动数据。
可选地，根据所述动作指示数据，确定所述患者按照所述动作指示数据做出相应动作时的关节节点的坐标，作为目标运动数据，具体包括：
将所述动作指示视频数据输入到预设的估计模型中包含的卷积模块中，以通过所述卷积模块，针对所述动作指示视频数据中包含的每帧图片数据，确定该帧图片数据的初始图片特征表示，并将所述初始图片特征表示输入到所述估计模型中包含的空间特征提取模块中，以通过所述空间特征提取模块，根据所述初始图片特征表示，确定该帧图片数据的空域图片特征表示；
将各初始图片特征输入到所述估计模型中包含的时间特征提取模块中，以通过所述时间特征提取模块，根据各初始图片特征之间的时间关联，确定每帧图片数据的时域图片特征表示；
根据每帧图片数据的空域图片特征表示和时域图片特征表示，确定所述患者做出每帧图片数据相应的动作时的关节节点的坐标，作为目标运动数据。
可选地，根据每帧图片数据的空域图片特征表示和时域图片特征表示，确定所述患者做出每帧图片数据相应的动作时的关节节点的坐标，作为目标运动数据，具体包括：
根据每帧图片数据的空域图片特征表示和时域图片特征表示，确定所述患者做出每帧图片数据相应的动作时的关节节点的基础坐标；
针对每个基础坐标，对该基础坐标进行升维处理，以得到该基础坐标对应的升维后坐标，将所述升维后坐标输入到预设的变压器神经网络中，以通过所述变压器神经网络将所述升维后坐标降维到指定维数，得到优化后坐标，作为目标运动数据。
可选地，根据所述动作指示数据，确定所述患者按照所述动作指示数据做出相应动作时的关节节点的坐标，作为目标运动数据，具体包括：
将所述动作指示文本数据输入到预设的文本特征提取模型中，以通过所述文本特征提取模型根据所述动作指示文本数据，确定动作指示文本特征；
根据所述动作指示文本特征，确定所述患者按照所述动作指示数据做出相应动作时的关节节点的坐标，作为目标运动数据。
本说明书提供了一种三维人体数据生成装置，包括：
获取模块，用于获取患者的基础图片数据，所述基础图片数据为任意单一视角下采集的患者图片数据；
确定模块，用于根据所述基础图片数据中包含的所述患者的姿态信息，确定构建所述患者的三维人体模型所需的每个体积原语的配置参数，并根据所述配置参数构建所述患者的初始三维人体模型，所述体积原语为具有三维高斯分布形状的体积原语，所述配置参数包括：三维位置、方向、尺度、颜色、不透明度；
优化模块，用于以最大化所述初始三维人体模型中包含的体积原语的密度为优化目标，对所述初始三维人体模型中包含的各体积原语数量以及每个体积原语的配置参数进行调整，以对所述初始三维人体模型进行优化，得到目标三维人体模型；
生成模块，用于根据预先确定的目标运动数据，驱动所述目标三维人体模型做出相应的动作，并生成所述目标运动数据对应的在指定视角下所述患者的视频数据，所述目标运动数据包括不同运动姿态下所述患者的关节节点的坐标；
构建模块，用于根据所述视频数据、所述目标运动数据，构建所述患者的三维人体数据集，并根据所述三维人体数据集进行任务执行。
本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述三维人体数据生成方法。
本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述三维人体数据生成方法。
本说明书采用的上述至少一个技术方案能够达到以下有益效果：
在本说明书提供的三维人体数据生成方法中，首先获取患者的基础图片数据，基础图片数据为任意单一视角下采集的患者图片数据，根据基础图片数据中包含的患者的姿态信息，确定构建患者的三维人体模型所需的每个体积原语的配置参数，并根据配置参数构建患者的初始三维人体模型，体积原语为具有三维高斯分布形状的体积原语，配置参数包括：三维位置、方向、尺度、颜色、不透明度，以最大化初始三维人体模型中包含的体积原语的密度为优化目标，对初始三维人体模型中包含的各体积原语数量以及每个体积原语的配置参数进行调整，以对初始三维人体模型进行优化，得到目标三维人体模型，根据预先确定的目标运动数据，驱动目标三维人体模型做出相应的动作，并生成目标运动数据对应的在指定视角下患者的视频数据，目标运动数据包括不同运动姿态下患者的关节节点的坐标，根据视频数据、目标运动数据，构建患者的三维人体数据集，并根据三维人体数据集进行任务执行。
从上述方法可以看出，可以通过使用三维高斯分布形状的体积原语根据患者在任意视角下的一张图片数据，构建患者的三维人体模型，从而可以通过目标动作数据，驱动患者的三维人体模型，并渲染生成任意视角的患者执行目标动作数据对应的动作的视频数据，以构建患者的三维人体数据集，进而可以降低获取患者的三维人体数据集的难度。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
图1为本说明书中提供的一种三维人体数据生成方法的流程示意图；
图2为本说明书中提供的三维人体数据集的生成过程的示意图；
图3为本说明书中提供的目标运动数据的生成过程的示意图；
图4为本说明书提供的一种三维人体数据生成装置的示意图；
图5为本说明书提供的一种对应于图1的电子设备示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
图1为本说明书中提供的一种三维人体数据生成方法的流程示意图，包括以下步骤：
S101：获取患者的基础图片数据，所述基础图片数据为任意单一视角下采集的患者图片数据。
在本说明书中，在需要获取患者的三维人体数据集时，可以通过图像采集设备，在任意视角下采集患者的一张图片数据，作为基础图片数据。
其中，上述的图像采集设备可以为：手机、相机等设备，上述在任意视角下采集患者的一张图片数据，作为基础图片数据可以为，例如：通过手机等移动设备采集一张患者的正视图，作为基础图片数据。
进一步地，业务平台可以获取采集到的患者的基础图片数据，并根据获取到的患者的基础图片数据，构建患者对应的三维人体模型，并根据患者对应的三维人体模型生成患者的三维人体数据集。
在本说明书中，用于实现三维人体数据生成方法的执行主体，可以是指服务器等设置于业务平台的指定设备，也可以是指诸如台式电脑、笔记本电脑等终端设备，为了便于描述，下面仅以服务器是执行主体为例，对本说明书提供的三维人体数据生成方法进行说明。
S102：根据所述基础图片数据中包含的所述患者的姿态信息，确定构建所述患者的三维人体模型所需的每个体积原语的配置参数，并根据所述配置参数构建所述患者的初始三维人体模型，所述体积原语为具有三维高斯分布形状的体积原语，所述配置参数包括：三维位置、方向、尺度、颜色、不透明度。
在本说明书中，服务器可以根据基础图片数据中包含的患者的姿态信息，确定患者的三维人体模型对应的大致结构，并可以通过增添、减少各体积原语，以及对各体积原语的配置参数进行调整，来拟合患者的三维人体模型对应的大致结构，以构建患者的初始三维人体模型。
其中，上述的体积原语为具有三维高斯分布形状的体积原语，上述的配置参数包括：三维位置、方向、尺度、颜色、不透明度。
从上述内容中可以看出，服务器可以将需要构建的患者的三维人体模型作为目标高斯分布，进而可以以基础图片数据中包含的患者的姿态信息作为约束条件，通过各个体积原语对应的三维高斯分布，来对目标高斯分布进行拟合，以通过各个体积原语构建患者的初始三维人体模型。
除此之外，服务器还可以根据基础图片数据中包含的患者对应的图像区域的颜色信息、不透明度信息等外观信息，确定患者的三维人体模型所需的每个体积原语的配置参数中的颜色、不透明度，从而使得构建出的患者的三维人体模型在外观上也与患者的基础图片数据保持一致。
进一步地，为了提升构建出的患者的初始三维人体模型的质量，服务器还可以通过运动结构恢复方法，根据基础图片数据中包含的患者的姿态信息，产生稀疏点云，进而可以根据稀疏点云，确定构建患者的三维人体模型所需的每个体积原语的配置参数，并根据配置参数构建患者的初始三维人体模型。
除此之外，服务器还可以根据稀疏点云以及预设的皮肤化多人体线性模型（Skinned Multi-Person Linear Modell，SMPL），确定构建患者的三维人体模型所需的每个体积原语的配置参数，并根据配置参数构建患者的初始三维人体模型。
S103：以最大化所述初始三维人体模型中包含的体积原语的密度为优化目标，对所述初始三维人体模型中包含的各体积原语数量以及每个体积原语的配置参数进行调整，以对所述初始三维人体模型进行优化，得到目标三维人体模型。
在本说明书中，服务器在构建患者的初始三维人体模型之后，可以以最大化初始三维人体模型中包含的体积原语的密度为优化目标，对初始三维人体模型中包含的各体积原语数量以及每个体积原语的配置参数进行调整，以对初始三维人体模型进行优化，得到目标三维人体模型，具体图2所示。
图2为本说明书中提供的三维人体数据集的生成过程的示意图。
结合图2可以看出，服务器可以采用克隆高斯分布的方法，针对初始化三维人体模型中包含的至少部分体积原语，对该体积原语对应的三维高斯分布进行复制，并将其沿位置梯度方向移动到相应的区域，以及，从初始化三维人体模型中包含的各体积原语中对应的三维高斯分布中，确定出具有高方差的三维高斯分布，作为目标三维高斯分布，针对每个目标三维高斯分布，生成两个小的三维高斯分布来对该目标三维高斯分布进行替换，其中，生成的小的三维高斯分布的配置参数可以通过将该目标三维高斯分布作为采样概率密度函数来初始化得到。
除此之外，为了提升在图形处理器（Graphics Processing Unit,GPU）上对初始三维人体模型进行优化，以得到目标三维人体模型的效率，服务器还可以采用归一化函数来对每个三维高斯分布的范围进行约束。
从上述内容中可以看出，服务器可以通过多次迭代，不断的对构成初始三维人体模型中包含的各体积原语进行调整，以逐渐的拟合基础图片数据中包含的患者的姿态信息，从而得到患者的目标三维人体模型。
但是，在上述迭代过程中，可能会生成错误的三维高斯分布，从而导致生成的目标三维人体模型不够准确，基于此，服务器还可以在每经过指定次数迭代时，对各体积原语对应的各三维高斯分布中密度小于预设阈值的各体积原语进行过滤，从而得到患者的目标三维人体模型。这里的指定次数可以根据实际需求设置，例如：每经过100次迭代时，对各体积原语对应的各三维高斯分布进行一次过滤。
除此之外，服务器还可以根据患者的初始三维人体模型，生成与患者的基础图片数据处于同一视角下的图片数据，作为参考图片数据，进而可以以最小化参考图片数据和患者的基础图片数据之间的偏差为优化目标，对初始三维人体模型中包含的各体积原语数量以及每个体积原语的配置参数进行调整，以对初始三维人体模型进行优化，得到目标三维人体模型。
需要说明的是，上述的两种对初始三维人体模型进行优化，以得到目标三维人体模型的方法，可以单独使用也可以一并使用。
S104：根据预先确定的目标运动数据，驱动所述目标三维人体模型做出相应的动作，并生成所述目标运动数据对应的在指定视角下所述患者的视频数据，所述目标运动数据包括不同运动姿态下所述患者的关节节点的坐标。
在本说明书中，服务器可以获取动作指示数据，根据获取到的动作指示数据，确定患者按照动作指示数据做出相应动作时的关节节点的坐标，作为目标运动数据。其中，这里的动作指示数据包括：动作指示视频数据、动作指示文本数据中的一种。
进一步地，服务器可以根据确定出的目标运动数据，驱动目标三维人体模型做出相应的动作，并生成目标运动数据对应的在指定视角下患者的视频数据，这里的目标运动数据包括不同运动姿态下所述患者的关节节点的坐标，具体如图3所示。
图3为本说明书中提供的目标运动数据的生成过程的示意图。
结合图3可以看出，服务器可以将动作指示视频数据输入到预设的估计模型中包含的卷积模块中，以通过卷积模块，针对动作指示视频数据中包含的每帧图片数据，确定该帧图片数据的初始图片特征表示，并将初始图片特征表示输入到估计模型中包含的空间特征提取模块中，以通过空间特征提取模块，根据初始图片特征表示，确定该帧图片数据的空域图片特征表示。将各初始图片特征输入到估计模型中包含的时间特征提取模块中，以通过时间特征提取模块，根据各初始图片特征之间的时间关联，确定每帧图片数据的时域图片特征表示。
进一步地，服务器可以针对每帧图片数据的空域图片特征表示和时域图片特征表示进行回归分析，以确定患者做出每帧图片数据相应的动作时的关节节点的基础坐标，针对每个基础坐标，对该基础坐标进行升维处理，以得到该基础坐标对应的升维后坐标，将升维后坐标输入到预设的变压器神经网络中，以通过变压器神经网络将升维后坐标降维到指定维数，得到优化后坐标，作为目标运动数据，上述的关节节点不仅包括人体指定关节对应的节点，还可以包括诸如：用于表征手臂、腿部、头部等部位的位置的关键点。
上述内容中，指定维数大于基础坐标原有的维数。
上述内容中，服务器对基础坐标进行升维处理的方法可以有多种，例如：对基础坐标中包含的每个维度的值进行复制，得到新的维度的值，以将基础坐标升维到指定的升维维数，这里的升维维数可以根据实际需求设备，例如：32维。
从上述内容中可以看出，服务器可以通过先针对基础坐标进行升维，再通过变压器神经网络针对升维后的基础坐标进行降维，从而可以提升确定出的目标运动数据的丰富度，进而可以提升根据目标运动数据生成的视频数据的质量。
需要说明的是，上述的动作指示视频数据可以为预先获取的任意患者执行指定康复动作的任意视角下的视频数据，上述的文本指示数据可以为医学研究人员预先标注的用于描述指定康复动作的文本数据。
进一步地，服务器可以根据预先确定的目标运动数据，驱动目标三维人体模型做出相应的动作，并生成目标运动数据对应的在指定视角下患者的视频数据，这里的目标运动数据包括不同运动姿态下患者的关节节点的坐标，这里的相应的动作可以为患者按照目标运动数据中的关节节点的坐标摆出的动作。
上述的指定视角可以为任意视角，换句话说，服务器可以基于患者的单一视角下的基础图片数据，生成任意视角下患者执行目标运动数据相应的动作的视频数据。
在实际应用场景中，由于在根据预先确定的目标运动数据，驱动目标三维人体模型做出相应的动作，并渲染生成目标运动数据对应的在指定视角下所述患者的视频数据时，需要针对组成目标三维人体模型中包含的每个体积原语，确定该体积原语在新的姿态下的配置参数，这就导致计算的过程较为复杂，并且计算出的该体积原语在新的姿态下的配置参数的准确率较低。
基于此，上述的体积原语的配置参数还可以包括：蒙皮权重向量，其中，蒙皮权重向量用于表征不同的姿态对体积原语的影响程度。进一步地，服务器可以根据预先确定的目标运动数据，确定需要驱动三维人体模型做出的目标动作，针对三维人体模型中包含的每个体积原语，根据目标动作和该体积原语的蒙皮权重向量，确定该体积原语对应的变换后体积原语，根据各变换后体积原语，得到做出目标动作后的目标三维人体模型，并生成目标运动数据对应的在指定视角下患者的视频数据。
除此之外，为了对患者身体表面的诸如：衣服等非刚性物体在目标三维人体模型做出相应的动作时的变化进行模拟，以增强生成的目标运动数据对应的在指定视角下患者的视频数据的真实性。
例如：对目标三维人体模型做出相应的动作时，由于表面衣物的皱纹引起的自我遮挡和阴影的变化进行模拟，以增强生成的目标运动数据对应的在指定视角下患者的视频数据的真实性。
上述的配置参数还可以包括：非刚性运动编码特征，非刚性运动编码特征用于表征不同的姿态对体积原语表面亮度的影响程度，以及，不同的姿态下体积原语表面的遮挡关系。
进一步地，服务器可以根据预先确定的目标运动数据，驱动目标三维人体模型做出相应的动作，针对目标三维人体模型中包含的每个体积原语，根据该体积原语的非刚性运动编码特征，按照至少一种指定调整方式，对该体积原语进行调整，得到调整后体积原语，根据各调整后体积原语，生成目标运动数据对应的在指定视角下所述患者的视频数据，上述的指定调整方式包括：平移、旋转、改变亮度中的至少一种。
S105：根据所述视频数据、所述目标运动数据，构建所述患者的三维人体数据集，并根据所述三维人体数据集进行任务执行。
进一步地，服务器可以根据生成的视频数据、目标运动数据，构建患者的三维人体数据集，并根据三维人体数据集进行任务执行。
上述的任务执行可以为，根据三维人体数据集为患者推荐个性化康复方案等。
需要说明的是，上述的三维人体数据集可以被保存到指定文件夹中，为了便于检索，服务器可以根据预设的转换脚本，将不同格式的数据转换为同一格式进行存储。
除此之外，服务器可以根据不同的患者的三维人体数据集，根据该三维人体数据集中的目标运动数据，确定动作类别、动作难度，进而可以根据上述的动作类别、动作难度、以及患者类型，对不同的患者的三维人体数据集进行分类存储，并生成各三维人体数据集对应的元数据文件以便于检索。
除此之外，服务器还可以通过错误检测脚本，对上述的三维人体数据集进行检测，针对三维人体数据集中的异常值进行修正，并针对上述的三维人体数据集中的重复数据进行合并或删除。
从上述内容中可以看出，服务器可以通过使用三维高斯分布形状的体积原语根据患者在任意视角下的一张图片数据，构建患者的三维人体模型，从而可以通过目标动作数据，驱动患者的三维人体模型，并渲染生成任意视角的患者执行目标动作数据对应的动作的视频数据，以构建患者的三维人体数据集，进而可以降低获取患者的三维人体数据集的难度。
以上为本说明书的一个或多个实施三维人体数据生成方法，基于同样的思路，本说明书还提供了相应的三维人体数据生成装置，如图4所示。
图4为本说明书提供的一种三维人体数据生成装置的示意图，包括：
获取模块401，用于获取患者的基础图片数据，所述基础图片数据为任意单一视角下采集的患者图片数据；
确定模块402，用于根据所述基础图片数据中包含的所述患者的姿态信息，确定构建所述患者的三维人体模型所需的每个体积原语的配置参数，并根据所述配置参数构建所述患者的初始三维人体模型，所述体积原语为具有三维高斯分布形状的体积原语，所述配置参数包括：三维位置、方向、尺度、颜色、不透明度；
优化模块403，用于以最大化所述初始三维人体模型中包含的体积原语的密度为优化目标，对所述初始三维人体模型中包含的各体积原语数量以及每个体积原语的配置参数进行调整，以对所述初始三维人体模型进行优化，得到目标三维人体模型；
生成模块404，用于根据预先确定的目标运动数据，驱动所述目标三维人体模型做出相应的动作，并生成所述目标运动数据对应的在指定视角下所述患者的视频数据，所述目标运动数据包括不同运动姿态下所述患者的关节节点的坐标；
构建模块405，用于根据所述视频数据、所述目标运动数据，构建所述患者的三维人体数据集，并根据所述三维人体数据集进行任务执行。
可选地，所述配置参数还包括：蒙皮权重向量，所述蒙皮权重向量用于表征不同的姿态对体积原语的影响程度；
所述生成模块404具体用于，根据预先确定的目标运动数据，确定需要驱动所述三维人体模型做出的目标动作；针对所述三维人体模型中包含的每个体积原语，根据所述目标动作和该体积原语的所述蒙皮权重向量，确定该体积原语对应的变换后体积原语；根据各变换后体积原语，得到做出所述目标动作后的所述目标三维人体模型，并生成所述目标运动数据对应的在指定视角下所述患者的视频数据。
可选地，所述配置参数还包括：非刚性运动编码特征，所述非刚性运动编码特征用于表征不同的姿态对体积原语表面亮度的影响程度，以及，不同的姿态下体积原语表面的遮挡关系；
所述生成模块404具体用于，根据预先确定的目标运动数据，驱动所述目标三维人体模型做出相应的动作；针对所述目标三维人体模型中包含的每个体积原语，根据该体积原语的所述非刚性运动编码特征，按照至少一种指定调整方式，对该体积原语进行调整，得到调整后体积原语，所述指定调整方式包括：平移、旋转、改变亮度中的至少一种；根据各调整后体积原语，生成所述目标运动数据对应的在指定视角下所述患者的视频数据。
可选地，所述确定模块402具体用于，获取动作指示数据，所述动作指示数据包括：动作指示视频数据、动作指示文本数据中的一种；根据所述动作指示数据，确定所述患者按照所述动作指示数据做出相应动作时的关节节点的坐标，作为目标运动数据。
可选地，所述确定模块402具体用于，将所述动作指示视频数据输入到预设的估计模型中包含的卷积模块中，以通过所述卷积模块，针对所述动作指示视频数据中包含的每帧图片数据，确定该帧图片数据的初始图片特征表示，并将所述初始图片特征表示输入到所述估计模型中包含的空间特征提取模块中，以通过所述空间特征提取模块，根据所述初始图片特征表示，确定该帧图片数据的空域图片特征表示；将各初始图片特征输入到所述估计模型中包含的时间特征提取模块中，以通过所述时间特征提取模块，根据各初始图片特征之间的时间关联，确定每帧图片数据的时域图片特征表示；根据每帧图片数据的空域图片特征表示和时域图片特征表示，确定所述患者做出每帧图片数据相应的动作时的关节节点的坐标，作为目标运动数据。
可选地，所述确定模块402具体用于，根据每帧图片数据的空域图片特征表示和时域图片特征表示，确定所述患者做出每帧图片数据相应的动作时的关节节点的基础坐标；针对每个基础坐标，对该基础坐标进行升维处理，以得到该基础坐标对应的升维后坐标，将所述升维后坐标输入到预设的变压器神经网络中，以通过所述变压器神经网络将所述升维后坐标降维到指定维数，得到优化后坐标，作为目标运动数据。
可选地，所述确定模块402具体用于，将所述动作指示文本数据输入到预设的文本特征提取模型中，以通过所述文本特征提取模型根据所述动作指示文本数据，确定动作指示文本特征；根据所述动作指示文本特征，确定所述患者按照所述动作指示数据做出相应动作时的关节节点的坐标，作为目标运动数据。
本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的一种三维人体数据生成方法。
本说明书还提供了图5所示的一种对应于图1的电子设备的示意结构图。如图5所述，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所述的三维人体数据生成方法。当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
对于一个技术的改进可以很明显地区分是硬件上的改进（例如，对二极管、晶体管、开关等电路结构的改进）还是软件上的改进（对于方法流程的改进）。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件（ProgrammableLogic Device, PLD）（例如现场可编程门阵列（Field Programmable Gate Array，FPGA））就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器（logic compiler）”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言（HardwareDescription Language，HDL），而HDL也并非仅有一种，而是有许多种，如ABEL（AdvancedBoolean Expression Language）、AHDL（Altera Hardware Description Language）、Confluence、CUPL（Cornell University Programming Language）、HDCal、JHDL（JavaHardware Description Language）、Lava、Lola、MyHDL、PALASM、RHDL（Ruby HardwareDescription Language）等，目前最普遍使用的是VHDL（Very-High-Speed IntegratedCircuit Hardware Description Language）与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该（微）处理器执行的计算机可读程序代码（例如软件或固件）的计算机可读介质、逻辑门、开关、专用集成电路（Application Specific Integrated Circuit，ASIC）、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。
Claims (10)
1.一种三维人体数据生成方法，其特征在于，包括：
获取患者的基础图片数据，所述基础图片数据为任意单一视角下采集的患者图片数据；
根据所述基础图片数据中包含的所述患者的姿态信息，确定构建所述患者的三维人体模型所需的每个体积原语的配置参数，并根据所述配置参数构建所述患者的初始三维人体模型，所述体积原语为具有三维高斯分布形状的体积原语，所述配置参数包括：三维位置、方向、尺度、颜色、不透明度；
以最大化所述初始三维人体模型中包含的体积原语的密度为优化目标，对所述初始三维人体模型中包含的各体积原语数量以及每个体积原语的配置参数进行调整，以对所述初始三维人体模型进行优化，得到目标三维人体模型；
根据预先确定的目标运动数据，驱动所述目标三维人体模型做出相应的动作，并生成所述目标运动数据对应的在指定视角下所述患者的视频数据，所述目标运动数据包括不同运动姿态下所述患者的关节节点的坐标；
根据所述视频数据、所述目标运动数据，构建所述患者的三维人体数据集，并根据所述三维人体数据集进行任务执行。
2.如权利要求1所述的方法，其特征在于，所述配置参数还包括：蒙皮权重向量，所述蒙皮权重向量用于表征不同的姿态对体积原语的影响程度；
根据预先确定的目标运动数据，驱动所述目标三维人体模型做出相应的动作，并生成所述目标运动数据对应的在指定视角下所述患者的视频数据，具体包括：
根据预先确定的目标运动数据，确定需要驱动所述三维人体模型做出的目标动作；
针对所述三维人体模型中包含的每个体积原语，根据所述目标动作和该体积原语的所述蒙皮权重向量，确定该体积原语对应的变换后体积原语；
根据各变换后体积原语，得到做出所述目标动作后的所述目标三维人体模型，并生成所述目标运动数据对应的在指定视角下所述患者的视频数据。
3.如权利要求1所述的方法，其特征在于，所述配置参数还包括：非刚性运动编码特征，所述非刚性运动编码特征用于表征不同的姿态对体积原语表面亮度的影响程度，以及，不同的姿态下体积原语表面的遮挡关系；
根据预先确定的目标运动数据，驱动所述目标三维人体模型做出相应的动作，并生成所述目标运动数据对应的在指定视角下所述患者的视频数据，具体包括：
根据预先确定的目标运动数据，驱动所述目标三维人体模型做出相应的动作；
针对所述目标三维人体模型中包含的每个体积原语，根据该体积原语的所述非刚性运动编码特征，按照至少一种指定调整方式，对该体积原语进行调整，得到调整后体积原语，所述指定调整方式包括：平移、旋转、改变亮度中的至少一种；
根据各调整后体积原语，生成所述目标运动数据对应的在指定视角下所述患者的视频数据。
4.如权利要求1所述的方法，其特征在于，确定目标运动数据，具体包括：
获取动作指示数据，所述动作指示数据包括：动作指示视频数据、动作指示文本数据中的一种；
根据所述动作指示数据，确定所述患者按照所述动作指示数据做出相应动作时的关节节点的坐标，作为目标运动数据。
5.如权利要求4所述的方法，其特征在于，根据所述动作指示数据，确定所述患者按照所述动作指示数据做出相应动作时的关节节点的坐标，作为目标运动数据，具体包括：
将所述动作指示视频数据输入到预设的估计模型中包含的卷积模块中，以通过所述卷积模块，针对所述动作指示视频数据中包含的每帧图片数据，确定该帧图片数据的初始图片特征表示，并将所述初始图片特征表示输入到所述估计模型中包含的空间特征提取模块中，以通过所述空间特征提取模块，根据所述初始图片特征表示，确定该帧图片数据的空域图片特征表示；
将各初始图片特征输入到所述估计模型中包含的时间特征提取模块中，以通过所述时间特征提取模块，根据各初始图片特征之间的时间关联，确定每帧图片数据的时域图片特征表示；
根据每帧图片数据的空域图片特征表示和时域图片特征表示，确定所述患者做出每帧图片数据相应的动作时的关节节点的坐标，作为目标运动数据。
6.如权利要求5所述的方法，其特征在于，根据每帧图片数据的空域图片特征表示和时域图片特征表示，确定所述患者做出每帧图片数据相应的动作时的关节节点的坐标，作为目标运动数据，具体包括：
根据每帧图片数据的空域图片特征表示和时域图片特征表示，确定所述患者做出每帧图片数据相应的动作时的关节节点的基础坐标；
针对每个基础坐标，对该基础坐标进行升维处理，以得到该基础坐标对应的升维后坐标，将所述升维后坐标输入到预设的变压器神经网络中，以通过所述变压器神经网络将所述升维后坐标降维到指定维数，得到优化后坐标，作为目标运动数据。
7.如权利要求4所述的方法，其特征在于，根据所述动作指示数据，确定所述患者按照所述动作指示数据做出相应动作时的关节节点的坐标，作为目标运动数据，具体包括：
将所述动作指示文本数据输入到预设的文本特征提取模型中，以通过所述文本特征提取模型根据所述动作指示文本数据，确定动作指示文本特征；
根据所述动作指示文本特征，确定所述患者按照所述动作指示数据做出相应动作时的关节节点的坐标，作为目标运动数据。
8.一种三维人体数据生成装置，其特征在于，包括：
获取模块，用于获取患者的基础图片数据，所述基础图片数据为任意单一视角下采集的患者图片数据；
确定模块，用于根据所述基础图片数据中包含的所述患者的姿态信息，确定构建所述患者的三维人体模型所需的每个体积原语的配置参数，并根据所述配置参数构建所述患者的初始三维人体模型，所述体积原语为具有三维高斯分布形状的体积原语，所述配置参数包括：三维位置、方向、尺度、颜色、不透明度；
优化模块，用于以最大化所述初始三维人体模型中包含的体积原语的密度为优化目标，对所述初始三维人体模型中包含的各体积原语数量以及每个体积原语的配置参数进行调整，以对所述初始三维人体模型进行优化，得到目标三维人体模型；
生成模块，用于根据预先确定的目标运动数据，驱动所述目标三维人体模型做出相应的动作，并生成所述目标运动数据对应的在指定视角下所述患者的视频数据，所述目标运动数据包括不同运动姿态下所述患者的关节节点的坐标；
构建模块，用于根据所述视频数据、所述目标运动数据，构建所述患者的三维人体数据集，并根据所述三维人体数据集进行任务执行。
9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1~7任一项所述的方法。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1~7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410301175.XA CN117893696B (zh) | 2024-03-15 | 2024-03-15 | 一种三维人体数据生成方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410301175.XA CN117893696B (zh) | 2024-03-15 | 2024-03-15 | 一种三维人体数据生成方法、装置、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117893696A true CN117893696A (zh) | 2024-04-16 |
| CN117893696B CN117893696B (zh) | 2024-05-28 |
Family
ID=90652134
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410301175.XA Active CN117893696B (zh) | 2024-03-15 | 2024-03-15 | 一种三维人体数据生成方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117893696B (zh) |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110316855A1 (en) * | 2010-06-24 | 2011-12-29 | International Business Machines Corporation | Parallelized Streaming Accelerated Data Structure Generation |
| JP2013020578A (ja) * | 2011-07-14 | 2013-01-31 | Nippon Telegr & Teleph Corp <Ntt> | ３次元姿勢推定装置、３次元姿勢推定方法、及びプログラム |
| CN109559373A (zh) * | 2018-10-25 | 2019-04-02 | 武汉亘星智能技术有限公司 | 一种基于2d人体图像进行量体的方法及系统 |
| CN109712234A (zh) * | 2018-12-29 | 2019-05-03 | 北京卡路里信息技术有限公司 | 三维人体模型的生成方法、装置、设备和存储介质 |
| CN112819944A (zh) * | 2021-01-21 | 2021-05-18 | 魔珐(上海)信息科技有限公司 | 三维人体模型重建方法、装置、电子设备及存储介质 |
| KR20210070874A (ko) * | 2019-12-04 | 2021-06-15 | 연세대학교 산학협력단 | 3차원 인간 모델 복원 장치 및 방법 |
| CN113362452A (zh) * | 2021-06-07 | 2021-09-07 | 中南大学 | 一种手部姿态三维重建方法、装置及存储介质 |
| CN113888696A (zh) * | 2021-09-26 | 2022-01-04 | 北京达佳互联信息技术有限公司 | 三维模型生成方法和装置 |
| US20220051004A1 (en) * | 2020-11-27 | 2022-02-17 | Beijing Baidu Netcom Science Technology Co., Ltd. | Image processing method, apparatus, device and storage medium |
| CN114373224A (zh) * | 2021-12-28 | 2022-04-19 | 华南理工大学 | 基于自监督学习的模糊3d骨架动作识别方法及装置 |
| CN115082636A (zh) * | 2022-07-05 | 2022-09-20 | 聚好看科技股份有限公司 | 基于混合高斯网络的单图像三维重建方法及设备 |
| CN115496863A (zh) * | 2022-11-01 | 2022-12-20 | 之江实验室 | 用于影视智能创作的情景互动的短视频生成方法及系统 |
| CN115546365A (zh) * | 2022-10-21 | 2022-12-30 | 新华智云科技有限公司 | 一种虚拟人驱动方法及系统 |
| WO2023113823A1 (en) * | 2021-12-17 | 2023-06-22 | Hewlett-Packard Development Company, L.P. | Generating a three-dimensional representation of an object |
| WO2023109753A1 (zh) * | 2021-12-14 | 2023-06-22 | 魔珐(上海)信息科技有限公司 | 虚拟角色的动画生成方法及装置、存储介质、终端 |
| US20230298204A1 (en) * | 2020-06-26 | 2023-09-21 | Intel Corporation | Apparatus and methods for three-dimensional pose estimation |
| KR20230166319A (ko) * | 2022-05-30 | 2023-12-07 | 동아대학교 산학협력단 | 대상자의 3차원 전신 자세를 식별하기 위한 장치, 방법 및 프로그램 기록 매체 |
| CN117252965A (zh) * | 2023-10-08 | 2023-12-19 | 湖南长广千博科技有限公司 | 虚拟人体模型驱动方法、电子设备及存储介质 |
| CN117542122A (zh) * | 2024-01-09 | 2024-02-09 | 北京渲光科技有限公司 | 人体位姿估计与三维重建方法、网络训练方法及装置 |
-
2024
- 2024-03-15 CN CN202410301175.XA patent/CN117893696B/zh active Active
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110316855A1 (en) * | 2010-06-24 | 2011-12-29 | International Business Machines Corporation | Parallelized Streaming Accelerated Data Structure Generation |
| JP2013020578A (ja) * | 2011-07-14 | 2013-01-31 | Nippon Telegr & Teleph Corp <Ntt> | ３次元姿勢推定装置、３次元姿勢推定方法、及びプログラム |
| CN109559373A (zh) * | 2018-10-25 | 2019-04-02 | 武汉亘星智能技术有限公司 | 一种基于2d人体图像进行量体的方法及系统 |
| CN109712234A (zh) * | 2018-12-29 | 2019-05-03 | 北京卡路里信息技术有限公司 | 三维人体模型的生成方法、装置、设备和存储介质 |
| KR20210070874A (ko) * | 2019-12-04 | 2021-06-15 | 연세대학교 산학협력단 | 3차원 인간 모델 복원 장치 및 방법 |
| US20230298204A1 (en) * | 2020-06-26 | 2023-09-21 | Intel Corporation | Apparatus and methods for three-dimensional pose estimation |
| US20220051004A1 (en) * | 2020-11-27 | 2022-02-17 | Beijing Baidu Netcom Science Technology Co., Ltd. | Image processing method, apparatus, device and storage medium |
| CN112819944A (zh) * | 2021-01-21 | 2021-05-18 | 魔珐(上海)信息科技有限公司 | 三维人体模型重建方法、装置、电子设备及存储介质 |
| CN113362452A (zh) * | 2021-06-07 | 2021-09-07 | 中南大学 | 一种手部姿态三维重建方法、装置及存储介质 |
| CN113888696A (zh) * | 2021-09-26 | 2022-01-04 | 北京达佳互联信息技术有限公司 | 三维模型生成方法和装置 |
| WO2023109753A1 (zh) * | 2021-12-14 | 2023-06-22 | 魔珐(上海)信息科技有限公司 | 虚拟角色的动画生成方法及装置、存储介质、终端 |
| WO2023113823A1 (en) * | 2021-12-17 | 2023-06-22 | Hewlett-Packard Development Company, L.P. | Generating a three-dimensional representation of an object |
| CN114373224A (zh) * | 2021-12-28 | 2022-04-19 | 华南理工大学 | 基于自监督学习的模糊3d骨架动作识别方法及装置 |
| KR20230166319A (ko) * | 2022-05-30 | 2023-12-07 | 동아대학교 산학협력단 | 대상자의 3차원 전신 자세를 식별하기 위한 장치, 방법 및 프로그램 기록 매체 |
| CN115082636A (zh) * | 2022-07-05 | 2022-09-20 | 聚好看科技股份有限公司 | 基于混合高斯网络的单图像三维重建方法及设备 |
| CN115546365A (zh) * | 2022-10-21 | 2022-12-30 | 新华智云科技有限公司 | 一种虚拟人驱动方法及系统 |
| CN115496863A (zh) * | 2022-11-01 | 2022-12-20 | 之江实验室 | 用于影视智能创作的情景互动的短视频生成方法及系统 |
| CN117252965A (zh) * | 2023-10-08 | 2023-12-19 | 湖南长广千博科技有限公司 | 虚拟人体模型驱动方法、电子设备及存储介质 |
| CN117542122A (zh) * | 2024-01-09 | 2024-02-09 | 北京渲光科技有限公司 | 人体位姿估计与三维重建方法、网络训练方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| SHUGUANG LIU: "Design of Digital Twin Architecture for Drilling Engineering", 《2023 42ND CHINESE CONTROL CONFERENCE (CCC)》, 18 September 2023 (2023-09-18) * |
| 孙逸典: "时序相关的人体三维重建算法研究与实现", 《中国优秀硕士论文电子期刊网》, 15 January 2024 (2024-01-15) * |
| 谢立靖;任胜兵;: "基于改进时空特征的三维人体位姿估计方法", 计算机工程与设计, no. 11, 16 November 2018 (2018-11-16) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117893696B (zh) | 2024-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112614213B (zh) | 人脸表情确定方法、表情参数确定模型、介质及设备 | |
| CN112819944B (zh) | 三维人体模型重建方法、装置、电子设备及存储介质 | |
| CN117372631B (zh) | 一种多视角图像生成模型的训练方法、应用方法 | |
| CN114339409B (zh) | 视频处理方法、装置、计算机设备及存储介质 | |
| CN116977525B (zh) | 一种图像渲染方法、装置、存储介质及电子设备 | |
| CN117893696B (zh) | 一种三维人体数据生成方法、装置、存储介质及电子设备 | |
| CN115908664B (zh) | 人机交互的动画生成方法、装置、计算机设备、存储介质 | |
| CN117079777A (zh) | 一种医学影像的补全方法、装置、存储介质及电子设备 | |
| CN117726760B (zh) | 一种用于视频的三维人体重建模型的训练方法及装置 | |
| CN117726907B (zh) | 一种建模模型的训练方法、三维人体建模的方法以及装置 | |
| CN117911630B (zh) | 一种三维人体建模的方法、装置、存储介质及电子设备 | |
| CN116152299B (zh) | 一种运动状态的检测方法、装置、存储介质及电子设备 | |
| JP7459357B1 (ja) | 画像認識方法、装置、デバイスおよび記憶媒体 | |
| CN117745956A (zh) | 一种基于位姿引导的图像生成方法、装置、介质及设备 | |
| CN116309924B (zh) | 一种模型训练的方法、图像展示的方法及装置 | |
| CN117893697B (zh) | 一种三维人体视频重建方法、装置、存储介质及电子设备 | |
| CN111651623B (zh) | 高精度人脸表情库的构建方法、装置、设备及存储介质 | |
| CN116579414B (zh) | 模型训练方法、mri薄层数据重建方法、装置及设备 | |
| CN117808976B (zh) | 一种三维模型构建方法、装置、存储介质及电子设备 | |
| CN117978937A (zh) | 一种视频生成的方法、装置、存储介质及电子设备 | |
| CN116977385A (zh) | 一种基于无监督学习的图像配准方法、装置及设备 | |
| Wang et al. | Dyeing creation: a textile pattern discovery and fabric image generation method | |
| CN118015161A (zh) | 一种康复视频的生成方法及装置 | |
| CN117911494A (zh) | 一种多视角三维人体姿态估计方法、装置及存储介质 | |
| CN117830564A (zh) | 一种姿态分布指导的三维虚拟人模型重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |