CN112967397A - 肢体三维建模方法、装置、虚拟现实设备及增强现实设备 - Google Patents

肢体三维建模方法、装置、虚拟现实设备及增强现实设备 Download PDF

Info

Publication number
CN112967397A
CN112967397A CN202110160540.6A CN202110160540A CN112967397A CN 112967397 A CN112967397 A CN 112967397A CN 202110160540 A CN202110160540 A CN 202110160540A CN 112967397 A CN112967397 A CN 112967397A
Authority
CN
China
Prior art keywords
limb
target image
graph convolution
image
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110160540.6A
Other languages
English (en)
Inventor
李沁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN202110160540.6A priority Critical patent/CN112967397A/zh
Publication of CN112967397A publication Critical patent/CN112967397A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例提供了一种肢体三维建模方法、装置、虚拟现实设备、增强现实设备及存储介质，其中，一种肢体三维建模方法，包括：获取包含肢体区域的目标图像；提取所述目标图像中肢体区域的图像特征；基于所述图像特征，确定待建模肢体的各个网格顶点的位置信息；利用所确定的各个网格顶点的位置信息，构建所述待建模肢体，作为所述目标图像中肢体区域的三维模型。通过本方案可以满足用户对个性化肢体区域的三维模型的需求。

Description

肢体三维建模方法、装置、虚拟现实设备及增强现实设备
技术领域
本发明涉及计算机技术领域，特别是涉及一种肢体三维建模方法、装置、虚拟现实设备、增强现实设备及存储介质。
背景技术
随着VR(Virtual Reality，虚拟现实)、AR(Augmented Reality，增强现实)等技术的不断发展，用户与设备的频繁交互对人机交互的简便性和准确性提出了更高的要求。肢体，例如手、脚等，是人与外界交互的主要媒介，当前，已有VR设备提供基于肢体重建的人机交互方式，其通过对肢体进行三维重建，生成相应数字化模型并进行识别，能够有效理解用户意图。这种人机交互方式使得用户摆脱了手柄等设备的限制，极大地提升了用户体验。
相关技术的肢体三维建模方法中，通常先利用肢体骨骼关节点构建肢体骨架，然后通过对肢体骨架添加蒙皮的方式，生成肢体三维模型。
尽管相关技术所提供的方法可以实现肢体三维重建，但是，由于影响肢体形状的因素不仅仅是肢体骨骼关键点，因此，通过肢体骨骼关键点添加蒙皮的方式，重建得到的肢体形状单一，难以满足用户对个性化肢体区域的三维模型的需求。
发明内容
本发明实施例的目的在于提供一种肢体三维建模方法、装置、虚拟现实设备、增强现实设备及存储介质，以满足用户对个性化肢体区域的三维模型的需求。具体技术方案如下：
在本发明实施的第一方面，首先提供了一种肢体三维建模方法，包括：
获取包含肢体区域的目标图像；
提取所述目标图像中肢体区域的图像特征；
基于所述图像特征，确定待建模肢体的各个网格顶点的位置信息；
利用所确定的各个网格顶点的位置信息，构建所述待建模肢体，作为所述目标图像中肢体区域的三维模型。
可选的，所述基于所述图像特征，确定待建模肢体的各个网格顶点的位置信息，包括：
将所述图像特征转化为三维特征矩阵，作为输入矩阵；
利用预设图卷积网络，对所述输入矩阵进行图卷积运算，得到待建模肢体的各个网格顶点的位置信息；
其中，所述预设图卷积网络为基于样本图像和所述样本图像对应的各个网格顶点的真值位置信息所预先训练得到的图卷积网络，所述样本图像对应的各个网格顶点为所述样本图像中肢体区域的三维模型的网格顶点。
可选的，所述利用预设图卷积网络，对所述输入矩阵进行图卷积运算，得到待建模肢体的各个网格顶点的位置信息，包括：
将所述输入矩阵输入预设图卷积网络模型，以使所述预设图卷积网络模型利用所述输入矩阵，通过多次图卷积运算确定待建模肢体的各个网格顶点的位置信息；
其中，所述多次图卷积运算顺次执行，每一次图卷积运算的运算结果均为能够用于构建所述肢体的三维网格的多个网格顶点的位置信息，后一次图卷积运算相对于前一次图卷积运算的运算结果，网格顶点的数量递增。
可选的，所述预设图卷积网络模型包括：串联相接的多个预设图卷积网络，每一预设图卷积网络实现一次图卷积运算；其中；
所述多个预设图卷积网络中的第一个网络，用于对所述输入矩阵进行图卷积运算；
所述多个预设图卷积网络中除第一个以外的其余网络，用于对上一网络的运算结果进行图卷积运算。
可选的，所述提取所述目标图像中肢体区域的图像特征，包括：
将所述目标图像输入预设的特征提取网络，得到所述目标图像中肢体区域的图像特征。
可选的，在所述获取包含肢体区域的目标图像之后，所述提取所述目标图像中肢体区域的图像特征之前，所述方法还包括：
将所述目标图像转化为黑白目标图像或灰度目标图像；
所述提取所述目标图像中肢体区域的图像特征，包括：
提取所述黑白目标图像或所述灰度目标图像中表征肢体姿态及形状的图像特征。
可选的，在所述获取包含肢体区域的目标图像之后，所述提取所述目标图像中肢体区域的图像特征之前，所述方法还包括：
对所述目标图像进行归一化处理，得到归一化处理后的目标图像；
所述提取所述目标图像中肢体区域的图像特征，包括：
提取归一化处理后的目标图像中表征肢体姿态及形状的图像特征。
在本发明实施的第二方面，还提供了一种肢体三维建模装置，包括：
图像获取模块，用于获取包含肢体区域的目标图像；
特征提取模块，用于提取所述目标图像中肢体区域的图像特征；
顶点确定模块，用于基于所述图像特征，确定待建模肢体的各个网格顶点的位置信息；
模型生成模块，用于利用所确定的各个网格顶点的位置信息，构建所述待建模肢体，作为所述目标图像中肢体区域的三维模型。
在本发明实施的又一方面，还提供了一种虚拟现实设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第一方面的方法。
可选的，所述设备还包括：显示器，其中，所述显示器通过通信总线完成与所述处理器，所述通信接口和所述存储器相互间的通信；
所述显示器，用于显示通过所述处理器建模得到的目标图像中肢体区域的三维模型。
在本发明实施的又一方面，还提供了一种增强现实设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第一方面的方法；
显示器，用于显示通过所述处理器建模得到的目标图像中肢体区域的三维模型。
在本发明实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的方法。
本发明实施例提供的方案中，基于目标图像中肢体区域的图像特征，确定待建模肢体的各个网格顶点的位置信息，进而利用所确定的各个网格顶点的位置信息，构建所述待建模肢体。本方案跳过肢体骨骼关键点，直接通过图像特征确定的网格顶点位置信息，重建肢体区域的三维模型，使模型重建结果在形状上具有极高的自由度，可以反映用户实际的肢体形状，例如用户不同长、短、粗、细等形状的手形，从而能够实现不同用户肢体区域的三维模型的个性化定制，有效满足用户对个性化肢体区域的三维模型的需求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例提供的一种肢体三维建模方法的流程图；
图2为本发明实施例提供的另一种肢体三维建模方法的流程图；
图3为本发明实施例方法中所应用的图卷积运算的工作原理示意图；
图4为本发明实施例提供的一种肢体三维建模方法的过程示意图；
图5为本发明实施例提供的一种肢体三维建模装置的结构示意图；
图6为本发明实施例提供的一种虚拟现实设备的结构示意图；
图7为本发明实施例提供的一种增强现实设备的结构示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
相关技术中，利用肢体骨骼关节点构建肢体骨架，通过对肢体骨架添加蒙皮的方式获得的肢体三维模型，严重缺乏多样性，以手部为例，获得的三维模型在手形上千篇一律，万人一手，用户所见并非己手，因此，难以满足用户对个性化肢体区域的三维模型的需求。
为了满足用户对个性化肢体区域的三维模型的需求，本发明实施例提供一种肢体三维建模方法、装置、虚拟现实设备、增强现实设备及存储介质。
下面首先对本发明实施例提供的一种肢体三维建模方法进行介绍。
其中，本发明实施例提供的一种肢体三维建模方法可以应用于VR/AR设备。在具体应用中，该VR/AR设备可以为VR头戴设备/AR头戴设备等能够实现虚拟现实交互的设备。具体的，本发明实施例的肢体三维建模方法的执行主体可以为运行于VR/AR设备中的一种肢体三维建模装置。
本发明实施例提供的一种肢体三维建模方法，可以包括如下步骤：
获取包含肢体区域的目标图像；
提取所述目标图像中肢体区域的图像特征；
基于所述图像特征，确定待建模肢体的各个网格顶点的位置信息；
利用所确定的各个网格顶点的位置信息，构建所述待建模肢体，作为所述目标图像中肢体区域的三维模型。
本发明实施例提供的方案中，基于目标图像中肢体区域的图像特征，确定待建模肢体的各个网格顶点的位置信息，进而利用所确定的各个网格顶点的位置信息，构建所述待建模肢体。本方案跳过肢体骨骼关键点，直接通过图像特征确定的网格顶点位置信息，重建肢体区域的三维模型，使模型重建结果在形状上具有极高的自由度，可以反映用户实际的肢体形状，例如用户不同长、短、粗、细等形状的手形，从而能够实现不同用户肢体区域的三维模型的个性化定制，有效满足用户对个性化肢体区域的三维模型的需求。
下面结合附图，对本发明实施例所提供的一种肢体三维建模方法进行介绍。
如图1所示，本发明实施例提供的一种肢体三维建模方法，包括：
S101，获取包含肢体区域的目标图像。
其中，目标图像可以是VR/AR设备通过自身的图像采集模块所采集到图像，VR/AR设备可以在肢体感应区域内感应到肢体时，调用自身的图像采集模块进行图像采集，得到目标图像。示例性的，该肢体感应区域可以是图像采集模块的图像采集区域。并且，目标图像的规格可以按照实际需求进行预先设定，例如目标图像可以为长256像素，宽256像素，3通道的图像，或者长112像素，宽112像素，3通道的图像，等等。为了方便后续步骤对目标图像的特征提取，事先将目标图像的像素值归一化到[0,1]之间。
需要说明的是，对于由于头戴式设备，由于其功耗性能要求严格，在进行肢体三维重建开始之前，可以对包含肢体区域的目标图像进行二值化处理，得到黑白目标图像作为输入；也可以对包含肢体区域的目标图像进行灰度化处理，得到灰度目标图像作为输入。
S102，提取所述目标图像中肢体区域的图像特征。
其中，目标图像中肢体区域的图像特征可以为表征肢体的姿态特征和形状特征的数据。其中，姿态特征是指肢体姿势的特征，示例性的，以手部为例，其姿态特征如手掌五指弯曲的握拳、手掌五指伸展的立掌等。形状特征是指肢体的形态、状貌，仍以手部为例，其形状特征如手掌的长、短，手指的粗、细等。
相应于上述步骤中获取作为输入的黑白目标图像或灰度目标图像，可以提取二值化处理后的黑白目标图像或灰度化处理后的灰度目标图像中表征肢体姿态及形状的图像特征。
需要说明的是，基于所述目标图像，提取所述目标图像中肢体区域图像特征的实现方式有多种。
示例性的，在一种实施方式中，可以采用特征提取网络提取所述目标图像中肢体区域的图像特征。例如：可以采用级联神经网络对目标图像进行特征提取。级联神经网络的内部包含多个卷积核，组成卷积核的每个元素都对应一个权重系数和一个偏差量(biasvector)，类似于一个前馈神经网络的神经元(neuron)。卷积层的参数包括卷积核大小、步长(stride)、填充(padding)和扩张(dilation)，这些参数共同决定了卷积层输出特征图的尺寸。其中，卷积核大小可以指定为小于输入图像尺寸的任意值，卷积核越大，可提取的特征越复杂。
为了便于方案理解，下面具体以一个级联神经网络作为特征提取器进行说明。该级联神经网络可以包括10层，各层参数如下：
Conv1卷积核：3×3×3×576，stride[1,2,2,1]，padding1；
Conv2卷积核：3×3×576×256，stride[1,2,2,1]，padding6,dilation6；
Conv3卷积核：1×1×256×512，stride[1,1,1,1]，padding0；
Conv4卷积核：1×1×512×256，stride[1,1,1,1]，padding0；
Conv5卷积核：3×3×256×576，stride[1,2,2,1]，padding1；
Conv6卷积核：1×1×576×128，stride[1,1,1,1]，padding0；
Conv7卷积核：3×3×128×256，stride[1,2,2,1]，padding1；
Conv8卷积核：1×1×256×128，stride[1,1,1,1]，padding0；
Conv9卷积核：3×3×128×256，stride[1,2,2,1]，padding0；
FC1全连接层：12544×657。
网络输出为657向量。
特征提取器可以通过如下方式进行训练：获取训练样本，采用训练样本对预设卷积神经网络模型进行训练，得到特征提取模型。
上述多层卷积层的级联神经网络作为一个轻量级图像编码器，可以实现对目标图像的抽象化描述，对复杂的目标图像进行降维编码，有效提高构建肢体三维模型的性能和效率。
S103，基于所述图像特征，确定待建模肢体的各个网格顶点的位置信息。
其中，待建模肢体为关于所述目标图像中的肢体的、属于三维网格的实体，即三维网格模型，也称为三维mesh模型，具体指物体的多边形表示，包括点和其它信息的数据集合；通常采用专门的三维建模工具生成，能够在计算机或者其它视频设备上进行显示，该模型所包括的点即为网格顶点，也称为mesh顶点。网格顶点的位置信息，即是在三维空间中的位置信息。考虑到待建模肢体能够个性化的表达信息，本实施例中，通过构建待建模肢体来解决现有技术问题，因此，在获得图像特征后，可以确定网格顶点。
需要说明的是，基于所述图像特征，确定待建模肢体的各个网格顶点的位置信息的实现方式有多种。例如，可以采用图卷积网络利用图像特征，确定待建模肢体的各个网格顶点的位置信息，当然，也可以采用其他网络类型或其他方式确定待建模肢体的各个网格顶点的位置信息。
为了方案清楚及布局清晰，后续结合其他实施例，示例性地介绍基于所述图像特征，确定待建模肢体的各个网格顶点的位置信息的实现方式。
S104，利用所确定的各个网格顶点的位置信息，构建所述待建模肢体，作为所述目标图像中肢体区域的三维模型。
所述目标图像中肢体区域的三维模型由网格顶点和网格三角面片组成。在网格顶点数量一定的情况下，组成网格的三角面片顶点序号和拓扑关系固定且可事先计算的，因此，在确定各个网格顶点位置后，再附以预制网格三角面片参数，即可得到完整的目标图像中肢体区域的三维模型。
本发明实施例提供的方案中，基于目标图像中肢体区域的图像特征，确定待建模肢体的各个网格顶点的位置信息，进而利用所确定的各个网格顶点的位置信息，构建所述待建模肢体。本方案跳过肢体骨骼关键点，直接通过图像特征确定的网格顶点位置信息，重建肢体区域的三维模型，使模型重建结果在形状上具有极高的自由度，可以反映用户实际的肢体形状，例如用户不同长、短、粗、细等形状的手形，从而能够实现不同用户肢体区域的三维模型的个性化定制，有效满足用户对个性化肢体区域的三维模型的需求。
相较于现有技术中，通过肢体骨骼关节点构建肢体区域的三维模型所利用的数量有限的关节点，本发明实施例直接通过图像特征确定的顶点位置信息重建肢体区域的三维模型。本发明实施例的方法需计算的网格顶点的数量上升近两个数量级，如果过多数量的节点不能得到有效利用，则难以保证肢体三维模型构建的准确、可靠。基于此，本发明实施例提供另一种肢体三维建模方法，该方法通过引入图卷积网络进行计算，可以充分利用图网络的拓扑关系信息，加大多个网格顶点的信息利用范围，使构建的肢体三维模型构建的准确、可靠。
如图2所示，本发明实施例提供的另一种肢体三维建模方法，包括：
S201，获取包含肢体区域的目标图像。
本发明实施例中，S201可与上述实施例中S101的步骤相同，在此不再赘述。
S202，将所述目标图像输入预设的特征提取网络，得到所述目标图像中肢体区域的图像特征。
其中，得到的图像特征可以通过中间向量的形式表示，例如，将目标图像输入预设的特征提取网络，通过该特征提取网络降低目标图像的维度，可以得到2维，3维，10维，…，或784维的中间向量，如上述657维的中间向量即包含了目标图像中肢体区域的主要特征。
S203，将所述图像特征转化为三维特征矩阵，作为输入矩阵。
其中，可以将中间向量转化为所需维度的矩阵。例如对于上述实施例中提取的657维中间向量，可以通过将其转化为219*3的矩阵。
S204，利用预设图卷积网络，对所述输入矩阵进行图卷积运算，得到待建模肢体的各个网格顶点的位置信息。
其中，所述预设图卷积网络为基于样本图像和所述样本图像对应的各个网格顶点的真值位置信息所预先训练得到的图卷积网络，所述样本图像对应的各个网格顶点为所述样本图像中肢体区域的三维模型的网格顶点。
图卷积是专对不规整图网络进行卷积操作的一种方式，它能根据图网络的拓扑关系，利用某一节点的邻近节点信息更新该节点特征，最终收敛得到准确稳定的重建结果。
图卷积实质是将某个点与其所有相邻的点联合进行计算，因而通过连续多次图卷积运算可加大信息利用范围。如图3所示，第一次图卷积运算能够使中心点与外围一圈的相邻点交换信息，第二次图卷积运算能够使外围邻点再与各自的相邻点发生信息交换。第二次图卷积运算时中心点可以利用到距自身单位距离为2的点信息，以此类推，第三次、第四次等多次的图卷积运算，能够利用到距自身距离更远的点的信息，因此，可有效增大模型感受野。
需要说明的是，对于利用预设图卷积网络，对所述输入矩阵进行图卷积运算，得到待建模肢体的各个网格顶点的位置信息的步骤而言，可以通过将所述输入矩阵输入预设图卷积网络模型，以使所述预设图卷积网络模型利用所述输入矩阵，通过多次图卷积运算确定待建模肢体的各个网格顶点的位置信息。
其中，所述多次图卷积运算顺次执行，每一次图卷积运算的运算结果均为能够用于构建所述肢体的三维网格的多个网格顶点的位置信息，后一次图卷积运算相对于前一次图卷积运算的运算结果，网格顶点的数量递增。
所述预设图卷积网络模型包括：串联相接的多个预设图卷积网络，每一预设图卷积网络实现一次图卷积运算。
其中，所述多个预设图卷积网络中的第一个网络，用于对所述输入矩阵进行图卷积运算；
所述多个预设图卷积网络中除第一个以外的其余网络，用于对上一网络的运算结果进行图卷积运算。
示例性的，所述利用预设图卷积网络，对所述输入矩阵进行图卷积运算，得到待建模肢体的各个网格顶点的位置信息，可以包括：
将所述输入矩阵输入预设图卷积组，得到待建模肢体的各个网格顶点的位置信息；其中，所述预设图卷积组包括串联相接的多个预设图卷积网络；
所述多个预设图卷积网络中的第一个网络，用于对所述输入矩阵进行图卷积运算，得到表征初始待建模肢体的各个网格顶点的位置信息的矩阵，并将所得到的矩阵输入下一网络；
所述多个预设图卷积网络中除第一个和最后一个网络以外的每一网络，用于对上一网络所输入的矩阵进行图卷积运算，得到表征中间待建模肢体的各个网格顶点的位置信息的矩阵，并将所得到的矩阵输入至下一网络；
所述最后一个网络，用于对上一网络所输入的矩阵进行图卷积运算，得到待建模肢体的各个网格顶点的位置信息的矩阵；
所述初始待建模肢体和中间待建模肢体均为所述目标图像中肢体的待建模肢体，且通过各个预设图卷积网络所得到的各个网格顶点的数量，按照各个预设图卷积网络的串联顺序呈递增规律。
本发明实施例通过预设图卷积网络中的第一个网络、最后一个网络、以及除第一个和最后一个网络以外的中间的至少一个网络，对输入矩阵进行图卷积运算，便可以得到待建模肢体的各个网格顶点的位置信息。
需要说明的是，第一个网络用于对输入矩阵进行初步处理，可以获得粗略的网格顶点。除第一个和最后一个网络以外的中间的网络至少为一个，中间的网络的数量多少可综合考虑构建模型的效果和图卷积处理性能，根据实际情况灵活设置。中间网络和最后一个网络用于对第一个网络得到的粗略的网格顶点进行精修，得到最终用于构建肢体三维模型的网格顶点。
其中，预设图卷积网络可以采用无向图卷积(Graph Convolution，简称GCN)。如图4所示，采用上述步骤通过预设的特征提取网络，提取表征目标图像中肢体区域的图像特征的中间向量，以及将中间向量转化为三维特征矩阵，作为输入矩阵之后，对于219*3的输入矩阵，可以将其输入第一个图卷积层(GCN)，得到219个初始网格顶点，即得到219个初始网格顶点的位置信息；对于219个初始网格顶点，随后可以将该网格顶点再输入两个图卷积层进行精修，分别得到438个网格顶点和778个网格顶点，即分别得到438个网格顶点的位置信息和778个网格顶点的位置信息，其中778点的输出即为最终的网格顶点。
为了方便理解，下面示例性的给出图卷积的公式：
Figure BDA0002936406510000111
其中，Ci(L)为第i个切比雪夫多项式，L为归一化拉普拉斯矩阵；
Fin为输入矩阵，Fin＝N1*Min，
Fout为输出矩阵，Fout＝N2*Mout；Mout＝3时，Fout表示网格顶点；
N1、N2是网格顶点数；w是尺寸为Min*Mout的权重矩阵。
S205，利用所确定的各个网格顶点的位置信息，构建所述待建模肢体，作为所述目标图像中肢体区域的三维模型。
考虑到直接从目标图像中提取的目标图像中肢体区域的图像特征较多，以及为了充分利用图网络的拓扑关系信息，本发明实施例通过多层无向图卷积对提取的目标图像中表征肢体的姿态及形状图像特征进行处理，确定待建模肢体的各个网格顶点的位置信息，能够准确地生成目标图像中肢体区域的三维模型。
本发明实施例提供的方案跳过肢体骨骼关键点，直接通过图像特征确定的网格顶点位置信息，重建肢体区域的三维模型，使模型重建结果在形状上具有极高的自由度，可以反映不同用户实际的肢体形状，有效满足用户对个性化肢体区域的三维模型的需求。此外，本发明实施例提供的方案通过引入无向图卷积，对远多于现有技术中肢体骨骼关节点的网格顶点进行模型构建，可以充分利用图网络的拓扑关系信息，加大多个网格顶点的信息利用范围，有效保证构建的肢体三维模型准确、可靠。
相应于上述方法实施例，如图5所示，本发明实施例还提供一种肢体三维建模装置，所述装置包括：
图像获取模块501，用于获取包含肢体区域的目标图像；
特征提取模块502，用于提取所述目标图像中肢体区域的图像特征；
顶点确定模块503，用于基于所述图像特征，确定待建模肢体的各个网格顶点的位置信息；其中，所述待建模肢体为关于所述目标图像中的肢体的、属于三维网格的实体；
模型生成模块504，用于利用所确定的各个网格顶点的位置信息，构建所述待建模肢体，作为所述目标图像中肢体区域的三维模型。
可选的，顶点确定模块503，具体用于将所述图像特征转化为三维特征矩阵，作为输入矩阵；
利用预设图卷积网络，对所述输入矩阵进行图卷积运算，得到待建模肢体的各个网格顶点的位置信息；
其中，所述预设图卷积网络为基于样本图像和所述样本图像对应的各个网格顶点的真值位置信息所预先训练得到的图卷积网络，所述样本图像对应的各个网格顶点为所述样本图像中肢体区域的三维模型的网格顶点。
可选的，顶点确定模块503，具体用于将所述输入矩阵输入预设图卷积网络模型，以使所述预设图卷积网络模型利用所述输入矩阵，通过多次图卷积运算确定待建模肢体的各个网格顶点的位置信息；
其中，所述多次图卷积运算顺次执行，每一次图卷积运算的运算结果均为能够用于构建所述肢体的三维网格的多个网格顶点的位置信息，后一次图卷积运算相对于前一次图卷积运算的运算结果，网格顶点的数量递增。
可选的，所述预设图卷积网络模型包括：串联相接的多个预设图卷积网络，每一预设图卷积网络实现一次图卷积运算；其中；
所述多个预设图卷积网络中的第一个网络，用于对所述输入矩阵进行图卷积运算；
所述多个预设图卷积网络中除第一个以外的其余网络，用于对上一网络的运算结果进行图卷积运算。
可选的，特征提取模块502，具体用于将所述目标图像输入预设的特征提取网络，得到所述目标图像中肢体区域的图像特征。
可选的，所述装置还包括：图像处理模块；
所述图像处理模块，用于在所述获取包含肢体区域的目标图像之后，所述提取所述目标图像中肢体区域的图像特征之前，将所述目标图像转化为黑白目标图像或灰度目标图像；
特征提取模块502，具体用于提取所述黑白目标图像或所述灰度目标图像中表征肢体姿态及形状的图像特征。
可选的，所述装置还包括：归一化处理模块，
所述归一化处理模块，用于在所述获取包含肢体区域的目标图像之后，所述提取所述目标图像中肢体区域的图像特征之前，对所述目标图像进行归一化处理，得到归一化处理后的目标图像；
特征提取模块502，具体用于提取归一化处理后的目标图像中表征肢体姿态及形状的图像特征。
如图6所示，本发明实施例还提供了一种虚拟现实设备，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信，
存储器603，用于存放计算机程序；
处理器601，用于执行存储器603上所存放的程序时，实现上述实施例中任一肢体三维建模方法的步骤。
其中，虚拟现实设备可以为VR头盔、VR眼镜等设备，虚拟现实设备本身可以设有内置摄像头，或者也可以连接外置摄像头，例如可以通过无线或有线方式连接智能手机的摄像头。
可选的，所述设备还可以包括：显示器，其中，所述显示器通过通信总线604完成与所述处理器601，所述通信接口602和所述存储器603相互间的通信；
所述显示器，用于显示通过所述处理器建模得到的目标图像中肢体区域的三维模型。
其中，通过上述方法实施例得到的目标图像中肢体区域的三维模型可以通过无线或有线方式连接外接显示设备进行显示，外接显示设备不限于智能手机、平板电脑、智能电视等，也可以直接通过本发明实施例的显示器进行显示。
如图7所示，本发明实施例还提供了一种增强现实设备，包括处理器701、通信接口702、存储器703、通信总线704和显示器705，其中，处理器701，通信接口702，存储器703、显示器705通过通信总线704完成相互间的通信，
存储器703，用于存放计算机程序；
处理器701，用于执行存储器703上所存放的程序时，实现上述实施例中任一肢体三维建模方法的步骤；
显示器705，用于显示通过所述处理器701建模得到的目标图像中肢体区域的三维模型。
其中，增强现实设备可为各种带有内置摄像头及显示屏的电子设备，如具有AR功能的智能手机、AR眼镜等。
上述虚拟现实设备及增强现实设备提到的通信总线可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(ExtendedIndustry Standard Architecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述虚拟现实设备及增强现实设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时，实现上述实施例中任一肢体三维建模方法的步骤。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (12)

1.一种肢体三维建模方法，其特征在于，包括：
获取包含肢体区域的目标图像；
提取所述目标图像中肢体区域的图像特征；
基于所述图像特征，确定待建模肢体的各个网格顶点的位置信息；
利用所确定的各个网格顶点的位置信息，构建所述待建模肢体，作为所述目标图像中肢体区域的三维模型。
2.根据权利要求1所述的方法，其特征在于，所述基于所述图像特征，确定待建模肢体的各个网格顶点的位置信息，包括：
将所述图像特征转化为三维特征矩阵，作为输入矩阵；
利用预设图卷积网络，对所述输入矩阵进行图卷积运算，得到待建模肢体的各个网格顶点的位置信息；
其中，所述预设图卷积网络为基于样本图像和所述样本图像对应的各个网格顶点的真值位置信息所预先训练得到的图卷积网络，所述样本图像对应的各个网格顶点为所述样本图像中肢体区域的三维模型的网格顶点。
3.根据权利要求2所述的方法，其特征在于，所述利用预设图卷积网络，对所述输入矩阵进行图卷积运算，得到待建模肢体的各个网格顶点的位置信息，包括：
将所述输入矩阵输入预设图卷积网络模型，以使所述预设图卷积网络模型利用所述输入矩阵，通过多次图卷积运算确定待建模肢体的各个网格顶点的位置信息；
其中，所述多次图卷积运算顺次执行，每一次图卷积运算的运算结果均为能够用于构建所述肢体的三维网格的多个网格顶点的位置信息，后一次图卷积运算相对于前一次图卷积运算的运算结果，网格顶点的数量递增。
4.根据权利要求3所述的方法，其特征在于，所述预设图卷积网络模型包括：串联相接的多个预设图卷积网络，每一预设图卷积网络实现一次图卷积运算；其中；
所述多个预设图卷积网络中的第一个网络，用于对所述输入矩阵进行图卷积运算；
所述多个预设图卷积网络中除第一个以外的其余网络，用于对上一网络的运算结果进行图卷积运算。
5.根据权利要求1至4任一所述的方法，其特征在于，所述提取所述目标图像中肢体区域的图像特征，包括：
将所述目标图像输入预设的特征提取网络，得到所述目标图像中肢体区域的图像特征。
6.根据权利要求1所述的方法，其特征在于，在所述获取包含肢体区域的目标图像之后，所述提取所述目标图像中肢体区域的图像特征之前，所述方法还包括：
将所述目标图像转化为黑白目标图像或灰度目标图像；
所述提取所述目标图像中肢体区域的图像特征，包括：
提取所述黑白目标图像或所述灰度目标图像中表征肢体姿态及形状的图像特征。
7.根据权利要求1所述的方法，其特征在于，在所述获取包含肢体区域的目标图像之后，所述提取所述目标图像中肢体区域的图像特征之前，所述方法还包括：
对所述目标图像进行归一化处理，得到归一化处理后的目标图像；
所述提取所述目标图像中肢体区域的图像特征，包括：
提取归一化处理后的目标图像中表征肢体姿态及形状的图像特征。
8.一种肢体三维建模装置，其特征在于，包括：
图像获取模块，用于获取包含肢体区域的目标图像；
特征提取模块，用于提取所述目标图像中肢体区域的图像特征；
顶点确定模块，用于基于所述图像特征，确定待建模肢体的各个网格顶点的位置信息；
模型生成模块，用于利用所确定的各个网格顶点的位置信息，构建所述待建模肢体，作为所述目标图像中肢体区域的三维模型。
9.一种虚拟现实设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一所述肢体三维建模的方法步骤。
10.根据权利要求9所述的虚拟现实设备，其特征在于，所述设备还包括：显示器，其中，所述显示器通过通信总线完成与所述处理器，所述通信接口和所述存储器相互间的通信；
所述显示器，用于显示通过所述处理器建模得到的目标图像中肢体区域的三维模型。
11.一种增强现实设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一所述肢体三维建模的方法步骤；
显示器，用于显示通过所述处理器建模得到的目标图像中肢体区域的三维模型。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。
CN202110160540.6A 2021-02-05 2021-02-05 肢体三维建模方法、装置、虚拟现实设备及增强现实设备 Pending CN112967397A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110160540.6A CN112967397A (zh) 2021-02-05 2021-02-05 肢体三维建模方法、装置、虚拟现实设备及增强现实设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110160540.6A CN112967397A (zh) 2021-02-05 2021-02-05 肢体三维建模方法、装置、虚拟现实设备及增强现实设备

Publications (1)

Publication Number Publication Date
CN112967397A true CN112967397A (zh) 2021-06-15

Family

ID=76274348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110160540.6A Pending CN112967397A (zh) 2021-02-05 2021-02-05 肢体三维建模方法、装置、虚拟现实设备及增强现实设备

Country Status (1)

Country Link
CN (1) CN112967397A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116305497A (zh) * 2023-05-17 2023-06-23 深圳市城市交通规划设计研究中心股份有限公司 一种多层次隧道设施建模方法、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934826A (zh) * 2019-02-28 2019-06-25 东南大学 一种基于图卷积网络的图像特征分割方法
CN110276406A (zh) * 2019-06-26 2019-09-24 腾讯科技（深圳）有限公司 表情分类方法、装置、计算机设备及存储介质
CN110458957A (zh) * 2019-07-31 2019-11-15 浙江工业大学 一种基于神经网络的图像三维模型构建方法及装置
CN111027563A (zh) * 2019-12-09 2020-04-17 腾讯云计算（北京）有限责任公司 一种文本检测方法、装置及识别系统
US20200184721A1 (en) * 2018-12-05 2020-06-11 Snap Inc. 3d hand shape and pose estimation
CN111598998A (zh) * 2020-05-13 2020-08-28 腾讯科技（深圳）有限公司 三维虚拟模型重建方法、装置、计算机设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200184721A1 (en) * 2018-12-05 2020-06-11 Snap Inc. 3d hand shape and pose estimation
CN109934826A (zh) * 2019-02-28 2019-06-25 东南大学 一种基于图卷积网络的图像特征分割方法
CN110276406A (zh) * 2019-06-26 2019-09-24 腾讯科技（深圳）有限公司 表情分类方法、装置、计算机设备及存储介质
CN110458957A (zh) * 2019-07-31 2019-11-15 浙江工业大学 一种基于神经网络的图像三维模型构建方法及装置
CN111027563A (zh) * 2019-12-09 2020-04-17 腾讯云计算（北京）有限责任公司 一种文本检测方法、装置及识别系统
CN111598998A (zh) * 2020-05-13 2020-08-28 腾讯科技（深圳）有限公司 三维虚拟模型重建方法、装置、计算机设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116305497A (zh) * 2023-05-17 2023-06-23 深圳市城市交通规划设计研究中心股份有限公司 一种多层次隧道设施建模方法、电子设备及存储介质
CN116305497B (zh) * 2023-05-17 2023-10-20 深圳市城市交通规划设计研究中心股份有限公司 一种多层次隧道设施建模方法、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN110020620B (zh) 一种大姿态下的人脸识别方法、装置及设备
CN108710830B (zh) 一种结合密集连接注意力金字塔残差网络和等距限制的人体3d姿势估计方法
CN108681743B (zh) 图像对象识别方法和装置、存储介质
CN107578014B (zh) 信息处理装置及方法
CN112819947A (zh) 三维人脸的重建方法、装置、电子设备以及存储介质
CN113496507A (zh) 一种人体三维模型重建方法
CN112418292B (zh) 一种图像质量评价的方法、装置、计算机设备及存储介质
CN110009018B (zh) 一种图像生成方法、装置以及相关设备
CN109934881A (zh) 图像编码方法、动作识别的方法及计算机设备
CN111598111A (zh) 三维模型生成方法、装置、计算机设备及存储介质
CN116309983B (zh) 虚拟人物模型的训练方法、生成方法、装置和电子设备
CN114978189A (zh) 一种数据编码方法以及相关设备
CN114241597A (zh) 一种姿态识别方法及其相关设备
CN113096001A (zh) 图像处理方法、电子设备及可读存储介质
CN115984447A (zh) 图像渲染方法、装置、设备和介质
CN115439308A (zh) 训练试衣模型的方法、虚拟试衣方法及相关装置
CN112967397A (zh) 肢体三维建模方法、装置、虚拟现实设备及增强现实设备
CN113158970B (zh) 一种基于快慢双流图卷积神经网络的动作识别方法与系统
EP3970112A1 (en) System and method for single-modal or multi-modal style transfer and system for random stylization using the same
CN111652349A (zh) 一种神经网络的处理方法及相关设备
CN113298931A (zh) 一种物体模型的重建方法、装置、终端设备和存储介质
CN117218300A (zh) 三维模型的构建方法、三维构建模型的训练方法及装置
CN115439179A (zh) 训练试衣模型的方法、虚拟试衣方法及相关装置
CN112037315A (zh) 一种局部描述子的生成方法、模型生成的方法及装置
CN113378808B (zh) 人物图像识别方法、装置、电子设备和计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination