CN110827342B - 三维人体模型重建方法及存储设备、控制设备 - Google Patents

三维人体模型重建方法及存储设备、控制设备 Download PDF

Info

Publication number
CN110827342B
CN110827342B CN201910999200.5A CN201910999200A CN110827342B CN 110827342 B CN110827342 B CN 110827342B CN 201910999200 A CN201910999200 A CN 201910999200A CN 110827342 B CN110827342 B CN 110827342B
Authority
CN
China
Prior art keywords
human body
uvi
network
parameters
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910999200.5A
Other languages
English (en)
Other versions
CN110827342A (zh
Inventor
孙哲南
张鸿文
欧阳万里
曹杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201910999200.5A priority Critical patent/CN110827342B/zh
Priority to US17/629,373 priority patent/US11436745B1/en
Priority to PCT/CN2019/112550 priority patent/WO2021077295A1/zh
Publication of CN110827342A publication Critical patent/CN110827342A/zh
Application granted granted Critical
Publication of CN110827342B publication Critical patent/CN110827342B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人体模型重建技术领域,具体涉及一种三维人体模型重建方法及存储设备、控制设备,旨在解决三维模型重建结果与二维图像不对齐等问题。本发明的重建方法包括:根据人体图像,采用预训练的全卷积网络模块获取人体部件的全局UVI图和局部UVI图;基于全局UVI图,利用第一神经网络估计相机参数及人体模型的形状参数;基于局部UVI图,利用第二神经网络提取人体各关节点的旋转特征;基于人体各关节点的旋转特征,利用基于位置辅助的特征改良策略对旋转特征进行改良,得到改良的旋转特征;根据改良的旋转特征,利用第三神经网络估计人体模型的姿态参数。本发明能够能更为准确、高效地进行人体模型重建,并提高了姿态估计的鲁棒性。

Description

三维人体模型重建方法及存储设备、控制设备
技术领域
本发明涉及人体模型重建技术领域,具体涉及一种三维人体模型重建方法及存储设备、控制设备。
背景技术
三维人体模型重建是三维计算机视觉的重要任务之一,其旨在快速、准确地从人体图像中重建出三维人体参数化模型,其中包括模型的形状参数及姿态参数。
在现有的三维人体模型重建技术中,传统的基于模型拟合方法通常将三维人体模型迭代形变,使得模型重投影后与二维图像信息如关节点位置或人体轮廓相匹配,这些方法通常较为耗时且对模型参数的初始值敏感。而新兴的基于学习的方法,利用神经网络直接从图像中提取特征并估计模型参数,这些方法一定程度上提高了模型的形状及姿态估计的精度,但仍然存在三维模型重建结果与二维图像不对齐等问题。其原因主要有两点:(1)图像和模型参数之间存在高度非线性的映射关系;(2)三维人体模型的姿态通常以关节点的相对旋转量表示,从而导致模型重建结果重投影在二维图像上容易存在位置偏差。
发明内容
为了解决现有技术中的上述问题,本发明提出了一种三维人体模型重建方法及存储设备、控制设备,提高了模型重建的准确性和效率。
本发明的一方面,提出一种三维人体模型重建方法,所述方法包括:
根据人体图像,采用预训练的全卷积网络模块获取人体部件的全局UVI图和局部UVI图;
基于所述全局UVI图,利用第一神经网络估计相机参数及人体模型的形状参数;
基于所述局部UVI图,利用第二神经网络提取人体各关节点的旋转特征;
基于所述人体各关节点的旋转特征,利用基于位置辅助的特征改良策略对旋转特征进行改良,得到改良的旋转特征;
根据所述改良的旋转特征,利用第三神经网络估计人体模型的姿态参数。
优选地,所述UVI图包括:U坐标图、V坐标图和I索引图;
其中,U坐标和V坐标分别表示三维人体模型在U、V纹理空间的坐标,I索引表示人体各部件的索引。
优选地,所述全卷积网络模块包括:第一全卷积网络、第二全卷积网络、第三全卷积网络和第四全卷积网络;
相应地,“根据人体图像,采用预训练的全卷积网络模块获取人体部件的全局UVI图和局部UVI图”包括以下步骤:
根据所述人体图像,利用所述第一全卷积网络提取全局特征图;
根据所述全局特征图,利用所述第二全卷积网络预测出对应的全局UVI图;
根据所述全局特征图,利用所述第三全卷积网络生成人体各关节点的位置热力图,进而得到各关节点的位置;
根据所述各关节点的位置,计算各关节点对应的仿射变换参数;
根据所述各关节点的仿射变换参数,对所述全局特征图进行仿射变换得到各关节点的局部特征图;
根据所述局部特征图,利用所述第四全卷积网络预测出对应的局部UVI图。
优选地,“根据所述各关节点的位置,计算各关节点对应的仿射变换参数”的步骤具体为:根据下式计算各关节点对应的仿射变换参数:
sk=αmax(|jp(k)-jk|2,|jp(k)-jc(k)|2)
Figure BDA0002240749050000021
ck=jk
其中,第k个关节点的仿射变换参数包括:尺度参数sk、旋转参数rk及平移参数ck;α表示预设的常量,e表示垂直向下的单位向量,jk表示第k个关节点的位置坐标,p(k)函数用于返回第k个关节点的父关节点索引,c(k)函数用于返回第k个关节点的子关节点索引。
优选地,“基于所述人体各关节点的旋转特征,利用基于位置辅助的特征改良策略对旋转特征进行改良,得到改良的旋转特征”的步骤包括:
利用第一图卷积网络沿着人体运动链收集所述人体各关节点的旋转特征,并将所述人体各关节点的旋转特征转换到位置特征空间,得到位置特征;
根据不同关节点间的空间结构信息,利用第二图卷积网络对所述位置特征进行精调,得到改良的位置特征;
利用第三图卷积网络收集所述改良的位置特征,并将所述改良的位置特征转换到旋转特征空间,得到改良的旋转特征。
优选地,在训练时,神经网络从所述位置特征及所述改良的位置特征中回归人体模型各关节点的位置坐标,从所述旋转特征及所述改良的旋转特征中回归人体模型各关节点的姿态参数。
优选地,所述第一图卷积网络的邻接矩阵A1的构造方式为:
若第j个关节点属于第i个关节点的祖先节点之一,则
Figure BDA0002240749050000031
否则,/>
Figure BDA0002240749050000032
其中,/>
Figure BDA0002240749050000033
表示所述邻接矩阵A1中位于第i行第j列的元素。
优选地,所述第二图卷积网络的邻接矩阵A2的构造方式为:
若第i个关节点和第j个关节点相连接或i=j,则
Figure BDA0002240749050000034
否则/>
Figure BDA0002240749050000035
其中,
Figure BDA0002240749050000036
表示所述邻接矩阵A2中位于第i行第j列的元素。
优选地,所述第三图卷积网络的邻接矩阵A3的构造方式为:
若第j个关节点属于第i个关节点的父关节点或子关节点或i=j,则
Figure BDA0002240749050000037
否则,/>
Figure BDA0002240749050000038
其中,/>
Figure BDA0002240749050000039
表示所述邻接矩阵A3中位于第i行第j列的元素。
优选地,所述人体模型是一个参数化的形变模型,其参数包括形状参数和姿态参数;
其中,形状参数表述的是人体模型的形状信息,姿态参数表述的是人体模型各关节点相对其父关节点的旋转量。
优选地,所述方法还包括:
根据所述相机参数、所述人体模型的形状参数和所述人体模型的姿态参数重建三维人体模型。
优选地,所述人体模型包括预设数量的关节点;
所述第二神经网络包括所述预设数量的支路网络,分别对应所述预设数量的关节点,每个所述支路网络用于提取对应关节点的旋转特征。
本发明的第二方面,提出一种存储设备,其中存储有多条程序,所述程序适于由处理器加载并执行,以实现上面所述的三维人体模型重建方法。
本发明的第三方面,提出一种控制设备,包括:处理器和存储器。其中,处理器适于加载程序,存储器适于存储所述程序;所述程序适于由所述处理器加载并执行,以实现上面所述的三维人体模型重建方法。
与最接近的现有技术相比,本发明具有如下有益效果:
(1)本发明利用UVI图作为中间表达,有效辅助神经网络对图像和模型间非线性映射关系的学习。UVI图为二维图像和三维模型之间建立了稠密的关联关系,其保留了人体形状和姿态的相关信息,而剔除背景、衣着、光照变化等无关信息,因而使得神经网络能更为高效地进行人体模型重建。
(2)本发明采取全局和局部的解耦设计,使得预测任务更为高效准确。三维人体模型的参数分为形状参数和姿态参数,其中形状参数描述人体模型的身高、胖瘦等全局信息,而姿态参数描述的是人体各关节点的相对旋转状态。本发明针对不同关节点的旋转特征采用第二神经网络中不同的支路网络进行预测,极大地提高了模型重建的准确性。
(3)本发明采用基于位置辅助的旋转特征改良策略,使得模型的姿态估计更为鲁棒。三维人体模型采用基于旋转的方式表达姿态,使得模型重建结果在位置上容易出现偏差,本发明采用基于位置辅助的旋转特征改良策略,有效地利用人体关节点间的空间结构关系,从而提高了姿态估计的鲁棒性。
附图说明
图1是本发明的三维人体模型重建方法实施例的主要步骤示意图;
图2是本发明实施例中人体图像、人体轮廓、人体部件分割图及全局UVI图的对比示意图;
图3是本发明实施例中人体图像、全局UVI图和局部UVI图的对比示例;其中,图3(a)、图3(b)和图3(c)分别为人体图像、全局UVI图和局部UVI图;
图4是本发明实施例中对人体图像、特征图及UVI图进行仿射变换操作前后的示例;
图5是本发明实施例中人体模型各关节点组成的树结构示意图;
图6是本发明实施例中图卷积网络的邻接矩阵构成示意图;其中,图6(a)、图6(b)和图6(c)分别为第一图卷积网络、第二图卷积网络和第三图卷积网络的邻接矩阵构成示意图;
图7是本发明实施例中对输入人体图像进行重建后的效果图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是,这些实施方式仅用于解释本发明的技术原理,并非旨在限制本发明的保护范围。
需要说明的是,在本发明的描述中,术语“第一”、“第二”仅仅是为了便于描述,而不是指示或暗示所述装置、元件或参数的相对重要性,因此不能理解为对本发明的限制。
人体模型是一个参数化的形变模型,其参数包括形状参数和姿态参数。其中,形状参数表述的是人体模型的形状信息(如身高、胖瘦等),姿态参数表述的是人体模型各关节点的的姿态状态,即各关节点相对其父关节点的旋转量。三维人体模型重建的任务就是要估计出模型参数(包括形状参数和姿态参数)和相机参数。
图1是本发明的三维人体模型重建方法实施例的主要步骤示意图。如图1所示,本实施例的三维人体模型重建方法包括步骤S1-S6:
步骤S1,根据人体图像,采用全卷积网络模块获取人体部件的全局UVI图和局部UVI图。其中,全卷积网络模块包括:第一全卷积网络、第二全卷积网络、第三全卷积网络和第四全卷积网络。该步骤可以具体包括步骤S11-S16:
步骤S11,根据人体图像,利用第一全卷积网络提取全局特征图。
步骤S12,根据全局特征图,利用第二全卷积网络预测出对应的全局UVI图。
步骤S13,根据全局特征图,利用第三全卷积网络生成人体各关节点的位置热力图,进而得到各关节点的位置。
步骤S14,根据各关节点的位置,计算各关节点对应的仿射变换参数,本实施例中如公式(1)-(3)所示:
sk=αmax(|jp(k)-jk|2,|jp(k)-jc(k)|2) (1)
Figure BDA0002240749050000061
ck=jk (3)
其中,第k个关节点的仿射变换参数包括:尺度参数sk、旋转参数rk及平移参数ck;α表示预设的常量,e表示垂直向下的单位向量,jk表示第k个关节点的位置坐标,p(k)函数用于返回第k个关节点的父关节点索引,c(k)函数用于返回第k个关节点的子关节点索引。
具体地,平移参数使得局部UVI图的中心位于各关节点;旋转参数使得局部UVI图中关节点及其父关节点连线的朝向一致;尺度参数使得局部UVI图的缩放能根据人体不同部件的大小作调整。
上述仿射变换操作能使得网络对人体不同部位的姿态估计采用不同大小的感受野,使得各部位的姿态感知可以根据部件的大小而自适应地作调整,从而有着更为准确的姿态估计。
步骤S15,根据各关节点的仿射变换参数,对全局特征图进行仿射变换得到各关节点的局部特征图。
步骤S16,根据局部特征图,利用第四全卷积网络预测出对应的局部UVI图。
本发明实施例中所提到的UVI图包括:U坐标图、V坐标图和I索引图。其中,U坐标和V坐标分别表示三维人体模型在U、V纹理空间的坐标,I索引表示人体各部件的索引。UVI图为二维图像和三维模型之间建立了稠密的关联关系,其保留了人体形状和姿态的相关信息,剔除了背景、衣着、光照变化等无关信息,从而有效辅助网络对模型参数的估计任务。
图2是本实施例中人体图像、人体轮廓、人体部件分割图及全局UVI图的对比示意图。如图2所示,4张图片从左至右依次表示:人体图像、人体轮廓、人体部件分割图和全局UVI图。可以看出,UVI图对人体形状和姿态的反映非常直观。
需要说明的是,上述全局UVI图在上采样后和输入图像语义对齐,而局部UVI图的中心点为人体的关节点位置。图3是本实施例中人体图像、全局UVI图和局部UVI图的对比示例。如图3所示,图3(a)是一张人体图像的示例,图3(b)是图3(a)中人体图像对应的全局UVI图示例,图3(c)是图3(a)中人体图像对应的局部UVI图示例。
图4是本实施例中对人体图像、特征图及UVI图进行仿射变换操作前后的示例。如图4所示,本实施例中的仿射变换操作可以利用空间变换网络(Spatial TransformerNetworks,STNs)完成。图4中上方的人体图像、全局特征图和全局UVI图,均为仿射变换操作前的图像,下方的人体部件图像、局部特征图和局部UVI图均为仿射变换后的图像,分别对应于上方的人体图像、全局特征图和全局UVI图中正方形框内的图像(膝关节及周边的图像)。上方左起第一个图像中标出了人体图像中膝关节点及其父关节(髋关节)点和子关节(踝关节)点的位置,在该图的正下方示出了公式(1)-(3)中各参数代表的含义。其中,正方形框代表人体图像中画出的用于截取膝关节附近图像的正方形框,正方形的中心点表示膝关节点(即ck和jk),位于该点左上方的点jp(k)表示髋关节点,位于该点左下方的点jc(k)表示踝关节点。rk为髋关节与膝关节连线相对于垂直向上线的旋转量,sk为正方形的边长,e表示垂直向下的单位向量。基于关节点jp(k),jk和jc(k)通过公式(1)-(3)计算出仿射变换参数ck、sk和rk后,空间变换网络根据仿射变换参数对图4上方的人体图像、全局特征图和全局UVI图进行变换即得到图4下方的人体部件图像、局部特征图和局部UVI图。需要说明的是,图4中对人体图像进行仿射变换仅作为可视化示例以便于理解,而非本发明涉及的方法步骤;图4中的全局UVI图和局部UVI图均为真实值而非由网络预测得到,由空间变换网络得到的局部UVI图将对网络预测的局部UVI图进行监督训练。
需要说明的是,在本实施例中,步骤S1用于预测全局及局部UVI图的全卷积网络在训练时可先进行预训练操作,再和后续步骤的其他网络进行混合训练。这样可以使得后续步骤的其他网络在训练开始时能得到较为理想的UVI图作为输入,从而使得训练过程更为稳定。
步骤S2,基于全局UVI图,利用第一神经网络估计相机参数及人体模型的形状参数。
步骤S3,基于局部UVI图,利用第二神经网络提取人体各关节点的旋转特征。
人体模型包括预设数量的关节点(如24个),相应地,第二神经网络包括预设数量的支路网络,分别对应预设数量的关节点,每个支路网络用于提取对应关节点的旋转特征。图5是本实施例中人体模型各关节点组成的树结构示意图。如图5所示,本实施例中需要提取人体的24个关节点,相应地,第二神经网络包括24个不同的支路网络,分别对应24个不同的关节点。针对不同关节点的旋转特征采用不同的支路网络进行预测,极大地提高了模型重建的准确性。
步骤S4,基于人体各关节点的旋转特征,利用基于位置辅助的特征改良策略对旋转特征进行改良,得到改良的旋转特征。该步骤可以具体包括步骤S41-S43:
步骤S41,利用第一图卷积网络沿着人体运动链收集所述人体各关节点的旋转特征,并将人体各关节点的旋转特征转换到位置特征空间,得到位置特征。
步骤S42,根据不同关节点间的空间结构信息,利用第二图卷积网络对位置特征进行精调,得到改良的位置特征。
步骤S43,利用第三图卷积网络收集改良的位置特征,并将改良的位置特征转换到旋转特征空间,得到改良的旋转特征。
具体地,训练时神经网络从上述位置特征及改良的位置特征中回归人体模型各关节点的位置坐标。
具体地,训练时神经网络从上述旋转特征及改良的旋转特征中回归人体模型各关节点的姿态参数,即相对旋转量。
图6为本实施例中图卷积网络的邻接矩阵构成示意图。其中,图6(a)、图6(b)和图6(c)分别为第一图卷积网络、第二图卷积网络和第三图卷积网络的邻接矩阵构成示意图。
具体地,第一图卷积网络的表达式可以如公式(4)所示:
Figure BDA0002240749050000091
其中,Zin和Zout分别是输入和输出特征,
Figure BDA0002240749050000092
是图的归一化邻接矩阵,W1是可学习的卷积核权重,σ(·)表示激活函数。如图6(a)所示,第一图卷积网络的邻接矩阵A1的构造方式为:若第j个关节点属于第i个关节点的祖先节点之一,则/>
Figure BDA0002240749050000093
否则,/>
Figure BDA0002240749050000094
其中,
Figure BDA0002240749050000095
表示邻接矩阵A1中位于第i行第j列的元素。
具体地,第二图卷积网络的表达式可以如公式(5)所示:
Figure BDA0002240749050000096
其中,Zin和Zout分别是输入和输出特征,
Figure BDA0002240749050000097
是图的归一化邻接矩阵,W2是可学习的卷积核权重,σ(·)表示激活函数。如图6(b)所示,第二图卷积网络的邻接矩阵A2的构造方式为:若第i个关节点和第j个关节点相连接或i=j,则/>
Figure BDA0002240749050000098
否则/>
Figure BDA0002240749050000099
其中,/>
Figure BDA00022407490500000910
表示邻接矩阵A2中位于第i行第j列的元素。
具体地,第三图卷积网络的表达式可以如公式(6)所示:
Figure BDA00022407490500000911
其中,Zin和Zout是输入和输出特征,
Figure BDA00022407490500000912
是图的归一化邻接矩阵,W3是可学习的卷积核权重,σ(·)表示激活函数。如图6(c)所示,第三图卷积网络的邻接矩阵A3的构造方式为:若第j个关节点属于第i个关节点的父关节点或子关节点或i=j,则/>
Figure BDA00022407490500000913
否则,/>
Figure BDA00022407490500000914
其中,/>
Figure BDA00022407490500000915
表示邻接矩阵A3中位于第i行第j列的元素。
步骤S5,根据改良的旋转特征,利用第三神经网络估计人体模型的姿态参数。
图7为本实施例中对输入人体图像进行重建后的效果图。其中,上方5张图片为输入的人体图像,下方5张图片分别与其正上方的人体图像对应,是5张人体图像的三维人体模型重建结果。从图7中可看出,本实施例对现实场景中人体姿态变化、衣着差异及遮挡严重等情况表现良好。
综上,本实施例提出的三维人体模型重建方法,其优点来源于以下三点:利用稠密UVI图作为中间表达、全局和局部的解耦设计以及基于位置辅助的旋转特征改良策略,与其他三维人体模型重建方法相比,本实施例提出的方法对现实场景下的图像中人体的姿态、衣着、光照及遮挡引起的变化情况表现更为鲁棒、准确。
在一种可选的实施例中,三维人体模型重建方法除了包括步骤S1-S5之外,还可以包括:
步骤S6,根据相机参数、人体模型的形状参数和人体模型姿态参数重建三维人体模型。上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述,但是本领域技术人员可以理解,为了实现本实施例的效果,不同的步骤之间不必按照这样的次序执行,其可以同时(并行)执行或以颠倒的次序执行,这些简单的变化都在本发明的保护范围之内。
基于上面的三维人体重建方法的实施例,本发明还提供了一种存储设备的实施例,其中存储有多条程序,所述程序适于由处理器加载并执行,以实现上面所述的三维人体模型重建方法。
进一步地,本发明还提供了一种控制设备,包括处理器和存储器。其中,处理器适于加载程序,存储器适于存储所述程序。所述程序适于由所述处理器加载并执行,以实现上面所述的三维人体模型重建方法。
本领域技术人员应该能够意识到,结合本文中所公开的实施例描述的各示例的方法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明电子硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征做出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (3)

1.一种三维人体模型重建方法,其特征在于,所述方法包括:
根据人体图像,采用预训练的全卷积网络模块获取人体部件的全局UVI图和局部UVI图;
所述全卷积网络模块包括:第一全卷积网络、第二全卷积网络、第三全卷积网络和第四全卷积网络;
相应地,根据人体图像,采用预训练的全卷积网络模块获取人体部件的全局UVI图和局部UVI图包括以下步骤:
根据所述人体图像,利用所述第一全卷积网络提取全局特征图;
根据所述全局特征图,利用所述第二全卷积网络预测出对应的全局UVI图;
根据所述全局特征图,利用所述第三全卷积网络生成人体各关节点的位置热力图,进而得到各关节点的位置;
根据所述各关节点的位置,计算各关节点对应的仿射变换参数;
具体为:根据下式计算各关节点对应的仿射变换参数:
sk=αmax(|jp(k)-jk|2,|jp(k)-jc(k)|2)
Figure QLYQS_1
ck=jk
其中,第k个关节点的仿射变换参数包括:尺度参数sk、旋转参数rk及平移参数ck;α表示预设的常量,e表示垂直向下的单位向量,jk表示第k个关节点的位置坐标,p(k)函数用于返回第k个关节点的父关节点索引,c(k)函数用于返回第k个关节点的子关节点索引;
根据所述各关节点的仿射变换参数,对所述全局特征图进行仿射变换得到各关节点的局部特征图;
根据所述局部特征图,利用所述第四全卷积网络预测出对应的局部UVI图;在训练时,神经网络从所述位置特征及改良的位置特征中回归人体模型各关节点的位置坐标,从所述旋转特征及所述改良的旋转特征中回归人体模型各关节点的姿态参数;
所述人体模型是一个参数化的形变模型,其参数包括形状参数和姿态参数;
其中,形状参数表述的是人体模型的形状信息,姿态参数表述的是人体模型各关节点相对其父关节点的旋转量;可根据相机参数、所述人体模型的形状参数和所述人体模型的姿态参数重建三维人体模型;
所述全局UVI图和局部UVI图包括:U坐标图、V坐标图和I索引图;
其中,U坐标和V坐标分别表示三维人体模型在U、V纹理空间的坐标,I索引表示人体各部件的索引;
基于所述全局UVI图,利用第一神经网络估计相机参数及人体模型的形状参数;
基于所述局部UVI图,利用第二神经网络提取人体各关节点的旋转特征;所述第二神经网络包括所述预设数量的支路网络,分别对应所述预设数量的关节点,每个所述支路网络用于提取对应关节点的旋转特征;
基于所述人体各关节点的旋转特征,利用基于位置辅助的特征改良策略对旋转特征进行改良,得到改良的旋转特征;
具体包括:
利用第一图卷积网络沿着人体运动链收集所述人体各关节点的旋转特征,并将所述人体各关节点的旋转特征转换到位置特征空间,得到位置特征;第一图卷积网络的表达式为:
Figure QLYQS_2
其中,Zin和Zout分别是输入和输出特征,
Figure QLYQS_3
是图的归一化邻接矩阵,W1是可学习的卷积核权重,σ(·)表示激活函数;
所述第一图卷积网络其邻接矩阵A1的构造方式为:
若第j个关节点属于第i个关节点的祖先节点之一,则
Figure QLYQS_4
否则,/>
Figure QLYQS_5
其中,
Figure QLYQS_6
表示所述邻接矩阵A1中位于第i行第j列的元素
根据不同关节点间的空间结构信息,利用第二图卷积网络对所述位置特征进行精调,得到改良的位置特征;
第二图卷积网络的表达式为:
Figure QLYQS_7
所述第二图卷积网络其邻接矩阵A2的构造方式为:
若第i个关节点和第j个关节点相连接或i=j,则
Figure QLYQS_8
否则/>
Figure QLYQS_9
其中,/>
Figure QLYQS_10
表示所述邻接矩阵A2中位于第i行第j列的元素
利用第三图卷积网络收集所述改良的位置特征,并将所述改良的位置特征转换到旋转特征空间,得到改良的旋转特征;
根据所述改良的旋转特征,利用第三神经网络估计人体模型的姿态参数;
第三图卷积网络的表达式为:
Figure QLYQS_11
所述第三图卷积网络的邻接矩阵A3的构造方式为:
若第j个关节点属于第i个关节点的父关节点或子关节点或i=j,则
Figure QLYQS_12
否则,/>
Figure QLYQS_13
其中,/>
Figure QLYQS_14
表示所述邻接矩阵A3中位于第i行第j列的元素。
2.一种存储设备,其中存储有多条程序,其特征在于,所述程序适于由处理器加载并执行,以实现权利要求1所述的三维人体模型重建方法。
3.一种控制设备,包括:
处理器,适于加载程序;以及
存储器,适于存储所述程序;
其特征在于,所述程序适于由所述处理器加载并执行,以实现权利要求1所述的三维人体模型重建方法。
CN201910999200.5A 2019-10-21 2019-10-21 三维人体模型重建方法及存储设备、控制设备 Active CN110827342B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910999200.5A CN110827342B (zh) 2019-10-21 2019-10-21 三维人体模型重建方法及存储设备、控制设备
US17/629,373 US11436745B1 (en) 2019-10-21 2019-10-22 Reconstruction method of three-dimensional (3D) human body model, storage device and control device
PCT/CN2019/112550 WO2021077295A1 (zh) 2019-10-21 2019-10-22 三维人体模型重建方法及存储设备、控制设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910999200.5A CN110827342B (zh) 2019-10-21 2019-10-21 三维人体模型重建方法及存储设备、控制设备

Publications (2)

Publication Number Publication Date
CN110827342A CN110827342A (zh) 2020-02-21
CN110827342B true CN110827342B (zh) 2023-06-02

Family

ID=69549795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910999200.5A Active CN110827342B (zh) 2019-10-21 2019-10-21 三维人体模型重建方法及存储设备、控制设备

Country Status (3)

Country Link
US (1) US11436745B1 (zh)
CN (1) CN110827342B (zh)
WO (1) WO2021077295A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114450719A (zh) * 2019-09-30 2022-05-06 Oppo广东移动通信有限公司 人体模型重建方法、重建系统及存储介质
CN111047548B (zh) * 2020-03-12 2020-07-03 腾讯科技(深圳)有限公司 姿态变换数据处理方法、装置、计算机设备和存储介质
CN111476901B (zh) * 2020-04-10 2023-04-07 中国科学技术大学 一种三维人体形状表示方法
CN111582206B (zh) * 2020-05-13 2023-08-22 抖音视界有限公司 用于生成生物体姿态关键点信息的方法和装置
CN111598111B (zh) * 2020-05-18 2024-01-05 商汤集团有限公司 三维模型生成方法、装置、计算机设备及存储介质
CN111968217B (zh) * 2020-05-18 2021-08-20 北京邮电大学 基于图片的smpl参数预测以及人体模型生成方法
CN111784818B (zh) * 2020-06-01 2024-04-16 北京沃东天骏信息技术有限公司 生成三维人体模型的方法、装置及计算机可读存储介质
CN111680623B (zh) * 2020-06-05 2023-04-21 北京百度网讯科技有限公司 姿态转换方法及装置、电子设备、存储介质
CN111797753B (zh) * 2020-06-29 2024-02-27 北京灵汐科技有限公司 图像驱动模型的训练、图像生成方法、装置、设备及介质
CN113421328B (zh) * 2021-05-27 2022-03-11 中国人民解放军军事科学院国防科技创新研究院 一种三维人体虚拟化重建方法及装置
CN113420676B (zh) * 2021-06-25 2023-06-02 华侨大学 一种二路特征交错融合网络的3d人体姿态估计方法
CN113538667B (zh) * 2021-09-17 2021-12-24 清华大学 动态场景光场重建方法及装置
CN113989434A (zh) * 2021-10-27 2022-01-28 聚好看科技股份有限公司 一种人体三维重建方法及设备
CN114049435A (zh) * 2021-11-08 2022-02-15 湖南大学 一种基于Transformer模型的三维人体重建方法及系统
CN115239889B (zh) * 2022-09-01 2023-05-26 北京百度网讯科技有限公司 3d重建网络的训练方法、3d重建方法、装置、设备和介质
CN116030537B (zh) * 2023-03-28 2023-05-23 山东科技大学 基于多分支注意力图卷积的三维人体姿态估计方法
CN116612495B (zh) * 2023-05-05 2024-04-30 阿里巴巴(中国)有限公司 图像处理方法及装置
CN117077723A (zh) * 2023-08-15 2023-11-17 支付宝(杭州)信息技术有限公司 一种数字人动作生产方法及装置
CN116996695B (zh) * 2023-09-27 2024-04-05 深圳大学 一种全景图像压缩方法、装置、设备及介质
CN117542122B (zh) * 2024-01-09 2024-03-22 北京渲光科技有限公司 人体位姿估计与三维重建方法、网络训练方法及装置
CN118506458B (zh) * 2024-07-17 2024-10-11 凝动万生医疗科技(武汉)有限公司 一种高精度的多视角动作捕捉方法及系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102411779B (zh) * 2011-08-19 2014-12-10 中国科学院西安光学精密机械研究所 基于图像的物体模型匹配姿态测量方法
CN104992441B (zh) * 2015-07-08 2017-11-17 华中科技大学 一种面向个性化虚拟试衣的真实人体三维建模方法
CN107067429A (zh) * 2017-03-17 2017-08-18 徐迪 基于深度学习的人脸三维重建和人脸替换的视频编辑系统及方法
CN108053437B (zh) * 2017-11-29 2021-08-03 奥比中光科技集团股份有限公司 基于体态的三维模型获取方法及装置
CN108876814B (zh) * 2018-01-11 2021-05-28 南京大学 一种生成姿态流图像的方法
DE102019106123A1 (de) * 2018-03-12 2019-09-12 Nvidia Corporation Dreidimensionale (3D) Posenschätzung von Seiten einer monokularen Kamera
US10929654B2 (en) 2018-03-12 2021-02-23 Nvidia Corporation Three-dimensional (3D) pose estimation from a monocular camera
CN108629831B (zh) * 2018-04-10 2021-03-12 清华大学 基于参数化人体模板和惯性测量的三维人体重建方法及系统
EP3579196A1 (en) * 2018-06-05 2019-12-11 Cristian Sminchisescu Human clothing transfer method, system and device
CN108921926B (zh) * 2018-07-02 2020-10-09 云从科技集团股份有限公司 一种基于单张图像的端到端三维人脸重建方法
CN109543535B (zh) * 2018-10-23 2021-12-21 华南理工大学 三维指静脉特征提取方法及其匹配方法
CN109508678B (zh) * 2018-11-16 2021-03-30 广州市百果园信息技术有限公司 人脸检测模型的训练方法、人脸关键点的检测方法和装置
CN110136243B (zh) * 2019-04-09 2023-03-17 五邑大学 一种三维人脸重建方法及其系统、装置、存储介质
CN110310285B (zh) * 2019-05-14 2022-12-20 武汉泓毅智云信息有限公司 一种精确的基于三维人体重建的烧伤面积计算方法
US10929669B2 (en) * 2019-06-04 2021-02-23 Magentiq Eye Ltd Systems and methods for processing colon images and videos

Also Published As

Publication number Publication date
WO2021077295A1 (zh) 2021-04-29
CN110827342A (zh) 2020-02-21
US11436745B1 (en) 2022-09-06
US20220262024A1 (en) 2022-08-18

Similar Documents

Publication Publication Date Title
CN110827342B (zh) 三维人体模型重建方法及存储设备、控制设备
CN109636831B (zh) 一种估计三维人体姿态及手部信息的方法
JP7178396B2 (ja) 入力映像に含まれた客体の3次元ポーズの推定のためのデータを生成する方法およびコンピュータシステム
Balan et al. Detailed human shape and pose from images
CN111160164B (zh) 基于人体骨架和图像融合的动作识别方法
CN111311729B (zh) 一种基于双向投影网络的自然场景三维人体姿态重建方法
KR20220024517A (ko) 2차원 이미지들로부터의 3차원의 장면 재구성
CN102074034B (zh) 多模型人体运动跟踪方法
CN111062326B (zh) 一种基于几何驱动的自监督人体3d姿态估计网络训练方法
CN111968165B (zh) 动态人体三维模型补全方法、装置、设备和介质
CN110766746B (zh) 一种基于联合2d-3d神经网络的3d驾驶员姿态估计方法
CN116740290B (zh) 基于可变形注意力的三维交互双手重建方法及系统
CN110738650A (zh) 一种传染病感染识别方法、终端设备及存储介质
CN112465858A (zh) 基于概率网格滤波的语义视觉slam方法
CN110543817A (zh) 基于姿势指导特征学习的行人再识别方法
CN115018999A (zh) 一种多机器人协作的稠密点云地图构建方法及装置
CN111339969B (zh) 人体姿势估计方法、装置、设备及存储介质
CN111311732A (zh) 3d人体网格获取方法及装置
WO2023185241A1 (zh) 数据处理方法、装置、设备以及介质
CN115049764B (zh) Smpl参数预测模型的训练方法、装置、设备及介质
CN117218713A (zh) 动作解算方法、装置、设备及存储介质
CN115620016A (zh) 一种骨架检测模型的构建方法、图像数据识别方法
CN114820899A (zh) 一种基于多视角渲染的姿态估计方法和装置
JP2022092528A (ja) 三次元人物姿勢推定装置、方法およびプログラム
CN102819849A (zh) 基于外观约束双阶段优化的人体上半身三维运动跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant