CN114972622A - 一种针对民族服装图像的高精度三维重建方法 - Google Patents

一种针对民族服装图像的高精度三维重建方法 Download PDF

Info

Publication number
CN114972622A
CN114972622A CN202111645896.5A CN202111645896A CN114972622A CN 114972622 A CN114972622 A CN 114972622A CN 202111645896 A CN202111645896 A CN 202111645896A CN 114972622 A CN114972622 A CN 114972622A
Authority
CN
China
Prior art keywords
national
clothing
dimensional
garment
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111645896.5A
Other languages
English (en)
Other versions
CN114972622B (zh
Inventor
刘骊
张瑀卿
付晓东
黄青松
刘利军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN202111645896.5A priority Critical patent/CN114972622B/zh
Publication of CN114972622A publication Critical patent/CN114972622A/zh
Application granted granted Critical
Publication of CN114972622B publication Critical patent/CN114972622B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30124Fabrics; Textile; Paper

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种针对民族服装图像的高精度三维重建方法,属于计算机视觉、图形图像领域。首先对输入的民族服装数据集中的单幅图像进行特征提取,得到超像素特征、全局特征和局部特征;再采用编码器融合提取到的全局特征和局部特征进行特征表示,得到褶皱、配饰、款式等民族服装细节信息;然后,基于自定义的民族服装语义属性、超像素特征、局部特征和全局特征进行着装解析,生成民族服装的着装层次;最后,结合计算的三维采样点、民族服装细节信息和着装层次,通过预测无符号距离进行隐式重建,精细化后得到最终的三维民族服装模型。本发明能有效用于快速重建单幅民族服装图像,生成具有高精度的三维民族服装模型。

Description

一种针对民族服装图像的高精度三维重建方法
技术领域
本发明涉及一种针对民族服装图像的高精度三维重建方法,属于计算机视觉、图形图像领域。
背景技术
高精度的三维服装模型广泛应用于在游戏、电影、虚拟试衣等领域,然而,由于服装拓扑结构、几何结构、层次结构复杂,使得服装重建成为难点。基于参数模板的重建,利用了SMPL模板,为约束形状估计解空间提供强先验,但通常受限于预先定义的服装模板的拓扑结构,对超出范围的变形难以处理。而不使用参数模型的无模板方法则是利用回归三维形状重建拓扑结构更加复杂的服装。与点云、体素、网格表示相比,隐式函数允许以无限分辨率表示三维曲面,且不会消耗过多的内存。例如Fang(<IEEE International Conferenceon Computer Vision>,2021)通过像素特征对齐和三维位置特征,为距离函数提供了更强的空间上下文信息,进而实现了开放边界服装的处理。Corona(<Conference on ComputerVision and Pattern Recognition>,2021)使用线性模型对服装进行编码,使用损失函数
Figure BDA0003443562790000011
对z进行约束,实现了平滑插值以及新服装的构建。Buffet(<ACM Transactions onGraphics,Association for Computing Machinery>38(4),2019)使用鲁棒的方法解任意数量的布层,通过隐式表达解决了相互渗透。以上公知的三维服装重建方法主要侧重单幅图像中对人体形状姿势进行恢复、从多幅图像中恢复着装人体或仅实现单层服装的重建。
由于少数民族服装具有服装款式较多,部件属性复杂、层次结构复杂,服装较宽松、配饰繁多,细粒度属性较多的特殊性,而现有的公知方法不能解决宽松、层次复杂以及有遮挡的民族服装的重建。本发明将提取全局特征、局部特征进行特征表示,以获得褶皱、配饰、款式民族服装细节信息,解决基于单视图重建导致的特征模糊、细节丢失的问题;结合超像素特征、全局-局部特征进行着装解析,得到民族服装图像中的着装层次,并采用从粗到细的采样策略,提高三维民族服装的重建效率和重建精度。
发明内容
本发明提供了一种针对民族服装图像的高精度三维重建方法,用于解决基于单视图重建导致的特征模糊、细节丢失的问题,生成具有高精度的三维民族服装模型。
本发明的技术方案是:一种针对民族服装图像的高精度三维重建方法:包括如下步骤:
Step1、对输入的民族服装数据集中的单幅图像进行特征提取,得到超像素特征、全局特征和局部特征;
Step2、采用编码器融合提取到的全局特征和局部特征进行特征表示,得到褶皱、配饰、款式等民族服装细节信息;
Step3、基于自定义的民族服装语义属性、超像素特征、局部特征和全局特征进行着装解析,生成民族服装的着装层次;
Step4、结合计算的三维采样点、民族服装细节信息和着装层次,通过预测无符号距离进行隐式重建,精细化后得到最终的三维民族服装模型。
所述Step1具体如下:
首先,对输入的民族服装数据集D={D1,D2,...,Dn}中的单幅民族图像I∈D,用SLIC超像素算法得到像素分割图x,再采用ALexNet网络得到超像素特征Ip,其中n表示民族服装数据集中图像的数量;
然后,构建不包括全连接层的ResNet-50网络,对I进行全局特征编码,得到全局特征G={θ,Ib},其中θ为形状参数,Ib为民族服装二维轮廓图;
最后,以上装(肩颈部、前胸、腰部、肘部)、下装(腰部和腿部)以及连体装(肩颈部、前胸、腰部和腿部)作为着装部位,定义民族服装着装部位的语义属性,在着装部位采用Faster R-CNN确定图像I的局部区域集V={V1,V2,...,Vm},再采用ResNet-50网络对V进行局部特征提取,得到局部特征集
Figure BDA0003443562790000021
其中m表示局部特征区域的数量,
Figure BDA0003443562790000022
表示第i个局部区域中的第t个的局部特征;
所述Step3具体如下:
首先,根据民族服装的风格和款式结构,对输入的民族服装数据集D={D1,D2,...,Dn}中的所有单幅民族图像I∈D,定义包含上衣(如小袄、短衫、背心、坎肩、披肩等w种款式风格)、下装(如长裤、短裤、灯笼裤、筒裙等e种款式风格)、连体装(长衫、长袍、开衩长衣、连衣裙等s种款式风格)、配饰(银饰、项圈、围裙、腰箍、绒球等j种款式风格)四种类别的民族服装语义属性;
其次,基于自定义的民族服装的语义属性,进一步构建着装层次块LB={a,b,c,d},其中a={a1,a2,...,aw}表示上衣集(坎肩、披肩等)、b={b1,b2,...,be}为下装集、c={c1,c2,...,cs}为连体装集、d={d1,d2,...,dj}为配饰集,w、e、s、j分别表示上衣、下装、连体装及配饰的语义属性数量,d一般处于服装的最上层,表示为d>{a∪b∪c};a中的坎肩、披肩一般都位于c之上,表示为a>c;c一般处于b之上,表示为c>b。对于a,躯干部位越靠近人体轮廓且离手部区域越远,着装层次越高;对于b,越靠近脚部所属区域,着装层次越低;对于c,越靠近脚部所属区域且越靠近手部所属区域,着装层次越低。
然后,将民族图像I和带有语义属性的民族图像IY作为输入,通过级联Step1得到的超像素特征Ip、全局特征G、局部特征L后采用FCN网络,连接构建的着装层次块LB,进行着装解析。最终得到服装语义分割图,生成民族服装的着装层次l。
所述Step4具体如下:
首先,采用区域增长对民族服装语义属性和民族服装数据集D中模型的几何边界进行处理,获得显著区域Ω和边界区域B,对区域Ω、B进行最大半径泊松圆盘随机采样,分别得到三维采样点集X1、X2和三维采样点q∈{X1∪X2},其中区域B的采样频率不变,区域Ω的采样频率增加。
然后,将三维采样点q、Step2得到的细节信息M={M1,M2,M3}输入MLP解码器,其中M1、M2、M3分别为褶皱、配饰和款式细节,定义LF=LU+λLG损失函数,其中,
Figure BDA0003443562790000031
为三维采样点q的真实值和预测值之间的L1损失,υ表示网络参数,ω为网络参数,u(q)=su表示三维采样点q的UDF地面真值,λ表示权重值,
Figure BDA0003443562790000032
表示UDF的真实梯度方向;进一步定义无符号距离函数UDF:f(q,ω)=fdec(L,G,q)。
其次,结合局部特征L、全局特征G、三维采样点q和着装层次l,采用含互穿项
Figure BDA0003443562790000033
的隐式曲面
Figure BDA0003443562790000034
实现多层三维粗糙服装模型的重建,其中Gg,Gh表示两个相互渗透的服装网络,Γ(Gg,Gh)表示服装网络Gg,Gh的索引对,nhk表示服装网络Gh第k个顶点的法向量,gu表示服装网络Gg的第u个顶点,hk表示服装网络Gh的第k个顶点,U为采样点数,
Figure BDA0003443562790000041
为三维采样点q的偏移量。
最后,定义边界平滑处理公式E(q)=||y*-y||2,精细化得到最终的三维民族服装模型,其中y*、y分别表示三维采样点q的预测值与真实值。
本发明的有益效果是:
1、公知的方法主要通过人体姿态、形状或三维点投影获取局部特征,导致缺失细节信息,然而,民族服装属性多,配饰样式等细粒度复杂,本发明通过定义的民族服装着装部位语义属性来进行区域特征提取,再融合提取到的全局特征和局部特征进行特征表示,得到表示民族服装图像的褶皱、配饰、样式等细节信息,以解决单幅图像深度信息缺失的问题,提高民族服装三维重建的精度。
2、公知的方法主要针对单件服装进行重建,而对于多层民族服装重建效果并不理想,本发明通过自定义的民族服装语义属性进行着装层次定义,并结合超像素特征、全局特征、局部特征进行着装解析,能够获得更加准确的着装层次,提高语义解析准确性,进一步提高民族服装着装层次的重建精度。
3、公知的方法大多采用三维均匀采样,并通过三维点云预测无符号距离,导致重建速度慢,本发明采用粗到细的基于显著区域的非均匀采样方法,预测无符号距离后直接生成民族服装网格模型,能够在有效的空间内提高采样频率,提高民族服装三维重建的速度。
附图说明
图1为本发明的流程图;
图2为本发明的超像素特征示例图;
图3为本发明的全局特征流程图;
图4为本发明的局部特征流程图;
图5为本发明的着装层次流程图;
图6为本发明的三维民族服装重建结果实例图;
具体实施方式
实施例1:如图1-图6所示,一种针对民族服装图像的高精度三维重建方法,包括如下步骤:
Step1、对输入的民族服装数据集中的单幅图像进行特征提取,得到超像素特征、全局特征和局部特征;
Step2、采用编码器融合提取到的全局特征和局部特征进行特征表示,得到褶皱、配饰、款式等民族服装细节信息;
Step3、基于自定义的民族服装语义属性、超像素特征、局部特征和全局特征进行着装解析,生成民族服装的着装层次;
Step4、结合计算的三维采样点、民族服装细节信息和着装层次,通过预测无符号距离进行隐式重建,精细化后得到最终的三维民族服装模型。
所述Step1具体如下:
首先,对输入的民族服装数据集D={D1,D2,...,Dn}中的单幅民族图像I∈D,用SLIC超像素算法得到像素分割图x,再采用ALexNet网络得到超像素特征Ip,其中n表示民族服装数据集中图像的数量;
然后,构建不包括全连接层的ResNet-50网络,对I进行全局特征编码,得到全局特征G={θ,Ib},其中θ为形状参数,Ib为民族服装二维轮廓图;
最后,以上装(肩颈部、前胸、腰部、肘部)、下装(腰部和腿部)以及连体装(肩颈部、前胸、腰部和腿部)作为着装部位,定义民族服装着装部位的语义属性,在着装部位采用Faster R-CNN确定图像I的局部区域集V={V1,V2,...,Vm},再采用ResNet-50网络对V进行局部特征提取,得到局部特征集
Figure BDA0003443562790000051
其中m表示局部特征区域的数量,
Figure BDA0003443562790000052
表示第i个局部区域中的第t个的局部特征;
所述Step3具体如下:
首先,根据民族服装的风格和款式结构,对输入的民族服装数据集D={D1,D2,...,Dn}中的所有单幅民族图像I∈D,定义包含上衣(如小袄、短衫、背心、坎肩、披肩等w种款式风格)、下装(如长裤、短裤、灯笼裤、筒裙等e种款式风格)、连体装(长衫、长袍、开衩长衣、连衣裙等s种款式风格)、配饰(银饰、项圈、围裙、腰箍、绒球等j种款式风格)四种类别的民族服装语义属性;
其次,基于自定义的民族服装的语义属性,进一步构建着装层次块LB={a,b,c,d},其中a={a1,a2,...,aw}表示上衣集(坎肩、披肩等)、b={b1,b2,...,be}为下装集、c={c1,c2,...,cs}为连体装集、d={d1,d2,...,dj}为配饰集,w、e、s、j分别表示上衣、下装、连体装及配饰的语义属性数量,d一般处于服装的最上层,表示为d>{a∪b∪c};a中的坎肩、披肩一般都位于c之上,表示为a>c;c一般处于b之上,表示为c>b。对于a,躯干部位越靠近人体轮廓且离手部区域越远,着装层次越高;对于b,越靠近脚部所属区域,着装层次越低;对于c,越靠近脚部所属区域且越靠近手部所属区域,着装层次越低。
然后,将民族图像I和带有语义属性的民族图像IY作为输入,通过级联Step1得到的超像素特征Ip、全局特征G、局部特征L后采用FCN网络,连接构建的着装层次块LB,进行着装解析。最终得到服装语义分割图,生成民族服装的着装层次l。
所述Step4具体如下:
首先,采用区域增长对民族服装语义属性和民族服装数据集D中模型的几何边界进行处理,获得显著区域Ω和边界区域B,对区域Ω、B进行最大半径泊松圆盘随机采样,分别得到三维采样点集X1、X2和三维采样点q∈{X1∪X2},其中区域B的采样频率不变,区域Ω的采样频率增加。
然后,将三维采样点q、Step2得到的细节信息M={M1,M2,M3}输入MLP解码器,其中M1、M2、M3分别为褶皱、配饰和款式细节,定义LF=LU+λLG损失函数,其中,
Figure BDA0003443562790000061
为三维采样点q的真实值和预测值之间的L1损失,υ表示网络参数,ω为网络参数,u(q)=su表示三维采样点q的UDF地面真值,λ表示权重值,
Figure BDA0003443562790000062
表示UDF的真实梯度方向;进一步定义无符号距离函数UDF:f(q,ω)=fdec(L,G,q)。
其次,结合局部特征L、全局特征G、三维采样点q和着装层次l,采用含互穿项
Figure BDA0003443562790000063
的隐式曲面
Figure BDA0003443562790000064
实现多层三维粗糙服装模型的重建,其中Gg,Gh表示两个相互渗透的服装网络,Γ(Gg,Gh)表示服装网络Gg,Gh的索引对,nhk表示服装网络Gh第k个顶点的法向量,gu表示服装网络Gg的第u个顶点,hk表示服装网络Gh的第k个顶点,U为采样点数,
Figure BDA0003443562790000073
为三维采样点q的偏移量。
最后,定义边界平滑处理公式E(q)=||y*-y||2,精细化得到最终的三维民族服装模型,其中y*、y分别表示三维采样点q的预测值与真实值。
实施例2:如图1所示,一种针对民族服装图像的高精度三维重建方法,本方法具体步骤如下:
Step1、首先,对输入的民族服装数据集D={D1,D2,...,Dn}中的单幅民族图像I∈D,用SLIC超像素算法得到像素分割图x,再采用ALexNet网络得到超像素特征Ip,其中n表示民族服装数据集中图像的数量,得到的超像素特征示例见图2。
然后,如图3所示,构建不包括全连接层的ResNet-50网络,对I进行全局特征编码,得到全局特征G={θ,Ib},其中Ib为民族服装二维轮廓图,通过Ib和二维关节信息得到三维人体形状信息参数θ,得到全局特征图及二维轮廓图。
最后,如图4所示,以上装(肩颈部、前胸、腰部、肘部)、下装(腰部和腿部)以及连体装(肩颈部、前胸、腰部和腿部)作为着装部位,定义民族服装着装部位的语义属性,见表1。在着装部位采用Faster R-CNN确定图像I的局部区域集V={V1,V2,...,Vm},再采用ResNet-50网络对V进行局部特征提取,得到局部特征集
Figure BDA0003443562790000071
其中m表示局部特征区域的数量,
Figure BDA0003443562790000072
表示第i个局部区域中的第t个的局部特征,得到的局部特征图。
表1为着装部位及其语义属性
着装部位 语义属性
肩颈部 圆领、立领、v领、高领、无领
前胸 对襟、大襟、左襟、右襟、肚兜
肘部 宽松长袖、紧身长袖、宽松短袖、紧身短袖、无袖
腰部 围腰、腰带、短上衣、高腰裤、高腰裙
腿部 宽松、紧身、长、短、裤、裙
Step2、首先,通过编码器融合提取到的民族服装二维轮廓图Ib和局部特征进行特征表示,得到M2配饰和M3样式的细节信息;再通过编码器融合形状参数θ、民族服装二维轮廓图Ib以及M3样式形成特定组合,通过采用核
Figure BDA0003443562790000081
计算混合权值,用极窄的带宽来组合类似的褶皱图案,最终得到服装的褶皱信息M1,其中φ=(θ,IbM3)为形状-样式预测模型,φK表示二维关节点下的预测模型,其中g(φ)为θ姿势下的服装位移,g(φK)为在二维关节点下的服装位移,αx为带宽。
Step3、首先,如表2所示,根据民族服装的风格和款式结构,对输入的民族服装数据集D={D1,D2,...,Dn}中的所有单幅民族图像I∈D,定义包含上衣(如小袄、短衫、背心、坎肩、披肩等w种款式风格)、下装(如长裤、短裤、灯笼裤、筒裙等e种款式风格)、连体装(长衫、长袍、开衩长衣、连衣裙等s种款式风格)、配饰(银饰、项圈、围裙、腰箍、绒球等j种款式风格)四种类别的民族服装语义属性。
表2
类别 款式风格
上衣 上衣、小袄、短衫、背心、坎肩、披肩、衬衣、肚兜、开衫
下装 长裤、短裤、灯笼裤、筒裙、长裙、短裙、百褶裙
连体装 长衫、长袍、大衣、开衩长衣、连衣裙、长尾衣、长围兜
配饰 银饰、项圈、围裙、腰带、腰箍、挎包、绣球
其次,基于自定义的民族服装的款式风格,进一步构建着装层次块LB={a,b,c,d},其中a={a1,a2,...,aw}表示上衣集(坎肩、披肩等)、b={b1,b2,...,be}为下装集、c={c1,c2,...,cs}为连体装集、d={d1,d2,...,dj}为配饰集,w、e、s、j分别表示上衣、下装、连体装及配饰的语义属性数量,d一般处于服装的最上层,表示为d>{a∪b∪c};a中的坎肩、披肩一般都位于c之上,表示为a>c;c一般处于b之上,表示为c>b。对于a,躯干部位越靠近人体轮廓且离手部区域越远,着装层次越高;对于b,越靠近脚部所属区域,着装层次越低;对于c,越靠近脚部所属区域且越靠近手部所属区域,着装层次越低。
具体定义着装规则为:
Figure BDA0003443562790000091
其中f(xi)为K区域的第i个像素点的坐标值,N表示K区域的像素点数,其中a、b分别表示K区域最左、最右侧顶点值,S表示K语义区域内二维像素点的蒙特卡罗值,S越大,该区域的着装层次越大。
然后,如图5所示,将民族图像I和带有语义属性的民族图像IY作为输入,通过级联Step1得到的超像素特征Ip、全局特征G、局部特征L后采用FCN网络,连接构建的着装层次块LB,进行着装解析。最终得到服装语义分割图,生成民族服装的着装层次l。
Step4、首先,设置采样数为U,采样均匀性为M,任意选取种子点为起点,根据自定义的服装语义属性,沿服装边界生长得到边界区域B,通过种子生成法填充空气,得到显著区域Ω,其中显著区域Ω的采样数为U*(1-M),边界区域B的采样数为U*M,对区域Ω、B进行随机采样及三角化处理,得到采样半径r,且迭代删除全局最短边中领域边长
Figure BDA0003443562790000092
较长的采样点,其中N(c)是端点c的领域边的数目,li是第i个领域边的长度,利用投镖法将得到的采样点随机插入到空隙区域H(t)=dis(o,ct)-r>0内,其中o表示三角形t的一个顶点,ct是三角形t的Voronoi中心,dis(o,ct)表示o到ct的欧式距离,最终得到边界区域B的采样点集X1、显著区域Ω的采样点集X2及三维采样点q∈{X1∪X2}。
然后,将三维采样点q、Step2得到的细节信息M={M1,M2,M3}输入MLP解码器,其中M1、M2、M3分别为褶皱、配饰和款式细节,定义LF=LU+λLG损失函数,其中,
Figure BDA0003443562790000093
为三维采样点q的真实值和预测值之间的L1损失,υ表示网络参数,ω为网络参数,u(q)=su表示三维采样点q的UDF地面真值,λ表示权重值,
Figure BDA0003443562790000094
表示UDF的真实梯度方向;进一步定义无符号距离函数UDF:f(q,ω)=fdec(L,G,q)。
其次,如图6(b)所示,结合局部特征L、全局特征G、三维采样点q和着装层次l,采用含互穿项
Figure BDA0003443562790000101
的隐式曲面
Figure BDA0003443562790000102
实现多层三维粗糙服装模型的重建,其中Gg,Gh表示两个相互渗透的服装网络,Γ(Gg,Gh)表示服装网络Gg,Gh的索引对,nhk表示服装网络Gh第k个顶点的法向量,gu表示服装网络Gg的第u个顶点,hk表示服装网络Gh的第k个顶点,U为采样点数,
Figure BDA0003443562790000103
为三维采样点q的偏移量。
最后,如图6(c)所示,定义边界平滑处理公式E(q)=||y*-y||2,再采用gi=gi1Δgi来光滑网格,其中y*、y分别表示三维采样点q的预测值与真实值,gi为服装的顶点网格,λ1为权重值,Δgi为顶点的离散拉普拉斯-贝尔特拉米算子,通过λ1和迭代次数控制了网格平滑程度,精细化得到最终的三维民族服装模型。
综上,本发明方法较相关的公知的方法来说,具有较高的重建精度和较快的重建速度。
上面结合附图对本发明的具体实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (4)

1.一种针对民族服装图像的高精度三维重建方法,其特征在于:包括如下步骤:
Step1、对输入的民族服装数据集中的单幅图像进行特征提取,得到超像素特征、全局特征和局部特征;
Step2、采用编码器融合提取到的全局特征和局部特征进行特征表示,得到民族服装细节信息;
Step3、基于自定义的民族服装语义属性、超像素特征、局部特征和全局特征进行着装解析,生成民族服装的着装层次;
Step4、结合计算的三维采样点、民族服装细节信息和着装层次,通过预测无符号距离进行隐式重建,精细化后得到最终的三维民族服装模型。
2.根据权利要求1所述的针对民族服装图像的高精度三维重建方法,其特征在于:所述Step1的具体过程如下:
首先,对输入的民族服装数据集D={D1,D2,...,Dn}中的单幅民族图像I∈D,用SLIC超像素算法得到像素分割图x,再采用ALexNet网络得到超像素特征Ip,其中n表示民族服装数据集中图像的数量;
然后,构建不包括全连接层的ResNet-50网络,对I进行全局特征编码,得到全局特征G={θ,Ib},其中θ为形状参数,Ib为民族服装二维轮廓图;
最后,以上装包括肩颈部、前胸、腰部、肘部,下装包括腰部和腿部以及连体装包括肩颈部、前胸、腰部和腿部作为着装部位,定义民族服装着装部位的语义属性,在着装部位采用Faster R-CNN确定图像I的局部区域集V={V1,V2,...,Vm},再采用ResNet-50网络对V进行局部特征提取,得到局部特征集
Figure FDA0003443562780000011
其中m表示局部特征区域的数量,
Figure FDA0003443562780000012
表示第i个局部区域中的第t个的局部特征。
3.根据权利要求1所述的针对民族服装图像的高精度三维重建方法,其特征在于:所述Step3的具体过程如下:
首先,根据民族服装的风格和款式结构,对输入的民族服装数据集D={D1,D2,...,Dn}中的所有单幅民族图像I∈D,定义包含上衣、下装、连体装、配饰四种类别的民族服装语义属性;
其次,基于自定义的民族服装的语义属性,进一步构建着装层次块LB={a,b,c,d},其中a={a1,a2,...,aw}表示上衣集、b={b1,b2,...,be}为下装集、c={c1,c2,...,cs}为连体装集、d={d1,d2,...,dj}为配饰集,w、e、s、j分别表示上衣、下装、连体装及配饰的语义属性数量,d处于服装的最上层,表示为d>{a∪b∪c};a中的坎肩、披肩都位于c之上,表示为a>c;c处于b之上,表示为c>b,对于a,躯干部位越靠近人体轮廓且离手部区域越远,着装层次越高;对于b,越靠近脚部所属区域,着装层次越低;对于c,越靠近脚部所属区域且越靠近手部所属区域,着装层次越低;
然后,将民族图像I和带有语义属性的民族图像IY作为输入,通过级联Step1得到的超像素特征Ip、全局特征G、局部特征L后采用FCN网络,连接构建的着装层次块LB,进行着装解析,最终得到服装语义分割图,生成民族服装的着装层次l。
4.根据权利要求1所述的针对民族服装图像的高精度三维重建方法,其特征在于:所述Step4的具体过程如下:
首先,采用区域增长对民族服装语义属性和民族服装数据集D中模型的几何边界进行处理,获得显著区域Ω和边界区域B,对区域Ω、B进行最大半径泊松圆盘随机采样,分别得到三维采样点集X1、X2和三维采样点q∈{X1∪X2},其中区域B的采样频率不变,区域Ω的采样频率增加;
然后,将三维采样点q、Step2得到的细节信息M={M1,M2,M3}输入MLP解码器,其中M1、M2、M3分别为褶皱、配饰和款式细节,定义LF=LU+λLG损失函数,其中,
Figure FDA0003443562780000021
为三维采样点q的真实值和预测值之间的L1损失,υ表示网络参数,ω为网络参数,u(q)=su表示三维采样点q的UDF地面真值,λ表示权重值,
Figure FDA0003443562780000022
表示UDF的真实梯度方向;进一步定义无符号距离函数UDF:f(q,ω)=fdec(L,G,q);
其次,结合局部特征L、全局特征G、三维采样点q和着装层次l,采用含互穿项
Figure FDA0003443562780000023
的隐式曲面
Figure FDA0003443562780000024
实现多层三维粗糙服装模型的重建,其中Gg,Gh表示两个相互渗透的服装网络,Γ(Gg,Gh)表示服装网络Gg,Gh的索引对,nhk表示服装网络Gh第k个顶点的法向量,gu表示服装网络Gg的第u个顶点,hk表示服装网络Gh的第k个顶点,U为采样点数,
Figure FDA0003443562780000031
为三维采样点q的偏移量;
最后,定义边界平滑处理公式E(q)=||y*-y||2,精细化得到最终的三维民族服装模型,其中y*、y分别表示三维采样点q的预测值与真实值。
CN202111645896.5A 2021-12-30 2021-12-30 一种针对民族服装图像的高精度三维重建方法 Active CN114972622B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111645896.5A CN114972622B (zh) 2021-12-30 2021-12-30 一种针对民族服装图像的高精度三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111645896.5A CN114972622B (zh) 2021-12-30 2021-12-30 一种针对民族服装图像的高精度三维重建方法

Publications (2)

Publication Number Publication Date
CN114972622A true CN114972622A (zh) 2022-08-30
CN114972622B CN114972622B (zh) 2023-03-24

Family

ID=82975373

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111645896.5A Active CN114972622B (zh) 2021-12-30 2021-12-30 一种针对民族服装图像的高精度三维重建方法

Country Status (1)

Country Link
CN (1) CN114972622B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115409819A (zh) * 2022-09-05 2022-11-29 青岛埃米博创医疗科技有限公司 一种肝部图像重建方法以及重建系统
CN116468767A (zh) * 2023-03-28 2023-07-21 南京航空航天大学 基于局部几何特征和隐式距离场的飞机表面重建方法
CN116580164A (zh) * 2023-07-15 2023-08-11 昆明理工大学 一种面向单视角三维人体重建的着装特征学习方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473806A (zh) * 2013-09-23 2013-12-25 北京航空航天大学 一种基于单幅图像的服装三维模型构建方法
CN104933757A (zh) * 2015-05-05 2015-09-23 昆明理工大学 一种基于款式描述符的三维服装建模方法
CN109344872A (zh) * 2018-08-31 2019-02-15 昆明理工大学 一种少数民族服装图像的识别方法
CN113012303A (zh) * 2021-03-10 2021-06-22 浙江大学 一种可保持服装纹理特征的多种类变尺度虚拟试衣方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473806A (zh) * 2013-09-23 2013-12-25 北京航空航天大学 一种基于单幅图像的服装三维模型构建方法
CN104933757A (zh) * 2015-05-05 2015-09-23 昆明理工大学 一种基于款式描述符的三维服装建模方法
CN109344872A (zh) * 2018-08-31 2019-02-15 昆明理工大学 一种少数民族服装图像的识别方法
CN113012303A (zh) * 2021-03-10 2021-06-22 浙江大学 一种可保持服装纹理特征的多种类变尺度虚拟试衣方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
周前前等: "细粒度民族服饰图像检索的全局-局部特征提取方法", 《模式识别与人工智能》 *
张茜等: "结合标签优化和语义分割的服装图像检索", 《计算机辅助设计与图形学学报》 *
张茜等: "融合视觉风格和标签约束的少数民族服装图像解析", 《中国图象图形学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115409819A (zh) * 2022-09-05 2022-11-29 青岛埃米博创医疗科技有限公司 一种肝部图像重建方法以及重建系统
CN115409819B (zh) * 2022-09-05 2024-03-29 苏州埃米迈德医疗科技有限公司 一种肝部图像重建方法以及重建系统
CN116468767A (zh) * 2023-03-28 2023-07-21 南京航空航天大学 基于局部几何特征和隐式距离场的飞机表面重建方法
CN116468767B (zh) * 2023-03-28 2023-10-13 南京航空航天大学 基于局部几何特征和隐式距离场的飞机表面重建方法
CN116580164A (zh) * 2023-07-15 2023-08-11 昆明理工大学 一种面向单视角三维人体重建的着装特征学习方法
CN116580164B (zh) * 2023-07-15 2023-10-17 昆明理工大学 一种面向单视角三维人体重建的着装特征学习方法

Also Published As

Publication number Publication date
CN114972622B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN114972622B (zh) 一种针对民族服装图像的高精度三维重建方法
Zhu et al. Deep fashion3d: A dataset and benchmark for 3d garment reconstruction from single images
Liu et al. 3D interactive garment pattern-making technology
Huang et al. Block pattern generation: From parameterizing human bodies to fit feature-aligned and flattenable 3D garments
US9679409B2 (en) System and method for simulating realistic clothing
US20220267938A1 (en) Method and apparatus for 3d clothing draping simulation
Wang et al. Interactive 3D garment design with constrained contour curves and style curves
CN108986159A (zh) 一种三维人体模型重建与测量的方法和设备
CN110163728A (zh) 一种个性化服装定制制版方法
CN113012303B (zh) 一种可保持服装纹理特征的多种类变尺度虚拟试衣方法
CN110264310A (zh) 一种基于人体大数据的服装制版方法
Xu et al. 3d virtual garment modeling from rgb images
CN106709171B (zh) 一种基于重复模式发现的印花图案生成方法
Huang et al. CLO3D-Based 3D Virtual Fitting Technology of Down Jacket and Simulation Research on Dynamic Effect of Cloth
Bang et al. Estimating garment patterns from static scan data
CN115272579A (zh) 一种基于多特征融合的单张图像三维服装重建方法
Liu Computer 5G virtual reality environment 3D clothing design
CN106251200B (zh) 基于实例的虚拟试衣方法
Li et al. Povnet: Image-based virtual try-on through accurate warping and residual
Huang et al. Automatic alignment for virtual fitting using 3D garment stretching and human body relocation
Huang et al. Automatic realistic 3D garment generation based on two images
Liu et al. Modeling Realistic Clothing from a Single Image under Normal Guide
Cheng et al. A 3D virtual show room for online apparel retail shop
Liu et al. Reconstruction and Digital Display Design of Women’s Clothing in Jiangnan Area of Yuan Dynasty under Digital
Ji et al. 3D interactive design of wedding dress

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant