CN112561797B - 花卉浮雕模型构建方法及基于线条图的花卉浮雕重建方法 - Google Patents

花卉浮雕模型构建方法及基于线条图的花卉浮雕重建方法 Download PDF

Info

Publication number
CN112561797B
CN112561797B CN202011426493.7A CN202011426493A CN112561797B CN 112561797 B CN112561797 B CN 112561797B CN 202011426493 A CN202011426493 A CN 202011426493A CN 112561797 B CN112561797 B CN 112561797B
Authority
CN
China
Prior art keywords
flower
relief
line
height
curve
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011426493.7A
Other languages
English (en)
Other versions
CN112561797A (zh
Inventor
张玉伟
罗萍
周浩
王金磊
陈彦钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Original Assignee
Qilu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology filed Critical Qilu University of Technology
Priority to CN202011426493.7A priority Critical patent/CN112561797B/zh
Publication of CN112561797A publication Critical patent/CN112561797A/zh
Application granted granted Critical
Publication of CN112561797B publication Critical patent/CN112561797B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/60Rotation of whole images or parts thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了花卉浮雕模型构建方法及基于线条图的花卉浮雕重建方法,属于浮雕建模技术领域,要解决的技术问题为如何由三维模型高效快速建立花卉浮雕模型,如何以线条图为输入,通过花卉浮雕模型重建花卉浮雕。方法包括如下步骤:采集不同种类的花卉三维模型;对去噪后的三维模型进行不同视角变换并进行高度采样,对高度场进行线性压缩,得到花卉浮雕;对于每个花卉浮雕,获取场景遮罩、线条遮罩、曲率遮罩、平均曲率值、线条梯度值、顶点高度值和法向值;构建深度网络模型,将上述数据作为输入输出对网络进行训练;以单张线条图像为输入,构造叶片之间的层次遮挡关系,生成网络模型所需的各类输入,通过网络模型完成花卉浮雕重建。

Description

花卉浮雕模型构建方法及基于线条图的花卉浮雕重建方法
技术领域
本发明涉及浮雕建模技术领域,具体地说是花卉浮雕模型构建方法及基于线条图的花卉浮雕重建方法。
背景技术
花卉浮雕是介于2D图像和3D雕塑之间的一种独特艺术形式,在硬币奖章、家用器皿、建筑装潢等领域有广泛应用。现有软件进行花卉浮雕建模设计效率低,需要大量手工交互来刻画叶片凸凹性以及构造叶片遮挡关系。
如何由三维模型高效快速建立花卉浮雕模型,如何以线条图为输入,通过花卉浮雕模型重建花卉浮雕,是需要解决的技术问题。
发明内容
本发明的技术任务是针对以上不足,提供花卉浮雕模型构建方法及基于线条图的花卉浮雕重建方法,来解决如何由三维模型高效快速建立花卉浮雕模型,如何以线条图为输入,通过花卉浮雕模型重建花卉浮雕的技术问题。
第一方面,本发明提供一种构建花卉浮雕模型的方法,包括如下步骤:
采集多个不同种类的花卉三维模型;
对于每个花卉三维模型,进行滤波去噪处理,对去噪后的花卉三维模型进行不同视角变换并进行高度采样,对高度采样后的花卉三维模型进行线性压缩并进行高度场优化,得到花卉浮雕;
对于每个花卉浮雕,获取场景遮罩、线条遮罩、曲率遮罩、平均曲率值和线条梯度值作为输入数据,并获取高度值和顶点的法向值作为输出数据;
将上述输入数据和输出数据作为样本数据,并划分为训练集和验证集;
基于深度学习构建网络模型,所述网络模型包括收缩路径、扩展路径以及连接于收缩路径和扩展路径之间的中间路径,收缩路径以及中间路径用于减小分辨率并增加输出特征通道,扩展路径用于增加分辨率并减少输出特征通道数;
以训练集为输入,优化所述网络模型的参数、完成输入通道到输出通道的映射训练,得到优化后网络模型,并以验证集为输入,验证所述优化后网络模型的参数,得到最终的浮雕网络模型。
作为优选,对高度采样后的花卉三维模型进行线性压缩后,通过最小化能量方程优化高度场,所述能量方程为:
Figure BDA0002825087800000021
其中,第一项为梯度规则项,▽di表示优化后的高度场梯度,gi表示原始高度场梯度;
第二项为全局高度约束项,di表示优化后的高度,
Figure BDA0002825087800000023
表示压缩后的高度,ρ表示能量项系数;
第三项为叶片边缘处的高度约束项,dj表示优化后的叶片边缘高度,
Figure BDA0002825087800000024
表示压缩后叶片边缘上的高度,μ表示能量项系数。
作为优选,对于每个花卉浮雕,通过高度值是否为零判断背景点,得到场景遮罩;
如果一个顶点与其邻域面片的z法向分量之差大于阈值v,所述顶点为线条点,得到线条遮罩;
上述线条遮罩扩散三个像素点,并与场景遮罩相减,得到曲率遮罩;
对花卉浮雕的高度值进行sobel卷积,得到梯度值gx和gy
基于梯度值gx和gy,通过如下计算公式得到花卉浮雕顶点的法向值:
Figure BDA0002825087800000022
Figure BDA0002825087800000031
Figure BDA0002825087800000032
对梯度值进行sobel卷积,得到ggxx、ggxy和ggyy,并基于上述ggxx、ggxy和ggyy通过如下计算公式得到曲率值cr
Figure BDA0002825087800000033
作为优选,所述收缩路径包括N个依次连接的下采样单元,下采样单元用于减小分辨率并增加输出特征通道,N为自然数,大于等于1;
所述扩展路径包括N+1个依次连接的上采样单元,上采样单元用于增加分辨率并减少输出特征通道数,上述N+1个上采样单元中位于传输末端的上采样单元为末端上采样单元,其他为中间上采样单元,中间上采样单元与下采样单元一一对应并串联。
作为优选,每个下采样单元均包括:
第一卷积层,所述第一卷积层配置有Same填充函数,用于提取特征;
第二卷积层,所述第二卷积层配置有Relu激活函数,用于提取特征;
池化层,所述池化层为最大池化层,用于进行下采样。
作为优选,每个中间上采样单元均包括三层卷积层,所述末端上采样单元包括一层卷积层;
所述中间路径包括三层卷积层。
作为优选,通过最小化损失函数优化浮雕网络模型、完成输入通道到输出通道的映射训练,所述损失函数为:
E=Ed_n+τ·Ed_line+λ·Ereg
Figure BDA0002825087800000041
Figure BDA0002825087800000042
Figure BDA0002825087800000043
其中,di,j表示预测的高度值,ni,j表示预测的法向,
Figure BDA0002825087800000046
表示ground-truth的高度值,
Figure BDA0002825087800000047
表示ground-truth的法向;
ci,j表示场景遮罩,θd表示平衡高度的系数,θn表示法向的系数;
αi,j表示线条遮罩;
nxi,j、nyi,j和nzi,j表示预测法向,gxi,j、gyi,j和gzi,j表示预测高度的梯度;
Figure BDA0002825087800000044
Figure BDA0002825087800000045
其中,d表示预测高度值,steo_size表示三角网格与像素点之间的步长转换,所述steo_size归一化为[-1,1]范围内;
τ和λ均表示平衡项。
第二方面,本发明提供一种基于线条图的花卉浮雕重建方法,以花卉线条图为输入,通过深度神经网络输出每个像素的高度值,实现花卉浮雕高度场的重建,所述方法包括如下步骤:
通过第一方面任一项所述的花卉浮雕模型构建方法,构建浮雕网络模型;
以花卉线条图为输入图,计算场景遮罩、线条遮罩、曲率遮罩、线条梯度和平均曲率值为输入数据,将输入数据输入浮雕网络模型,预测得到花卉浮雕的高度值和顶点的法向值。
作为优选,通过线条细化法对输入图进行细化处理,通过连接相邻像素点形成一组曲线链,并基于叶片遮挡规则计算线条梯度;
所述叶片遮挡判断规则为:背景面被边界曲线附件的叶片挡住,与内部线条相邻的被遮挡叶片位于非相切曲线多的一侧;
基于叶片遮挡规则计算线条梯度,包括如下步骤:
计算每条曲线的端点切线并构建相切拓扑图,如果两条相邻的曲线在公共端点处的切线角度小于阈值,所述两条相邻的曲线相切,如果一条曲线没有与其相切的曲线,所述曲线与角度较小的曲线相切;
对于外部边界曲线,将其每个点的切线朝向背景方向转转90度,得到所述点的梯度,对于内部曲线,基于所述内部曲线邻域中不相切曲线的切向量叉乘之和,计算所述内部曲线切向量旋转方向,设定pi是曲线ci上的点,pj是曲线cj上的点,曲线ci旋转轴矢量Ri的计算公式为:
Figure BDA0002825087800000051
其中,j=1,2,3,......,k,k为与曲线ci邻接的不相切曲线cj的数量,如果Ri不为零,曲线ci上每个点的梯度围绕Ri逆时针旋转90度,如果Ri为零,曲线曲线ci上每个点的梯度方向与切向量角度最小的曲线梯度方向一致;
将单像素点上的线条梯度按照距离的远近传播到多像素点的线条图上,并进行归一化处理,得到输入图的线条梯度。
作为优选,通过如下方法计算平均曲率值:
对于输入图,在叶片内部标记稀疏曲率点;
计算稠密曲率场插值,得到每个像素点的曲率值,稠密曲率场插值计算公式为:
Figure BDA0002825087800000061
其中,mj表示稀疏曲率,wi,j表示每个场景像素点pi到稀疏曲率点pj之间的距离,pj的权重之和设定为
Figure BDA0002825087800000062
本发明的花卉浮雕模型构建方法及基于线条图的花卉浮雕重建方法具有以下优点:
1、以花卉三维模型构建花卉浮雕,用于花卉浮雕网络模型的训练和优化。通过该模型对输入的花卉线条图进行网络重建,可快速高效的生成花卉浮雕;
2、自动构造叶片之间的层次遮挡关系,无需手工设定叶片边缘厚度,建模效率高;
3、可适应不同分辨率的花卉线条图,网络预测速度快;
4、仅需少量用户交互控制叶片凸凹性,建模质量高。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
下面结合附图对本发明进一步说明。
图1为实施例1构建花卉浮雕模型的方法的流程框图;
图2为实施例1花卉浮雕构建方法中花卉浮雕模型生成示意图;
图3为实施例1花卉浮雕构建方法中遮罩示意图;
图4为实施例1花卉浮雕构建方法中部分样本线条图和其对应花卉浮雕模型;
图5为实施例1花卉浮雕构建方法中网络模型的结构示意图;
图6为实施例2基于线条图的花卉浮雕网络重建方法的流程框图;
图7为实施例2基于线条图的花卉浮雕网络重建方法中线条梯度计算示意图;
图8为实施例2基于线条图的花卉浮雕重建方法中曲率值计算示意图;
图9为实施例2基于线条图的花卉浮雕重建方法中不同分辨率不同种类的花卉浮雕建模效果;
图10为实施例2基于线条图的花卉浮雕重建方法中增加叶片脉络后的花卉浮雕建模结果,其中,上图为1024*1024,下图为768*1536;
图11为实施例2基于线条图的花卉浮雕重建方法中3D打印效果图;
其中,2(a)表示原始高度场,2(b)表示线性压缩后高度场,3(c)表示优化后高度场;
3(a)表示场景遮罩,3(b)表示线条遮罩,3(c)表示曲率遮罩;
7(a)表示多个像素宽度的输入线条图,7(b)表示细化后的曲线图,7(c)表示最终输出的线条梯度图,箭头方向表示梯度方向;
8(a)表示叶片内部稀疏曲率点,8(b)表示稠密曲率场;
9(a)表示1024*1536,9(b)表示1024*1024,9(c)表示1024*1024,
9(d)表示1024*1024,9(e)表示1024*1536,9(f)表示1536*1024。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明,以使本领域的技术人员可以更好地理解本发明并能予以实施,但所举实施例不作为对本发明的限定,在不冲突的情况下,本发明实施例以及实施例中的技术特征可以相互结合。
本发明实施例提供花卉浮雕模型构建方法及基于线条图的花卉浮雕重建方法,用于解决如何自动构造叶片之间的层次遮挡关系,高效快速的建立花卉浮雕模型的技术问题。
实施例1:
本发明的一种构建花卉浮雕模型的方法,包括如下步骤:
S100、采集多个不同种类的花卉三维模型;
S200、对于每个花卉三维模型,进行滤波去噪处理,对去噪后的花卉三维模型进行不同视角变换并进行高度采样,对高度采样后的花卉三维模型进行线性压缩并进行高度场优化,得到花卉浮雕;
S300、对于每个花卉浮雕,获取场景遮罩、线条遮罩、曲率遮罩、平均曲率值和线条梯度值作为输入数据,并获取高度值和顶点的法向值作为输出数据;
S400、将上述输入数据和输出数据作为样本数据,并划分为训练集和验证集;
S500、基于深度学习构建网络模型,所述网络模型包括收缩路径、扩展路径以及连接于收缩路径和扩展路径之间的中间路径,收缩路径以及中间路径用于减小分辨率并增加输出特征通道,扩展路径用于增加分辨率并减少输出特征通道数;
S600、以训练集为输入,优化上述网络模型的参数、完成输入通道到输出通道的映射训练,得到优化后网络模型,并以验证集为输入,验证上述优化后网络模型的参数,得到最终的浮雕网络模型。
本实施例中,选取了20个不同种类的花卉三维模型。
步骤S200中,对于每个花卉三维模型进行拉普拉斯滤波处理,以消除叶片内部的噪声,然后对每个花卉三维模型进行不同视角变换并做高度采样,采样频率统一为360*360,如图2(a)所示,高度采样后的花卉三维模型叶片边缘存在大量不连续特征(台阶特征)。
对于采样后的花卉三维模型进行线性压缩,压缩比例为w=0.2,高度压缩后的叶片凸凹性和叶片边缘变得模糊,如图2(b)所示。
为了增强叶片边缘厚度,恢复叶片的凸凹性,通过最小化以下能量方程优化高度场:
Figure BDA0002825087800000081
其中,第一项为梯度规则项,▽di表示优化后的高度场梯度,gi表示原始高度场梯度;第二项为全局高度约束项,di表示优化后的高度,
Figure BDA0002825087800000082
表示压缩后的高度,ρ表示能量项系数;第三项为叶片边缘处的高度约束项,dj表示优化后的叶片边缘高度,
Figure BDA0002825087800000091
表示压缩后叶片边缘上的高度,μ表示能量项系数,增大ρ和μ可以更好的保留高度层次,但是会削弱梯度规则项,影响叶片形状恢复。本实施例中,ρ=0.001,μ=0.5,优化后高度场如图2(c)所示。
由花卉三维模型生成花卉浮雕后,通过步骤S300生出网络模型训练对应的输入和输出数据,为了使网络模型具备构造叶片边缘不连续性(台阶性)的能力,使用二维梯度来描述线条处的叶片遮挡关系,并使用平均曲率率表示叶片凸凹性。同时,为了方便用于网络模型训练的损失函数计算,定了三类遮罩,如图3所示。本实施例中,用于网络模型训练的输入数据包括:场景遮罩、线条遮罩、曲率遮罩、平均曲率值和线条梯度值,总过六个通道,网络模型输出为场景高度值和法向值,总共四个通道。
由花卉浮雕模型生成输入通道和输出通道的方法为:
对于每个花卉浮雕,通过高度值是否为零判断背景点,得到场景遮罩;
如果一个顶点与其领域面片的z法向分量之差大于阈值v,所述顶点为线条点,得到线条遮罩;
上述线条遮罩扩散三个像素点,并与场景遮罩相减,得到曲率遮罩;
对花卉浮雕的高度值进行sobel卷积,得到梯度值gx和gy
基于梯度值gx和gy,通过如下计算公式得到花卉浮雕顶点的法向值:
Figure BDA0002825087800000092
Figure BDA0002825087800000093
Figure BDA0002825087800000094
对梯度值进行sobel卷积,得到ggxx、ggxy和ggyy,并基于上述ggxx、ggxy和ggyy通过如下计算公式得到曲率值cr
Figure BDA0002825087800000101
图4展示了部分用于网络模型训练的样本数据,包括线条图和对应的浮雕模型。
本实施例中基于深度学习构建浮雕网络模型,其结构如图5所示,该模型包括收缩路径、中间路径和扩展路径,在左侧的收缩路径中,包括三个依次连接的下采样单元,上述三个下采样单元依次连接,下采样单元用于提取特征。每个下采样单元包括两个卷积层和一个池化层,两个卷积层分别为第一卷积层和第二卷积层,第一卷积层采用Same填充函数,第二卷积层采用Relu激活函数;池化层为采用2*2的最大池化层进行下采样,每个下采样单元进行特征提取后,图像的分辨率减半、输出特征通道数加倍。在中间路径中,包括三层卷积层,中间路径输出后图像的分辨率最低、通道数最多。扩展路径包括三四个依次连接的上采样单元,位于传输末端的上采样单元为末端上采样单元,其他为中间上采样单元,中间上采样单元上采样单元与下采样单元一一对应并串联,中间上采样单元配置有3个2*2的抽样层,末端上采样单元为一层1*1的卷积层,该卷积层恢复输出特征的通道数。
本实施例中,采集了10300个花卉三维模型,其中8700个用于训练,1600个用于测试。将选取的8700对输入数据和输出数据分为两个子集,7830对用于训练,870对用于验证。通过最小化损失函数完成输入通道到输出通道的映射训练。损失函数为:
E=Ed_n+τ·Ed_line+λ·Ereg
Figure BDA0002825087800000102
Figure BDA0002825087800000103
Figure BDA0002825087800000111
其中,di,j表示预测的高度值,ni,j表示预测的法向,
Figure BDA0002825087800000112
表示ground-truth的高度值,
Figure BDA0002825087800000113
表示ground-truth的法向;
ci,j表示场景遮罩,θd表示平衡高度的系数,θn表示法向的系数;
αi,j表示线条遮罩;
nxi,j、nyi,j和nzi,j表示预测法向,gxi,j、gyi,j和gzi,j表示预测高度的梯度;
Figure BDA0002825087800000114
Figure BDA0002825087800000115
其中,d表示预测高度值,step_size表示三角网格与像素点之间的步长转换,将step_size归一化为[-1,1]范围内,值为2.0/(360-1)≈0.00557。τ和λ均表示平衡项,τ=600.0,λ=10.0。
上述网络模型的构件和训练在Keras上完成,设定200个训练批次,损失函数没有明显下降时停止训练,保存优化后的网络参数,得到最终的浮雕网络模型。
实施例2:
如图6所示,本发明的基于线条图的花卉浮雕重建方法,以花卉线条图为输入,通过深度神经网络输出每个像素的高度值,实现花卉浮雕高度场的重建,该方法包括如下步骤:
(1)、通过实施例1公开的构建花卉浮雕模型的方法,构建浮雕网络模型;
(2)、以花卉线条图为输入图,计算场景遮罩、线条遮罩、曲率遮罩、线条梯度和曲率值为测试数据,将测试数据输入浮雕网络模型,得到花卉浮雕的高度值和顶点的法向值。
本实施例中,从花卉线条图中点选一个背景像素点,上述背景像素点的场景遮罩值为0,通过flood-filling算法自动获得线条图中其它背景像素点,其它背景像素点的场景遮罩值为0,花卉线条图中剩余图像像素点为场景点,场景点对应的场景遮罩值为1。
通过判断花卉线条图中灰度值计算线条遮罩,灰度值为0的像素点对应的线条遮罩值为1,其它灰度值的像素点对应的线条遮罩值为0。
在上述场景遮罩和场景遮罩的基础上计算曲率遮罩,线条遮罩值为0且场景遮罩值为1的像素点,对应的曲率遮罩值为1,其它像素点对应的曲率遮罩值为0。
为自动生成表示遮挡关系的线条梯度,通过线条细化法对输入图进行细化处理,通过连接相邻像素点形成一组曲线链,如图7(b)所示,然后基于叶片遮挡规则计算线条梯度。
叶片遮挡判断规则为:背景面被边界曲线附件的叶片挡住,与内部线条相邻的被遮挡叶片位于非相切曲线多的一侧。
基于叶片遮挡规则计算线条梯度,包括如下步骤:
(1)计算每条曲线的端点切线并构建相切拓扑图,如果两条相邻的曲线在公共端点处的切线角度小于阈值μ(μ=35°),则认为两条相邻的曲线相切,如果一条曲线没有与其相切的曲线,则认为该曲线与角度较小的曲线相切;
(2)对于外部边界曲线,将其每个点的切线朝向背景方向转转90度,得到该点的梯度,对于内部曲线,基于该内部曲线邻域中不相切曲线的切向量叉乘之和,计算内部曲线切向量旋转方向,设定pi是曲线ci上的点,pj是曲线cj上的点,曲线ci旋转轴矢量Ri的计算公式为:
Figure BDA0002825087800000121
其中,j=1,2,3,......,k,k为与曲线ci邻接的不相切曲线cj的数量,如果Ri不为零,曲线ci上每个点的梯度围绕Ri逆时针旋转90度,如果Ri为零,曲线曲线ci上每个点的梯度方向与切向量角度最小的曲线梯度方向一致;
(3)将单像素点上的线条梯度按照距离的远近传播到多像素点的线条图上,并进行归一化处理,得到输入图的线条梯度。
线条梯度的计算结果如图7(c)所示,其中箭头方向表示梯度方向,指向被遮挡叶片。经验证,上述方法计算线条梯度精度达到96%。
为构造叶片凸凹性,在叶片内部标记稀疏曲率点,如果8(a)所示,然后通过如下公式计算稠密曲率插值,得到每个像素点的曲率值,公式为:
Figure BDA0002825087800000131
其中,mj表示稀疏曲率,wi,j表示每个场景像素点pi到稀疏曲率点pj之间的距离,pj的权重之和设定为
Figure BDA0002825087800000132
插值后的稠密曲率送入浮雕网络模型,引导叶片凸凹性构建,如果8(b)所示。
根据获取的线条图,获取三个遮罩,分别为场景遮罩、线条遮罩和曲率遮罩,以上述三个场景遮罩、线条遮罩、曲率遮罩、线条梯度和曲率为测试数据,将测试数据输入通过实施例1构建的浮雕网路模型,得到花卉浮雕高度值和顶点的法向值,从而实现花卉浮雕建模。
图9展示了由不同分辨率、不同类型的花卉线条图预测生成浮雕的效果。输入分辨率为1536×1024时,预测时间仅需几秒。图10对预测生成的花卉浮雕增加了叶片脉络的刻画。为了验证模型的可加工性,对部分建模作品进行3D打印,并对表面进行喷漆处理,如图11所示。
上文通过附图和优选实施例对本发明进行了详细展示和说明,然而本发明不限于这些已揭示的实施例,基与上述多个实施例本领域技术人员可以知晓,可以组合上述不同实施例中的手段得到本发明更多的实施例,这些实施例也在本发明的保护范围之内。

Claims (5)

1.花卉浮雕模型构建方法,其特征在于包括如下步骤:
采集多个不同种类的花卉三维模型;
对于每个花卉三维模型,进行滤波去噪处理,对去噪后的花卉三维模型进行不同视角变换并进行高度采样,对高度采样后的花卉三维模型进行线性压缩并进行高度场优化,得到花卉浮雕;
对于每个花卉浮雕,获取场景遮罩、线条遮罩、曲率遮罩、平均曲率值和线条梯度值作为输入数据,并获取高度值和顶点的法向值作为输出数据;
将上述输入数据和输出数据作为样本数据,并划分为训练集和验证集;
基于深度学习构建网络模型,所述网络模型包括收缩路径、扩展路径以及连接于收缩路径和扩展路径之间的中间路径,收缩路径以及中间路径用于减小分辨率并增加输出特征通道,扩展路径用于增加分辨率并减少输出特征通道数;
以训练集为输入,优化所述网络模型的参数、完成输入通道到输出通道的映射训练,得到优化后网络模型,并以验证集为输入,验证所述优化后网络模型的参数,得到最终的浮雕网络模型;
对高度采样后的花卉三维模型进行线性压缩后,通过最小化能量方程优化高度场,所述能量方程为:
Figure FDA0003929108730000021
其中,第一项为梯度规则项,▽di表示优化后的高度场梯度,gi表示原始高度场梯度;
第二项为全局高度约束项,di表示优化后的高度,
Figure FDA0003929108730000022
表示压缩后的高度,ρ表示能量项系数;
第三项为叶片边缘处的高度约束项,dj表示优化后的叶片边缘高度,
Figure FDA0003929108730000023
表示压缩后叶片边缘上的高度,μ表示能量项系数;
所述收缩路径包括N个依次连接的下采样单元,下采样单元用于减小分辨率并增加输出特征通道,N为自然数,大于等于1;所述扩展路径包括N+1个依次连接的上采样单元,上采样单元用于增加分辨率并减少输出特征通道数,上述N+1个上采样单元中位于传输末端的上采样单元为末端上采样单元,其他为中间上采样单元,中间上采样单元与下采样单元一一对应并串联;
每个下采样单元均包括:
第一卷积层,所述第一卷积层配置有Same填充函数,用于提取特征;
第二卷积层,所述第二卷积层配置有Relu激活函数,用于提取特征;
池化层,所述池化层为最大池化层,用于进行下采样;
每个中间上采样单元均包括三层卷积层,所述末端上采样单元包括一层卷积层;
所述中间路径包括三层卷积层;
通过最小化损失函数优化浮雕网络模型、完成输入通道到输出通道的映射训练,所述损失函数为:
E=Ed_n+τ·Ed_line+λ·Ereg
Figure FDA0003929108730000031
Figure FDA0003929108730000032
Figure FDA0003929108730000033
其中,di,j表示预测的高度值,ni,j表示预测的法向,
Figure FDA0003929108730000034
表示ground-truth的高度值,
Figure FDA0003929108730000035
表示ground-truth的法向;
ci,j表示场景遮罩,θd表示平衡高度的系数,θn表示法向的系数;
αi,j表示线条遮罩;
nxi,j、nyi,j和nzi,j表示预测法向,gxi,j、gyi,j和gzi,j表示预测高度的梯度;
Figure FDA0003929108730000041
Figure FDA0003929108730000042
其中,d表示预测高度值,steo_size表示三角网格与像素点之间的步长转换,所述steo_size归一化为[-1,1]范围内;τ和λ均表示平衡项。
2.根据权利要求1所述的花卉浮雕模型构建方法,其特征在于对于每个花卉浮雕,通过高度值是否为零判断背景点,得到场景遮罩;
如果一个顶点与其邻域面片的z法向分量之差大于阈值v,所述顶点为线条点,得到线条遮罩;
上述线条遮罩扩散三个像素点,并与场景遮罩相减,得到曲率遮罩;
对花卉浮雕的高度值进行sobel卷积,得到梯度值gx和gy
基于梯度值gx和gy,通过如下计算公式得到花卉浮雕顶点的法向值:
Figure FDA0003929108730000051
Figure FDA0003929108730000052
Figure FDA0003929108730000053
对梯度值进行sobel卷积,得到ggxx、ggxy和ggyy,并基于上述ggxx、ggxy和ggyy通过如下计算公式得到曲率值cr
Figure FDA0003929108730000054
3.基于线条图的花卉浮雕重建方法,其特征在于以花卉线条图为输入,通过深度神经网络输出每个像素的高度值,实现花卉浮雕高度场的重建,所述方法包括如下步骤:
通过如权利要求1-2任一项所述的花卉浮雕模型构建方法,构建浮雕网络模型;
以花卉线条图为输入图,计算场景遮罩、线条遮罩、曲率遮罩、线条梯度和平均曲率值为输入数据,将输入数据输入浮雕网络模型,预测得到花卉浮雕的高度值和顶点的法向值。
4.根据权利要求3所述的基于线条图的花卉浮雕重建方法,其特征在于通过线条细化法对输入图进行细化处理,通过连接相邻像素点形成一组曲线链,并基于叶片遮挡规则计算线条梯度;
所述叶片遮挡规则为:背景面被边界曲线附件的叶片挡住,与内部线条相邻的被遮挡叶片位于非相切曲线多的一侧;
基于叶片遮挡规则计算线条梯度,包括如下步骤:
计算每条曲线的端点切线并构建相切拓扑图,如果两条相邻的曲线在公共端点处的切线角度小于阈值,所述两条相邻的曲线相切,如果一条曲线没有与其相切的曲线,所述曲线与角度较小的曲线相切;
对于外部边界曲线,将其每个点的切线朝向背景方向转转90度,得到所述点的梯度,对于内部曲线,基于所述内部曲线邻域中不相切曲线的切向量叉乘之和,计算所述内部曲线切向量旋转方向,设定pi是曲线ci上的点,pj是曲线cj上的点,曲线ci旋转轴矢量Ri的计算公式为:
Figure FDA0003929108730000061
其中,j=1,2,3,......,k,k为与曲线ci邻接的不相切曲线cj的数量,如果Ri不为零,曲线ci上每个点的梯度围绕Ri逆时针旋转90度,如果Ri为零,曲线曲线ci上每个点的梯度方向与切向量角度最小的曲线梯度方向一致;
将单像素点上的线条梯度按照距离的远近传播到多像素点的线条图上,并进行归一化处理,得到输入图的线条梯度。
5.根据权利要求3所述的基于线条图的花卉浮雕重建方法,其特征在于通过如下方法计算平均曲率值:
对于输入图,在叶片内部标记稀疏曲率点;
计算稠密曲率场插值,得到每个像素点的曲率值,稠密曲率场插值计算公式为:
Figure FDA0003929108730000071
其中,mv表示稀疏曲率,进一步通过
Figure FDA0003929108730000072
归一化。
CN202011426493.7A 2020-12-09 2020-12-09 花卉浮雕模型构建方法及基于线条图的花卉浮雕重建方法 Active CN112561797B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011426493.7A CN112561797B (zh) 2020-12-09 2020-12-09 花卉浮雕模型构建方法及基于线条图的花卉浮雕重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011426493.7A CN112561797B (zh) 2020-12-09 2020-12-09 花卉浮雕模型构建方法及基于线条图的花卉浮雕重建方法

Publications (2)

Publication Number Publication Date
CN112561797A CN112561797A (zh) 2021-03-26
CN112561797B true CN112561797B (zh) 2022-12-13

Family

ID=75060102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011426493.7A Active CN112561797B (zh) 2020-12-09 2020-12-09 花卉浮雕模型构建方法及基于线条图的花卉浮雕重建方法

Country Status (1)

Country Link
CN (1) CN112561797B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116524132A (zh) * 2023-05-08 2023-08-01 齐鲁工业大学(山东省科学院) 由单张人体图像生成人体浮雕的建模方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106920281A (zh) * 2017-03-08 2017-07-04 齐鲁工业大学 一种书法浮雕建模方法
CN108492373A (zh) * 2018-03-13 2018-09-04 齐鲁工业大学 一种人脸浮雕几何建模方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107808363B (zh) * 2017-11-23 2020-12-25 杭州电魂网络科技股份有限公司 图像遮罩处理方法及装置
CN110363804B (zh) * 2019-07-23 2022-10-11 西北农林科技大学 一种基于形变模型的花朵浅浮雕浮雕生成方法
CN110766786A (zh) * 2019-09-18 2020-02-07 湖南大学 基于生成对抗网络的草图到浅浮雕模型生成的方法
CN110853146B (zh) * 2019-11-18 2023-08-01 广东三维家信息科技有限公司 浮雕建模方法、系统及浮雕加工设备
CN111080552B (zh) * 2019-12-16 2021-03-26 广州柏视医疗科技有限公司 基于深度学习神经网络的胸片虚拟双能去骨方法及系统
CN111583412B (zh) * 2020-04-29 2021-06-01 齐鲁工业大学 构建书法浮雕深度学习网络的方法及构建书法浮雕的方法
CN111951386B (zh) * 2020-08-13 2021-06-01 齐鲁工业大学 人像高浮雕建模方法及建模系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106920281A (zh) * 2017-03-08 2017-07-04 齐鲁工业大学 一种书法浮雕建模方法
CN108492373A (zh) * 2018-03-13 2018-09-04 齐鲁工业大学 一种人脸浮雕几何建模方法

Also Published As

Publication number Publication date
CN112561797A (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
CN107154023B (zh) 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN107818580A (zh) 根据深度图对真实对象进行3d重建
CN105550691B (zh) 基于尺度空间的自适应山谷山脊线提取方法及系统
CN110223370B (zh) 一种从单视点图片生成完整人体纹理贴图的方法
CN109360260A (zh) 一种三角网格三维模型的切挖重构算法
CN107886569B (zh) 一种基于离散李导数的测度可控的曲面参数化方法及系统
CN112348959A (zh) 一种基于深度学习的自适应扰动点云上采样方法
CN111028335B (zh) 一种基于深度学习的点云数据的分块面片重建方法
CN106803094A (zh) 基于多特征融合的三维模型形状相似性分析方法
CN112561797B (zh) 花卉浮雕模型构建方法及基于线条图的花卉浮雕重建方法
CN113077545B (zh) 一种基于图卷积的从图像中重建着装人体模型的方法
CN113592711B (zh) 点云数据不均匀的三维重建方法、系统、设备及存储介质
CN114119607B (zh) 基于深度神经网络的酒瓶缺陷样本生成方法及系统
CN116310219A (zh) 一种基于条件扩散模型的三维脚型生成方法
CN101142614B (zh) 使用各向异性滤波的单通道图像重采样系统和方法
CN101359371A (zh) 基于数字高程模型的建筑物自动提取的方法
CN115984441A (zh) 一种基于神经着色器的快速重建带纹理三维模型的方法
CN109816789B (zh) 一种基于深度神经网络的三维模型参数化方法
CN106558102A (zh) 一种基于Screened Poisson重建的三维模型建立方法
CN106210696A (zh) 一种实时虚拟视点合成的方法及装置
CN106960469B (zh) 一种快速分割三角形的光滑自由变形方法
CN116681844A (zh) 一种基于亚米级立体像对卫星影像的建筑物白膜构建方法
CN115409713A (zh) 一种高效实时的单张图像超分变率重建系统及方法
CN114926593A (zh) 基于单张高光图像的svbrdf材质建模方法及系统
JP3463843B2 (ja) 自由曲面生成装置および自由曲面生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 250353 University Road, Changqing District, Ji'nan, Shandong Province, No. 3501

Patentee after: Qilu University of Technology (Shandong Academy of Sciences)

Country or region after: China

Address before: 250353 University Road, Changqing District, Ji'nan, Shandong Province, No. 3501

Patentee before: Qilu University of Technology

Country or region before: China