CN110363804B - 一种基于形变模型的花朵浅浮雕浮雕生成方法 - Google Patents

Abstract

本发明提供了一种基于形变模型的花朵浅浮雕浮雕生成方法，属于计算机图形学技术领域，包括：收集到二维花朵图像集并标记关键点和轮廓点制作训练数据，应用从运动中恢复非刚性物体结构算法(NRSfM)估计视点，利用可视外壳生成算法(Visual Hull)学习重建出形变模型；根据形变模型和新实例的二维图像生成对应实例的粗糙模型；利用图像处理技术增强细节，融合灰度信息和梯度信息进行伽马校正，通过光照模型求取高度值并附加到模型上得到最终的浅浮雕模型。该方法易获取图像作为输入，通过引入形变模型实现了具有不同形状的花朵浅浮雕的生成。

Description

一种基于形变模型的花朵浅浮雕浮雕生成方法

技术领域

本发明属于计算机图形学技术领域，具体涉及一种基于形变模型的花朵浅浮雕浮雕生成方法。

背景技术

浮雕是介于绘画和雕塑之间的一种特殊艺术形式，通常雕刻在平面上，形成有凹凸起伏形状的造型艺术。按照空间结构和用途的不同，可分为高浮雕，浅浮雕和凹浮雕三种表现形式。其中浅浮雕是有着悠久历史的代表性艺术形式。生成的浮雕产品既可以作为单件艺术品，也可以作为装饰品来修饰家具，墙体等。

传统的浮雕制作方法是由艺术家手工完成，存在费时费力，专业性要求高的缺点。数字浮雕生成技术将计算机科学技术融于艺术创作，提高了浮雕生成的便利性以及规模化生产。目前，数字浮雕生成方法的研究主要有基于图像和基于三维模型两种。基于三维网格模型的方法需要特定和昂贵的设备以及大量的人工，并且压缩过程需要考虑细节信息的保留与增强，造成了该方法的复杂性和局限性；而基于图像的浮雕生成技术相对于模型来说，数字化图像数据较容易获取，且多种多样，所以浮雕生成方法研究也非常多。大致可分为以图像分割、三维重建等技术为基础的和以法线图或深度图为输入的方法。本发明属于第一类方法。除此之外，基于图像的浮雕生成技术还有一定的局限性，仅能生成效果较好的人脸浮雕、汉字浮雕和砖片浮雕。

因此，本申请提出一种基于形变模型的花朵浅浮雕浮雕生成方法。

发明内容

为了克服上述现有技术存在的不足，本发明提供了一种基于形变模型的花朵浅浮雕浮雕生成方法。

为了实现上述目的，本发明提供如下技术方案：

一种基于形变模型的花朵浅浮雕浮雕生成方法，步骤1：收集并标注花朵图像，制作数据集；

步骤2：根据步骤1得到的数据集，利用从运动中恢复非刚性物体结构算法(NRSfM)方法估计相机视点，利用可视外壳生成算法(Visual Hull)生成形变模型；

步骤3：根据步骤2得到的形变模型以及输入的特定实例的花朵图像，将形变模型变形到特定实例；

步骤4：从输入的花朵图像中提取细节信息；

步骤5：压缩模型并添加细节信息，生成最终的花朵浅浮雕模型，并将实验结果应用到仿照装饰品生成浅浮雕产品。

优选地，所述步骤1的提取特征线条的实现过程包括：

步骤1.1：获取花朵图像，如从百度图库等数据库寻找花朵图像；

步骤1.2：设计11个关键点，标记并获取图像上的关键点及轮廓点位置；

步骤1.3：编写数据集制作程序，将图像信息写入mat文件。

优选地，所述步骤2的实现过程包括：

步骤2.1：NRSfM算法估计相机视点；

步骤2.2：定义重建约束，利用可视外壳生成算法优化目标函数，重建形变模型。

优选地，所述步骤3的实现过程包括：

步骤3.1：将形变模型按照新实例的约束，变形到新实例的模型。

优选地，所述步骤4的实现过程包括：

步骤4.1：提取图像的灰度信息和梯度信息，两者相加以增强轮廓边缘；

步骤4.2：对上述步骤得到的结果图进行伽马校正。

步骤4.3：根据光照强度反射和透射定律求取高度信息。

优选地，所述步骤5的实现过程包括：

步骤5.1：将实例模型压缩，生成浅浮雕模型的大致形状，为了实现模型顶点和细节信息的较好对应，对模型进行loop细分处理以增加顶点；

步骤5.2：对细节信息进行均值滤波以平滑细节，并作为高度值添加到浅浮雕模型，生成最终的浅浮雕效果；

步骤5.3：将实验结果用到浅浮雕装饰品中。

优选地，所述步骤4中的细节信息包括图像大小、图像名称、目标包围盒、视角、关键点坐标、关键点名称和轮廓点。

本发明提供的基于形变模型的花朵浅浮雕浮雕生成具有以下有益效果：

(1)仅用图像作为系统输入，数据获取便捷且易操作；

(2)使用形变模型的思想来生成浅浮雕，将方法定位到类级别，可以解决一类的浅浮雕重建问题，合理设计其他类别的关键点，有望实现多个类别的浅浮雕重建，为适用广泛的基于形变模型的浅浮雕重建提供可能性；

(3)对于实验的特定类别-花朵，实现了不同形状花朵的浅浮雕重建，为浅浮雕装饰产品制作提供可用技术；

(4)本发明考虑到图像作为输入的便利大于从模型生成浮雕以及同一类别的物体有一定的相似性，在浮雕生成中引入形变模型思想，生成不同形态的花朵浅浮雕；

(5)通过本发明生成的花朵浅浮雕可以作为计算机辅助制造设备的输入，为浮雕装饰品的定制服务提供了一种新的解决方案；

(6)该方法结合学习出的形变模型，可以生成不同形状的花朵浅浮雕，本发明提出的方法从花朵出发却不仅仅局限于花朵，有望在多种类别上实现基于形变模型的浅浮雕重建。

附图说明

图1为本发明实施例1的基于形变模型的花朵浅浮雕浮雕生成方法的流程图；

图2为实施例1实验的图像标注示例，三角形表示关键点，圆点表示轮廓点；

图3为实施例1实验学习出的形变模型；

图4为实施例1实验不同花朵图像的重建效果；

图5为实施例1实验结果用于制成浮雕装饰品的效果展示；

图6为实施例1实验对人脸、小鸟以及小丑鱼类别上的重建效果。

具体实施方式

下面结合附图，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

实施例1

本实施例提供了一种基于形变模型的花朵浅浮雕浮雕生成方法，具体如图1所示，本实施例的思路是结合形变模型实现花朵浅浮雕的生成，该方法首先对收集到的二维花朵图像集标记关键点制作训练数据，应用NRSfM算法估计相机视点，利用可视外壳生成算法学习重建出形变模型；然后根据形变模型和新实例的二维图像生成对应实例的粗糙模型；最后利用灰度信息提取细节并附加到模型上得到最终的浅浮雕模型，具体实施包括以下步骤：

步骤1：收集并标注花朵图像，制作数据集；具体实现过程包括：

步骤1.1：从百度图片上爬取花朵图像；

步骤1.2：设计11个关键点，标记并获取图像上的关键点(三角形)及轮廓点(圆形)位置；11个关键如图2所示的三角形，分别为花瓣的五个顶点、五个花瓣分叉处以及花蕊中心；

步骤1.3：编写数据集制作程序，将图像信息写入mat文件；获取的图像信息有图像大小、图像名称、目标包围盒、视角、关键点坐标、关键点名称、轮廓点。

步骤2：根据步骤1得到的数据集，利用NRSfM方法估计相机视点，利用可视外壳生成算法生成形变模型，实现过程包括：

步骤2.1：NRSfM算法估计相机视点，定义标注信息

其中O_n是实例的轮廓信息，K_n是由标注的k(k＝11)个关键点组成观察矩阵，x_n，y_n分别代表第n幅图像关键点的x，y坐标：

NRSfM算法的模型如公式(2)-(3)所示，3D点S_n∈R^3×k通过投影函数π_n＝(c_n，R_n，T_n)投影到P_n，c_n代表尺度因子，R_n∈R^2×3代表旋转矩阵，T_n∈R^1×2表示2D的平移向量，求解目标是推断出所有训练实例形状S_n的参数

相机参数(c_n，R_n，T_n)以及变形参数{z_n}；

其中：R_nR_n ^T＝I₂

式中N_n表示白噪声，形状由平均形状

n维基向量[V₁，V₂，...V_n]＝V以及变形参数z_n参数化表示，

表示实例n的关键点距二值掩模的倒角距离，该约束表达式规定该实例的所有关键点应该位于掩模内部，采用最大期望算法(EM算法)求解上述模型；

步骤2.2：定义重建约束，利用可视外壳生成算法优化目标函数，重建形变模型，重建约束定义如下：

轮廓约束：保证预测的形状投影在输入图片的轮廓内并尽可能趋向轮廓；

关键点约束：由3D关键点KP到形状的倒角距离表示；

变形约束：除了以上数据项，拟制定每个点和其邻近点的约束以防止过度变形；参数δ表示相邻点之间的均方位移，V_ki是第k个向量的第i个点；

平滑约束：通过约束形状局部法线的方向来达到平滑目的；

如图3所示，图3a为网格模型展示图，图3b为模型展示图。

步骤3：根据步骤2得到的形变模型以及输入的特定实例的花朵图像，将形变模型变形到特定实例，实现过程包括：

步骤3.1：将形变模型按照新实例的约束，变形到新实例的模型，在花朵形状的优化过程中无法访问关键点，所以忽略“关键点约束”；

步骤4：从输入的花朵图像中提取细节信息；实现过程包括：

步骤4.1：提取图像的灰度信息和梯度信息，两者相加以增强轮廓边缘；

步骤4.2：对上述步骤得到的结果图进行伽马校正，M₁表示灰度和梯度相加的结果；

步骤4.3：根据光照强度反射和透射定律求取高度信息，用上述调整过的灰度值gradientI(x,y)代替反射系数，其中(x,y)表示像素点的位置坐标，引入调控因子β＝500，ρ1＝0和ρ2＝10，其中β调控表达式指数压缩的程度，ρ可以控制细节值的范围在[ρ1,ρ2]之间，折射率之比的平方根n＝0.2；

h(x,y)＝h₁(x,y)+h₂(x,y)。 (11)

步骤5：压缩模型并添加细节信息，生成最终的花朵浅浮雕模型，并将实验结果应用到仿照装饰品生成浅浮雕产品；实现过程包括：

步骤5.1：将实例模型压缩，生成浅浮雕模型的大致形状，压缩率为2％；由于模型顶点稀疏，无法与提取到的细节信息一一对应，因此对模型进行loop细分处理以增加顶点；

步骤5.2：对细节信息进行均值滤波(尺寸为3*3)以平滑细节，作为高度添加到浅浮雕模型，生成最终的浅浮雕效果；

步骤5.3：如图5所示，将实验结果用到浅浮雕装饰品中。

实验结果

使用本实施例的方法由原图像(图4的第一行和第三行)生成花朵浅浮雕(图4的第二行和第四行)，图5展示了将本实施例实验结果用于浅浮雕装饰品中的效果，也可利用本实施例的方法进行，人脸、鸟类和鱼类等图像的处理，图6展示了人脸、小鸟和小丑鱼的实验结果。

实验结果证明本发明可以有效提取花瓣上的细节，生成多种形状的花朵浅浮雕模型。生成的花朵浅浮雕可以应用到装饰产品中，为浅浮雕产品的工业化生产提供技术基础。另外，本发明方法可以扩展到其他类别的浅浮雕重建，如人脸、小鸟、小丑鱼等。

以上所述实施例仅为本发明较佳的具体实施方式，本发明的保护范围不限于此，任何熟悉本领域的技术人员在本发明披露的技术范围内，可显而易见地得到的技术方案的简单变化或等效替换，均属于本发明的保护范围。

Claims (2)

1.一种基于形变模型的花朵浅浮雕浮雕生成方法，其特征在于，具体包括以下步骤：

步骤1：收集并标注花朵图像，制作数据集；

步骤2：根据步骤1得到的数据集，利用NRSfM方法估计相机视点，利用可视外壳生成算法生成形变模型；

步骤3：根据步骤2得到的形变模型以及输入的特定实例的花朵图像，将形变模型变形到特定实例；

步骤4：从输入的花朵图像中提取细节信息；

步骤5：压缩模型并添加细节信息，生成最终的花朵浅浮雕模型，并将实验结果应用到仿照装饰品生成浅浮雕产品；

所述步骤1的制作数据集过程包括：

步骤1.1：获取花朵图像；

步骤1.2：根据花朵结构，设计11个关键点，标记并获取图像上的关键点及轮廓点位置；

步骤1.3：编写数据集制作程序，将图像信息写入mat文件；

所述步骤2的实现过程包括：

步骤2.1：NRSfM算法估计相机视点；

步骤2.2：定义重建约束，利用可视外壳生成算法优化目标函数，重建形变模型；

所述步骤3的实现过程包括：将形变模型按照新实例的约束，变形到新实例的模型；

所述步骤4的实现过程包括：

步骤4.1：提取图像的灰度信息和梯度信息，两者相加以增强轮廓边缘；

步骤4.2：对上述步骤得到的结果图进行伽马校正；

步骤4.3：根据光照强度反射和透射定律求取高度信息；

所述步骤5的实现过程包括：

步骤5.1：将实例模型压缩，生成浅浮雕模型的大致形状；

步骤5.2：对细节信息进行均值滤波以平滑细节，并作为高度值添加到浅浮雕模型，生成最终的浅浮雕效果；

步骤5.3：将实验结果用到浅浮雕装饰品中。

2.根据权利要求1所述的基于形变模型的花朵浅浮雕浮雕生成方法，其特征在于，所述步骤4中的细节信息包括图像大小、图像名称、目标包围盒、视角、关键点坐标、关键点名称和轮廓点。

Images