CN109920050A - 一种基于深度学习和薄板样条的单视图三维火焰重建方法 - Google Patents
一种基于深度学习和薄板样条的单视图三维火焰重建方法 Download PDFInfo
- Publication number
- CN109920050A CN109920050A CN201910153854.6A CN201910153854A CN109920050A CN 109920050 A CN109920050 A CN 109920050A CN 201910153854 A CN201910153854 A CN 201910153854A CN 109920050 A CN109920050 A CN 109920050A
- Authority
- CN
- China
- Prior art keywords
- flame
- view
- dimensional
- model
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
本发明具体涉及一种基于深度学习和薄板样条的单视图三维火焰重建方法,解决了现有的三维火焰重建过程中需要多视角图像完成物体深度信息的估计和计算,人力财力成本高等问题。首先,通过深度学习的方法在已有数据集中寻找检索与输入火焰最为相似的三维火焰模型;然后,与三维火焰模型的多角度投影视图进行对比得到最佳投影视图;最后,在三维薄板样条变形的方法对三维火焰模型进行处理,实现三维火焰模型的重建。该方法适用于基于单幅火焰图像或者单视角火焰图像的三维重建。本发明是一种相对稳定和比较准确的三维模型检索方法;与轮廓为基础构建控制盒来驱动变形相比,在选定相同的控制点时,本发明的时间复杂度更低。
Description
技术领域
本发明属于计算机视觉技术领域,具体涉及一种基于深度学习和薄板样条的单视图三维火焰重建方法。该方法适用于基于单幅火焰图像或者单视角火焰图像的三维重建。
背景技术
视觉是人类感知和认识世界的重要手段。计算机视觉技术通过模拟人类的视觉让计算机对图像进行获取、处理、分析和识别以实现对现实世界的认识。三维重建是指从所采集的一幅或多幅图像中恢复出所反应的三维物体的形状和空间信息的一种技术。通过三维重建可以恢复被检测物体丢失的三维信息,构建完整的三维模型。
火焰的三维结构对于了解火焰的传播机理和进行燃烧过程的动态仿真都有重要意义,因此对火焰视图进行三维重建具有一定的研究价值。
目前,三维重建方法通过多视角图像的立体匹配方式完成三维重建,其核心思想是通过多视角图像完成物体深度信息的估计和计算,进而恢复出三维物体或者三维场景。但是,该方法在拍摄的过程中需要旋转相机或者设置多个相机,增加了人力、物力和财力的成本。现阶段主要采用CT层析法对火焰进行三维重建,该方法所需设备昂贵,耗时长,不容易在工业中推广。同时,CT层析法在缺少投影的情况下,火焰重建的误差会很大。
发明内容
针对现有的三维火焰重建中需要多视角图像,增加了人力物力财力成本的问题,本发明提出了一种基于深度学习和薄板样条的单视图三维火焰重建方法。
为解决上述技术问题,本发明采用的技术方案为:
一种基于深度学习和薄板样条的单视图三维火焰重建方法包括以下步骤:
步骤1,收集不同类型火焰的数据,构建火焰的二维图像数据集和三维模型数据集;
步骤2,利用深度学习的方法,自动寻找火焰的二维图像和火焰三维模型的精确特征以及对输入单视角火焰图像进行分类;
步骤3,将步骤2提取的特征作为检索的依据,通过流形排序算法寻找二维图像与三维模型的近似对应关系,在三维模型数据集中查找与输入单视角火焰图像最为相似的三维火焰模型;
步骤4,提取计算步骤3中得到的三维火焰模型的多角度投影视图的特征,并计算上述特征与输入单视角火焰图像特征之间的欧式距离,取欧式距离最小时的投影视图作为三维火焰模型的最佳投影视图;
步骤5,通过锐化,提取前景,得到输入单视角火焰图像和三维火焰模型的最佳投影视图的外围轮廓;
步骤6,通过角点检测算法检测输入单视角火焰图像的特征点,然后利用比例关系寻找最佳投影视图轮廓中的特征点;
步骤7,特征点坐标的归一化,将像素坐标转化为物理坐标,确定目标特征点的坐标以及其相对应的源特征点在模型上的位置;
步骤8,使用归一化的特征坐标,通过三维薄板样条变形,实现三维火焰模型的重建。
优选地,所述步骤1中收集不同类型火焰,其火焰类型包括烛火、枪火和炉火。
优选地,所述步骤2中,利用深度学习的方法,自动寻找火焰图像和火焰三维模型的精确特征以及对输入单视角火焰图像进行分类,包括如下步骤:
步骤2.1,对于火焰三维模型数据集,采用固定视角的投影方式将每个火焰模型用102个投影视图来表示;
步骤2.2,生成卷积神经网络模型:将输入单视角火焰图像、火焰二维图像数据集和火焰三维模型投影视图作为模型的输入,输入火焰的预测分类概率结果作为输出,采用如表1所示的卷积神经网络结构进行特征训练,其中N表示火焰类型的类别数目,生成卷积神经网络模型;在特征训练过程中所有卷积运算的填充(Padding)参数均设置为“SAME”,目的是保持卷积操作的输出尺寸等于输入尺寸;池化运算均使用最大池化(max pool)操作,填充(Padding)参数设置为“VALID”且步长(stride)设置为(2,2);
表1卷积神经网络结构
名称 | 类型 | 输入 | 输出 | 滤波器尺寸 | 步长 |
layer1-conv1 | 卷积层 | 100*100*3 | 100*100*32 | (1,1) | (1,1) |
layer2-pool1 | 池化层 | 100*100*32 | 50*50*32 | (2,2) | (2,2) |
Layer3-conv2 | 卷积层 | 50*50*32 | 50*50*64 | (3,3) | (1,1) |
Layer4-pool2 | 池化层 | 50*50*64 | 25*25*64 | (2,2) | (2,2) |
Layer5-conv3 | 卷积层 | 25*25*64 | 25*25*128 | (3,3) | (1,1) |
Layer6-pool3 | 池化层 | 25*25*128 | 12*12*128 | (2,2) | (2,2) |
Layer7-conv4 | 卷积层 | 12*12*128 | 12*12*128 | (3,3) | (1,1) |
Layer8-pool5 | 池化层 | 12*12*128 | 6*6*128 | (2,2) | (2,2) |
Layer10-fc1 | 全连接层 | 4608*1 | 1024*1 | ||
Layer11-fc2 | 全连接层 | 1024*1 | 128*1 | ||
layer11-fc3 | 全连接层 | 128*1 | N*1 |
步骤2.3,利用步骤2.2生成的卷积神经网络模型计算得到输入火焰的分类信息以及所有火焰的二维图像的特征,包括输入单视角火焰图像、火焰二维图像数据集和火焰三维模型的投影视图的特征;将卷积神经网络中Layer11-fc2层的输出作为二维视图的特征描述符,即每个投影视图可以用128*1维的特征向量Fview表示;
步骤2.4,生成两种不同类型的三维火焰特征Fpool和F3D,具体为:
首先,由于三维火焰模型可用102个投影视图表示,因此将每个模型用128*102的初级三维模型特征向量F3D_init来表式;然后,通过最大池化(max pool)操作对初级特征向量F3D_init进行降维处理,生成128*1维的中级三维模型特征向量Fpool。最后,通过一个人工神经网络训练生成32*1维的高级三维模型特征向量F3D,人工神经网络的结构如表2所示。
表2人工神经网络结构
名称 | 输入 | 输出 |
FC1 | 128*1 | 64*1 |
FC2 | 64*1 | 32*1 |
FC3 | 32*1 | N*1 |
优选地,所述步骤4中,提取计算步骤3中得到的三维火焰模型的多角度投影视图的特征,并计算上述特征与输入单视角火焰图像特征之间的欧式距离,取欧式距离最小时的投影视图作为三维火焰模型的最佳投影视图,包括如下步骤:
步骤4.1,将步骤3中得到的三维火焰模型进行多角度投影,生成102个投影视图;
步骤4.2,将步骤4.1生成投影视图送入步骤2.2生成的卷积神经网络模型,得到视图特征描述;
步骤4.3,分别计算输入图像的特征与投影视图之间的欧式距离,取欧式距离最小时的投影视图作为三维火焰模型的最佳投影视图。
优选地,所述步骤5中,通过锐化,提取前景,得到输入单视角火焰图像和三维火焰模型的最佳投影视图的外围轮廓,包括如下步骤:
步骤5.1,对输入单视角火焰图像和三维火焰模型的最佳投影视图进行锐化处理;
步骤5.2,使用GrabCut算法对锐化处理后的图像进行前景分割;
步骤5.3,使用Canny算子和Sobel算子对图像进行边缘检测,然后利用图像中像素的拓扑关系得到火焰图像的外围轮廓;
优选地,所述步骤6中,通过角点检测算法检测输入单视角火焰图像的特征点,然后利用比例关系寻找最佳投影视图轮廓中的特征点,包括如下步骤:
步骤6.1,对于输入单视角火焰图像,通过使用角点检测算法检测图像中的关键点;
步骤6.2,对于最佳投影视图,通过输入单视角火焰图像中关键点之间部分轮廓长度与总轮廓长度的比例关系,寻找关键点。
优选地,所述步骤6.2中,对于最佳投影视图,通过输入单视角火焰图像中关键点之间部分轮廓长度与总轮廓长度的比例关系,寻找关键点,具体为:
首先,计算输入单视角火焰图像中的火焰轮廓周长S2,从轮廓质心画一条垂直线段与外围轮廓相交于两点,其中上面的相交点作为外围轮廓的起始点;其次,计算最佳视图中轮廓的周长S1,同样从其轮廓质心画一条垂直线段与外围轮廓相交于两点,将上面的相交点视作外围轮廓的起始点;然后,统计计算外围轮廓的起始点到输入单视角火焰图像中轮廓的特征点集的长度T2,在已知部分轮廓长度T2、目标火焰图像轮廓长度S2、模型火焰轮廓长度S1的情况下,可以通过公式(1)计算出与目标火焰图像部分轮廓长度T2唯一对应的模型火焰轮廓部分长度T1;最后,利用长度T1即可寻找最佳视图中轮廓的特征点。
优选地,所述步骤7中,特征点坐标的归一化,将像素坐标转化为物理坐标是通过公式(2)将像素坐标系O-UV转换成笛卡尔坐标系O-XY,实现像素坐标转换成物理坐标,其中w和h分别表示像素坐标系下的宽度和高度;u和v分别表示像素在像素坐标系O-UV的列数与行数;x和y分别表示像素在笛卡尔坐标系O-XY中的横坐标和纵坐标。
优选地,所述步骤8中,使用归一化的特征坐标,通过三维薄板样条变形,实现三维火焰模型的重建,具体为:
以薄板样条函数为指导,使用已知的部分控制点,使目标控制点也即火焰图像轮廓的特征点,与检索模型投影轮廓特征点,一一对应映射,构造出最小化能量函数,加入权重系数,拟合出薄板样条函数表达式:
把控制点Ci带入可求得函数系数a1、a2、a3、a4和bi,再把求得系数的薄板样条函数作用于其他非控制点的模型点,实现整个模型的变形,就此实现火焰模型的重建。
与现有技术相比,本发明具有如下有益效果:
1、与现有的基于视图聚类、2D-3D对齐、傅里叶描述符、傅里叶光谱方法相比,本发明是一种相对稳定的三维模型检索方法。
2、与现有的基于视图聚类、2D-3D对齐、傅里叶描述符、傅里叶光谱方法相比,本发明是一种相对比较准确的三维模型检索方法。
3、与轮廓为基础构建控制盒来驱动变形相比,在选定相同的控制点时,本发明的时间复杂度更低。
4、现阶段三维重建方法大多是基于多视图的,本发明是是一种基于单视图的三维火焰重建方法,减少了三维重建过程设备方面的投入。
附图说明
图1是固定视角的投影角度设置示意图;
图2是本发明的方法流程图;
图3是检索结果的PR曲线;
图4是单视角火焰图像的输入;
图5是图4的火焰三维重建结果。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细描述。
如图1和2所示,本实施例中的基于深度学习和薄板样条的单视图三维火焰重建方法,其包括以下步骤:
步骤1,收集不同类型火焰的数据,构建火焰的二维图像数据集和三维模型数据集;
该步骤是在互联网中收集多种不同类型的火焰的二维图像和三维模型,其中火焰类型有烛火、枪火和炉火。
步骤2,利用深度学习的方法,自动寻找火焰的二维图像和火焰三维模型的精确特征以及对输入火焰进行分类;
该步骤提取火焰的二维图像和火焰三维模型的基于深度学习的特征描述符以及输入火焰的分类信息,可以通过步骤2.1至步骤2.5来实现;
步骤2.1,对于火焰三维模型数据集,采用固定视角的投影方式将每个火焰模型用102个投影视图来表示,固定视角的投影角度设置如图1所示。
步骤2.2,生成卷积神经网络模型;将输入单视角火焰图像、火焰二维图像数据集和火焰三维模型投影视图作为模型的输入,输入火焰的预测分类概率结果作为输出,采用如表1所示的卷积神经网络结构进行训练,其中N表示数据集中火焰的类别数目,生成卷积神经网络模型;在特征训练的过程中所有卷积运算的填充(Padding)参数均设置为“SAME”,目的是保持卷积操作的输出尺寸等于输入尺寸;池化运算均使用最大池化(max pool)操作,填充(Padding)参数设置为“VALID”且步长(stride)设置为(2,2);
表1卷积神经网络结构
名称 | 类型 | 输入 | 输出 | 滤波器尺寸 | 步长 |
layer1-conv1 | 卷积层 | 100*100*3 | 100*100*32 | (1,1) | (1,1) |
layer2-pool1 | 池化层 | 100*100*32 | 50*50*32 | (2,2) | (2,2) |
Layer3-conv2 | 卷积层 | 50*50*32 | 50*50*64 | (3,3) | (1,1) |
Layer4-pool2 | 池化层 | 50*50*64 | 25*25*64 | (2,2) | (2,2) |
Layer5-conv3 | 卷积层 | 25*25*64 | 25*25*128 | (3,3) | (1,1) |
Layer6-pool3 | 池化层 | 25*25*128 | 12*12*128 | (2,2) | (2,2) |
Layer7-conv4 | 卷积层 | 12*12*128 | 12*12*128 | (3,3) | (1,1) |
Layer8-pool5 | 池化层 | 12*12*128 | 6*6*128 | (2,2) | (2,2) |
Layer10-fc1 | 全连接层 | 4608*1 | 1024*1 | ||
Layer11-fc2 | 全连接层 | 1024*1 | 128*1 | ||
layer11-fc3 | 全连接层 | 128*1 | N*1 |
步骤2.3,利用步骤2.2生成的卷积神经网络模型计算得到输入火焰的分类信息以及所有火焰的二维图像的特征,包括输入图像,火焰二维图像数据集和火焰三维模型的投影视图的特征;将卷积神经网络中Layer11-fc2层的输出作为二维图像的特征描述符,即每个二维图像可以用128*1维的特征向量Fview表示;
步骤2.4,生成两种不同类型的三维火焰特征Fpool和F3D,具体为:
首先,由于三维火焰模型可用102个投影视图表示,因此将每个模型用128*102的初级三维模型特征向量F3D_init来表式;然后,通过最大池化(max pool)操作对初级特征向量F3D_init进行降维处理,生成128*1维的中级三维模型特征向量Fpool;最后,通过一个人工神经网络训练生成32*1维的高级三维模型特征向量F3D,人工神经网络的结构如表2所示。
表2人工神经网络结构
名称 | 输入 | 输出 |
FC1 | 128*1 | 64*1 |
FC2 | 64*1 | 32*1 |
FC3 | 32*1 | N*1 |
步骤3,将步骤2提取的特征作为检索的依据,通过流形排序算法寻找二维视图与三维模型的近似对应关系,在三维模型数据集中查找与输入单视角火焰图像最为相似的三维火焰模型。
该步骤采用流形排序算法完成。其中,流形排序算法为现有技术,此处不再做具体阐述。
步骤4,提取计算步骤3得到的三维火焰模型的最佳投影视图;提取计算步骤3中得到的三维火焰模型的多角度投影视图的特征,并计算上述特征与输入单视角火焰图像特征之间的欧式距离,取欧式距离最小时的投影视图作为三维火焰模型的最佳投影视图;
该步骤是提取三维模型的最佳投影视图,具体的,该步骤可以通过如下步骤4.1至步骤4.3实现。
步骤4.1,将步骤3中得到的三维火焰模型按图1进行多角度投影,生成102个投影视图;
步骤4.2,将步骤4.1生成的投影视图送入步骤2.2生成的卷积神经网络模型,得到视图特征描述;
步骤4.3,分别计算输入图像的特征与投影视图之间的欧式距离,取欧式距离最小时的投影视图作为三维火焰模型的最佳投影视图。
步骤5,通过锐化,提取前景,得到输入单视角火焰图像和三维火焰模型的最佳投影视图的外围轮廓;
该步骤是提取二维图像的外围轮廓,具体的,该步骤可以通过如下步骤5.1至步骤5.3实现:
步骤5.1,对输入单视角火焰图像和三维火焰模型的最佳投影视图进行锐化处理;
步骤5.2,使用GrabCut算法对锐化处理后的图像进行前景分割;
步骤5.3,使用Canny算子和Sobel算子对图像进行边缘检测,然后利用图像中像素的拓扑关系得到火焰图像的外围轮廓;
其中,锐化处理、GrabCut算法、Canny算子和Sobel算子对图像进行边缘检测以及寻找图像外围轮廓为现有技术,此处不再做具体阐述。
步骤6,通过角点检测算法检测输入单视角火焰图像的特征点,然后利用比例关系寻找最佳投影视图轮廓中的特征点;
该步骤是提取二维图像中的特征点,可以通过如下步骤6.1至步骤6.2实现。
步骤6.1,对于输入单视角火焰图像,通过使用角点检测算法检测图像中的关键点;
步骤6.2,对于最佳投影视图,通过输入单视角火焰图像中关键点之间部分轮廓长度与总轮廓长度的比例关系,寻找关键点。具体为:
首先,计算输入单视角火焰图像中的火焰轮廓周长S2,从轮廓质心画一条垂直线段与外围轮廓相交于两点,其中上面的相交点作为外围轮廓的起始点;其次,计算最佳视图中轮廓的周长S1,同样从其轮廓质心画一条垂直线段与外围轮廓相交于两点,将上面的相交点视作外围轮廓的起始点;然后,统计计算外围轮廓的起始点到输入单视角火焰图像中轮廓的特征点集的长度T2,在已知部分轮廓长度T2、目标火焰图像轮廓长度S2、模型火焰轮廓长度S1的情况下,可以通过公式(1)计算出与目标火焰图像部分轮廓长度T2唯一对应的模型火焰轮廓部分长度T1;最后,利用长度T1即可寻找最佳视图中轮廓的特征点。
步骤7,特征点坐标的归一化,将像素坐标转化为物理坐标,确定目标特征点的坐标以及其相对应的源特征点在模型上的位置;
该步骤通过公式(2)将像素坐标系O-UV转换成笛卡尔坐标系O-XY,实现像素坐标转换成物理坐标,其中w和h分别表示像素坐标系下的宽度和高度;u和v分别表示像素在像素坐标系O-UV的列数与行数;x和y分别表示像素在笛卡尔坐标系O-XY中的横坐标和纵坐标。
步骤8,使用归一化的特征坐标,通过三维薄板样条变形,实现三维火焰模型的重建。
该步骤是以薄板样条函数为指导,使用已知的部分控制点,使目标控制点也即火焰图像轮廓的特征点,与检索模型投影轮廓特征点,一一对应映射,构造出最小化能量函数,加入权重系数,拟合出薄板样条函数表达式:
把控制点Ci带入可求得函数系数a1、a2、a3、a4和bi,再把求得系数的薄板样条函数作用于其他非控制点的模型点,实现整个模型的变形,就此实现火焰模型的重建。
将本发明与现有技术进行比较,进一步阐明本发明的优点。
分别利用现有的基于视图聚类、2D-3D对齐、傅里叶描述符、傅里叶光谱和本发明在SHREC13上的数据集上进行检索,同时在变形过程中,以轮廓为基础构建控制盒来驱动变形与本发明进行时间复杂度的对比。如图3至5所示,图3表示SHREC 13上数据集检索结果的PR曲线,表3表示检索结果的参数,表4表示不同方法的时间复杂度的对比,图4表示单视角火焰图像的输入,图5表示图4的火焰三维重建的效果。
在三维模型检索中普遍使用6种评价方法来衡量最终的检索性能,包括准确率-召回率(Precision-Recall,PR)曲线图、Nearest Neighbor(NN)、First Tier(FT)、SecondTier(ST)、E-Measure(E)以及Discounted Cumulative Gain(DCG)。
准确率-召回率(Precision-Recall)曲线体现总体检索效率,曲线越靠右上角代表结果越好。
Nearest Neighbor(NN):第一个返回检索结果的平均准确性。
First Tier(FT):返回的的前(C-1)(C为目标类模型的数量)个模型属于目标类的比例。
Second Tier(ST):返回的的前2(C-1)(C为目标类模型的数量)个模型属于目标类的比例。
E-Measure(E):检索准确率和召回率的加权平均值,值越大检索效果越好。
Discounted Cumulative Gain(DCG)根据检索结果的排序位置,计算不同检索结果的累积得分值,DCG值越高检索结果越好。
由图3可知,随着召回率的增加,本发明的准确率波动较小,说明本发明是一种相对稳定的三维模型检索方法。
表3检索结果的参数
方法 | NN | FT | ST | E | DCG |
视图聚类数目100 | 0.1610 | 0.0970 | 0.1490 | 0.0850 | 0.3490 |
视图聚类数目50 | 0.1310 | 0.0820 | 0.1300 | 0.0760 | 0.3320 |
2D-3D对齐 | 0.133 | 0.079 | 0.125 | 0.074 | 0.329 |
傅里叶描述符 | 0.0520 | 0.0390 | 0.0690 | 0.0410 | 0.2790 |
傅里叶光谱 | 0.023 | 0.019 | 0.037 | 0.019 | 0.241 |
本发明 | 0.986 | 0.946 | 0.997 | 0.458 | 0.987 |
由表3可知,本发明的各项参数都优于其他算法,是一种相对比较准确的三维模型检索方法。
表4不同方法的时间复杂度的对比
由表4可知,与轮廓为基础构建控制盒来驱动变形相比,在选定相同的控制点时,本发明的时间复杂度更低。
此外,阶段三维火焰重建过程中往往需要多视图,本发明结合三维模型检索技术和三维模型变形技术实现了单视图的三维火焰重建,减少了设备方面的投入,节约了成本。
Claims (9)
1.一种基于深度学习和薄板样条的单视图三维火焰重建方法,其特征在于:包括以下步骤:
步骤1,收集不同类型火焰的数据,构建火焰的二维图像数据集和三维模型数据集;
步骤2,利用深度学习的方法,自动寻找火焰的二维图像和火焰三维模型的精确特征以及对输入单视角火焰图像进行分类;
步骤3,将步骤2提取的特征作为检索的依据,通过流形排序算法寻找二维图像与三维模型的近似对应关系,在三维模型数据集中查找与输入单视角火焰图像最为相似的三维火焰模型;
步骤4,提取计算步骤3中得到的三维火焰模型的多角度投影视图的特征,并计算上述特征与输入单视角火焰图像特征之间的欧式距离,取欧式距离最小时的投影视图作为三维火焰模型的最佳投影视图;
步骤5,通过锐化,提取前景,得到输入单视角火焰图像和三维火焰模型的最佳投影视图的外围轮廓;
步骤6,通过角点检测算法检测输入单视角火焰图像的特征点,然后利用比例关系寻找最佳投影视图轮廓中的特征点;
步骤7,特征点坐标的归一化,将像素坐标转化为物理坐标,确定目标特征点的坐标以及其相对应的源特征点在模型上的位置;
步骤8,使用归一化的特征坐标,通过三维薄板样条变形,实现三维火焰模型的重建。
2.根据权利要求1所述的一种基于深度学习和薄板样条的单视图三维火焰重建方法,其特征在于:所述步骤1中收集不同类型火焰,其火焰类型包括烛火、枪火和炉火。
3.根据权利要求2所述的一种基于深度学习和薄板样条的单视图三维火焰重建方法,其特征在于:所述步骤2中,利用深度学习的方法,自动寻找火焰图像和火焰三维模型的精确特征以及对输入单视角火焰图像进行分类,包括如下步骤:
步骤2.1,对于火焰三维模型数据集,采用固定视角的投影方式将每个火焰模型用102个投影视图来表示;
步骤2.2,生成卷积神经网络模型:将输入单视角火焰图像、火焰二维图像数据集和火焰三维模型投影视图作为模型的输入,输入火焰的预测分类概率结果作为输出,采用如表1所示的卷积神经网络结构进行特征训练,其中N表示火焰类型的类别数目,生成卷积神经网络模型;在特征训练过程中所有卷积运算的填充(Padding)参数均设置为“SAME”,目的是保持卷积操作的输出尺寸等于输入尺寸;池化运算均使用最大池化(max pool)操作,填充(Padding)参数设置为“VALID”且步长(stride)设置为(2,2);
表1 卷积神经网络结构
步骤2.3,利用步骤2.2生成的卷积神经网络模型计算得到输入火焰的分类信息以及所有火焰的二维图像的特征,包括输入单视角火焰图像、火焰二维图像数据集和火焰三维模型的投影视图的特征;将卷积神经网络中Layer11-fc2层的输出作为二维视图的特征描述符,即每个投影视图可以用128*1维的特征向量Fview表示;
步骤2.4,生成两种不同类型的三维火焰特征Fpool和F3D,具体为:
首先,由于三维火焰模型可用102个投影视图表示,因此将每个模型用128*102的初级三维模型特征向量F3D_init来表式;然后,通过最大池化(max pool)操作对初级特征向量F3D_init进行降维处理,生成128*1维的中级三维模型特征向量Fpool;最后,通过一个人工神经网络训练生成32*1维的高级三维模型特征向量F3D,人工神经网络的结构如表2所示。
表2 人工神经网络结构
4.根据权利要求3所述的一种基于深度学习和薄板样条的单视图三维火焰重建方法,其特征在于:所述步骤4中,提取计算步骤3中得到的三维火焰模型的多角度投影视图的特征,并计算上述特征与输入单视角火焰图像特征之间的欧式距离,取欧式距离最小时的投影视图作为三维火焰模型的最佳投影视图,包括如下步骤:
步骤4.1,将步骤3中得到的三维火焰模型进行多角度投影,生成102个投影视图;
步骤4.2,将步骤4.1生成的投影视图送入步骤2.2生成的卷积神经网络模型,得到视图特征描述;
步骤4.3,分别计算输入图像的特征与投影视图之间的欧式距离,取欧式距离最小时的投影视图作为三维火焰模型的最佳投影视图。
5.根据权利要求4所述的一种基于深度学习和薄板样条的单视图三维火焰重建方法,其特征在于:所述步骤5中,通过锐化,提取前景,得到输入单视角火焰图像和三维火焰模型的最佳投影视图的外围轮廓,包括如下步骤:
步骤5.1,对输入单视角火焰图像和三维火焰模型的最佳投影视图进行锐化处理;
步骤5.2,使用GrabCut算法对锐化处理后的图像进行前景分割;
步骤5.3,使用Canny算子和Sobel算子对图像进行边缘检测,然后利用图像中像素的拓扑关系得到火焰图像的外围轮廓。
6.根据权利要求5所述的一种基于深度学习和薄板样条的单视图三维火焰重建方法,其特征在于:所述步骤6中,通过角点检测算法检测输入单视角火焰图像的特征点,然后利用比例关系寻找最佳投影视图轮廓中的特征点,包括如下步骤:
步骤6.1,对于输入单视角火焰图像,通过使用角点检测算法检测图像中的关键点;
步骤6.2,对于最佳投影视图,通过输入单视角火焰图像中关键点之间部分轮廓长度与总轮廓长度的比例关系,寻找关键点。
7.根据权利要求6所述的一种基于深度学习和薄板样条的单视图三维火焰重建方法,其特征在于:所述步骤6.2中,对于最佳投影视图,通过输入单视角火焰图像中关键点之间部分轮廓长度与总轮廓长度的比例关系,寻找关键点,具体为:首先,计算输入单视角火焰图像中的火焰轮廓周长S2,从轮廓质心画一条垂直线段与外围轮廓相交于两点,其中上面的相交点作为外围轮廓的起始点;其次,计算最佳视图中轮廓的周长S1,同样从其轮廓质心画一条垂直线段与外围轮廓相交于两点,将上面的相交点视作外围轮廓的起始点;然后,统计计算外围轮廓的起始点到输入单视角火焰图像中轮廓的特征点集的长度T2,在已知部分轮廓长度T2、目标火焰图像轮廓长度S2、模型火焰轮廓长度S1的情况下,可以通过公式(1)计算出与目标火焰图像部分轮廓长度T2唯一对应的模型火焰轮廓部分长度T1;最后,利用长度T1即可寻找最佳视图中轮廓的特征点。
8.根据权利要求7所述的一种基于深度学习和薄板样条的单视图三维火焰重建方法,其特征在于:所述步骤7中,特征点坐标的归一化,将像素坐标转化为物理坐标是通过公式(2)将像素坐标系O-UV转换成笛卡尔坐标系O-XY,实现像素坐标转换成物理坐标,其中w和h分别表示像素坐标系下的宽度和高度;u和v分别表示像素在像素坐标系O-UV的列数与行数;x和y分别表示像素在笛卡尔坐标系O-XY中的横坐标和纵坐标。
9.根据权利要求8所述的一种基于深度学习和薄板样条的单视图三维火焰重建方法,其特征在于:所述步骤8中,使用归一化的特征坐标,通过三维薄板样条变形,实现三维火焰模型的重建,具体为:
以薄板样条函数为指导,使用已知的部分控制点,使目标控制点也即火焰图像轮廓的特征点,与检索模型投影轮廓特征点,一一对应映射,构造出最小化能量函数,加入权重系数,拟合出薄板样条函数表达式:
把控制点Ci带入可求得函数系数a1、a2、a3、a4和bi,再把求得系数的薄板样条函数作用于其他非控制点的模型点,实现整个模型的变形,就此实现火焰模型的重建。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910153854.6A CN109920050B (zh) | 2019-03-01 | 2019-03-01 | 一种基于深度学习和薄板样条的单视图三维火焰重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910153854.6A CN109920050B (zh) | 2019-03-01 | 2019-03-01 | 一种基于深度学习和薄板样条的单视图三维火焰重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109920050A true CN109920050A (zh) | 2019-06-21 |
CN109920050B CN109920050B (zh) | 2020-08-14 |
Family
ID=66962936
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910153854.6A Active CN109920050B (zh) | 2019-03-01 | 2019-03-01 | 一种基于深度学习和薄板样条的单视图三维火焰重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109920050B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111145340A (zh) * | 2019-12-26 | 2020-05-12 | 北京理工大学 | 一种基于bp神经网络算法的三维火焰重构系统及方法 |
CN111932448A (zh) * | 2020-09-09 | 2020-11-13 | 南昌虚拟现实研究院股份有限公司 | 一种数据处理方法、装置、存储介质及设备 |
CN112113531A (zh) * | 2020-09-21 | 2020-12-22 | 哈尔滨工业大学 | 一种空间弯曲管件的数字化检测装置及检测方法 |
CN114882262A (zh) * | 2022-05-07 | 2022-08-09 | 四川大学 | 一种基于拓扑流形的多视图聚类方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060285770A1 (en) * | 2005-06-20 | 2006-12-21 | Jongwoo Lim | Direct method for modeling non-rigid motion with thin plate spline transformation |
CN101826217A (zh) * | 2010-05-07 | 2010-09-08 | 上海交通大学 | 人脸动画快速生成方法 |
CN101996418A (zh) * | 2010-09-08 | 2011-03-30 | 北京航空航天大学 | 一种带有温度信息的火焰采样装置和模拟方法 |
CN105844706A (zh) * | 2016-04-19 | 2016-08-10 | 浙江大学 | 一种基于单幅图像的全自动三维头发建模方法 |
-
2019
- 2019-03-01 CN CN201910153854.6A patent/CN109920050B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060285770A1 (en) * | 2005-06-20 | 2006-12-21 | Jongwoo Lim | Direct method for modeling non-rigid motion with thin plate spline transformation |
CN101826217A (zh) * | 2010-05-07 | 2010-09-08 | 上海交通大学 | 人脸动画快速生成方法 |
CN101996418A (zh) * | 2010-09-08 | 2011-03-30 | 北京航空航天大学 | 一种带有温度信息的火焰采样装置和模拟方法 |
CN105844706A (zh) * | 2016-04-19 | 2016-08-10 | 浙江大学 | 一种基于单幅图像的全自动三维头发建模方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111145340A (zh) * | 2019-12-26 | 2020-05-12 | 北京理工大学 | 一种基于bp神经网络算法的三维火焰重构系统及方法 |
CN111145340B (zh) * | 2019-12-26 | 2022-02-08 | 北京理工大学 | 一种基于bp神经网络算法的三维火焰重构系统及方法 |
CN111932448A (zh) * | 2020-09-09 | 2020-11-13 | 南昌虚拟现实研究院股份有限公司 | 一种数据处理方法、装置、存储介质及设备 |
CN112113531A (zh) * | 2020-09-21 | 2020-12-22 | 哈尔滨工业大学 | 一种空间弯曲管件的数字化检测装置及检测方法 |
CN114882262A (zh) * | 2022-05-07 | 2022-08-09 | 四川大学 | 一种基于拓扑流形的多视图聚类方法及系统 |
CN114882262B (zh) * | 2022-05-07 | 2024-01-26 | 四川大学 | 一种基于拓扑流形的多视图聚类方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN109920050B (zh) | 2020-08-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109410321B (zh) | 基于卷积神经网络的三维重建方法 | |
Melekhov et al. | Dgc-net: Dense geometric correspondence network | |
CN109920050A (zh) | 一种基于深度学习和薄板样条的单视图三维火焰重建方法 | |
CN104268539B (zh) | 一种高性能的人脸识别方法及系统 | |
CN104063702B (zh) | 一种基于遮挡修复和局部相似性匹配的三维步态识别方法 | |
CN106228185B (zh) | 一种基于神经网络的通用图像分类识别系统及方法 | |
CN108009222B (zh) | 基于较优视图和深度卷积神经网络的三维模型检索方法 | |
CN108090960A (zh) | 一种基于几何约束的目标重建方法 | |
CN111899172A (zh) | 一种面向遥感应用场景的车辆目标检测方法 | |
CN109063649B (zh) | 基于孪生行人对齐残差网络的行人重识别方法 | |
CN107093205A (zh) | 一种基于无人机图像的三维空间建筑物窗户检测重建方法 | |
CN111625667A (zh) | 一种基于复杂背景图像的三维模型跨域检索方法及系统 | |
CN109190643A (zh) | 基于卷积神经网络中药识别方法及电子设备 | |
CN105243139A (zh) | 一种基于深度学习的三维模型检索方法及其检索装置 | |
CN105046694A (zh) | 一种基于曲面拟合系数特征的点云快速配准方法 | |
CN110309835B (zh) | 一种图像局部特征提取方法及装置 | |
CN109034035A (zh) | 基于显著性检测和特征融合的行人重识别方法 | |
CN110349247A (zh) | 一种基于语义理解的室内场景cad三维重建方法 | |
CN111027140B (zh) | 基于多视角点云数据的飞机标准件模型快速重构方法 | |
CN111860587B (zh) | 一种用于图片小目标的检测方法 | |
CN111445426B (zh) | 一种基于生成对抗网络模型的目标服装图像处理方法 | |
CN109034131A (zh) | 一种半自动人脸关键点标注方法及存储介质 | |
CN110827312A (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
CN113160285A (zh) | 一种基于局部深度图像关键性的点云匹配方法 | |
CN111881716A (zh) | 一种基于多视角生成对抗网络的行人重识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |