CN114332355A - 一种基于深度学习的弱光多视图几何重建方法 - Google Patents
一种基于深度学习的弱光多视图几何重建方法 Download PDFInfo
- Publication number
- CN114332355A CN114332355A CN202111465100.8A CN202111465100A CN114332355A CN 114332355 A CN114332355 A CN 114332355A CN 202111465100 A CN202111465100 A CN 202111465100A CN 114332355 A CN114332355 A CN 114332355A
- Authority
- CN
- China
- Prior art keywords
- network
- image
- low
- view
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000013135 deep learning Methods 0.000 title claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 41
- 238000005286 illumination Methods 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000002474 experimental method Methods 0.000 claims abstract description 6
- 238000000605 extraction Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 11
- 238000011156 evaluation Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 238000009877 rendering Methods 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000012804 iterative process Methods 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习的弱光多视图几何重建方法，属于计算机视觉技术领域。可将输入的多视角低光照图像完整、准确的转换为三维点云模型。按以下步骤进行：S1、搭建实验平台，构建弱光多视图立体重建数据集；S2、处理弱光多视图立体重建数据集，将其作为基准数据用于后续网络学习；S3、将低光照增强数据集送入级联编码器、解码器网络进行训练；S4、利用多尺度几何重建网络计算增强后多视图的深度信息；S5、将采集的需要转换的多视角低光照图像转换为三维点云模型。采用基于深度学习的多视图几何重建算法，通过低光照增强网络和多尺度重建网络可以生成更精细的细节和清晰的纹理。深度图的完整性和整体质量有了很大的提高。
Description
技术领域
本发明涉及一种基于深度学习的弱光多视图几何重建方法，属于计算机视觉技术领域。
背景技术
3D重建是智能机器人、虚拟现实、增强现实和自动驾驶等新兴应用领域的重要课题。多视图几何重建(Multi-view Stereo,MVS)技术广泛用于重建过程。它在3D制图、文化遗产保护、动漫和游戏行业有着广泛的应用。
近年来，基于学习的MVS框架越来越多地应用于解决传统多视图几何重建算法的局限性。基于学习的多视图几何重建方法采用深度卷积层来推断每个视图的深度图，然后是单独的多视图融合过程来构建3D模型。这些方法允许网络提取编码场景的全局和局部信息的判别特征，以获得稳健特征匹配。通常，这种方法是一种端到端的网络结构，它学习根据先验知识从多幅图像中推断每个视图的深度信息。基于学习的MVS方法可以实现最先进的性能，具有更好的重建精度、更高的完整性、在遮挡下更健壮和更少的内存消耗。尽管最近在基于学习的MVS重建方面取得了进展，但很少讨论使用低光图像估计场景的高精度3D形状，这仍然是一个特别具有挑战性的问题。主要原因是低光图像缺乏足够的视觉处理特征信息。大多数现有的MVS方法都需要高质量的输入图像。然而，低光和低纹理环境往往会导致点特征不足而导致重建失败。
发明内容
本发明针对以上问题，提出了一种基于深度学习的弱光多视图几何重建方法，可将输入的多视角低光照图像完整、准确的转换为三维点云模型。
本发明的技术方案为：
按以下步骤进行：
S1、搭建实验平台，构建弱光多视图立体重建数据集，弱光多视图立体重建数据集包括用于训练低光图像增强网络的低光照增强数据集和用于训练多尺度几何重建网络的多视图几何重建数据集；
S2、通过3D纹理网格重建、计算尺度因子和迭代对齐3D网格模型三个步骤处理多视图几何重建数据集，将其作为基准数据用于后续网络学习；
S3、将低光照增强数据集送入级联编码器、解码器网络进行训练，由此得到增强后的多视角图像；
S4、根据多视图的相机位姿，利用步骤S2处理后的多视图几何重建数据集以及步骤S3得到的增强后的多视角图像建立并训练多尺度几何重建网络；
S5、将后续采集的需要转换的多视角低光照图像输入得到的弱光图像的三维重建模型，即多尺度几何重建网络中，计算增强后多视图的深度信息，最终转换为三维点云模型。
步骤S1具体为：
S1.1、搭建实验平台；
利用一个1.8×1.8×1.8(米)的支撑架和配套的黑色幕布建立一个封闭的暗室，暗示内部放置一个不反光的平台，平台上固定一台工业相机和一个可控制的转盘，暗室顶部悬挂LED灯管、平台两侧放置柔光灯；
S1.2、构建低光照增强数据集；
采集数据的场景是小玩偶、物体模型和生活用品，低光照增强数据集是原始传感器数据，包括低光图像和对应正常光图像对；
S1.3、构建多视图几何重建数据集；
采集数据的场景同样是小玩偶、物体模型和生活用品，多视图几何重建数据集包含若干个场景，每个场景有多个视图，并且提供每个场景的视图选择、相机姿势和深度图。
步骤S1.2具体为：采用分辨率为1280×1024的CMOS传感器型相机捕获图像，图像的拜尔阵列分配为B-G-G-R；
在图像拍摄过程中保持柔光灯和LED灯开启状态以提供足够的光线，并通过调整相机的光圈值来获得低光照图像；
在每个场景拍摄中，首先调整相机的光圈和焦距设置，以捕捉高质量的参考图像；
拍摄正常的光照图像后，相机的其他设置不变，将光圈值调整为最小光圈值以拍摄低光图像。
步骤S1.3具体为：相机的设置以及拍摄时的光照条件与步骤S1.2一致，相机拍摄过程中，需控制转盘旋转，并且每当转盘打开并旋转过10°时，关闭转盘并在此视点捕获图像，然后继续重复上述操作，从而逐个视点捕获图像，每个场景至少捕获30幅图像，最终以均匀的视角捕获多视点图像。
步骤S2具体为：
S2.1、3D纹理网格重建；
一边匀速旋转转盘一边通过相机采集图像，在物体周围均匀分布的至少400个视点位置采集图像，采集图像过程中固定相机的帧率；接下来，使用三维重建软件从30+视点和400+视点重建纹理网格，该三维重建软件执行完整的3D重建流程，包括对齐图像、构建密集云、构建网格和构建纹理，最后输出带有相机参数的3D网格模型；
然后，进一步手动清理从400+视点生成的网格模型，以通过MeshLab软件减少噪声并优化平面翻转；
S2.2、计算尺度因子；
首先手动标记实际物体上两个特征点之间的线性距离以及相应图像上两个点的坐标；从400+视点中选择了n张图像，从30+视点中选择了m张图像来标记两个特征点的像素坐标；同时，测量实际物体上两个特征点之间的距离并记录下来；
S2.3、迭代对齐3D网格模型；
根据标注的数据和两个网格模型，最终可以计算出400+视点生成的模型与30+视点的图像之间的比例因子，然后通过迭代最近点算法计算更新对齐的模型；通过30+视点的优化相机参数和对齐的网格模型，将对齐的网格模型渲染为多个视图，以生成深度图作为多尺度几何重建网络训练的真值深度。
步骤S3具体为：
S3.1、预处理管道网络：采用预处理管道处理收集到的原始传感器数据；
首先减去采集原始数据的黑电平值，然后将一通道拜耳滤色器阵列切成四通道，以将图像分辨率减半；原始拜尔阵列为B-G-G-R，打包后的四通道数据按R、G、B、G的顺序排列，打包后的数据乘以放大倍数，调整输出图像的亮度，然后应用级联U-Net网络对打包的四通道数据进行增强；网络最终输出的是原始分辨率R、G、B三通道图像。
S3.2、训练级联编解码器网络：训练级联编码器、解码器网络执行整个图像处理管道；
首先使用L1损失函数和Adam优化器来训练低光增强网络；训练时，网络的输入是工业相机捕获的原始低光图像，充分照明的图像被用作网络的真值图像；除了融合多级低光进行数据增强外，还在迭代过程中随机裁剪输入图像的512×512块，并随机翻转和旋转它们；
训练和测试的放大系数设置为250，学习率为10^(-4)；，分别从单视图图像和多幅图像中随机选择若干张图像制作测试集。
步骤S4具体为：
S4.1、建立多尺度几何重建网络；
多尺度几何重建网络包括特征提取金字塔网络、级联代价量正则化网络和深度回归网络；首先通过特征提取金字塔网络提取输入图像的多尺度特征信息，然后基于平面扫描立体算法建立离散假设深度平面；接下来，其他特征图被投影到参考相机视锥体中以建立特征体积，这些特征体积融合在一起以构建3D成本体积；最终3D CNN应用于此成本量以正则化和回归深度图；
S4.2、训练多尺度几何重建网络；
在多尺度几何重建网络训练期间，设置输入图像数量N＝3，图像分辨率为640×512；选择Adam优化器，其中1＝0.9和2＝0.999；根据弱光多视图立体重建数据集的实际深度范围，选择了一个合理的离散深度范围，从dmin＝120到dmax＝640(D＝256)作为初始从前到平行的假设；训练一共进行了24个迭代周期，初始学习率为10-3，在14、16、20个epochs后降低到原来的两倍；为了评估，将多视图几何重建数据集的第二部分分为训练、验证和评估三个子集；监督应用于多尺度几何重建网络的所有输出，其中包含中间输出和最终输出；对于K级联成本，总LOSS定义为，
其中{·}表示第n阶段的损失，λn表示其相应的损失权重；Pv指的是有效地面实况像素集，d(p)表示像素p的地面实况深度值，
是初始深度估计，
是最终深度估计像素p，可调参数ξ设为1.2。
步骤S4.1具体为：
S4.1.1、提取入图像的多尺度特征信息；
通过特征提取金字塔网络提取输入图像的多尺度特征信息，其中，金字塔的构建涉及自下而上的路径、自上而下的路径和横向连接，输入为任意大小的单尺度图像并以完全卷积的方式在多个级别输出按比例大小的特征图；
S4.1.2、利用级联成本量正则化网络计算每个视图的深度信息；
级联成本量网络有三个层级；这里特征提取金字塔网络生成具有{1/16,1/4,1}图像分辨率的特征图；为每个特征图构建具有多种分辨率的成本量；一个标准成本体积的分辨率为W×H×D×F，其中W×H表示空间分辨率，D是平面假设的数量，F是特征图的通道数；然后每个阶段的平面假设被前一阶段的预测缩小；深度平面的缩小是通过调整假设范围和假设平面间隔来实现的；具体地，给出第一级的深度范围和深度区间的值，分别用R1和I1表示。那么每级的假设范围和假设平面间隔，表示为以下公式，
Ri+1＝Ri·γi，γi<1
Ii+1＝Ii·εi，εi<1
其中Ri和Ii分别代表第i阶段的假设范围和假设深度区间，γi和εi分别是深度范围和深度区间的缩减系数；
S4.1.3、通过深度回归网络优化深度信息；
经过级联成本量网络输出后送入深度回归网络；其中，深度回归网络由多尺度的3DCNN构成，通过该卷积网络来聚合上下文信息并规范可能受噪声污染的成本量。
本发明分为两个阶段：低光照图像增强和多视图几何重建。具体为，对输入的多视角低光照图像预处理，利用级联编码器—解码器网络增强图像的亮度信息，由此得到增强后的图像。随后引入特征提取金字塔网络提取增强图像的特征。根据离散假设深度平面，将提取的每个视图的2D特征投影到假设平面并构建特征体积。接着利用级联成本量正则化网络计算每个视图的深度信息，再通过深度回归网络优化深度信息，最终有效融合多个视图的深度信息得到三维点云模型。
本发明提出的基于深度学习的弱光多视图几何重建方法与现有的技术相比优点在于：
一、本发明采用基于深度学习的弱光多视图几何重建方法，与大多数现有多视图几何重建方法处理在正常光照下捕获的输入图像以获得高质量重建结果不同，我们专注于在低光照条件下的重建任务。
二、采用基于深度学习的多视图几何重建算法，通过低光照增强网络和多尺度重建网络可以生成更精细的细节和清晰的纹理。与其他方法的结果相比，深度图的完整性和整体质量有了很大的提高。
三、本发将低光图像增强和三维重建有效的融合，为今后夜间环境重建提供了一种新的思路，有效启发计算机视觉相关研究。
附图说明
图1为基于深度学习的弱光多视图几何重建方法流程图；
图2为弱光多视图立体重建数据集样本图；
图3为低光照增强网络框架图；
图4为多尺度几何重建网络框架图。
具体实施方式
为能清楚说明本专利的技术特点，下面通过具体实施方式，并结合其附图，对本专利进行详细阐述。
基于深度学习的弱光多视图几何重建方法分为两个阶段：低光照图像增强和多视图几何重建。首先对输入的多视角低光照图像预处理，利用级联编码器—解码器网络增强图像的亮度信息，由此得到增强后的图像。随后引入特征提取金字塔网络提取增强图像的全局结构特征和细节纹理特征，根据离散假设深度平面，将提取的每个视图的2D特征投影到假设平面并构建特征体积，接着利用级联成本量正则化网络计算每个视图的深度信息，再通过深度回归网络优化深度信息，最终有效融合多个视图的深度信息得到三维点云模型。
下面结合附图和具体实施步骤对本发明进行详细说明。
如图1所示，本发明的具体实施方法如下：
S1、搭建实验平台，构建弱光多视图立体重建数据集，包括低光照增强数据集和多视图几何重建数据集；
S1.1、搭建实验平台；
利用一个1.8×1.8×1.8(米)的支撑架和配套的黑色幕布建立一个封闭的暗室，暗示内部放置一个不反光的平台。平台上固定一台工业相机和一个可控制的转盘，暗室顶部悬挂LED灯管、平台两侧放置柔光灯以提供充足光照。
下面，进一步对各个数据集的制作进行介绍。
S1.2、构建低光照增强数据集；
用于训练低光图像增强网络，采集数据的场景是小玩偶、物体模型和生活用品，该数据集是原始传感器数据，包括低光图像和对应正常光图像对。
具体来说：该数据集是原始传感器数据，包括低光图像和对应正常光图像对。采用原始传感器数据由分辨率为1280×1024的CMOS传感器型相机捕获图像，图像的拜尔阵列分配为B-G-G-R。在图像拍摄过程中保持柔光灯和LED灯开启状态以提供足够的光线，并通过调整相机的光圈值来获得低光照图像。在每个场景拍摄中，首先调整相机的光圈和焦距设置，以捕捉高质量的参考图像。拍摄正常的光照图像后，相机的其他设置不变，将光圈值调整为最小光圈值以拍摄低光图像。该相机镜头共有7个光圈值，分别是f/2、f/2.8、f/4、f/5.6、f/8、f/11和关闭状态，一般低光情况设置为相机的最小光圈值f/11。
S1.3、构建多视图几何重建数据集；
用于训练多尺度几何重建网络，同样采集数据的场景是小玩偶、物体模型和生活用品。该数据集包含若干个场景，每个场景有多个视图(这里可以采集30+视图)，并且提供每个场景的视图选择、相机姿势和深度图。
图2为弱光多视图立体重建数据集样本图。
具体来说：该数据集包含若干个场景，每个场景有多个视图(这里可以采集30+视图)，并且提供每个场景的视图选择、相机姿势和深度图。相机拍摄光照条件与步骤S1.2一致，并且利用转盘来捕获多视点图像。相机拍摄过程中，转盘以一定的速度旋转，以近似均匀的视角捕捉物体。捕捉过程通过调整转盘开关的状态来控制对象视点的选择，当转盘打开并旋转约10°时，关闭转盘并在此视点捕获图像。然后继续重复上述操作以逐个视点捕获图像。
S2、处理多视图几何重建数据集，将其作为基准数据用于后续网络学习；
处理多视图几何重建数据集有3D纹理网格重建、计算尺度因子和迭代对齐3D网格模型三个步骤，具体为下：
S2.1、3D纹理网格重建；
第一步是覆盖足够多的视点以生成高质量的纹理网格模型。一般情况下保持转盘匀速旋转，采集图像过程中固定相机的帧率，使400+视点均匀分布在物体周围。接下来，使用Agisoft Metashape Professional三维重建软件从30+视点和400+视点重建纹理网格。该软件执行完整的3D重建流程，包括对齐图像、构建密集云、构建网格和构建纹理，最后输出带有相机参数的3D网格模型。然后进一步手动清理从400+视点生成的网格模型，以通过MeshLab软件减少噪声并优化平面翻转。
S2.2、计算尺度因子；
给定30+输入图像的3D网格模型和相机参数，将3D网格模型渲染到每个视点，得到对应的深度图。由于3D网格模型由400+视点重建，低光图像输入为30+视角，因此需要计算3D模型之间的比例因子。然后应用迭代最近点算法将3D模型统一到同一坐标系中。首先手动标记实际物体上两个特征点之间的线性距离以及相应图像上两个点的坐标。为了获得每个对象的精确比例值，从400+视点中选择了n张图像，从30+视点中选择了m张图像来标记两个特征点的像素坐标。同时，测量实际物体上两个特征点之间的距离并记录下来。
S2.3、迭代对齐3D网格模型；
根据标注的数据和两个网格模型，最终可以计算出400+视点生成的模型与30+视点的图像之间的比例因子，然后通过迭代最近点算法计算更新对齐的模型。通过30+视点的优化相机参数和对齐的网格模型，将对齐的网格模型渲染为多个视图，以生成深度图作为多尺度几何重建网络训练的真值深度。
图3为低光照增强网络框架图。
S3、将低光照增强数据集送入级联编码器、解码器网络进行训练，由此得到增强后的多视角图像；
通过级联编码器、解码器网络进行快速原始低光图像增强。首先采用预处理管道处理收集到的原始传感器数据，然后训练级联编码器、解码器网络执行整个图像处理管道。
S3.1、预处理管道网络；
在训练期间应注意图像处理管道。首先减去采集原始数据的黑电平值。然后将一通道拜耳滤色器阵列切成四通道，以将图像分辨率减半。原始拜尔阵列为B-G-G-R，打包后的四通道数据按R、G、B、G的顺序排列。打包后的数据乘以放大倍数，调整输出图像的亮度。然后应用级联U-Net网络对打包的四通道数据进行增强。网络最终输出的是原始分辨率R、G、B三通道图像。
S3.2、训练级联编解码器网络；
首先使用L1损失函数和Adam优化器来训练低光增强网络。对于训练，网络的输入是工业相机捕获的原始低光图像，充分照明的图像被用作网络的真值图像。除了融合多级低光进行数据增强外，还在迭代过程中随机裁剪输入图像的512×512块，并随机翻转和旋转它们。训练和测试的放大系数根据经验设置为250，学习率为10^(-4)。为了进行评估，分别从单视图图像和多幅图像中随机选择若干张图像制作测试集。
图4为多尺度几何重建网络框架图。
S4、根据多视图的相机位姿，利用步骤S2处理后的多视图几何重建数据集以及步骤S3得到的增强后的多视角图像建立并训练多尺度几何重建网络；
S4.1、建立多尺度几何重建网络；
该网络主要由特征提取金字塔网络、级联代价量正则化网络和深度回归网络三个模块组成。它首先通过特征提取金字塔网络提取输入图像，即步骤S3得到的增强后的多视角图像的多尺度特征信息，然后基于平面扫描立体算法建立离散假设深度平面。接下来，其他特征图被投影到参考相机视锥体中以建立特征体积，这些特征体积融合在一起以构建3D成本体积。最终3D CNN应用于此成本量以正则化和回归深度图。
S4.1.1、提取入图像的多尺度特征信息；
通过特征提取金字塔网络提取输入图像的多尺度特征信息，其中，为了获得高分辨率的深度图，采用其具有更高空间分辨率的特征图来构建更高分辨率的成本量，用以解决标准成本量是使用包含高级语义特征但缺乏低级更精细表示的顶级特征图构建的问题。金字塔的构建涉及自下而上的路径、自上而下的路径和横向连接，输入为任意大小的单尺度图像并以完全卷积的方式在多个级别输出按比例大小的特征图。
S4.1.2、利用级联成本量正则化网络计算每个视图的深度信息；
在特征提取金字塔网络之后引入了级联成本量网络，级联成本量网络有三个层级。这里特征提取金字塔网络生成具有{1/16,1/4,1}图像分辨率的特征图。为每个特征图构建具有多种分辨率的成本量。一个标准成本体积的分辨率为W×H×D×F，其中W×H表示空间分辨率，D是平面假设的数量，F是特征图的通道数。然后每个阶段的平面假设被前一阶段的预测缩小。深度平面的缩小是通过调整假设范围和假设平面间隔来实现的。具体地，给出第一级的深度范围和深度区间的值，分别用R1和I1表示。那么每级的假设范围和假设平面间隔，表示为以下公式，
Ri+1＝Ri·γi，γi<1
Ii+1＝Ii·εi，εi<1
其中Ri和Ii分别代表第i阶段的假设范围和假设深度区间，γi和εi分别是深度范围和深度区间的缩减系数。
S4.1.3、通过深度回归网络优化深度信息；
经过级联成本量网络输出后送入深度回归网络。深度回归网络由多尺度的3D CNN构成，通过该卷积网络来聚合上下文信息并规范可能受噪声污染的成本量。由此解决针对固有特定区域(例如遮挡区域、重复图案、无纹理区域和反射表面)中逐像素成本计算不明确的这一问题。
S4.2、训练多尺度几何重建网络；
在多尺度几何重建网络训练期间，设置输入图像数量N＝3，图像分辨率为640×512。选择Adam优化器，其中1＝0.9和2＝0.999。根据弱光多视图立体重建数据集的实际深度范围，选择了一个合理的离散深度范围，从dmin＝120到dmax＝640(D＝256)作为初始从前到平行的假设。训练一共进行了24个迭代周期，初始学习率为10-3，在14、16、20个epochs后降低到原来的两倍。为了评估，将多视图几何重建数据集的第二部分分为训练、验证和评估三个子集。监督应用于多尺度几何重建网络的所有输出，其中包含中间输出和最终输出。对于K级联成本，总LOSS定义为，
其中{·}表示第n阶段的损失，λn表示其相应的损失权重。Pv指的是有效地面实况像素集，d(p)表示像素p的地面实况深度值，
是初始深度估计，
是最终深度估计像素p。实验中可调参数ξ设为1.2。
S5、将后续采集的需要转换的多视角低光照图像输入利用多视图深度融合技术得到的弱光图像的三维重建模型，即多尺度几何重建网络中，计算增强后多视图的深度信息，最终转换为三维点云模型。
综上所述，本发明基于多视图几何理论，提供了一种基于深度学习的弱光多视图几何重建方法。该方法将低光照图像增强网络和多尺度几何重建网络结合在一起，通过级联编码器—解码器网络增强输入图像的亮度信息，随后引入特征提取金字塔网络提取增强图像的特征，利用级联成本量正则化网络计算每个视图的深度信息，再通过深度回归网络优化深度信息，最终有效融合多个视图的深度信息得到三维点云模型。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于深度学习的弱光多视图几何重建方法，其特征在于，按以下步骤进行：
S1、搭建实验平台，构建弱光多视图立体重建数据集，弱光多视图立体重建数据集包括用于训练低光图像增强网络的低光照增强数据集和用于训练多尺度几何重建网络的多视图几何重建数据集；
S2、通过3D纹理网格重建、计算尺度因子和迭代对齐3D网格模型三个步骤处理多视图几何重建数据集，将其作为基准数据用于后续网络学习；
S3、将低光照增强数据集送入级联编码器、解码器网络进行训练，由此得到增强后的多视角图像；
S4、根据多视图的相机位姿，利用步骤S2处理后的多视图几何重建数据集以及步骤S3得到的增强后的多视角图像建立并训练多尺度几何重建网络；
S5、将后续采集的需要转换的多视角低光照图像输入得到的弱光图像的三维重建模型，即多尺度几何重建网络中，计算增强后多视图的深度信息，最终转换为三维点云模型。
2.根据权利要求1所述的一种基于深度学习的弱光多视图几何重建方法，其特征在于，步骤S1具体为：
S1.1、搭建实验平台；
利用一个1.8×1.8×1.8(米)的支撑架和配套的黑色幕布建立一个封闭的暗室，暗示内部放置一个不反光的平台，平台上固定一台工业相机和一个可控制的转盘，暗室顶部悬挂LED灯管、平台两侧放置柔光灯；
S1.2、构建低光照增强数据集；
采集数据的场景是小玩偶、物体模型和生活用品，低光照增强数据集是原始传感器数据，包括低光图像和对应正常光图像对；
S1.3、构建多视图几何重建数据集；
采集数据的场景同样是小玩偶、物体模型和生活用品，多视图几何重建数据集包含若干个场景，每个场景有多个视图，并且提供每个场景的视图选择、相机姿势和深度图。
3.根据权利要求2所述的一种基于深度学习的弱光多视图几何重建方法，其特征在于，步骤S1.2具体为：采用分辨率为1280×1024的CMOS传感器型相机捕获图像，图像的拜尔阵列分配为B-G-G-R；
在图像拍摄过程中保持柔光灯和LED灯开启状态以提供足够的光线，并通过调整相机的光圈值来获得低光照图像；
在每个场景拍摄中，首先调整相机的光圈和焦距设置，以捕捉高质量的参考图像；
拍摄正常的光照图像后，相机的其他设置不变，将光圈值调整为最小光圈值以拍摄低光图像。
4.根据权利要求2所述的一种基于深度学习的弱光多视图几何重建方法，其特征在于，步骤S1.3具体为：相机的设置以及拍摄时的光照条件与步骤S1.2一致，相机拍摄过程中，需控制转盘旋转，并且每当转盘打开并旋转过10°时，关闭转盘并在此视点捕获图像，然后继续重复上述操作，从而逐个视点捕获图像，每个场景至少捕获30幅图像，最终以均匀的视角捕获多视点图像。
5.根据权利要求1所述的一种基于深度学习的弱光多视图几何重建方法，其特征在于，步骤S2具体为：
S2.1、3D纹理网格重建；
一边匀速旋转转盘一边通过相机采集图像，在物体周围均匀分布的至少400个视点位置采集图像，采集图像过程中固定相机的帧率；接下来，使用三维重建软件从30+视点和400+视点重建纹理网格，该三维重建软件执行完整的3D重建流程，包括对齐图像、构建密集云、构建网格和构建纹理，最后输出带有相机参数的3D网格模型；
然后，进一步手动清理从400+视点生成的网格模型，以通过MeshLab软件减少噪声并优化平面翻转；
S2.2、计算尺度因子；
首先手动标记实际物体上两个特征点之间的线性距离以及相应图像上两个点的坐标；从400+视点中选择了n张图像，从30+视点中选择了m张图像来标记两个特征点的像素坐标；同时，测量实际物体上两个特征点之间的距离并记录下来；
S2.3、迭代对齐3D网格模型；
根据标注的数据和两个网格模型，最终可以计算出400+视点生成的模型与30+视点的图像之间的比例因子，然后通过迭代最近点算法计算更新对齐的模型；通过30+视点的优化相机参数和对齐的网格模型，将对齐的网格模型渲染为多个视图，以生成深度图作为多尺度几何重建网络训练的真值深度。
6.根据权利要求1所述的一种基于深度学习的弱光多视图几何重建方法，其特征在于，步骤S3具体为：
S3.1、预处理管道网络：采用预处理管道处理收集到的原始传感器数据；
首先减去采集原始数据的黑电平值，然后将一通道拜耳滤色器阵列切成四通道，以将图像分辨率减半；原始拜尔阵列为B-G-G-R，打包后的四通道数据按R、G、B、G的顺序排列，打包后的数据乘以放大倍数，调整输出图像的亮度，然后应用级联U-Net网络对打包的四通道数据进行增强；网络最终输出的是原始分辨率R、G、B三通道图像。
S3.2、训练级联编解码器网络：训练级联编码器、解码器网络执行整个图像处理管道；
首先使用L1损失函数和Adam优化器来训练低光增强网络；训练时，网络的输入是工业相机捕获的原始低光图像，充分照明的图像被用作网络的真值图像；除了融合多级低光进行数据增强外，还在迭代过程中随机裁剪输入图像的512×512块，并随机翻转和旋转它们；
训练和测试的放大系数设置为250，学习率为10^(-4)；，分别从单视图图像和多幅图像中随机选择若干张图像制作测试集。
7.根据权利要求1所述的一种基于深度学习的弱光多视图几何重建方法，其特征在于，步骤S4具体为：
S4.1、建立多尺度几何重建网络；
多尺度几何重建网络包括特征提取金字塔网络、级联代价量正则化网络和深度回归网络；首先通过特征提取金字塔网络提取输入图像的多尺度特征信息，然后基于平面扫描立体算法建立离散假设深度平面；接下来，其他特征图被投影到参考相机视锥体中以建立特征体积，这些特征体积融合在一起以构建3D成本体积；最终3D CNN应用于此成本量以正则化和回归深度图；
S4.2、训练多尺度几何重建网络；
在多尺度几何重建网络训练期间，设置输入图像数量N＝3，图像分辨率为640×512；选择Adam优化器，其中1＝0.9和2＝0.999；根据弱光多视图立体重建数据集的实际深度范围，选择了一个合理的离散深度范围，从dmin＝120到dmax＝640(D＝256)作为初始从前到平行的假设；训练一共进行了24个迭代周期，初始学习率为10-3，在14、16、20个epochs后降低到原来的两倍；为了评估，将多视图几何重建数据集的第二部分分为训练、验证和评估三个子集；监督应用于多尺度几何重建网络的所有输出，其中包含中间输出和最终输出；对于K级联成本，总LOSS定义为，
其中{·}表示第n阶段的损失，λn表示其相应的损失权重；Pv指的是有效地面实况像素集，d(p)表示像素p的地面实况深度值，
是初始深度估计，
是最终深度估计像素p，可调参数ξ设为1.2。
8.根据权利要求7述的一种基于深度学习的弱光多视图几何重建方法，其特征在于，步骤S4.1具体为：
S4.1.1、提取入图像的多尺度特征信息；
通过特征提取金字塔网络提取输入图像的多尺度特征信息，其中，金字塔的构建涉及自下而上的路径、自上而下的路径和横向连接，输入为任意大小的单尺度图像并以完全卷积的方式在多个级别输出按比例大小的特征图；
S4.1.2、利用级联成本量正则化网络计算每个视图的深度信息；
级联成本量网络有三个层级；这里特征提取金字塔网络生成具有{1/16，1/4，1}图像分辨率的特征图；为每个特征图构建具有多种分辨率的成本量；一个标准成本体积的分辨率为W×H×D×F，其中W×H表示空间分辨率，D是平面假设的数量，F是特征图的通道数；然后每个阶段的平面假设被前一阶段的预测缩小；深度平面的缩小是通过调整假设范围和假设平面间隔来实现的；具体地，给出第一级的深度范围和深度区间的值，分别用R1和I1表示。那么每级的假设范围和假设平面间隔，表示为以下公式，
Ri+1＝Ri·γi，γi＜1
Ii+1＝Ii·εi，εi＜1
其中Ri和Ii分别代表第i阶段的假设范围和假设深度区间，γi和εi分别是深度范围和深度区间的缩减系数；
S4.1.3、通过深度回归网络优化深度信息；
经过级联成本量网络输出后送入深度回归网络；其中，深度回归网络由多尺度的3DCNN构成，通过该卷积网络来聚合上下文信息并规范可能受噪声污染的成本量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111465100.8A CN114332355A (zh) | 2021-12-03 | 2021-12-03 | 一种基于深度学习的弱光多视图几何重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111465100.8A CN114332355A (zh) | 2021-12-03 | 2021-12-03 | 一种基于深度学习的弱光多视图几何重建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114332355A true CN114332355A (zh) | 2022-04-12 |
Family
ID=81048152
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111465100.8A Pending CN114332355A (zh) | 2021-12-03 | 2021-12-03 | 一种基于深度学习的弱光多视图几何重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114332355A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114858802A (zh) * | 2022-07-05 | 2022-08-05 | 天津大学 | 一种织物多尺度图像采集方法与装置 |
| CN115984462A (zh) * | 2022-12-19 | 2023-04-18 | 广州紫为云科技有限公司 | 一种单目多视角的通用物体三维建模方法 |
-
2021
- 2021-12-03 CN CN202111465100.8A patent/CN114332355A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114858802A (zh) * | 2022-07-05 | 2022-08-05 | 天津大学 | 一种织物多尺度图像采集方法与装置 |
| CN115984462A (zh) * | 2022-12-19 | 2023-04-18 | 广州紫为云科技有限公司 | 一种单目多视角的通用物体三维建模方法 |
| CN115984462B (zh) * | 2022-12-19 | 2024-03-08 | 广州紫为云科技有限公司 | 一种单目多视角的通用物体三维建模方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Munkberg et al. | Extracting triangular 3d models, materials, and lighting from images | |
| CN110910486B (zh) | 室内场景光照估计模型、方法、装置、存储介质以及渲染方法 | |
| Srinivasan et al. | Aperture supervision for monocular depth estimation | |
| CN113066168B (zh) | 一种多视图立体网络三维重建方法及系统 | |
| CN110163974B (zh) | 一种基于无向图学习模型的单图像面片重建方法 | |
| CN113572962B (zh) | 室外自然场景光照估计方法及装置 | |
| CN106952341B (zh) | 一种基于视觉的水下场景三维点云重建方法及其系统 | |
| CN114332355A (zh) | 一种基于深度学习的弱光多视图几何重建方法 | |
| CN105046649A (zh) | 一种去除运动视频中运动物体的全景图拼接方法 | |
| CN105190229A (zh) | 三维形状计测装置、三维形状计测方法及三维形状计测程序 | |
| CN115880443A (zh) | 一种透明物体隐式表面重建方法及设备 | |
| CN110378995A (zh) | 一种利用投射特征进行三维空间建模的方法 | |
| CN110889868B (zh) | 一种结合梯度和纹理特征的单目图像深度估计方法 | |
| CN116468769A (zh) | 一种基于图像的深度信息估计方法 | |
| CN111915735A (zh) | 一种针对视频中三维结构轮廓的深度优化方法 | |
| CN114998507A (zh) | 一种基于自监督学习的光度立体三维重建方法 | |
| CN111325828A (zh) | 一种基于三目相机的三维人脸采集方法及装置 | |
| CN116452757B (zh) | 一种复杂场景下的人体表面重建方法和系统 | |
| Xu et al. | Relightable and animatable neural avatar from sparse-view video | |
| CN117274349A (zh) | 基于rgb-d相机一致性深度预测的透明物体重建方法及系统 | |
| Guo et al. | Efficient shadow detection and removal using synthetic data with domain adaptation | |
| Kang et al. | Fast dense 3D reconstruction using an adaptive multiscale discrete-continuous variational method | |
| CN115953460A (zh) | 基于自监督深度学习的视觉里程计方法 | |
| CN114663599A (zh) | 一种基于多视图的人体表面重建方法及系统 | |
| Zhang et al. | Research on Binocular Stereo Vision Ranging Based on Improved YOLOv5s |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |