CN110427968A - 一种基于细节增强的双目立体匹配方法 - Google Patents
一种基于细节增强的双目立体匹配方法 Download PDFInfo
- Publication number
- CN110427968A CN110427968A CN201910580140.3A CN201910580140A CN110427968A CN 110427968 A CN110427968 A CN 110427968A CN 201910580140 A CN201910580140 A CN 201910580140A CN 110427968 A CN110427968 A CN 110427968A
- Authority
- CN
- China
- Prior art keywords
- network
- parallax
- sub
- optimization
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于细节增强的双目立体匹配方法,首先,利用视差初始化子网络来获取低分辨率下的初始视差估计结果;然后,通过带引导模块的优化子网络,结合多尺度优化策略,逐步上采样并优化低分辨率初始视差,并输出全分辨率下的稠密视差估计结果;接着,使用多尺度损失函数,将低分辨率下的视差估计结果作为中间监督,以提高网络的收敛精度,促进全分辨率下的视差估计结果;再将待匹配的双目立体像对输入训练好的网络,得到视差估计结果。该方法通过对具有真实视差的训练数据集进行学习与训练,在极大提高了立体匹配所得到的视差结果的精度与鲁棒性的同时,还显著提升了视差图中对小目标以及边缘等细节信息的估计结果。
Description
技术领域
本发明涉及图像处理中的立体匹配技术领域,具体涉及一种基于细节增强的双目立体匹配方法。
背景技术
立体匹配是图像处理领域中的一个经典问题,它的主要目标是估计一对已经经过核线校正的立体像对(两幅图中的匹配点在同一行上)之间的视差(匹配点的列坐标之差)。通过立体匹配所得到的视差图在许多领域中都有着广泛的应用,比如自动驾驶、室内定位以及三维重建等。因此,立体匹配具有着重要的研究价值。
在绝大多数的传统方法中,通常将立体匹配分为四个步骤,分别是:计算匹配代价、代价聚合、视差估计以及视差优化。但是,通过传统的手工设计的特征计算得到的匹配代价在面对具有挑战性的复杂场景时往往鲁棒性不佳,并因此限制了传统立体匹配方法的表现。
近年来的一些研究表明,基于卷积神经网络的深度学习技术可以被应用在立体匹配任务中。早期的一些方法通过利用卷积神经网络强大的特征表征能力来计算图像块之间的匹配代价,来代替基于手工设计的特征的方法。然而,这种方法只利用了局部的图像块,却忽略了图像的全局信息,因此严重限制了视差精度的提升。在这之后,一些利用图像全局信息的端到端的被提出并极大极大地提升了视差估计得精度。但是,这些端到端端到端的方法仍然无法捕获图像中的细节信息,导致视差图中的微小结构和边缘经常丢失或者产生模糊。
本申请发明人在实施本发明的过程中,发现现有技术的方法,至少存在如下技术问题:
最近,一些利用引导信息的网络展现了它们在细节保持方面的优势。将引导信息应用到立体匹配工作中的一种典型方法就是引入一个子任务的网络,比如,通过额外训练一个边缘提取的网络,然后将边缘检测的结果作为引导信息与视差估计网络中的匹配代价相结合,从而得到具有高精度和丰富细节的视差图。但是这种方法在训练网络的过程中引入了一个额外任务的子网络,使得网络的复杂度大大上升,让网络变得难以训练。另外一种方案是,直接将原图像与初始视差图相结合,用原图中的色彩信息作为引导,来恢复初始视差图中的细节。这种方法虽然避免了引入额外任务的网络所带来的复杂度上升问题,但是来自原图像中的噪声也会影响引导信息的准确性,为细节视差的恢复带来不确定性。
由此可知,现有技术中的方法存在匹配精度不高的技术问题。
发明内容
有鉴于此,本发明提供了一种基于细节增强的双目立体匹配方法,用以解决或者至少部分解决现有技术中的方法存在的匹配精度不高的技术问题。
本发明提供了一种基于细节增强的双目立体匹配方法,包括:
步骤S1:设置能够获取低分辨率下的初始视差估计结果的初始化子网络;
步骤S2:设置带引导模块的优化子网络,初始化子网络与优化子网络构成视差估计网络模型,其中,优化子网络用以结合多尺度优化策略,逐步上采样并优化步骤S1中产生的低分辨率初始视差,输出全分辨率下的稠密视差估计结果;
步骤S3:将立体像对中的左右图像作为训练样本集,采用多尺度损失函数,基于训练样本集,分别对初始化子网络、优化子网络以及整个视差估计网络模型进行训练;
步骤S4:将待匹配的双目立体像对输入训练好的网络模型,得到预测的视差估计结果。
在一种实施方式中,步骤S1中,初始化子网络获取低分辨率初始视差的过程,具体包括:
步骤S1.1:将一对立体像对作为输入,通过权重共享的卷积和降采样操作,分别获取立体像对中左右图像的低分辨率特征矩阵;
步骤S1.2:基于左右图像的低分辨率特征矩阵,采用空间金字塔池化模块,进行多尺度信息融合,获得左右图像的多尺度特征矩阵;
步骤S1.3:对步骤S1.2中的左右图像的多尺度特征矩阵进行融合,得到初始代价矩阵,然后通过卷积,得到三维代价聚合矩阵,通过对三维代价聚合矩阵在视差D的维度上进行回归运算,得到低分辨率初始视差图。
在一种实施方式中,步骤S2中优化子网络获取稠密视差估计结果的过程,具体包括:
步骤S2.1:将已优化的视差结果进行两倍上采样,作为新一轮优化时所需的初始视差图d0;
步骤S2.2:将待优化的初始视差图输入引导模块,采用若干个卷积层对其进行卷积预处理;
步骤S2.3:将原始输入图像下采样到与初始视差同样的分辨率,并输入引导模块,对下采样的左右图进行卷积操作,并得到左右图的引导信息矩阵Fl和Fr;
步骤S2.4:利用初始视差结果d0,将右图的引导信息矩阵Fr往左图进行映射,得到映射后的信息矩阵将Fl与进行相减,得到误差矩阵
步骤S2.5:将步骤S2.2中得到的卷积预处理后的初始视差图、步骤2.3中得到的左图的引导信息矩阵Fl以及步骤S2.4中计算的误差矩阵e在特征通道的维度上进行结合,从而得到综合引导矩阵Fg;
步骤S2.6:将步骤S2.5中得到的综合引导矩阵Fg输入一个编码-解码模块中,通过卷积操作,将Fg中的引导信息与视差信息进行融合并输出视差残差图,最后通过将视差残差图与初始视差图d0进行相加,从而得到优化后的视差图;
步骤S2.7:重复步骤S2.1到步骤S2.6,得到一张大小为全分辨率下的优化后的视差图为止,其中,在优化的最初阶段,直接将步骤S1中得到的初始视差作为已优化的视差图,输入到步骤2.1中。
在一种实施方式中,步骤S3具体包括:
步骤S3.1:定义多尺度损失函数如下:
其中,dk为尺度k下得到的优化后的视差图,当k=3时,表示初始化子网络得到视差图;则表示视差的真值;
步骤S3.2:将立体像对中的左右图像作为训练样本,单独训练初始化子网络,保留使得初始化子网络收敛的第一子网络参数;
步骤S3.3:将步骤S3.2中训练得到的初始子网络的输出作为优化子网络的输入,单独训练优化子网络,保留使得优化子网络收敛第二子网络参数;
步骤S3.4:以步骤S3.2得到的第一子网络参数和步骤S3.3得到的第二子网络参数为初始值,联合训练视差估计网络模型,直到整个网络收敛到最优精度为止,得到训练后的视差估计网络模型。
本申请实施例中的上述一个或多个技术方案,至少具有如下一种或多种技术效果:
本发明提供一种基于细节增强的双目立体匹配方法,首先,设置能够获取低分辨率下的初始视差估计结果的初始化子网络;设置带引导模块的优化子网络,初始化子网络与优化子网络构成视差估计网络模型,其中,优化子网络用以结合多尺度优化策略,逐步上采样并优化步骤S1中产生的低分辨率初始视差,输出全分辨率下的稠密视差估计结果;接着,将立体像对中的左右图像作为训练样本集,采用多尺度损失函数,基于训练样本集,分别对初始化子网络、优化子网络以及整个视差估计网络模型进行训练;最后,将待匹配的双目立体像对输入训练好的网络模型,得到预测的视差估计结果。
相对于通过额外的子任务网络来提供引导信息的方法,本发明直接将原始彩色图像作为引导信息,大大的降低了网络的复杂度。而与那些直接将原始图像与初始视差结合的方法,本发明设计了一种内嵌式的引导模块,先分别对初始视差图与原始彩色图像进行基于卷积操作的预处理,再进行结合的方式,大大的降低了图像噪声对细节视差估计的影响。之后,引导模块的输出被送入一个编码-解码模块来融和并学习视差与引导信息的关系,并最终得到一幅具有更多细节信息的,精度更高的优化后的视差图。此外,本发明采用了一种多尺度的优化策略,通过先在较低的分辨率下优化初始视差,然后逐步上采样,再在较高的分辨率上进行优化的方式,极大地简化网络的训练难度,并进一步提升视差估计的精度与细节恢复的程度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明中一种基于细节增强的双目立体匹配方法的流程图;
图2为本发明提出的基于细节增强的高精度立体匹配网络的网络结构图;
图3为本发明在Scene Flow数据集上的实验结果示意图;
图4为本发明在KITTI 2015数据集上的实验结果示意图。
具体实施方式
本发明的目的在于针对现有技术中的方法存在的匹配精度不高的技术问题,提供的一种基于细节增强的高精度双目立体匹配方法。该方法通过对已标注真实视差的立体像对数据进行有监督学习与训练,最终得到一个能够稳定地进行立体匹配的网络,并输出两幅立体图像之间高精度的具有丰富细节的稠密视差图,从而达到提高匹配精度的效果。
为了达到上述技术效果,本发明的发明构思如下:
首先,利用视差初始化子网络来获取低分辨率下的初始视差估计结果;然后,通过本发明设计的带引导模块的优化子网络,结合多尺度优化策略,逐步上采样并优化步骤1中产生的低分辨率初始视差,并最终输出全分辨率下的稠密视差估计结果;接着,使用多尺度损失函数,将低分辨率下的视差估计结果作为中间监督,以提高网络的收敛精度,促进全分辨率下的视差估计结果;最后,将待匹配的双目立体像对输入训练好的网络,得到视差估计结果。
本发明的上述方法,通过对具有真实视差的训练数据集进行学习与训练,通过引入引导信息,并结合多尺度优化策略,在极大提高了立体匹配所得到的视差结果的精度与鲁棒性的同时,还显著地得提升了视差图中对小目标以及边缘等细节信息的估计结果。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本实施例提供了一种新的基于细节增强的高精度双目立体匹配方法,整个网络结构如图2所示,其主要包含两个子网络,分别是视差初始化子网络和视差优化子网络,立体匹配的具体步骤如图1所示,包括:
步骤S1:设置能够获取低分辨率下的初始视差估计结果的初始化子网络。
具体来说,其中,初始化子网络的结构如图2所示,其包括一系列的权重共享卷积操作和降采样操作。
步骤S2:设置带引导模块的优化子网络,初始化子网络与优化子网络构成视差估计网络模型,其中,优化子网络用以结合多尺度优化策略,逐步上采样并优化步骤S1中产生的低分辨率初始视差,输出全分辨率下的稠密视差估计结果。
步骤S3:将立体像对中的左右图像作为训练样本集,采用多尺度损失函数,基于训练样本集,分别对初始化子网络、优化子网络以及整个视差估计网络模型进行训练;
步骤S4:将待匹配的双目立体像对输入训练好的网络模型,得到预测的视差估计结果。
本发明与现有技术相比,具有以下三个优点:
1)特征学习,泛化能力强
本发明使用基于卷积神经网络的深度学习方法,通过训练一个端到端的网络,输入一幅立体像对,输出一幅与输入图像同分辨率的稠密视差图。该过程不需要人工设计的特征来进行干预,网络本身可以从训练数据中学习得到所需要的特征,并加以合理的利用,因此具有更好地泛化能力,即便是在面对复杂场景的时候,也能有稳定的表现。
2)网络复杂度低,易于训练
本发明设计的网络没有引入来自其它任务的子网络(比如边缘提取网络)来提供所需要的引导信息,而是通过一个简单的引导模块来结合原始彩色图像与初始视差结果,并采用多尺度优化策略来逐步地优化视差结果。因此,本发明设计的网络结构简单,复杂度低,并且易于训练。
3)视差估计精度高,细节保持好
有用本发明采用了多尺度优化策略,并有效利用了彩色图像中的引导信息,在避免了图像噪声影响的同时,极大地提高了最终得到的视差估计结果的精度,并且恢复了更多的细节信息。
在一种实施方式中,步骤S1中,初始化子网络获取低分辨率初始视差的过程,具体包括:
步骤S1.1:将一对立体像对作为输入,通过权重共享的卷积和降采样操作,分别获取立体像对中左右图像的低分辨率特征矩阵;
步骤S1.2:基于左右图像的低分辨率特征矩阵,采用空间金字塔池化模块,进行多尺度信息融合,获得左右图像的多尺度特征矩阵;
步骤S1.3:对步骤S1.2中的左右图像的多尺度特征矩阵进行融合,得到初始代价矩阵,然后通过卷积,得到三维代价聚合矩阵,通过对三维代价聚合矩阵在视差D的维度上进行回归运算,得到低分辨率初始视差图。
具体来说,步骤S1.1是图像特征的提取步骤。将一对立体像对作为输入,通过一系列权重共享的卷积和降采样操作,来分别获取立体像对中左右图像的大小为的低分辨率特征矩阵,其中W代表原图像的宽度,H代表原图像的高度。
步骤S1.2是采用空间金字塔池化模块(SPP模块)进行多尺度信息的融合。以输入图像中的左图为例子,对步骤S1.1中得到的低分辨率特征矩阵分别进行2倍、4倍、8倍以及16倍的下采样,再分别进行若干卷积操作。然后将卷积过后的下采样特征矩阵全部上采样到原分辨率下,并与原特征矩阵在特征通道维度上进行结合,从而得到一个大小为的多尺度信息融合的特征矩阵。最后再通过若干个卷积层,以降低特征矩阵的通道数量,最终得到一个大小为的多尺度特征矩阵。对输入图像中的右图进行同样的操作,便可得到右图的多尺度特征矩阵。
步骤S1.3是计算匹配代价。将步骤S1.2中得到的左右图像的多尺度特征矩阵进行融合。在不同的视差取值下,将左右图像的多尺度特征矩阵进行连接操作,从而得到一个大小为的4维初始代价聚合矩阵,其中D为在全分辨率上进行视差搜索的最大范围。然后通过一系列三维卷积操作,对代价聚合矩阵进行计算,并最终输出一个大小为的三维代价聚合矩阵。最后,通过对三维代价聚合矩阵在视差D的维度上进行回归运算,从而得到一幅大小为的低分辨率初始视差图。
在一种实施方式中,步骤S2中优化子网络获取稠密视差估计结果的过程,具体包括:
步骤S2.1:将已优化的视差结果进行两倍上采样,作为新一轮优化时所需的初始视差图d0;
步骤S2.2:将待优化的初始视差图输入引导模块,采用若干个卷积层对其进行卷积预处理;
步骤S2.3:将原始输入图像下采样到与初始视差同样的分辨率,并输入引导模块,对下采样的左右图进行卷积操作,并得到左右图的引导信息矩阵Fl和Fr;
步骤S2.4:利用初始视差结果d0,将右图的引导信息矩阵Fr往左图进行映射,得到映射后的信息矩阵将Fl与进行相减,得到误差矩阵
步骤S2.5:将步骤S2.2中得到的卷积预处理后的初始视差图、步骤2.3中得到的左图的引导信息矩阵Fl以及步骤S2.4中计算的误差矩阵e在特征通道的维度上进行结合,从而得到综合引导矩阵Fg;
步骤S2.6:将步骤S2.5中得到的综合引导矩阵Fg输入一个编码-解码模块中,通过卷积操作,将Fg中的引导信息与视差信息进行融合并输出视差残差图,最后通过将视差残差图与初始视差图d0进行相加,从而得到优化后的视差图;
步骤S2.7:重复步骤S2.1到步骤S2.6,得到一张大小为全分辨率下的优化后的视差图为止,其中,在优化的最初阶段,直接将步骤S1中得到的初始视差作为已优化的视差图,输入到步骤2.1中。
具体来说,通过步骤S2.2,将待优化的初始视差图输入引导模块,采用若干个卷积层对其进行卷积预处理,可以消除初始视差图与引导信息图中的不一致结构,从而得到卷积预处理后的初始视差图。
步骤S2.3,将原始输入图像下采样到与初始视差同样的分辨率,并输入引导模块后,一系列卷积操作被分别应用到下采样的左右图上,可以得到左右图的大小为Wk×Hk×16的引导信息矩阵Fl和Fr,其中,Wk为对应尺度下的图像宽度,Hk为相应的图像高度。
步骤S2.4中,由于预测的左图上的视差结果,所以需要将右图信息引导矩阵向左图映射。在其他实施方式中,如果要预测右图的视差,则需要将左图引导信息矩阵向右图进行映射。
步骤S2.5中可以得到一个大小为Wk×Hk×33的综合引导矩阵Fg。
在一种实施方式中,步骤S3具体包括:
步骤S3.1:定义多尺度损失函数如下:
其中,dk为尺度k下得到的优化后的视差图,当k=3时,表示初始化子网络得到视差图;则表示视差的真值;
步骤S3.2:将立体像对中的左右图像作为训练样本,单独训练初始化子网络,保留使得初始化子网络收敛的第一子网络参数;
步骤S3.3:将步骤S3.2中训练得到的初始子网络的输出作为优化子网络的输入,单独训练优化子网络,保留使得优化子网络收敛第二子网络参数;
步骤S3.4:以步骤S3.2得到的第一子网络参数和步骤S3.3得到的第二子网络参数为初始值,联合训练视差估计网络模型,直到整个网络收敛到最优精度为止,得到训练后的视差估计网络模型。
具体来说,步骤S3.2是单独训练初始化子网络的过程,将立体像对中的左右图像作为训练样本输入初始化子网络,从而可以得到低分辨率视差估计结果,多尺度损失函数在步骤S3.1~步骤S3.3中均需要用到,损失函数可以根据训练的网络的特点进行调整。例如,在步骤S3.1中,单独训练初始子网络时,由于只有一个尺度的输出,所以此时的多尺度损失函数中只有一项。通过单独训练初始化子网络,可以得到较好的初始视差。
步骤S3.3是单独训练优化子网络的过程,在该过程中,本发明固定初始化子网络的第一网络参数,训练优化子网络。首先,仍是输入立体像对中的左右图像,通过初始化子网络估计出低分辨率视差估计结果,然后送入优化子网络进行训练。
步骤S3.4是联合训练整个视差估计网络模型的过程,在该过程中,本发明固定初始化子网络的第一网络参数以及优化子网络的第二网络参数,训练整个网络模型。
在步骤S3.3和步骤S34中,由于存在多个尺度(分辨率),因此,这两步中的多尺度损失函数中具有多项。
本发明对部分实验数据进行立体匹配得到的视差结果示例如图3和图4所示,可以看出,本发明能稳定、精确地对不同场景下的立体像对进行立体匹配,得到的视差估计结果具备了丰富了细节信息。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样,倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (4)
1.一种基于细节增强的双目立体匹配方法,其特征在于,包括:
步骤S1:设置能够获取低分辨率下的初始视差估计结果的初始化子网络;
步骤S2:设置带引导模块的优化子网络,初始化子网络与优化子网络构成视差估计网络模型,其中,优化子网络用以结合多尺度优化策略,逐步上采样并优化步骤S1中产生的低分辨率初始视差,输出全分辨率下的稠密视差估计结果;
步骤S3:将立体像对中的左右图像作为训练样本集,采用多尺度损失函数,基于训练样本集,分别对初始化子网络、优化子网络以及整个视差估计网络模型进行训练;
步骤S4:将待匹配的双目立体像对输入训练好的网络模型,得到预测的视差估计结果。
2.如权利要求1所述的方法,其特征在于,步骤S1中,初始化子网络获取低分辨率初始视差的过程,具体包括:
步骤S1.1:将一对立体像对作为输入,通过权重共享的卷积和降采样操作,分别获取立体像对中左右图像的低分辨率特征矩阵;
步骤S1.2:基于左右图像的低分辨率特征矩阵,采用空间金字塔池化模块,进行多尺度信息融合,获得左右图像的多尺度特征矩阵;
步骤S1.3:对步骤S1.2中的左右图像的多尺度特征矩阵进行融合,得到初始代价矩阵,然后通过卷积,得到三维代价聚合矩阵,通过对三维代价聚合矩阵在视差D的维度上进行回归运算,得到低分辨率初始视差图。
3.如权利要求1所述的方法,其特征在于,步骤S2中优化子网络获取稠密视差估计结果的过程,具体包括:
步骤S2.1:将已优化的视差结果进行两倍上采样,作为新一轮优化时所需的初始视差图d0;
步骤S2.2:将待优化的初始视差图输入引导模块,采用若干个卷积层对其进行卷积预处理;
步骤S2.3:将原始输入图像下采样到与初始视差同样的分辨率,并输入引导模块,对下采样的左右图进行卷积操作,并得到左右图的引导信息矩阵Fl和Fr;
步骤S2.4:利用初始视差结果d0,将右图的引导信息矩阵Fr往左图进行映射,得到映射后的信息矩阵将Fl与进行相减,得到误差矩阵
步骤S2.5:将步骤S2.2中得到的卷积预处理后的初始视差图、步骤2.3中得到的左图的引导信息矩阵Fl以及步骤S2.4中计算的误差矩阵e在特征通道的维度上进行结合,从而得到综合引导矩阵Fg;
步骤S2.6:将步骤S2.5中得到的综合引导矩阵Fg输入一个编码-解码模块中,通过卷积操作,将Fg中的引导信息与视差信息进行融合并输出视差残差图,最后通过将视差残差图与初始视差图d0进行相加,从而得到优化后的视差图;
步骤S2.7:重复步骤S2.1到步骤S2.6,得到一张大小为全分辨率下的优化后的视差图为止,其中,在优化的最初阶段,直接将步骤S1中得到的初始视差作为已优化的视差图,输入到步骤2.1中。
4.如权利要求1所述的方法,其特征在于,步骤S3具体包括:
步骤S3.1:定义多尺度损失函数如下:
其中,dk为尺度k下得到的优化后的视差图,当k=3时,表示初始化子网络得到视差图;则表示视差的真值;
步骤S3.2:将立体像对中的左右图像作为训练样本,单独训练初始化子网络,保留使得初始化子网络收敛的第一子网络参数;
步骤S3.3:将步骤S3.2中训练得到的初始子网络的输出作为优化子网络的输入,单独训练优化子网络,保留使得优化子网络收敛第二子网络参数;
步骤S3.4:以步骤S3.2得到的第一子网络参数和步骤S3.3得到的第二子网络参数为初始值,联合训练视差估计网络模型,直到整个网络收敛到最优精度为止,得到训练后的视差估计网络模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910580140.3A CN110427968B (zh) | 2019-06-28 | 2019-06-28 | 一种基于细节增强的双目立体匹配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910580140.3A CN110427968B (zh) | 2019-06-28 | 2019-06-28 | 一种基于细节增强的双目立体匹配方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110427968A true CN110427968A (zh) | 2019-11-08 |
CN110427968B CN110427968B (zh) | 2021-11-02 |
Family
ID=68408871
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910580140.3A Active CN110427968B (zh) | 2019-06-28 | 2019-06-28 | 一种基于细节增强的双目立体匹配方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110427968B (zh) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111259945A (zh) * | 2020-01-10 | 2020-06-09 | 大连理工大学 | 引入注意力图谱的双目视差估计方法 |
CN111508013A (zh) * | 2020-04-21 | 2020-08-07 | 中国科学技术大学 | 立体匹配方法 |
CN111583313A (zh) * | 2020-03-25 | 2020-08-25 | 上海物联网有限公司 | 一种基于PSMNet改进的双目立体匹配方法 |
CN111915660A (zh) * | 2020-06-28 | 2020-11-10 | 华南理工大学 | 基于共享特征和注意力上采样的双目视差匹配方法及系统 |
CN112200853A (zh) * | 2020-10-16 | 2021-01-08 | 集美大学 | 一种基于三维卷积神经网络的渐进式实时立体匹配方法 |
CN112418336A (zh) * | 2020-11-27 | 2021-02-26 | 广东电网有限责任公司肇庆供电局 | 一种电力线巡检影像密集匹配方法 |
CN112509021A (zh) * | 2020-12-11 | 2021-03-16 | 华南理工大学 | 一种基于注意力机制的视差优化方法 |
CN112700532A (zh) * | 2020-12-21 | 2021-04-23 | 杭州反重力智能科技有限公司 | 一种用于三维重建的神经网络训练方法和系统 |
CN112842180A (zh) * | 2020-12-31 | 2021-05-28 | 深圳市杉川机器人有限公司 | 扫地机器人及其测距避障方法、装置及可读存储介质 |
WO2021114870A1 (zh) * | 2019-12-13 | 2021-06-17 | 上海肇观电子科技有限公司 | 视差估计系统、方法、电子设备及计算机可读存储介质 |
WO2021114871A1 (zh) * | 2019-12-13 | 2021-06-17 | 上海肇观电子科技有限公司 | 视差确定方法、电子设备及计算机可读存储介质 |
WO2021138992A1 (zh) * | 2020-01-10 | 2021-07-15 | 大连理工大学 | 基于上采样及精确重匹配的视差估计优化方法 |
US11127115B2 (en) | 2019-12-13 | 2021-09-21 | NextVPU (Shanghai) Co., Ltd. | Determination of disparity |
CN113628634A (zh) * | 2021-08-20 | 2021-11-09 | 随锐科技集团股份有限公司 | 一种指向信息引导的实时语音分离方法和装置 |
CN113658277A (zh) * | 2021-08-25 | 2021-11-16 | 北京百度网讯科技有限公司 | 立体匹配方法、模型训练方法、相关装置及电子设备 |
WO2022089077A1 (zh) * | 2020-10-28 | 2022-05-05 | 西安交通大学 | 一种基于自适应候选视差预测网络的实时双目立体匹配方法 |
CN114677417A (zh) * | 2022-03-18 | 2022-06-28 | 西安交通大学 | 用于立体视觉在线自校正与自监督视差估计的优化方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107220997A (zh) * | 2017-05-22 | 2017-09-29 | 成都通甲优博科技有限责任公司 | 一种立体匹配方法及系统 |
WO2018129201A1 (en) * | 2017-01-04 | 2018-07-12 | Aquifi, Inc. | Systems and methods for shape-based object retrieval |
CN108510535A (zh) * | 2018-03-14 | 2018-09-07 | 大连理工大学 | 一种基于深度预测和增强子网络的高质量深度估计方法 |
CN108537837A (zh) * | 2018-04-04 | 2018-09-14 | 腾讯科技(深圳)有限公司 | 一种深度信息确定的方法及相关装置 |
CN109472819A (zh) * | 2018-09-06 | 2019-03-15 | 杭州电子科技大学 | 一种基于级联几何上下文神经网络的双目视差估计方法 |
EP3489898A1 (en) * | 2017-11-23 | 2019-05-29 | Samsung Electronics Co., Ltd. | Method and apparatus for estimating disparity |
-
2019
- 2019-06-28 CN CN201910580140.3A patent/CN110427968B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018129201A1 (en) * | 2017-01-04 | 2018-07-12 | Aquifi, Inc. | Systems and methods for shape-based object retrieval |
CN107220997A (zh) * | 2017-05-22 | 2017-09-29 | 成都通甲优博科技有限责任公司 | 一种立体匹配方法及系统 |
EP3489898A1 (en) * | 2017-11-23 | 2019-05-29 | Samsung Electronics Co., Ltd. | Method and apparatus for estimating disparity |
CN109829875A (zh) * | 2017-11-23 | 2019-05-31 | 三星电子株式会社 | 用于估计视差的方法和装置 |
CN108510535A (zh) * | 2018-03-14 | 2018-09-07 | 大连理工大学 | 一种基于深度预测和增强子网络的高质量深度估计方法 |
CN108537837A (zh) * | 2018-04-04 | 2018-09-14 | 腾讯科技(深圳)有限公司 | 一种深度信息确定的方法及相关装置 |
CN109472819A (zh) * | 2018-09-06 | 2019-03-15 | 杭州电子科技大学 | 一种基于级联几何上下文神经网络的双目视差估计方法 |
Non-Patent Citations (2)
Title |
---|
SAMEH KHAMMIS ET AL: "StereoNet: Guided hierarchical refinement for real-time edge-aware depth prediction", 《ARXIV》 * |
肖进胜等: "基于深度卷积神经网络的双目立体视觉匹配算法", 《光学学报》 * |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11158077B2 (en) | 2019-12-13 | 2021-10-26 | NextVPU (Shanghai) Co., Ltd. | Disparity estimation |
US11127115B2 (en) | 2019-12-13 | 2021-09-21 | NextVPU (Shanghai) Co., Ltd. | Determination of disparity |
WO2021114871A1 (zh) * | 2019-12-13 | 2021-06-17 | 上海肇观电子科技有限公司 | 视差确定方法、电子设备及计算机可读存储介质 |
WO2021114870A1 (zh) * | 2019-12-13 | 2021-06-17 | 上海肇观电子科技有限公司 | 视差估计系统、方法、电子设备及计算机可读存储介质 |
CN111259945A (zh) * | 2020-01-10 | 2020-06-09 | 大连理工大学 | 引入注意力图谱的双目视差估计方法 |
US20220198694A1 (en) * | 2020-01-10 | 2022-06-23 | Dalian University Of Technology | Disparity estimation optimization method based on upsampling and exact rematching |
US12008779B2 (en) * | 2020-01-10 | 2024-06-11 | Dalian University Of Technology | Disparity estimation optimization method based on upsampling and exact rematching |
CN111259945B (zh) * | 2020-01-10 | 2022-09-20 | 大连理工大学 | 引入注意力图谱的双目视差估计方法 |
WO2021138992A1 (zh) * | 2020-01-10 | 2021-07-15 | 大连理工大学 | 基于上采样及精确重匹配的视差估计优化方法 |
CN111583313A (zh) * | 2020-03-25 | 2020-08-25 | 上海物联网有限公司 | 一种基于PSMNet改进的双目立体匹配方法 |
CN111508013B (zh) * | 2020-04-21 | 2022-09-06 | 中国科学技术大学 | 立体匹配方法 |
CN111508013A (zh) * | 2020-04-21 | 2020-08-07 | 中国科学技术大学 | 立体匹配方法 |
CN111915660A (zh) * | 2020-06-28 | 2020-11-10 | 华南理工大学 | 基于共享特征和注意力上采样的双目视差匹配方法及系统 |
CN112200853A (zh) * | 2020-10-16 | 2021-01-08 | 集美大学 | 一种基于三维卷积神经网络的渐进式实时立体匹配方法 |
WO2022089077A1 (zh) * | 2020-10-28 | 2022-05-05 | 西安交通大学 | 一种基于自适应候选视差预测网络的实时双目立体匹配方法 |
CN112418336B (zh) * | 2020-11-27 | 2024-01-23 | 广东电网有限责任公司肇庆供电局 | 一种电力线巡检影像密集匹配方法 |
CN112418336A (zh) * | 2020-11-27 | 2021-02-26 | 广东电网有限责任公司肇庆供电局 | 一种电力线巡检影像密集匹配方法 |
CN112509021A (zh) * | 2020-12-11 | 2021-03-16 | 华南理工大学 | 一种基于注意力机制的视差优化方法 |
CN112509021B (zh) * | 2020-12-11 | 2023-08-22 | 华南理工大学 | 一种基于注意力机制的视差优化方法 |
CN112700532A (zh) * | 2020-12-21 | 2021-04-23 | 杭州反重力智能科技有限公司 | 一种用于三维重建的神经网络训练方法和系统 |
CN112842180A (zh) * | 2020-12-31 | 2021-05-28 | 深圳市杉川机器人有限公司 | 扫地机器人及其测距避障方法、装置及可读存储介质 |
CN113628634A (zh) * | 2021-08-20 | 2021-11-09 | 随锐科技集团股份有限公司 | 一种指向信息引导的实时语音分离方法和装置 |
CN113628634B (zh) * | 2021-08-20 | 2023-10-03 | 随锐科技集团股份有限公司 | 一种指向信息引导的实时语音分离方法和装置 |
CN113658277A (zh) * | 2021-08-25 | 2021-11-16 | 北京百度网讯科技有限公司 | 立体匹配方法、模型训练方法、相关装置及电子设备 |
CN113658277B (zh) * | 2021-08-25 | 2022-11-11 | 北京百度网讯科技有限公司 | 立体匹配方法、模型训练方法、相关装置及电子设备 |
CN114677417A (zh) * | 2022-03-18 | 2022-06-28 | 西安交通大学 | 用于立体视觉在线自校正与自监督视差估计的优化方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110427968B (zh) | 2021-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110427968A (zh) | 一种基于细节增强的双目立体匹配方法 | |
CN111652966B (zh) | 一种基于无人机多视角的三维重建方法及装置 | |
CN107578436A (zh) | 一种基于全卷积神经网络fcn的单目图像深度估计方法 | |
CN106981080A (zh) | 基于红外图像和雷达数据的夜间无人车场景深度估计方法 | |
CN112734644A (zh) | 一种多个注意力结合光流的视频超分辨模型及方法 | |
CN113283525B (zh) | 一种基于深度学习的图像匹配方法 | |
CN109272493A (zh) | 一种基于递归卷积神经网络的单目视觉里程计方法 | |
CN109598754A (zh) | 一种基于深度卷积网络的双目深度估计方法 | |
CN101625768A (zh) | 一种基于立体视觉的三维人脸重建方法 | |
CN108171249B (zh) | 一种基于rgbd数据的局部描述子学习方法 | |
CN109887021A (zh) | 基于跨尺度的随机游走立体匹配方法 | |
CN113449735B (zh) | 一种超像素分割的语义分割方法及装置 | |
CN111028335A (zh) | 一种基于深度学习的点云数据的分块面片重建方法 | |
CN111626927A (zh) | 采用视差约束的双目图像超分辨率方法、系统及装置 | |
CN112734822A (zh) | 一种基于红外和可见光图像的立体匹配算法 | |
CN114757862B (zh) | 用于红外光场设备的图像增强渐进式融合方法 | |
CN111582437B (zh) | 一种视差回归深度神经网络的构造方法 | |
CN111368882B (zh) | 一种基于简化独立成分分析和局部相似性的立体匹配方法 | |
CN111080521A (zh) | 一种基于结构先验的人脸图像超分辨率方法 | |
CN109948575A (zh) | 超声图像中眼球区域分割方法 | |
CN113096239A (zh) | 一种基于深度学习的三维点云重建方法 | |
CN115147709A (zh) | 一种基于深度学习的水下目标三维重建方法 | |
CN112509014B (zh) | 金字塔遮挡检测块匹配的鲁棒插值光流计算方法 | |
CN109087247A (zh) | 一种对立体图像进行超分的方法 | |
CN115035377B (zh) | 基于双流编码和交互解码的显著性检测网络系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |