CN111242999A - 基于上采样及精确重匹配的视差估计优化方法 - Google Patents

基于上采样及精确重匹配的视差估计优化方法 Download PDF

Info

Publication number
CN111242999A
CN111242999A CN202010028308.2A CN202010028308A CN111242999A CN 111242999 A CN111242999 A CN 111242999A CN 202010028308 A CN202010028308 A CN 202010028308A CN 111242999 A CN111242999 A CN 111242999A
Authority
CN
China
Prior art keywords
map
resolution
matching
disparity
disparity map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010028308.2A
Other languages
English (en)
Other versions
CN111242999B (zh
Inventor
仲维
张宏
李豪杰
王智慧
刘日升
樊鑫
罗钟铉
李胜全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Peng Cheng Laboratory
Original Assignee
Dalian University of Technology
Peng Cheng Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology, Peng Cheng Laboratory filed Critical Dalian University of Technology
Priority to CN202010028308.2A priority Critical patent/CN111242999B/zh
Priority to US17/604,588 priority patent/US12008779B2/en
Priority to PCT/CN2020/077961 priority patent/WO2021138992A1/zh
Publication of CN111242999A publication Critical patent/CN111242999A/zh
Application granted granted Critical
Publication of CN111242999B publication Critical patent/CN111242999B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于上采样及精确重匹配的视差估计优化方法。即在优化网络部分小范围精确重匹配，同时改进以往对视差图或代价图邻插、双线性插值等上采样方法，用网络的方式学习出一种基于传播的上采样，使视差图在上采样的过程中能够好的恢复出准确的视差值。

Description

基于上采样及精确重匹配的视差估计优化方法
技术领域
本发明属于图像处理和计算机视觉领域，涉及一种基于监督学习的由粗到细的双目视差估计方法，具体涉及一种基于上采样及精确重匹配的视差估计优化方法。
背景技术
双目深度估计是通过两张标定好的左右视图，根据每个像素在不同视图之间的相对位置得到对应的视差值，根据相机成像模型，将视差恢复成图像的深度信息。现有的双目深度估计的方法主要分为传统方法和深度学习的方法。
传统方法分为局部算法和全局算法，局部算法利用窗口内邻域像素的相似度进行匹配。全局方法构造一个能量函数，包括像素点本身的匹配代价和不同像素点间的约束关系，通过最小化能量函数来得到最终的视差图。传统方法运行时间过长，精度不高，特别是在无纹理和遮挡区域误匹配误差较高。
深度学习方法是通过神经网络端到端的学习出左右视图的视差图，基本框架主要包括特征提取、构建代价图、视差聚合、优化视差。将左右视图输入网络中，通过特征提取网络得到左右特征图，然后在不同视差下进行匹配，得到低分辨率的代价图，聚合优化部分分为两种方法：一是优化低分辨率的代价图，逐步恢复成原分辨率，最后用soft argmin计算出视差图。二是低分辨率的代价图先得到低分辨率的视差图，将视差图逐步上采样优化得到最终原分辨率的视差图。为了满足网络计算和速度的需求，往往需要在低分辨率的特征图上进行匹配，这就导致了下采样的过程中小物体的丢失。而后续优化模块，未考虑小物体的缺失问题，通过监督从无到有重新生成小物体，未引入几何先验，导致细节缺失，网络泛化能力差。当前采用的上采样方法多基于邻插、双线性及三线性的采样方法，这样的插值方法并不符合视差图的分布，会导致对于正对成像平面的物体视差不一致，同时也破坏了在物体边缘视差的不连续性。
本发明提出一种由粗到细精确重匹配方法，在优化视差过程中重新引入几何约束，利用在低分辨率上得到视差图和左右图，再在小的视差范围内做一次匹配，精确视差图范围，提高网络的泛化能力。同时本发明提出一种基于传播的上采样方法。利用对应分辨率的左图特征学习出每个像素及其邻域内像素的相对关系权重，根据左右重建一致性得到的置信度和权重在上采样的视差图上进行传播，使在视差图上采样的过程中更好的结合上下文信息，减少插值上采样带来的错误填充。
发明内容
本发明旨在克服现有的深度学习方法的不足，提供了一种基于上采样及精确重匹配的视差估计优化方法，即在优化网络部分小范围精确重匹配，同时改进以往对视差图或代价图邻插、双线性插值等上采样方法，用网络的方式学习出一种基于传播的上采样，使视差图在上采样的过程中能够好的恢复出准确的视差值。
具体方案包括下列步骤：
一种基于上采样及精确重匹配的视差估计优化方法，其特征在于，包括步骤如下：
第一步，提取可判别性特征；
第二步，初始代价匹配与代价图优化，获得低分辨率初始视差图；
第三步，低分辨率初始视差图经过传播上采样方法和精确重匹配方法得到高一个分辨率的视差图，重复此过程直到恢复为原分辨率；
3.1所述的传播上采样方法
最低分辩率的初始视差图Dn+1首先插值上采样，得到粗匹配的视差图D′n，此时得到的视差图仅由数值插值得到，并没有参考任何原始图像的结构信息，用原始的右视图Ir，根据粗匹配的视差图D′n，重建出左视图，记为
Figure BDA0002363280460000031
然后计算重建的左视图
Figure BDA0002363280460000032
和真实的左视图Il之间的误差，得到置信度图Mc：
Figure BDA0002363280460000033
normalization(.)为归一化操作，将差值归一化到(0,1)之间，置信度图Mc上每一点的概率值代表该像素视差值的可信程度；复制平移置信度图变为置信度图组，记为Mcg，
Mcg＝fc(Mc,k,s) (3)
其中fc(.)代表复制平移以改变尺寸的操作，k代表邻域窗口大小，s代表采样窗口的空洞率；感受野为(2s+1)2，每个位置得到一个k*k的置信度向量，代表该像素周围k*k邻域窗口内像素的置信度；
通过一个相对关系网络模块，该模块输入对应分辨率的左特征图，在每个位置都学习出一个权重向量，代表着其邻域像素与该中心像素的相对关系，权重越大，表示邻域某像素对该像素的影响越大；该权重，记为Wrelative
Figure BDA0002363280460000034
其中k为代表邻域窗口大小，θrelative表示相对关系网络模型；
用粗匹配的视差图D′n、置信度图Mcg和相对关系权重Wrelative进行传播，得到传播后的视差图，传播计算过程如下：
Figure BDA0002363280460000036
其中
Figure BDA0002363280460000037
代表传播后的视差图，<,>代表点乘操作，fc(.)代表复制平移resize 操作，softmax(Wrelative*Mcg)代表传播时周围像素对中心像素的支持力度，由周围像素的置信度和相对关系权重相乘得到；
然后使用窗口空洞率为重复此传播过程，使其能在不同感受野上传播优化视差图；至此，完成从Dn+1到
Figure BDA0002363280460000038
的传播上采样过程；
3.2所述的精确重匹配方法
首先根据
Figure BDA0002363280460000041
将特征列表
Figure BDA0002363280460000042
中对应分辨率的右特征图
Figure BDA0002363280460000043
重建出左特征图，记为
Figure BDA0002363280460000044
Figure BDA0002363280460000045
用重建的左特征图
Figure BDA0002363280460000046
和原始的左特征图
Figure BDA0002363280460000047
在视差d＝[-d0,d0] 小范围内做一次重匹配，得到代价图，再通过一个沙漏网络优化代价图，回归视差，得到一个偏置图Δ，代表和
Figure BDA0002363280460000048
的偏移量的大小，两者相加得到最终的优化网络的视差图Dn，
Figure BDA0002363280460000049
重复迭代3.1、3.2过程，直至恢复到原分辨率，得到最终的高精度的视差图。
本发明的有益效果是：
1)本发明提出一种由粗到细精确重匹配方法，在优化视差过程中重新引入几何约束，利用在低分辨率上得到视差图和左右图，再在小的视差范围内做一次匹配，精确视差图范围，提高网络的泛化能力。
2)本发明提出一种利用上下文关系进行传播上采样的方法，在优化视差过程中，通过结合上下文关系以及当前粗糙视差置信度进行上采样，解决了现有上采样方法存在的破坏边缘的问题，可以获得边缘更精细的较高分辨率视差图。
附图说明
图1为方案整体流程图；
图2为传播上采样模块流程图；
图3为精确重匹配流程图。
具体实施方式
本发明基于由粗到细视差估计框架的视差优化策略，对输入的左右视图进行端到端的视差图预测，在不引入额外的任务的前提下，用本申请提出的传播上采样方法和精确重匹配方法，预测出准确的视差图，具体实施方案如下：
方案网络具体流程如图1，具体操作如下：
第一步，提取可判别性特征；
对输入网络中的左右两张视图进行特征提取。比起在原始图像的灰度值上进行匹配，使用特征向量进行匹配能够更好的应对光照、外观的变化，提取的特征向量能更加详细、全面的描述图片的信息，有助于更好的匹配。使用一个简单的CNN 网络进行特征提取，包括四个级联的部分，(每个部分都包括三种不同的卷积层来提取特征)，四个子部分分别产生不同分辨率的左右特征图F0～F3(下标表示下采样因子，例，F3表示1/8分辨率的特征图)，每个特征向量f的维度是32，将四个不同分辨率的特征图储存在特征列表中
Figure BDA0002363280460000051
作为后面优化网络的输入，然后在最小分辨率，即F3，1/8分辨率的特征图上做匹配。
第二步，初始代价匹配与代价图优化，获得低分辨率初始视差；用
Figure BDA0002363280460000052
Figure BDA0002363280460000053
代表1/8分辨率的左右特征图，fl(x,y)fr(x,y)代表图像上某一点的特征向量，C表示代价图，形成代价图的公式如下：(式1)
C(x,y,d)＝<fl(x,y)-fr(x-d,y)> (1)
<>表示特征向量对应位置元素相减，d等于{0,1,2…Dmax}，Dmax为匹配时的最大视差，所以最终形成的代价图的尺寸为[H/8,W/8,Dmax/8,f]。
得到1/8分辨率的代价图后，用一个沙漏网络优化；沙漏网络由不同步长的卷积层组成，沙漏网络输出的代价图经过soft argmin层回归出一张1/8分辨率的粗略的视差图，记为D3。
第三步，低分辨率初始视差进入优化网络，获得高分辨率精细视差；
得到的在最低分辨率上的视差图再经过传播上采样模块和精确重匹配模块得到高一个分辨率的视差图，重复此过程直到恢复为原分辨率。
具体流程如图2、图3所示。
具体步骤如下所示：(这里以D3到D2一步迭代为例)
3.1传播上采样方法
D3首先插值上采样，得到粗匹配的视差图D′2，此时得到的视差图仅由数值插值得到，并没有参考任何原始图像的结构信息，无法恢复因下采样而导致的信息损失，因此得到的D′2错误率较高。所以需要基于的传播策略优化视差图D′2。用原始的右视图Ir，根据上采样的视差图D′2，重建出左视图，记为
Figure BDA0002363280460000061
Figure BDA0002363280460000062
fw(.)为warping函数。然后计算重建的左视图
Figure BDA0002363280460000063
和真实的左视图Il之间的误差，得到置信度图Mc:
Figure BDA0002363280460000064
normalization(.)为归一化操作，将差值归一化到(0,1)之间，置信度图Mc上每一点的概率值代表该像素视差值的可信程度。复制平移置信度图变为[H/8,W/8, k*k]大小的置信度图组，记为Mcg，
Mcg＝fc(Mc,k,s) (3)
其中fc(.)代表复制平移更改尺寸操作，k代表邻域窗口大小，s代表采样窗口的空洞率。(感受野为(2s+1)2)每个位置可以得到一个k*k的置信度向量，代表该像素周围k*k邻域窗口内像素的置信度。
提出了一个相对关系网络模块，该模块输入对应分辨率的左特征图，在每个位置都可以学习出一个权重向量，代表着其邻域像素与该中心像素的相对关系，权重越大，表示邻域某像素对该像素的影响越大。例如，在同一物体内部的像素及其邻域像素相对关系比较强，则权重也较大，相反，若邻域像素处在为边缘，则对该像素的权重较小。通过这个模块，每一张不同的图片，都可以学习出不同的权重，使传播的时候能根据周围像素的不同的权重，来更新该像素的视差值。而不是在常规的神经网络，对于不同的输入，都使用相同权重的卷积核来优化视差图。该模块由三层空洞率分别为{1,2,3}的卷积层组成，输入左特征图，输出[H/8, W/8,k*k]大小的权重，记为Wrelative
Figure BDA0002363280460000071
其中k为代表邻域窗口大小，θrelative表示相对关系网络模型。
用上一步上采样得到的粗略的视差图D′2、置信度图Mcg和相对关系权重Wrelative进行传播，得到优化后的
Figure BDA0002363280460000073
(p:传播propagate)，传播计算过程如下：
Figure BDA0002363280460000074
其中
Figure BDA0002363280460000075
代表传播后的视差图，<,>代表点乘操作，fc(.)代表复制平移resize操作，softmax(Wrelative*Mcg)代表传播时周围像素对中心像素的支持力度，由周围像素的置信度和相对关系权重相乘得到。然后使用窗口空洞率为s＝1，2，3重复此传播三次过程，使其能在不同感受野上传播优化视差图。至此，完成从Dn+1到
Figure BDA0002363280460000076
的传播上采样过程。
3.2精确重匹配方法
传播上采样模块从低分辨率的Dn+1输出基于传播的高分辨率的视差图
Figure BDA0002363280460000077
精确重匹配模块将在
Figure BDA0002363280460000078
上进行小范围的重匹配。首先根据
Figure BDA0002363280460000079
将特征列表
Figure BDA00023632804600000710
中对应分辨率的右特征图
Figure BDA00023632804600000711
重建出左特征图，记为
Figure BDA00023632804600000712
Figure BDA00023632804600000713
用重建的左特征图
Figure BDA00023632804600000714
和原始的左特征图
Figure BDA00023632804600000715
在视差d＝[-2,2]小范围内做一次重匹配，得到一个大小为[H/4,W/4,5,f]的代价图(以
Figure BDA00023632804600000716
为例)，再通过一个沙漏网络优化代价图，回归视差，可以得到一个偏置图Δ，代表和
Figure BDA00023632804600000717
的偏移量的大小，两者相加可得到最终的优化网络的视差图Dn，
Figure BDA00023632804600000718
重复迭代3.1、3.2过程，直至恢复到原分辨率，得到最终的高精度的视差图。
4.损失函数
本方案网络训练时采用两种损失函数，对传播上采样模块输出的视差图
Figure BDA0002363280460000081
用平滑项损失，记为
Figure BDA0002363280460000082
对精确重匹配模块的输出使用下采样到对应分辨率的视差标签进行监督，记为
Figure BDA0002363280460000083
Figure BDA0002363280460000084
Figure BDA0002363280460000085
Figure BDA0002363280460000086
公式(7)中，N代表图像像素个数，
Figure BDA0002363280460000087
代表视差图的梯度，
Figure BDA0002363280460000088
代表原图边缘图的梯度。公示(8)中，
Figure BDA0002363280460000089
代表对应分辨率的视差标签，||.||2代表L2距离；最终的损失函数由两个损失函数相加构成。

Claims (3)

1.一种基于上采样及精确重匹配的视差估计优化方法，其特征在于，包括步骤如下：
第一步，提取可判别性特征；
第二步，初始代价匹配与代价图优化，获得低分辨率初始视差图；
第三步，低分辨率初始视差图经过传播上采样方法和精确重匹配方法得到高一个分辨率的视差图，重复此过程直到恢复为原分辨率；
3.1所述的传播上采样方法
最低分辩率的初始视差图Dn+1首先插值上采样，得到粗匹配的视差图D′n，此时得到的视差图仅由数值插值得到，并没有参考任何原始图像的结构信息，用原始的右视图Ir，根据粗匹配的视差图D′n，重建出左视图，记为
Figure FDA0002363280450000011
然后计算重建的左视图
Figure FDA0002363280450000012
和真实的左视图Il之间的误差，得到置信度图Mc：
Figure FDA0002363280450000013
normalization(.)为归一化操作，将差值归一化到(0,1)之间，置信度图Mc上每一点的概率值代表该像素视差值的可信程度；复制平移置信度图变为置信度图组，记为Mcg，
Mcg＝fc(Mc,k,s) (3)
其中fc(.)代表复制平移以改变尺寸的操作，k代表邻域窗口大小，s代表采样窗口的空洞率；感受野为(2s+1)2，每个位置得到一个k*k的置信度向量，代表该像素周围k*k邻域窗口内像素的置信度；
通过一个相对关系网络模块，该模块输入对应分辨率的左特征图，在每个位置都学习出一个权重向量，代表着其邻域像素与该中心像素的相对关系，权重越大，表示邻域某像素对该像素的影响越大；该权重，记为Wrelative
Figure FDA0002363280450000014
其中k为代表邻域窗口大小，θrelative表示相对关系网络模型；
用粗匹配的视差图D′n、置信度图Mcg和相对关系权重Wrelative进行传播，得到传播后的视差图，传播计算过程如下：
Figure FDA0002363280450000021
其中
Figure FDA0002363280450000022
代表传播后的视差图，<,>代表点乘操作，fc(.)代表复制平移resize操作，softmax(Wrelative*Mcg)代表传播时周围像素对中心像素的支持力度，由周围像素的置信度和相对关系权重相乘得到；
然后使用窗口空洞率为重复此传播过程，使其能在不同感受野上传播优化视差图；至此，完成从Dn+1到
Figure FDA0002363280450000023
的传播上采样过程；
3.2所述的精确重匹配方法
首先根据
Figure FDA0002363280450000024
将特征列表
Figure FDA00023632804500000211
中对应分辨率的右特征图
Figure FDA0002363280450000025
重建出左特征图，记为
Figure FDA0002363280450000026
用重建的左特征图
Figure FDA0002363280450000027
和原始的左特征图
Figure FDA0002363280450000028
在视差d＝[-d0,d0]小范围内做一次重匹配，得到代价图，再通过一个沙漏网络优化代价图，回归视差，得到一个偏置图Δ，代表和
Figure FDA0002363280450000029
的偏移量的大小，两者相加得到最终的优化网络的视差图Dn，
Figure FDA00023632804500000210
重复迭代3.1、3.2过程，直至恢复到原分辨率，得到最终的高精度的视差图。
2.根据权利要求1所述的基于上采样及精确重匹配的视差估计优化方法，其特征在于，第一步，对输入网络中的左右两张视图进行特征提取，将不同分辨率的特征图储存在特征列表
Figure FDA00023632804500000212
中，然后在最小分辨率的特征图上做匹配。
3.根据权利要求1所述的基于上采样及精确重匹配的视差估计优化方法，其特征在于，第二步，用最低分辨率的左右特征图，fl(x,y)fr(x,y)代表图像上某一点的特征向量，C表示代价图，形成代价图的公式如下：
C(x,y,d)＝<fl(x,y)-fr(x-d,y)> (1)
<>表示特征向量对应位置元素相减，d等于{0,1,2…Dmax}，Dmax为匹配时的最大视差；得到最低分辨率的代价图后，用一个沙漏网络优化；沙漏网络由不同步长的卷积层组成，沙漏网络输出的代价图经过soft argmin层回归出一张最低分辨率的初始视差图，记为Dn+1。
CN202010028308.2A 2020-01-10 2020-01-10 基于上采样及精确重匹配的视差估计优化方法 Active CN111242999B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010028308.2A CN111242999B (zh) 2020-01-10 2020-01-10 基于上采样及精确重匹配的视差估计优化方法
US17/604,588 US12008779B2 (en) 2020-01-10 2020-03-05 Disparity estimation optimization method based on upsampling and exact rematching
PCT/CN2020/077961 WO2021138992A1 (zh) 2020-01-10 2020-03-05 基于上采样及精确重匹配的视差估计优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010028308.2A CN111242999B (zh) 2020-01-10 2020-01-10 基于上采样及精确重匹配的视差估计优化方法

Publications (2)

Publication Number Publication Date
CN111242999A true CN111242999A (zh) 2020-06-05
CN111242999B CN111242999B (zh) 2022-09-20

Family

ID=70872416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010028308.2A Active CN111242999B (zh) 2020-01-10 2020-01-10 基于上采样及精确重匹配的视差估计优化方法

Country Status (2)

Country Link
CN (1) CN111242999B (zh)
WO (1) WO2021138992A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270701A (zh) * 2020-10-26 2021-01-26 湖北汽车工业学院 基于分组距离网络的视差预测方法、系统及存储介质
CN113313740A (zh) * 2021-05-17 2021-08-27 北京航空航天大学 一种基于平面连续性的视差图和表面法向量联合学习方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117333758B (zh) * 2023-12-01 2024-02-13 博创联动科技股份有限公司 基于大数据分析的田地路线识别系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102930530A (zh) * 2012-09-26 2013-02-13 苏州工业职业技术学院 一种双视点图像的立体匹配方法
CN109410266A (zh) * 2018-09-18 2019-03-01 合肥工业大学 基于四模Census变换和离散视差搜索的立体匹配算法
CN109472819A (zh) * 2018-09-06 2019-03-15 杭州电子科技大学 一种基于级联几何上下文神经网络的双目视差估计方法
CN109887008A (zh) * 2018-08-31 2019-06-14 河海大学常州校区 基于前后向平滑和o(1)复杂度视差立体匹配方法、装置和设备
KR101989133B1 (ko) * 2018-06-12 2019-09-30 중앙대학교 산학협력단 스테레오 이미지에서 공통 지원 영역을 이용한 실시간 스테레오 매칭 장치 및 매칭 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8385630B2 (en) * 2010-01-05 2013-02-26 Sri International System and method of processing stereo images
CN110427968B (zh) * 2019-06-28 2021-11-02 武汉大学 一种基于细节增强的双目立体匹配方法
CN110533712B (zh) * 2019-08-26 2022-11-04 北京工业大学 一种基于卷积神经网络的双目立体匹配方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102930530A (zh) * 2012-09-26 2013-02-13 苏州工业职业技术学院 一种双视点图像的立体匹配方法
KR101989133B1 (ko) * 2018-06-12 2019-09-30 중앙대학교 산학협력단 스테레오 이미지에서 공통 지원 영역을 이용한 실시간 스테레오 매칭 장치 및 매칭 방법
CN109887008A (zh) * 2018-08-31 2019-06-14 河海大学常州校区 基于前后向平滑和o(1)复杂度视差立体匹配方法、装置和设备
CN109472819A (zh) * 2018-09-06 2019-03-15 杭州电子科技大学 一种基于级联几何上下文神经网络的双目视差估计方法
CN109410266A (zh) * 2018-09-18 2019-03-01 合肥工业大学 基于四模Census变换和离散视差搜索的立体匹配算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
习路等: "基于多尺度卷积神经网络的立体匹配方法", 《计算机工程与设计》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270701A (zh) * 2020-10-26 2021-01-26 湖北汽车工业学院 基于分组距离网络的视差预测方法、系统及存储介质
CN112270701B (zh) * 2020-10-26 2023-09-12 湖北汽车工业学院 基于分组距离网络的视差预测方法、系统及存储介质
CN113313740A (zh) * 2021-05-17 2021-08-27 北京航空航天大学 一种基于平面连续性的视差图和表面法向量联合学习方法

Also Published As

Publication number Publication date
WO2021138992A1 (zh) 2021-07-15
CN111242999B (zh) 2022-09-20
US20220198694A1 (en) 2022-06-23

Similar Documents

Publication Publication Date Title
CN110782490B (zh) 一种具有时空一致性的视频深度图估计方法及装置
CN111242999B (zh) 基于上采样及精确重匹配的视差估计优化方法
CN111353940B (zh) 一种基于深度学习迭代上下采样的图像超分辨率重建方法
CN110738697A (zh) 基于深度学习的单目深度估计方法
US20230230275A1 (en) Inverting Neural Radiance Fields for Pose Estimation
CN112767251A (zh) 基于多尺度细节特征融合神经网络的图像超分辨率方法
CN111861884B (zh) 一种基于深度学习的卫星云图超分辨率重建方法
CN112396607A (zh) 一种可变形卷积融合增强的街景图像语义分割方法
CN111626308B (zh) 一种基于轻量卷积神经网络的实时光流估计方法
CN110349087B (zh) 基于适应性卷积的rgb-d图像高质量网格生成方法
CN113222825B (zh) 基于可见光图像训练的红外图像超分辨率重构方法及应用
CN113554032B (zh) 基于高度感知的多路并行网络的遥感图像分割方法
CN114429555A (zh) 由粗到细的图像稠密匹配方法、系统、设备及存储介质
CN117788296B (zh) 基于异构组合深度网络的红外遥感图像超分辨率重建方法
CN116563682A (zh) 一种基于深度霍夫网络的注意力方案和条带卷积语义线检测的方法
CN114494015A (zh) 基于盲超分辨率网络的图像重建方法
Izumi et al. Super-resolution of sea surface temperature with convolutional neural network-and generative adversarial network-based methods
Yang et al. Image super-resolution reconstruction based on improved Dirac residual network
Zhang et al. Dense haze removal based on dynamic collaborative inference learning for remote sensing images
CN116385265B (zh) 一种图像超分辨率网络的训练方法及装置
CN112215140A (zh) 一种基于时空对抗的3维信号处理方法
CN115131414A (zh) 基于深度学习的无人机图像对齐方法、电子设备和存储介质
CN111382845B (zh) 一种基于自注意力机制的模板重建方法
US12008779B2 (en) Disparity estimation optimization method based on upsampling and exact rematching
CN117853340B (zh) 基于单向卷积网络和降质建模的遥感视频超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant