CN112598722B - 一种基于可变形卷积网络的图像立体匹配方法以及系统 - Google Patents

一种基于可变形卷积网络的图像立体匹配方法以及系统 Download PDF

Info

Publication number
CN112598722B
CN112598722B CN202110023089.3A CN202110023089A CN112598722B CN 112598722 B CN112598722 B CN 112598722B CN 202110023089 A CN202110023089 A CN 202110023089A CN 112598722 B CN112598722 B CN 112598722B
Authority
CN
China
Prior art keywords
feature
view
offset data
forming
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110023089.3A
Other languages
English (en)
Other versions
CN112598722A (zh
Inventor
林浩亮
周振
俞益洲
李一鸣
乔昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Original Assignee
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shenrui Bolian Technology Co Ltd, Shenzhen Deepwise Bolian Technology Co Ltd filed Critical Beijing Shenrui Bolian Technology Co Ltd
Priority to CN202110023089.3A priority Critical patent/CN112598722B/zh
Publication of CN112598722A publication Critical patent/CN112598722A/zh
Application granted granted Critical
Publication of CN112598722B publication Critical patent/CN112598722B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了基于可变形卷积网络的图像立体匹配方法以及系统，解决现有技术中立体匹配模型训练成本高企、识别鲁棒性不足的技术问题。方法包括：形成两侧视图的视图特征；根据视图特征的差异形成特征差值；利用特征差值通过特征推断网络确定一侧视图特征与另一侧视图特征的初始采样偏移数据；利用一侧视图特征和初始采样偏移数据通过可变形卷积网络形成另一侧的视图预测特征；根据视图预测特征与另一侧视图特征的差异调整特征推断网络的损失函数，训练特征推断网络优化输出的采样偏移数据；根据优化阈值将采样偏移数据形成两侧视图像素间的视差值。可以有效应对常见的单向遮挡、光线变化等问题，增强算法鲁棒性。减少数据成本，有效利用计算资源。

Description

一种基于可变形卷积网络的图像立体匹配方法以及系统
技术领域
本发明涉及图像识别技术领域，具体涉及一种基于可变形卷积网络的图像立体匹配方法以及系统。
背景技术
现有技术中，立体匹配是双目深度估计过程中进行左视图与右视图的像素匹配以生成视差图的关键步骤。现有的立体匹配方法中，一类采用图像块匹配、全局匹配、半全局匹配等传统立体匹配算法构造绝对值之和、互信息等匹配代价函数，对整个像素块进行对比，采用搜索、动态规划等方法进行最小代价计算，需要内存大，运行时间长，且容易由于影像噪声、遮挡、弱纹理或重复纹理等原因产生错误匹配。另一类基于深度学习卷积网络使用cost-volume模块逐像素搜索最小匹配代价的方法，对常出现的单向遮挡、光线变化问题鲁棒性不足，同时该方法需要大量标有真值的训练图像(如雷达图)进行端到端的训练。现有技术都存在运行速度慢，占用内存大的技术缺陷。
发明内容
鉴于上述问题，本发明实施例提供一种基于可变形卷积网络的图像立体匹配方法以及系统，解决现有技术中立体匹配模型训练成本高企、模型识别鲁棒性不足的技术问题。
本发明实施例的基于可变形卷积网络的图像立体匹配方法，包括：
形成两侧视图的视图特征；
根据所述视图特征的差异形成特征差值；
利用所述特征差值通过特征推断网络确定一侧视图特征与另一侧视图特征的初始采样偏移数据；
利用所述一侧视图特征和所述初始采样偏移数据通过可变形卷积网络形成另一侧的视图预测特征；
根据所述视图预测特征与所述另一侧视图特征的差异调整所述特征推断网络的损失函数，训练所述特征推断网络优化输出的采样偏移数据；
根据优化阈值将所述采样偏移数据形成所述两侧视图像素间的视差值。
本发明实施例的基于可变形卷积网络的图像立体匹配系统，包括：
存储器，用于存储上述的基于可变形卷积网络的图像立体匹配方法处理过程对应的程序代码；
处理器，用于执行所述程序代码。
本发明实施例的基于可变形卷积网络的图像立体匹配系统，其特征在于，包括：
特征形成装置，用于形成两侧视图的视图特征；
差值形成装置，用于根据所述视图特征的差异形成特征差值；
偏移形成装置，用于利用所述特征差值通过特征推断网络确定一侧视图特征与另一侧视图特征的初始采样偏移数据；
预测形成装置，用于利用所述一侧视图特征和所述初始采样偏移数据通过可变形卷积网络形成另一侧的视图预测特征；
训练形成装置，用于根据所述视图预测特征与所述另一侧视图特征的差异调整所述特征推断网络的损失函数，训练所述特征推断网络优化输出的采样偏移数据；
视差形成装置，用于根据优化阈值将所述采样偏移数据形成所述两侧视图像素间的视差值。
本发明实施例的基于可变形卷积网络的图像立体匹配方法以及系统利用建立特征推断网络从两侧视图的特征差异中形成提取视差的采样偏移量数据，并通过可变形卷积网络形成预测特征与真实特征的量化偏差，进而通过量化偏差形成对特征推断网络的优化从而间接获得提高视差数据质量的采样偏移量数据。根据立体匹配算法本质，采用可变形卷积网络从一张视图采样生成对应视图，采用基于各像素的采样偏移量置信度的损失函数计算方法，可以有效应对立体匹配中常见的单向遮挡、光线变化等问题，增强算法鲁棒性。特征推断网络的训练可以采用自监督、弱监督学习的方式进行训练，减少视图中数据标识的获取成本，可以有效利用现有计算资源，有效数据获取的实时性较好。
附图说明
图1所示为本发明一实施例基于可变形卷积网络的图像立体匹配方法的流程图。
图2所示为本发明一实施例基于可变形卷积网络的图像立体匹配方法中形成相对侧视图的视图预测特征的流程图。
图3所示为本发明一实施例基于可变形卷积网络的图像立体匹配方法中形成特征推断网络自监督训练的流程图。
图4所示为本发明一实施例基于可变形卷积网络的图像立体匹配方法中形成特征推断网络弱监督训练的流程图。
图5所示为本发明一实施例基于可变形卷积网络的图像立体匹配系统的架构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明白，以下结合附图及具体实施方式对本发明作进一步说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明一实施例基于可变形卷积网络的图像立体匹配方法如图1所示。在图1中，本实施例包括：
步骤100：形成两侧视图的视图特征。
本领域技术人员可以理解，视图的视图特征可以通过特征图表征，特征图可以通过设置特征提取的卷积核对视图卷积形成。两侧视图通过相同的卷积核形成特征图，提取的特征类型对应。
步骤200：根据视图特征的差异形成特征差值。
根据两侧视图的特征图对比可以获得对应两侧视图的两侧特征图中对应位置视觉特征的量化差异。
步骤300：利用特征差值通过特征推断网络确定一侧视图特征与另一侧视图特征的初始采样偏移数据。
视图特征的量化差异是由视图形成的采样过程形成的，可以认为由两侧视图中对应像素形成时的采样偏移形成。采样偏移是指对客观对象进行平行图像采集时，受采集通道的细小客观差别影响，造成一侧采样数据与另一侧采样数据的差别。利用视图特征的量化差异可以通过技术手段提取对应像素形成时的(基于一侧像素采样数据的)采样偏移量。
步骤400：利用一侧视图特征和初始采样偏移数据通过可变形卷积网络形成另一侧的视图预测特征。
本领域技术人员可以理解，可变形卷积网络可以根据偏移参量对正常的图像像素属性进行适配输出包含偏移目标的图像像素属性。利用两侧视图特征图间形成的采样偏移数据和一侧视图特征可以形成另一侧视图特征。另一侧视图特征的形成质量与采样偏移数据的精度正相关。初始采样偏移数据的采样偏移精度受特征推断网络初始的参数和超参数局限。。
步骤500：根据视图预测特征与另一侧视图特征的差异调整特征推断网络的损失函数，训练特征推断网络优化输出的采样偏移数据。
步骤600：根据优化阈值将采样偏移数据形成两侧视图像素间的视差值。
经过优化的采样偏移数据可以准确量化两侧视图中匹配块图像间的水平距离，可以充分适应形成立体视觉过程中形成两侧视图的双摄像头与观察物体间的距离变化。
本发明实施例的基于可变形卷积网络的图像立体匹配方法利用建立特征推断网络从两侧视图的特征差异中形成提取视差的采样偏移量数据，并通过可变形卷积网络形成预测特征与真实特征的量化偏差，进而通过量化偏差形成对特征推断网络的优化从而间接获得提高视差数据质量的采样偏移量数据。根据立体匹配算法本质，采用可变形卷积网络从一张视图采样生成对应视图，采用基于各像素的采样偏移量置信度的损失函数计算方法，可以有效应对立体匹配中常见的单向遮挡、光线变化等问题，增强算法鲁棒性。特征推断网络的训练可以采用自监督、弱监督学习的方式进行训练，减少视图中数据标识的获取成本，可以有效利用现有计算资源，有效数据获取的实时性较好。
本发明一实施例的基于可变形卷积网络的图像立体匹配方法中形成视图特征如图2所示。在图2中，形成视图特征的过程包括：
步骤110：获取两侧采集通道中对应的两侧视图。
两侧采集通道通过两个摄像头形成。两个摄像头的主光轴平行设置。摄像头形成的侧视图经过必要的预处理过程，例如色彩过滤、亮度调整和灰度调整等。侧视图可以采用采集通道获得的完整图像或局部图像。
步骤120：对两侧视图进行特征提取形成一侧视图特征图和另一侧视图特征图。
本领域技术人员可以理解，进行特征提取采用卷积核形成的卷积神经网络。本发明一实施例中，卷积神经网络包括四个残差卷积模块。本发明一实施例的基于可变形卷积网络的图像立体匹配方法中形成相对侧视图的视图预测特征如图2所示。在图2中，形成特征差值的过程包括：
步骤210：将一侧视图特征图和另一侧视图特征图进行减法操作形成特征差值图。
减法操作可以体现或放大两侧视图特征图间对应位置的差异幅值，排除对特征差异的干扰信息，降低冗余数据对计算资源的消耗。
如图2所示，在本发明一实施例中，形成初始采样偏移数据的过程包括：
步骤310：通过残差卷积模块形成特征推断网络。
步骤320：将特征差值图输入特征推断网络输出特征差值图每个像素的偏移量，所有偏移量形成初始采样偏移数据。
具体的，特征差值图中各像素的采样像素数量为超参数，初始采样像素为m×n的矩形。例如，设定为3×3卷积的初始化状态。每个像素的偏移量为(Δx,Δy,p)，Δx为x方向上相对初始位置的偏移，Δy为y方向上相对初始位置的偏移，p为对该采样像素的偏移的置信度。
如图2所示，在本发明一实施例中，形成视图预测特征的过程包括：
步骤410：将初始采样偏移数据和一侧视图特征图分别输入可变形卷积网络。
初始采样偏移数据与一侧视图特征图中的像素存在对应关系。
步骤420：可变形卷积网络根据初始采样偏移数据采样一侧视图特征图，输出另一侧视图的视图预测特征图。
可变形卷积网络根据初始采样偏移数据对一侧视图特征图中的像素特征进行变换，使得一侧视图特征图转换到另一侧视图的视图预测特征图。
本发明一实施例基于可变形卷积网络的图像立体匹配方法中形成特征推断网络自监督训练如图3所示。在图3中，训练过程包括：
步骤510：比较另一侧视图的视图预测特征图和视图特征图，形成量化误差。
量化误差作为衡量采样偏移数据质量的必要指标。
步骤520：根据量化误差设置采样偏移数据置信度的损失函数形成特征推断网络的反向传播，对特征推断网络进行迭代训练优化采样偏移数据。
通过误差的反向传播形成特征推断网络中超参数的优化和优化阈值逼近，提高采样偏移数据质量，使得量化误差处于可接受的指标阈值内。
本发明一实施例基于可变形卷积网络的图像立体匹配方法中形成特征推断网络弱监督训练如图4所示。在图4中，训练过程包括：
步骤530：将一侧视图特征图与一侧视图的单个实例分割掩膜相乘形成确定实例特征图。
步骤540：将初始采样偏移数据和确定实例特征图分别输入可变形卷积网络。
步骤550：可变形卷积网络根据初始采样偏移数据采样确定实例特征图，输出另一侧视图的确定实例预测特征图。
步骤560：根据实例预测特征图和另一侧视图特征图通过注意力模块输出另一侧视图的确定实例预测特征图。
注意力模块自适应地将局部特征与其全局依赖关系相结合，确定另一侧视图的确定实例预测特征图。
步骤570：比较另一侧视图的确定实例预测特征图和视图特征图的单个实例分割掩膜形成量化误差。
步骤580：根据量化误差设置采样偏移数据置信度的损失函数形成特征推断网络的反向传播，对特征推断网络进行迭代训练优化采样偏移数据。
损失函数的设定包括：设置超参数P，如85％，在计算损失函数时，只计算各m×n像素采样偏移量(Δx，Δy，p)中前P％(85％)像素的损失。可以使得网络对常见的单向遮挡、光线变化等问题等问题更具鲁棒性。
在本发明一实施例中，根据各像素采样偏移量计算各像素的水平加权Δx和水平视差
Figure BDA0002889268380000071
从而得到各像素的视差。
在本发明一实施例中，基于各像素的采样偏移量置信度的损失函数可以采用不同的损失函数，如最大熵损失函数，DICE分割损失函数等。
在本发明一实施例中，弱监督训练流程中的注意力模块可以采用不同的结构，例如可以采用右(左)视图特征图加到采样结果上过一层1×1卷积和softmax层生成实例互斥概率图。然后将右(左)视图特征图单独过一层3×3卷积生成注意力特征图乘到实例互斥概率图得到预测右(左)视图单个实例分割掩膜。
本发明一实施例基于可变形卷积网络的图像立体匹配系统，包括：
存储器，用于存储上述基于可变形卷积网络的图像立体匹配方法处理过程对应的程序代码；
处理器，用于执行上述基于可变形卷积网络的图像立体匹配方法处理过程对应的程序代码。
处理器可以采用DSP(Digital Signal Processior)数字信号处理器、FPGA(Field-Programmable Gate Array)现场可编程门阵列、MCU(Microcontroller Unit)系统板、SoC(system on a chip)系统板或包括I/O的PLC(Programmable Logic Controller)最小系统。
本发明一实施例基于可变形卷积网络的图像立体匹配系统如图5所示。在图5中，本实施例包括：
特征形成装置10，用于形成两侧视图的视图特征；
差值形成装置20，用于根据视图特征的差异形成特征差值；
偏移形成装置30，用于利用特征差值通过特征推断网络确定一侧视图特征与另一侧视图特征的初始采样偏移数据；
预测形成装置40，用于利用一侧视图特征和初始采样偏移数据通过可变形卷积网络形成另一侧的视图预测特征；
训练形成装置50，用于根据视图预测特征与另一侧视图特征的差异调整特征推断网络的损失函数，训练特征推断网络优化输出的采样偏移数据；
视差形成装置60，用于根据优化阈值将采样偏移数据形成两侧视图像素间的视差值。
如图5所示，在本发明一实施例中，特征形成装置10包括：
视图获取模块11，用于获取两侧采集通道中对应的两侧视图；
特征提取模块12，用于对两侧视图进行特征提取形成一侧视图特征图和另一侧视图特征图。
如图5所示，在本发明一实施例中，差值形成装置20包括：
减法操作模块21，用于将一侧视图特征图和另一侧视图特征图进行减法操作形成特征差值图。
如图5所示，在本发明一实施例中，偏移形成装置30包括：
特征推断模块31，用于通过残差卷积模块形成特征推断网络；
数据输出模块32，用于将特征差值图输入特征推断网络输出特征差值图每个像素的偏移量，所有偏移量形成初始采样偏移数据。
如图5所示，在本发明一实施例中，预测形成装置40包括：
第一输入模块41，用于将初始采样偏移数据和一侧视图特征图分别输入可变形卷积网络；
第一预测模块42，用于可变形卷积网络根据初始采样偏移数据采样一侧视图特征图，输出另一侧视图的视图预测特征图。
如图5所示，在本发明一实施例中，训练形成装置50包括：
第一误差模块51，用于比较另一侧视图的视图预测特征图和视图特征图，形成量化误差；
第一训练模块52，用于根据量化误差设置采样偏移数据置信度的损失函数形成特征推断网络的反向传播，对特征推断网络进行迭代训练优化采样偏移数据。
还包括：
实例形成模块53，用于将一侧视图特征图与一侧视图的单个实例分割掩膜相乘形成确定实例特征图；
第二输入模块54，用于将初始采样偏移数据和确定实例特征图分别输入可变形卷积网络；
第二预测模块55，用于可变形卷积网络根据初始采样偏移数据采样确定实例特征图，输出另一侧视图的确定实例预测特征图；
特征匹配模块56，用于根据实例预测特征图和另一侧视图特征图通过注意力模块输出另一侧视图的确定实例预测特征图；
第二误差模块57，用于比较另一侧视图的确定实例预测特征图和视图特征图的单个实例分割掩膜形成量化误差；
第二训练模块58，用于根据量化误差设置采样偏移数据置信度的损失函数形成特征推断网络的反向传播，对特征推断网络进行迭代训练优化采样偏移数据。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (7)

1.一种基于可变形卷积网络的图像立体匹配方法，其特征在于，包括：
形成两侧视图的视图特征；
根据所述视图特征的差异形成特征差值；
利用所述特征差值通过特征推断网络确定一侧视图特征与另一侧视图特征的初始采样偏移数据；
利用所述一侧视图特征和所述初始采样偏移数据通过可变形卷积网络形成另一侧的视图预测特征；
根据所述另一侧的视图预测特征与所述另一侧视图特征的差异调整所述特征推断网络的损失函数，训练所述特征推断网络优化输出的采样偏移数据；
根据优化阈值将所述采样偏移数据形成所述两侧视图像素间的视差值；
所述形成两侧视图的视图特征包括：
获取两侧采集通道中对应的两侧视图；
对两侧视图进行特征提取形成一侧视图特征图和另一侧视图特征图；
所述根据所述视图特征的差异形成特征差值包括：
将一侧视图特征图和另一侧视图特征图进行减法操作形成特征差值图；
所述利用所述特征差值通过特征推断网络确定一侧视图特征与另一侧视图特征的初始采样偏移数据包括：
通过残差卷积模块形成特征推断网络；
将特征差值图输入特征推断网络输出特征差值图每个像素的偏移量，所有偏移量形成初始采样偏移数据。
2.如权利要求1所述的基于可变形卷积网络的图像立体匹配方法，其特征在于，所述利用所述一侧视图特征和所述初始采样偏移数据通过可变形卷积网络形成另一侧的视图预测特征包括：
将初始采样偏移数据和一侧视图特征图分别输入可变形卷积网络；
可变形卷积网络根据初始采样偏移数据采样一侧视图特征图，输出另一侧视图的视图预测特征图。
3.如权利要求2所述的基于可变形卷积网络的图像立体匹配方法，其特征在于，所述训练所述特征推断网络优化输出的采样偏移数据包括：
比较另一侧视图的视图预测特征图和视图特征图，形成量化误差；
根据量化误差设置采样偏移数据置信度的损失函数形成特征推断网络的反向传播，对特征推断网络进行迭代训练优化采样偏移数据。
4.如权利要求2所述的基于可变形卷积网络的图像立体匹配方法，其特征在于，所述训练所述特征推断网络优化输出的采样偏移数据包括：
将一侧视图特征图与一侧视图的单个实例分割掩膜相乘形成确定实例特征图；
将初始采样偏移数据和确定实例特征图分别输入可变形卷积网络；
可变形卷积网络根据初始采样偏移数据采样确定实例特征图，输出另一侧视图的确定实例预测特征图；
根据实例预测特征图和另一侧视图特征图通过注意力模块输出另一侧视图的确定实例预测特征图；
比较另一侧视图的确定实例预测特征图和视图特征图的单个实例分割掩膜形成量化误差；
根据量化误差设置采样偏移数据置信度的损失函数形成特征推断网络的反向传播，对特征推断网络进行迭代训练优化采样偏移数据。
5.如权利要求3或4所述的基于可变形卷积网络的图像立体匹配方法，其特征在于，根据各像素在水平方向上相对初始位置的偏移量Δx计算各像素的水平加权和水平视差
Figure FDA0003393261400000021
其中，m为图像长度方向的像素数量，n为图像宽度方向的像素数量，Δxk为第k个像素水平方向上相对初始位置的偏移量。
6.一种基于可变形卷积网络的图像立体匹配系统，其特征在于，包括：
存储器，用于存储如权利要求1至5任一所述的基于可变形卷积网络的图像立体匹配方法处理过程对应的程序代码；
处理器，用于执行所述程序代码。
7.一种基于可变形卷积网络的图像立体匹配系统，其特征在于，包括：
特征形成装置，用于形成两侧视图的视图特征；
差值形成装置，用于根据所述视图特征的差异形成特征差值；
偏移形成装置，用于利用所述特征差值通过特征推断网络确定一侧视图特征与另一侧视图特征的初始采样偏移数据；
预测形成装置，用于利用所述一侧视图特征和所述初始采样偏移数据通过可变形卷积网络形成另一侧的视图预测特征；
训练形成装置，用于根据所述另一侧的视图预测特征与所述另一侧视图特征的差异调整所述特征推断网络的损失函数，训练所述特征推断网络优化输出的采样偏移数据；
视差形成装置，用于根据优化阈值将所述采样偏移数据形成所述两侧视图像素间的视差值；
所述特征形成装置包括：
视图获取模块，用于获取两侧采集通道中对应的两侧视图；
特征提取模块，用于对两侧视图进行特征提取形成一侧视图特征图和另一侧视图特征图；
所述差值形成装置包括：
减法操作模块，用于将一侧视图特征图和另一侧视图特征图进行减法操作形成特征差值图；
所述偏移形成装置包括：
特征推断模块，用于通过残差卷积模块形成特征推断网络；
数据输出模块，用于将特征差值图输入特征推断网络输出特征差值图每个像素的偏移量，所有偏移量形成初始采样偏移数据。
CN202110023089.3A 2021-01-08 2021-01-08 一种基于可变形卷积网络的图像立体匹配方法以及系统 Active CN112598722B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110023089.3A CN112598722B (zh) 2021-01-08 2021-01-08 一种基于可变形卷积网络的图像立体匹配方法以及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110023089.3A CN112598722B (zh) 2021-01-08 2021-01-08 一种基于可变形卷积网络的图像立体匹配方法以及系统

Publications (2)

Publication Number Publication Date
CN112598722A CN112598722A (zh) 2021-04-02
CN112598722B true CN112598722B (zh) 2022-02-11

Family

ID=75207046

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110023089.3A Active CN112598722B (zh) 2021-01-08 2021-01-08 一种基于可变形卷积网络的图像立体匹配方法以及系统

Country Status (1)

Country Link
CN (1) CN112598722B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533712A (zh) * 2019-08-26 2019-12-03 北京工业大学 一种基于卷积神经网络的双目立体匹配方法
CN111508013A (zh) * 2020-04-21 2020-08-07 中国科学技术大学 立体匹配方法
CN111951319A (zh) * 2020-08-21 2020-11-17 清华大学深圳国际研究生院 一种图像立体匹配方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109544613A (zh) * 2018-11-23 2019-03-29 南昌航空大学 一种基于稠密网络深度学习的双目立体匹配方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533712A (zh) * 2019-08-26 2019-12-03 北京工业大学 一种基于卷积神经网络的双目立体匹配方法
CN111508013A (zh) * 2020-04-21 2020-08-07 中国科学技术大学 立体匹配方法
CN111951319A (zh) * 2020-08-21 2020-11-17 清华大学深圳国际研究生院 一种图像立体匹配方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于多尺度卷积神经网络的立体匹配算法研究;段中兴;《计算机测量与控制》;20200925(第2020年第9期);全文 *

Also Published As

Publication number Publication date
CN112598722A (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
CN108921799B (zh) 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法
CN110310320B (zh) 一种双目视觉匹配代价聚合优化方法
CN111062880A (zh) 一种基于条件生成对抗网络的水下图像实时增强方法
CN112200057B (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN113378775B (zh) 一种基于深度学习的视频阴影检测与消除方法
CN111242026B (zh) 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法
CN112818969A (zh) 一种基于知识蒸馏的人脸姿态估计方法及系统
US11651581B2 (en) System and method for correspondence map determination
CN111079764A (zh) 一种基于深度学习的低照度车牌图像识别方法及装置
CN115661459A (zh) 一种使用差异信息的2D mean teacher模型
CN115511759A (zh) 一种基于级联特征交互的点云图像深度补全方法
CN115512222A (zh) 一种线下训练-线上学习的灾害场景地物损毁评估方法
Zhang et al. Dense haze removal based on dynamic collaborative inference learning for remote sensing images
CN112767267B (zh) 基于仿真偏振带雾场景数据集的图像去雾方法
Babu et al. An efficient image dahazing using Googlenet based convolution neural networks
CN116879192B (zh) 基于卫星遥感数据的水华预测方法、装置、设备及介质
CN112598722B (zh) 一种基于可变形卷积网络的图像立体匹配方法以及系统
CN116994175A (zh) 深度伪造视频的时空结合检测方法、装置及设备
CN116402874A (zh) 基于时序光学图像与激光雷达数据的航天器深度补全方法
CN116385281A (zh) 一种基于真实噪声模型与生成对抗网络的遥感图像去噪方法
CN115439738A (zh) 一种基于自监督协同重构的水下目标检测方法
CN114283082A (zh) 一种基于注意力机制的红外小目标检测方法
CN115171030B (zh) 基于多级特征融合的多模态图像分割方法、系统及器件
Pawar et al. Deep Learning Approach for the Detection of Noise Type in Ancient Images. Sustainability 2022, 14, 11786
He et al. Based on atrous spatial convolutional and attention mechanism cycle-consistent generative adversarial defogging network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant