CN111862321B - 视差图的获取方法、装置、系统及存储介质 - Google Patents

视差图的获取方法、装置、系统及存储介质 Download PDF

Info

Publication number
CN111862321B
CN111862321B CN201910359845.2A CN201910359845A CN111862321B CN 111862321 B CN111862321 B CN 111862321B CN 201910359845 A CN201910359845 A CN 201910359845A CN 111862321 B CN111862321 B CN 111862321B
Authority
CN
China
Prior art keywords
image
convolution
deconvolution
channel
parallax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910359845.2A
Other languages
English (en)
Other versions
CN111862321A (zh
Inventor
赵帅领
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Navinfo Co Ltd
Original Assignee
Navinfo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Navinfo Co Ltd filed Critical Navinfo Co Ltd
Priority to CN201910359845.2A priority Critical patent/CN111862321B/zh
Publication of CN111862321A publication Critical patent/CN111862321A/zh
Application granted granted Critical
Publication of CN111862321B publication Critical patent/CN111862321B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种视差图的获取方法、装置、系统及存储介质，该方法，包括：接收图像采集设备获取的左图像和右图像；通过第一卷积通道和第二卷积通道分别对左图像和右图像进行N次卷积处理，得到对应的左特征图和右特征图；对左特征图和右特征图进行融合处理，得到融合特征图；通过第三卷积通道对融合特征图进行M次的卷积处理，得到目标融合特征图；通过反卷积通道对目标融合特征图进行P次反卷积处理，得到左图像和右图像的视差图。从而实现了将双目视差的结构信息显示地加入到网络结构中，获得更平滑、更精细的视差图的目的，提升了视差图的获取速度，提高了视差图的获取质量，为后续高精度地图制作、辅助驾驶提供数据支撑。

Description

视差图的获取方法、装置、系统及存储介质
技术领域
本发明涉及高精度地图技术领域，尤其涉及一种视差图的获取方法、装置、系统及存储介质。
背景技术
随着高精度地图技术、辅助驾驶技术的发展，双目系统在这些领域得到了越来越广泛的应用。比如在自动驾驶或辅助驾驶领域，车辆在公路上高速行驶时，对前方障碍物的感知将十分重要，双目系统作为车辆的眼睛，在感知前方场景的深度方面担任重要角色。在高精地图的更新过程中，通过激光雷达采集三维点云的进行地图更新的代价高昂，而作为廉价的双目系统在这方面就体现出其成本优势。而双目系统的摄像机拍摄的图像皆是二维的，怎么从二维图像获得三维信息十分必要。
目前，双目系统利用传统块匹配算法进行构建能量函数，优化能量函数来获得视差图。传统算法中其核心部分为使用优秀的匹配策略进行匹配，怎样衡量左图像中点与右图像中点的相似性至关重要。
但是，由于双目系统拍摄的左右图像存在形变、光照、遮挡、反光等情况，物体结构的重复等使得传统匹配算法捉襟见肘。同时，传统算法存在很多视差空洞，计算速度慢，视差图不平滑，坏块多等缺点。
发明内容
本发明提供一种视差图的获取方法、装置、系统及存储介质，实现了将双目视差的结构信息显示地加入到网络结构中，获得更平滑、更精细的视差图的目的，解决了双目系统中视差图的质量问题，提升了视差图的获取速度，提高了视差图的获取质量，为后续高精度地图制作、辅助驾驶提供数据支撑。
第一方面，本发明实施例提供一种视差图的获取方法，包括：
接收图像采集设备获取的左图像和右图像；
通过第一卷积通道和第二卷积通道分别对所述左图像和所述右图像进行N次卷积处理，得到对应的左特征图和右特征图；所述第一卷积通道和所述第二卷积通道分别包含有N个卷积层；N为大于0的自然数；
对所述左特征图和所述右特征图进行融合处理，得到融合特征图；
通过第三卷积通道对所述融合特征图进行M次的卷积处理，得到目标融合特征图；所述第三卷积通道包含有M个卷积层，M为大于0的自然数；
通过反卷积通道对所述目标融合特征图进行P次反卷积处理，得到所述左图像和所述右图像的视差图；所述反卷积通道包括P个反卷积层；其中，P与N、M相关。
第二方面，本发明实施例提供一种视差图的获取装置，包括：
接收模块，用于接收图像采集设备获取的左图像和右图像；
第一卷积模块，用于通过第一卷积通道和第二卷积通道分别对所述左图像和所述右图像进行N次卷积处理，得到对应的左特征图和右特征图；所述第一卷积通道和所述第二卷积通道分别包含有N个卷积层；N为大于0的自然数；
融合模块，用于对所述左特征图和所述右特征图进行融合处理，得到融合特征图；
第二卷积模块，用于通过第三卷积通道对所述融合特征图进行M次的卷积处理，得到目标融合特征图；所述第三卷积通道包含有M个卷积层，M为大于0的自然数；
反卷积模块，用于通过反卷积通道对所述目标融合特征图进行P次反卷积处理，得到所述左图像和所述右图像的视差图；所述反卷积通道包括P个反卷积层；其中，P与N、M相关。
第三方面，本发明实施例提供一种视差图的获取系统，包括：存储器，用于存储程序；处理器，用于执行所述存储器存储的所述程序，当所述程序被执行时，所述处理器用于执行第一方面中任一项所述的方法。
第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面中任一项所述的方法。
本发明提供一种视差图的获取方法、装置、系统及存储介质，通过接收图像采集设备获取的左图像和右图像；通过第一卷积通道和第二卷积通道分别对左图像和右图像进行N次卷积处理，得到对应的左特征图和右特征图；第一卷积通道和第二卷积通道分别包含有N个卷积层；N为大于0的自然数；对左特征图和右特征图进行融合处理，得到融合特征图；通过第三卷积通道对融合特征图进行M次的卷积处理，得到目标融合特征图；第三卷积通道包含有M个卷积层，M为大于0的自然数；通过反卷积通道对目标融合特征图进行P次反卷积处理，得到左图像和右图像的视差图；反卷积通道包括P个反卷积层；其中，P与N、M相关。从而实现了将双目视差的结构信息显示地加入到网络结构中，获得更平滑、更精细的视差图的目的，解决了双目系统中视差图的质量问题，提升了图像处理速度，提高了图像处理质量，为后续高精度地图制作、辅助驾驶提供数据支撑。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一应用场景的原理示意图；
图2为本发明实施例一提供的视差图的获取方法的流程图；
图3为本发明实施例提供的视差图的获取方法的原理示意图；
图4为本发明实施例三提供的视差图的获取装置的结构示意图；
图5为本发明实施例四提供的视差图的获取装置的结构示意图
图6为本发明实施例五提供的视差图的获取系统的结构示意图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
在现实世界中，生活的空间由三个维度组成，而目前摄像机拍摄的图像皆是二维的，因此，需要将二维图像转换为三维图像。比如在自动驾驶或辅助驾驶领域，车辆在公路上高速行驶时，对前方障碍物的感知将十分重要。车辆上安装的双目系统作为车辆的眼睛，在感知前方场景的深度方面担任重要角色。一般根据双目系统采集的图像，以及激光雷达采集的三维点云，制作高精度地图。但是，当路况发生改变时，高精度地图数据的更新将代价较高。首先，高精度地图的数据更新需要得到双目系统拍摄的视差图，传统算法的核心部分是使用优秀的匹配策略进行匹配，根据左图像与右图像中点的相似性实现图像匹配。但是，由于左右图像存在形变，例如光照差异，遮挡，反光等等因素，导致传统匹配策略的匹配效果不佳。
现有技术中，通过卷积神经网络训练一个端到端的视差生成模型，该模型的输入为左右立体图像，输出为相对于左图像的视差图。整个卷积神经网络的训练过程为有监督学习，需要有立体图像，同时获取其对应的视差图，但是获取视差图一般需要激光点云间接获取，比较困难，
另外，近年来因深度学习在图像检测，图像分割，图像分类等视觉任务方面取得的巨大成绩，有一些使用深度方法在视差获取方面的尝试，但多数是使用网络来代替传统获取视差图流程的其中一部分。
而本发明采用端到端的网络结构，输入是左右的立体图像，直接输出视差图，将传统算法中的一般步骤直接让网络本身去学习，从而实现了将双目视差的结构信息显示地加入到网络结构中，获得更平滑、更精细的视差图的目的，解决了双目系统中视差图的质量问题，提升了图像处理速度，提高了图像处理质量，为后续高精度地图制作、辅助驾驶提供数据支撑。
图1为本发明一应用场景的原理示意图，如图1所示，双目系统的图像采集设备采集做左图像11、右图像12。将左图像11，右图像12作为输入，输入到本发明的算法集成13中，输出左图像11和右图像12对应的视差图14。算法集成12包括：接收模块、矫正模块、处理模块，具体用于接收图像采集设备获取的左图像和右图像；对左图像和右图像进行矫正处理，得到矫正后的左图像和右图像；将矫正后的左图像和右图像输入目标网络模型，并通过目标网络模型输出左图像和右图像的视差图；其中，目标网络模型是指：根据预设训练集训练得到的，具备视差图像预测功能的学习模型。目标网络模型，包括：第一卷积模块，用于通过第一卷积通道和第二卷积通道分别对左图像和右图像进行N次卷积处理，得到对应的左特征图和右特征图；第一卷积通道和第二卷积通道分别包含有N个卷积层；N为大于0的自然数；融合模块，用于对左特征图和右特征图进行融合处理，得到融合特征图；第二卷积模块，用于通过第三卷积通道对融合特征图进行M次的卷积处理，得到目标融合特征图；第三卷积通道包含有M个卷积层，M为大于0的自然数；反卷积模块，用于通过反卷积通道对目标融合特征图进行P次反卷积处理，得到左图像和右图像的视差图；反卷积通道包括P个反卷积层；其中，P与N、M相关。
下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
图2为本发明实施例一提供的视差图的获取方法的流程图，如图2所示，本实施例中的方法可以包括：
S101、接收图像采集设备获取的左图像和右图像。
本实施例中，处理系统接收双目系统的图像采集设备获取的左图像和右图像。左图像和右图像为同一时刻，采集的同一场景的图像，在本实施例中成对使用。
S102、通过第一卷积通道和第二卷积通道分别对左图像和右图像进行N次卷积处理，得到对应的左特征图和右特征图。
本实施例中，第一卷积通道和第二卷积通道包含有N个卷积层，分别对左图像和右图像进行N次卷积处理，得到左特征图和右特征图。其中，N为大于0的自然数。
在一可选的实施方式中，在执行步骤S102之前，可以先对左图像和右图像进行矫正处理以达到数据增强的目的。矫正处理的方式，包括：随机裁剪、gmma变换、随机噪声、颜色抖动、明暗对比、对比度调整。而这些矫正处理是随机选择，最后进行归一化。然后对矫正处理后的左图像和右图像依次执行步骤S102～步骤S105。
S103、对左特征图和右特征图进行融合处理，得到融合特征图。
在一种可选的实施方式中，可以将右特征图像在极线方向上向右进行逐渐平移，并与左特征图像进行卷积处理，得到融合特征图；或者将左特征图像在极线方向上向左进行逐渐平移，并与右特征图像进行卷积处理，得到融合特征图。
本实施例中，利用卷积操作的平移不变性，将右特征图像在极线方向上向右进行逐渐平移，并与左特征图像进行卷积处理，得到融合特征图；或者将左特征图像在极线方向上向左进行逐渐平移，并与右特征图像进行卷积处理，得到融合特征图。每移动一步生成一个通道，这样可以生成的融合特征图，可以覆盖预先设定最大视差的搜索空间。对于立体图像，左图像上的某点，若在右图像上存在与之向匹配的点，则该点必定在对应的极线上，这样在极线方向上移动生成的融合特征图，相当于在模型训练模型中增加了先验信息。
需要说明的是，本实施例中，每组融合卷积处理后，融合特征图的尺寸都会减半，融合特征图的通道数将会加倍，通过若干次的卷积处理，得到预设尺寸大小的目标融合特征图。
S104、通过第三卷积通道对融合特征图进行M次的卷积处理，得到目标融合特征图。
本实施例中的第三卷积通道中包含有M个卷积层，通过对融合特征图进行M次卷积处理，可以得到目标融合特征图，其中M为大于0的自然数。
S105、通过反卷积通道对目标融合特征图进行P次反卷积处理，得到左图像和所述右图像的视差图。
本实施例中，反卷积通道包括P个反卷积层；其中，P与N、M相关。在每一次反卷积处理时，在卷积通道对应的反卷积层中加入与反卷积层的分辨率相同的第一卷积通道的卷积层特征、第二卷积通道的卷积层特征，和/或第三通道的卷积层特征；通过反卷积通道的P个反卷积层对所述目标融合特征图进行P次反卷积处理，得到所述左图像和所述右图像的视差图。在一种可选的实施方式中，可以设置P＝N+M。
本实施例中，每次反卷积将通道数减半，相应的特征图尺寸加倍。在每一次反卷积处理时，加入相同尺寸的融合特征图的信息；结合相同尺寸的融合特征图的信息，对将目标融合特征图进行若干次反卷积处理，得到左图像和右图像的视差图。加入的融合特征图的信息，每次融合卷积得到的融合特征图信息。由于加入与之对应分辨率的卷积层信息，使得反卷积处理后的特征信息更加的精细化，最后一层反卷积后即生成视差图。在反卷积处理中加入不同的卷积层提取的特征，从某种程度上相当于resnet结构中的shutcut连接，可以使训练网络更深，增强模型的学习能力。
本实施例中，还可以对预设的训练集中的样本图像进行过滤，滤除视差超过预设阈值的样本图像，得到候选图像；候选图像中预先标注有左图像和右图像的视差标签。选取反卷积通道的最后N层反卷积层，构建N个子损失函数，N为大于1的自然数；子损失函数是根据反卷积层生成的视差图与候选图像的视差标签中真实视差之间的误差确定的。设置N个子损失函数的权重值。基于N个子损失函数的权重值以及N个子损失函数，构建损失函数。将损失函数作为约束条件，通过候选图像迭代训练所述第一卷积通道、第二卷积通道、第三卷积通道、反卷积通道。
具体地，首先利用flythings模拟数据集进行预训练，然后在kitti上进行微调。对于数据中视差大于200的样本，舍弃不用，原因主要为：视差太大会增大学习的难度，而且这部分数据在整个数据集中的比例较小。视差太大对学习的难度会增加，这部分数据在整个数据集中的比例较小。而数据在进入网络之前需要做数据增强，包括随机裁剪，gmma变换，随机噪声，颜色抖动，明暗对比，对比度调整操作，而这些数据增强是随机选择，最后进行归一化，然后送入网络。而在训练时使用的batch大小为8。初始学习率为1e-4,随着训练的推进，逐渐减小。
进一步地，对训练的样本图像过滤后，得到候选图像，候选图像中预先标注有左图像和右图像的视差标签。然后，选取反卷积处理模块最后的N层反卷积层，构建N个子损失函数，N为大于1的自然数；子损失函数是根据反卷积层生成的视差图与候选图像的视差标签中真实视差之间的误差确定的。然后，设置N个子损失函数的权重值。基于N个子损失函数的权重值以及N个子损失函数，构建损失函数。最后，以损失函数作为约束条件，通过候选图像对构建的初始网络模型进行训练。在训练过程中，逐渐减小低分辨率的损失函数的权重值，增大高分辨率的损失函数的权重值，以获得更好的效果。
具体地，损失函数采用融合损失值的方法，将最后三组的反卷积的特征图分别生成视差图，然后进行上采样，生成特征图，三个视差图分别与真值生成三个损失值，分别标记loss3、loss2、loss1,而loss1采用l1norm进行计算。训练阶段将loss3、loss2、loss1的初始权重分别为1,0,0，训练过程中逐渐低分辨率的权重，增大高分辨率的loss。
本实施例中，通过构建初始网络模型；对预设的训练集中的样本图像进行过滤，滤除视差超过预设阈值的样本图像，得到候选图像；构建损失函数；将损失函数作为约束条件，通过候选图像迭代训练初始网络模型，得到目标网络模型。从而完成了目标网络模型的训练和学习过程。
综上可知，本实施例通过对虚拟立体图像对进行预训练，利用其样本量大的特点获取一个较好的初始模型，并利用kitti公布的行车过程中采集的街景立体图像进行优化模型。其次，在使用数据集进行训练之前，为增加模型的鲁棒性和数据量的大小，需要对数据进行增强，通常的增强方法为随机裁剪，平移，旋转，缩放，翻转等，但相对视差来说，并非完全适用，部分操作会破坏视差结构。本实施例中舍弃破坏视差的增强方法，只保留随机裁剪，缩放，上下翻转等操作，这样既可以利用数据增强带来的数据量增大的有利因素，又可避免对视差的破坏。
具体地，图3为本发明实施例提供的视差图的获取方法的原理示意图，如图3所示，左右图首先独立的进行卷积操作提取特征图，三组卷积后将特征图进行融合，图中加粗显示的特征图表示融合特征图。在融合过程中，将右特征图沿极线方向不断移动并与左特征图进行卷积操作。每移动一步生成一个通道，这样可以生成的特征图，可以覆盖预先设定最大视差的搜索空间。卷积核第一层采用大小为7x7,后面的卷积采用3x3的卷积核。第一组卷积输出64个通道，每组卷积后特征图的尺寸都会减半，特征图的通道数将会加倍。而在反卷积层，每次反卷积将通道数减半，相应的特征图尺寸加倍。该结构不可检测到，该方案可用于生成点云数据，自动驾驶时的障碍物检测；以及对图像分割，目标检测也会有帮助。该方案可应用于车载机上，因为涉及到很多卷积操作，加速运算硬件如GPU或FPGA会显著提高运算效率。
举例来说，对于立体图像对Il,Ir，网络的前三组卷积独立的对Il,Ir进行卷积操作，依次生成Cl1,Cr1，Cl2,Cr2，Cl3,Cr3，然后Cr3在极线方向进行逐渐平移，然后与Cl3特征进行卷积生成C3，然后C3再进行3组卷积生成C4，C5，C6，然后C6开始进行反卷积依次生成DC5,DC4,DC3,DC2,DC1,DC0。
可选地，在DC5,DC4,DC3,DC2,DC1进行反卷积前，加入与之对应分辨率的卷积层特征C5，C4，C3，Cl3,Cr3，Cl2,Cr2，Cl1,Cr1信息，这样可以使生成的特征信息更加的精细化，最后一层反卷积后即生成视差图。
本实施例，通过接收图像采集设备获取的左图像和右图像；通过第一卷积通道和第二卷积通道分别对左图像和右图像进行N次卷积处理，得到对应的左特征图和右特征图；第一卷积通道和第二卷积通道分别包含有N个卷积层；N为大于0的自然数；对左特征图和右特征图进行融合处理，得到融合特征图；通过第三卷积通道对融合特征图进行M次的卷积处理，得到目标融合特征图；第三卷积通道包含有M个卷积层，M为大于0的自然数；通过反卷积通道对目标融合特征图进行P次反卷积处理，得到左图像和右图像的视差图；反卷积通道包括P个反卷积层；其中，P与N、M相关。从而实现了将双目视差的结构信息显示地加入到网络结构中，获得更平滑、更精细的视差图的目的，解决了双目系统中视差图的质量问题，提升了图像处理速度，提高了图像处理质量，为后续高精度地图制作、辅助驾驶提供数据支撑。
图4为本发明实施例二提供的视差图的获取装置的结构示意图，如图4所示，本实施例中的装置可以包括：
接收模块31，用于接收图像采集设备获取的左图像和右图像；
第一卷积模块32，用于通过第一卷积通道和第二卷积通道分别对左图像和右图像进行N次卷积处理，得到对应的左特征图和右特征图；第一卷积通道和第二卷积通道分别包含有N个卷积层；N为大于0的自然数；
融合模块33，用于对左特征图和右特征图进行融合处理，得到融合特征图；
第二卷积模块34，用于通过第三卷积通道对融合特征图进行M次的卷积处理，得到目标融合特征图；第三卷积通道包含有M个卷积层，M为大于0的自然数；
反卷积模块35，用于通过反卷积通道对目标融合特征图进行P次反卷积处理，得到左图像和右图像的视差图；反卷积通道包括P个反卷积层；其中，P与N、M相关。可选地，融合模块33，具体用于：
将右特征图像在极线方向上向右进行逐渐平移，并与左特征图像进行卷积处理，得到融合特征图；或者将左特征图像在极线方向上向左进行逐渐平移，并与右特征图像进行卷积处理，得到融合特征图。
可选地，反卷积模块35，具体用于：
通过反卷积通道对目标融合特征图进行P次反卷积处理，得到左图像和右图像的视差图，包括：
在每一次反卷积处理时，在反卷积通道对应的反卷积层中加入与反卷积层的分辨率相同的第一卷积通道的卷积层特征、第二卷积通道的卷积层特征，和/或第三通道的卷积层特征；
通过反卷积通道的P个反卷积层对目标融合特征图进行P次反卷积处理，得到左图像和右图像的视差图；其中，P＝N+M。
本实施例，通过接收图像采集设备获取的左图像和右图像；通过第一卷积通道和第二卷积通道分别对左图像和右图像进行N次卷积处理，得到对应的左特征图和右特征图；第一卷积通道和第二卷积通道分别包含有N个卷积层；N为大于0的自然数；对左特征图和右特征图进行融合处理，得到融合特征图；通过第三卷积通道对融合特征图进行M次的卷积处理，得到目标融合特征图；第三卷积通道包含有M个卷积层，M为大于0的自然数；通过反卷积通道对目标融合特征图进行P次反卷积处理，得到左图像和右图像的视差图；反卷积通道包括P个反卷积层；其中，P与N、M相关。从而实现了将双目视差的结构信息显示地加入到网络结构中，获得更平滑、更精细的视差图的目的，解决了双目系统中视差图的质量问题，提升了图像处理速度，提高了图像处理质量，为后续高精度地图制作、辅助驾驶提供数据支撑。
图5为本发明实施例三提供的视差图的获取装置的结构示意图，如图5所示，本实施例的装置在图4所示的装置的基础上还可以包括：
训练模块36，用于：
对预设的训练集中的样本图像进行过滤，滤除视差超过预设阈值的样本图像，得到候选图像；候选图像中预先标注有左图像和右图像的视差标签；
选取反卷积通道的最后N层反卷积层，构建N个子损失函数，N为大于1的自然数；子损失函数是根据反卷积层生成的视差图与候选图像的视差标签中真实视差之间的误差确定的；
设置N个子损失函数的权重值；
基于N个子损失函数的权重值以及N个子损失函数，构建损失函数；
将损失函数作为约束条件，通过候选图像迭代训练第一卷积通道、第二卷积通道、第三卷积通道、反卷积通道。。
本实施例的视差图的获取装置，可以执行图2所示方法中的技术方案，其具体实现过程和技术原理参见图2所示方法中的相关描述，此处不再赘述。
本实施通过构建初始网络模型；对预设的训练集中的样本图像进行过滤，滤除视差超过预设阈值的样本图像，得到候选图像；构建损失函数；将损失函数作为约束条件，通过候选图像迭代训练初始网络模型，得到目标网络模型。从而完成了目标网络模型的训练和学习过程。
图6为本发明实施例四提供的视差图的获取系统的结构示意图，如图6所示，本实施例的系统40可以包括：处理器41和存储器42。
存储器42，用于存储计算机程序(如实现上述视差图的获取方法的应用程序、功能模块等)、计算机指令等；
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器42中。并且上述的计算机程序、计算机指令、数据等可以被处理器41调用。
处理器41，用于执行存储器42存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。
具体可以参见前面方法实施例中的相关描述。
处理器41和存储器42可以是独立结构，也可以是集成在一起的集成结构。当处理器41和存储器42是独立结构时，存储器42、处理器41可以通过总线43耦合连接。
本实施例的服务器可以执行图2所示方法中的技术方案，其具体实现过程和技术原理参见图2所示方法中的相关描述，此处不再赘述。
此外，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当用户设备的至少一个处理器执行该计算机执行指令时，用户设备执行上述各种可能的方法。
其中，计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于用户设备中。当然，处理器和存储介质也可以作为分立组件存在于通信设备中。
本申请还提供一种程序产品，程序产品包括计算机程序，计算机程序存储在可读存储介质中，服务器的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得服务器实施上述本发明实施例任一的方法。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种视差图的获取方法，其特征在于，包括：
接收图像采集设备获取的左图像和右图像；
通过第一卷积通道和第二卷积通道分别对所述左图像和所述右图像进行N次卷积处理，得到对应的左特征图和右特征图；所述第一卷积通道和所述第二卷积通道分别包含有N个卷积层；N为大于0的自然数；
对所述左特征图和所述右特征图进行融合处理，得到融合特征图；
通过第三卷积通道对所述融合特征图进行M次的卷积处理，得到目标融合特征图；所述第三卷积通道包含有M个卷积层，M为大于0的自然数；
通过反卷积通道对所述目标融合特征图进行P次反卷积处理，得到所述左图像和所述右图像的视差图；所述反卷积通道包括P个反卷积层；其中，P与N、M相关；
对所述左特征图和所述右特征图进行融合处理，得到融合特征图，包括：
将所述右特征图像在极线方向上向右进行逐渐平移，并与所述左特征图像进行卷积处理，得到融合特征图；或者将所述左特征图像在极线方向上向左进行逐渐平移，并与所述右特征图像进行卷积处理，得到融合特征图，所述融合特征图用于在模型训练模型中增加先验信息。
2.根据权利要求1所述的方法，其特征在于，通过反卷积通道对所述目标融合特征图进行P次反卷积处理，得到所述左图像和所述右图像的视差图，包括：
在每一次反卷积处理时，在所述反卷积通道对应的反卷积层中加入与所述反卷积层的分辨率相同的第一卷积通道的卷积层特征、第二卷积通道的卷积层特征，和/或第三通道的卷积层特征；
通过所述反卷积通道的P个反卷积层对所述目标融合特征图进行P次反卷积处理，得到所述左图像和所述右图像的视差图；其中，P＝N+M。
3.根据权利要求1或2所述的方法，其特征在于，还包括：
对预设的训练集中的样本图像进行过滤，滤除视差超过预设阈值的样本图像，得到候选图像；所述候选图像中预先标注有左图像和右图像的视差标签；
选取反卷积通道的最后N层反卷积层，构建N个子损失函数，N为大于1的自然数；所述子损失函数是根据反卷积层生成的视差图与所述候选图像的视差标签中真实视差之间的误差确定的；
设置所述N个子损失函数的权重值；
基于所述N个子损失函数的权重值以及所述N个子损失函数，构建损失函数；
将损失函数作为约束条件，通过所述候选图像迭代训练所述第一卷积通道、第二卷积通道、第三卷积通道、反卷积通道。
4.一种视差图的获取装置，其特征在于，包括：
接收模块，用于接收图像采集设备获取的左图像和右图像；
第一卷积模块，用于通过第一卷积通道和第二卷积通道分别对所述左图像和所述右图像进行N次卷积处理，得到对应的左特征图和右特征图；所述第一卷积通道和所述第二卷积通道分别包含有N个卷积层；N为大于0的自然数；
融合模块，用于对所述左特征图和所述右特征图进行融合处理，得到融合特征图；
第二卷积模块，用于通过第三卷积通道对所述融合特征图进行M次的卷积处理，得到目标融合特征图；所述第三卷积通道包含有M个卷积层，M为大于0的自然数；
反卷积模块，用于通过反卷积通道对所述目标融合特征图进行P次反卷积处理，得到所述左图像和所述右图像的视差图；所述反卷积通道包括P个反卷积层；其中，P与N、M相关；
所述融合模块，具体用于：
将所述右特征图像在极线方向上向右进行逐渐平移，并与所述左特征图像进行卷积处理，得到融合特征图；或者将所述左特征图像在极线方向上向左进行逐渐平移，并与所述右特征图像进行卷积处理，得到融合特征图，所述融合特征图用于在模型训练模型中增加先验信息。
5.根据权利要求4所述的装置，其特征在于，所述反卷积模块，具体用于：
通过反卷积通道对所述目标融合特征图进行P次反卷积处理，得到所述左图像和所述右图像的视差图，包括：
在每一次反卷积处理时，在所述反卷积通道对应的反卷积层中加入与所述反卷积层的分辨率相同的第一卷积通道的卷积层特征、第二卷积通道的卷积层特征，和/或第三通道的卷积层特征；
通过所述反卷积通道的P个反卷积层对所述目标融合特征图进行P次反卷积处理，得到所述左图像和所述右图像的视差图；其中，P＝N+M。
6.根据权利要求4或5所述的装置，其特征在于，还包括：
训练模块，用于对预设的训练集中的样本图像进行过滤，滤除视差超过预设阈值的样本图像，得到候选图像；所述候选图像中预先标注有左图像和右图像的视差标签；
选取反卷积通道的最后N层反卷积层，构建N个子损失函数，N为大于1的自然数；所述子损失函数是根据反卷积层生成的视差图与所述候选图像的视差标签中真实视差之间的误差确定的；
设置所述N个子损失函数的权重值；
基于所述N个子损失函数的权重值以及所述N个子损失函数，构建损失函数；
将损失函数作为约束条件，通过所述候选图像迭代训练所述第一卷积通道、第二卷积通道、第三卷积通道、反卷积通道。
7.一种视差图的获取系统，其特征在于，包括：存储器，用于存储程序；处理器，用于执行所述存储器存储的所述程序，当所述程序被执行时，所述处理器用于执行如权利要求1-3中任一项所述的视差图的获取方法。
8.一种计算机可读存储介质，其特征在于，包括：计算机程序，当其在计算机上运行时，使得计算机执行如权利要求1-3中任一所述的视差图的获取方法。
CN201910359845.2A 2019-04-30 2019-04-30 视差图的获取方法、装置、系统及存储介质 Active CN111862321B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910359845.2A CN111862321B (zh) 2019-04-30 2019-04-30 视差图的获取方法、装置、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910359845.2A CN111862321B (zh) 2019-04-30 2019-04-30 视差图的获取方法、装置、系统及存储介质

Publications (2)

Publication Number Publication Date
CN111862321A CN111862321A (zh) 2020-10-30
CN111862321B true CN111862321B (zh) 2024-05-03

Family

ID=72965505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910359845.2A Active CN111862321B (zh) 2019-04-30 2019-04-30 视差图的获取方法、装置、系统及存储介质

Country Status (1)

Country Link
CN (1) CN111862321B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113793290B (zh) * 2021-09-16 2023-08-29 北京百度网讯科技有限公司 一种视差确定方法、装置、设备、介质
WO2023154946A1 (en) * 2022-02-14 2023-08-17 Tunoptix, Inc. Systems and methods for high quality imaging using a color-splitting meta-optical computation camera

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012043003A1 (ja) * 2010-09-29 2012-04-05 富士フイルム株式会社 立体画像表示装置および立体画像表示方法
CN104302453A (zh) * 2012-06-08 2015-01-21 艾罗伯特公司 使用差动传感器或视觉测量的地毯偏移估计
KR101681199B1 (ko) * 2015-06-03 2016-12-01 (주)이더블유비엠 다중컬러 센서를 기반하여, 고속의 컨벌루션을 이용한 영상의 깊이정보 추출방법 및 장치
CN107767413A (zh) * 2017-09-20 2018-03-06 华南理工大学 一种基于卷积神经网络的图像深度估计方法
CN108389226A (zh) * 2018-02-12 2018-08-10 北京工业大学 一种基于卷积神经网络和双目视差的无监督深度预测方法
CN108734693A (zh) * 2018-03-30 2018-11-02 百度在线网络技术（北京）有限公司 用于生成信息的方法和装置
CN109472819A (zh) * 2018-09-06 2019-03-15 杭州电子科技大学 一种基于级联几何上下文神经网络的双目视差估计方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9292926B1 (en) * 2014-11-24 2016-03-22 Adobe Systems Incorporated Depth map generation
US10462445B2 (en) * 2016-07-19 2019-10-29 Fotonation Limited Systems and methods for estimating and refining depth maps
KR20180087994A (ko) * 2017-01-26 2018-08-03 삼성전자주식회사 스테레오 매칭 방법 및 영상 처리 장치
KR102301232B1 (ko) * 2017-05-31 2021-09-10 삼성전자주식회사 다채널 특징맵 영상을 처리하는 방법 및 장치
KR101970488B1 (ko) * 2017-12-28 2019-04-19 포항공과대학교 산학협력단 실내 의미론적 분할을 위한 컬러-깊이 영상의 단계적 레지듀얼 특성 결합 네트워크 장치
CN109598754B (zh) * 2018-09-29 2020-03-17 天津大学 一种基于深度卷积网络的双目深度估计方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012043003A1 (ja) * 2010-09-29 2012-04-05 富士フイルム株式会社 立体画像表示装置および立体画像表示方法
CN104302453A (zh) * 2012-06-08 2015-01-21 艾罗伯特公司 使用差动传感器或视觉测量的地毯偏移估计
KR101681199B1 (ko) * 2015-06-03 2016-12-01 (주)이더블유비엠 다중컬러 센서를 기반하여, 고속의 컨벌루션을 이용한 영상의 깊이정보 추출방법 및 장치
CN107767413A (zh) * 2017-09-20 2018-03-06 华南理工大学 一种基于卷积神经网络的图像深度估计方法
CN108389226A (zh) * 2018-02-12 2018-08-10 北京工业大学 一种基于卷积神经网络和双目视差的无监督深度预测方法
CN108734693A (zh) * 2018-03-30 2018-11-02 百度在线网络技术（北京）有限公司 用于生成信息的方法和装置
CN109472819A (zh) * 2018-09-06 2019-03-15 杭州电子科技大学 一种基于级联几何上下文神经网络的双目视差估计方法

Also Published As

Publication number Publication date
CN111862321A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
Xu et al. Bilateral grid learning for stereo matching networks
US10353271B2 (en) Depth estimation method for monocular image based on multi-scale CNN and continuous CRF
Wang et al. 360sd-net: 360 stereo depth estimation with learnable cost volume
EP3940641A1 (en) Method, apparatus, and device for obtaining disparity map, control system, and storage medium
WO2020020160A1 (zh) 图像视差估计
CN111209770A (zh) 一种车道线识别方法及装置
CN110197505B (zh) 基于深度网络及语义信息的遥感图像双目立体匹配方法
CN111028151B (zh) 基于图残差神经网络融合的点云数据拼接方法
CN109509156B (zh) 一种基于生成对抗模型的图像去雾处理方法
CN109410144B (zh) 一种基于深度学习的端到端图像去雾处理方法
CN111508013B (zh) 立体匹配方法
CN110335299B (zh) 一种基于对抗网络的单目深度估计系统实现方法
CN111862321B (zh) 视差图的获取方法、装置、系统及存储介质
Xue et al. Boundary-induced and scene-aggregated network for monocular depth prediction
CN113392937B (zh) 一种3d点云数据分类方法及其相关装置
CN114677479A (zh) 一种基于深度学习的自然景观多视图三维重建方法
CN116229394A (zh) 一种自动驾驶图像识别方法、装置及识别设备
CN116310098A (zh) 一种基于注意力机制与可变卷积深度网络的多视图三维重建方法
Basak et al. Monocular depth estimation using encoder-decoder architecture and transfer learning from single RGB image
Teutscher et al. PDC: piecewise depth completion utilizing superpixels
Zhang et al. Local stereo matching: An adaptive weighted guided image filtering-based approach
Huang et al. ES-Net: An efficient stereo matching network
CN114494644A (zh) 一种基于双目立体匹配的空间非合作目标位姿估计与三维重建方法及系统
CN113592015A (zh) 定位以及训练特征匹配网络的方法和装置
WO2024082602A1 (zh) 一种端到端视觉里程计方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant