CN111462212A - 一种针对双目测距的立体匹配成本体积构造的方法 - Google Patents

一种针对双目测距的立体匹配成本体积构造的方法 Download PDF

Info

Publication number
CN111462212A
CN111462212A CN202010222042.5A CN202010222042A CN111462212A CN 111462212 A CN111462212 A CN 111462212A CN 202010222042 A CN202010222042 A CN 202010222042A CN 111462212 A CN111462212 A CN 111462212A
Authority
CN
China
Prior art keywords
cost
elements
cost information
group
associated cost
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010222042.5A
Other languages
English (en)
Other versions
CN111462212B (zh
Inventor
杜娟
林登萍
汤永超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202010222042.5A priority Critical patent/CN111462212B/zh
Publication of CN111462212A publication Critical patent/CN111462212A/zh
Application granted granted Critical
Publication of CN111462212B publication Critical patent/CN111462212B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种针对双目测距的立体匹配成本体积构造的方法，通过设置阈值对左图特征成本信息与右图特征成本信息进行分组，得到相关联成本信息组；其次通过softmax归一化指数函数，得到每一组相关联成本信息组组内各元素的权重；然后得到一个相关联成本信息值，再将相关联成本信息值扩展为原本的元素个数，保持元素个数不变，得到左图相关成本与右图相关成本；最后将左图相关成本与右图相关成本连接得到相关成本体积。这种方法不会丢失完全相关联信息，增加了相关联信息的利用率，有助于提高系统的性能。

Description

一种针对双目测距的立体匹配成本体积构造的方法
技术领域
本发明涉及图像处理领域，具体涉及一种针对双目测距的立体匹配成本体积构造的方法。
背景技术
随着我国经济社会的发展和科技工业的进步，自动驾驶技术作为变革汽车产业格局的新兴科技，可以有效提高驾驶的安全性，降低交通事故发生率，缓解交通拥堵等。自动驾驶汽车是一个复杂的集成系统，涉及高精定位，环境感知等环节，而视觉测距也是自动驾驶中的关键技术。
视觉测距方法是通过单个或多个摄像机采集图像，采用视觉测距的算法，从图像中获得目标的距离。视觉测距方法根据传感器的个数分为双目测距和单目测距。传统的双目测距方法主要通过立体匹配技术获得稠密的视差图，进而通过视差公式获得对应的距离，其中立体匹配主要由匹配成本计算、成本聚合、视差计算与视差优化组成。立体匹配估计了图像对之间的差异，这对于深度感知、无人驾驶都有着重要的意义。成本体积的构建是匹配成本计算与成本聚合之间的关键环节。目前对成本体积的构建大多是在所有视差水平上，方法为将左图特征成本信息与右图特征成本信息直接拼接。
发明内容
为了克服现有技术存在的缺点与不足，本发明提供一种针对双目测距的立体匹配成本体积构造的方法，本发明在构建成本体积的时候，加入相关成本体积，增加了相关信息的利用率，能够提高系统的匹配精度和性能。
本发明采用如下技术方案：
一种针对双目测距的立体匹配成本体积构造的方法，包括如下步骤：
S1获得左图特征信息成本和右图特征信息成本；
S2获取左图相关联成本信息数组GL和右图相关联成本信息数据GR，具体为：
获取左图特征信息成本的阈值T，然后将左图成本信息内的第一个元素分别与本身及其它元素按照位置顺序进行比较，如果差值小于阈值T的元素分为一组，则被占用；
在未被占用元素中选取按照位置顺序的第一个元素与本身及其他元素进行比较，如果差值小于阈值T的元素分为一组，未被占用的元素继续与阈值进行比较，直至所有元素均被占用，则得到k组相关联成本信息组，构成左图相关联成本信息数组GL；
同样的方法获得s个右图相关联成本信息组，构成右图相关联成本信息数组GR；
S3获取相关联成本信息组内元素的权重；
S4获取相关联成本信息组的相关联成本信息值，此时每个相关联成本信息组的元素变为一个；
S5将S4得到的相关联成本信息组的元素个数进行扩充，使得相关联成本信息组元素的个数与S2步骤中相同，得到左图相关成本I′Lcost和右图相关成本I′Rcost；
S6将左图相关成本I′Lcost和右图相关成本I′Rcost进行拼接得到相关成本体积；
S7根据S1获得直接成本体积，将直接成本体积与相关成本体积对应元素相加得到最终的成本体积。
进一步，阈值
Figure BDA0002426423580000021
其中，Cmax为所有元素中的最大值，Cmin为所有元素中的最小值。
进一步，所述S3中获取相关联成本信息组内元素的权重，具体为：对于每一组相关联成本信息组内元素使用softmax归一化指数函数，使得组内每一个元素获得相应的权重gi＝σ(Ci)，其中Ci为组内的元素，并且保证每一组所有元素的权重和为1，由此GL可获得k组权重值gi，GR同理可得到相应的s组权重值gi。
进一步，所述S4中获取相关联成本信息组的相关联成本信息值是每一个相关联成本信息组内所有元素的加权和得到。
进一步，所述S5具体为：设相关联成本信息组有a个元素，经过S4获得该组的相关联成本信息值为r，则此组扩充为a个信息值为r的相关联成本信息组。
进一步，相关联成本信息组至少有一个元素。
本发明的有益效果：
本发明在进行体积构成的时候，增加了相关成本体积，不会丢掉相关特征信息，提高了相关特征信息的利用率，能够提高系统的匹配京都和性能。
附图说明
图1是本发明的工作流程图：
图2是本发明左图获得成本体积的示意图；
图3是直接成本体积获得示意图。
具体实施方式
下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。
实施例
本方法应用于PSM-NET金字塔立体匹配网络：网络的特征提取和匹配代价计算部分由CNN卷积网络模块和空间金字塔池组成；然后成本体积构造部分采取本文新方法，在原来的基础上，通过设置阈值对左图特征成本信息与右图特征成本信息进行分组，得到相关联成本信息组；其次通过softmax归一化指数函数，得到每一组相关联成本信息组组内各元素的权重；然后通过元素与权重相乘得到一个相关联成本信息值，再将相关联成本信息值扩展为原本的元素个数，保持元素个数不变，得到左图相关成本与右图相关成本；最后将左图相关成本与右图相关成本连接得到相关成本体积，如此加入相关成本体积，用此方法构造成本体积作为代价聚合网络的输入；代价聚合部分由3D CNN网络组成；最后由回归计算得到视差图。得到视差图，进而通过视差公式获得对应的距离，实现双目测距。
如图1-图3所示，一种针对双目测距的立体匹配成本体积构造的方法，包括如下步骤：
S1根据双目视觉图像，获得左图特征信息成本ILcost和右图特征信息成本IRcost。
S2获取左图相关联成本信息数组GL和右图相关联成本信息数据GR，具体为：
获取左图特征信息成本的阈值T，然后将左图成本信息内的第一个元素分别与本身及其它元素按照位置顺序进行比较，如果差值小于阈值T的元素分为一组，则被占用，未被占用的元素进入下一步；
在未被占用元素中选取按照位置顺序的第一个元素与本身及其他元素进行比较，如果差值小于阈值T的元素分为一组，未被占用的元素继续与阈值进行比较，直至所有元素均被占用，则得到k组相关联成本信息组，构成左图相关联成本信息数组GL；
阈值
Figure BDA0002426423580000041
其中，Cmax为所有元素中的最大值，Cmin为所有元素中的最小值。
获取右图特征信息成本的阈值T，其与左图的不一定相同，然后采用同样的比较方法获得s个右图相关联成本信息组，构成右图相关联成本信息数组GR；
如图2所示，设左图特征信息成本(C1，C2，C3……Cn),计算得到阈值为T，按照位置顺序C1与C1、C1与C2、C1与C3……C1与Cn比较，如果差小于阈值的，则该位置的元素为1组，被占用，则满足条件的1组为C1、C2……Ca，元素个数为m；
剔除被占用元素,则剩下的元素Ca+1，Ca+2……Cb；按照位置顺序Ca+1分别与Ca+1，Ca+2……Cb进行比较，如果差小于阈值的，则该位置的元素归为2组；
以此类推，直到组内所有元素比较完，则得到K组。
每一组内的元素都是按照位置顺序连续的，每一组至少会有一个元素。因为现有技术中前期的特征提取神经网络损失很多信息，因此采用本方法进行比对，可以提高相似元素的利用率。
S3获取相关联成本信息组内元素的权重，将每一组相关联成本信息组内元素使用softmax归一化指数函数，
Figure BDA0002426423580000042
使得组内每一个元素获得相应的权重gi＝σ(Ci)，其中Ci为组内的元素，并且保证每一组所有元素的权重和为1，由此GL可获得k组权重值gi，GR同理可得到相应的s组权重值gi。
同理，GR的每一组相关联成本信息组也可得到相应的权重值。
S4获取相关联成本信息组的相关联成本信息值r，此时每个相关联成本信息组的元素变为一个；
每一组相关联成本信息组的相关联成本信息值由每一组相关联信息组所有元素的加权和得到，假设某一组有a个元素，则
Figure BDA0002426423580000043
由此GL可获得k个r值，同理GR可获得s个r值。此时每个相关联成本信息组的元素变为一个。
S5将S4得到的相关联成本信息组的元素个数进行扩充，使得相关联成本信息组元素的个数与S2步骤中相同，得到左图相关成本I′Lcost和右图相关成本I′Rcost；
假设第一组有a个元素，经S4后，第一组得到一个相关联成本信息值r，则将此组扩充为有a个r值的相关联成本信息组。
S6将左图相关成本I′Lcost和右图相关成本I′Rcost进行拼接得到相关成本体积；
本发明加入相关成本体积使得构建成本体积时不会丢掉相关特征信息，增加了相关特征信息的利用率。
S7根据左图特征信息成本和右图特征信息成本获得直接成本体积，将直接成本体积与相关成本体积对应元素相加得到最终的成本体积。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种针对双目测距的立体匹配成本体积构造的方法，其特征在于，包括如下步骤：
S1获得左图特征信息成本和右图特征信息成本；
S2获取左图相关联成本信息数组GL和右图相关联成本信息数据GR，具体为：
获取左图特征信息成本的阈值T，然后将左图成本信息内的第一个元素分别与本身及其它元素按照位置顺序进行比较，如果差值小于阈值T的元素分为一组，则被占用；
在未被占用元素中选取按照位置顺序的第一个元素与本身及其它元素进行比较，如果差值小于阈值T的元素分为一组，未被占用的元素继续与阈值进行比较，直至所有元素均被占用，则得到k组相关联成本信息组，构成左图相关联成本信息数组GL；
同样的方法获得s个右图相关联成本信息组，构成右图相关联成本信息数组GR；
S3获取相关联成本信息组内元素的权重；
S4获取相关联成本信息组的相关联成本信息值，此时每个相关联成本信息组的元素变为一个；
S5将S4得到的相关联成本信息组的元素个数进行扩充，使得相关联成本信息组元素的个数与S2步骤中相同，得到左图相关成本I′Lcost和右图相关成本I′Rcost；
S6将左图相关成本I′Lcost和右图相关成本I′Rcost进行拼接得到相关成本体积；
S7根据S1获得直接成本体积，将直接成本体积与相关成本体积对应元素相加得到最终的成本体积。
2.根据权利要求1所述的方法，其特征在于，
阈值
Figure FDA0002426423570000011
其中，Cmax为所有元素中的最大值，Cmin为所有元素中的最小值。
3.根据权利要求1所述的方法，其特征在于，所述S3中获取相关联成本信息组内元素的权重，具体为：对于每一组相关联成本信息组内元素使用softmax归一化指数函数，使得组内每一个元素获得相应的权重gi＝σ(Ci)，其中Ci为组内的元素，并且保证每一组所有元素的权重和为1。
4.根据权利要求1所述的方法，其特征在于，所述S4中获取相关联成本信息组的相关联成本信息值是每一个相关联成本信息组内所有元素的加权和得到。
5.根据权利要求1所述的方法，其特征在于，所述S5具体为：设相关联成本信息组有a个元素，经过S4获得该组的相关联成本信息值为r，则此组扩充为a个信息值为r的相关联成本信息组。
6.根据权利要求1所述的方法，其特征在于，相关联成本信息组至少有一个元素。
CN202010222042.5A 2020-03-26 2020-03-26 一种针对双目测距的立体匹配成本体积构造的方法 Active CN111462212B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010222042.5A CN111462212B (zh) 2020-03-26 2020-03-26 一种针对双目测距的立体匹配成本体积构造的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010222042.5A CN111462212B (zh) 2020-03-26 2020-03-26 一种针对双目测距的立体匹配成本体积构造的方法

Publications (2)

Publication Number Publication Date
CN111462212A true CN111462212A (zh) 2020-07-28
CN111462212B CN111462212B (zh) 2023-02-10

Family

ID=71682474

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010222042.5A Active CN111462212B (zh) 2020-03-26 2020-03-26 一种针对双目测距的立体匹配成本体积构造的方法

Country Status (1)

Country Link
CN (1) CN111462212B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022222983A1 (zh) * 2021-04-23 2022-10-27 中兴通讯股份有限公司 视差估计方法、装置、图像处理设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106525004A (zh) * 2016-11-09 2017-03-22 人加智能机器人技术（北京）有限公司 双目立体视觉系统及深度测量方法
US20190385360A1 (en) * 2018-06-14 2019-12-19 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for updating a high-resolution map based on binocular images
US20200084353A1 (en) * 2018-08-23 2020-03-12 Ethersec Industries Ltd Stereo camera and imaging system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106525004A (zh) * 2016-11-09 2017-03-22 人加智能机器人技术（北京）有限公司 双目立体视觉系统及深度测量方法
US20190385360A1 (en) * 2018-06-14 2019-12-19 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for updating a high-resolution map based on binocular images
US20200084353A1 (en) * 2018-08-23 2020-03-12 Ethersec Industries Ltd Stereo camera and imaging system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YONGCHAO ZHU 等: "Binocular parallax stereo imaging based on correlation matching algorithm", 《PHYSICS OPTICS》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022222983A1 (zh) * 2021-04-23 2022-10-27 中兴通讯股份有限公司 视差估计方法、装置、图像处理设备及存储介质

Also Published As

Publication number Publication date
CN111462212B (zh) 2023-02-10

Similar Documents

Publication Publication Date Title
US10354185B2 (en) Learning apparatus, learning program, and learning method
CN109887019B (zh) 一种双目匹配方法及装置、设备和存储介质
CN110569875B (zh) 一种基于特征复用的深度神经网络目标检测方法
WO2022089077A1 (zh) 一种基于自适应候选视差预测网络的实时双目立体匹配方法
CN112150521B (zh) 一种基于PSMNet优化的图像立体匹配方法
CN111368943B (zh) 图像中对象的识别方法和装置、存储介质及电子装置
CN116258817B (zh) 一种基于多视图三维重建的自动驾驶数字孪生场景构建方法和系统
CN109598754A (zh) 一种基于深度卷积网络的双目深度估计方法
CN105488517A (zh) 一种基于深度学习的车辆品牌型号识别方法
CN111046767B (zh) 一种基于单目图像的3d目标检测方法
CN113313703B (zh) 基于深度学习图像识别的无人机输电线巡检方法
CN109146944A (zh) 一种基于深度可分卷积神经网络的视觉深度估计方法
CN110119768B (zh) 用于车辆定位的视觉信息融合系统及方法
CN113705796B (zh) 基于epi特征强化的光场深度获取卷积神经网络
CN111914913A (zh) 一种新型立体匹配优化方法
CN111462212B (zh) 一种针对双目测距的立体匹配成本体积构造的方法
CN105225233B (zh) 一种基于两类膨胀的立体影像密集匹配方法及系统
CN113313176A (zh) 一种基于动态图卷积神经网络的点云分析方法
CN116402876A (zh) 双目深度估计方法、装置、嵌入式设备和可读存储介质
CN115908992A (zh) 双目立体匹配的方法、装置、设备以及存储介质
CN109784297A (zh) 一种基于深度学习的三维目标识别与最优抓取方法
CN113034666B (zh) 一种基于金字塔视差优化代价计算的立体匹配方法
CN113256546A (zh) 一种基于彩色图指导的深度图补全方法
CN110599534B (zh) 适用于2d卷积神经网络的可学习引导滤波模块和方法
CN109583584B (zh) 可使具有全连接层的cnn接受不定形状输入的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant