CN112348859B - 一种渐近全局匹配的双目视差获取方法和系统 - Google Patents
一种渐近全局匹配的双目视差获取方法和系统 Download PDFInfo
- Publication number
- CN112348859B CN112348859B CN202011152473.5A CN202011152473A CN112348859B CN 112348859 B CN112348859 B CN 112348859B CN 202011152473 A CN202011152473 A CN 202011152473A CN 112348859 B CN112348859 B CN 112348859B
- Authority
- CN
- China
- Prior art keywords
- image
- parallax
- matching
- map
- cost
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 94
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000005070 sampling Methods 0.000 claims abstract description 23
- 230000002776 aggregation Effects 0.000 claims description 34
- 238000004220 aggregation Methods 0.000 claims description 34
- 238000009499 grossing Methods 0.000 claims description 9
- 239000002131 composite material Substances 0.000 claims description 7
- 238000012952 Resampling Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000003706 image smoothing Methods 0.000 claims description 3
- 238000005065 mining Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20216—Image averaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种渐近全局匹配的双目视差获取方法和系统，所述方法包括：对左图的行和列进行间隔采样，获得低分辨率的第一左图；对右图的行和列进行间隔采样，获得低分辨率的第一右图；基于全局匹配的方法对第一左图和第一右图进行匹配，获得第一初始视差图；对第一初始视差图进行插值处理，获得与左图或右图具有相同像素列阵的第一等像素初始视差图；以第一等像素初始视差图为参考，在设定的相对视差范围内，对左图和右图进行全局匹配，获得优化视差图。以第一等像素初始视差图作为参考，便于缩小全局匹配的搜寻范围，从而提高计算效率、节约计算资源和内存资源，得到高精度的优化视差图。
Description
技术领域
本发明涉及计算机视角技术领域，具体涉及一种渐近全局匹配的双目视差获取方法和系统。
背景技术
双目视觉匹配是一种从一对不同角度拍摄的图片进行运算，从而恢复空间深度信息的机器技术。此技术近年受到广泛关注，成为自动驾驶、机器人视觉、虚拟/增强现实，工业自动化测量等许多智能化技术的基础之一。目前广泛应用的算法有：交互像素点差异(BT)代价算法和准全局聚合代价匹配(SGM，Semiglobal Matching)算法。BT代价算法为常用的局部算法(S. Birchfield and C.Tomasi,“Depth Discontinuities by Pixel-toPixel Stereo,”Proc.Sixth IEEE Int’l Conf.Computer Vision,pp.1073-1080,Jan.1998.)，SGM全局算法以BT代价为基础进行多方向聚合(Heiko Hirschmüller,“StereoProcessing by Semiglobal Matching and Mutual Information”,IEEE TRANSACTIONSON PATTERN ANALYSIS AND MACHINE INTELLIGENCE,VOL.30,NO.2, FEBRUARY 2008)。在另一篇文献中(D.Scharstein and R.Szeliski,“A Taxonomy and Evaluation of DenseTwo-Frame Stereo Correspondence Algorithms,”Int’l J.Computer Vision,vol.47,nos.1/2/3,pp.7-42,Apr.-June 2002.)，对现有的双目视觉匹配算法进行了分类和比较。
全局聚合代价匹配精度较高，但消耗巨大的计算资源和内存资源，能达到的帧率十分有限；而局部匹配速度较快，但其准确度低，会产生局部匹配错误，或局部找不到优化匹配视差值，从而在匹配特征不明显的区域产生大量离散分布的错误匹配区域。
发明内容
针对现有技术中存在的上述技术问题，本发明提供一种渐近全局匹配的双目视差获取方法和系统，通过渐近全局匹配的方法进行匹配，以降低全局匹配的计算量，便于节约计算资源，获得高精度的优化视差匹配图。
本发明公开了一种渐近全局匹配的双目视差获取方法，所述方法包括：对左图的行和列进行间隔采样，获得低分辨率的第一左图；对右图的行和列进行间隔采样，获得低分辨率的第一右图；基于全局匹配的方法对第一左图和第一右图进行匹配，获得第一初始视差图；对第一初始视差图进行插值处理，获得与左图或右图具有相同像素列阵的第一等像素初始视差图；以第一等像素初始视差图为参考，对左图和右图进行全局匹配，获得优化视差图。
优选的，本发明的方法还包括图像平滑的方法：将所述第一初始视差图进行平滑处理后，再进行插值处理。
优选的，对左图或右图的行和列进行间隔采样的方法包括：间隔采取行和列上的点作为重采点；将所述重采点临近区域的平均值作为重采点的值。
优选的，以第一等像素初始视差图为参考，对左图和右图进行全局匹配的方法包括：以第一等像素初始视差图为参考，为右图设定搜索范围；在所述搜索范围内，通过全局匹配的方法，在右图中搜索到与左图点的最优匹配，获得相对视差；根据相对视差和第一等像素初始视差图的初始视差获得优化视差。
优选的，在右图中搜索到与左图点最优匹配的方法包括：分别计算左图和右图三通道BT代价，并按通道累加获得组合单通道BT代价；将组合单通道BT代价在X方向求梯度后取模量，获得单通道BT代价梯度模量；分别计算左图和右图三通道每行X方向的梯度并取模量，获得三通道左梯度图和三通道右梯度图；根据三通道左梯度图和三通道右梯度图，按通道分别计算BT 代价，获得三通道组合BT；将三通道组合BT按通道累加后，获得单通道梯度BT代价；将单通道BT代价梯度模量和单通道梯度BT代价加权和，获得复合 BT代价；以所述复合BT代价为基础，在右图的视差搜索范围内进行多方向 SGM全局代价聚合；在右图视差范围内匹配到最小聚合代价，其对应的点为最优匹配，获得相对视差。
优选的，多方向SGM全局代价聚合的方法包括：
L(p，de(p)+d)＝C(p，de(p)+d)+min(T(p-r，de(p-r)+d)， T(p-r，de(p)+d-1)+P1，T(p-r，de(p)+d+1) +P1，mini((T(p-r，i))+P2)
(2)
其中，L为聚合方向上的聚合代价，C(p，de(p)+d)为当前点p的代价， p指当前点，de(p)是p点的初始视差，d指相对视差，T(p-r，de(p-r)+d)为聚合方向上前一点在其绝对视差下的代价，p-r指聚合方向上p点的前一点， T(p-r，de(p)+d-1)为聚合方向上前一点在当前点绝对视差-1的代价， T(p-r，de(p)+d+1)为聚合方向上前一点在当前点绝对视差+1的代价， mini((T(p-r，i))为前一点在相对搜寻范围内的方向视差最小值，P1和P2为动态规划参数。
优选的，所述优化视差图包括绝对视差，所述绝对视差由相对视差和初始视差求和得到。
优选的，本发明的方法还包括通过第二初始视差进获取双目视差的方法：对左图的行和列进行间隔采样，获得低分辨率的第二左图，所述第二左图的分辨率高于第一左图；对右图的行和列进行间隔采样，获得低分辨率的第二右图，第二右图的分辨率高于第一右图；第一初始视差图通过插值处理，获得与第二左图或第二右图具有相同像素列阵的第二等像素初始视差图；以第二等像素初始视差图为参考，基于全局匹配的方法对第二左图和第二右图进行匹配，获得第二初始视差图；第二初始视差图通过插值处理，获得与所述左图或右图具有相同像素列阵的第三等像素初始视差图；以第三等像素初始视差图为参考，基于全局匹配的方法对左图和右图进行匹配，获得优化视差图。
优选的，本发明的方法还包括图像预处理的方法：将左图和右图在Y方向上对齐；对左图和右图根据匹配需要进行裁剪。
本发明还包括用于实现上述方法的双目获取系统，包括重采样模块、第一匹配模块、插值模块和第二匹配模块，所述重采样模块用于对左图的行和列进行间隔采样，获得低分辨率的第一左图，对右图的行和列进行间隔采样，获得低分辨率的第一右图；所述第一匹配模块用于基于全局匹配的方法对第一左图和第一右图进行匹配，获得第一初始视差图；所述插值模块用于对第一初始视差图进行插值处理，获得与左图或右图具有相同像素数量的第一等像素初始视差图；所述第二匹配模块用于以第一等像素初始视差图为参考，在设定的相对视差范围内，对左图和右图进行全局匹配，获得优化视差图。
与现有技术相比，本发明的有益效果为：
对左图和右图进行全局匹配时，以第一等像素初始视差图作为参考，在设定的相对视差范围(±NTB/2)中进行全局匹配，便于缩小全局匹配的搜寻范围，减少计算量；第一左图和第一右图的分辨率低，在进行全局匹配时，计算量远低于左图和右图的全局匹配，因此虽然增加了一步计算，总体的计算量下降，从而提高计算效率、节约计算资源和内存资源，得到高精度的优化视差图。
附图说明
图1是本发明的双目视差获取方法流程图；
图2是对左图或右图的行和列进行间隔采样的方法流程图；
图3是以第一等像素初始视差图为参考，对左图和右图进行全局匹配的方法流程图；
图4是在右图中搜索到与左图点的最优匹配的方法流程图；
图5是多方向SGM全局代价聚合的方向示意图；
图6是通过第二初始视差进获取双目视差的方法流程图；
图7是左图或右图预处理的方法流程图；
图8是本发明的双目视差获取系统的逻辑框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了便于对本发明进行阐述，对说明书中的名称进行说明：X方向是指图像行坐标方向，Y方向是指图像列坐标的方向；图像在Y方向对准的情况下，即空间物体上的同一点，在左右图像中的像素坐标的Y方向一致，而X坐标根据深度的不同而差异，差异值叫视差，目标点在空间的深度与视差具有对应关系，可以通过三角原理进行计算，如根据双目视图成像原理，在校正后，获得计算公式，因此本发明的双目视差获得方法，也可以应用于深度的获得。本说明书中采用“全视差范围”代表预先设定的需要搜寻的可能视差范围。
下面结合附图对本发明做进一步的详细描述：
一种渐近全局匹配的双目视差获取方法，如图1所示，所述方法包括：
步骤101：对左图的行和列进行间隔采样，获得低分辨率的第一左图。分辨率决定了图像细节的精细程序，体现了单位面积上的像素量，通过间隔采样的方式，降低像素量，从而获得低分辨率的第一左图。
步骤102：对右图的行和列进行间隔采样，获得低分辨率的第一右图，第一右图和第一左图的间隔采样方法相同，使第一右图和第一左图具有相同的像素列阵。如，左图和右图的像素列阵为Nx×Ny，X方向上间隔nx1像素进行采样，Y方向上间隔ny1像素进行采样，则第一左图和第一右图的像素列阵为 Nx/nx1×Ny/ny1，其中，间隔采样方法中的nx1和ny1可以根据需要进行设定。
步骤103：基于全局匹配的方法对第一左图和第一右图进行匹配，获得第一初始视差图。第一初始视差图的像素列阵为：Nx/nx1×Ny/ny1，视差步距为nx1。其中，初始视差图为二维的灰度图，对于多通道的彩色图，可以将多通道的灰度累加后再进行全局匹配。
步骤105：对第一初始视差图进行插值处理，获得与左图或右图具有相同像素列阵的第一等像素初始视差图。第一初始视差图的像素列阵与左图或右图不同，需要通过插值处理还原到原图相同的分辨率，插值处理可以看成是间隔采样的逆过程。其中插值像素的初始视差可以根据其左右两侧像素的初始视值获得。
步骤106：以第一等像素初始视差图为参考，在设定的相对视差范围内，对左图和右图进行全局匹配，获得优化视差图。以左图为目标基图，右图为匹配图进行说明，以第一等像素初始视差图为参考，左图中的点可以通过初始视差图在右图中找到对应点，但由于第一等像素初始视差图由低分辨率图匹配计算得出，本身只是对最佳视差的一个估计值，存在一定误差，同时经过插值处理，插值后的视差值也是一个近似值，以所述对应点为中心，在设定的相对视差范围(±NTB/2)内，再次全局匹配。其中，相对视差范围可以根据第一初始视差图和第一等像素初始视差图进行设定。
对左图和右图进行全局匹配时，以第一等像素初始视差图作为参考，便于缩小全局匹配的搜寻范围，减少计算量；第一左图和第一右图的分辨率低，在进行全局匹配时，计算量远低于左图和右图的全局匹配，因此虽然增加了一步计算，总体的计算量下降，从而提高计算效率、节约计算资源和内存资源，得到高精度的优化视差图。
本发明的方法还包括图像平滑的方法：
步骤104：将所述第一初始视差图进行平滑处理。步骤103中获得的第一初始视差图进行平滑处理后，再进行步骤105的插值处理。初步产生的第一初始视差图中会存在一些无效的干扰视差，将会影响到后续的视差精细化过程，经过平滑处理后，过滤掉大部分无效视差。平滑处理可以有效地抑制图像噪声。
平滑窗口的大小可根据实际情况合理配置，平滑过程主要分为X、Y两方向进行。在各方向上，由于边界的存在，当像素位置离边界距离小于设定窗口大小时，则累加路径上的值并取平均值；当距离大于窗口大小时，通过滑动窗口法在路径上每前进一个像素并累加，再减去上一个像素点的像素值，保证整体窗口大小不变取平均值。
其中，如图2所示，步骤101和102所述，对左图或右图的行和列进行间隔采样的方法包括：
步骤201：间隔采取行和列上的点作为重采点。
步骤202:将所述重采点临近区域的平均值作为重采点的值。
通过取平均值，可以滤掉图像噪声。但不限于此，如可以直接获得重采点及其值，而不取平均值，计算效率高。还可以通过将临近区域的点平方求和后，开方作为重采点的值。
实施例1
本实施例提供优化视差获得的具体实施方法。
如图3所示，步骤105所述，以第一等像素初始视差图为参考，对左图和右图进行全局匹配的方法包括：
步骤301：以第一等像素初始视差图为参考，为右图设定搜索范围。如搜索范围可以是±10的视差范围。
步骤302：通过全局匹配的方法，在所述搜索范围中搜索到与左图点的最优匹配，获得相对视差。具体的，左图点作为目标点，通过第一等像素初始视差图确定右图的搜索范围，在右图中搜索到最优匹配点。
步骤303：根据相对视差和第一等像素初始视差图中的初始视差获得优化视差。多个点的优化视差构成优化视差图。
其中，优化视差为初始视差和相对视差之和。
在一个具体的实施例中，如图4所示，通过SGM全局代价聚合，在右图中搜索到与左图点最优匹配的方法包括：
步骤401：分别计算左图和右图三通道BT代价，并通过累加获得组合单通道BT代价。可以计算左图的点和右图搜索范围内三通道BT代价，以减少计算量。
步骤402：将组合单通道BT代价在X方向求梯度后取模量，获得单通道 BT代价梯度模量。
步骤403：分别计算左图和右图三通道每行X方向的梯度并取模量，获得三通道左梯度图和三通道右梯度图。如R通道左梯度图、B通道左梯度图和G 通道左梯度图，同理，三通道右梯度图也具有三幅图。
步骤404：根据所述三通道左梯度图和三通道右梯度图，按通道分别计算 BT代价，获得三通道组合BT。如根据R通道右梯度图与R通道左梯度图计算 R通道组合BT代价。
步骤405：将三通道组合BT按通道累加后，获得单通道梯度BT代价。如三个通道的组合BT取模后累加。
步骤406：将单通道BT代价梯度模量和单通道梯度BT代价加权和，获得复合BT代价。通过加权和有效避免多通道产生的正负值在累加中被抵消，从而保留了更多的梯度信息；加权之后得到的复合BT代价，相对于现有技术中常用的单通道BT代价，可以获得更好的视差效果。加权和是指，分别设置两者的权重系数后，求和。
步骤407：以所述复合BT代价为基础，基于左图的点，在右图的视差搜索范围内进行多方向SGM全局代价聚合。
步骤408：在右图视差范围内匹配到最小聚合代价，其对应的点为最优匹配，获得相对视差。
其中，多方向SGM全局代价聚合代价的获得方法包括：
L＝C(p,d)+min(TO,T1,T2,T3)-δ (1)
其中，C(p，d)为当前代价，L为聚合方向上的聚合代价，T0为像素p在聚合方向上视差为d时的代价，T1是聚合方向上视差为d-1时的代价+P1，T2 是聚合方向上视差为d+1时的代价+P1，T3为聚合方向上视差不为d-1和d+1 时的代价最小值+P2，δ为上一个像素的最小代价和，P1是为了适应倾斜或弯曲的表面，P2是为了保留不连续性，在一个具体实施例中，在实现量纲平衡之后，P1为0.01，P2为8×P1即得到良好的视差图。动态规划参数P1、P2 在设定值的基础上还需乘上窗口大小，这是因为块匹配的过程中进行了窗口平滑计算但并没有除去累加数，本发明在各个计算步骤中均使用了归一化，保持了量纲上的一致，具有可比性，可直接进行等权计算。
优选的，可以采用以下SGM公式获得聚合代价：
L(p，de(p)+d)＝C(p，de(p)+d)+min(T(p-r，de(p-r)+d)， T(p-r，de(p)+d-1)+P1，T(p-r，de(p)+d+1) +P1，mini((T(p-r，i))+P2)
(2)
其中，L为聚合方向上的聚合代价，C(p，de(p)+d)为当前点p的代价， p指当前点，de(p)是p点的初始视差，d指相对视差，T(p-r，de(p-r)+d)为聚合方向上前一点在其绝对视差下的代价，p-r指聚合方向上p点的前一点， T(p-r，de(p)+d-1)为聚合方向上前一点在当前点绝对视差-1的代价， T(p-r，de(p)+d+1)为聚合方向上前一点在当前点绝对视差+1的代价， mini((T(p-r，i))为前一点在相对搜寻范围内的聚合方向上代价最小值，P1 和P2为动态规划参数。
如图5所示，可以是4方向或6方向代价聚合，优选8方向，如L0-L7，多方向SGM全局代价聚合是让当前像素的代价聚合过程受多个方向(或路径) 上所有像素的影响，方向越多参与影响当前像素的邻域像素就越多，保证全局像素的约束但又避免全局像素的计算量问题。
实施例2
本实施例提供多级渐近匹配处理的方法。
以二级渐近匹配处理为例，如图6所示，通过第二初始视差进获取双目视差的方法：
步骤601：对左图的行和列进行间隔采样，获得低分辨率的第二左图，所述第二左图的分辨率高于第一左图。
步骤602：对右图的行和列进行间隔采样，获得低分辨率的第二右图，第二右图的分辨率高于第一右图。
步骤603：第一初始视差图通过插值处理，获得与第二左图或第二右图具有相同像素列阵的第二等像素初始视差图。使第二等像素初始视差图可以与第二左图或第二右图具有相同的像素列阵。
步骤604：以第二等像素初始视差图为参考，基于全局匹配的方法对第二左图和第二右图进行匹配，获得第二初始视差图。
步骤605：第二初始视差图通过插值处理，获得与所述左图或右图具有相同像素数量的第三等像素初始视差图。
步骤606：以第三等像素初始视差图为参考，基于全局匹配的方法对左图和右图进行匹配，获得优化视差图。
在一个具体实施例中，第一步可以用1/8分辨率，全范围搜寻，取得第一初始视差图；第二步用1/4分辨率，以第一初始视差做参考，1/4为搜寻范围，对1/4分辨率图进行全局匹配，获得第二初始视差图；第三步以第二初始视差图为参考，对全分辨率的原图进行全局匹配，以1/8为搜寻范围，来取得最中精细全分辨率视差图。
但不限于此，也通过根据需要设置多级渐近匹配，如三级或四级。
实施例3
如图7所示，本实施例提供对左图或右图预处理的方法：
步骤701：将左图和右图在Y方向上对齐。
步骤702：对左图和右图根据匹配需要进行裁剪。
双目图像在采集时，虽调整好双目相机的位置并对中，采取的图片在Y 轴上是对齐的，在X方向上有视差产生，通常会存在操作误差，使左图和右图在Y轴上没有对齐。通过裁剪超出匹配范围的信息，以确保符合立体匹配的基本条件，同时减少计算量。
在一个具体实施例中，在计算BT代价时，先计算右图的视差范围，再计算左图的，右图X方向上视差范围需大于给定的视差范围才可计算左图，这是为后续的错位代价计算做准备，否则可能错位时，左图在于右图进行比较时，右图的结果可能还未计算出来；若是具有多个通道，则对每个通道进行以上相同的计算并累加。便于提交计算效率，减少等待时间。
代价聚合的算法中，为了提高算法的效率以及设定不同视差范围时计算的灵活性，优选实施例使用动态共享内存作为临时变量的存储位置。
正常视差范围为dsprange，为计算边界数据方便，动态共享内存前后各扩展边界大小为1，因此设定每个线程块的共享内存为dsprange+2。动态共享内存存储当前像素点各个视差范围下计算出的代价值并传输到全局内存中，同时作为下一个像素点的前像素数据进入下一次循环，动态共享内存的使用方便视差范围的任意配置，不过每次配置时需要重新分配全局内存及初始化。
实施例4
影响全局匹配的视差搜寻效率的主要参数是图像点数和视差搜寻范围，全局匹配视差搜寻的时间为：
t＝cNx×Ny×Nd
其中，t为全局匹配视差搜寻的时间，c定义为单点视差搜寻所需时间， Nx为X方向的点数，Ny为Y方向的图像点数，Nd为视差搜索范围。
以行、列分辨率降4倍为例进行说明：
其中，t1为第一初始视差的匹配时间；
用第一等像素初始视差做参考，精细的全局视差搜寻的范围可缩小4倍：
全局匹配的视差搜寻总时间为：
即，通过本发明提供的渐近全局匹配的双目视差获取的方法，所消耗的时间远小于现有技术的全局匹配视差的时间，计算效率提高明显，利于节约计算资源。
本发明还提供一种用于实现上述方法的双目视差获取系统，如图8所示，包括重采样模块1、第一匹配模块2、插值模块3和第二匹配模块4，
重采样模块1用于对左图的行和列进行间隔采样，获得低分辨率的第一左图，对右图的行和列进行间隔采样，获得低分辨率的第一右图，第一右图和第一左图的间隔采样方法相同；
第一匹配模块2用于基于全局匹配的方法对第一左图和第一右图进行匹配，获得第一初始视差图；
插值模块3用于对第一初始视差图进行插值处理，获得与左图或右图具有相同像素数量的第一等像素初始视差图；
第二匹配模块4用于以第一等像素初始视差图为参考，在设定的相对视差范围内，对左图和右图进行全局匹配，获得优化视差图。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种渐近全局匹配的双目视差获取方法，其特征在于，所述方法包括：
对左图的行和列进行间隔采样，获得低分辨率的第一左图；
对右图的行和列进行间隔采样，获得低分辨率的第一右图；
基于全局匹配的方法对第一左图和第一右图进行匹配，获得第一初始视差图；
对左图的行和列进行间隔采样，获得低分辨率的第二左图，所述第二左图的分辨率高于第一左图；
对右图的行和列进行间隔采样，获得低分辨率的第二右图，第二右图的分辨率高于第一右图；
第一初始视差图通过插值处理，获得与第二左图或第二右图具有相同像素列阵的第二等像素初始视差图；
以第二等像素初始视差图为参考，基于全局匹配的方法对第二左图和第二右图进行匹配，获得第二初始视差图；
第二初始视差图通过插值处理，获得与所述左图或右图具有相同像素列阵的第三等像素初始视差图；
以第三等像素初始视差图为参考，基于全局匹配的方法对左图和右图进行匹配，获得优化视差图。
2.根据权利要求1所述的双目视差获取方法，其特征在于，还包括图像平滑的方法：
将所述第一初始视差图进行平滑处理后，再进行插值处理。
3.根据权利要求1所述的双目视差获取方法，其特征在于，对左图或右图的行和列进行间隔采样的方法包括：
间隔采取行和列上的点作为重采点；
将所述重采点临近区域的平均值作为重采点的值。
4.根据权利要求1所述的双目视差获取方法，其特征在于，以第三等像素初始视差图为参考，对左图和右图进行全局匹配的方法包括：
以第三等像素初始视差图为参考，为右图设定搜索范围；
在所述搜索范围内，通过全局匹配的方法，在右图中搜索到与左图点的最优匹配，获得相对视差；
根据相对视差和第三等像素初始视差图的初始视差获得优化视差图。
5.根据权利要求4所述的双目视差获取方法，其特征在于，在右图中搜索到与左图点最优匹配的方法包括：
分别计算左图和右图三通道BT代价，并按通道累加获得组合单通道BT代价；
将组合单通道BT代价在X方向求梯度后取模量，获得单通道BT代价梯度模量；
分别计算左图和右图三通道每行X方向的梯度并取模量，获得三通道左梯度图和三通道右梯度图；
根据三通道左梯度图和三通道右梯度图，按通道分别计算BT代价，获得三通道组合BT；
将三通道组合BT按通道累加后，获得单通道梯度BT代价；
将单通道BT代价梯度模量和单通道梯度BT代价加权和，获得复合BT代价；
以所述复合BT代价为基础，在右图的视差搜索范围内进行多方向SGM全局代价聚合；
在右图视差范围内匹配到最小聚合代价，其对应的点为最优匹配，获得相对视差。
6.根据权利要求5所述的双目视差获取方法，其特征在于，多方向SGM全局代价聚合的方法包括：
（2）
其中，L为聚合方向上的聚合代价，为当前点p的代价，p指当前点，是p点的初始视差，d指相对视差，为聚合方向上前一点在其绝对视差下的代价，p-r指聚合方向上p点的前一点，为聚合方向上前一点在当前点绝对视差-1的代价，为聚合方向上前一点在当前点绝对视差+1的代价，为前一点在相对搜寻范围内的方向视差最小值,P1和P2为动态规划参数。
7.根据权利要求4所述的双目视差获取方法，其特征在于，所述优化视差图包括绝对视差，所述绝对视差由相对视差和初始视差求和得到。
8.根据权利要求1所述的双目视差获取方法，其特征在于，还包括图像预处理的方法：
将左图和右图在Y方向上对齐；
对左图和右图根据匹配需要进行裁剪。
9.一种用于实现权利要求1-8任一项所述方法的双目视差获取系统，其特征在于，包括重采样模块、第一匹配模块和第二匹配模块，
所述重采样模块用于对左图的行和列进行间隔采样，获得低分辨率的第一左图，对右图的行和列进行间隔采样，获得低分辨率的第一右图；
所述第一匹配模块用于基于全局匹配的方法对第一左图和第一右图进行匹配，获得第一初始视差图；
第二匹配模块用于：
对左图的行和列进行间隔采样，获得低分辨率的第二左图，所述第二左图的分辨率高于第一左图；
对右图的行和列进行间隔采样，获得低分辨率的第二右图，第二右图的分辨率高于第一右图；
第一初始视差图通过插值处理，获得与第二左图或第二右图具有相同像素列阵的第二等像素初始视差图；
以第二等像素初始视差图为参考，基于全局匹配的方法对第二左图和第二右图进行匹配，获得第二初始视差图；
第二初始视差图通过插值处理，获得与所述左图或右图具有相同像素列阵的第三等像素初始视差图；
以第三等像素初始视差图为参考，基于全局匹配的方法对左图和右图进行匹配，获得优化视差图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011152473.5A CN112348859B (zh) | 2020-10-26 | 2020-10-26 | 一种渐近全局匹配的双目视差获取方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011152473.5A CN112348859B (zh) | 2020-10-26 | 2020-10-26 | 一种渐近全局匹配的双目视差获取方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112348859A CN112348859A (zh) | 2021-02-09 |
| CN112348859B true CN112348859B (zh) | 2024-09-06 |
Family
ID=74360219
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011152473.5A Active CN112348859B (zh) | 2020-10-26 | 2020-10-26 | 一种渐近全局匹配的双目视差获取方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112348859B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113658277B (zh) * | 2021-08-25 | 2022-11-11 | 北京百度网讯科技有限公司 | 立体匹配方法、模型训练方法、相关装置及电子设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110942102A (zh) * | 2019-12-03 | 2020-03-31 | 武汉大学 | 一种概率松弛核线匹配方法及系统 |
| CN111553252A (zh) * | 2020-04-24 | 2020-08-18 | 福建农林大学 | 一种基于深度学习及u-v视差算法的道路行人自动识别定位方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107689060A (zh) * | 2016-08-03 | 2018-02-13 | 北京三星通信技术研究有限公司 | 目标对象的视觉处理方法、装置及基于视觉处理的设备 |
| CN106780590B (zh) * | 2017-01-03 | 2019-12-24 | 成都通甲优博科技有限责任公司 | 一种深度图的获取方法及系统 |
| CN110738241A (zh) * | 2019-09-24 | 2020-01-31 | 中山大学 | 一种基于神经网络的双目立体视觉匹配方法及其运算框架 |
| CN111210481A (zh) * | 2020-01-10 | 2020-05-29 | 大连理工大学 | 多波段立体相机的深度估计加速方法 |
-
2020
- 2020-10-26 CN CN202011152473.5A patent/CN112348859B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110942102A (zh) * | 2019-12-03 | 2020-03-31 | 武汉大学 | 一种概率松弛核线匹配方法及系统 |
| CN111553252A (zh) * | 2020-04-24 | 2020-08-18 | 福建农林大学 | 一种基于深度学习及u-v视差算法的道路行人自动识别定位方法 |
Non-Patent Citations (1)
| Title |
|---|
| Stereo Processing by Semiglobal Matching and Mutual Information;Heiko Hirschmu¨ ller;《IEEE》;第2.2节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112348859A (zh) | 2021-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112115953B (zh) | 一种基于rgb-d相机结合平面检测与随机抽样一致算法的优化orb算法 | |
| CN106780590B (zh) | 一种深度图的获取方法及系统 | |
| EP2064675B1 (en) | Method for determining a depth map from images, device for determining a depth map | |
| US8199977B2 (en) | System and method for extraction of features from a 3-D point cloud | |
| CN112765095B (zh) | 一种立体测绘卫星影像数据归档方法和系统 | |
| CN108519102B (zh) | 一种基于二次投影的双目视觉里程计算方法 | |
| CN104685513A (zh) | 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计 | |
| CN110853151A (zh) | 一种基于视频的三维立体点集恢复方法 | |
| CN108776989A (zh) | 基于稀疏slam框架的低纹理平面场景重建方法 | |
| EP3293700B1 (en) | 3d reconstruction for vehicle | |
| CN108876861B (zh) | 一种地外天体巡视器的立体匹配方法 | |
| CN104331890B (zh) | 一种全局视差估计方法和系统 | |
| CN113744315B (zh) | 一种基于双目视觉的半直接视觉里程计 | |
| CN111105460A (zh) | 一种室内场景三维重建的rgb-d相机位姿估计方法 | |
| CN116977596A (zh) | 一种基于多视角图像的三维建模系统及方法 | |
| EP1997072B1 (en) | Method for determining a depth map from images, device for determining a depth map | |
| CN112348859B (zh) | 一种渐近全局匹配的双目视差获取方法和系统 | |
| CN116468786A (zh) | 一种面向动态环境的基于点线联合的语义slam方法 | |
| Hung et al. | Multipass hierarchical stereo matching for generation of digital terrain models from aerial images | |
| CN114998532B (zh) | 一种基于数字图像重建的三维影像视觉传达优化方法 | |
| CN117315138A (zh) | 基于多目视觉的三维重建方法及系统 | |
| CN104408710B (zh) | 一种全局视差估计方法和系统 | |
| CN116843754A (zh) | 一种基于多特征融合的视觉定位方法及系统 | |
| CN113850293B (zh) | 基于多源数据和方向先验联合优化的定位方法 | |
| CN115908731A (zh) | 一种基于云边协同的双无人机三维重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |