CN114187208A - 基于融合代价和自适应惩罚项系数的半全局立体匹配方法 - Google Patents
基于融合代价和自适应惩罚项系数的半全局立体匹配方法 Download PDFInfo
- Publication number
- CN114187208A CN114187208A CN202111549115.2A CN202111549115A CN114187208A CN 114187208 A CN114187208 A CN 114187208A CN 202111549115 A CN202111549115 A CN 202111549115A CN 114187208 A CN114187208 A CN 114187208A
- Authority
- CN
- China
- Prior art keywords
- parallax
- value
- image
- pixel point
- cost
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000004927 fusion Effects 0.000 title claims abstract description 26
- 230000003044 adaptive effect Effects 0.000 title claims description 7
- 230000002776 aggregation Effects 0.000 claims abstract description 28
- 238000004220 aggregation Methods 0.000 claims abstract description 28
- 238000001514 detection method Methods 0.000 claims description 19
- 238000001914 filtration Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 238000006116 polymerization reaction Methods 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 150000001875 compounds Chemical class 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 7
- 238000005457 optimization Methods 0.000 abstract description 2
- 239000003086 colorant Substances 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于融合代价和自适应惩罚项系数的半全局立体匹配方法，首先采用指数融合公式将输入图像的Census变换代价值、AD代价值、输入图像的
方向梯度和
方向梯度进行结合，获得融合匹配代价；然后根据像素点所处位置的颜色分量和梯度分量，选择对应的系数进行多路代价聚合；接着在三维视差空间中选择代价值最小的视差值，组成初始视差图；最后经过视差优化处理流程，得到最终的视差图。在Middlebury平台的Cones、Teddy和Tsukuba图像上的实验表明，相比原始半全局立体匹配算法，应用本技术方案可实现所有区域平均误差降低13.3%～34.5%；不连续区域平均误差降低20.3%～36.2%；非遮挡区域平均误差降低13.8%～51%。
Description
技术领域
本发明涉及图像处理技术领域，特别是基于融合代价和自适应惩罚项系数的半全局立体匹配方法。
背景技术
从图像中提取视差图对于计算机视觉应用非常重要，如自动驾驶、虚拟现实、三维重建以及同步定位与建图等领域。立体匹配算法是通过一组对应的、校准好的左右图像计算得到目标像素点视差，还可以获取其深度信息，从而完成场景的三维重建。明德学院教授Scharstein提出可以将整个立体匹配过程分为四部分：匹配代价计算部分、匹配代价聚合部分、视差计算部分和视差优化处理部分。Hirschmuller提出了一种半全局(Semi-globalMatching，SGM)算法，其综合了全局立体匹配算法的精度和局部立体匹配算法的快速性，将二者特点相结合，并且运用一维多路径方式近似解决二维动态规划问题，降低代价聚合部分的复杂度，提高了算法运行速度和鲁棒性。
目前，非参数的Census变换被广泛应用在半全局立体匹配方法的代价计算，其拥有对由于光照产生的问题不敏感的优势，但是其对中心像素过分依赖，鲁棒性较差。针对不同的图像，半全局立体匹配算法的固定惩罚项系数会导致算法在视差不连续区域的匹配效果差，得到的初始视差图视差值不平滑，整体视差图精度不高。
发明内容
有鉴于此，本发明的目的在于提供一种基于融合代价和自适应惩罚项系数的半全局立体匹配方法，该算法在Census变换的优势上，结合其他代价值形成融合代价计算方式；采用颜色和梯度建立像素点分类机制，根据像素点所处位置自适应的调整惩罚项系数的大小；利用视差检测手段对视差图进行错误检测，并且采用视差填充方法以及滤波手段对视差值进一步处理，获取更高精度的视差图。
为实现上述目的，本发明采用如下技术方案：一种基于融合代价和自适应惩罚项系数的半全局立体匹配方法，包括以下步骤：
步骤S1：由位于左边的左相机及位于右边的右相机组成双目相机，通过左相机获得左彩色图像，通过右相机获得右彩色图像；
步骤S2：对左彩色图像的每一个像素点计算其Census代价值、AD代价值、x方向的梯度代价值和y方向的梯度代价值，最后采用指数融合公式将所述的Census代价值、AD代价值、x方向的梯度代价值和y方向的梯度代价值组合，形成以图像长度为x轴、图像宽度为y轴和视差范围为z轴的三维视差空间；
步骤S3：在视差范围内，用像素点的四个方向的一维动态规划结果作为二维全局能量函数的最优解，在所述三维视差空间中分别进行聚合，其中，根据像素点所处位置的颜色差值和梯度差值选择对应的惩罚项系数；
步骤S4：在所述三维视差空间中，采用赢者通吃算法WTA，对于每个像素点，选择其最小匹配代价对应的视差值作为该像素点的视差值，将得到的视差值组合形成初始左视差图；
步骤S5：采用左右一致性检测、视差唯一性检测和移除异常连通区域对所述初始左视差图进行错误视差检测，还采用二次曲线插值、视差填充、中值滤波以及引导图滤波对初始左视差图进行平滑，得到最终视差图。
进一步地：所述步骤S2具体包括以下步骤：
步骤S21：对于左彩色图像的每一个像素点，在R、G、B三个彩色图像通道下计算其AD代价值，公式为：
式中，CAD(p,d)代表左彩色图像上的点p＝(x,y)在视差为d时的AD代价值；
代表左彩色图像第i个通道上的点p＝(x,y)；
代表右彩色图像第i个通道上在视差为d时的点pd＝(x-d,y)；
步骤S22：计算左彩色图像及右彩色图像分别对应的左灰度图像及右灰度图像，接着在左灰度图像及右灰度图像上以每个像素点为中心，建立大小为5×5的Census变换窗口，并通过窗口内像素灰度均值代替中心像素点灰度值作为阈值，采用汉明距离计算Census代价值
式中，
和
分别代表左灰度图像中点p＝(x,y)的Census变换二进制编码和右灰度图像中视差为d时点pd＝(x-d,y)的Census变换二进制编码；
步骤S23：由所述左灰度图像及右灰度图像计算每个像素点的x方向和y方向的梯度，并且由梯度可以得到每个像素点在视差为d时x方向和y方向的梯度代价值：
式中，IL和IR分别指左灰度图像和右灰度图像；▽gx表示当前像素点在x方向上的灰度值导数，▽gy表示当前像素点在y方向上的灰度值导数；Gray(p,x-1)代表当前像素点在x方向上的左边像素点的灰度值；Gray(p,x+1)代表当前像素点在x方向上的右边像素点的灰度值；Gray(p,y-1)代表当前像素点在y方向上的上边像素点的灰度值；Gray(p,y+1)代表当前像素点在y方向上的下边像素点的灰度值；Cgx(p,d)和Cgy(p,d)分别表示左灰度图像中某点p＝(x,y)和右灰度图像中在视差值d下的某点pd＝(x-d,y)之间的x方向上和y方向上的梯度代价值；
步骤S24：通过指数融合公式建立融合代价计算公式C(p,d)：
式中，λAD、λcensus、λgx、λgy分别为AD代价值、Census代价值、x方向的梯度代价值和y方向的梯度代价值的常量阈值。
进一步地：所述步骤S3具体包括以下步骤：
步骤S31：采用一维动态规划的方法在三维视差空间中沿某一方向进行代价聚合，视差区间取[0,64]：
式中，Lr(p,d)代表像素点p在视差为d时沿方向r的聚合代价值；r为像素点p的上下左右四个方向；P1和P2分别代表第一惩罚项系数和第二惩罚项系数；p-r代表像素点p沿方向r上的点；i代表使得聚合代价值最低的对应视差值，且i∈[0,64]；
在当前聚合路径上，对于每一个视差d，计算当前左彩色图像像素点x0与其相对应的右彩色图像像素点xcor的梯度差值Diffgrad；若为聚合方向为上下聚合，则使用左彩色图像及右彩色图像在y方向的梯度进行计算；若聚合方向为左右聚合，则使用x方向的梯度进行计算，同时计算当前左彩色图像像素点x0与右彩色图像像素点xcor与各自聚合方向上前一个像素点的左颜色差值
和右颜色差值
利用颜色阈值和梯度阈值对像素点进行分类，根据所处区域自动调整第一惩罚项系数P1和第二惩罚项系数P2的大小。
进一步地：所述步骤S5具体包括以下步骤：
步骤S51：对步骤S4获得的初始左视差图采用视差唯一性检测方法，将错误视差值置为无效视差值：
式中，C(p,d1)和C(p,d0)分别代表像素点p的次最小代价值和最小代价值；Tuniqueness代表常数阈值；
步骤S52：采用二次曲线插值方法求取子像素精度：
式中，d(p)代表左图像素点p对应的视差值；C(p,d+1)和C(p,d-1)分别代表左图像素点p在视差等级d+1和d-1时经过代价聚合后的匹配代价值；C(p,d)代表左图像素点p＝(x,y)在视差为d时的匹配代价值；
步骤S53：采用左右一致性检测方法检测视差值：
|dL(x,y)-dR[x-dL(x,y),y]|≤T0，
式中，dL和dR代表左彩色图像和右彩色图像对应视差图；T0为常数阈值；通过左右一致性被检测出来的错误像素点会被分为两类：遮挡区像素点和误匹配区像素点；遮挡区像素点指的是指左图像素点在右图中无对应像素点；误匹配区像素点是指左图像素点在右图中有对应像素点，但是其视差值计算错误；
步骤S54：采用移除异常连通区域方法检测视差值；对某一像素点进行8邻域的广度优先遍历，将视差值小于等于1的像素点标记为同一连通区域，直至所有像素点都检测过；最后将区域像素面积小于面积阈值Tarea的连通区域的视差值置为无效视差；
步骤S54：采用大小为3×3的中值滤波和引导图滤波对视差图进行平滑，得到最终的视差图。
与现有技术相比，本发明具有以下有益效果：
本发明公开了一种基于融合代价和自适应惩罚项系数的半全局立体匹配方法，能够适应复杂和光照变换剧烈的场景，即使在低纹理和特征的图像上，依然能够做到精确匹配；采用双目图像的x方向和y方向梯度信息，并与AD代价、Census变换结合形成融合代价计算公式，克服单一代价的缺点，取得更好的视差图；采用自适应的惩罚项系数能够降低由固定惩罚项系数带来的视差错误率，提高算法在视差不连续区域的精度；采用一系列视差后处理方法，使得视差图更加平滑，提高视差图整体精度。本发明在Middlebury平台的Cones、Teddy和Tsukuba图像上进行了测试，对不同的图像都具有很好的鲁棒性，相比传统半全局立体匹配算法，所有区域平均误差降低13.3％～34.5％；不连续区域平均误差降低20.3％～36.2％；非遮挡区域平均误差降低13.8％～51％。
附图说明
图1为本发明优选实施例的流程框图；
图2为本发明优选实施例所述标准数据集中的标准视差图；
图3为本发明优选实施例的经过代价计算处理后得到的视差图；
图4为本发明优选实施例的经过代价聚合处理后得到的视差图；
图5为本发明优选实施例的经过本实例案例算法处理得到的视差图；
图6为本发明优选实施例的算法误差结果比较图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示，本实施例提供一种基于融合代价和自适应惩罚项系数的半全局立体匹配方法，在Census变换的优势上，结合其他代价值形成融合代价计算方式；采用颜色和梯度建立像素点分类机制，根据像素点所处位置自适应的调整惩罚项系数的大小；利用视差检测手段对视差图进行错误检测，并且采用视差填充方法以及滤波手段对视差值进一步处理，获取更高精度的视差图，包括以下步骤：
步骤S1：由位于左边的左相机及位于右边的右相机组成双目相机，通过左相机获得左彩色图像，通过右相机获得右彩色图像；
步骤S2：对左彩色图像的每一个像素点计算其Census代价值、AD代价值、x方向的梯度代价值和y方向的梯度代价值，最后采用指数融合公式将所述的Census代价值、AD代价值、x方向的梯度代价值和y方向的梯度代价值组合，形成以图像长度为x轴、图像宽度为y轴和视差范围为z轴的三维视差空间；
步骤S3：在视差范围内，用像素点的四个方向的一维动态规划结果作为二维全局能量函数的最优解，在所述三维视差空间中分别进行聚合，其中，根据像素点所处位置的颜色差值和梯度差值选择对应的惩罚项系数；
步骤S4：在所述三维视差空间中，采用赢者通吃算法WTA，对于每个像素点，选择其最小匹配代价对应的视差值作为该像素点的视差值，将得到的视差值组合形成初始左视差图；
步骤S5：采用左右一致性检测、视差唯一性检测和移除异常连通区域对所述初始左视差图进行错误视差检测，还采用二次曲线插值、视差填充、中值滤波以及引导图滤波对初始左视差图进行平滑，得到最终视差图。标准视差图如图2所示。
在本实施例中，所述步骤S2具体包括以下步骤：
步骤S21：对于左彩色图像的每一个像素点，在R、G、B三个彩色图像通道下计算其AD代价值，公式为：
式中，CAD(p,d)代表左彩色图像上的点p＝(x,y)在视差为d时的AD代价值；
代表左彩色图像第i个通道上的点p＝(x,y)；
代表右彩色图像第i个通道上在视差为d时的点pd＝(x-d,y)；
步骤S22：计算左彩色图像及右彩色图形分别对应的左灰度图像及右灰度图像，接着在左灰度图像及右灰度图像上以每个像素点为中心，建立大小为5×5的Census变换窗口，并通过窗口内像素灰度均值代替中心像素点灰度值作为阈值，采用汉明距离计算Census代价值
式中，
和
分别代表左灰度图像中点p＝(x,y)的Census变换二进制编码和右灰度图像中视差为d时点pd＝(x-d,y)的Census变换二进制编码；
步骤S23：由所述左灰度图像及右灰度图像计算每个像素点的x方向和y方向的梯度，并且由梯度可以得到每个像素点在视差为d时x方向和y方向的梯度代价值：
式中，IL和IR分别指左灰度图像和右灰度图像；▽gx表示当前像素点在x方向上的灰度值导数，▽gy表示当前像素点在y方向上的灰度值导数；Gray(p,x-1)代表当前像素点在x方向上的左边像素点的灰度值；Gray(p,x+1)代表当前像素点在x方向上的右边像素点的灰度值；Gray(p,y-1)代表当前像素点在y方向上的上边像素点的灰度值；Gray(p,y+1)代表当前像素点在y方向上的下边像素点的灰度值；Cgx(p,d)和Cgy(p,d)分别表示左灰度图像中某点p＝(x,y)和右灰度图像中在视差值d下的某点pd＝(x-d,y)之间的x方向上和y方向上的梯度代价值；
步骤S24：通过指数融合公式建立融合代价计算公式C(p,d)：
式中，λAD、λcensus、λgx、λgy分别为AD代价值、Census代价值、x方向的梯度代价值和y方向的梯度代价值的常量阈值(在本实例中分别为5、3、1和1)，经过步骤S2得到的视差图如图3所示。
在本实施例中，所述步骤S3具体包括以下步骤：
步骤S31：采用一维动态规划的方法在三维视差空间中沿某一方向进行代价聚合，视差区间取[0,64]：
式中，Lr(p,d)代表像素点p在视差为d时沿方向r的聚合代价值；r为像素点p的上下左右四个方向；P1和P2分别代表第一惩罚项系数和第二惩罚项系数；p-r代表像素点p沿方向r上的点；i代表使得聚合代价值最低的对应视差值，且i∈[0,64]；
在当前聚合路径上，对于每一个视差d，计算当前左彩色图像像素点x0与其相对应的右彩色图像像素点xcor的梯度差值Diffgrad；若为聚合方向为上下聚合，则使用左彩色图像及右彩色图像在y方向的梯度进行计算；若聚合方向为左右聚合，则使用x方向的梯度进行计算)，同时计算当前左彩色图像像素点x0与右彩色图像xcor与各自聚合方向上前一个像素点的左颜色差值
和右颜色差值
利用颜色阈值Color-T(在本实例中为32)和梯度阈值Gray-T(在本实例中为3.9)对像素点进行分类，根据所处区域自动调整第一惩罚项系数P1和第二惩罚项系数P2的初始大小(在本实例中为5.1和11)，具体分类规则如表1所示。经过步骤S3得到的视差图如图4所示。
表1像素点分类规则
在本实施例中，所述步骤S5具体包括以下步骤：
步骤S51：对步骤S4获得的初始视差图采用视差唯一性检测方法，将错误视差值置为无效视差值：
式中，C(p,d1)和C(p,d0)分别代表像素点p的次最小代价值和最小代价值；Tuniqueness代表常数阈值(在本实例中为0.9)；
步骤S52：采用二次曲线插值方法求取子像素精度：
式中，d(p)代表左图像素点p对应的视差值；C(p,d+1)和C(p,d-1)分别代表左图像素点p在视差等级d+1和d-1时经过代价聚合后的匹配代价值；C(p,d)代表左图像素点p＝(x,y)在视差为d时的匹配代价值；
步骤S53：采用左右一致性检测方法检测视差值：
|dL(x,y)-dR[x-dL(x,y),y]|≤T0，
式中，dL和dR代表左彩色图像和右彩色图像对应视差图；T0为常数阈值(本实例中为1)。通过左右一致性被检测出来的错误像素点会被分为两类：遮挡区像素点和误匹配区像素点。遮挡区像素点指的是指左图像素点在右图中无对应像素点；误匹配区像素点是指左图像素点在右图中有对应像素点，但是其视差值计算错误；
步骤S54：采用移除异常连通区域方法检测视差值。对某一像素点进行8邻域的广度优先遍历，将视差值小于等于1的像素点标记为同一连通区域，直至所有像素点都检测过；最后将区域像素面积小于面积阈值Tarea(本实例为26)的连通区域的视差值置为无效视差；
步骤S53：采用基于8方向的视差填充方法对无效视差进行填充dfill，在由于遮挡产生的错误中，选择8方向中的次最小视差值dseclow进行填充；而在由于误匹配产生的错误中，选择8方向中的视差中值dmedian进行填充：
式中，dfill代表填充的视差值；Noccluded和Nmismatched分别代表遮挡错误点集和误匹配错误点集；
步骤S54：采用大小为3×3的中值滤波和引导图滤波对视差图进行平滑，得到最终的视差图，如图5所示。
实施例1，如图6所示，采用Middlebury平台的Cones、Teddy和Tsukuba图像作为测试图像，分别利用SGM算法和本发明的改进方法进行视差图计算，可以看出，本发明改进的半全局立体匹配方法相比于SGM算法在视差图精度上有较大提升，不单单在色彩复杂、光照较高的Cones以及Teddy图像上取得较低的平均误差，而且在色彩较为单一、亮度不高的Tsukuba图像同样取得较低的平均误差。实验结果表明，无论是所有区域、视差不连续区域或者非遮挡区域的平均误差，本发明方法都能够优于传统SGM算法，在所有区域平均误差降低13.3％～34.5％；不连续区域平均误差降低20.3％～36.2％；非遮挡区域平均误差降低13.8％～51％。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。
Claims (4)
1.基于融合代价和自适应惩罚项系数的半全局立体匹配方法，其特征在于：包括以下步骤：
步骤S1：由位于左边的左相机及位于右边的右相机组成双目相机，通过左相机获得左彩色图像，通过右相机获得右彩色图像；
步骤S2：对左彩色图像的每一个像素点计算其Census代价值、AD代价值、x方向的梯度代价值和y方向的梯度代价值，最后采用指数融合公式将所述的Census代价值、AD代价值、x方向的梯度代价值和y方向的梯度代价值组合，形成以图像长度为x轴、图像宽度为y轴和视差范围为z轴的三维视差空间；
步骤S3：在视差范围内，用像素点的四个方向的一维动态规划结果作为二维全局能量函数的最优解，在所述三维视差空间中分别进行聚合，其中，根据像素点所处位置的颜色差值和梯度差值选择对应的惩罚项系数；
步骤S4：在所述三维视差空间中，采用赢者通吃算法WTA，对于每个像素点，选择其最小匹配代价对应的视差值作为该像素点的视差值，将得到的视差值组合形成初始左视差图；
步骤S5：采用左右一致性检测、视差唯一性检测和移除异常连通区域对所述初始左视差图进行错误视差检测，还采用二次曲线插值、视差填充、中值滤波以及引导图滤波对初始左视差图进行平滑，得到最终视差图。
2.根据权利要求1所述的基于融合代价和自适应惩罚项系数的半全局立体匹配方法，其特征在于：所述步骤S2具体包括以下步骤：
步骤S21：对于左彩色图像的每一个像素点，在R、G、B三个彩色图像通道下计算其AD代价值，公式为：
式中，CAD(p,d)代表左彩色图像上的点p＝(x,y)在视差为d时的AD代价值；
代表左彩色图像第i个通道上的点p＝(x,y)；
代表右彩色图像第i个通道上在视差为d时的点pd＝(x-d,y)；
步骤S22：计算左彩色图像及右彩色图像分别对应的左灰度图像及右灰度图像，接着在左灰度图像及右灰度图像上以每个像素点为中心，建立大小为5×5的Census变换窗口，并通过窗口内像素灰度均值代替中心像素点灰度值作为阈值，采用汉明距离计算Census代价值
式中，
和
分别代表左灰度图像中点p＝(x,y)的Census变换二进制编码和右灰度图像中视差为d时点pd＝(x-d,y)的Census变换二进制编码；
步骤S23：由所述左灰度图像及右灰度图像计算每个像素点的x方向和y方向的梯度，并且由梯度可以得到每个像素点在视差为d时x方向和y方向的梯度代价值：
式中，IL和IR分别指左灰度图像和右灰度图像；
表示当前像素点在x方向上的灰度值导数，
表示当前像素点在y方向上的灰度值导数；Gray(p,x-1)代表当前像素点在x方向上的左边像素点的灰度值；Gray(p,x+1)代表当前像素点在x方向上的右边像素点的灰度值；Gray(p,y-1)代表当前像素点在y方向上的上边像素点的灰度值；Gray(p,y+1)代表当前像素点在y方向上的下边像素点的灰度值；Cgx(p,d)和Cgy(p,d)分别表示左灰度图像中某点p＝(x,y)和右灰度图像中在视差值d下的某点pd＝(x-d,y)之间的x方向上和y方向上的梯度代价值；
步骤S24：通过指数融合公式建立融合代价计算公式C(p,d)：
式中，λAD、λcensus、λgx、λgy分别为AD代价值、Census代价值、x方向的梯度代价值和y方向的梯度代价值的常量阈值。
3.根据权利要求1所述的基于融合代价和自适应惩罚项系数的半全局立体匹配方法，其特征在于：所述步骤S3具体包括以下步骤：
步骤S31：采用一维动态规划的方法在三维视差空间中沿某一方向进行代价聚合，视差区间取[0,64]：
式中，Lr(p,d)代表像素点p在视差为d时沿方向r的聚合代价值；r为像素点p的上下左右四个方向；P1和P2分别代表第一惩罚项系数和第二惩罚项系数；p-r代表像素点p沿方向r上的点；i代表使得聚合代价值最低的对应视差值，且i∈[0,64]；
在当前聚合路径上，对于每一个视差d，计算当前左彩色图像像素点x0与其相对应的右彩色图像像素点xcor的梯度差值Diffgrad；若为聚合方向为上下聚合，则使用左彩色图像及右彩色图像在y方向的梯度进行计算；若聚合方向为左右聚合，则使用x方向的梯度进行计算，同时计算当前左彩色图像像素点x0与右彩色图像像素点xcor与各自聚合方向上前一个像素点的左颜色差值
和右颜色差值
利用颜色阈值和梯度阈值对像素点进行分类，根据所处区域自动调整第一惩罚项系数P1和第二惩罚项系数P2的大小。
4.根据权利要求1所述的基于融合代价和自适应惩罚项系数的半全局立体匹配方法，其特征在于：所述步骤S5具体包括以下步骤：
步骤S51：对步骤S4获得的初始左视差图采用视差唯一性检测方法，将错误视差值置为无效视差值：
式中，C(p,d1)和C(p,d0)分别代表像素点p的次最小代价值和最小代价值；Tuniqueness代表常数阈值；
步骤S52：采用二次曲线插值方法求取子像素精度：
式中，d(p)代表左图像素点p对应的视差值；C(p,d+1)和C(p,d-1)分别代表左图像素点p在视差等级d+1和d-1时经过代价聚合后的匹配代价值；C(p,d)代表左图像素点p＝(x,y)在视差为d时的匹配代价值；
步骤S53：采用左右一致性检测方法检测视差值：
|dL(x,y)-dR[x-dL(x,y),y]|≤T0，
式中，dL和dR代表左彩色图像和右彩色图像对应视差图；T0为常数阈值；通过左右一致性被检测出来的错误像素点会被分为两类：遮挡区像素点和误匹配区像素点；遮挡区像素点指的是指左图像素点在右图中无对应像素点；误匹配区像素点是指左图像素点在右图中有对应像素点，但是其视差值计算错误；
步骤S54：采用移除异常连通区域方法检测视差值；对某一像素点进行8邻域的广度优先遍历，将视差值小于等于1的像素点标记为同一连通区域，直至所有像素点都检测过；最后将区域像素面积小于面积阈值Tarea的连通区域的视差值置为无效视差；
步骤S54：采用大小为3×3的中值滤波和引导图滤波对视差图进行平滑，得到最终的视差图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111549115.2A CN114187208A (zh) | 2021-12-17 | 2021-12-17 | 基于融合代价和自适应惩罚项系数的半全局立体匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111549115.2A CN114187208A (zh) | 2021-12-17 | 2021-12-17 | 基于融合代价和自适应惩罚项系数的半全局立体匹配方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114187208A true CN114187208A (zh) | 2022-03-15 |
Family
ID=80544266
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111549115.2A Pending CN114187208A (zh) | 2021-12-17 | 2021-12-17 | 基于融合代价和自适应惩罚项系数的半全局立体匹配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114187208A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114638875A (zh) * | 2022-05-23 | 2022-06-17 | 武汉依迅北斗时空技术股份有限公司 | 基于区域均匀度的立体匹配优化方法、装置、设备及介质 |
| CN115063619A (zh) * | 2022-08-18 | 2022-09-16 | 北京中科慧眼科技有限公司 | 基于双目立体匹配算法的代价聚合方法和系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106355570A (zh) * | 2016-10-21 | 2017-01-25 | 昆明理工大学 | 一种结合深度特征的双目立体视觉匹配方法 |
| CN106504276A (zh) * | 2016-10-25 | 2017-03-15 | 桂林电子科技大学 | 非局部立体匹配算法的组合匹配代价算法和视差联合填充算法 |
| CN111681275A (zh) * | 2020-06-16 | 2020-09-18 | 南京莱斯电子设备有限公司 | 一种双特征融合的半全局立体匹配方法 |
| CN113763269A (zh) * | 2021-08-30 | 2021-12-07 | 上海工程技术大学 | 一种用于双目图像的立体匹配方法 |
-
2021
- 2021-12-17 CN CN202111549115.2A patent/CN114187208A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106355570A (zh) * | 2016-10-21 | 2017-01-25 | 昆明理工大学 | 一种结合深度特征的双目立体视觉匹配方法 |
| CN106504276A (zh) * | 2016-10-25 | 2017-03-15 | 桂林电子科技大学 | 非局部立体匹配算法的组合匹配代价算法和视差联合填充算法 |
| CN111681275A (zh) * | 2020-06-16 | 2020-09-18 | 南京莱斯电子设备有限公司 | 一种双特征融合的半全局立体匹配方法 |
| CN113763269A (zh) * | 2021-08-30 | 2021-12-07 | 上海工程技术大学 | 一种用于双目图像的立体匹配方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114638875A (zh) * | 2022-05-23 | 2022-06-17 | 武汉依迅北斗时空技术股份有限公司 | 基于区域均匀度的立体匹配优化方法、装置、设备及介质 |
| CN115063619A (zh) * | 2022-08-18 | 2022-09-16 | 北京中科慧眼科技有限公司 | 基于双目立体匹配算法的代价聚合方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108682026B (zh) | 一种基于多匹配基元融合的双目视觉立体匹配方法 | |
| US10909707B2 (en) | System and methods for measuring depth using an array of independently controllable cameras | |
| CN108596975B (zh) | 一种针对弱纹理区域的立体匹配算法 | |
| CN114187208A (zh) | 基于融合代价和自适应惩罚项系数的半全局立体匹配方法 | |
| CN113177565B (zh) | 一种基于深度学习的双目视觉位置测量系统及方法 | |
| CN110853151A (zh) | 一种基于视频的三维立体点集恢复方法 | |
| CN110706269B (zh) | 一种基于双目视觉slam的动态场景密集建模方法 | |
| CN108460792B (zh) | 一种基于图像分割的高效聚焦立体匹配方法 | |
| CN106530336B (zh) | 基于色彩信息和图割理论的立体匹配方法 | |
| CN114332214A (zh) | 物体姿态估计方法、装置、电子设备及存储介质 | |
| CN104331890B (zh) | 一种全局视差估计方法和系统 | |
| CN115601406A (zh) | 基于融合代价计算和加权引导滤波的局部立体匹配方法 | |
| CN111914913A (zh) | 一种新型立体匹配优化方法 | |
| CN104038752B (zh) | 基于三维高斯混合模型的多视点视频直方图颜色校正 | |
| CN113705796B (zh) | 基于epi特征强化的光场深度获取卷积神经网络 | |
| CN108742495A (zh) | 一种用于医疗领域的三维立体腹腔镜系统及立体匹配方法 | |
| CN112270701B (zh) | 基于分组距离网络的视差预测方法、系统及存储介质 | |
| CN114998532B (zh) | 一种基于数字图像重建的三维影像视觉传达优化方法 | |
| CN104408710B (zh) | 一种全局视差估计方法和系统 | |
| CN110827338B (zh) | 一种分区域自适应匹配的光场数据深度重建方法 | |
| CN112200852B (zh) | 一种时空混合调制的立体匹配方法及系统 | |
| CN107610070A (zh) | 基于三摄像采集的自由立体匹配方法 | |
| Xie et al. | A novel disparity refinement method based on semi-global matching algorithm | |
| CN118015059A (zh) | 一种改进Census变换的抗噪立体匹配方法及系统 | |
| CN109801324B (zh) | 一种对光强不敏感的斜面近邻传播立体匹配方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |