CN112330725A - 一种基于分组渐近的双目视差获取方法和系统 - Google Patents
一种基于分组渐近的双目视差获取方法和系统 Download PDFInfo
- Publication number
- CN112330725A CN112330725A CN202011152472.0A CN202011152472A CN112330725A CN 112330725 A CN112330725 A CN 112330725A CN 202011152472 A CN202011152472 A CN 202011152472A CN 112330725 A CN112330725 A CN 112330725A
- Authority
- CN
- China
- Prior art keywords
- map
- gradient
- cost
- disparity
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 230000002596 correlated effect Effects 0.000 claims abstract description 22
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 238000010219 correlation analysis Methods 0.000 claims abstract description 8
- 230000000875 corresponding effect Effects 0.000 claims description 26
- 230000002776 aggregation Effects 0.000 claims description 25
- 238000004220 aggregation Methods 0.000 claims description 25
- 238000005314 correlation function Methods 0.000 claims description 23
- 238000006116 polymerization reaction Methods 0.000 claims description 19
- 239000002131 composite material Substances 0.000 claims description 14
- 238000010586 diagram Methods 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 8
- 230000010354 integration Effects 0.000 claims description 6
- 230000000630 rising effect Effects 0.000 claims description 5
- 238000013329 compounding Methods 0.000 claims description 4
- 241001270131 Agaricus moelleri Species 0.000 claims 1
- 238000009825 accumulation Methods 0.000 description 3
- 230000004069 differentiation Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于分组渐近的双目视差获取方法和系统，所述方法包括：根据目标基图的特征，每行分组获得组别和分组图；分别根据左图和右图获取左梯度图和右梯度图；将左梯度图和右梯度图进行一维相关分析，并获得最强相关错位；将最强相关错位依次与组别进行匹配，同时将匹配到的组别特征从分组图中移除；将最强相关错位标记为所匹配组别的初始视差，获得初始视差图；以初始视差图为参考，基于全局匹配的方法，进行相对视差匹配，获取优化视差图。基于特征信息较强的区域进行匹配，便于高效快速进行识别和匹配；基于初始视差图为基准，使全局匹配的扫描范围小得多，利于提高运算交率，提高视差的准确性，最终获得精细准确的优化视差图。
Description
技术领域
本发明涉及计算视角技术领域，具体涉及一种基于分组渐近的双目视差获取方法和系统。
背景技术
双目视觉匹配是一种从一对不同角度拍摄的图片进行运算，从而恢复空间深度信息的机器技术。此技术近年受到广泛关注，成为自动驾驶、机器人视觉、虚拟/增强现实，工业自动化测量等许多智能化技术的基础之一。目前广泛应用的算法有：交互像素点差异(BT)代价算法和准全局聚合代价匹配(SGM，Semiglobal Matching)算法。BT代价算法为常用的局部算法(S.Birchfield and C.Tomasi,“Depth Discontinuities by Pixel-toPixel Stereo,”Proc.Sixth IEEE Int’l Conf.Computer Vision,pp.1073-1080,Jan.1998.)，SGM全局算法以BT代价为基础进行多方向聚合(Heiko Hirschmüller,“StereoProcessing by Semiglobal Matching and Mutual Information”,IEEE TRANSACTIONSON PATTERN ANALYSIS AND MACHINE INTELLIGENCE,VOL.30,NO.2,FEBRUARY 2008)。在另一篇文献中(D.Scharstein and R.Szeliski,“A Taxonomy and Evaluation of DenseTwo-Frame Stereo Correspondence Algorithms,”Int’l J.Computer Vision,vol.47,nos.1/2/3,pp.7-42,Apr.-June2002.)，对现有的双目视觉匹配算法进行了分类和比较。
全局聚合代价匹配精度较高，但消耗巨大的计算资源和内存资源，能达到的帧率十分有限；而局部匹配速度较快，但其准确度低，会产生局部匹配错误，或局部找不到优化匹配视差值，从而在匹配特征不明显的区域产生大量离散分布的错误匹配区域。
发明内容
针对现有技术中存在上述技术问题，本发明提供一种的基于分组渐近的双目视差获取方法和系统，视差匹配的速度快、精度高。
本发明公开了一种基于分组渐近的双目视差获取方法，所述方法包括：根据目标基图的特征，每行进行分组，获得组别和分组图，所述目标基图包括左图或右图；分别根据左图和右图获取左梯度图和右梯度图；将左梯度图和右梯度图的曲线信息进行一维相关分析，获得相关函数，并根据相关函数的最大值获取最强相关错位及其值；将所述最强相关错位依次与所述组别进行匹配，同时将匹配到的组别特征从分组图中移除；将最强相关错位的值标记为所匹配组别的初始视差，获得初始视差图；以所述初始视差图为参考，基于全局匹配的方法，对左图和右图进行相对视差匹配，获取优化视差图。
优选的，所述特征包括灰度，所述分组的方法包括：获取目标基图每行的灰度值；根据所述灰度值的峰谷信息和/或累积信息，对每行的点进行分组。
优选的，对每行的点进行分组的方法包括：获取峰值或谷值，基于峰值或谷值设置分组的分界；逐点获取上升沿或下降沿的累积灰度值，累积灰度值大于第一阈值时，将当前点作为分组的分界。
优选的，所述目标基图包括左图，获取初始视差图方法包括：将左图和右图在Y方向上对齐后，获取左梯度图和右梯度图；分别对左梯度图和右梯度图在X方向进行傅里叶分析，获得左频谱图和右频谱图；将左频谱图和右频谱图的原点对齐后，将左频谱图和右频谱图中相应点进行相乘，获得复合频谱图；根据所述复合频谱图进行X方向的反向傅里叶变换获得相关函数；根据相关函数的最大值获得最强相关错位，将所述最大值标记为初始视差；为所述最强相关错位匹配组别，获得初始视差图；将所述初始视差标记为对应组别的初始视差。
优选的，将所述最强相关错位与所述组别进行匹配的方法包括：
根据左梯度图获取左梯度模量积分：
其中，fl为左梯度模量积分，Ng为组点数，|sbl|为左梯度模量，+＝为多通道的值相累加；
根据右梯度图获取右梯度模量积分：
其中，fr为右梯度模量积分，|sbr[nΔ]|为右梯度模量，nΔ为右图错位点数；根据左图和右图分别获得灰度差积分和灰度积分差：
其中，df2[nΔ]为灰度差积分，df3[nΔ]为灰度积分差，l为左图灰度，r为右图灰度；
计算组别的相对错位积分代价：
其中，cost[nΔ]为相对错位积分代价；
获得[nΔ]个错位积分代价，取极小值；
判断极小值小于阈值时，极小值对应的错位点与组别匹配成功；
修正初始视差为初始视差与极小值之和。
优选的，将所述最强相关错位与所述组别进行匹配的方法包括：基于左梯度图和右梯度图，获取当前组别与当前最强相关错位一定范围内的第一积分BT代价；基于左图和右图，获取所述组别与最强相关错位一定范围内的第二积分BT代价；第二积分BT代价取梯度模量后与第一积分BT代价加权复合，获得错位代价；错位代价中的极小值小于阈值时，所述组别与所述最强相关错位匹配成功；修正初始视差为初始视差与极小值之和。
优选的，对左图和右图进行相对视差匹配的方法包括：以初始视差为参考，为右图设定搜索范围；在右图的搜索范围内搜索到与左图点的最优匹配，获得相对视差；根据相对视差和初始视差获得优化视差。
优选的，在右图搜索与左图点最优匹配的方法包括：分别计算左图和右图的三通道BT代价，并按通道累加获得组合单通道BT代价；将组合单通道BT代价在X方向求梯度后取模量，获得单通道BT代价梯度模量；分别计算左图和右图三通道每行X方向的梯度并取模量，获得三通道左梯度图和三通道右梯度图；根据三通道左梯度图和三通道右梯度图，按通道分别计算BT代价，获得三通道组合BT；将三通道组合BT按通道累加后，获得单通道梯度BT代价；将单通道BT代价梯度模量和单通道梯度BT代价加权和，获得复合BT代价；以所述复合BT代价为基础，在右图的视差搜索范围内进行多方向SGM全局代价聚合；在右图视差范围内匹配到最小聚合代价，其对应的点为最优匹配，获得相对视差。
优选的，SGM全局代价聚合的计算公式包括：
L(p,de(p)+d)＝C(p,de(p)+d)+min(T(p-r,de(p-r)+d),T(p-r,de(p)+d-1)+P1，T(p-r,de(p)+d+1)+P1，mini((T(p-r,i))+P2)
(7)
其中，L为聚合方向上的聚合代价，C(p,de(p)+d)为当前点p的代价，p指当前点，de(p)是p点的初始视差，d指相对视差，T(p-r,de(p-r)+d)为聚合方向上前一点在其绝对视差下的代价，p-r指聚合方向上p点的前一点，T(p-r,de(p)+d-1)为聚合方向上前一点在当前点绝对视差-1的代价，T(p-r,de(p)+d+1)为聚合方向上前一点在当前点绝对视差+1的代价，mini((T(p-r,i))为前一点在相对搜寻范围内在聚合方向上的视差最小值,P1和P2为动态规划参数。
本发明还提供一种用于实现上述方法的双目视差获取系统，包括分组模块、梯度模块、最强相关错位分析模块、初始视差匹配模块和优化视差匹配模块，所述分组模块用于根据目标基图的特征，每行进行分组，获得组别和分组图，所述目标基图包括左图或右图；所述梯度模块用于分别根据左图和右图获取左梯度图和右梯度图；所述最强相关错位分析模块用于将左梯度图和右梯度图的曲线信息进行一维相关分析，获取相关函数，并根据相关函数的最大值获取最强相关错位及其值；所述初始视差匹配模块用于将所述最强相关错位依次与所述组别进行匹配，同时将匹配到的组别特征从分组图中移除，并将最强相关错位的值标记为所匹配组别的初始视差，获得初始视差图；所述优化视差匹配模块用于以所述初始视差图为参考，基于全局匹配的方法，对左图和右图进行相对视差匹配，获取优化视差图。
与现有技术相比，本发明的有益效果为：
基于特征信息较强的区域进行匹配，便于高效快速进行识别和匹配；基于初始视差图为基准，使全局匹配的扫描范围小得多，利于提高运算效率，提高视差的准确性，最终获得精细准确的优化视差图。同时优化视差与双目深度具有固定的关系，可以根据显微镜光路原理计算相应公式，并恢复准确的双目深度。
附图说明
图1是本发明的基于分组渐近的双目视差获取方法流程图；
图2是独立分组的方法流程图；
图3是第一分组方法流程图；
图4是第二分组方法流程图；
图5是第三分组方法流程图；
图6是获取初始视差图方法的方法流程图；
图7是根据相对错位积分代价进行组别匹配的方法流程图；
图8是通过BT代价进行组别匹配的方法流程图；
图9是相对视差匹配的方法流程图；
图10是基于BT代价和SGM全局代价聚合的方法在右图搜索到与左图点最优匹配的方法流程图；
图11是多方向SGM全局代价聚合的方向示意图；
图12是本发明的双目视差获取系统逻辑框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
为方便本发明的说明，现对本发明中的内容进行定义：错位点，指在强特征匹配下，被视为具有强特征的像素点；模量是指绝对值，以消除正负值之间累加时的相互抵消；X方向是指图像行坐标方向，Y方向是指图像列坐标的方向；图像在Y方向对准的情况下，即空间物体上的同一点，在左右图像中的像素坐标的Y方向一致，而X坐标根据深度的不同而差异，差异值叫视差，目标点在空间的深度与视差具有对应关系，可以通过三角原理进行计算，因此本发明的双目视差获得方法，也可以应用于深度的获得。本说明书中采用“全视差范围”代表预先设定的需要搜寻的可能视差范围。
下面结合附图对本发明做进一步的详细描述：
一种基于分组渐近的双目视差获取方法，如图1所示，所述方法包括：
步骤101：根据目标基图的特征，每行进行分组，获得组别和分组图，所述目标基图包括左图或右图。
双目图包括左图和右图，为了便于描述和计算，本发明将左图设为目标基图，右图设为匹配图，进行匹配，便不限于此。其中，特征可以包括灰度、角点、线段、轮廓或边缘，优先灰度及其衍生特征，如梯度模量信息、灰度差信息或灰度积分。目标基图中特征每行具有一定的波动性，形成一定的峰和谷，可以以峰或谷为分界进行分组，每个组别具有相关性。
步骤102：分别根据左图和右图获取左梯度图和右梯度图。
左图每行进行X方向微分，产生左梯度图；右图每行进行X方向微分，产生右梯度图。其中，左梯度图和右梯度图的列阵相同。在进行每行微分时，为保持Y方向的平滑度，去除随机噪音，每行的梯度可以通过相邻行梯度的加权和进行运算，如通过Gx滤波核计算得到梯度图。
其中Gx滤波核为：
但不限于此，也可以采用其它滤波核。
步骤103：根据左梯度图和右梯度图的曲线信息进行一维相关分析，获得相关函数，并根据相关函数的最大值获取最强相关错位及其值。其中，最强相关错位反应了每行强特征和相近视差的点群，是所述点群的信号累计，相关函数的最大值作为最强相关错位的值。
其中，一维相关分析是指：左梯度图和右梯度图分别通过傅里叶变换生成左频谱图和右频谱图；左频谱图和右频谱图原点对齐后，将相应点相乘，获得复合频谱图；所述复合频谱图进行反向傅里叶变换，获得相关函数；并根据相关函数的最大值获得最强相关错位。反向傅里叶变换和傅里叶变换为现有技术，不再赘述。
步骤104：将所述最强相关错位依次与所述分组图的组别进行匹配，同时将匹配到的组别特征从分组图中移除。其中，将组别特征从分组图中移除，便于减少分组图中的特征值，便于对下一分组进行匹配，以提高匹配效率；最强相关错位可以与多个组别匹配成功，可以通过BT代价进行匹配，BT代价为现有技术，不再赘述。
步骤105：将最强相关错位的值标记为所匹配组别的初始视差，获得初始视差图。其中，最强相关错位的值作为所述点群的最接近视差的估计，多个点的初始视差构成初始视差图。
步骤106：以所述初始视差图为参考，基于全局匹配的方法，对左图和右图进行相对视差匹配，获取优化视差图。
双目图像的信息量大，最强相关错位反应了左图和右图中较强的特征信息，基于特征信息较强的区域进行匹配，便于高效快速进行识别和匹配；基于初始视差图为基准，使全局匹配的扫描范围小得多，利于提高运算效率，提高视差的准确性，最终获得精细准确的优化视差图。同时优化视差与双目深度具有固定的关系，可以根据显微镜光路原理计算相应公式，并恢复准确的双目深度。本发明不依赖于区域本地特征信号的提高，所以本发明对有或没有结构线或结构图案增强的匹配方案都有改进提高。
实施例1
如图2所示，以灰度作为特征进行说明，本实施例提供分组的方法：
步骤201：获取目标基图每行的灰度值。可以是单通道的灰度值，也可以是多通道灰度值的累加。
步骤202：根据所述灰度值的峰谷信息和/或累积信息，对每行的点进行分组。其中累积信息指：灰度值的上升沿和下降沿的累积值。如，每行的灰度值形成波动曲线，具有峰值和谷值，将峰值或谷值设为分组的分界；同时逐点获取累积灰度值，累积灰度值大于第一阈值时，将当前点作为分组的分界。两个相邻的分界之间形成一个分组。
如图3，第一分组方法包括：
步骤301：设置组别序号ig，组点元数ng，阈值th，累计阈值倍数nh。其中组点元数指组别所含有的点数。
步骤302：逐点读取行的灰度值，获得峰值和谷值。
步骤303：峰值与相临谷值之间的差值大于阈值时，为峰值标记组别序号和组点元数。差值不限于大于阈值，强特征的峰值与次强特征值的峰值均有大于阈值的可能，因此在下一分组中，该组局部最大值与上一组局部最小值差值也可以大于阈值。
步骤304：上升沿或下降沿的累积灰度值大于th和nh的乖积时，标记组别序号ig，并标记组别对应的组点元数。其中，th和nh的乖积作为第一阈值，第一分组方法主要以峰值与谷值的差值作为分组分界的标准，反应灰度波动曲线的坡度，但不限于些，也可以以谷值或峰值作为分组分界。
如图4所示，第二分组方法包括：
步骤401：设置组别序号ig，组点元数ng，阈值th，累计阀值倍数nh。
步骤402：逐点读取行的灰度值，获得峰值和谷值。
步骤403：找到的峰值大于阀值时，标记组别序号ig，并标记组别对应的组点元数。
步骤404：上升沿或下降沿的累积灰度值大于th和nh的乖积时，标记组别序号ig，并标记组别对应的组点元数。其中，以峰值作为分组分界，该分组方法较简单，易于执行。
如图5，第三分组方法包括：
步骤501：设置组别序号ig，组点元数ng，阈值th，累计阀值倍数nh。
步骤502：按行逐点读取左梯度图，取峰值。其中，左梯度图具有多通道信息时，将多通道梯度取模量后合并。
步骤503：所述峰值大于阈值th时，标记组别序号ig，并标记组别对应的组点元数。
步骤504：梯度值取模量后的积累值大于th和nh的乖积时，标记组别序号ig，并标记组别对应的组点元数。即以梯度模量作为分组的主要信息。
实施例2
本实施例提供获取初始视差图的方法。
如图6所示，以左图作为目标基图进行说明，获取初始视差图方法包括：
步骤601：将左图和右图在Y方向上对齐后，获取左梯度图和右梯度图。可以通过按行微分的方式获得左梯度图或右梯度图。
步骤602：分别对左梯度图和右梯度图在X方向进行傅里变换，获得左频谱图和右频谱图。如左梯度图通过傅里叶变换产生左频谱图。
步骤603：将左频谱图和右频谱图的原点对齐后，将左频谱图和右频谱图中相应点相乘，获得复合频谱图。其中原点对齐后，左频谱图和右频谱图的Y轴、原点和X轴对齐，相应点在左频谱图和右频谱图中的坐标值相同，如左频谱图中点p1(x1,y1)，与右频谱图中点p2(x1,y1)为相应点。
步骤604：根据所述复合频谱图进行X方向的反向傅里叶变换，获得相关函数。如，相关函数＝iFFTx(FFTx(左图)×FFTx(右图))，其中，FFTx()是指行方向傅里叶变换，iFFTx()是指行方向的反向傅里叶变换，×是指左频谱图和右频谱图的相应点相乘。
步骤605：根据相关函数的最大值获得最强相关错位，将所述最大值标记为初始视差。将相关函数的最大值对应的点群定义为最强相关错位，并将最强相关错位的最大值值标记为初始视差，其中初始视差为相对数值，反应了强特征点群的相对值。
步骤606：为所述最强相关错位匹配组别，获得初始视差图。
步骤607：将所述初始视差标记为对应组别的初始视差。
实施例3
本实施例提供所述最强相关错位与所述组别进行匹配的方法可以采用分组积分边界匹配的方法。
在一个具体实施例中，如图7所示，采用相对错位积分代价进行组别匹配：
步骤701：根据左梯度图获取左梯度模量积分：
其中，fl为左梯度模量积分，Ng为组点数，|sbl|为左梯度模量，+＝为多通道的值相累加。如图像通常有三通道，则将三通道的左梯度模量积分进行累加，但不限此此，如图中仅有一个通道时，仅计算单通道左梯度模量积分。
步骤702：根据右梯度图获取右梯度模量积分：
其中，fr为右梯度模量积分，|sbr[nΔ]|为右梯度模量，nΔ为右图错位点数，右图错位点数以最强相关错位在右图的对应点群为中心进行选取，如nΔ为3或5。
步骤703：根据左图和右图分别获得灰度差积分和灰度积分差：
其中，df2[nΔ]为灰度差积分，df2[nΔ]为灰度积分差，l为左图灰度，r为右图灰度。
步骤704：根据上述结果，计算组别的相对错位积分代价：
其中，cost[nΔ]为相对错位积分代价。
步骤705：获得[nΔ]个错位积分代价，取极小值。
步骤706：判断极小值小于阈值时，极小值对应的错位点与组别匹配成功。
步骤707：修正初始视差为初始视差与极小值之和。通过极小值对初始视差进行偏移修正。
其中，左梯度模量积分、右梯度模量积分、灰度差积分和灰度积分差从组别的第一点到最后一点的累加。以目标基图的点为目标点，匹配图的点为待匹配的点，将最强相关错位附近的错位点作为待匹配点，逐个与目标点进行匹配，获得最强相关错位和组别的最佳匹配。
在另一个具体实施例中，如图8所示，通过BT代价对所述最强相关错位与所述组别进行匹配：
步骤801：基于左梯度图和右梯度图，获取当前组别与当前最强相关错位±nΔ/2范围内的第一积分BT代价。
步骤802：基于左图和右图获取所述组别以及最强相关错位±nΔ/2范围内的第二积分BT代价。
步骤803：第二积分BT代价取梯度模量后与第一积分BT代价加权复合，获得错位代价。
步骤804：nΔ个错位代价中的极小值小于阈值时，所述组别与极小值对应的错位匹配成功。即当前组别与当前最强相关错位匹配成功，匹配不成功时，将下一组别与当前最强相关错位进行匹配。
步骤805：修正初始视差为初始视差与极小值之和。
实施例4
如图9所示，本实施例提供左图和右图进行相对视差匹配的方法：
步骤901：以初始视差为参考，为右图设定搜索范围。如可以右图的初始视差为中心dp(x,y)，相对搜寻范围为±d/2，则实际搜寻范围为dp(x,y)±d/2。
步骤902：在所述搜索范围内，在右图搜索到与左图点的最优匹配，获得相对视差。通过全局匹配的方法获得最优匹配。
步骤903：根据相对视差和初始视差获得优化视差。全局匹配以相对视差为参差点进行的，因此获得相对视差，将相对视差与初始视差作为优化视差，即得到精确的视差。使视差图更加细致、准确，具有平滑的视差梯度和边界。
在一个具体实施例中，如图10所示，基于BT代价和SGM全局代价聚合的方法在右图搜索与左图点最优匹配：
步骤1001：分别计算左图和右图三通道BT代价，并按通道累加获得组合单通道BT代价。如图中有三通道，通过计算获得三组BT代价，将三组BT代价进行累加，获得组合单通道BT代价。其中BT代价可以是基于左图点和右图搜索范围的计算，以减小计算量。
步骤1002：将组合单通道BT代价在X方向求梯度后取模量，获得单通道BT代价梯度模量。
步骤1003：分别计算左图和右图的三通道每行X方向的梯度并取模量，获得三通道左梯度图和三通道右梯度图。
其中，三通道左梯度图中，每个通道都有一幅左梯度图，相应的三通道右梯度图，每个通道都有一幅右梯度图。可以基于左图点与右图搜索范围进行计算，以减少计算量。
步骤1004：根据三通道左梯度图和三通道右梯度图，按通道分别计算BT代价，获得三通道组合BT代价。
步骤1005：将三通道组合BT代价按通道累加后，获得单通道梯度BT代价。
步骤1006：将单通道BT代价梯度模量和单通道梯度BT代价加权和，获得复合BT代价。加权和是指单通道BT代价梯度模量和单通道梯度BT代价分别设置权重系数后，求合，可以有效避免多通道产生的正负值在累加中被抵消，从而保留了更多的梯度信息。
步骤1007：以所述复合BT代价为基础，基于左图的点，在右图的视差搜索范围内进行多方向SGM全局代价聚合。
步骤1008：在右图视差范围内匹配到最小聚合代价，其对应的点为最优匹配，获得相对视差。相对视差反应了最优匹配与搜索中心的距离。
通过复合BT代价，与单通道梯度BT代价相比，具有更好的视差效果。
其中，步骤1007所述，多方向SGM全局代价聚合可以是4方向或6方向代价聚合，优选8方向，如图11所示，L0-7为不同的聚合方向。多方向SGM全局代价聚合是让当前像素的代价聚合过程受多个方向(或路径)上所有像素的影响，方向越多参与影响当前像素的邻域像素就越多，保证全局像素的约束但又避免全局像素的计算量问题。
以左侧方向(L0方向)聚合为例，各像素参与聚合的方式可以为：
L0＝C(p,d)+min(T0,T1,T2,T3)-δ (6)
其中,C(p,d)为当前代价，T0为像素p在L0方向上视差为d时的代价，T1是L0方向上视差为d-1时的代价+P1，T2是L0方向上视差为d+1时的代价+P1，T3为L0方向上视差不为d-1和d+1时的代价最小值+P2，δ为上一个像素的最小代价和，作用是防止聚合结果过大，P1、P2为动态规划参数，P1为了适应倾斜或弯曲的表面，P2是为了保留不连续性，在一个具体实施例中，在实现量纲平衡之后，P1为0.01，P2为8×P1即得到良好的视差图。
优选的，可以采用以下SGM公式获得聚合代价：
L(p,de(p)+d)＝C(p,de(p)+d)+min(T(p-r,de(p-r)+d),T(p-r,de(p)+d-1)+P1，T(p-r,de(p)+d+1)+P1，mini((T(p-r,i))+P2)
(7)
其中，L为聚合方向上的聚合代价，C(p,de(p)+d)为当前点p的代价，p指当前点，de(p)是p点的初始视差，d指相对视差，T(p-r,de(p-r)+d)为聚合方向上前一点在其绝对视差下的代价，p-r指聚合方向上p点的前一点，T(p-r,de(p)+d-1)为聚合方向上前一点在当前点绝对视差-1的代价，T(p-r,de(p)+d+1)为聚合方向上前一点在当前点绝对视差+1的代价，mini((T(p-r,i))为前一点在相对搜寻范围内在聚合方向视差代价最小值,P1和P2为动态规划参数。
本发明还可以包括平滑初始视差图的方法：
将没有成功匹配的组别对临近组别的初始视差进行平滑填补。可以以平滑的初始视差图为参考值，对进行左图和右图进行相对视差匹配。
本发明还可以包括左图或右图预处理的方法：将左图和右图在Y方向上对齐；根据图像的匹配范围进行裁剪，以减少匹配的计算量。
在一个具体的实施例中，左图点与右图匹配点的真实视差为20，最强相关错位的初始视差为16，最强相关错位和组别匹配中的最小值为1，得到修正的初始视差17，通过相对视差匹配，获得相对视差为2，则最终获得的优化视差为19，其非常接近于真实视差。
如图11所示，本发明还提供一种用于实现上述方法的双目视差获取系统，包括分组模块1、梯度模块2、最强相关错位分析模块3、初始视差匹配模块4和优化视差匹配模块5，
分组模块1用于根据目标基图的特征，每行进行分组，获得组别和分组图，所述目标基图包括左图或右图；
梯度模块2用于分别根据左图和右图获取左梯度图和右梯度图；
最强相关错位分析模块3用于将左梯度图和右梯度图的曲线信息进行一维相关分析，获取相关函数，并根据相关函数的最大值获取最强相关错位及其值；
初始视差匹配模块4用于将所述最强相关错位依次与所述组别进行匹配，同时将匹配到的组别特征从分组图中移除，并将最强相关错位值标记为所匹配组别的初始视差，获得初始视差图；
优化视差匹配模块5用于以所述初始视差图为参考，基于全局匹配的方法，对左图和右图进行相对视差匹配，获取优化视差图。
通常左图或右图的图像具有多个通道，本发明中，可以将多个通道的特征值取模后累加进行计算，也可以多个通道分别进行计算后取模进行累加，不影响本发明的实施。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于分组渐近的双目视差获取方法，其特征在于，所述方法包括：
根据目标基图的特征，每行进行分组，获得组别和分组图，所述目标基图包括左图或右图；
分别根据左图和右图获取左梯度图和右梯度图；
将左梯度图和右梯度图的曲线信息进行一维相关分析，获得相关函数，并根据相关函数的最大值获取最强相关错位及其值；
将所述最强相关错位依次与所述组别进行匹配，同时将匹配到的组别特征从分组图中移除；
将最强相关错位的值标记为所匹配组别的初始视差，获得初始视差图；
以所述初始视差图为参考，基于全局匹配的方法，对左图和右图进行相对视差匹配，获取优化视差图。
2.根据权利要求1所述的双目视差获取方法，其特征在于，所述特征包括灰度，所述分组的方法包括：
获取目标基图每行的灰度值；
根据所述灰度值的峰谷信息和/或累积信息，对每行的点进行分组。
3.根据权利要求2所述的双目视差获取方法，其特征在于，对每行的点进行分组的方法包括：
获取峰值或谷值，基于峰值或谷值设置分组的分界；
逐点获取上升沿或下降沿的累积灰度值，累积灰度值大于第一阈值时，将当前点作为分组的分界。
4.根据权利要求1所述的双目视差获取方法，其特征在于，所述目标基图包括左图，获取初始视差图方法包括：
将左图和右图在Y方向上对齐后，获取左梯度图和右梯度图；
分别对左梯度图和右梯度图在X方向进行傅里叶变换，获得左频谱图和右频谱图；
将左频谱图和右频谱图的原点对齐后，将左频谱图和右频谱图中相应点相乘，获得复合频谱图；
根据所述复合频谱图进行X方向的反向傅里叶变换获得相关函数；
根据相关函数的最大值获得最强相关错位，将所述最大值标记为初始视差；
为所述最强相关错位匹配组别，获得初始视差图；
将所述初始视差标记为对应组别的初始视差。
5.根据权利要求1或4所述的双目视差获取方法，其特征在于，将所述最强相关错位与所述组别进行匹配的方法包括：
根据左梯度图获取左梯度模量积分：
其中，fl为左梯度模量积分，Ng为组点数，|sbl|为左梯度模量，+＝为多通道的值相累加；
根据右梯度图获取右梯度模量积分：
其中，fr为右梯度模量积分，|sbr[nΔ]|为右梯度模量，nΔ为右图错位点数；
根据左图和右图分别获得灰度差积分和灰度积分差：
其中，df2[nΔ]为灰度差积分，df3[nΔ]为灰度积分差，l为左图灰度，r为右图灰度；
计算组别的相对错位积分代价：
其中，cost[nΔ]为相对错位积分代价；
获得[nΔ]个错位积分代价，取极小值；
判断极小值小于阈值时，极小值对应的错位点与组别匹配成功；
修正初始视差为初始视差与极小值之和。
6.根据权利要求1或4所述的双目视差获取方法，其特征在于，将所述最强相关错位与所述组别进行匹配的方法包括：
基于左梯度图和右梯度图，获取当前组别与当前最强相关错位一定范围内的第一积分BT代价；
基于左图和右图，获取所述组别与最强相关错位一定范围内的第二积分BT代价；
第二积分BT代价取梯度模量后与第一积分BT代价加权复合，获得错位代价；
错位代价中的极小值小于阈值时，所述组别与所述最强相关错位匹配成功；
修正初始视差为初始视差与极小值之和。
7.根据权利要求1所述的双目视差获取方法，其特征在于，对左图和右图进行相对视差匹配的方法包括：
以初始视差为参考，为右图设定搜索范围；
在右图的搜索范围内搜索到与左图点的最优匹配，获得相对视差；
根据相对视差和初始视差获得优化视差。
8.根据权利要求7所述的双目视差获取方法，其特征在于，在右图搜索与左图点最优匹配的方法包括：
分别计算左图和右图的三通道BT代价，并按通道累加获得组合单通道BT代价；
将组合单通道BT代价在X方向求梯度后取模量，获得单通道BT代价梯度模量；
分别计算左图和右图三通道每行X方向的梯度并取模量，获得三通道左梯度图和三通道右梯度图；
根据三通道左梯度图和三通道右梯度图，按通道分别计算BT代价，获得三通道组合BT；
将三通道组合BT按通道累加后，获得单通道梯度BT代价；
将单通道BT代价梯度模量和单通道梯度BT代价加权和，获得复合BT代价；
以所述复合BT代价为基础，在右图的视差搜索范围内进行多方向SGM全局代价聚合；
在右图视差范围内匹配到最小聚合代价，其对应的点为最优匹配，获得相对视差。
9.根据权利要求1所述的双目视差获取方法，其特征在于，SGM全局代价聚合的计算公式包括：
L(p,de(p)+d)＝C(p,de(p)+d)+min(T(p-r,de(p-r)+d),
T(p-r,de(p)+d-1)+P1，T(p-r,de(p)+d+1)+P1，mini((T(p-r,i))+P2)
(7)
其中，L为聚合方向上的聚合代价，C(p,de(p)+d)为当前点p的代价，p指当前点，de(p)是p点的初始视差，d指相对视差，T(p-r,de(p-r)+d)为聚合方向上前一点在其绝对视差下的代价，p-r指聚合方向上p点的前一点，T(p-r,de(p)+d-1)为聚合方向上前一点在当前点绝对视差-1的代价，T(p-r,de(p)+d+1)为聚合方向上前一点在当前点绝对视差+1的代价，mini((T(p-r,i))为前一点在相对搜寻范围内在聚合方向上的代价最小值,P1和P2为动态规划参数。
10.一种用于实现权利要求1-9任一项所述方法的双目视差获取系统，其特征在于，包括分组模块、梯度模块、最强相关错位分析模块、初始视差匹配模块和优化视差匹配模块，
所述分组模块用于根据目标基图的特征，每行进行分组，获得组别和分组图，所述目标基图包括左图或右图；
所述梯度模块用于分别根据左图和右图获取左梯度图和右梯度图；
所述最强相关错位分析模块用于将左梯度图和右梯度图的曲线信息进行一维相关分析，获取相关函数，并根据相关函数的最大值获取最强相关错位及其值；
所述初始视差匹配模块用于将所述最强相关错位依次与所述组别进行匹配，同时将匹配到的组别特征从分组图中移除，并将最强相关错位的值标记为所匹配组别的初始视差，获得初始视差图；
所述优化视差匹配模块用于以所述初始视差图为参考，基于全局匹配的方法，对左图和右图进行相对视差匹配，获取优化视差图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011152472.0A CN112330725B (zh) | 2020-10-26 | 2020-10-26 | 一种基于分组渐近的双目视差获取方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011152472.0A CN112330725B (zh) | 2020-10-26 | 2020-10-26 | 一种基于分组渐近的双目视差获取方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112330725A true CN112330725A (zh) | 2021-02-05 |
| CN112330725B CN112330725B (zh) | 2024-04-30 |
Family
ID=74311642
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011152472.0A Active CN112330725B (zh) | 2020-10-26 | 2020-10-26 | 一种基于分组渐近的双目视差获取方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112330725B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103971366A (zh) * | 2014-04-18 | 2014-08-06 | 天津大学 | 一种基于双权重聚合的立体匹配方法 |
| CN104680510A (zh) * | 2013-12-18 | 2015-06-03 | 北京大学深圳研究生院 | Radar视差图优化方法、立体匹配视差图优化方法及系统 |
-
2020
- 2020-10-26 CN CN202011152472.0A patent/CN112330725B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104680510A (zh) * | 2013-12-18 | 2015-06-03 | 北京大学深圳研究生院 | Radar视差图优化方法、立体匹配视差图优化方法及系统 |
| CN103971366A (zh) * | 2014-04-18 | 2014-08-06 | 天津大学 | 一种基于双权重聚合的立体匹配方法 |
Non-Patent Citations (5)
| Title |
|---|
| CHRISTIAN BANZ等: "Real-Time Semi-Global Matching Disparity Estimation on the GPU", 《2011 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOPS》, pages 514 - 521 * |
| HEIKO HIRSCHMULLER: "Stereo Processing by Semiglobal Matching and Mutual Information", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》, pages 328 - 341 * |
| KANG ZHANG等: "Cross-Scale Cost Aggregation for Stereo Matching", 《CVPR》, pages 1 - 8 * |
| STAN BIRCHFIELD等: "Depth Discontinuities by Pixel-to-Pixel Stereo", 《INTERNATIONAL JOURNAL OF COMPUTER VISION》, pages 269 - 293 * |
| 萧红等: "基于改进 Census 变换与梯度融合的立体匹配算法", 《激光与光电子学进展》, pages 1 - 13 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112330725B (zh) | 2024-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110992356B (zh) | 目标对象检测方法、装置和计算机设备 | |
| EP1072014B1 (en) | Face recognition from video images | |
| EP0762326B1 (en) | Object detecting apparatus in which the position of a planar object is estimated by using Hough transform | |
| CN112115953A (zh) | 一种基于rgb-d相机结合平面检测与随机抽样一致算法的优化orb算法 | |
| WO2005017820A1 (en) | Computer-vision system for classification and spatial localization of bounded 3d-objects | |
| Cheng et al. | Building boundary extraction from high resolution imagery and lidar data | |
| WO2012049098A1 (en) | Range image pixel matching method | |
| CN113744315B (zh) | 一种基于双目视觉的半直接视觉里程计 | |
| CN111311651B (zh) | 点云配准方法和装置 | |
| RU2725561C2 (ru) | Способ и устройство обнаружения полос движения | |
| Miksch et al. | Automatic extrinsic camera self-calibration based on homography and epipolar geometry | |
| Liu et al. | Dense stereo correspondence with contrast context histogram, segmentation-based two-pass aggregation and occlusion handling | |
| Lane et al. | Tutorial: Overview of stereo matching research | |
| CN117870659A (zh) | 基于点线特征的视觉惯性组合导航算法 | |
| KR100792172B1 (ko) | 강건한 대응점을 이용한 기본행렬 추정 장치 및 그 방법 | |
| Bober et al. | On accurate and robust estimation of fundamental matrix | |
| Salvi et al. | A survey addressing the fundamental matrix estimation problem | |
| CN112330725B (zh) | 一种基于分组渐近的双目视差获取方法和系统 | |
| EP1580684B1 (en) | Face recognition from video images | |
| CN106056599B (zh) | 一种基于物体深度数据的物体识别算法及装置 | |
| CN112348859A (zh) | 一种渐近全局匹配的双目视差获取方法和系统 | |
| San et al. | Feature based disparity estimation using hill-climbing algorithm | |
| Lee et al. | An improved stereo matching algorithm with robustness to noise based on adaptive support weight | |
| JP2001229388A (ja) | 画像データのマッチング方法 | |
| Antunes et al. | Efficient stereo matching using histogram aggregation with multiple slant hypotheses |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |