CN113052862A - 基于多级优化的室外场景下立体匹配方法、装置、设备 - Google Patents
基于多级优化的室外场景下立体匹配方法、装置、设备 Download PDFInfo
- Publication number
- CN113052862A CN113052862A CN202110390771.6A CN202110390771A CN113052862A CN 113052862 A CN113052862 A CN 113052862A CN 202110390771 A CN202110390771 A CN 202110390771A CN 113052862 A CN113052862 A CN 113052862A
- Authority
- CN
- China
- Prior art keywords
- value
- scene
- cost
- preprocessing
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000005457 optimization Methods 0.000 title claims abstract description 48
- 238000007781 pre-processing Methods 0.000 claims description 51
- 238000004422 calculation algorithm Methods 0.000 claims description 49
- 238000004364 calculation method Methods 0.000 claims description 47
- 238000012545 processing Methods 0.000 claims description 34
- 238000004220 aggregation Methods 0.000 claims description 28
- 230000002776 aggregation Effects 0.000 claims description 27
- 238000003708 edge detection Methods 0.000 claims description 22
- 230000008859 change Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000006116 polymerization reaction Methods 0.000 claims description 6
- 238000007670 refining Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 2
- 238000005286 illumination Methods 0.000 description 18
- 238000002474 experimental method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000012216 screening Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- YMHOBZXQZVXHBM-UHFFFAOYSA-N 2,5-dimethoxy-4-bromophenethylamine Chemical compound COC1=CC(CCN)=C(OC)C=C1Br YMHOBZXQZVXHBM-UHFFFAOYSA-N 0.000 description 1
- 241000545067 Venus Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于多级优化的室外场景下立体匹配方法、装置、设备，该方法对左右场景图像进行灰度和边缘检测预处理并对匹配代价计算采用了两种代价计算方式求解，赋予两种匹配代价不同比例的权重，再多方向融合的方式，既保证匹配代价求解精度又不降低效率，能够满足室外场景下三维重建的需求。
Description
技术领域
本发明涉及视觉三维重建领域，具体涉及一种基于多级优化的室外场景半全局匹配方法、装置、设备以及介质。
背景技术
随着移动机器人导航技术的革新，室内场景下的移动机器人已经无法很好的满足人们的需求。三维重建技术作为移动机器人实现导航技术的重中之重，其重建精度直接决定了移动机器人的识别、定位精度。然而，考虑到室外实际场景的多样性以及不确定性给三维重建技术带来的诸多难题，基于双目立体视觉的三维重建技术其在室外场景下具有测量范围广、精度高、实时性好等优势，得到了国内外学者的青睐。
室外场景下的立体匹配技术直接决定了室外场景下三维重建的精度。立体匹配算法主要是依赖左右场景视图中对应特征的差异来进行深度估计、三维重建。鉴于三维重建场景的多样性和复杂性，针对在室外场景下进行匹配遇到的诸多问题，很难有统一的解法，效率和精度往往是人们希望兼得而又需要取舍的两个概念。
现有室外场景下的立体匹配算法多采用局部式方法，其主要是利用某个像素点的值作为参考值来进行对应点相似性计算。该类方法虽然保证了立体匹配算法具有较好的复杂度和领域内较优的匹配精度，但其由于依赖参考窗口的选取精度，容易产生局部最优问题，而且牺牲了图像特征过度区域的匹配精度。然而，全局立体匹配算法常常需要整幅图像特征信息建立的全局能量函数来进行视差求解，很难满足移动机器人在室外场景下三维重建的需求。
现有室外场景下的立体匹配算法相似性评价多采用单一代价计算模型的思路，其主要包括灰度绝对值差(AD，Absolute Differences)、灰度绝对值差之和、距离最小平方和、Rank变换算法(RT,Rank Transform)、Census变换算法等，这种方式考虑因素有限，评价不够精确，无法兼备匹配的效率和精度。
发明内容
针对现有技术存在的问题，本发明的目的之一在于提供一种能够满足室外场景下物体三维重建要求的基于多级优化的室外场景下的半全局立体匹配方法，提高了立体匹配精度。本发明的第二目的在于提供一种半全局立体匹配装置。本发明的第三目的在于提供一种电子设备。本发明的第四目的在于提供一种计算机可读介质。
为实现上述目的，本发明的第一方面提供一种基于多级优化的室外场景下的半全局立体匹配方法，包括如下步骤：
1)对双目立体相机采集到的左右场景图像进行灰度预处理和边缘检测预处理；
2)对经过所述灰度预处理的左右场景预处理图像进行初步匹配代价计算，得到第一代价值；以及对经过所述边缘检测预处理的左右场景预处理图像进行初步匹配代价计算，得到第二代价值；
3)对所述第一代价值和所述第二代价值赋予不同的权重进行代价聚合并以多个方向约束的方式进行代价聚合求解效率优化，得到左右图像视差值；
4)对所述左右图像视差值进行求精处理；
5)对左右图像视差图进行后优化处理。
进一步，对双目立体相机采集到的左右场景图像进行灰度预处理和边缘检测预处理包括：
将双目立体相机采集到的左右场景RGB图像转换为灰度图像；
对经过灰度预处理后的左右场景灰度图像进行X方向的Sobel X处理。
进一步，左右场景RGB图像转换为灰度图像的转换公式为：
Grey＝(R*76+G*150+B*30)>>8
其中，R、G、B分别代表双目相机采集到的原始图像的RGB颜色空间三通道值，Grey代表转换后的灰度值。
进一步，Sobel X处理的公式为：
Sobel(x,y)＝2[P(x+1,y)-P(x-1,y)]+P(x+1,y-1)-P(x-1,y-1)+P(x+1,y+1)-P(x-1,y+1)
其中，P(x+1,y),P(x-1,y),P(x+1,y-1),P(x-1,y-1),P(x+1,y+1),P(x-1,y+1)分别代表中心像素点(x,y)邻域内的像素灰度值。
进一步，对经过所述灰度预处理的左右场景预处理图像进行初步匹配代价计算，得到第一代价值；以及对经过所述边缘检测预处理的左右场景预处理图像进行初步匹配代价计算，得到第二代价值包括：
利用带有惩罚项的BT(Birchfield and Tomasi)算法对经过所述灰度预处理的左右场景预处理图像进行初步匹配代价计算，得到第一代价值；
利用带有惩罚项的BT(Birchfield and Tomasi)算法对经过所述边缘检测预处理的左右场景预处理图像进行初步匹配代价计算，得到第二代价值。
进一步，对所述第一代价值和所述第二代价值进行代价聚合的聚合公式为：
C(p,d)＝3C1(p,d)+C2(p,d)
其中，C表示聚合后的代价值、C1表示所述第一代价值、C2表示所述第二代价值、d表示某一个特征点p的视差值。
进一步，多个方向约束的方式进行代价聚合求解效率优化包括：
选取8个方向约束的方式进行代价聚合求解效率优化，其中一个方向s的代价值求解公式为：
其中，C(p,d)表示聚合后的代价值、
表示当视差d不变化；视差d波动范围在±1个像素；视差d变化＞1三种情况下代价值的最小值、P1、P2为两个惩罚系数；p-s表示s方向上的前一个像素点，
表示前一个像素点的最小代价值，i表示视差变化＞1的视差值；
其中，8个方向的代价值求解公式为：
其中，F(p，d)表示8个方向代价值的加合值、L(p,d)表示其中一个方向的代价值、k表示选取约束方向的数量。
进一步，对所述左右图像视差值进行求精处理包括：
采用WTA法(优势劣汰)对得到的视差值进行筛选；
采用二次多项式拟合法对筛选得到的整数级别的视差值进行求精处理。
本发明第二方面提供一种基于多级优化的室外场景下的半全局立体匹配装置，包括：
预处理模块，用于对双目立体相机采集到的左右场景图像进行灰度预处理和边缘检测预处理；
匹配代价计算模块，用于对经过所述灰度预处理的左右场景预处理图像进行初步匹配代价计算，得到第一代价值；以及对经过所述边缘检测预处理的左右场景预处理图像进行初步匹配代价计算，得到第二代价值；
视差计算模块，用于对所述第一代价值和所述第二代价值进行代价聚合并以多个方向约束的方式进行代价聚合求解效率优化，得到左右图像视差值；
视差处理模块，用于对所述左右图像视差值进行求精处理；
视差图优化处理模块，用于对左右图像视差图进行后优化处理，包括唯一性检查、左右一致性检测、连通域检测。
本发明第三方面提供一种电子设备，包括：
一个或多个处理器；以及
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现第一方面所述的方法。
本发明的第四方面提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现第一方面所述的方法。
本发明对左右场景图像进行灰度和边缘检测预处理并对匹配代价计算采用了两种代价计算方式求解，再多方向融合的方式，既保证匹配代价求解精度又不降低效率，能够满足室外场景下三维重建的需求。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例的基于多级优化的室外场景下立体匹配方法的流程图；
图2为本发明的另一个实施例的基于多级优化的室外场景下立体匹配方法的流程图；
图3为本发明的另一个实施例的基于多级优化的室外场景下立体匹配方法的流程图；
图4为本发明选取的8方向代价求解优化示意图；
图5为本发明与现有技术中基于SAD的局部立体匹配算法在国际标准验证平台Middlebury平台上的性能对比图；
图6为本发明在室外场景下有效性、精度验证实验结果图；
图7A、图7B为本发明在室外不同光照条件下的立体匹配效果图；
图8为本发明的实施例的基于多级优化的室外场景下立体匹配装置的结构框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
图1示意性示出了本发明一实施例的基于多级优化的室外场景下立体匹配方法的流程图。
如图1所示，本发明的基于多级优化的室外场景下的半全局立体匹配方法，包括如下步骤：
步骤S110：对双目立体相机采集到的左右场景图像进行灰度预处理和边缘检测预处理。
步骤S130：对经过所述灰度预处理的左右场景预处理图像进行初步匹配代价计算，得到第一代价值；以及对经过所述边缘检测预处理的左右场景预处理图像进行初步匹配代价计算，得到第二代价值。
步骤S150：对所述第一代价值和所述第二代价值赋予不同的权重进行代价聚合并以多个方向约束的方式进行代价聚合求解效率优化，得到左右图像视差值。
步骤S170：对所述左右图像视差值进行求精处理。
步骤S190：对左右图像视差图进行后优化处理，包括唯一性检查、左右一致性检测、连通域检测。
本发明方法对左右场景图像进行灰度和边缘检测预处理并对匹配代价计算采用了两种代价计算方式求解，再多方向融合的方式，既保证匹配代价求解精度又不降低效率，能够满足室外场景下三维重建的需求。
图2示意性示出了本发明的另一个实施例的基于多级优化的室外场景下立体匹配方法的流程图。
如图2所示，上述步骤S110可以包括步骤S210和步骤S230。
步骤S210：将双目立体相机采集到的左右场景RGB图像转换为灰度图像。
步骤S230：对经过灰度预处理后的左右场景灰度图像进行X方向的Sobel X处理。
该方法利用灰度图像对光照的不敏感性，将左右场景RGB图像转换为灰度图像，减少了光照变化对室外场景下立体匹配精度的影响。并且对经过灰度处理的灰度图像进行X方向(水平)的Sobel X处理，不仅对噪声有一定抑制作用，而且可以初步确定图像中的物体轮廓特征，以提高后续立体匹配精度。
在本发明一实施例中，步骤S210中左右场景RGB图像转换为灰度图像的转换公式为：
Grey＝(R*76+G*150+B*30)>>8
其中，R、G、B分别代表双目相机采集到的原始图像的RGB颜色空间三通道值，Grey代表转换后的灰度值。
本实施例采用上述公式进行灰度转换，简化了灰度转换算法，采用位运算进行了加速。需要说明的是，本发明的RGB图像转换灰度图像的转换公式并不以此为限制。其也可以采用一般的RGB图像转换灰度图像公式，例如：Grey＝0.299*R+0.587*G+0.114B。
在本发明一实施例中，步骤S230中Sobel X处理的公式为：
Sobel(x,y)＝2[P(x+1,y)-P(x-1,y)]+P(x+1,y-1)-P(x-1,y-1)+P(x+1,y+1)-P(x-1,y+1)
其中，P(x+1,y),P(x-1,y),P(x+1,y-1),P(x-1,y-1),P(x+1,y+1),P(x-1,y+1)分别代表中心像素点(x,y)邻域内的像素灰度值。
本实施例中采用的是一种向前差分(Forward-difference)的求解方式，采用的是城市距离，在与城市距离成反比的4方向上对梯度进行加权。需要说明的是，本实施例的Sobel X处理的公式仅是举例说明，本发明并不以此为限制。
图3示意性示出了本发明的另一个实施例的基于多级优化的室外场景下立体匹配方法的流程图。
如图3所示，上述步骤S130可以包括步骤S310和步骤S330。
步骤S310：利用带有惩罚项的BT(Birchfield and Tomasi)算法对经过所述灰度预处理的左右场景预处理图像进行初步匹配代价计算，得到第一代价值。
步骤S330：利用带有惩罚项的BT(Birchfield and Tomasi)算法对经过所述边缘检测预处理的左右场景预处理图像进行初步匹配代价计算，得到第二代价值。
该方法在步骤S310中利用BT算法进行代价计算能够保留图像原始的空间结构以及纹理信息。在步骤S330中利用SobelX和BT算法处理能够保留较多的边缘信息和细节信息。使得本发明在缺乏纹理信息区域、存在遮挡、深度不连续区域、低光照情形、光照变化时具有较好的匹配精度以及鲁棒性。同时也集成了Sobel算法和BT算法的计算效率，确保了本发明半全局立体匹配方法的实时性。
在本发明的一实施例中，上述步骤S310和步骤S330中的BT算法的求解方式如下所示，设M为一个待匹配像素点序列，假设记γ(M)为图像不匹配程度的评价函数，则：
其中，kocc表示特征点匹配不成功的惩罚系数，kr表示特征点匹配成功的奖励系数，Nocc表示匹配不成功的特征点数，Nm表示匹配成功的特征点数，d(xi,yi)表示左右图像上同以扫描线上相同点xi、yi的灰度差异性指标。
在本发明的一实施例中，上述步骤S150中对所述第一代价值和所述第二代价值赋予不同的权重进行代价聚合的聚合公式为：
C(p,d)＝3C1(p,d)+C2(p,d)
其中，C表示聚合后的代价值、C1表示所述第一代价值、C2表示所述第二代价值、d表示某一个特征点p的视差值。本实施例中第一代价值和第二代价值以3:1的权重比例进行代价聚合，然而本发明并不以此为限制。
在本发明的一实施例中，上述步骤S150中对代价聚合的代价值进行多个方向约束的方式进行代价聚合求解效率优化，本实施例选取8个方向约束的方式进行代价聚合求解效率优化，其中一个方向s的代价值求解公式为：
其中，C(p,d)表示聚合后的代价值、
表示当视差d不变化；视差d波动范围在±1个像素；视差d变化＞1三种情况下代价值的最小值、P1、P2为两个惩罚系数、p-s表示s方向上的前一个像素点，
表示前一个像素点的最小代价值，是确保Lr(p,d)不会跨越最大上限，防止数据越界，i表示视差变化＞1的视差值。
P1主要针对图像深度突变区域，决定了视差图的平滑程度，而P2决定了图像边缘的匹配精度。
若某个方向上两个特征点的代价值＞1，则认为对特征点p的代价值求解带来较大的负面影响，因此给加上一个较大的常量惩罚系数P2。若某个方向上两个特征点的代价值等于1时，则认为影响较小，给其加上一个较小的常量惩罚系数P1。图像的连续性常与图像梯度紧密相连，因此P2阈值确定方法如式：
式中：P2′是初始值，Ibp、Ibq分别代表p点的灰度值和p点领域内某点q的灰度值。
通常必须保证P2＞P1，P1、P2以1：4的比例进行选取；
其中，8个方向的代价值求解公式为：
其中，F(p，d)表示8个方向代价值的加合值、L(p,d)表示其中一个方向的代价值、k表示选取约束方向的数量。
通过代价聚合得到的匹配代价值是初始代价值，某个像素点在图像中不是孤立存在的，以此作为立体匹配的相似性评价的标准往往是不够精确的。在局部式匹配方法中，往往采用局部领域成块代价聚合的方式对匹配代价值进行优化；而在全局立体匹配算法中，通常是全面考虑整幅图像所有待匹配点的匹配代价构造全局能量函数，这样显然会带来较大的时间代价。本实施例中采用一种既能发挥全局代价优化方法的优势，又能兼顾局部优化方式的高效率优势的优化方式。选取全局8个方向上的代价值来构造能量函数，对该像素点施加约束，得到最终的匹配代价评价指标。选取的8个方向见附图4所示。需要说明的是，本发明选取8个方向进行约束仅是举例说明，其也可以根据实际需要做相应调整，本发明并不以此为限制。
在本发明的一实施例中，步骤S170可以包括：
采用WTA法(优势劣汰)对步骤S150得到的视差值进行筛选。
采用二次多项式拟合法对筛选得到的整数级别的视差值进行求精处理。
WTA法就是在视差空间中，选择在某一个特征点中所有视差初值中使得F(p,d)取得极小值的视差d值。具体求解方法见下式所示：
D(p)＝argminF(p,d)
式中：D(p)代表视差经筛选后的视差图。
采用二次多项式拟合：在实际中由于受到光照、纹理等诸多因素的影响，整数级别的视差值往往是不够准确的。为了满足实际需求，需要对视差值进行拟合处理，以达到亚像素级别。
设视差d相邻的两个视差值为d-1、d+1，则d就是拟合得来的亚像素视差值。其具体计算公式为：
式中：S(d)为某点视差值为d的聚合代价值，S(d+1)为某点视差值为d+1的聚合代价值，S(d-1)为某点视差值为d-1的聚合代价值。
实验验证：
为了验证本发明的优越性，采用Middlebury平台上带有视差真值的4副标准图像对本文算法的匹配精度进行评估，以得到的在非遮挡区域的误匹配率、以及各区域的总的误匹配率作为精度评价指标。本发明分别与现有技术中基于SAD的局部立体匹配算法、在Middlebury平台上排名靠前的SemiGlob算法进行了比较，由于本文尚未能复现SemiGlob算法，则直接采用了相关数据真值，实验结果(视差图)见附图5所示；
在附图5中，第一行代表参考图像，第二行代表基于SAD算法的匹配结果，第三行代表本发明的方法求出的匹配结果。从左到右，这4副图像实验采用的参数见下表1所示。从实验结果可以清晰的看出，本发明所述的方法在这4种不同场景下的深度变化频繁区域、低纹理区域、存在遮挡区域、图像边缘区域的匹配效果均优于基于SAD的算法。而且，从实验结论可以看出本文所述算法对原图的细节信息以及空间结构保留的较为完整。
表1 4副标准图像实验所采用的参数
| 图像名称 | 分辨率大小 | 视差搜索范围 |
| Cones | 450×375 | 0到59 |
| Teddy | 450×375 | 0到59 |
| Tsukuba | 434×383 | 0到19 |
| Venus | 384×288 | 0到15 |
本发明通过Middlebury平台提供的非遮挡区域(Non occluded,nonocc)的误匹配率、以及各区域的总(ALL)误匹配率与本文实验得到的误匹配率进行对比，来评价本文算法的精度，实验结果见下表2所示。
表2 3种算法精度比较
从表2中的结果可以得到，本发明所述方法的平均误匹配率可达11.22％，其精度高于基于SAD的算法，稍逊于SemiGlob算法，但SemiGlob算法可能会引入算法的实时性问题。结合图5、表2可以得到，本发明在深度变化频繁、低纹理、存在遮挡、图像边缘等区域均取得了较好的精度，这与本发明所述方法的理论研究结论是一致的。
本发明在室外实际场景中对本发明方法的性能进行验证分析。本发明在光照条件基本相同的4种不同的室外场景下，利用双目立体相机分别采集了4组场景图像。选用高效的基于SAD的算法与本文所述算法在室外场景下的匹配精度以及实时性进行对比，为了保持一致性，两种算法都采用相同的后处理方法。
在8组实验中，为了保证足够的精度和对噪声的抑制作用，又不会由于图像过度平滑而导致图像边缘误匹配增多，两种匹配算法的聚合窗口尺寸都采用大小。为了保证有足够有效的匹配点，视差搜索范围选为0～128pixel，图像分辨率都采用640×480大小，具体实验参数见下表3所示。两种立体匹配算法的实验结果见附图6所示。
表3 4种真实场景实验所采用的参数
| 图像名称 | 分辨率大小 | 视差搜索范围 |
| Stool | 640×480 | 0到128 |
| Tree | 640×480 | 0到128 |
| Car | 640×480 | 0到128 |
| Streetlight | 640×480 | 0到128 |
附图6中第一列为4种场景下的参考图像，从上到下依次命名为Stool、Tree、Car、Streetlight；第二列为4种场景下基于SAD算法求出的视差图；第三列为4种场景下本发明方法求出的视差图。stool图像相机视野范围大约在10m左右，其他3幅图像相机视野范围大约在6m左右。为了对比两种算法匹配效果，本发明对具有代表性的区域用方框做了不同的标记。正方形虚线框代表深度连续变化区域，长方形虚线框代表遮挡区域，三角形虚线框表示低纹理区域，圆形虚线框表示重复纹理区域。图像中的黑色为视差搜索范围外的区域或者误匹配点组成的区域。
由于在实际场景下重建获得的视差图没有标准参考值，通常都采用对比相应区域的误匹配情况以及重建后对应区域的密稠性来评价匹配精度。首先，本发明整体对比了4种不同场景下两种算法的匹配效果，可以清晰的发现采用本发明方法在室外场景下匹配精度都高于基于传统的SAD算法。而且，参照第三列的4副图像可以发现，本发明方法在不同室外场景下的有效视差范围内均具有较高的匹配精度，因此说明本发明在室外场景下具有较好的精度和鲁棒性。
其次，分析了本发明方法在遇到室外场景中疑难问题时的匹配精度。在附图6第三列中，stool图像代表较为复杂的场景，可以看到其在图像中物体深度变化频繁区域、低纹理区域、遮挡区域都得到了密稠的视差图效果。在tree、streetlight图像中圆形虚线框标记的位置，其白色瓷片墙壁属于重复纹理区域，本文算法在这类区域也取得了不错的效果。对比4副图像三角形虚线框标记的低纹理区域以及长方形虚线框标记的遮挡区域，本发明方法都得到了较为密稠的结果。
紧接着，将本发明所述方法与效率较高的基于SAD的算法在英伟达1080TI平台、13×13聚合窗口大小、640×480分辨率、视差搜索范围为0～128pixel下进行时间效率对比实验，其对比实验结果见表4所示。
表4本文所述算法与基于SAD算法的时间效率对比
从表4中我们可以清楚的看出，本发明方法的每一帧图像的匹配时间最高可达79ms，对应的帧率为12fps。若采用320×240分辨率、0～64pixel视差搜索范围时，对应的帧率可达36fps，其已经足够适用于很多室外场景下移动机器人对立体匹配算法时间复杂度的需求。
为了进一步验证本发明方法在室外不同光照条件下的重建准确性以及鲁棒性，本发明分别在3种不同室外场景中的4种不同光照条件下的进行三维重建实验，仍以视差图的匹配精度来评价这12组场景的三维重建精度。实验结果见附图7A和图7B所示。
本发明利用照度计来测量不同场景下的光照强度，以不同的光照强度值来代表不同的光照条件。为了避免高曝光对实验的影响，采集场景的光照强度为0～5000勒克司度(Lux)，通常100Lux下的光照条件属于低光照情形。
如附图7A和图7B所示，从上到下，奇数行的图像为本文使用的参考图像。偶数行的图像为以奇数行图像为参考得到的匹配效果图。从上到下，光照强度逐步减弱。每一行从左到右，实验所采用的奇数行第一行光照强度分别为4250Lux、4550Lux、4951Lux；奇数行第二行光照强度分别为2815Lux、2912Lux、3215Lux；奇数行第三行光照强度分别为1616Lux、1523Lux、1005Lux；奇数行第四行光照强度分别为37Lux、225Lux、86Lux。
图7A中对具有代表性的区域用虚线框做了不同的标记。正方形虚线框代表深度连续变化区域，长方形虚线框代表遮挡区域，三角形虚线框表示低纹理区域，圆形虚线框表示重复纹理区域。图像中的黑色为视差搜索范围外的区域或者误匹配点组成的区域。从以上12组实验结果中可以清晰的看出，随着光照强度逐渐变低，本发明方法所得到的立体匹配视差图仍能够保持较为密稠的结果，即能够取得较高的重建精度。尤其在最后一行低光照条件、存在一定噪声时，仍可以获得较为理想的重建结果。因此，说明本发明所述算法在室外光照条件变化时具有较高准确性和鲁棒性。
图8示意性示出本发明的实施例的基于多级优化的室外场景下立体匹配装置的结构框图。
如图8所示，本发明的基于多级优化的室外场景下的半全局立体匹配装置800包括预处理模块810、匹配代价计算模块830、视差计算模块850、视差处理模块870和视差图优化处理模块890。
具体地，预处理模块810用于对双目立体相机采集到的左右场景图像进行灰度预处理和边缘检测预处理。
匹配代价计算模块830用于对经过所述灰度预处理的左右场景预处理图像进行初步匹配代价计算，得到第一代价值；以及对经过所述边缘检测预处理的左右场景预处理图像进行初步匹配代价计算，得到第二代价值。
视差计算模块850用于对所述第一代价值和所述第二代价值进行代价聚合并以多个方向约束的方式进行代价聚合求解效率优化，得到左右图像视差值。
视差处理模块870用于对所述左右图像视差值进行求精处理。
视差图优化处理模块890用于对左右图像视差图进行后优化处理，包括唯一性检查、左右一致性检测、连通域检测。
该半全局立体匹配装置对左右场景图像进行灰度和边缘检测预处理并对匹配代价计算采用了两种代价计算方式求解，再多方向融合的方式，既保证匹配代价求解精度又不降低效率，能够满足室外场景下三维重建的需求。
根据本发明的实施例，该半全局立体匹配装置800可以用于实现图1～3实施例描述的半全局立体匹配方法。
由于本发明的示例实施例的半全局立体匹配装置800的各个模块可以用于实现上述1～图3描述的半全局立体匹配方法的示例实施例的步骤，因此对于本发明装置实施例中未披露的细节，请参照本发明上述的半全局立体匹配方法的实施例。
可以理解的是，预处理模块810、匹配代价计算模块830、视差计算模块850、视差处理模块870和视差图优化处理模块890可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本发明的实施例，预处理模块810、匹配代价计算模块830、视差计算模块850、视差处理模块870和视差图优化处理模块890中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以以对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式的适当组合来实现。或者，预处理模块810、匹配代价计算模块830、视差计算模块850、视差处理模块870和视差图优化处理模块890中的至少一个可以至少被部分地实现为计算机程序模块，当该程序被计算机运行时，可以执行相应模块的功能。
本发明还提供一种电子设备，包括一个或多个处理器；以及存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述图1～3实施例描述的半全局立体匹配方法。
本发明还提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述图1～3实施例描述的半全局立体匹配方法。
根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时，执行本申请的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的模块也可以设置在处理器中。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如上述实施例中所述的半全局立体匹配方法。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (10)
1.一种基于多级优化的室外场景下的半全局立体匹配方法，其特征在于，包括如下步骤：
1)对双目立体相机采集到的左右场景图像进行灰度预处理和边缘检测预处理；
2)对经过所述灰度预处理的左右场景预处理图像进行初步匹配代价计算，得到第一代价值；以及对经过所述边缘检测预处理的左右场景预处理图像进行初步匹配代价计算，得到第二代价值；
3)对所述第一代价值和所述第二代价值赋予不同的权重进行代价聚合并以多个方向约束的方式进行代价聚合求解效率优化，得到左右图像视差值；
4)对所述左右图像视差值进行求精处理；
5)对左右图像视差图进行后优化处理。
2.如权利要求1所述的半全局立体匹配方法，其特征在于，对双目立体相机采集到的左右场景图像进行灰度预处理和边缘检测预处理包括：
将双目立体相机采集到的左右场景RGB图像转换为灰度图像；
对经过灰度预处理后的左右场景灰度图像进行X方向的Sobel X处理。
3.如权利要求2所述的半全局立体匹配方法，其特征在于，左右场景RGB图像转换为灰度图像的转换公式为：
Grey＝(R*76+G*150+B*30)>>8
其中，R、G、B分别代表双目相机采集到的原始图像的RGB颜色空间三通道值，Grey代表转换后的灰度值。
4.如权利要求2所述的半全局立体匹配方法，其特征在于，Sobel X处理的公式为：
Sobel(x,y)＝2[P(x+1,y)-P(x-1,y)]+P(x+1,y-1)-P(x-1,y-1)+P(x+1,y+1)-P(x-1,y+1)
其中，P(x+1,y),P(x-1,y),P(x+1,y-1),P(x-1,y-1),P(x+1,y+1),P(x-1,y+1)分别代表中心像素点(x,y)邻域内的像素灰度值。
5.如权利要求1所述的半全局立体匹配方法，其特征在于，对经过所述灰度预处理的左右场景预处理图像进行初步匹配代价计算，得到第一代价值；以及对经过所述边缘检测预处理的左右场景预处理图像进行初步匹配代价计算，得到第二代价值包括：
利用带有惩罚项的BT(Birchfield and Tomasi)算法对经过所述灰度预处理的左右场景预处理图像进行初步匹配代价计算，得到第一代价值；
利用带有惩罚项的BT(Birchfield and Tomasi)算法对经过所述边缘检测预处理的左右场景预处理图像进行初步匹配代价计算，得到第二代价值。
6.如权利要求1所述的半全局立体匹配方法，其特征在于，对所述第一代价值和所述第二代价值赋予不同的权重进行代价聚合的聚合公式为：
C(p,d)＝3C1(p,d)+C2(p,d)
其中，C表示聚合后的代价值、C1表示所述第一代价值、C2表示所述第二代价值、d表示某一个特征点p的视差值。
7.如权利要求6所述的半全局立体匹配方法，其特征在于，多个方向约束的方式进行代价聚合求解效率优化包括：
选取8个方向约束的方式进行代价聚合求解效率优化，其中一个方向s的代价值求解公式为：
其中，C(p,d)表示聚合后的代价值、
表示当视差d不变化；视差d波动范围在±1个像素；视差d变化＞1三种情况下代价值的最小值、P1、P2为两个惩罚系数；p-s表示s方向上的前一个像素点，
表示前一个像素点的最小代价值，i表示视差变化＞1的视差值；
其中，8个方向的代价值求解公式为：
其中，F(p，d)表示8个方向代价值的加合值、L(p,d)表示其中一个方向的代价值、k表示选取约束方向的数量。
8.一种基于多级优化的室外场景下的半全局立体匹配装置，其特征在于，包括：
预处理模块，用于对双目立体相机采集到的左右场景图像进行灰度预处理和边缘检测预处理；
匹配代价计算模块，用于对经过所述灰度预处理的左右场景预处理图像进行初步匹配代价计算，得到第一代价值；以及对经过所述边缘检测预处理的左右场景预处理图像进行初步匹配代价计算，得到第二代价值；
视差计算模块，用于对所述第一代价值和所述第二代价值进行代价聚合并以多个方向约束的方式进行代价聚合求解效率优化，得到左右图像视差值；
视差处理模块，用于对所述左右图像视差值进行求精处理；
视差图优化处理模块，用于对左右图像视差图进行后优化处理，包括唯一性检查、左右一致性检测、连通域检测。
9.一种电子设备，包括：
一个或多个处理器；以及
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现根据权利要求1～7中任意一项所述的方法。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现根据权利要求1～7中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110390771.6A CN113052862A (zh) | 2021-04-12 | 2021-04-12 | 基于多级优化的室外场景下立体匹配方法、装置、设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110390771.6A CN113052862A (zh) | 2021-04-12 | 2021-04-12 | 基于多级优化的室外场景下立体匹配方法、装置、设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113052862A true CN113052862A (zh) | 2021-06-29 |
Family
ID=76519105
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110390771.6A Pending CN113052862A (zh) | 2021-04-12 | 2021-04-12 | 基于多级优化的室外场景下立体匹配方法、装置、设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113052862A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016180325A1 (zh) * | 2015-05-12 | 2016-11-17 | 努比亚技术有限公司 | 图像处理方法及装置 |
| CN106355570A (zh) * | 2016-10-21 | 2017-01-25 | 昆明理工大学 | 一种结合深度特征的双目立体视觉匹配方法 |
| CN108682026A (zh) * | 2018-03-22 | 2018-10-19 | 辽宁工业大学 | 一种基于多匹配基元融合的双目视觉立体匹配方法 |
| CN109658443A (zh) * | 2018-11-01 | 2019-04-19 | 北京华捷艾米科技有限公司 | 立体视觉匹配方法及系统 |
| CN110473217A (zh) * | 2019-07-25 | 2019-11-19 | 沈阳工业大学 | 一种基于Census变换的双目立体匹配方法 |
| WO2020215257A1 (zh) * | 2019-04-24 | 2020-10-29 | 深圳市大疆创新科技有限公司 | 图像立体匹配的方法和辅助驾驶装置 |
-
2021
- 2021-04-12 CN CN202110390771.6A patent/CN113052862A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016180325A1 (zh) * | 2015-05-12 | 2016-11-17 | 努比亚技术有限公司 | 图像处理方法及装置 |
| CN106355570A (zh) * | 2016-10-21 | 2017-01-25 | 昆明理工大学 | 一种结合深度特征的双目立体视觉匹配方法 |
| CN108682026A (zh) * | 2018-03-22 | 2018-10-19 | 辽宁工业大学 | 一种基于多匹配基元融合的双目视觉立体匹配方法 |
| CN109658443A (zh) * | 2018-11-01 | 2019-04-19 | 北京华捷艾米科技有限公司 | 立体视觉匹配方法及系统 |
| WO2020215257A1 (zh) * | 2019-04-24 | 2020-10-29 | 深圳市大疆创新科技有限公司 | 图像立体匹配的方法和辅助驾驶装置 |
| CN110473217A (zh) * | 2019-07-25 | 2019-11-19 | 沈阳工业大学 | 一种基于Census变换的双目立体匹配方法 |
Non-Patent Citations (2)
| Title |
|---|
| 李锵;段子阳;张一帆;朱程涛;: "基于跨尺度随机游走的立体匹配算法", 华南理工大学学报(自然科学版), no. 01 * |
| 段中兴;齐嘉麟;: "基于多尺度卷积神经网络的立体匹配算法研究", 计算机测量与控制, no. 09 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109902702B (zh) | 目标检测的方法和装置 | |
| US10477178B2 (en) | High-speed and tunable scene reconstruction systems and methods using stereo imagery | |
| US20130170736A1 (en) | Disparity estimation depth generation method | |
| Carr et al. | Improved single image dehazing using geometry | |
| KR20170106931A (ko) | 광 필드 데이터 처리 방법 및 디바이스 | |
| CN104867135A (zh) | 一种基于指导图像引导的高精度立体匹配方法 | |
| US20150339828A1 (en) | Segmentation of a foreground object in a 3d scene | |
| CN103996202A (zh) | 一种基于混合匹配代价和自适应窗口的立体匹配方法 | |
| WO2017046272A1 (en) | Method for encoding a light field content | |
| CN113705796B (zh) | 基于epi特征强化的光场深度获取卷积神经网络 | |
| Lee et al. | Depth estimation from light field by accumulating binary maps based on foreground–background separation | |
| CN104331890B (zh) | 一种全局视差估计方法和系统 | |
| Schumacher et al. | Matching cost computation algorithm and high speed fpga architecture for high quality real-time semi global matching stereo vision for road scenes | |
| CN111047603A (zh) | 一种基于新型马尔可夫随机场和区域合并的航拍图像混合分割算法 | |
| CN103337073B (zh) | 一种基于三维熵的二维图像阈值分割方法 | |
| CN114004754A (zh) | 一种基于深度学习的场景深度补全系统及方法 | |
| CN116612468A (zh) | 基于多模态融合与深度注意力机制的三维目标检测方法 | |
| CN114445473A (zh) | 基于深度学习算子的立体匹配方法和系统 | |
| CN111353988A (zh) | Knn动态自适应的双图卷积图像分割方法和系统 | |
| CN105574844A (zh) | 辐射响应函数估计方法和装置 | |
| CN113052862A (zh) | 基于多级优化的室外场景下立体匹配方法、装置、设备 | |
| Hirata et al. | Real-time dense depth estimation using semantically-guided LIDAR data propagation and motion stereo | |
| CN116416290A (zh) | 一种计算散斑结构光深度的方法、装置及电子设备 | |
| CN115239886A (zh) | 一种遥感uav-mvs影像点云数据处理方法、装置、设备及介质 | |
| Salih et al. | Depth estimation using monocular cues from single image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |