CN108230382A - 基于Spearman相关性系数和动态规划融合的立体匹配算法 - Google Patents
基于Spearman相关性系数和动态规划融合的立体匹配算法 Download PDFInfo
- Publication number
- CN108230382A CN108230382A CN201810092426.2A CN201810092426A CN108230382A CN 108230382 A CN108230382 A CN 108230382A CN 201810092426 A CN201810092426 A CN 201810092426A CN 108230382 A CN108230382 A CN 108230382A
- Authority
- CN
- China
- Prior art keywords
- power flow
- matching
- matching power
- algorithm
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
本发明涉及一种基于Spearman相关性系数和动态规划融合的立体匹配算法,利用Spearman相关性系数来计算匹配代价,引入Spearman相关系数来求匹配代价更适用于有光照辐射等特殊的图像区域。然后为每个像素点建立能量模型,即融合多种匹配代价建立能量模型,通过动态规划对能量模型进行优化得到候选视差值。此种模型融合了多种匹配代价,可以提高单一匹配代价的匹配精度,如通过融合像素差和梯度信息可以更好的保留边缘信息。解决光照辐射等特殊图像区域难以精确匹配问题;解决单一匹配代价在某些特殊区域匹配精度不足问题;对候选视差值做平均,即可得到最终的视差值,从而使得求得的视差值精度精确到小数。
Description
技术领域
本发明涉及一种计算机视觉技术,特别涉及一种基于Spearman相关性系数计算匹配代价和动态规划融合的立体匹配算法。
背景技术
立体视觉是计算机视觉领域的一个至关重要的分支,它是一种模拟人类视觉原理,使用计算机被动感知距离的方法。从两个或多个点观察一个物体,获取不同视角下的图像,根据图像之间像素的匹配关系找到匹配点,从而得到像素之间的偏差,再通过三角测量即可获取物体的景深信息。
立体匹配是立体视觉的关键步骤,其目的是得到图像对中找到同源点。20世纪80年代,美国麻省理工学院的Marr提出一种计算机理论并应用在双目匹配中,使两张有视差的平面图产生具有深度的立体图形,从而奠定了双目立体匹配技术发展的理论基础。随着双目立体匹配理论的不断发展,对双目立体匹配算法的优化是永无止境的。
立体匹配的过程可以分为四个步骤,分别为:代价计算、代价聚合、视差优化以及视差强化。代价计算是在视差范围内计算疑似匹配点之间的代价。代价聚合是通过固定窗口或者其他的聚合方式聚合匹配代价。视差优化是在视差范围内选择最佳的视差,针对算法的不同视差优化可分为单像素点优化和全局优化。单像素点视差优化即选择最小匹配代价对应的视差作为最终视差。全局优化是对能量函数进行最优化求解,从而得到最终视差图。视差强化是对初始视差图进行左右一致性检测、空洞填充等。
根据立体匹配所采取的过程,可以将立体匹配分为局部立体匹配和全局立体匹配。大部分局部立体匹配可以满足实时性的要求,但是该类算法对误差比较敏感,在图像有光照辐射、低纹理以及重复纹理等特殊区域得到的视差精度不高。全局立体匹配通过优化全局能量函数来得到视差图,能量函数包括匹配代价项以及视差连续约束项,该类算法得到的视差图整体精度相对较高,但是算法的实时性较低,很难用于实际应用中。因此,同时满足算法实时性以及匹配精度要求成为立体匹配算法最大的难点。
发明内容
本发明是针对局部算法在特定区域精度不高以及全局算法实时性不好的问题,提出了一种基于Spearman相关性系数和动态规划融合的立体匹配算法,利用Spearman相关性系数来计算匹配代价,引入Spearman相关系数来求匹配代价更适用于有光照辐射等特殊的图像区域。然后为每个像素点建立能量模型,即融合多种匹配代价建立能量模型,通过动态规划对能量模型进行优化得到候选视差值。此种模型融合了多种匹配代价,可以提高单一匹配代价的匹配精度,如通过融合像素差和梯度信息可以更好的保留边缘信息。
本发明的技术方案为:一种基于Spearman相关性系数和动态规划融合的立体匹配算法,具体包括如下步骤:
1)先从双目立体摄像头中读取左右两幅图片并校正,对其进行代价计算得到匹配代价图;
2)然后分别采用已知的匹配代价算法和引入Spearman相关性系数的匹配代价算法来求解匹配代价;
3)再综合所有匹配代价算法对每个像素点建立匹配代价能量函数,形成模型,并通过动态规划算法进行模型优化得到每种匹配代价算法对应的最小代价路径;
4)最后对所有最小代价路径上对应的候选视差取平均得到最终的视差值。
所述步骤2)中引入Spearman相关性系数的匹配代价算法来求解匹配代价具体步骤如下:
首先选取左图任意一个参考点p(x,y)和其在右图中有视差为d的对应点q(x-d,y),选取以此两点为中心3*3固定窗口,然后对两窗口内像素按一定顺序分别排列成两个序列变量为:
L:IL(x-1,y-1),IL(x,y-1),…,IL(x,y+1),IL(x+1,y+1),
R:IR(x-1-d,y-1),IR(x-d,y-1),…,IR(x-d,y+1),IR(x-d+1,y+1)IL为左图中对应点的像素值,IR为右图中对应点的像素值;再对两个序列中的像素值按大小进行排序,得到每个像素在各自序列中的等级RLi和RRi;ri=RLi-RRi,则两序列变量之间的Spearman相关性系数为其中N为固定窗口中像素个数,ri为两个变量对应元素排序后的等级之差,则由相关系数所表示的参考点p(x,y)在视差为d时的匹配代价为C2(x,y,d)=-ρ(L,R)。
所述步骤3)具体包括如下:
考虑单一像素点不同代价计算的视差连续性,为像素点建立匹配代价能量模型,匹配代价能量函数中包含数据项以及连续约束项,对于参考点p(x,y)其能量函数为:
其中Ct(p,dt)为第t种匹配代价算法计算像素点p(x,y)在视差为dt时的匹配代价;ds为第s种匹配代价算法中匹配代价对应的视差;P1和P2为惩罚项常数;f为0-1函数,m为匹配代价算法种类个数;通过动态规划对模型进行优化,即对每种匹配代价算法找到一条最优路径,使得路径上的权值相加最小,Ct(p,dt)+V(dt-ds)代表权值,其中Ct(p,dt)代表匹配代价,V(dt-ds)代表约束项。
本发明的有益效果在于:本发明基于Spearman相关性系数和动态规划融合的立体匹配算法,引入Spearman相关性系数来求匹配代价,解决光照辐射等特殊图像区域难以精确匹配问题;为每个像素点建立能量模型,通过动态规划算法优化得到最小代价路径,从而得到像素点的候选视差值,解决单一匹配代价在某些特殊区域匹配精度不足问题;对候选视差值做平均,即可得到最终的视差值,从而使得求得的视差值精度精确到小数。
附图说明
图1为本发明方法流程图;
图2为本发明Spearman相关系数计算匹配代价的流程图;
图3为本发明利用动态规划对像素能量函数进行优化的模型简图。
具体实施方式
如图1所示基于Spearman相关性系数和动态规划融合的立体匹配算法流程图,算法具体步骤如下:
第一步,从双目立体摄像头中读取左右两幅校正过后的图片,对于左图任意一个参考点p(x,y),其在右图中有视差为d的对应点q(x-d,y),则p、q的匹配代价e(x,y,d)可表示为:
e(x,y,d)=min{|IL(x,y)-IR(x-d,y)|,T},
其中d∈(0,dmax),dmax为最大视差,IL(x,y)为左图中p(x,y)的像素值,IR(x-d,y)为右图中q(x-d,y)的像素值,T为像素阈值。这样就可得到dmax+1张匹配代价图。
第二步,代价聚合:
对每一张匹配代价图运用3*3的窗口进行代价聚合,聚合后的匹配代价为其中e(X,Y,d)、C1(x,y,d)分别为聚合前后的匹配代价,Wx,y为以参考点p(x,y)为中心的窗口,(X,Y)为窗口内像素点。
第三步,根据图2流程图来计算Spearman相关性系数,从而得到匹配代价。首先选取以左图点p(x,y)和其在右图的对应点q(x-d,y)为中心的3*3固定窗口,然后对两窗口内像素按相同顺序分别排列成两个序列变量为:
L:IL(x-1,y-1),IL(x,y-1),…,IL(x,y+1),IL(x+1,y+1),
R:IR(x-1-d,y-1),IR(x-d,y-1),…,IR(x-d,y+1),IR(x-d+1,y+1)
然后对两个序列中的像素值按大小进行排序,得到每个像素在各自序列中的等级RLi和RRi。ri=RLi-RRi,则两序列变量之间的Spearman相关性系数为其中N为固定窗口中像素个数,如窗口为3*3时,N为9。ri为两个变量对应元素排序后的等级之差,则由相关系数所表示的点p(x,y)在视差为d时的匹配代价为C2(x,y,d)=-ρ(L,R)。
第四步,根据两种匹配代价对每个像素点建立匹配代价能量函数,考虑单一像素点不同代价计算的视差连续性,为像素点建立匹配代价能量模型,匹配代价能量函数中包含数据项以及连续约束项,对于点p(x,y)其能量函数为:
其中Ct(p,dt)为第t种匹配代价算法计算像素点p(x,y)在视差为dt时的匹配代价;ds为第s种匹配代价算法中匹配代价对应的视差;P1和P2为惩罚项常数;f为0-1函数。这里一共有2种匹配代价算法,所以当t=1时,s就等于2,t=2时,s就等于1,如果有m种匹配代价算法,则
此模型可以通过动态规划在如图3进行优化,即在如图3中找到一条最优路径,使得路径上的权值相加最小。Ct(p,dt)+V(dt-ds)代表权值,其中Ct(p,dt)代表匹配代价,V(dt-ds)代表约束项。通过动态规划算法寻找一条路径,使得路径上的权重最小,进而找到最小路径对应的候选视差d1与d2。
第五步,对候选视差d1和d2取平均,得到最终的视差值如有m种匹配代价计算方法的个数,则最终的视差值dj代表第j种匹配代价对应的视差。
Claims (3)
1.一种基于Spearman相关性系数和动态规划融合的立体匹配算法,其特征在于,具体包括如下步骤:
1)先从双目立体摄像头中读取左右两幅图片并校正,对其进行代价计算得到匹配代价图;
2)然后分别采用已知的匹配代价算法和引入Spearman相关性系数的匹配代价算法来求解匹配代价;
3)再综合所有匹配代价算法对每个像素点建立匹配代价能量函数,形成模型,并通过动态规划算法进行模型优化得到每种匹配代价算法对应的最小代价路径;
4)最后对所有最小代价路径上对应的候选视差取平均得到最终的视差值。
2.根据权利要求1所述基于Spearman相关性系数和动态规划融合的立体匹配算法,其特征在于,所述步骤2)中引入Spearman相关性系数的匹配代价算法来求解匹配代价具体步骤如下:
首先选取左图任意一个参考点p(x,y)和其在右图中有视差为d的对应点q(x-d,y),选取以此两点为中心3*3固定窗口,然后对两窗口内像素按一定顺序分别排列成两个序列变量为:
L:IL(x-1,y-1),IL(x,y-1),…,IL(x,y+1),IL(x+1,y+1),
R:IR(x-1-d,y-1),IR(x-d,y-1),…,IR(x-d,y+1),IR(x-d+1,y+1)
IL为左图中对应点的像素值,IR为右图中对应点的像素值;再对两个序列中的像素值按大小进行排序,得到每个像素在各自序列中的等级RLi和RRi;ri=RLi-RRi,则两序列变量之间的Spearman相关性系数为其中N为固定窗口中像素个数,ri为两个变量对应元素排序后的等级之差,则由相关系数所表示的参考点p(x,y)在视差为d时的匹配代价为C2(x,y,d)=-ρ(L,R)。
3.根据权利要求1所述基于Spearman相关性系数和动态规划融合的立体匹配算法,其特征在于,所述步骤3)具体包括如下:
考虑单一像素点不同代价计算的视差连续性,为像素点建立匹配代价能量模型,匹配代价能量函数中包含数据项以及连续约束项,对于参考点p(x,y)其能量函数为:
其中Ct(p,dt)为第t种匹配代价算法计算像素点p(x,y)在视差为dt时的匹配代价;ds为第s种匹配代价算法中匹配代价对应的视差;P1和P2为惩罚项常数;f为0-1函数,m为匹配代价算法种类个数;通过动态规划对模型进行优化,即对每种匹配代价算法找到一条最优路径,使得路径上的权值相加最小,Ct(p,dt)+V(dt-ds)代表权值,其中Ct(p,dt)代表匹配代价,V(dt-ds)代表约束项。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810092426.2A CN108230382B (zh) | 2018-01-30 | 2018-01-30 | 基于Spearman相关性系数和动态规划融合的立体匹配算法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810092426.2A CN108230382B (zh) | 2018-01-30 | 2018-01-30 | 基于Spearman相关性系数和动态规划融合的立体匹配算法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108230382A true CN108230382A (zh) | 2018-06-29 |
CN108230382B CN108230382B (zh) | 2021-04-30 |
Family
ID=62669968
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810092426.2A Active CN108230382B (zh) | 2018-01-30 | 2018-01-30 | 基于Spearman相关性系数和动态规划融合的立体匹配算法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108230382B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112269175A (zh) * | 2020-09-09 | 2021-01-26 | 国网山西省电力公司阳泉供电公司 | 一种结合斯皮尔曼系数的分布式散射体选取方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101908230A (zh) * | 2010-07-23 | 2010-12-08 | 东南大学 | 一种基于区域深度边缘检测和双目立体匹配的三维重建方法 |
CN103942810A (zh) * | 2014-05-12 | 2014-07-23 | 福州大学 | 一种基于改进双向动态规划的立体匹配方法 |
-
2018
- 2018-01-30 CN CN201810092426.2A patent/CN108230382B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101908230A (zh) * | 2010-07-23 | 2010-12-08 | 东南大学 | 一种基于区域深度边缘检测和双目立体匹配的三维重建方法 |
CN103942810A (zh) * | 2014-05-12 | 2014-07-23 | 福州大学 | 一种基于改进双向动态规划的立体匹配方法 |
Non-Patent Citations (4)
Title |
---|
ARIF MAHMOOD 等: "Correlation Coefficient Based Fast Template Matching Through Partial Elimination", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
DANIEL SCHARSTEIN: "A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms", 《TECHNICAL REPORT》 * |
HEIKO HIRSCHMULLER 等: "Evaluation of Cost Functions for Stereo Matching", 《IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION(CVPP)》 * |
HEIKO HIRSCHMULLER: "Stereo Processing by Semiglobal Matching and Mutual Information", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112269175A (zh) * | 2020-09-09 | 2021-01-26 | 国网山西省电力公司阳泉供电公司 | 一种结合斯皮尔曼系数的分布式散射体选取方法 |
CN112269175B (zh) * | 2020-09-09 | 2023-11-21 | 国网山西省电力公司阳泉供电公司 | 一种结合斯皮尔曼系数的分布式散射体选取方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108230382B (zh) | 2021-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112634341B (zh) | 多视觉任务协同的深度估计模型的构建方法 | |
Wedel et al. | Efficient dense scene flow from sparse or dense stereo data | |
US20130286017A1 (en) | Method for generating depth maps for converting moving 2d images to 3d | |
CN106355570A (zh) | 一种结合深度特征的双目立体视觉匹配方法 | |
CN103996202A (zh) | 一种基于混合匹配代价和自适应窗口的立体匹配方法 | |
CN108596975A (zh) | 一种针对弱纹理区域的立体匹配算法 | |
Rishav et al. | DeepLiDARFlow: A deep learning architecture for scene flow estimation using monocular camera and sparse LiDAR | |
CN103702103B (zh) | 基于双目相机的光栅立体印刷图像合成方法 | |
CN107136649B (zh) | 一种基于自动寻轨模式的三维脚型测量装置及实现方法 | |
CN108010075A (zh) | 一种基于多特征联合的局部立体匹配方法 | |
CN112734822B (zh) | 一种基于红外和可见光图像的立体匹配算法 | |
CN111402311A (zh) | 一种基于知识蒸馏的轻量级立体视差估计方法 | |
CN106408596A (zh) | 基于边缘的局部立体匹配方法 | |
CN104318576A (zh) | 一种超像素级别的图像全局匹配方法 | |
CN102740096A (zh) | 一种基于时空结合的动态场景立体视频匹配方法 | |
CN113989758A (zh) | 一种用于自动驾驶的锚引导3d目标检测方法及装置 | |
Gadasin et al. | Reconstruction of a Three-Dimensional Scene from its Projections in Computer Vision Systems | |
CN104331890A (zh) | 一种全局视差估计方法和系统 | |
CN111105451B (zh) | 一种克服遮挡效应的驾驶场景双目深度估计方法 | |
Ni et al. | Second-order semi-global stereo matching algorithm based on slanted plane iterative optimization | |
CN101945299B (zh) | 一种基于拍摄设备阵列的动态场景深度恢复方法 | |
CN108230382A (zh) | 基于Spearman相关性系数和动态规划融合的立体匹配算法 | |
CN102567992B (zh) | 遮挡区域的图像匹配方法 | |
CN104408710B (zh) | 一种全局视差估计方法和系统 | |
Um et al. | Three-dimensional scene reconstruction using multiview images and depth camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |