CN103942810B - 一种基于改进双向动态规划的立体匹配方法 - Google Patents
一种基于改进双向动态规划的立体匹配方法 Download PDFInfo
- Publication number
- CN103942810B CN103942810B CN201410197814.9A CN201410197814A CN103942810B CN 103942810 B CN103942810 B CN 103942810B CN 201410197814 A CN201410197814 A CN 201410197814A CN 103942810 B CN103942810 B CN 103942810B
- Authority
- CN
- China
- Prior art keywords
- parallax
- value
- point
- dynamic programming
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于改进双向动态规划的立体匹配方法，包括以下步骤：S01：修正自适应加权代价函数；S02：利用修正后的自适应加权代价函数，以构建新的全局能量函数；S03：利用构建的全局能量函数，采用改进后的双向动态规划算法来搜索视差点匹配路径；S04：采用滤波方法和遵循三个可靠性准则去除孤立的错误视差点；S05：获得最终的稠密视差图。本发明所采用的三个可靠性准则大大加快了错误匹配点的剔除，图像全局匹配的精确度相对较高，能够将误匹配率降低到7%以下，同时制定了新的列向平滑约束项策略，在降低误匹配率和减少“条纹”瑕疵方面有显著的改善效果。
Description
技术邻域
本发明涉及立体匹配算法邻域，尤其是一种基于改进双向动态规划的立体匹配方法。
背景技术
立体视觉技术是人们通过研究生物捕获物体三维空间信息的视觉系统而发展起来的一门重要的3D显示技术，即通过借助多方位地拍摄目标图像，并合成目标的深度视差信息，以完成空间目标的立体场景信息重建。
由匹配约束对象的差异性，通常将立体匹配算法划分为两类，一种是针对像素局部小邻域来制定约束策略的局部匹配算法，这类算法易于操作、运行速度快，但在遮挡区域的匹配效果较差；针对这一问题，一些学者提出了另一种全局匹配算法，即通过对整幅图像进行全局约束，相较而言，此类算法能够实现较低的误匹配率，但计算的复杂度较高。
全局匹配算法主要包括：动态规划、图切割和置信度传播等。此类匹配算法由于计算复杂度比较高，导致算法无法达到实时性的要求。因此在实时性要求较高的情况下，一般会选用动态规划算法，动态规划是全局算法中一种较典型的优化方法，它避免了非确定多项式问题，同时具有匹配效果良好、运行效率较高的特点。
Birchfield等人提出将列向匹配度较高的区域视差衍射到低匹配区域的做法，该算法虽然实现了较快的运行速率，但扫描线间的视差结果较差，另外在算法优化部分可能会造成错误视差扩散到全局的不利影响；Gong and Yang则提出了一种提高二通道DP算法可靠性的做法，即通过在垂直和水平两个方向上分别进行动态规划计算搜索路径，该算法确保了较高的匹配精度，但须要借助编程图形显示卡来获取视差图的实时效果；另外Leung等人提出了一种迭代动态规划算法，其通过多次迭代算法，来增强视差图的连续性，而导致的较长运行时间不利于实验操作。目前，这些动态规划算法皆有一个较为明显的不足，即视差图容易出现横向的“条纹”瑕疵，究其原因是缺少行、列方向上连续视差结果的融合，另外一些算法虽然能够确保较高地运行速率，但立体匹配精度相对较低，或是提高了精度，但算法的实时性不太理想。
发明内容
有鉴于此，本发明的目的是提供一种基于改进双向动态规划的立体匹配方法，目的是为了解决现有动态规划算法所获取视差图中出现的“条纹”瑕疵和高误匹配率的问题。
本发明采用以下方案实现：一种基于改进双向动态规划的立体匹配方法，其特征在于，包括以下步骤：
S01：修正自适应加权代价函数；
S02：利用修正后的自适应加权代价函数，以构建新的全局能量函数；
S03：利用构建的全局能量函数，采用改进后的双向动态规划算法来搜索视差点匹配路径；
S04：采用滤波方法和遵循三个可靠性准则去除孤立的错误视差点；
S05：获得最终的稠密视差图。
在本发明一实施例中，所述的修正自适应加权代价函数所构建新的初始代价函数为：其中，Td为视差非连续区域的判断门限，Ti为截断门限值。
在本发明一实施例中，所述步骤S02构建的全局能量函数中平滑约束项的修正公式为：其中p1为小于p的常参数。
在本发明一实施例中，所述改进后的双向动态规划算法，其中针对数据约束项所制定的奖励策略有：情况1，若列方向初始视差梯度变化存在有错误的视差值点时，其赋值沿用原值；情况2，若在列方向初始视差梯度未出现异常的情况下，而在行动态规划中能够得到匹配的视差值点，那么其值赋予大的奖励值；情况3，其他视差值点则使用小的奖励值，具体表达式为：其中，Ti为截断门限值，r取正数。
在本发明一实施例中，所述r取值为7。
在本发明一实施例中，所述去除孤立的错误视差点所遵循的三个可靠性准则为：(1)若该像素点上下邻域像素的视差值相等，则赋予该点视差值与上下临域点一致；(2)若该像素点左右邻域像素的视差值相等，则赋予该点视差值与左右邻域点一致；(3)若该像素点周围邻域点的视差值都不相等，则赋予该点视差值为其邻域所有点的视差值均值。
本发明所采用的三个可靠性准则大大加快了错误匹配点的剔除，图像全局匹配的精确度相对较高，能够将误匹配率降低到7％以下，同时制定了新的列向平滑约束项策略，在降低误匹配率和减少“条纹”瑕疵方面有显著的改善效果。
为使本发明的目的、技术方案及优点更加清楚明白，以下将通过具体实施例和相关附图，对本发明作进一步详细说明。
附图说明
图1为本发明视差图获取流程图。
图2为行列双向动态规划示意图。
图3a为第一组原始立体图像对(Tsukuba)左图。
图3b为第一组原始立体图像对(Tsukuba)右图。
图4为第一组本发明算法生成的视差图。
图5a为第二组原始立体图像对(Cones)左图。
图5b为第二组原始立体图像对(Cones)右图。
图6为第二组本发明算法生成的视差图。
图7a为第三组原始立体图像对(Teddy)左图。
图7b为第三组原始立体图像对(Teddy)右图。
图8为第三组本发明算法生成的视差图。
图9a为第四组原始立体图像对(Venus)左图。
图9b为第四组原始立体图像对(Venus)右图。
图10为第四组本发明算法生成的视差图。
具体实施方式
如图1所示，本发明提供一种基于改进双向动态规划的立体匹配方法，包括以下步骤：
S01：修正自适应加权代价函数；
S02：利用修正后的自适应加权代价函数，以构建新的全局能量函数；
S03：利用构建的全局能量函数，采用改进后的双向动态规划算法来搜索视差点匹配路径；
S04：采用(简单的)滤波方法和遵循三个可靠性准则去除孤立的错误视差点；
S05：获得最终的稠密视差图。
具体的，步骤S01：修正自适应加权代价函数。
将图像像素点的彩色像素值转化为CIELab值，Δcpq为窗口中心像素p和像素q的CIELab值的欧几里德距离，Δgpq表示p，q两点在图像空间中的欧几里德距离，γc和γp表示颜色和距离的参数。单个像素的代价权值为：
w(p,q)＝exp[-(Δcpq/γc+Δgpq/γp)]；
对应像素为待匹配像素为p，相应的代价函数的计算公式为：
式中，为目标图像窗口的代价权值，w(p,q)为参考图像窗口的代价权值，
所述的修正自适应加权代价函数所构建新的初始代价函数为：
式中Td为视差非连续区域的判断门限，Ic(q)为q点的像素值，为q对应的视差为d的点，为对应视差为d的点的像素值，Ti为截断门限值，在非连续区域内，当彩色像素值差值的绝对值之和超过其截断门限值时，初始代价值取为截断门限值；反之，取值为差值的绝对值与截断门限值之和中的最小值。
步骤S02：利用步骤S01中修正后的自适应加权代价函数，以构建新的全局能量函数。
所构建的全局能量函数仍然只包含两项：平滑项和数据项，其计算公式为：
式中为数据项，选取最小的视差值为其代价值，其中V(dp,dq)为视差平滑约束项的公式为：
其中，ρI(ΔI)为相邻像素p与q之间的视差值，其修正为：
其中，p为增大小梯度的惩戒项，p1为小于p的常参数，S表示惩戒项，di表示i点的视差，dj表示i相邻点j的视差，ΔI表示相邻像素的视差差值。
步骤S03：利用步骤S02中构建的全局能量函数，采用改进后的双向动态规划算法来搜索视差点匹配路径，具体过程如图2所示。
针对数据约束项所制定的奖励策略有：情况1，若列方向初始视差梯度变化存在有错误的视差值点时，其赋值沿用原值；情况2，若在列方向初始视差梯度未出现异常的情况下，而在行动态规划中能够得到匹配的视差值点，那么其值应该赋予较大的奖励值；情况3，其他视差值点则使用较小的奖励值，具体表达式为：
其中，Ti为截断门限值，r一般取相对较小的正数，当r取值过小时，奖励值过小，会造成行方向上的DP效果不明显；当r取值过大时，会使得列方向上的视差值点被选中的概率过大，导致列方向上的DP失去了意义，经过多次实验测试得知，r取值为7时，所得匹配结果较为理想。
步骤S04：采用简单的滤波方法和遵循三个可靠性准则去除孤立的错误视差点，并获得最终的稠密视差图。
去除孤立的错误视差点所遵循的三个可靠性准则：(1)若该像素点上下邻域像素的视差值相等，则赋予该点视差值与上下邻域点一致；(2)若该像素点左右邻域像素的视差值相等，则赋予该点视差值与左右邻域点一致；(3)若该像素点周围邻域点的视差值都不相等，则赋予该点视差值为其邻域所有点的视差值均值。
采用本发明方法对四组原始立体图像对(分别为Tsukuba,Cones,Teddy,Venus,详见图3a、3b、5a、5b、7a、7b、9a、9b)进行测试，所获取的视差图结果如图4、6、8、10所示。
上列较佳实施例，对本发明的目的、技术方案和优点进行了进一步详细说明，所应理解的是，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (1)
1.一种基于改进双向动态规划的立体匹配方法，其特征在于，包括以下步骤：
S01：修正自适应加权代价函数；
S02：利用修正后的自适应加权代价函数，以构建新的全局能量函数；
S03：利用构建的全局能量函数，采用改进后的双向动态规划算法来搜索视差点匹配路径；
S04：采用滤波方法和遵循三个可靠性准则去除孤立的错误视差点；
S05：获得最终的稠密视差图；
通过所述步骤S01修正自适应加权代价函数后，构建一新的初始代价函数，该初始代价函数为：其中，式中Td为视差非连续区域的判断门限，Ic(q)为q点的像素值，为q对应的视差为d的点，为对应视差为d的点的像素值，Ti为截断门限值；
所述步骤S02构建的全局能量函数中平滑约束项的修正公式为：其中，p为增大小梯度的惩戒项，p1为小于p的常参数，s表示惩戒项，di表示i点的视差，dj表示i相邻点j的视差，ΔI表示相邻像素的视差差值；
所述改进后的双向动态规划算法，其中针对数据约束项所制定的奖励策略有：情况1，若列方向初始视差梯度变化存在有错误的视差值点时，其赋值沿用原值；情况2，若在列方向初始视差梯度未出现异常的情况下，而在行动态规划中能够得到匹配的视差值点，那么其值赋予大的奖励值；情况3，其他视差值点则使用小的奖励值，具体表达式为：
其中，Ti为截断门限值，r取正数；
所述r取值为7；
所述去除孤立的错误视差点所遵循的三个可靠性准则为：(1)若该像素点上下邻域像素的视差值相等，则赋予该点视差值与上下邻域点一致；(2)若该像素点左右邻域像素的视差值相等，则赋予该点视差值与左右邻域点一致；(3)若该像素点周围邻域点的视差值都不相等，则赋予该点视差值为其邻域所有点的视差值均值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410197814.9A CN103942810B (zh) | 2014-05-12 | 2014-05-12 | 一种基于改进双向动态规划的立体匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410197814.9A CN103942810B (zh) | 2014-05-12 | 2014-05-12 | 一种基于改进双向动态规划的立体匹配方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103942810A CN103942810A (zh) | 2014-07-23 |
| CN103942810B true CN103942810B (zh) | 2017-07-04 |
Family
ID=51190461
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410197814.9A Active CN103942810B (zh) | 2014-05-12 | 2014-05-12 | 一种基于改进双向动态规划的立体匹配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103942810B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108230382B (zh) * | 2018-01-30 | 2021-04-30 | 上海理工大学 | 基于Spearman相关性系数和动态规划融合的立体匹配算法 |
| CN109903379A (zh) * | 2019-03-05 | 2019-06-18 | 电子科技大学 | 一种基于点云优化采样的三维重建方法 |
| CN111862077B (zh) * | 2020-07-30 | 2024-08-30 | 浙江大华技术股份有限公司 | 视差图的处理方法及装置、存储介质、电子装置 |
-
2014
- 2014-05-12 CN CN201410197814.9A patent/CN103942810B/zh active Active
Non-Patent Citations (1)
| Title |
|---|
| 行列双动态规划的改进自适应立体匹配算法;赵明 等;《计算机工程与应用》;20111231;第47卷(第23期);第178-180页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103942810A (zh) | 2014-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107451607B (zh) | 一种基于深度学习的典型人物的身份识别方法 | |
| CN102710951B (zh) | 基于散斑结构光深度相机的多视点计算成像方法 | |
| Guttmann et al. | Semi-automatic stereo extraction from video footage | |
| CN110378838B (zh) | 变视角图像生成方法，装置，存储介质及电子设备 | |
| CN104463890B (zh) | 一种立体图像显著性区域检测方法 | |
| CN101610425B (zh) | 一种评测立体图像质量的方法和装置 | |
| WO2019082797A1 (ja) | 再構成方法および再構成装置 | |
| WO2021181647A1 (ja) | 画像処理装置、画像処理方法、およびコンピュータ可読媒体 | |
| CN107944386A (zh) | 基于卷积神经网络的视觉场景识别方法 | |
| WO2017027322A1 (en) | Automatic connection of images using visual features | |
| CN102609950A (zh) | 一种二维视频深度图的生成方法 | |
| WO2021114870A1 (zh) | 视差估计系统、方法、电子设备及计算机可读存储介质 | |
| CN103942810B (zh) | 一种基于改进双向动态规划的立体匹配方法 | |
| CN103260043A (zh) | 基于学习的双目立体图像匹配方法及系统 | |
| Pahwa et al. | Locating 3D object proposals: A depth-based online approach | |
| CN103679739A (zh) | 基于遮挡区域检测的虚拟视图生成方法 | |
| CN104778673B (zh) | 一种改进的高斯混合模型深度图像增强方法 | |
| CN116189140A (zh) | 一种基于双目视觉的车辆三维目标检测算法 | |
| CN104008374B (zh) | 一种矿井图像中基于条件随机场的矿工检测方法 | |
| CN103945206A (zh) | 一种基于相似帧比较的立体图像合成系统 | |
| CN103955886A (zh) | 一种基于图论和灭点检测的2d-3d图像转换方法 | |
| CN103236057A (zh) | 一种改进的自适应权重视差匹配方法 | |
| Salih et al. | Depth estimation using monocular cues from single image | |
| CN109544619A (zh) | 一种基于图割的双目视觉立体匹配方法及系统 | |
| Gerke | Supervised classification of multiple view images in object space for seismic damage assessment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |