CN104966303A - 一种基于马尔可夫随机场的视差图精化方法 - Google Patents

一种基于马尔可夫随机场的视差图精化方法 Download PDF

Info

Publication number
CN104966303A
CN104966303A CN201510429120.8A CN201510429120A CN104966303A CN 104966303 A CN104966303 A CN 104966303A CN 201510429120 A CN201510429120 A CN 201510429120A CN 104966303 A CN104966303 A CN 104966303A
Authority
CN
China
Prior art keywords
disparity map
disparity
random field
markov random
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510429120.8A
Other languages
English (en)
Other versions
CN104966303B (zh
Inventor
何俊学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lanzhou University of Technology
Original Assignee
Lanzhou University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lanzhou University of Technology filed Critical Lanzhou University of Technology
Priority to CN201510429120.8A priority Critical patent/CN104966303B/zh
Publication of CN104966303A publication Critical patent/CN104966303A/zh
Application granted granted Critical
Publication of CN104966303B publication Critical patent/CN104966303B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于马尔可夫随机场的视差图精化方法，属于计算机视觉及模式识别技术领域，其步骤为：输入初始左视差图，得到右视差图；利用扩展的交叉验证法进行异常点的检测并将视差点进行分类；建立全局能量函数；计算数据项和平滑项；利用图割算法进行求解；得到精化后的视差图。本方法可以有效地去除局部或全局立体匹配算法生成的视差图中的误匹配点，大幅度提升视差图的精度，最终得到精化后的高精度视差图，利于视觉深度信息的进一步处理。

Description

一种基于马尔可夫随机场的视差图精化方法
技术领域
 本发明涉及计算机视觉及模式识别技术领域，特别是涉及一种立体视觉技术中视差图的精化方法。
背景技术
 立体匹配问题是计算机视觉中的关键科学问题，至今没有完全令人满意的解法。很多算法针对不同的应用，在匹配的效率和精度问题上进行权衡。这里只讨论如何进一步提高立体匹配的精度问题。
 给出两幅已校正的立体图像对, 在采用某一算法求解立体匹配问题时, 算法的结果往往是一幅左视差图或者左右二幅视差图。 由于存在遮挡等各种复杂因素的影响, 所以, 所得到的视差图总是存在或多或少的误匹配, 这些误匹配在视差图中的表现就是很多的异常值, 有一些异常值甚至是大面积的。 这一现象是普遍存在的, 无论采用局部性算法, 还是采用性能优良的全局性算法,例如图割算法和信任传播算法,异常值都有可能会出现在视差图中。
很多异常点区域通过不断的能量最小化迭代操作并不会被合理的消除。 视差图中大量异常值的存在影响了立体视觉技术的更进一步的研究, 尤其不利于在此基础上的中后期视觉技术的研究, 所以消除异常值显得非常有必要。如何“消除”视差图中的这些异常值？目前并没有十分有效的解决方法。 然而在立体视觉中, 这的确是一个非常关键的科学问题, 消除异常值后, 可以获得更高精度的视差图, 优良的匹配结果可以优化视觉信息的进一步处理过程。 消除异常值不仅仅意味着简单的删除, 而且要以更加适当的视差值替补。 这样的操作实际上是一个精化的过程。
发明内容
本发明的目的在于提供了一种基于马尔可夫随机场的视差图精化方法，消除初始视差图中的误匹配点，更进一步提高立体匹配的精度。
本发明是一种基于马尔可夫随机场的视差图精化方法，其步骤为：
步骤（1）读取初始左视差图；
步骤（2）生成右视差图；
步骤（3）异常视差点检测；
步骤（4）视差点分类；
步骤（5）建立马尔可夫随机场模型；
步骤（6）建立全局能量方程；
步骤（7）计算数据项与平滑项；
步骤（8）利用图割算法进行求解；
步骤（9）得到精化以后的高精度视差图。
本发明的有益效果是：能够有效地解决了对初始视差图进一步精化的问题，经过本发明所述的精化过程，视差图的精度将获得大幅度地提升，非常有利于对视觉信息的进一步处理。
上述说明仅是本发明技术方案的概述，为了能够更清楚地了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的附图和较佳实施例详细说明如后。
附图说明
图1为基于马尔可夫随机场的视差图精化方法步骤流程图，图2为初始左视差图，图3为初始右视差图，图4为左视差图中检测到的异常视差点，图5为右视差图中检测到的异常视差点，图6为初始左视差图在Middlebury网站评估后的误匹配点，图7为精化后的左视差图在Middlebury网站评估后的误匹配点，图8为Teddy左图像，图9为Teddy右图像，图10为精化后的视差图，图11为Teddy的基准视差图。
具体实施方式
本发明是一种基于马尔可夫随机场的视差图精化方法，其步骤为：
    步骤（1）读取初始左视差图；
    步骤（2）生成右视差图；
    步骤（3）异常视差点检测；
    步骤（4）视差点分类；
    步骤（5）建立马尔可夫随机场模型；
    步骤（6）建立全局能量方程；
    步骤（7）计算数据项与平滑项；
    步骤（8）利用图割算法进行求解；
    步骤（9）得到精化以后的高精度视差图。
根据以上所述的方法，在步骤（1）中，初始左视差图由某一立体匹配算法得到，例如可以采用全局性立体匹配算法如信任传播算法、图割算法等等。
根据以上所述的方法，在步骤（2）中，生成右视差图，利用立体匹配左右对应原理，即可以根据左视差图生成对应的右视差图。
根据以上所述的方法，在步骤（3）和步骤（4）中，异常视差点的检测及分类，将初始视差图中的所有视差点分为三类，令                                                为初始左视差图，检测后正确匹配的视差点集为，直接交叉验证后得到的异常视差点集为，间接交叉验证后得到的异常视差点集为；判别一个视差点属于集合，令为左视差图的一个点的位置，为其视差值，为其匹配的右视差图中的点的位置，为其视差值，则有：
，
这时，中点的视差值为，对应左视差图中的点为：
，
若，则在中的这个点就是异常点，且属于集合。
根据以上所述的方法，在步骤（5）中，建立马尔可夫随机场模型，马尔可夫随机场中以初始视差值为观测数据。
根据以上所述的方法，在步骤（6）中，建立全局能量方程，其能量方程为：
，
其中，为邻域系统，为图像，为像素，为数据项，为像素的平滑项。
根据以上所述的方法，在步骤（7）中，计算数据项与平滑项，其数据项为：
 ，
其中，正确匹配的点集为，直接交叉验证后得到的直接异常点集为，间接交叉验证后得到的间接异常点集为， 为常数；其平滑项为：
，
其中，为视差间断的最大截尾值，均为视差值。
根据以上所述的方法，在步骤（8）中，利用图割算法进行求解，采用方法对能量函数进行求解。
为更进一步阐述本发明为达到预定发明目的所采取的技术手段和功效，对依据本发明所提出的基于马尔可夫随机场的视差图精化方法其具体实施方式、特征及其功效，下面结合具体的实施例对本发明做进一步详细说明。
实施例1：
本发明的基于马尔可夫随机场的视差图精化方法包括以下步骤：
（1）读取初始左视差图，初始左视差图由某一立体匹配算法得到，例如可以采用全局性立体匹配算法如信任传播算法、图割算法等等；
（2）生成右视差图，利用立体匹配左右对应原理，即可以根据左视差图生成对应的右视差图；
（3）异常视差点检测；
（4）视差点分类；
（5）建立马尔可夫随机场模型；
（6）建立全局能量方程；
（7）计算数据项与平滑项；
（8）利用图割算法进行求解；
（9）得到精化以后的高精度视差图。
原理说明：初始左视差图由某种立体匹配算法得到。
 以上所述的基于马尔可夫随机场的视差图精化方法，初始左视差图由某种立体匹配算法得到。
以上所述步骤（2）生成右视差图，由立体匹配技术中的对应原理得到。
以上述步骤（3）异常视差点检测，异常视差点由扩展以后的交叉验证法进行检测得到，判别一个视差点属于间接异常点，令为左视差图的一个点的位置， 为其视差值，为其匹配的右视差图中的点的位置，为其视差值，则有：
，
这时，中点的视差值为，对应左视差图中的点为：，
若，则在中的这个点就是异常点，且属于间接异常点。
以上所述步骤（4）视差点分类，根据步骤（3）的结果，将初始视差图中的所有视差点分为三类。令为初始左视差图，检测后正确匹配的视差点集为，直接交叉验证后得到的异常视差点集为，间接交叉验证后得到的异常视差点集为。
以上所述步骤（5）建立马尔可夫随机场模型，马尔可夫随机场中以初始视差值为观测数据。
以上所述步骤6）建立全局能量方程，其能量方程为：
 
其中，为邻域系统，为图像，为像素，为数据项，为像素的平滑项。
以上所述步骤（7）计算数据项与平滑项，其数据项为：
 
其中，正确匹配的点集为，直接交叉验证后得到的异常点集为，间接交叉验证后得到的异常点集为，令视差区间为,一般地，可以取,,。
以上所述步骤（7）计算数据项与平滑项，其平滑项为：
 
其中，为视差间断的最大截尾值，一般可取，均为视差值。
以上所述步骤（8）利用图割算法进行求解，采用算法对能量函数进行求解。
以上所述步骤（9）得到精化以后的高精度视差图，像素值由步骤（8）得到。
根据本发明所述步骤及原理，最后可以得到精化后的视差图，由结果可见，精差图的精度获得到了大幅度的提升，非常有利于对视觉信息的进一步处理。

Claims (8)

1.一种基于马尔可夫随机场的视差图精化方法，其特征在于，其步骤为：
    步骤（1）读取初始左视差图；
    步骤（2）生成右视差图；
    步骤（3）异常视差点检测；
    步骤（4）视差点分类；
    步骤（5）建立马尔可夫随机场模型；
    步骤（6）建立全局能量方程；
    步骤（7）计算数据项与平滑项；
    步骤（8）利用图割算法进行求解；
    步骤（9）得到精化以后的高精度视差图。
2.根据权利要求1所述的基于马尔可夫随机场的视差图精化方法，其特征在于，在步骤（1）中，初始左视差图由某一立体匹配算法得到，例如可以采用全局性立体匹配算法如信任传播算法、图割算法等等。
3.根据权利要求1所述的基于马尔可夫随机场的视差图精化方法，其特征在于，在步骤（2）中，生成右视差图，利用立体匹配左右对应原理，即可以根据左视差图生成对应的右视差图。
4.根据权利要求1所述的基于马尔可夫随机场的视差图精化方法，其特征在于，在步骤（3）和步骤（4）中，异常视差点的检测及分类，将初始视差图中的所有视差点分为三类，令                                                为初始左视差图，检测后正确匹配的视差点集为，直接交叉验证后得到的异常视差点集为，间接交叉验证后得到的异常视差点集为；判别一个视差点属于集合，令为左视差图的一个点的位置，为其视差值，为其匹配的右视差图中的点的位置，为其视差值，则有：
，
这时，中点的视差值为，对应左视差图中的点为：
，
若，则在中的这个点就是异常点，且属于集合。
5.根据权利要求1所述的基于马尔可夫随机场的视差图精化方法，其特征在于，在步骤（5）中，建立马尔可夫随机场模型，马尔可夫随机场中以初始视差值为观测数据。
6.根据权利要求1所述的基于马尔可夫随机场的视差图精化方法，其特征在于，在步骤（6）中，建立全局能量方程，其能量方程为：
，
其中，为邻域系统，为图像，为像素，为数据项，为像素的平滑项。
7.根据权利要求1所述的基于马尔可夫随机场的视差图精化方法，其特征在于，在步骤（7）中，计算数据项与平滑项，其数据项为：
 ，
其中，正确匹配的点集为，直接交叉验证后得到的直接异常点集为，间接交叉验证后得到的间接异常点集为， 为常数；其平滑项为：
，
其中，为视差间断的最大截尾值，均为视差值。
8.根据权利要求1所述的基于马尔可夫随机场的视差图精化方法，其特征在于，在步骤（8）中，利用图割算法进行求解，采用方法对能量函数进行求解。
CN201510429120.8A 2015-07-21 2015-07-21 一种基于马尔可夫随机场的视差图精化方法 Active CN104966303B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510429120.8A CN104966303B (zh) 2015-07-21 2015-07-21 一种基于马尔可夫随机场的视差图精化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510429120.8A CN104966303B (zh) 2015-07-21 2015-07-21 一种基于马尔可夫随机场的视差图精化方法

Publications (2)

Publication Number Publication Date
CN104966303A true CN104966303A (zh) 2015-10-07
CN104966303B CN104966303B (zh) 2018-02-06

Family

ID=54220334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510429120.8A Active CN104966303B (zh) 2015-07-21 2015-07-21 一种基于马尔可夫随机场的视差图精化方法

Country Status (1)

Country Link
CN (1) CN104966303B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530336A (zh) * 2016-11-07 2017-03-22 湖南源信光电科技有限公司 基于色彩信息和图割理论的立体匹配算法
CN111524075A (zh) * 2020-03-26 2020-08-11 北京迈格威科技有限公司 深度图像滤波方法、图像合成方法、装置、设备及介质
CN113395504A (zh) * 2021-03-31 2021-09-14 北京迈格威科技有限公司 视差图优化方法、装置、电子设备及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009014314A1 (en) * 2007-06-29 2009-01-29 Postech Academy-Industry Foundation Belief propagation based fast systolic array and method thereof
CN101625761A (zh) * 2009-08-06 2010-01-13 浙江工业大学 一种基于全局和局部算法的计算机双目视觉匹配方法
CN102819843A (zh) * 2012-08-08 2012-12-12 天津大学 基于边界控制置信传播的立体图像视差估计方法
CN103226821A (zh) * 2013-04-27 2013-07-31 山西大学 基于视差图像素分类校正优化的立体匹配方法
CN104318576A (zh) * 2014-11-05 2015-01-28 浙江工业大学 一种超像素级别的图像全局匹配方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009014314A1 (en) * 2007-06-29 2009-01-29 Postech Academy-Industry Foundation Belief propagation based fast systolic array and method thereof
CN101625761A (zh) * 2009-08-06 2010-01-13 浙江工业大学 一种基于全局和局部算法的计算机双目视觉匹配方法
CN102819843A (zh) * 2012-08-08 2012-12-12 天津大学 基于边界控制置信传播的立体图像视差估计方法
CN103226821A (zh) * 2013-04-27 2013-07-31 山西大学 基于视差图像素分类校正优化的立体匹配方法
CN104318576A (zh) * 2014-11-05 2015-01-28 浙江工业大学 一种超像素级别的图像全局匹配方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530336A (zh) * 2016-11-07 2017-03-22 湖南源信光电科技有限公司 基于色彩信息和图割理论的立体匹配算法
CN106530336B (zh) * 2016-11-07 2020-01-17 湖南源信光电科技有限公司 基于色彩信息和图割理论的立体匹配方法
CN111524075A (zh) * 2020-03-26 2020-08-11 北京迈格威科技有限公司 深度图像滤波方法、图像合成方法、装置、设备及介质
CN111524075B (zh) * 2020-03-26 2023-08-22 北京迈格威科技有限公司 深度图像滤波方法、图像合成方法、装置、设备及介质
CN113395504A (zh) * 2021-03-31 2021-09-14 北京迈格威科技有限公司 视差图优化方法、装置、电子设备及计算机可读存储介质
WO2022205934A1 (zh) * 2021-03-31 2022-10-06 北京迈格威科技有限公司 视差图优化方法、装置、电子设备及计算机可读存储介质
CN113395504B (zh) * 2021-03-31 2023-04-04 北京迈格威科技有限公司 视差图优化方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN104966303B (zh) 2018-02-06

Similar Documents

Publication Publication Date Title
Bazazian et al. Fast and robust edge extraction in unorganized point clouds
Chen et al. On the over-smoothing problem of cnn based disparity estimation
US11145080B2 (en) Method and apparatus for three-dimensional object pose estimation, device and storage medium
Nguyen et al. Support local pattern and its application to disparity improvement and texture classification
EP2860695A1 (en) Method and apparatus for identifying noise in disparity depth image
CN108022262A (zh) 一种基于点的邻域重心向量特征的点云配准方法
CN105761206A (zh) 点云拼接方法及系统
US8989481B2 (en) Stereo matching device and method for determining concave block and convex block
EP3073443A1 (en) 3D Saliency map
CN106373162A (zh) 一种基于显著性融合与传播的显著物体检测方法
US20130307936A1 (en) Method of finding point correspondences, device for performing the method, and system including the device
CN104036259A (zh) 人脸相似度识别方法和系统
CN104966303B (zh) 一种基于马尔可夫随机场的视差图精化方法
CN103337064A (zh) 图像立体匹配中的一种误匹配点剔除方法
CN117495891B (zh) 点云边缘检测方法、装置和电子设备
CN107730543B (zh) 一种半稠密立体匹配的快速迭代计算方法
AFFES et al. Comparison of YOLOV5, YOLOV6, YOLOV7 and YOLOV8 for Intelligent Video Surveillance.
Lim et al. A census transform-based robust stereo matching under radiometric changes
CN110503093B (zh) 基于视差图dbscan聚类的感兴趣区域提取方法
CN102708379B (zh) 一种立体视觉的遮挡像素分类算法
CN104504692A (zh) 基于区域对比度的图像中显著对象的提取方法
CN112084855A (zh) 一种基于改进ransac方法对视频流的外点剔除方法
CN108665479B (zh) 基于压缩域多尺度特征tld的红外目标跟踪方法
She et al. Vanishing point estimation for challenging road images
Yan et al. Infrared image segment and fault location for power equipment

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20151007

Assignee: Gansu Weitai Engineering Technology Co.,Ltd.

Assignor: LANZHOU University OF TECHNOLOGY

Contract record no.: X2020620000004

Denomination of invention: A disparity map refinement method based on Markov random field

Granted publication date: 20180206

License type: Common License

Record date: 20201224