CN102665086B - 利用基于区域的局部立体匹配获取视差的方法 - Google Patents
利用基于区域的局部立体匹配获取视差的方法 Download PDFInfo
- Publication number
- CN102665086B CN102665086B CN201210125938.7A CN201210125938A CN102665086B CN 102665086 B CN102665086 B CN 102665086B CN 201210125938 A CN201210125938 A CN 201210125938A CN 102665086 B CN102665086 B CN 102665086B
- Authority
- CN
- China
- Prior art keywords
- weight
- pixel point
- parallax
- matching
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 24
- 230000009466 transformation Effects 0.000 claims abstract description 4
- 238000006243 chemical reaction Methods 0.000 claims description 50
- 239000011159 matrix material Substances 0.000 claims description 50
- 238000012937 correction Methods 0.000 claims description 29
- 238000003708 edge detection Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 description 8
- 238000011161 development Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
本发明公开了利用基于区域的局部立体匹配获取视差的方法，包括：对第一路视点图像的当前像素点，在第二路视点图像中选取若干个搜索像素点；分别采用SAD算法和Rank变换算法得到当前像素点与某个搜索像素点之间的第一和第二匹配代价值；在第一路视点图像的二值化边缘图像中与当前像素点对应的像素点的周围设定区域内，根据边缘像素点的个数确定第一和第二匹配权值；第一匹配代价值与第一匹配权值之积加上第二匹配代价值与第二匹配权值之积的和作为当前像素点与搜索像素点之间的最终匹配代价值；得到其余的最终匹配代价值，在所有最终匹配代价值中，选择最小匹配代价值对应的搜索像素点与当前像素点之间的向量差即是当前像素点的第一视差。
Description
【技术领域】
本发明涉及视觉处理领域，具体涉及利用基于区域的局部立体匹配获取视差的方法。
【背景技术】
在信息化数字化的时代，随着社会的发展，普通2D视频已经在某些方面不能满足人类生活和工作的需要，3D视频相关技术成为目前科技发展的重要领域。立体视频的制作具有广泛的前景和商业价值，目前获取立体视频通常有三种方式，1）采用立体摄像机进行拍摄。该方式需要采用专业的立体视频拍摄设备及完整的后期处理流水线，成本过高。同时，立体摄像机拍摄时需要在不同视角间进行匹配校准，对拍摄环境及摄像机运动都有着一定的限制。2）三维建模软件制作立体视频，这种方法需要专业人员花费大量精力对场景、对象进行建模。3）2D转3D，直接将常见的平面视频转换为立体视频。这种方法的成本较低，而且可以将任何一组现有的平面视频转换为立体视频。但由于视频本身深度信息的有限，得出的立体视频效果并不能完全满足实际应用的需要。
普通的立体视频通常只有两个视点，需要佩戴相关的设备例如立体眼镜才能观看，极为不便，且与真实场景的3D感受相距甚远。裸眼显示设备不仅可以讲人们从立体眼镜中解放出来，同时采用播放多视点视频的方式可以提高观影者的自由度，在不同视角间切换可以看到不同的效果，更接近真实世界中的立体感受。但是要得到多视点视频序列以供裸眼显示设备播放，就必须得到精确地深度信息，配合虚拟视点合成技术才能实现。目前获取深度图的方法很多，就针对处理对象不同来分类的或主要分为三类，单视点，双目视频和多视点视频，单视点由于信息量较少难以得到令人满意的深度信息，而多视点视频的获取又过于复杂，所以如何利用双目视频获取深度信息就成为目前最具发展潜力的研究课题，通常的方法是立体匹配。
自20世纪80年代,美国麻省理工学院的Marr提出了一种视觉计算理论并应用在双目匹配上,使两张有视差的平面图产生具有深度的立体图形,那时便奠定了双目立体视觉发展的理论基础。知道现在，立体匹配依然是计算机视觉的研究热点之一，其基本原理是从两个视点观察同一景物以获取立体像对，匹配出相应像素点，从而计算出视差并获得深度信息。
立体匹配算法根据所选的特征及特征相似性量度，建立特征之间的对应关系，将同一个空间物理点在不同图像中的映射点对应起来。立体匹配算法实质上是在匹配机缘相似性准则下的最佳搜索问题。根据匹配机缘的不同，目前的立体匹配算法就可以分为三类：基于区域的立体匹配算法，基于特征的立体匹配算法，基于相位的立体匹配算法。其中最常用的是基于区域的立体匹配算法，以待匹配点为中心创建一个窗口，用领域像素的弧度制分布来表征像素，当搜索区域中某像素点与待匹配点的相似性测度最佳是，则认为这两点匹配。该方法实现简单，在视差连续且纹理丰富的地方可以达到比较高的精度，但是对噪声比较敏感。
基于区域的立体匹配算法，根据能量函数选择及优化策略的不同又可以分为局部算法和全局算法。
【发明内容】
为了克服现有技术的不足，本发明提供了利用基于区域的局部立体匹配获取视差的方法，包括以下步骤：
A.对第一路视点图像的当前像素点，在作为参考的第二路视点图像中选取若干个搜索像素点；
B.采用SAD算法得到当前像素点与某个搜索像素点之间的第一匹配代价值，采用Rank转换算法得到当前像素点与该搜索像素点之间的第二匹配代价值；
C.对第一路视点图像进行边缘检测得到对应的二值化边缘图像，在二值化边缘图像中与当前像素点对应的像素点的周围设定区域内，计算边缘像素点的个数，根据边缘像素点的个数确定第一匹配权值和第二匹配权值，其中，所述边缘像素点的个数越多第一匹配权值越小且第二匹配权值越大；
D.第一匹配代价值与第一匹配权值之积加上第二匹配代价值与第二匹配权值之积的和作为当前像素点与所述搜索像素点之间的最终匹配代价值；
E.重复步骤B至D，直至得到当前像素点分别与其余搜索像素点之间的最终匹配代价值，在所有最终匹配代价值中的最小值对应的搜索像素点与当前像素点之间的向量差，即是当前像素点对于第二路视点图像的第一视差。
优选地，还包括如下步骤：
若当前像素点周围预定区域内的某一个像素点的最小最终匹配代价值与当前像素点的最小最终匹配代价值之差在设定阈值之内，则将其作为校正当前像素点的视差的基准。
优选地，所述步骤B中第一匹配代价值通过如下步骤确定：
B1.确定在以当前像素点为中心的目标窗口内的各个像素点相对于当前像素点的支持权值；
B2.确定在以某个搜索像素点为中心的参考窗口内的各个像素点相对于该搜索像素点的支持权值；
B3.计算目标窗口的像素点的支持权值与参考窗口对应像素点的支持权值之积作为综合权值，将所有得到的综合权值进行相加得到综合权值和；
B4.计算目标窗口的像素点与参考窗口对应的像素点之间的色彩绝对误差，对每个色彩绝对误差与步骤B3中对应的综合权值进行相乘得到综合色彩绝对误差；
B5.将所有得到的综合色彩绝对误差相加得到的和除以综合权值和即得到所述第一匹配代价值；
其中，目标窗口与参考窗口大小相等，像素点之间的色彩相似度越大，支持权值越大，像素点之间距离越近，支持权值越大。
优选地，若某个综合权值小于综合权值阈值，则将该综合权值置为零。
优选地，若以当前像素点为中心的目标窗口内的某一个像素点的最小最终匹配代价值与当前像素点的最小最终匹配代价值之差的绝对值在设定阈值之内，则将该像素点的视差权值设置为较大视差权值，若差在设定阈值之外，则将该像素点的视差权值设置为较小视差权值，并保存在与目标窗口大小相等的视差权值矩阵的对应位置中；
将目标窗口内的各个像素点的综合权值分别与对应位置的视差权值矩阵的视差权值相乘之积，得到校正权值矩阵的对应位置的校正权值；
计算目标窗口内的像素点的视差与校正权值矩阵中对应位置的校正权值之积作为加权视差，将所有得到的加权视差进行相加得到加权视差和；
计算校正权值矩阵内所有校正权值之和作为校正权值和；
将加权视差和除以校正权值和的商作为校正视差。
优选地，所述步骤B中第二匹配代价值通过如下步骤确定，包括：
按照两个像素点之间的亮度差的大小分作若干个亮度差等级，每个亮度差等级对应一个转换权值；
以当前像素点为中心的转换目标窗口中的像素点的亮度值减去当前像素点的亮度值得到目标亮度差，根据目标亮度差的大小确定对应的转换权值，依次将转换目标窗口内所有像素点对应的转换权值保存在相应大小的转换目标权值矩阵中；
以当前像素点的某个搜索像素点为中心的转换参考窗口中的像素点的亮度值减去该搜索像素点的亮度值得到参考亮度差，根据参考亮度差的大小确定对应的转换权值，依次将转换参考窗口内所有像素点对应的转换权值保存在相应大小的转换参考权值矩阵中；
建立大小与转换目标权值矩阵和转换参考权值矩阵相等的第二匹配权值矩阵，若转换目标权值矩阵中某个元素与转换参考权值矩阵中对应元素的权值不相等，则在第二匹配权值矩阵的对应元素赋予较小转换权值，若相等，则在第二匹配权值矩阵的对应元素赋予较大转换权值；
对第二匹配权值矩阵中的所有元素进行累加得到第二匹配代价值。
优选地，还包括如下步骤：
利用当前像素点的视差找到第二路视点图像中的对应像素点，以对应像素点为当前像素点，相应地将第二路视点图像代替第一路视点图像，重复步骤A至E，得到对应像素点相对于第一路视点图像的第二视差；
若当前像素点的第一视差与对应的第二视差之差的绝对值大于视差阈值，则将最近的第一视差最小的、且第一视差与对应的第二视差之差的绝对值小于视差阈值的像素点的第一视差，作为当前像素点的第一视差。
优选地，还包括如下步骤：对第一路视点图像和第二路视点图像分别作一次投影变换，使得两者对应的极线在同一扫描线上。
9、如权利要求3所述的利用基于区域的局部立体匹配获取视差的方法，其特征是：在步骤B1和B2中确定当前像素点的目标窗口的支持权值和参考窗口的支持权值时使用的像素色彩和位置信息，从经过中值滤波后的第一路视点图像和第二路视点图像中获取。
本发明的有益效果是：1）本发明在立体匹配的代价积累过程中采取SAD（绝对误差和）和Rank Transform相结合的方法，SAD侧重考虑像素本身的亮度和彩色信息，Rank Transform侧重于表征以当前像素为中心的窗口的结构信息。
2）本发明在综合考虑SAD和Rank Transform时，采用自适应权值的方式，对于图像的不同区域自适应调整两种方法计算的匹配代价在确定最佳匹配过程中所占的比重，从而得到更精确的结果。
3）本发明在获取基于SAD计算窗口的匹配代价时，对窗口内每个像素，计算该像素与窗口中心像素的颜色和距离的相似程度，进而得到该像素与中心像素的相关程度，自适应调整每个像素的支持权重。对于其中相似程度很小的像素，采用阈值截断的方式，直接将其权值设置为零，通过这种方式可以使得窗口的形状自适应变化，可以得到当前待匹配像素的最佳窗口形状。
4）本发明在获取视差的同时保存了最小匹配代价对应的第一匹配代价值，根据第一匹配代价信息得到校正窗口，采用自适应窗口及支持权值的方式校正当前第一视差。
【附图说明】
图1是本发明一种具体实施例的流程图；
图2是本发明一种具体实施方式的流程图；
图3是图2中预处理步骤的一种具体实施方式的流程图；
图4是图2中视差获取步骤的一种具体实施方式的流程图；
图5是图2中视差校正步骤的一种具体实施方式的流程图；
图6是图2中后处理步骤的一种具体实施方式的流程图；
图7是本发明的一种具体实施方式的流程图。
【具体实施方式】
以下将结合附图，对本发明的具体实施例作进一步详细说明。
如图1所示，利用基于区域的局部立体匹配获取视差的方法的一种具体实施例，包括以下步骤：
A.对第一路视点图像的当前像素点，在作为参考的第二路视点图像中选取若干个搜索像素点；
B.采用SAD算法得到当前像素点与某个搜索像素点之间的第一匹配代价值，采用Rank转换算法得到当前像素点与该搜索像素点之间的第二匹配代价值；
C.对第一路视点图像进行边缘检测得到对应的二值化边缘图像，在二值化边缘图像中与当前像素点对应的像素点的周围设定区域内，计算边缘像素点的个数，根据边缘像素点的个数确定第一匹配权值和第二匹配权值，其中，所述边缘像素点的个数越多第一匹配权值越小且第二匹配权值越大；
D.第一匹配代价值与第一匹配值之积加第一匹配代价值与第二匹配值之积的和作为当前像素点与所述搜索像素点之间的最终匹配代价值；
E.重复步骤B至D，直至得到当前像素点分别与其余搜索像素点之间的最终匹配代价值，在所有最终匹配代价值中的最小值对应的搜索像素点与当前像素点之间的向量差，即是当前像素点对于第二路视点图像的第一视差。
如图2-7所示，利用基于区域的局部立体匹配获取视差的方法的更为具体的实施例中，可以分为四个处理步骤，如图3所示，包括：
100：预处理步骤
200：视差获取步骤
300：视差校正步骤
400：后处理步骤
为了叙述方便，这里用 
表示第一路视点图像，在双目系统中为输入的左图，
表示第二路视点图像，在双目系统中为输入的右图，
表示左图第i行第j列的像素，
表示左图第i行第j列的像素。
100预处理步骤：
101：读入待处理的左右路图片，作为立体匹配方法的输入。
102：极线校正，对左右两幅图像各进行一次投影变换，使得两幅图像对应的极线在同一扫描线上。
200视差获取步骤：
对于左图的当前像素点
，设定视差搜索范围为
，则搜索区域为右图同一水平线的像素点（称之为搜索像素点）集，其中
。
计算
和
之间的匹配代价值：先通过SAD（绝对误差和）算法得到第一匹配代价值
（优选地，采用SAD和自适应窗口计算得到匹配代价），再由Rank Transform（Rank转换）算法计算第二匹配代价值，确定第一匹配代价值的第一匹配权值和第二匹配代价值
的第二匹配代价权值，加权二者得到当前像素点与右图搜索像素点（参考点）之间的最终匹配代价值
。
依次对视差搜索范围中的
范围内的每个搜索像素点（参考点）
，计算其与
的最终匹配代价值，根据WTA原则（Winner-Take-All原则），在所有最总匹配代价值
中选择最小值对应的搜索点（参考点）作为最佳匹配点，该最佳匹配点与当前像素点之间的向量差即为当前像素点
的对应于右图的视差值（第一视差），即为d（由于
处于同一扫描线上）。具体步骤如下：
201：对左图做边缘检测，采用一般方法即可，例如cany算法。得到一幅二值化的二值化边缘图像，边缘上的点亮度值为255，其他像素点的亮度值为0。
为叙述方便，记左图的边缘图像为
，
表示左图中第i行第j列像素的亮度值。
202~203：基于SAD和自适应窗口计算第一匹配代价值
1）像素点p和像素点q之间的绝对误差（AD）计算公式：
2）自适应窗口的选择：以当前像素点为中心，选取大小为
的目标窗口，参数
选择范围优选为27~37的奇数，根据窗口内各像素点与当前像素点的亮度和彩色信息以及距离信息，计算其与
的相关程度，作为权值。目标窗口内像素点
表示左图中第i+m行第j+n列的像素点，其权值记为
，其中，q表示除了选为中心的当前像素之外的像素，下标L表示像素点q属于左图，括号内的i+m和j+n分别表示像素点q的行与列。
对原图像进行中值滤波以去除噪声干扰。滤波窗口大小选择
或
。计算权值
需同时考虑色彩差异和距离信息。两个像素点之间的色彩相似度越大权值越大，两个像素点之间的距离越近权值越大。
为了降低噪声信号的影响，计算权值时所采用的颜色信息均以对原图像进行中值滤波后的图像为参考，中值滤波只用于权值计算时，匹配过程中对
的计算仍应该按照原图像信息进行。
像素点p和像素点q之间的色彩相似度计算算法如下：
，其中RGB代表像素的彩色分量。
像素点p和像素点q之间的距离计算算法如下：
，其中XY代表像素的横纵坐标。
则像素点p和像素点q之间的权值计算：
3）匹配代价值的计算需要同时考虑目标窗口和参考窗口（以搜索像素点
为中心的窗口），为了得到更准确的权值，需要同时考虑目标窗口内各像素的权值和参考窗口内各像素的权值，二者需要根据自己窗口内的不同信息分别计算。同样，参考窗口的大小与目标窗口的大小相等，参考窗口内的某个像素点
与中心像素点（即当前像素点的搜索像素点
）之间的权值记为
。参考窗口内的某个像素点
与目标窗口内的对应像素点
之积作为综合权值，记为：
4）为了进一步得到更加合理的窗口，由步骤3）计算得到的综合权值
，如果很小，则表示该点对应的像素点不应该属于当前像素点的窗口，可以将其置为0，具体地，当
且
时，将综合权值置为0。这样得到的窗口不仅各像素点的权值不同，同时可以使得窗口形状不同，进而得到更优的匹配效果。
5）综上，第一匹配代价值的计算如下：
1)以当前像素点
为中心，选取大小为
目标窗口，其中X和Y的选择范围优选为17~25的奇数，二者可以不相等。先计算两个像素点之间的亮度差Diff，每个等级对应一个转换权值，对于目标窗口内的各像素点来说，目标窗口内各像素的亮度值减去中心像素的亮度值，将亮度差优选分为5个等级，每个等级对应一个目标转换权值，并将所有目标转换权值保存在一个与目标窗口大小相等的转换目标权值矩阵
中的对应位置，计算方法如下：
其中u和v为阈值参数，u可选择2,3,4，v可选择8,9,10
2)与步骤1）类似，计算获取参考窗口的转换参考权值矩阵（参考窗口的Rank矩阵），以当前像素点的某个搜索像素点
为中心，选取大小为
参考窗口，其中X和Y的选择范围优选为17~25的奇数，二者可以不相等，将参考窗口内各像素的亮度值减去中心像素的亮度值，将亮度差优选分为5个等级，每个等级对应一个参考转换权值，并将所有参考转换权值保存在一个与参考窗口大小相等的转换参考权值矩阵
中的对应位置。
计算大小与转换目标权值矩阵
和转换参考权值矩阵
相等的第二匹配权值矩阵，其中，m和n分别表示转换目标权值矩阵
或转换参考权值矩阵
的行位置和列位置。
3)第二匹配代价值
：
206：加权计算最终匹配代价值
，
根据202~205计算得到的第一匹配代价值
和第二匹配代价值
得到最终匹配代价值
其中第一匹配权值
和第二匹配权值
为加权系数，根据当前像素点所在区域是否属于边界区域，自适应调整权值的大小。
对于当前像素点
，根据步骤201得到的边缘图像
，检查以边缘图像像素点
为中心的
窗口内9个像素点，统计属于边缘像素点（在本算法中，边缘像素点的亮度值为255，当然可以用亮度值0进行标记）的像素个数记做K。则权值计算方法如下：
207：根据WTA（Winner-Take-All）选取最小匹配代价值（最佳匹配结果）对应的视差
在设定视差搜索范围
内，依次计算当前像素点
和每个搜索像素点
的最终匹配代价值
，
。基于Winner-Take-All原则选取最小最终匹配代价值，则当前像素点
相对于第二视点图像的对应的第一视差为
，即为两个像素点之间的向量差，在这里为对应的d。
同时保存最小最终匹配代价值对应的第一匹配代价值，为下面校正提供依据。构建最小匹配代价值矩阵
，大小与第一（二）视点图像相同，最小匹配代价值矩阵
的第i行第j列的元素为像素点
得到最佳匹配点时对应的第一匹配代价值
，即：
。
300视差校正步骤：
302：视差校正窗口选择
以当前像素点
为中心选择大小为
的视差校正窗口，其中
。
根据207中保存的
信息去掉窗口中不合适的支持像素，建立一个大小为
的视差权值矩阵
保存该信息。计算当前像素点
（左图中第i行第j列的像素点）对应最佳匹配点时的第一匹配代价值为，视差校正窗口内的某一像素点
（左图中第m行第n列的像素点）对应的最佳匹配点时的第一匹配代价值为
，如果某一像素点
的第一匹配代价值
与当前像素点
的第一匹配代价值
之差在设定阈值内，优选地 
，则认为该像素点是合适的校正支持像素，则将视差校正矩阵的与该视差校正窗口相对应的位置置为1，否则置为0，用公式表达如下：
，否则为0。
303：视差校正的视差权值计算
根据步骤202~203中计算得到的综合权值和步骤303中计算得到的视差权值矩阵
，确定当前像素点
的校正权值矩阵
。
其中，
表示左图中第i+a行第j+b列的第一视差，
表示校正权值矩阵中第
第
列的校正权值。
后处理步骤：
401：一致性检测
根据上述步骤，分别得到左图相对于右图的视差，和右图相对于左图的视差，对于左图中的一个像素点p，若其视差值是第一视差值d1，则得到像素点p在右图中的对应像素点q（通过p-d1得到），对于像素点q，其相对于左图的视差值通过上述步骤计算为第二视差值d2，若|d1-d2|>threshold（阈值），则将像素点p标记为遮挡点（用一幅二值遮挡图像记录，遮挡点为0，非遮挡点为1）。
402：遮挡处理
根据二值遮挡图像，为所有黑色的遮挡点赋予合理的视差值。具体方法如下：对于遮挡像素点p，找到最近的某个非遮挡的像素点，该像素点的第一视差在所有最近的非遮挡像素点中，第一视差最小，优选地，分别水平往左和往右找到第一个非遮挡点，记作分别记为左非遮挡像素点pl和右非遮挡像素点pr，点p的视差值赋成左非遮挡像素点pl和右非遮挡像素点pr视差值中较小的那一个值，即d(p)=min( d(pl) , d(pr) )。
Claims (9)
1.利用基于区域的局部立体匹配获取视差的方法，其特征是，包括以下步骤：
A.对第一路视点图像的当前像素点，在作为参考的第二路视点图像中选取若干个搜索像素点；
B.采用SAD算法得到当前像素点与某个搜索像素点之间的第一匹配代价值，采用Rank转换算法得到当前像素点与该搜索像素点之间的第二匹配代价值；
C.对第一路视点图像进行边缘检测得到对应的二值化边缘图像，在二值化边缘图像中与当前像素点对应的像素点的周围设定区域内，计算边缘像素点的个数，根据边缘像素点的个数确定第一匹配权值和第二匹配权值，其中，所述边缘像素点的个数越多第一匹配权值越小且第二匹配权值越大；
D.第一匹配代价值与第一匹配权值之积加上第二匹配代价值与第二匹配权值之积的和作为当前像素点与所述搜索像素点之间的最终匹配代价值；
E.重复步骤B至D，直至得到当前像素点分别与其余搜索像素点之间的最终匹配代价值，在所有最终匹配代价值中的最小值对应的搜索像素点与当前像素点之间的向量差，即是当前像素点对于第二路视点图像的第一视差。
2.如权利要求1所述的利用基于区域的局部立体匹配获取视差的方法，其特征是，在所述步骤E后，还包括如下步骤：
若当前像素点周围预定区域内的某一个像素点的最小最终匹配代价值与当前像素点的最小最终匹配代价值之差在设定阈值之内，则将其作为校正当前像素点的视差的基准。
3.如权利要求1所述的利用基于区域的局部立体匹配获取视差的方法，其特征是所述步骤B中第一匹配代价值通过如下步骤确定：
B1.确定在以当前像素点为中心的目标窗口内的各个像素点相对于当前像素点的支持权值；
B2.确定在以某个搜索像素点为中心的参考窗口内的各个像素点相对于该搜索像素点的支持权值；
B3.计算目标窗口的像素点的支持权值与参考窗口对应像素点的支持权值之积作为综合权值，将所有得到的综合权值进行相加得到综合权值和；
B4.计算目标窗口的像素点与参考窗口对应的像素点之间的色彩绝对误差，对每个色彩绝对误差与步骤B3中对应的综合权值进行相乘得到综合色彩绝对误差；
B5.将所有得到的综合色彩绝对误差相加得到的和除以综合权值和即得到所述第一匹配代价值；
其中，目标窗口与参考窗口大小相等，像素点之间的色彩相似度越大，支持权值越大，像素点之间距离越近，支持权值越大。
4.如权利要求3所述的利用基于区域的局部立体匹配获取视差的方法，其特征是：若某个综合权值小于综合权值阈值，则将该综合权值置为零。
5.如权利要求3所述的利用基于区域的局部立体匹配获取视差的方法，其特征是：
若以当前像素点为中心的目标窗口内的某一个像素点的最小最终匹配代价值与当前像素点的最小最终匹配代价值之差的绝对值在设定阈值之内，则将该像素点的视差权值设置为较大视差权值，若差在设定阈值之外，则将该像素点的视差权值设置为较小视差权值，并保存在与目标窗口大小相等的视差权值矩阵的对应位置中；
将目标窗口内的各个像素点的综合权值分别与对应位置的视差权值矩阵的视差权值相乘之积，得到校正权值矩阵的对应位置的校正权值；
计算目标窗口内的像素点的视差与校正权值矩阵中对应位置的校正权值之积作为加权视差，将所有得到的加权视差进行相加得到加权视差和；
计算校正权值矩阵内所有校正权值之和作为校正权值和；
将加权视差和除以校正权值和的商作为校正视差。
6.如权利要求1所述的利用基于区域的局部立体匹配获取视差的方法，其特征是：所述步骤B中第二匹配代价值通过如下步骤确定，包括：
按照两个像素点之间的亮度差的大小分作若干个亮度差等级，每个亮度差等级对应一个转换权值；
以当前像素点为中心的转换目标窗口中的像素点的亮度值减去当前像素点的亮度值得到目标亮度差，根据目标亮度差的大小确定对应的转换权值，依次将转换目标窗口内所有像素点对应的转换权值保存在相应大小的转换目标权值矩阵中；
以当前像素点的某个搜索像素点为中心的转换参考窗口中的像素点的亮度值减去该搜索像素点的亮度值得到参考亮度差，根据参考亮度差的大小确定对应的转换权值，依次将转换参考窗口内所有像素点对应的转换权值保存在相应大小的转换参考权值矩阵中；
建立大小与转换目标权值矩阵和转换参考权值矩阵相等的第二匹配权值矩阵，若转换目标权值矩阵中某个元素与转换参考权值矩阵中对应元素的权值不相等，则在第二匹配权值矩阵的对应元素赋予较小转换权值，若相等，则在第二匹配权值矩阵的对应元素赋予较大转换权值；
对第二匹配权值矩阵中的所有元素进行累加得到第二匹配代价值。
7.如权利要求1所述的利用基于区域的局部立体匹配获取视差的方法，其特征是：还包括如下步骤：
在所述步骤E后，利用当前像素点的视差找到第二路视点图像中的对应像素点，以对应像素点为当前像素点，相应地将第二路视点图像代替第一路视点图像，重复步骤A至E，得到对应像素点相对于第一路视点图像的第二视差；
若当前像素点的第一视差与对应的第二视差之差的绝对值大于视差阈值，则将最近的第一视差最小的、且第一视差与对应的第二视差之差的绝对值小于视差阈值的像素点的第一视差，作为当前像素点的第一视差。
8.如权利要求1所述的利用基于区域的局部立体匹配获取视差的方法，其特征是：在所述步骤A前，还包括如下步骤：对第一路视点图像和第二路视点图像分别作一次投影变换，使得两者对应的极线在同一扫描线上。
9.如权利要求3所述的利用基于区域的局部立体匹配获取视差的方法，其特征是：在步骤B1和B2中确定当前像素点的目标窗口的支持权值和参考窗口的支持权值时使用的像素色彩和位置信息，从经过中值滤波后的第一路视点图像和第二路视点图像中获取。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210125938.7A CN102665086B (zh) | 2012-04-26 | 2012-04-26 | 利用基于区域的局部立体匹配获取视差的方法 |
| HK12112469.3A HK1171883A1 (en) | 2012-04-26 | 2012-12-03 | Method of utilizing local stereo matching based on area to obtain parallax |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210125938.7A CN102665086B (zh) | 2012-04-26 | 2012-04-26 | 利用基于区域的局部立体匹配获取视差的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102665086A CN102665086A (zh) | 2012-09-12 |
| CN102665086B true CN102665086B (zh) | 2014-03-05 |
Family
ID=46774483
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210125938.7A Expired - Fee Related CN102665086B (zh) | 2012-04-26 | 2012-04-26 | 利用基于区域的局部立体匹配获取视差的方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN102665086B (zh) |
| HK (1) | HK1171883A1 (zh) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103489183B (zh) * | 2012-10-17 | 2017-10-10 | 深圳市瑞工科技有限公司 | 一种基于边缘分割和种子点的局部立体匹配方法 |
| CN103778598B (zh) * | 2012-10-17 | 2016-08-03 | 株式会社理光 | 视差图改善方法和装置 |
| CN103810690B (zh) * | 2012-11-07 | 2017-09-05 | 富士通株式会社 | 立体匹配方法和装置 |
| CN103049903B (zh) * | 2012-11-21 | 2015-07-08 | 清华大学深圳研究生院 | 一种用于立体视觉系统的双目立体匹配方法 |
| CN102999913B (zh) * | 2012-11-29 | 2016-01-20 | 清华大学深圳研究生院 | 一种基于可信点传播的局部立体匹配方法 |
| CN104284172A (zh) * | 2013-07-04 | 2015-01-14 | 联咏科技股份有限公司 | 影像匹配方法及立体匹配系统 |
| CN104427324A (zh) * | 2013-09-02 | 2015-03-18 | 联咏科技股份有限公司 | 视差计算方法及其立体匹配装置 |
| CN104977795A (zh) * | 2014-04-08 | 2015-10-14 | 立普思股份有限公司 | 立体摄影系统及其方法 |
| US9407926B2 (en) * | 2014-05-27 | 2016-08-02 | Intel Corporation | Block-based static region detection for video processing |
| US9977998B2 (en) | 2015-04-27 | 2018-05-22 | Sony Corporation | Method and system for processing one or more multi-channel images |
| CN104820991B (zh) * | 2015-05-15 | 2017-10-03 | 武汉大学 | 一种基于代价矩阵的多重软约束立体匹配方法 |
| CN106780711B (zh) * | 2015-11-18 | 2020-05-26 | 深圳先进技术研究院 | 一种立体匹配方法和装置 |
| CN106254850B (zh) * | 2016-08-23 | 2019-06-04 | 深圳市捷视飞通科技股份有限公司 | 双视点立体视频的图像匹配方法及装置 |
| CN107680083B (zh) * | 2017-09-13 | 2020-05-29 | 海信集团有限公司 | 视差确定方法和视差确定装置 |
| CN111433819A (zh) * | 2018-12-04 | 2020-07-17 | 深圳市大疆创新科技有限公司 | 目标场景三维重建方法、系统及无人机 |
| CN112446837B (zh) * | 2020-11-10 | 2024-08-02 | 浙江大华技术股份有限公司 | 图像滤波方法、电子设备及存储介质 |
| CN115022612B (zh) * | 2022-05-31 | 2024-01-09 | 北京京东方技术开发有限公司 | 一种显示装置的驱动方法、装置及显示设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008119480A2 (en) * | 2007-03-31 | 2008-10-09 | Sony Deutschland Gmbh | Noise reduction method and unit for an image frame |
-
2012
- 2012-04-26 CN CN201210125938.7A patent/CN102665086B/zh not_active Expired - Fee Related
- 2012-12-03 HK HK12112469.3A patent/HK1171883A1/xx not_active IP Right Cessation
Non-Patent Citations (2)
| Title |
|---|
| 计算机视觉立体匹配相关理论与算法研究;郭龙源;《中国博士学位论文全文数据库》;20091026;36-44 * |
| 郭龙源.计算机视觉立体匹配相关理论与算法研究.《中国博士学位论文全文数据库》.2009,36-44. |
Also Published As
| Publication number | Publication date |
|---|---|
| HK1171883A1 (en) | 2013-04-05 |
| CN102665086A (zh) | 2012-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102665086B (zh) | 利用基于区域的局部立体匹配获取视差的方法 | |
| CN111066065B (zh) | 用于混合深度正则化的系统和方法 | |
| CN106780590B (zh) | 一种深度图的获取方法及系统 | |
| CN106355570B (zh) | 一种结合深度特征的双目立体视觉匹配方法 | |
| US8644596B1 (en) | Conversion of monoscopic visual content using image-depth database | |
| EP3869797B1 (en) | Method for depth detection in images captured using array cameras | |
| CN106408513B (zh) | 深度图超分辨率重建方法 | |
| RU2423018C2 (ru) | Способ и система для преобразования стереоконтента | |
| CN111047709B (zh) | 一种双目视觉裸眼3d图像生成方法 | |
| CN103971366B (zh) | 一种基于双权重聚合的立体匹配方法 | |
| US9769460B1 (en) | Conversion of monoscopic visual content to stereoscopic 3D | |
| CN108596975A (zh) | 一种针对弱纹理区域的立体匹配算法 | |
| CN106530336B (zh) | 基于色彩信息和图割理论的立体匹配方法 | |
| Kim et al. | Depth adjustment for stereoscopic image using visual fatigue prediction and depth-based view synthesis | |
| CN104331890B (zh) | 一种全局视差估计方法和系统 | |
| CN101662695B (zh) | 一种获取虚拟视图的方法和装置 | |
| CN117456114A (zh) | 基于多视图的三维图像重建方法及系统 | |
| CN110120012B (zh) | 基于双目摄像头的同步关键帧提取的视频拼接方法 | |
| CN111062900B (zh) | 一种基于置信度融合的双目视差图增强方法 | |
| CN106683072B (zh) | 一种基于pup图的3d图像舒适度质量评价方法及系统 | |
| CN104408710B (zh) | 一种全局视差估计方法和系统 | |
| CN111369435A (zh) | 基于自适应稳定模型的彩色图像深度上采样方法及系统 | |
| CN107610070B (zh) | 基于三摄像采集的自由立体匹配方法 | |
| Shen | Depth-map merging for multi-view stereo with high resolution images | |
| CN112200852B (zh) | 一种时空混合调制的立体匹配方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1171883 Country of ref document: HK |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: GR Ref document number: 1171883 Country of ref document: HK |
|
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140305 |