CN106887018B - 立体匹配方法、控制器和系统 - Google Patents

立体匹配方法、控制器和系统 Download PDF

Info

Publication number
CN106887018B
CN106887018B CN201510937846.2A CN201510937846A CN106887018B CN 106887018 B CN106887018 B CN 106887018B CN 201510937846 A CN201510937846 A CN 201510937846A CN 106887018 B CN106887018 B CN 106887018B
Authority
CN
China
Prior art keywords
pixel
pixels
reliability
energy propagation
reference image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510937846.2A
Other languages
English (en)
Other versions
CN106887018A (zh
Inventor
刘媛
刘振华
刘殿超
师忠超
王刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to CN201510937846.2A priority Critical patent/CN106887018B/zh
Priority to EP16201289.2A priority patent/EP3182369B1/en
Publication of CN106887018A publication Critical patent/CN106887018A/zh
Application granted granted Critical
Publication of CN106887018B publication Critical patent/CN106887018B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

一种立体匹配方法、控制器和系统，该方法包括：计算第一图的像素和第二图的像素之间的匹配代价；预估作为参考图像的、第一图和第二图之一中的像素的视差值和对应的可靠度，其中，所述可靠度表示该像素的预估的视差值的正确的概率；根据所述参考图像中的两个像素之间的所述视觉特征的差异度和在图像坐标中的距离和该两个像素对应的可靠度来计算该两个像素之间的有方向的能量传播系数；基于所述有方向的能量传播系数来构造有方向的图模型；基于所述有方向的能量传播系数来实施置信传播算法以获得像素的更新的视差值。

Description

立体匹配方法、控制器和系统
技术领域
本发明涉及图像处理领域，且更具体地涉及立体匹配方法、控制器和系统。
背景技术
立体匹配是立体匹配中最基本的技术，它主要需要解决的问题是如何将真实对象点在双目摄像机拍摄的左右两幅图像中的投影点对应起来，即通过一幅图像的每个像素点，如何准确找出在另一幅图像中的对应点，从而计算对应点对的图像坐标差值，得出视差值。
到目前为止立体匹配算法研究已取得了显著的发展，涌现出了许多立体匹配算法，算法匹配精度不断提高。根据约束方式的不同，可将立体匹配算法分为局部匹配算法和全局匹配算法两大类。
局部匹配算法通常是对待匹配像素点周围小邻域内进行讨论，获得待匹配点的视差值，此类算法往往计算量小，易于硬件实现。
全局匹配算法是对扫描线甚至整个图像进行讨论，通过不同视差分布计算全局范围内的不同相似性度量值，最小度量值即为最优视差分布。通常全局匹配方法都是在一个全局能量函数最小化的框架下进行的，根据约束条件，定义出相应的全局能量函数，通过算法计算获得全局能量函数最小值时所对应的视差分布，即得出视差图。
因此，仍然存在对立体匹配方法的不断探索以寻求更精确的立体匹配结果。
发明内容
置信传播算法可以应用于立体匹配的全局匹配算法中。置信传播算法的优点是根据区域的特点自动调节消息传输的距离远近，它不仅考虑了相邻像素点对目标像素点的影响，还考虑了不相邻像素点对目标像素点的影响，同时能很好的处理低纹理区域和深度不连续区域，在低纹理区域，消息可以传输很远；在不连续区域，消息的传输很快停止。这些方法通常首先利用局部匹配实现粗匹配，找出其中正确的匹配点对(种子点)，用这些匹配点对进行全局匹配处理，以计算其他像素点的视差值，最终获得精度更高的稠密视差图。这种方法的最基本的步骤就是计算像素之间的关系，即如何将种子点的信息传播到其他点，将多少种子点的信息来进行置信传播。信息传播的能量的多少可以用能量传播系数来表征。现有的技术通常采用匹配代价计算、初始视差值计算、以及与邻像素的输入/输出消息传递的步骤。在消息传递过程中完成置信传播。
本公开的技术对现有的置信传播算法进行了改进，提高了立体匹配的精确度。
具体地，根据本发明的一个方面，提供一种立体匹配方法，包括：计算第一图的像素和第二图的像素之间的匹配代价；预估作为参考图像的、第一图和第二图之一中的像素的视差值和对应的可靠度，其中，所述可靠度表示该像素的预估的视差值的正确的概率；根据所述参考图像中的两个像素之间的所述视觉特征的差异度和在图像坐标中的距离和该两个像素对应的可靠度来计算该两个像素之间的有方向的能量传播系数；基于所述有方向的能量传播系数来实施置信传播算法以获得像素的更新的视差值。
根据本发明的另一个方面，提供一种立体匹配系统，包括：拍摄装置，被配置为拍摄第一图和第二图；控制器，被配置为接收所述拍摄装置发送的第一图和第二图，并计算第一图的像素和第二图的像素之间的匹配代价；预估作为参考图像的、第一图和第二图之一中的像素的视差值和对应的可靠度，其中，所述可靠度表示该像素的预估的视差值的正确的概率；根据所述参考图像中的两个像素之间的所述视觉特征的差异度和在图像坐标中的距离和该两个像素对应的可靠度来计算该两个像素之间的有方向的能量传播系数；基于所述有方向的能量传播系数来实施置信传播算法以获得像素的更新的视差值。
根据本发明的另一个方面，提供一种立体匹配控制器，包括：匹配代价计算装置，被配置为计算第一图的像素和第二图的像素之间的匹配代价；预估装置，被配置为预估作为参考图像的、第一图和第二图之一中的像素的视差值和对应的可靠度，其中，所述可靠度表示该像素的预估的视差值的正确的概率；能量传播系数计算装置，被配置为根据所述参考图像中的两个像素之间的所述视觉特征的差异度和在图像坐标中的距离和该两个像素对应的可靠度来计算该两个像素之间的有方向的能量传播系数；视差值获得装置，被配置为基于所述有方向的能量传播系数来实施置信传播算法以获得像素的更新的视差值。
附图说明
图1示出应用根据本发明的实施例的立体匹配算法的系统硬件场景图。
图2示出了根据本发明的一个实施例的立体匹配方法的示意流程图。
图3A示出了置信传播算法的传播示意图。
图3B示出了根据本发明的实施例的考虑种子点的可靠度来进行置信传播算法的示意图。
图3C示出了根据本发明的实施例的考虑两个像素点之间的传播是非对称的方式来进行置信传播算法的示意图。
图4示出了根据本发明的实施例的基于可靠度的置信传播算法的立体匹配过程的示意图。
图5示出了根据本发明的实施例的立体匹配控制器的方框图。
具体实施方式
现在将详细参照本发明的具体实施例，在附图中例示了本发明的例子。尽管将结合具体实施例描述本发明，但将理解，不是想要将本发明限于所述的实施例。相反，想要覆盖由所附权利要求限定的在本发明的精神和范围内包括的变更、修改和等价物。应注意，这里描述的方法步骤都可以由任何功能块或功能布置来实现，且任何功能块或功能布置可被实现为物理实体或逻辑实体、或者两者的组合。
为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。
注意，接下来要介绍的示例仅是一个具体的例子，而不作为限制本发明的实施例必须为如下具体的步骤、数值、条件、数据、顺序等等。本领域技术人员可以通过阅读本说明书来运用本发明的构思来构造本说明书中未提到的更多实施例。
图1示出应用根据本发明的实施例的立体匹配算法的系统硬件场景图。
如图1所示的一种立体匹配系统包括：拍摄装置100，被配置为拍摄第一图102(1)和第二图102(2)；控制器101，被配置为执行根据本发明的实施例的立体匹配算法。该立体匹配算法可以包括接收所述拍摄装置100发送的第一图和第二图，并计算第一图的像素和第二图的像素之间的匹配代价；预估作为参考图像的、第一图和第二图之一中的像素的视差值和对应的可靠度，其中，所述可靠度表示该像素的预估的视差值的正确的概率；根据所述参考图像中的两个像素之间的所述视觉特征的差异度和在图像坐标中的距离和该两个像素对应的可靠度来计算该两个像素之间的有方向的能量传播系数；基于所述有方向的能量传播系数来实施置信传播算法以获得像素的更新的视差值。由此，可以通过更新的视差值来构建最终的视差图。
在此，如果该拍摄装置为双目相机，则拍摄得到至少作为第一图的左图和作为第二图的右图。在以下实施例的说明中，采用示例而非限制的左图和右图来给出说明。但实际上，随着科技的发展，可能出现多维相机，而本发明公开的立体匹配技术也可以应用于多维立体匹配中。
在此，控制器101可以包括通用处理器、数字信号处理器(DSP)、ASIC、场可编程门阵列信号(FPGA)或其他可编程逻辑器件(PLD)、离散门或晶体管逻辑、离散的硬件组件或者其任意组合而实现或进行所述的各个例示的逻辑块、模块和电路。处理器101可以以单个芯片、芯片组、集成电路、单片机等的形式。通用处理器可以是微处理器，但是作为替换，该控制器可以是任何商业上可获得的处理器、微控制器或状态机。控制器还可以实现为计算设备的组合，例如DSP和微处理器的组合，多个微处理器、与DSP核协作的一个或多个微处理器或任何其他这样的配置。控制器内部还可以包括存储器(未示出)。存储器可以存储至少一个计算机可执行指令，用于在由控制器执行时本技术所描述的实施例中的各个功能和/或方法的步骤。存储器还可以临时或永久地存储各种数据和指令。
当然，图1所示的硬件场景图仅是一个示例而非限制，本领域技术人员可以基于本公开的描述来构造任何适当的硬件场景。
图2示出了根据本发明的一个实施例的立体匹配方法200的示意流程图。
根据本实施例的立体匹配方法200包括：步骤201，计算第一图的像素和第二图的像素之间的匹配代价；步骤202，预估作为参考图像的、第一图和第二图之一中的像素的视差值2021和对应的可靠度2022，其中，所述可靠度2022表示该像素的预估的视差值的正确的概率；步骤203，根据所述参考图像中的两个像素之间的所述视觉特征的差异度和在图像坐标中的距离和该两个像素对应的可靠度来计算该两个像素之间的有方向的能量传播系数；步骤204基于所述有方向的能量传播系数来实施置信传播算法以获得像素的更新的视差值。
在步骤201中，例如左图的第一图和例如右图的第二图可以是极线校正过的，使得左图和右图可以位于同一极线上，以便更准确地计算左图的各个像素和右图的各个像素之间的匹配代价。匹配代价可以用任意一种已知的匹配代价函数来计算，例如绝对差和(Sumof Absolute Differences，SAD)，平方差和(Sum of Squared Differences，SSD)，绝对差零均值和(Zeromean Sum of Absolute Differences，ZSAD)，平方差零均值和(ZeromeanSum of Squared Differences，ZSSD)，伯奇和托马西(Birchfield and Tomasi，BT)，互信息(Mutual Information，MI)，Census等等。为了提高初始视差图的精度，也可进一步利用多种匹配代价函数融合得到更高精度的匹配代价函数。同时，通过一定大小的窗口中，利用窗口叠加来增强匹配代价的可靠性也是一种提高精度的常见方法。
在步骤202中，利用得到的匹配代价，预估左图和右图中的参考图像中的每个像素的视差值和对应的可靠度。这里，左图和右图中取一个作为参考图像，并计算该参考图像中的每个像素的视差值和对应的可靠度。另外，这里可以仅得到初步的粗略的视差值，为了提高计算效率而不太考虑准确度的话，可以采用简单有效的方法来计算，例如胜者为王(Winner Takes All，WTA)算法。
优选地，在得到初始的视差值的同时，也相应地求出该初始的视差值的可靠度的得分。可靠度可以表示该像素的预估的视差值的正确的概率。在此，关于可靠度在立体匹配中的应用可参考文献X.Hu，P.Mordohai，A quantitative evaluation of confidencemeasures for stereo vision，in PAMI 34(2012)，2121-2133。在该文献中提到很多种计算可靠度的算法。例如，可靠度的计算可以采用基于规则的算法或者学习预测算法来完成。
如果采用基于规则的算法可以包括以下步骤：基于每个像素点及其相邻的像素，提取匹配代价的曲线的可靠性特征；对每个像素点进行投票，其中，fin是像素i的第n个可靠性特性，fin的值越大表示像素i的初始的预估视差值在第n个可靠性特性上表现出更高的可靠性，如果fin的值大于预定阈值，则像素i得到投票；将像素i的总投票Σn fin作为像素i的初始的预估视差值的可靠度得分。在此，可靠性特性指的是由于不同的视差值评估方法得到不同初始视差值而得到的对应于不同初始视差值的不同可靠性特性。因此，利用投票的方式能够对各个不同的初始视差值评估方法的可靠性特性进行统计，得到更为准确的可靠性。如果采用学习预测的算法可以包括以下步骤：收集包括多个样本的训练集，每一个样本包括匹配的像素对及其正确的视差值，每个样本还有一个正负标签，表示按照胜者为王(WTA)算法得到的预估视差值是否正确；基于匹配代价的曲线的可靠性特征，利用机器学习的算法来学习一个分类器，以预测一个预估的视差值是否可靠。
当然，计算预估的视差值和相应的可靠度的方法不限于上述，本领域技术人员还可以采用已知的其他方法。
在本文中，用像素点作为单位来进行初始视差值的预估和可靠度的计算以及后续的能量传播系数和传播模型的建立，这是考虑到精细度，利用像素点可以获得精细的视差值。然而，在追求速度而不太考虑精细度的情况下，也可以采用比像素点更大的图像块作为单位，例如具有相同或类似视觉特征(颜色/灰度)的超像素块等等。
如此，可以通过根据所述参考图像中的两个像素之间的所述视觉特征的差异度和在图像坐标中的距离和该两个像素对应的可靠度来计算该两个像素之间的有方向的能量传播系数，从而考虑每个像素的预估视差值的可靠程度(即正确的概率)来获得更准确的能量传播系数，从而获得更准确的置信传播模型，来得到更准确的视差值。
下面结合图3A-3C和图4详细介绍步骤203的根据所述参考图像中的两个像素之间的所述视觉特征的差异度和在图像坐标中的距离和该两个像素对应的可靠度来计算该两个像素之间的有方向的能量传播系数的原理。
图3A示出了置信传播算法的传播示意图。
置信传播算法通常首先利用局部匹配实现粗匹配，找出其中正确的匹配点对(种子点)，用这些匹配点对进行全局匹配处理，以计算其他像素点的视差值，最终获得精度更高的稠密视差图。这种方法的最基本的步骤就是计算像素点之间的关系，即如何将种子点的信息传播到其他点，将多少种子点的信息来进行置信传播。如图3A所示，用能量传播系数来表征在置信传播算法中从种子点向其他像素点的信息传播的能量的多少，即种子点能将多少信息能量传播到其他像素点。
图3B示出了根据本发明的实施例的考虑种子点的可靠度来进行置信传播算法的示意图。
不同于其中相同地对待任何种子点的传统置信传播算法，根据本发明的实施例，可以考虑不同种子点的各自的可靠度来区别对待不同种子点以进行置信传播算法。如图3B所示，从种子点1向像素点3的能量传播系数由于种子点1和2的可靠度不同而不同于从种子点2向像素点3的能量传播系数。
图3C示出了根据本发明的实施例的考虑两个像素点之间的传播是非对称的方式来进行置信传播算法的示意图。
不同于其中两个像素点之间的能量传播系数对称的传统置信传播算法，根据本发明的实施例，两个像素点之间的能量传播系数由于该两个像素点各自的可靠度而可以是非对称的。如图3C所示，从种子点1向像素点2的能量传播系数由于种子点1和2的可靠度不同而可能不同于从种子点2向像素点1的能量传播系数。因此，在本发明的实施例中，有方向的能量传播系数意味着由于传播方向(例如，像素点1到像素点2和像素点2到像素点1的方向)不同而使得能量传播系数也不同。
图4示出了根据本发明的实施例的基于可靠度的置信传播算法的立体匹配过程的示意图。
如图4所示，a，b，c，...，i表示9个像素点，在传统的置信传播算法中，像素b到e(b→e)，和e到b(e→b)的能量传播系数是相同的。而在本发明的实施例中，因为像素b和e在预估初始视差值的时候的可靠度是不相同的，所以b→e和e→b的能量传播系数也可以是不同的。从而将不相同的能量传播系数加载到有向的图模型中，得到最终的视差值。
具体地，在步骤203中，根据所述参考图像中的两个像素之间的所述视觉特征的差异度和在图像坐标中的距离和该两个像素对应的可靠度来计算该两个像素之间的有方向的能量传播系数。基本的规则可以是：两个像素之间的所述视觉特征的差异度越小，能量传播系数越大；两个像素之间的距离越小，能量传播系数越大；且两个像素对应的可靠度越高，能量传播系数越大。以下列举具体的公式来表示能量传播系数和两个像素之间的所述视觉特征的差异度和在图像坐标中的距离和两个像素对应的可靠度之间的关系，但本发明不限于该具体的公式，而是其他满足上述基本规则的公式都是可以构思的。
在一个实施例中，基于图像像素的视觉特征、空间位置，以及上述得到的可靠度得分，计算能量传播系数。在此，视觉特征可以包括灰度、颜色等视觉信息，空间位置可以包括欧式距离等距离度量。在一个实施例中，用wij表示像素i和像素j之间的初始能量传播系数，其可以被定义为：
Figure BDA0000879058840000081
这里Δc(i，j)＝||I(i)-I(j)||和Δg(i，j)＝||i-j||分别代表像素i和像素j之间的颜色/灰度等的差异度和在图像坐标中的欧式距离。该差异度也反映了两个像素在视觉特征上的相似度，即差异度越小，相似度越高。λc和λg是两个平衡参数。
另一方面，用ri表示像素i的可靠度得分，表示该像素的预估视差值的正确的概率。即，可靠度得分越高，表示预估的视差值越有可能是正确的。能量传播系数pij则可被定义为如下内积形式：
pij＝<ri，wij>
其中<ri，wij>表示可靠度的得分ri和初始能量传播系数wij的内积。
也就是说，在本实施例中，能量传播系数考虑了像素的初始视差值的可靠度得分。另外，由于考虑的传播起始的像素点的可靠度得分，因此，从传播起始的像素点到其他像素点的能量传播系数与从其他像素点到该像素点的能量传播系数可能是不同的、非对称的，因此可以理解为该能量传播系数是有方向的。
另外，在此，由于可以利用每个像素的初始视差值及其可靠度得分，因此，可以更准确地使得每个像素都可以作为种子点(而非传统技术中的仅一部分像素作为种子点)以及考虑其对能量传播系数的影响，因此可以得到更准确的能量传播系数，从而之后得到更准确的视差值和立体匹配结果。
当然，上述具体的能量传播系数的计算公式仅是示例，而事实上，可以构思其他公式，只要使得能量传播系数考虑像素的初始视差值的可靠度得分，使得可靠度得分越高，从该像素传播出去的能量传播系数越大。
在步骤204中，基于所述有方向的能量传播系数来实施置信传播算法以获得像素的更新的视差值。
具体地，首先，建立一个有方向的图模型G＝(V，E)，这里V是图模型的节点，也就是参考图像的像素，图模型中的节点之间的边
Figure BDA0000879058840000091
的权值用能量传播系数pij表示。图模型的每条边是一个有方向的点对[i，j]，表示从像素i到像素j的有向边。这里暂不考虑自循环(selfloop)，即对所有的节点v∈V，
Figure BDA0000879058840000092
在此，有方向的图模型是为了体现节点和节点之间的有方向且有权值的传播关系，事实上，其他类型的模型——只要体现了这种关系——也是可以使用的。
然后，在该图模型上实施置信传播算法以获得像素的更新的视差值。
具体地，基于构建的有向图模型和能量传播系数矩阵，可以定义一个随机游走模型，使得该模型有唯一的稳定分布，例如传送随机游走(teleporting random walk)模型。用П表示一个对角矩阵，该对角矩阵的对角元素是随机游走的稳定分布，计算传播概率矩阵Θ＝(П1/2 PП-1/2+П-1/2 PП1/2)/2其中P是能量传播系数矩阵。用y(i)表示像素i的所述的视差值预估的计算函数，那么像素最终的视差计算函数为f(i)＝(I-αΘ)-1y(i)，这里α是范围为[0，1]的参数。注意，此处f(i)、y(i)可以是矩阵形式，即竖向量式的矩阵。
上述随机游走模型可以从例如文献D.Zhou，J.Huang，and B.Scholkopf，Learningfrom Labeled and Unlabeled Data on a Directed Graph，in ICML，2005中找到。但是，除了随机游走模型以外，还可以使用其他模型来在所述图模型上实施置信传播算法。
总的来说，通过利用可靠度得分，该立体匹配算法不需要如传统算法那样，仅单独地检测种子点，而是所有像素的视差值在考虑可靠度的同时进行置信传播。像素对的初始预估的视差值如果具有较高的可靠度得分，则说明该像素对越有可能是正确的匹配对，将会更容易影响其他像素的视差更新，从而将减轻从不太可靠的像素出发的误传播带来的影响，从而得到更准确的视差值。从而，本发明的实施例的改进的全局立体匹配算法更容易取得更高精度的视差图像。
图5示出了根据本发明的实施例的立体匹配控制器500的方框图。
图5所示的立体匹配控制器500包括：匹配代价计算装置501，被配置为计算第一图的像素和第二图的像素之间的匹配代价；预估装置502，被配置为预估作为参考图像的、第一图和第二图之一中的像素的视差值和对应的可靠度，其中，所述可靠度表示该像素的预估的视差值的正确的概率；能量传播系数计算装置503，被配置为根据所述参考图像中的两个像素之间的所述视觉特征的差异度和在图像坐标中的距离和该两个像素对应的可靠度来计算该两个像素之间的有方向的能量传播系数；视差值获得装置504，被配置为基于所述有方向的能量传播系数来实施置信传播算法以获得像素的更新的视差值。
例如左图的第一图和例如右图的第二图可以是极线校正过的，使得左图和右图可以位于同一极线上，以便更准确地计算左图的各个像素和右图的各个像素之间的匹配代价。匹配代价可以用任意一种已知的匹配代价函数来计算，例如绝对差和(Sum ofAbsolute Differences，SAD)，平方差和(Sum of Squared Differences，SSD)，绝对差零均值和(Zeromean Sum of Absolute Differences，ZSAD)，平方差零均值和(Zeromean Sumof Squared Differences，ZSSD)，伯奇和托马西(Birchfield and Tomasi，BT)，互信息(Mutual Information，MI)，Census等等。为了提高初始视差图的精度，也可进一步利用多种匹配代价函数融合得到更高精度的匹配代价函数。同时，通过一定大小的窗口中，利用窗口叠加来增强匹配代价的可靠性也是一种提高精度的常见方法。
这里，左图和右图中取一个作为参考图像，并计算该参考图像中的每个像素的视差值和对应的可靠度。另外，这里可以仅得到初步的粗略的视差值，为了提高计算效率而不太考虑准确度的话，可以采用简单有效的方法来计算，例如胜者为王(Winner Takes All，WTA)算法。
优选地，在得到初始的视差值的同时，也相应地求出该初始的视差值的可靠度的得分。可靠度可以表示该像素的预估的视差值的正确的概率。例如，可靠度的计算可以采用基于规则的算法或者学习预测算法来完成。
如果采用基于规则的算法可以包括以下步骤：基于每个像素点及其相邻的像素，提取匹配代价的曲线的可靠性特征；对每个像素点进行投票，其中，fin是像素i的第n个可靠性特性，fin的值越大表示像素i的初始的预估视差值在第n个可靠性特性上表现出更高的可靠性，如果fin的值大于预定阈值，则像素i得到投票；将像素i的总投票Σn fin作为像素i的初始的预估视差值的可靠度得分。如果采用学习预测的算法可以包括以下步骤：收集包括多个样本的训练集，每一个样本包括匹配的像素对及其正确的视差值，每个样本还有一个正负标签，表示按照胜者为王(WTA)算法得到的预估视差值是否正确；基于匹配代价的曲线的可靠性特征，利用机器学习的算法来学习一个分类器，以预测一个预估的视差值是否可靠。
当然，计算预估的视差值和相应的可靠度的方法不限于上述，本领域技术人员还可以采用已知的其他方法。
如此，可以通过根据所述参考图像中的两个像素之间的所述视觉特征的差异度和在图像坐标中的距离和该两个像素对应的可靠度来计算该两个像素之间的有方向的能量传播系数，从而考虑每个像素的预估视差值的可靠程度(即正确的概率)来获得更准确的能量传播系数，从而获得更准确的置信传播模型，来得到更准确的视差值。
当然，上述的具体实施例仅是例子而非限制，且本领域技术人员可以根据本发明的构思从上述分开描述的各个实施例中合并和组合一些步骤和装置来实现本发明的效果，这种合并和组合而成的实施例也被包括在本发明中，在此不一一描述这种合并和组合。
注意，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本发明的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本发明为必须采用上述具体的细节来实现。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
本公开中的步骤流程图以及以上方法描述仅作为例示性的例子并且不意图要求或暗示必须按照给出的顺序进行各个实施例的步骤。如本领域技术人员将认识到的，可以按任意顺序进行以上实施例中的步骤的顺序。诸如“其后”、“然后”、“接下来”等等的词语不意图限制步骤的顺序；这些词语仅用于引导读者通读这些方法的描述。此外，例如使用冠词“一个”、“一”或者“该”对于单数的要素的任何引用不被解释为将该要素限制为单数。
另外，本文中的各个实施例中的步骤和装置并非仅限定于某个实施例中实行，事实上，可以根据本发明的概念来结合本文中的各个实施例中相关的部分步骤和部分装置以构思新的实施例，而这些新的实施例也包括在本发明的范围内。
以上所述的方法的各个操作可以通过能够进行相应的功能的任何适当的手段而进行。该手段可以包括各种硬件和/或软件组件和/或模块，包括但不限于硬件的电路、专用集成电路(ASIC)或处理器。
可以利用被设计用于进行在此所述的功能的通用处理器、数字信号处理器(DSP)、ASIC、场可编程门阵列信号(FPGA)或其他可编程逻辑器件(PLD)、离散门或晶体管逻辑、离散的硬件组件或者其任意组合而实现或进行所述的各个例示的逻辑块、模块和电路。通用处理器可以是微处理器，但是作为替换，该处理器可以是任何商业上可获得的处理器、控制器、微控制器或状态机。处理器还可以实现为计算设备的组合，例如DSP和微处理器的组合，多个微处理器、与DSP核协作的一个或多个微处理器或任何其他这样的配置。
结合本公开描述的方法或算法的步骤可以直接嵌入在硬件中、处理器执行的软件模块中或者这两种的组合中。软件模块可以存在于任何形式的有形存储介质中。可以使用的存储介质的一些例子包括随机存取存储器(RAM)、只读存储器(ROM)、快闪存储器、EPROM存储器、EEPROM存储器、寄存器、硬碟、可移动碟、CD-ROM等。存储介质可以耦接到处理器以便该处理器可以从该存储介质读取信息以及向该存储介质写信息。在替换方式中，存储介质可以与处理器是整体的。软件模块可以是单个指令或者许多指令，并且可以分布在几个不同的代码段上、不同的程序之间以及跨过多个存储介质。
在此公开的方法包括用于实现所述的方法的一个或多个动作。方法和/或动作可以彼此互换而不脱离权利要求的范围。换句话说，除非指定了动作的具体顺序，否则可以修改具体动作的顺序和/或使用而不脱离权利要求的范围。
所述的功能可以按硬件、软件、固件或其任意组合而实现。如果以软件实现，功能可以作为一个或多个指令存储在切实的计算机可读介质上。存储介质可以是可以由计算机访问的任何可用的切实介质。通过例子而不是限制，这样的计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光碟存储、磁碟存储或其他磁存储器件或者可以用于携带或存储指令或数据结构形式的期望的程序代码并且可以由计算机访问的任何其他切实介质。如在此使用的，碟(disk)和盘(disc)包括紧凑盘(CD)、激光盘、光盘、数字通用盘(DVD)、软碟和蓝光盘，其中碟通常磁地再现数据，而盘利用激光光学地再现数据。
因此，计算机程序产品可以进行在此给出的操作。例如，这样的计算机程序产品可以是具有有形存储(和/或编码)在其上的指令的计算机可读的有形介质，该指令可由一个或多个处理器执行以进行在此所述的操作。计算机程序产品可以包括包装的材料。
软件或指令也可以通过传输介质而传输。例如，可以使用诸如同轴电缆、光纤光缆、双绞线、数字订户线(DSL)或诸如红外、无线电或微波的无线技术的传输介质从网站、服务器或者其他远程源传输软件。
此外，用于进行在此所述的方法和技术的模块和/或其他适当的手段可以在适当时由用户终端和/或基站下载和/或其他方式获得。例如，这样的设备可以耦接到服务器以促进用于进行在此所述的方法的手段的传送。或者，在此所述的各种方法可以经由存储部件(例如RAM、ROM、诸如CD或软碟等的物理存储介质)提供，以便用户终端和/或基站可以在耦接到该设备或者向该设备提供存储部件时获得各种方法。此外，可以利用用于将在此所述的方法和技术提供给设备的任何其他适当的技术。
其他例子和实现方式在本公开和所附权利要求的范围和精神内。例如，由于软件的本质，以上所述的功能可以使用由处理器、硬件、固件、硬连线或这些的任意的组合执行的软件实现。实现功能的特征也可以物理地位于各个位置，包括被分发以便功能的部分在不同的物理位置处实现。而且，如在此使用的，包括在权利要求中使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。
可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此，本发明不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本发明的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (8)

1.一种立体匹配方法，包括：
计算第一图的像素和第二图的像素之间的匹配代价；
预估作为参考图像的、第一图和第二图之一中的像素的视差值和对应的可靠度，其中，所述可靠度表示该像素的预估的视差值的正确的概率；
根据所述参考图像中的两个像素之间的视觉特征的差异度和在图像坐标中的距离和该两个像素对应的可靠度来计算该两个像素之间的有方向的能量传播系数；
基于所述有方向的能量传播系数来实施置信传播算法以获得像素的更新的视差值；
其中，所述根据所述参考图像中的两个像素之间的所述视觉特征的差异度和在图像坐标中的距离和该两个像素对应的可靠度来计算该两个像素之间的有方向的能量传播系数的步骤包括：
针对所述参考图像中的每两个像素，计算该两个像素之间的视觉特征的差值、以及在参考图像中的距离；
基于两个像素之间的所述视觉特征的差异度和在图像坐标中的距离、以及各个像素的可靠度，计算从一个像素到另一个像素的能量传播系数以及从另一个像素到所述一个像素的能量传播系数；
其中，用wij表示像素i和像素j之间的初始能量传播系数：
Figure FDA0002755482220000011
这里Δc(i，j)＝||I(i)-I(j)||和Δg(i，j)＝||i-j||分别代表像素i和像素j之间的视觉特征的差异度和在图像坐标中的距离，λc和λg是两个平衡参数，
用ri表示像素i的可靠度的得分，可靠度的得分越高，表示预估的视差值越有可能是正确的，能量传播系数pij为pij＝<ri，wij>，其中<ri，wij>表示可靠度的得分ri和初始能量传播系数wij的内积。
2.根据权利要求1所述的方法，其中，所述基于所述有方向的能量传播系数来实施置信传播算法以获得像素的更新的视差值的步骤包括：
构建有向的图模型，其中图的节点是所述参考图像中的像素，节点之间的有向连接的权值是所述能量传播系数，从而构建传播概率矩阵；
基于所述传播概率矩阵，定义随机游走模型，使得该随机游走模型有唯一的稳定分布；
根据对角矩阵来计算传播概率矩阵，该对角矩阵的对角元素是随机游走模型的稳定分布；
基于所述计算的传播概率矩阵和预估的视差值来获得最终的视差计算函数以获得更新的视差值。
3.根据权利要求2所述的方法，其中，用Π表示一个对角矩阵，该对角矩阵的对角元素是随机游走模型的稳定分布，计算传播概率矩阵Θ＝(Π1/2PΠ-1/2+Π-1/2PΠ1/2)/2，其中P是能量传播系数矩阵，
用y表示预估的视差值，则最终的视差计算函数为f＝(I-αΘ)-1y，其中α是范围为[0，1]的参数。
4.根据权利要求1所述的方法，其中，所述预估作为参考图像的、第一图和第二图之一中的像素的视差值和对应的可靠度的步骤包括：
基于匹配代价的计算结果，在一定范围内选取匹配代价的最优的点作为对应的匹配点；
预估所述匹配点的视差值；
采用基于规则的算法和学习预测算法中的一种或多种来完成可靠度的计算。
5.根据权利要求4所述的方法，其中，所述基于规则的算法包括以下步骤：
基于每个像素点及其相邻的像素，提取匹配代价的曲线的可靠性特征；
对每个像素点进行投票，其中，fin是像素i的第n个可靠性特性，fin的值越大表示像素i的初始的预估视差值在第n个可靠性特性上表现出更高的可靠性，如果fin的值大于预定阈值，则像素i得到投票；
将像素i的总投票∑nfin作为像素i的初始的预估视差值的可靠度得分。
6.根据权利要求4所述的方法，其中，所述学习预测算法包括以下步骤：
收集包括多个样本的训练集，每一个样本包括匹配的像素对及其正确的视差值，每个样本还有一个正负标签，表示按照胜者为王(WTA)算法得到的预估视差值是否正确；
基于匹配代价的曲线的可靠性特征，利用机器学习的算法来学习一个分类器，以预测一个预估的视差值是否可靠。
7.一种立体匹配系统，包括：
拍摄装置，被配置为拍摄第一图和第二图；
控制器，被配置为接收所述拍摄装置发送的第一图和第二图，并计算第一图的像素和第二图的像素之间的匹配代价；预估作为参考图像的、第一图和第二图之一中的像素的视差值和对应的可靠度，其中，所述可靠度表示该像素的预估的视差值的正确的概率；根据所述参考图像中的两个像素之间的视觉特征的差异度和在图像坐标中的距离和该两个像素对应的可靠度来计算该两个像素之间的有方向的能量传播系数；基于所述有方向的能量传播系数来实施置信传播算法以获得像素的更新的视差值；
其中，所述控制器还被配置为针对所述参考图像中的每两个像素，计算该两个像素之间的视觉特征的差值、以及在参考图像中的距离；
基于两个像素之间的所述视觉特征的差异度和在图像坐标中的距离、以及各个像素的可靠度，计算从一个像素到另一个像素的能量传播系数以及从另一个像素到所述一个像素的能量传播系数；
其中，用wij表示像素i和像素j之间的初始能量传播系数：
Figure FDA0002755482220000031
这里Δc(i，j)＝||I(i)-I(j)||和Δg(i，j)＝||i-j||分别代表像素i和像素j之间的视觉特征的差异度和在图像坐标中的距离，λc和λg是两个平衡参数，
用ri表示像素i的可靠度的得分，可靠度的得分越高，表示预估的视差值越有可能是正确的，能量传播系数pij为pij＝<ri，wij>，其中<ri，wij>表示可靠度的得分ri和初始能量传播系数wij的内积。
8.一种立体匹配控制器，包括：
匹配代价计算装置，被配置为计算第一图的像素和第二图的像素之间的匹配代价；
预估装置，被配置为预估作为参考图像的、第一图和第二图之一中的像素的视差值和对应的可靠度，其中，所述可靠度表示该像素的预估的视差值的正确的概率；
能量传播系数计算装置，被配置为根据所述参考图像中的两个像素之间的视觉特征的差异度和在图像坐标中的距离和该两个像素对应的可靠度来计算该两个像素之间的有方向的能量传播系数；
视差值获得装置，被配置为基于所述有方向的能量传播系数来实施置信传播算法以获得像素的更新的视差值；
其中，所述能量传播系数计算装置进一步被配置为：
针对所述参考图像中的每两个像素，计算该两个像素之间的视觉特征的差值、以及在参考图像中的距离；
基于两个像素之间的所述视觉特征的差异度和在图像坐标中的距离、以及各个像素的可靠度，计算从一个像素到另一个像素的能量传播系数以及从另一个像素到所述一个像素的能量传播系数；
其中，用wij表示像素i和像素j之间的初始能量传播系数：
Figure FDA0002755482220000041
这里Δc(i，j)＝||I(i)-I(j)||和Δg(i，j)＝||i-j||分别代表像素i和像素j之间的视觉特征的差异度和在图像坐标中的距离，λc和λg是两个平衡参数，
用ri表示像素i的可靠度的得分，可靠度的得分越高，表示预估的视差值越有可能是正确的，能量传播系数pij为pij＝<ri，wij>，其中<ri，wij>表示可靠度的得分ri和初始能量传播系数wij的内积。
CN201510937846.2A 2015-12-15 2015-12-15 立体匹配方法、控制器和系统 Expired - Fee Related CN106887018B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510937846.2A CN106887018B (zh) 2015-12-15 2015-12-15 立体匹配方法、控制器和系统
EP16201289.2A EP3182369B1 (en) 2015-12-15 2016-11-30 Stereo matching method, controller and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510937846.2A CN106887018B (zh) 2015-12-15 2015-12-15 立体匹配方法、控制器和系统

Publications (2)

Publication Number Publication Date
CN106887018A CN106887018A (zh) 2017-06-23
CN106887018B true CN106887018B (zh) 2021-01-05

Family

ID=57517687

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510937846.2A Expired - Fee Related CN106887018B (zh) 2015-12-15 2015-12-15 立体匹配方法、控制器和系统

Country Status (2)

Country Link
EP (1) EP3182369B1 (zh)
CN (1) CN106887018B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10554957B2 (en) * 2017-06-04 2020-02-04 Google Llc Learning-based matching for active stereo systems
CN107948629B (zh) * 2017-11-22 2020-06-23 海信集团有限公司 一种视差确定方法、装置及终端
KR102459853B1 (ko) * 2017-11-23 2022-10-27 삼성전자주식회사 디스패리티 추정 장치 및 방법
CN111476837B (zh) * 2019-01-23 2023-02-24 上海科技大学 自适应立体匹配优化方法及其装置、设备和存储介质
WO2020237611A1 (zh) * 2019-05-31 2020-12-03 深圳市大疆创新科技有限公司 图像处理方法、装置、控制终端及可移动设备
EP4131166A4 (en) * 2020-03-27 2023-05-10 Panasonic Intellectual Property Management Co., Ltd. THREE-DIMENSIONAL MODEL GENERATION METHOD AND THREE-DIMENSIONAL MODEL GENERATION DEVICE
CN111489385B (zh) * 2020-04-08 2021-12-07 北京市商汤科技开发有限公司 双目立体匹配网络训练方法及装置
CN111768437B (zh) * 2020-06-30 2023-09-05 中国矿业大学 一种用于矿井巡检机器人的图像立体匹配方法及装置
CN113570646B (zh) * 2021-07-28 2024-03-08 南京物间科技有限公司 一种基于ZSAD-Census的快速立体匹配方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101976455A (zh) * 2010-10-08 2011-02-16 东南大学 一种基于立体匹配的彩色图像三维重建方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7599547B2 (en) * 2005-11-30 2009-10-06 Microsoft Corporation Symmetric stereo model for handling occlusion
US8447098B1 (en) * 2010-08-20 2013-05-21 Adobe Systems Incorporated Model-based stereo matching

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101976455A (zh) * 2010-10-08 2011-02-16 东南大学 一种基于立体匹配的彩色图像三维重建方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
A Quantitative Evaluation of Confidence Measures for Stereo Vision;Xiaoyan Hu etal.;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20121130;第34卷(第11期);全文 *
Adaptive Support-Weight Approach for Correspondence Search;Kuk-Jin Yoon etal.;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20060430;第28卷(第4期);第2.2节和第3节 *
Learning from Labeled and Unlabeled Data on a Directed Graph;Dengyong Zhou etal.;《Proceedings of the 22nd international conference on machine learning ,Bonn,Germany》;20051231;第3节Algorithm *
Real-time stereo matching based on fast belief propagation;Xueqin Xiang etal.;《Machine Vision and Applications》;20121231;第2012年卷(第23期);全文 *
Robust stereo matching using adaptive random walk with restart algorithm;Sehyung Lee etal.;《Image and Vision Computing》;20150220;第2015年卷(第37期);第3.3.1节第2和4段，第3.3.2节第1-2段和倒数第3段 *
Stereo Matching Using Belief Propagation;Jian Sun etal.;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20030730;第25卷(第7期);全文 *

Also Published As

Publication number Publication date
EP3182369A1 (en) 2017-06-21
CN106887018A (zh) 2017-06-23
EP3182369B1 (en) 2020-09-16

Similar Documents

Publication Publication Date Title
CN106887018B (zh) 立体匹配方法、控制器和系统
US11900628B2 (en) Stereo matching method and apparatus, image processing apparatus, and training method therefor
US11688196B2 (en) Fish biomass, shape, and size determination
CN108961327B (zh) 一种单目深度估计方法及其装置、设备和存储介质
US10929998B2 (en) Method and apparatus for estimating disparity
US8755630B2 (en) Object pose recognition apparatus and object pose recognition method using the same
CN106887021B (zh) 立体视频的立体匹配方法、控制器和系统
US9600714B2 (en) Apparatus and method for calculating three dimensional (3D) positions of feature points
CN104574342B (zh) 视差深度图像的噪声识别方法和噪声识别装置
WO2015176305A1 (zh) 人形图像分割方法
JP6194995B2 (ja) 運動予測の最適化方法、装置及びシステム
CN108198172B (zh) 图像显著性检测方法和装置
KR102362470B1 (ko) 족부 정보 처리 방법 및 장치
CN111160229A (zh) 基于ssd网络的视频目标检测方法及装置
CN106153579A (zh) 测量装置、测量方法和程序
CN104252701B (zh) 校正视差图的方法和系统
US10002432B2 (en) Method and apparatus for rendering target fluid
US20230132106A1 (en) Planar surface detection apparatus and method
CN108090401B (zh) 线检测方法和线检测设备
CN106157285B (zh) 用于选择用于视差计算的参数组的优选值的方法和系统
Zhao et al. Distance transform pooling neural network for lidar depth completion
Bi et al. Method Towards CVPR 2021 Image Matching Challenge
WO2023100774A1 (ja) 訓練方法、訓練システム及び訓練プログラム
CN117746023A (zh) 视差图检验方法和装置
Bauer et al. Convergence of object focused simultaneous estimation of optical flow and state dynamics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210105

CF01 Termination of patent right due to non-payment of annual fee