CN109978928B - 一种基于加权投票的双目视觉立体匹配方法及其系统 - Google Patents

一种基于加权投票的双目视觉立体匹配方法及其系统 Download PDF

Info

Publication number
CN109978928B
CN109978928B CN201910161434.2A CN201910161434A CN109978928B CN 109978928 B CN109978928 B CN 109978928B CN 201910161434 A CN201910161434 A CN 201910161434A CN 109978928 B CN109978928 B CN 109978928B
Authority
CN
China
Prior art keywords
cost
value
matching
parallax
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910161434.2A
Other languages
English (en)
Other versions
CN109978928A (zh
Inventor
赵勇
谢旺多
卢昌义
桑海伟
张丽
陈天健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Original Assignee
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School filed Critical Peking University Shenzhen Graduate School
Priority to CN201910161434.2A priority Critical patent/CN109978928B/zh
Publication of CN109978928A publication Critical patent/CN109978928A/zh
Application granted granted Critical
Publication of CN109978928B publication Critical patent/CN109978928B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Abstract

一种基于加权投票的双目视觉立体匹配方法及其系统，包括：获取两个视点下的图像；根据预设的多个代价函数和预设的多个视差值对其中一幅图像中同一像素点进行代价聚合，得到各个代价函数对应的代价聚合函数；根据各个代价聚合函数分别获取所述像素点处各个视差值对应的匹配代价；对所述像素点处各个视差值对应的匹配代价进行加权投票，计算得到每个视差值对应的加权投票值；从各个视差值对应的加权投票值中获取所述像素点的最佳视差值。上述方法可对各个代价函数进行代价聚合，能够根据求出的极小值点进行加权投票的运算，使得通过加权投票结果得到鲁棒性较高的代价聚合函数以及得到各个像素点的准确率较高的最佳视差值称为可能。

Description

一种基于加权投票的双目视觉立体匹配方法及其系统
技术领域
本发明涉及双目视觉技术领域，具体涉及一种基于加权投票的双目视觉立体匹配方法及其系统。
背景技术
众所周知，场景中的光线在人眼这个精密的成像系统中被采集，通过神经中枢被送入包含有数以亿计的神经元的大脑中被并行的处理，得到了实时、高清晰、准确的深度感觉信息。这使得人类对环境的适应能力大大提高，很多复杂的动作能够得以完成：如行走、体育运动、驾驶车辆以及进行科学实验等。而计算机视觉正是使用计算机来模拟人的视觉系统的学科，目的是根据获取的两幅平面图像恢复3D图像。当前，计算机立体视觉的水平与人类的双目视觉水平还相距甚远，因此对它的研究仍然是一个非常活跃的邻域。
双目立体视觉(Binocular Stereo Vision)是计算机视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。由此可知，它通过模拟人的视觉系统来处理现实世界，对于立体视觉匹配的研究，能够大大的增强计算机或机器人对环境的感知能力，使得机器人能够更好的适应环境、更加智能，从而能够更好的为人们服务。经过多年的技术发展，双目立体视觉已在机器人视觉、航空测绘、反求工程、军事运用、医学成像和工业检测等邻域中得以应用。
当前，双目立体视觉融合了两取像设备获得的图像并观察它们之间的差别，使计算机可以获得准确的深度信息，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，通常将这种差别称作视差(disparity)。然而，双目立体视觉中最重要但又非常困难的问题就是立体视觉匹配问题，即从不同视点图像中找到匹配的对应点。
为在不同视点图像中找到匹配的对应点，可以采用全局匹配误差最小且上边沿光滑性能约束的方法，但该方法计算量十分巨大，几乎不可能在现有的处理器上进行实时计算。另一种办法是采用一个像素周边区域的像素来估计该像素点，如用一个矩形区域、自适应生长区域或最小生成树等等，但在区域内，对像素的匹配代价的加权仍然只能采用上面所谓的颜色(亮度)、纹理、梯度等与视差没有直接关系的特征来进行计算，因此，在实用过程中，都还有较大的不鲁棒性。
发明内容
本发明主要解决的技术问题是如何从不同的视点图像中找到匹配的对应点，以提高双目视觉立体匹配的准确度和鲁棒性。为解决上述技术问题，本申请提供一种基于加权投票的双目视觉立体匹配方法及其系统。
根据第一方面，一种实施例中提供一种基于加权投票的双目视觉立体匹配方法，包括以下步骤：
获取两个视点下的图像；
根据预设的多个代价函数和预设的多个视差值对其中一幅图像中同一像素点进行代价聚合，得到各个所述代价函数对应的代价聚合函数；
根据各个所述代价聚合函数分别获取所述像素点处各个视差值对应的匹配代价；
对所述像素点处各个视差值对应的匹配代价进行加权投票，计算得到每个视差值对应的加权投票值；
从各个视差值对应的加权投票值中获取所述像素点的最佳视差值。
所述根据预设的多个代价函数和预设的多个视差值对其中一幅图像中同一像素点进行代价聚合，得到各个所述代价函数对应的代价聚合函数，包括：对于每个所述代价函数，计算该代价函数下每个视差值在其中一幅图像中同一像素点处的函数值，聚合各个视差值在所述像素点处的函数值，得到该代价函数对应的代价聚合函数。
所述代价函数包括但不限于颜色、梯度、rank或NCC对应的代价函数；所述视差值为取值范围[0,dmax]中的任意值，其中，dmax表示所述视差值的最大允许值。
所述根据各个所述代价聚合函数分别获取所述像素点处各个视差值对应的匹配代价，包括：对于每个所述代价聚合函数，计算该代价聚合函数下每个视差值在所述像素点处的极小值，将所述极小值作为该视差值在所述像素点处对应的匹配代价。
所述对所述像素点处各个视差值对应的匹配代价进行加权投票，计算得到每个视差值对应的加权投票值，包括：根据预设规则从所述像素点处各个视差值对应的匹配代价中选取若干个匹配代价以及每个匹配代价对应的视差值；对所述若干个匹配代价以及每个匹配代价对应的视差值进行加权投票，计算得到每个视差值对应的加权投票值。
所述预设规则包括：将根据每个代价聚合函数得到的各个视差值对应的匹配代价进行升序排列，从排列结果中确定小于或等于一噪声阈值的几个匹配代价作为若干个匹配代价的选取对象，所述噪声阈值为排列结果中最小的匹配代价与预设噪声参数δ之和。
对于若干个匹配代价min_costi,j以及每个匹配代价对应的视差值min_valuei,j进行加权投票，计算得到一视差值d对应的加权投票值，用公式表示为
Figure BDA0001984776790000031
其中，i为所述代价聚合函数的序号，j为根据每个代价聚合函数得到的各个视差值对应的匹配代价在升序排列中的序号，min_value1,j为第一个代价聚合函数下升序排列中第j个匹配代价对应的视差值，w1()、w2()均为修改加权代价的曲线函数，d∈[0,dmax]。
所述从各个视差值对应的加权投票值中获取所述像素点的最佳视差值，包括：比较各个视差值对应的加权投票值，确定比较结果中最大的加权投票值对应的视差值作为所述像素点的最佳视差值。
根据第二方面，一种实施例中提供一种图像视觉立体匹配方法，包括：
获取至少两个视点的图像；
通过上述第一方面中所述的双目视觉立体匹配方法对其中一幅图像中的各个像素点进行立体匹配，分别得到各个像素点的最佳视差值。
根据第三方面，一种实施例中提供一种基于加权投票的双目视觉立体匹配系统，包括：
存储器，用于存储程序；
处理器，用于通过执行所述存储器存储的程序以实现上述第一方面或第二方面所述的方法。
根据第四方面，一种实施例提供一种计算机可读存储介质，其特征在于，包括程序，所述程序能够被处理器执行以实现上述第一方面或第二方面所述的方法。
本申请的有益效果是：
依据上述实施例的一种基于加权投票的双目视觉立体匹配方法及其系统，其中该方法包括：获取两个视点下的图像；根据预设的多个代价函数和预设的多个视差值对其中一幅图像中同一像素点进行代价聚合，得到各个代价函数对应的代价聚合函数；根据各个代价聚合函数分别获取所述像素点处各个视差值对应的匹配代价；对所述像素点处各个视差值对应的匹配代价进行加权投票，计算得到每个视差值对应的加权投票值；从各个视差值对应的加权投票值中获取所述像素点的最佳视差值。一方面，由于上述方法可对各个代价函数进行代价聚合，能够根据求出的极小值点进行加权投票的运算，使得通过加权投票结果得到鲁棒性较高的代价聚合函数以及得到各个像素点的准确率较高的最佳视差值称为可能；另一方面，上述方法可有效解决立体匹配时发生误匹配的问题，利于在不同的视点图像中准确地找到匹配的对应点，提高立体匹配的精确度。
附图说明
图1为一种实施例中基于加权投票的双目视觉立体匹配方法的流程图；
图2为加权投票的流程图；
图3为一种实施例中图像视觉立体匹配方法的流程图；
图4为一种实施例中基于加权投票的双目视觉立体匹配系统的结构。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。
在双目视觉的立体匹配中，一个关键问题是寻找在左右图像中的匹配点，以得到两幅图像中对应像素的水平位置差，也称之为视差，从而进一步可以计算出该像素点的深度。
不在同一深度的像素点，完全可能有相同的颜色、纹理和梯度等，所以这常常会导致立体匹配时发生错配，从而进一步导致视差计算出现较大的错误，大大影响了双目视觉在深度测量中的应用。为了克服这一点，在现有的双目图像的立体匹配方法中，一般会采用像素点周边区域的像素点来估计该像素点，由于周边区域的像素点可能存在与中心像素不在同一深度的情形，因此现有的方法还有较大的不鲁棒性。通常，快速立体匹配算法主要是通过代价阵计算、代价聚合、WTA(winner-take-all)、后处理等步骤来实现，其中，WTA虽作为一种快速高效的求取视差方法，但它也存在受噪声或其它干扰的问题，导致在最小视差的对应点上，匹配代价因无法达到最小而发生严重的视差估计错误，这一情形在室外场景视频中表面的尤为突出。为了克服这一缺陷，且提高匹配代价的鲁棒性，本申请是在现有方法的技术上，采用加权投票技术(非WTA技术)对每一种代价函数的多个极小值进行加权投票，根据加权投票结果决定哪一个具体的视差值作为双目视觉立体匹配的最佳视差估计值。本申请提供的技术方案可对各个代价函数进行代价聚合，从而根据求出的极小值点进行加权投票的运算，进而通过加权投票结果得到鲁棒性较高的代价聚合函数以及得到各个像素点的准确率较高的最佳视差值。通过本申请提供的技术方案可以有效解决立体匹配时发生误匹配的问题，利于在不同的视点图像中准确地找到匹配的对应点，提高立体匹配的精确度。
实施例一：
请参考图1，本申请公开一种基于加权投票的双目视觉立体匹配方法，其包括步骤S110-S150，下面分别说明。
步骤S110，获取两个视点下的图像。在一实施例中，通过双目相机对立体匹配对象进行取像，由于双目相机构成了两个取像视点，则在这两个取像视点下分别得到一帧图像。
步骤S120，根据预设的多个代价函数和预设的多个视差值对其中一幅图像中同一像素点进行代价聚合，得到各个代价函数对应的代价聚合函数。
在一实施例中，对于每个代价函数，计算该代价函数下每个视差值在其中一幅图像中同一像素点处的函数值，聚合各个视差值在所述像素点处的函数值，得到该代价函数对应的代价聚合函数。
需要说明的是，本申请中的代价函数包括但不限于颜色、梯度、rank、NCC或mutual-information对应的代价函数；其中，关于颜色的代价函数可以参考技术文献“基于颜色的代价函数参考文献[J].IEEE Transactions on Pattern Analysis and MachineIntelligence,1994,Vol.16(9),pp.920-932CrossRef”，关于梯度的代价函数可以参考技术文献“杨新,一种基于梯度算子的图像匹配算法[J].电子学报,1999(10):30-33”；关于rank的代价函数可以参考技术文献“A constraint to improve the reliabilityofstereo matching using the rank transform:Acoustics,Speech,and SignalProcessing,1999.on 1999IEEE International Conference,1999[C]”，关于NCC的代价函数可以参考技术文献“博客文章，图像处理之基于NCC模板匹配识别，查询网址为https://blog.csdn.net/jia20003/article/details/48852549，认为NCC是一种基于统计学计算两组样本数据相关性的算法”。由于列举的各类代价函数全部属于现有技术，因此这里不再一一进行说明。此外，本领域的技术人员应当理解，随着技术的发展，未来还可能出现一些其它种类的代价函数，这些未来出现的代价函数仍可以应用至本实施例公开的技术方案，且不对本实施例的技术方案构成限制。
需要说明的是，本实施例中的视差值为取值范围[0,dmax]中的任意值，其中，dmax表示视差值的最大允许值，选取情况由用户进行设定。
例如，根据现有的一种代价函数和预设的多个视差值(如0,…,dmax)，选取其中一幅图像(如左图像)上的像素点(y,x)进行代价聚合，用公式表示为
cost_left(0,…,dmax)＝cost_volume_left(y,x,0,…,dmax)
其中，cost_left()表示左图像中像素点(y,x)对应的代价聚合函数，cost_volume_left()表示针对左图像进行代价聚合运算的代价函数。
依次类推，在本实施例中，根据的n种代价函数和预设的多个视差值(如0,…,dmax)，选取其中一幅图像(如左图像)上的像素点(y,x)进行代价聚合，用公式分别表示为
cost_left1(0,…,dmax)＝cost_volume_left1(y,x,0,…dmax)
cost_left2(0,…,dmax)＝cost_volume_left2(y,x,0,…dmax)
...
cost_lefti(0,…,dmax)＝cost_volume_lefti(y,x,0,…dmax)
…
cost_leftn(0,…,dmax)＝cost_volume_leftn(y,x,0,…dmax)
其中，下标i表示每个代价函数的序号，i∈{1,2,…,n}；cost_left()表示左图像中像素点(y,x)对应的代价聚合函数，cost_volume_left()表示针对左图像进行代价聚合运算的代价函数。由于每种代价函数对应一个代价聚合函数，如此可得到n个代价聚合函数。
步骤S130，根据各个代价聚合函数分别获取同一像素点处各个视差值对应的匹配代价。
在一实施例中，对于每个代价聚合函数，计算该代价聚合函数下每个视差值在像素点处的极小值，将极小值作为该视差值在像素点处对应的匹配代价。
例如，计算一个代价聚合函数cost_left(0,…,dmax)下每个视差值在像素点(y,x)处的极小值，记作min_l_costj；那么，各个视差值(如0,…,dmax)对应的匹配代价按照从小到大排列的升序列为：min_l_cost1,min_l_cost2,…,min_l_costj,...,min_l_costh。则该升序列中每个匹配代价及其对应的视差值可进行一一匹配，分别表示为：
(min_left1,min_l_cost1),(min_left2,min_l_cost2),...,(min_leftj,min_l_costj),…,(min_lefth,min_l_costh)
其中，下标j表示匹配代价组中每个匹配代价在升序列中的序号，j∈{1,2,…,h}，h表示任意一个代价函数下像素点(y,x)处各个视差值对应的匹配代价的总数量；匹配代价min_l_costj对应的视差值为min_leftj。
步骤S140，对像素点处各个视差值对应的匹配代价进行加权投票，计算得到每个视差值对应的加权投票值。在一实施例中，见图2，该步骤S140可包括步骤S141-S142，分别说明如下。
步骤S141，根据预设规则从像素点处各个视差值对应的匹配代价中选取若干个匹配代价以及每个匹配代价对应的视差值。
需要说明的是，这里的预设规则包括：将根据每个代价聚合函数得到的各个视差值对应的匹配代价进行升序排列，从排列结果中确定小于或等于一噪声阈值的几个匹配代价作为若干个匹配代价的选取对象，所述噪声阈值为排列结果中最小的匹配代价与预设噪声参数δ之和。
在本实施例中，计算n个代价聚合函数下每个视差值在其中一幅图像(例如左图像)的像素点(y,x)处的极小值，可按照步骤S130获取每个代价聚合函数下得到的匹配代价按照从小到大的升序列，按照预设规则从每个升序列中获取若干个匹配代价及其对应的视差值，则一一匹配后的每个匹配代价组可表示为
第1个匹配代价组：(min_left1,1,min_l_cost1,1),(min_left1,2,min_l_cost1,2),…,(min_left1,j,min_l_cost1,j),...,(min_left1,m1,min_l_cost1,m1)；
第2个匹配代价组：(min_left2,1,min_l_cost2,1),(min_left2,2,min_l_cost2,2),…,(min_left2,j,min_l_cost2,j),...,(min_left2,m2,min_l_cost2,m2)；
...
第i个匹配代价组：(min_lefti,1,min_l_costi,1),(min_lefti,2,min_l_costi,2),…,(min_lefti,j,min_l_costi,j),...,(min_lefti,mi,min_l_costi,mi)；
…
第n个匹配代价组：(min_leftn,1,min_l_costn,1),(min_leftn,2,min_l_costn,2),...,(min_leftn,j,min_l_costn,j),…,(min_leftn,mn,min_l_costn,mn)。
其中，下标i表示每个代价函数或者每个代价聚合函数的序号，i∈{1,2,…,n}，下标n表示代价聚合函数的总数量；匹配代价min_l_costi,j对应的视差值为min_lefti,j。
其中，下标j表示匹配代价组中每个匹配代价在升序列中的序号，j∈{1,2,…,mi}，下标mi表示每个匹配代价组中匹配代价的总数量，使得j＝1,…,mi。也就是说，第一个匹配代价组中下标m1的取值由最小匹配代价min_l_cost1,1和噪声参数δ决定，使得min_l_cost1,j且min_l_cost1,m1-1小于或等于min_l_cost1,1+δ，也使得min_l_cost1,m1+1大于min_l_cost1,1+δ；同样，第i个匹配代价组中下标mi的取值由最小匹配代价min_l_costi,1和噪声参数δ决定，使得min_l_costi,j且min_l_cost1,mi-1小于或等于min_l_costi,1+δ，也使得min_l_costi,mi+1大于min_l_costi,1+δ。需要说明的是，其中噪声参数δ是衡量图像噪声水平的参数，可根据步骤S110获取的左图像而具体设定，这里不做限制。
步骤S142，对若干个匹配代价以及每个匹配代价对应的视差值进行加权投票，计算得到每个视差值对应的加权投票值。
在一具体实施例中，例如对于若干个匹配代价min_costi,j以及每个匹配代价对应的视差值min_valuei,j进行加权投票，计算得到一视差值d对应的加权投票值，用公式表示为
Figure BDA0001984776790000081
其中，下标i为每个代价聚合函数的序号，i∈{1,2,…,n}，n表示代价聚合函数的总数量；下标j为匹配代价组中每个匹配代价在升序列中的序号(即根据每个代价聚合函数得到的各个视差值对应的匹配代价在升序排列中的序号)，j∈{1,2,…,m}，m表示匹配代价组中匹配代价的总数量；min_value1,j为第一个代价聚合函数下升序列中第j个匹配代价对应的视差值；w1()、w2()均为修改加权代价的曲线函数，例如w1()、w2()可分别为y＝x^2,y＝x^3，并且要求此曲线函数在自变量大于0时为增函数；d∈[0,dmax]。
步骤S150，从各个视差值对应的加权投票值中获取像素点的最佳视差值。在一实施例中，比较各个视差值对应的加权投票值，确定比较结果中最大的加权投票值对应的视差值作为所述像素点的最佳视差值。
例如，根据步骤S142可得到视差值d分别为0,…,dmax时分别对应的加权投票值weigthed_vote(0)、…、weigthed_vote(d)、…、weigthed_vote(dmax)，根据公式d*＝argmax weighted_vote(d)可以从中确定最大的加权投票值对应的视差值，从而获得像素点(y,x)的最佳视差值d*。
在本实施例中，还相应地公开了一种基于加权投票的双目视觉立体匹配系统30。请参考图4，该系统包括存储器301和处理器302，其中，存储器301用于存储程序，而处理器302用于通过执行存储器301存储的程序以实现步骤S110-S150中所述的方法。
实施例二：
在基于实施例一中双目视觉立体匹配方法的基础上，本实施例还提供一种图像视觉立体匹配方法，请参考图3，该图像视觉立体匹配方法包括步骤S210-S220，下面分别说明。
步骤S210，获取至少两个视点的图像。在一具体实施例中，可通过多个相机来对立体匹配对象进行取像，如此可获得多个视点下的图像。
步骤S220，通过实施例一种公开的双目视觉立体匹配方法对其中一幅图像中的各个像素点进行立体匹配，分别得到各个像素点的最佳视差值。
本领域的技术人员可以理解，实施例一中的双目视觉立体匹配方法获得的是图像中一个像素点的最佳视差值，根据该最佳视差值可以找到另一个图像中的匹配对应点，那么，可以根据该方法继续计算图像中所有像素点的最佳视差值，如此可实现两幅或多幅图像之间像素点的一一立体匹配，进而达到图像立体匹配的效果。
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (6)

1.一种基于加权投票的双目视觉立体匹配方法，其特征在于，包括以下步骤：
获取两个视点下的图像；
根据预设的多个代价函数和预设的多个视差值对其中一幅图像中同一像素点进行代价聚合，得到各个所述代价函数对应的代价聚合函数；
根据各个所述代价聚合函数分别获取所述像素点处各个视差值对应的匹配代价；
对所述像素点处各个视差值对应的匹配代价进行加权投票，计算得到每个视差值对应的加权投票值；
从各个视差值对应的加权投票值中获取所述像素点的最佳视差值;
所述根据各个所述代价聚合函数分别获取所述像素点处各个视差值对应的匹配代价，包括：对于每个所述代价聚合函数，计算该代价聚合函数下每个视差值在所述像素点处的极小值，将所述极小值作为该视差值在所述像素点处对应的匹配代价;
所述对所述像素点处各个视差值对应的匹配代价进行加权投票，计算得到每个视差值对应的加权投票值，包括：根据预设规则从所述像素点处各个视差值对应的匹配代价中选取若干个匹配代价以及每个匹配代价对应的视差值；对所述若干个匹配代价以及每个匹配代价对应的视差值进行加权投票，计算得到每个视差值对应的加权投票值;
所述预设规则包括：将根据每个代价聚合函数得到的各个视差值对应的匹配代价进行升序排列，从排列结果中确定小于或等于一噪声阈值的几个匹配代价作为若干个匹配代价的选取对象，所述噪声阈值为排列结果中最小的匹配代价与预设噪声参数δ之和;
其中，对于若干个匹配代价min_cost ij 以及每个匹配代价对应的视差值min_value ij 进行加权投票，计算得到一视差值d对应的加权投票值，用公式表示为
Figure DEST_PATH_IMAGE002
其中， i为所述代价聚合函数的序号，j为根据每个代价聚合函数得到的各个视差值对应的匹配代价在升序排列中的序号，min_value 1,j 为第一个代价聚合函数下升序排列中第j个匹配代价对应的视差值，w 1()、w 2()均为修改加权代价的曲线函数，d∈[0,d max]。
2.如权利要求1所述的双目视觉立体匹配方法，其特征在于，所述从各个视差值对应的加权投票值中获取所述像素点的最佳视差值，包括：
比较各个视差值对应的加权投票值，确定比较结果中最大的加权投票值对应的视差值作为所述像素点的最佳视差值。
3.如权利要求1或2所述的双目视觉立体匹配方法，其特征在于，所述根据预设的多个代价函数和预设的多个视差值对其中一幅图像中同一像素点进行代价聚合，得到各个所述代价函数对应的代价聚合函数，包括：
对于每个所述代价函数，计算该代价函数下每个视差值在其中一幅图像中同一素点处的函数值，聚合各个视差值在所述像素点处的函数值，得到该代价函数对应的代价聚合函数。
4.如权利要求3所述的双目视觉立体匹配方法，其特征在于，所述代价函数包括但不限于颜色、梯度、rank或NCC对应的代价函数；所述视差值为取值范围[0,d max]中的任意值，其中，d max表示所述视差值的最大允许值。
5.一种图像视觉立体匹配方法，其特征在于，包括：
获取至少两个视点的图像；
通过权利要求1-4中任一项所述的双目视觉立体匹配方法对其中一幅图像中的各个像素点进行立体匹配，分别得到各个像素点的最佳视差值。
6.一种计算机可读存储介质，其特征在于，包括程序，所述程序能够被处理器执行以实现如权利要求1-5中任一项所述的方法。
CN201910161434.2A 2019-03-04 2019-03-04 一种基于加权投票的双目视觉立体匹配方法及其系统 Active CN109978928B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910161434.2A CN109978928B (zh) 2019-03-04 2019-03-04 一种基于加权投票的双目视觉立体匹配方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910161434.2A CN109978928B (zh) 2019-03-04 2019-03-04 一种基于加权投票的双目视觉立体匹配方法及其系统

Publications (2)

Publication Number Publication Date
CN109978928A CN109978928A (zh) 2019-07-05
CN109978928B true CN109978928B (zh) 2022-11-04

Family

ID=67077823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910161434.2A Active CN109978928B (zh) 2019-03-04 2019-03-04 一种基于加权投票的双目视觉立体匹配方法及其系统

Country Status (1)

Country Link
CN (1) CN109978928B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443186B (zh) * 2019-07-31 2022-04-15 深圳市道通智能航空技术股份有限公司 立体匹配方法、图像处理芯片及移动载具
CN113034568B (zh) * 2019-12-25 2024-03-29 杭州海康机器人股份有限公司 一种机器视觉深度估计方法、装置、系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104680510A (zh) * 2013-12-18 2015-06-03 北京大学深圳研究生院 Radar视差图优化方法、立体匹配视差图优化方法及系统
US9165401B1 (en) * 2011-10-24 2015-10-20 Disney Enterprises, Inc. Multi-perspective stereoscopy from light fields
CN106340036A (zh) * 2016-08-08 2017-01-18 东南大学 一种基于双目立体视觉的立体匹配方法
CN107392898A (zh) * 2017-07-20 2017-11-24 海信集团有限公司 应用于双目立体视觉中的像素点视差值计算方法及装置
CN108629812A (zh) * 2018-04-11 2018-10-09 深圳市逗映科技有限公司 一种基于双目相机的测距方法
CN108682026A (zh) * 2018-03-22 2018-10-19 辽宁工业大学 一种基于多匹配基元融合的双目视觉立体匹配方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9165401B1 (en) * 2011-10-24 2015-10-20 Disney Enterprises, Inc. Multi-perspective stereoscopy from light fields
CN104680510A (zh) * 2013-12-18 2015-06-03 北京大学深圳研究生院 Radar视差图优化方法、立体匹配视差图优化方法及系统
CN106340036A (zh) * 2016-08-08 2017-01-18 东南大学 一种基于双目立体视觉的立体匹配方法
CN107392898A (zh) * 2017-07-20 2017-11-24 海信集团有限公司 应用于双目立体视觉中的像素点视差值计算方法及装置
CN108682026A (zh) * 2018-03-22 2018-10-19 辽宁工业大学 一种基于多匹配基元融合的双目视觉立体匹配方法
CN108629812A (zh) * 2018-04-11 2018-10-09 深圳市逗映科技有限公司 一种基于双目相机的测距方法

Also Published As

Publication number Publication date
CN109978928A (zh) 2019-07-05

Similar Documents

Publication Publication Date Title
Lu et al. Depth enhancement via low-rank matrix completion
CN111402146B (zh) 图像处理方法以及图像处理装置
CN109360178B (zh) 基于融合图像的无参考立体图像质量评价方法
JP6489551B2 (ja) 画像のシーケンスにおいて前景を背景から分離する方法およびシステム
EP3132418B1 (en) Non local image denoising
KR20180087994A (ko) 스테레오 매칭 방법 및 영상 처리 장치
CN110825900A (zh) 特征重构层的训练方法、图像特征的重构方法及相关装置
CN111340077B (zh) 基于注意力机制的视差图获取方法和装置
CN109978934B (zh) 一种基于匹配代价加权的双目视觉立体匹配方法及系统
CN110070610B (zh) 特征点匹配方法、三维重构过程的特征点匹配方法及装置
CN110443874B (zh) 基于卷积神经网络的视点数据生成方法和装置
US20220343525A1 (en) Joint depth prediction from dual-cameras and dual-pixels
CN111192226A (zh) 一种图像融合去噪方法及装置、系统
CN109978928B (zh) 一种基于加权投票的双目视觉立体匹配方法及其系统
BR102020027013A2 (pt) Método para gerar uma imagem multiplano adaptativa a partir de uma única imagem de alta resolução
CN104243970A (zh) 基于立体视觉注意力机制和结构相似度的3d绘制图像的客观质量评价方法
Dutta et al. Weighted low rank approximation for background estimation problems
CN111738061A (zh) 基于区域特征提取的双目视觉立体匹配方法及存储介质
Ramenahalli et al. Computing 3D saliency from a 2D image
CN109961092A (zh) 一种基于视差锚点的双目视觉立体匹配方法及系统
CN115841602A (zh) 基于多视角的三维姿态估计数据集的构建方法及装置
CN109544611B (zh) 一种基于bit特征的双目视觉立体匹配方法及系统
CN109544619A (zh) 一种基于图割的双目视觉立体匹配方法及系统
CN114841887A (zh) 一种基于多层次差异学习的图像恢复质量评价方法
CN108062741B (zh) 双目图像处理方法、成像装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant