CN109978934B - 一种基于匹配代价加权的双目视觉立体匹配方法及系统 - Google Patents

一种基于匹配代价加权的双目视觉立体匹配方法及系统 Download PDF

Info

Publication number
CN109978934B
CN109978934B CN201910160798.9A CN201910160798A CN109978934B CN 109978934 B CN109978934 B CN 109978934B CN 201910160798 A CN201910160798 A CN 201910160798A CN 109978934 B CN109978934 B CN 109978934B
Authority
CN
China
Prior art keywords
cost
pixel point
image
matching
aggregation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910160798.9A
Other languages
English (en)
Other versions
CN109978934A (zh
Inventor
赵勇
桑海伟
崔忠伟
杨肖委
向函
张贵英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Original Assignee
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School filed Critical Peking University Shenzhen Graduate School
Priority to CN201910160798.9A priority Critical patent/CN109978934B/zh
Publication of CN109978934A publication Critical patent/CN109978934A/zh
Application granted granted Critical
Publication of CN109978934B publication Critical patent/CN109978934B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20228Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

一种基于匹配代价加权的双目视觉立体匹配方法及系统,该双目视觉立体匹配方法包括:获取两个视点下的第一图像和第二图像;构建第一图像中的第一像素点的聚合区域,根据预设的多个视差值对第一像素点以及聚合区域内的每个像素点进行代价估计,得到各个视差值分别对应的匹配代价图像;根据匹配代价图像获得聚合区域内每个像素点与第一像素点之间的匹配代价权重和距离权重;根据匹配代价权重和距离权重对匹配代价图像进行代价聚合,获得各个视差值对应的代价聚合函数;根据代价聚合函数从各个所述视差值中获得第一像素点的最佳视差值。由于采用匹配代价之差代替颜色差,使得本技术方案利于形成一个更加准确的代价聚合计算结果。

Description

一种基于匹配代价加权的双目视觉立体匹配方法及系统
技术领域
本发明涉及双目立体视觉领域,具体涉及一种基于匹配代价加权的双目视觉立体匹配方法及系统。
背景技术
众所周知,场景中的光线在人眼这个精密的成像系统中被采集,通过神经中枢被送入包含有数以亿计的神经元的大脑中被并行的处理,得到了实时、高清晰、准确的深度感觉信息。这使得人类对环境的适应能力大大提高,很多复杂的动作能够得以完成:如行走、体育运动、驾驶车辆以及进行科学实验等。
而计算机视觉正是使用计算机来模拟人的视觉系统的学科,目的是根据获取的两幅平面图像恢复3D图像。当前,计算机立体视觉的水平与人类的双目视觉水平还相距甚远,因此对它的研究仍然是一个非常活跃的邻域。
双目立体视觉(Binocular Stereo Vision)是计算机视觉的一种重要形式,它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像,通过计算图像对应点间的位置偏差,来获取物体三维几何信息的方法。由此可知,它通过模拟人的视觉系统来处理现实世界,对于立体视觉匹配的研究,能够大大的增强计算机或机器人对环境的感知能力,使得机器人能够更好的适应环境、更加智能,从而能够更好的为人们服务。经过多年的技术发展,双目立体视觉已在机器人视觉、航空测绘、反求工程、军事运用、医学成像和工业检测等邻域中得以应用。
当前,双目立体视觉融合了两个取像设备获得的图像并观察它们之间的差别,使计算机可以获得准确的深度信息,建立特征间的对应关系,将同一空间物理点在不同图像中的映像点对应起来,通常将这种差别称作视差(disparity)。然而,双目立体视觉中最重要但又非常困难的问题就是立体视觉匹配问题,即从不同视点图像中找到匹配的对应点。
发明内容
本发明主要解决的技术问题是如何从不同的视点图像中找到匹配的对应点,以提高双目视觉立体匹配的准确度。
根据第一方面,本实施例提供一种基于匹配代价加权的双目视觉立体匹配方法,包括以下步骤:
获取两个视点下的第一图像和第二图像;
构建所述第一图像中的第一像素点的聚合区域,根据预设的多个视差值对所述第一像素点以及所述聚合区域内的每个像素点进行代价估计,得到各个视差值分别对应的匹配代价图像,所述第一像素点为所述第一图像中的任意一像素点;
根据所述匹配代价图像获得所述聚合区域内每个像素点与所述第一像素点之间的匹配代价权重和距离权重;
根据所述匹配代价权重和距离权重对所述匹配代价图像进行代价聚合,获得各个视差值对应的代价聚合函数;
根据所述代价聚合函数从各个所述视差值中获得所述第一像素点的最佳视差值。
所述第一像素点的聚合区域为所述第一图像上所述第一像素点周围的若干像素点构成的区域。
根据预设的多个视差值对所述第一像素点以及所述聚合区域内的每个像素点进行代价估计,得到各个视差值分别对应的匹配代价图像,包括:
对于每个视差值d和所述第一像素点(y,x),计算得到该视差值d对应的匹配代价图像,用公式表示为
c(y,x,d)=|IL(y,x)-IR(x-d,y)|;
对于每个视差值d和所述聚合区域内每个像素点(yi,xi),计算得到该视差值d对应的匹配代价图像,用公式表示为
c(yi,xi,d)=|IL(yi,xi)-IR(yi,xi-d)|;
其中,IL表示所述第一图像的颜色函数,IR表示所述第二图像的颜色函数;d∈{1,2,…,dmax},dmax为允许的最大视差值。
所述根据所述匹配代价图像获得所述聚合区域内每个像素点与所述第一像素点之间的匹配代价权重和距离权重,包括:对所述匹配代价图像进行反比例变换以得到各个视差值分别对应的变换图像;根据所述变换图像获得所述聚合区域内每个像素点与所述第一像素点之间匹配代价之差和距离之差,以计算得到所述匹配代价权重和所述距离权重。
对所述匹配代价图像进行反比例变换以得到各个视差值分别对应的变换图像,包括:
对于每个视差值d和所述第一像素点(y,x),计算得到该视差值d对应的变换图像,用公式表示为e(y,x,d)=exp(-c(y,x,d)/α),或者用公式表示为e(y,x,d)=exp(-c(y,x,d)·c(y,x,d)/α);
对于每个视差值d和所述聚合区域内每个像素点(yi,xi),计算得到该视差值d对应的变换图像,用公式表示为e(yi,xi,d)=exp(-c(yi,xi,d)/α),或者用公式表示为e(yi,xi,d)=exp(-c(yi,xi,d)·c(yi,xi,d)/α);
其中,exp()表示以e为底的指数函数,α为预设的变换系数。
所述根据所述变换图像获得所述聚合区域内每个像素点与所述第一像素点之间匹配代价之差和距离之差,以计算得到所述匹配代价权重和所述距离权重,包括:
所述聚合区域内每个像素点(yi,xi)与所述第一像素点(y,x)之间的匹配代价之差为|e(yi,xi,d)-e(y,x,d)|,则对应的匹配代价权重用公式表示为
w1(yi,xi,y,x)=exp(-|e(yi,xi,d)-e(y,x,d)|);
所述聚合区域内每个像素点(yi,xi)与所述第一像素点(y,x)之间的距离之差为||xi-x|-|yi-y||,则对应的距离权重用公式表示为
w2(yi,xi,y,x)=exp(-||xi-x|-|yi-y||)。
所述根据所述匹配代价权重和距离权重对所述匹配代价图像进行代价聚合,获得各个视差值对应的代价聚合函数,包括:
对于每个视差值d和所述第一像素点(y,x),计算得到该视差值d对应的代价聚合函数,用公式表示为
Figure BDA0001984571050000031
其中,W表示第一像素点(y,x)的聚合区域。
所述根据所述代价聚合函数从各个所述视差值中获得所述第一像素点的最佳视差值,包括:在视差值d的取值范围{0,1,...,dmax}内计算所述代价聚合函数C(y,x,d),获得最小函数值时的视差值,并将该视差值作为最佳视差值d*。
根据第二方面,一种实施例中提供一种图像视觉立体匹配方法,包括:
获取至少两个视点的图像;
通过上述第一方面中所述的双目视觉立体匹配方法对其中一幅图像中的各个像素点进行立体匹配,分别得到各个像素点的最佳视差值。
根据第三方面,一种实施例提供一种基于匹配代价加权的双目视觉立体匹配系统,包括:
存储器,用于存储程序;
处理器,用于通过执行所述存储器存储的程序以实现上述第一方面中所述的方法。
本申请的有益效果是:
依据上述实施例的一种基于匹配代价加权的双目视觉立体匹配方法及系统,该双目视觉立体匹配方法包括:获取两个视点下的第一图像和第二图像;构建第一图像中的第一像素点的聚合区域,根据预设的多个视差值对第一像素点以及聚合区域内的每个像素点进行代价估计,得到各个视差值分别对应的匹配代价图像;根据匹配代价图像获得聚合区域内每个像素点与第一像素点之间的匹配代价权重和距离权重;根据匹配代价权重和距离权重对匹配代价图像进行代价聚合,获得各个视差值对应的代价聚合函数;根据代价聚合函数从各个所述视差值中获得第一像素点的最佳视差值。第一方面,本申请是在现有方法的基础上,采用匹配代价之差代替颜色差,形成一个更加准确的代价聚合计算结果;第二方面,通过获取两个像素之间的匹配代价之差的权重以及像素点距离差的权重来进行代价聚合计算,从而代价聚合得到鲁棒性较高的代价聚合函数,利于计算得到准确度更高的像素点的匹配代价之差,以及各个像素点的准确率较高的最佳视差值;第三方面,本申请的技术方案可以有效解决立体匹配时发生误匹配的问题,利于在不同的视点图像中准确地找到匹配的对应点,提高立体匹配的精确度。
附图说明
图1为基于匹配代价加权的双目视觉立体匹配方法的流程图;
图2为计算匹配代价权重和距离权重的流程图;
图3为图像视觉立体匹配方法的流程图;
图4为立体匹配系统的结构简图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中,很多细节描述是为了使得本申请能被更好的理解。然而,本领域技术人员可以毫不费力的认识到,其中部分特征在不同情况下是可以省略的,或者可以由其他元件、材料、方法所替代。在某些情况下,本申请相关的一些操作并没有在说明书中显示或者描述,这是为了避免本申请的核心部分被过多的描述所淹没,而对于本领域技术人员而言,详细描述这些相关操作并不是必要的,他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外,说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时,方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此,说明书和附图中的各种顺序只是为了清楚描述某一个实施例,并不意味着是必须的顺序,除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身,例如“第一”、“第二”等,仅用于区分所描述的对象,不具有任何顺序或技术含义。而本申请所说“连接”、“联接”,如无特别说明,均包括直接和间接连接(联接)。
在双目视觉的立体匹配中,一个关键问题是寻找在左右图像中的匹配点,以得到两幅图像中对应像素的水平位置差,也称之为视差,从而进一步可以计算出该像素点的深度。
不在同一深度的像素点,完全可能有相同的颜色、纹理和梯度等,所以这常常会导致立体匹配时发生错配,从而进一步导致视差计算出现较大的错误,大大影响了双目视觉在深度测量中的应用。为了克服这一点,在现有的双目图像的立体匹配方法中,一般会采用像素点周边区域的像素点来估计该像素点,由于周边区域的像素点可能存在与中心像素不在同一深度的情形,因此现有的方法还有较大的不鲁棒性。例如,在理想的情况下,为获取像素点(y,x)的最佳视差值d*,就要在d={0,1,…,dmax}中找到使得匹配代价函数c(y,x,d)达到最小的视差值d,但只用一个像素点的匹配代价太容易收到噪声、以及光线变化等因素的影响,因此需要进行代价聚合,常用的加权方法是利用距离差以及颜色差来进行加权,即传统的代价聚合函数为
Figure BDA0001984571050000051
这里的W是像素点(y,x)周边的一个聚合区域;I()表示颜色函数,对于RGB彩色图像,就是两个颜色的RGB之差的绝对值之和;|yi-y|-|xi-x|为距离差,距离中心像素越远,加权越小。实际上,该代价聚合函数采用了双边滤波的加权方法,来对代价函数进行加权,但对于求取视差来说,采用像素值即RGB颜色差是非常不合理的,因为有很多物体虽然颜色变化大,但他们却属于同一个物体或背景表面,也就是说,颜色即使相差很大但它们的视差却有可能是一样或相近的。因此,采用颜色差来进行代价聚合有时候是很不合理的。然而,较为合理的处理方法是采用像素点的匹配代价之差,尤其在极小值周边的匹配代价之差。
为提高匹配代价的鲁棒性和立体匹配结果的准确度,本申请是在现有方法的基础上,采用匹配代价之差代替颜色差,形成一个更加准确的匹配代价计算结果。只有匹配代价之差才能体现像素点视差的基本差别,而颜色在很多情况下与视差无关。当然,由于匹配代价在数值较大的时候没有意义,因此,需要将匹配代价转换到1—0,即匹配代价为零的时候e(y,x,d)=1,当c较大时e(y,x,d)=0,这样考虑匹配代价之差时才有意义。通过获取两个像素之间的匹配代价之差的权重以及像素点距离差的权重来进行代价聚合计算,从而代价聚合得到鲁棒性较高的代价聚合函数,利于计算得到准确度更高的像素点的匹配代价之差,以及各个像素点的准确率较高的最佳视差值。通过本申请提供的技术方法,可以有效解决立体匹配时发生误匹配的问题,利于在不同的视点图像中准确地找到匹配的对应点,提高立体匹配的精确度。
实施例一:
请参考图1,本申请公开一种基于匹配代价加权的双目视觉立体匹配方法,其包括步骤S110-S150,下面分别说明。
步骤S110,主要获取两个视点下的第一图像和第二图像。在一实施例中,通过双目相机对立体匹配对象进行取像,由于双目相机构成了两个取像视点,则在这两个取像视点下分别得到一帧图像,从而得到左右两幅图像,即第一图像和第二图像。
步骤S120,构建第一图像中的第一像素点的聚合区域,根据预设的多个视差值对第一像素点以及聚合区域内的每个像素点进行代价估计,得到各个视差值分别对应的匹配代价图像,这里的第一像素点为第一图像中的任意一像素点。
在本实施例中,第一像素点的聚合区域为第一图像上第一像素点周围的若干像素点构成的区域。优选地,将第一像素点周围的一个聚合窗口作为第一像素点的聚合区域,例如以第一像素点为中心的边长为n(n>=3)个像素的矩形区域。
在一实施例中,对于每个视差值d和第一像素点(y,x),计算得到该视差值d对应的匹配代价图像,用公式表示为
c(y,x,d)=|IL(y,x)-IR(x-d,y)| (1)
对于每个视差值d和聚合区域内每个像素点(yi,xi),计算得到该视差值d对应的匹配代价图像,用公式表示为
c(yi,xi,d)=|IL(yi,xi)-IR(yi,xi-d)| (2)
其中,IL表示第一图像的颜色函数,IR表示第二图像的颜色函数;d∈{1,2,…,dmax},dmax为允许的最大视差值。
步骤S130,根据匹配代价图像获得聚合区域内每个像素点与第一像素点之间的匹配代价权重和距离权重。在一实施例中,见图2,该步骤S130可包括步骤S131-S132,分别说明如下。
步骤S131,对匹配代价图像进行反比例变换以得到各个视差值分别对应的变换图像。
在一实施例中,对于每个视差值d和第一像素点(y,x),计算得到该视差值d对应的变换图像,用公式表示为
e(y,x,d)=exp(-c(y,x,d)/α) (3)
或者用公式表示为
e(y,x,d)=exp(-c(y,x,d)·c(y,x,d)/α) (4)
其中,exp()表示以e为底的指数函数,α为预设的变换系数,α>0。
需要说明的是,公式(3)、(4)都与c(y,x,d)成反比,都是使用e的负指数幂,目的在于构建一个与c(y,x,d)成反比,且形式为e的负指数幂的函数。公式(3)、(4)的区别在于负指数幂的变化强度不一样,本实施例优选地采用公式(3),但是若产生的第一图像的视差图与第一图像之间的比较结果存在较大出入时,则可以采用公式(4)。
对于每个视差值d和聚合区域内每个像素点(yi,xi),计算得到该视差值d对应的变换图像,用公式表示为
e(yi,xi,d)=exp(-c(yi,xi,d)/α) (5)
或者用公式表示为
e(yi,xi,d)=exp(-c(yi,xi,d)·c(yi,xi,d)/α) (6)
其中,exp()表示以e为底的指数函数,α为预设的变换系数,α>0。
需要说明的是,公式(5)、(6)都与c(yi,xi,d)成反比,都是使用e的负指数幂,目的在于构建一个与-c(yi,xi,d)成反比,且形式为e的负指数幂的函数。公式(5)、(6)的区别在于负指数幂的变化强度不一样,本实施例优选地采用公式(5),但是若产生的第一图像的视差图与第一图像之间的比较结果存在较大出入时,则可以采用公式(6)。
还需要说明的是,对匹配代价图像进行反比例变换时除了采用上述的负指数幂函数,还可以采用其它形式的反比例运算方法,只要使得变换图像与变换前的匹配代价图像构成反比例关系即可,这里不做具体限定。
步骤S132,根据变换图像获得聚合区域内每个像素点与第一像素点之间匹配代价之差和距离之差,以计算得到匹配代价权重和所述距离权重。
例如,若聚合区域内每个像素点(yi,xi)与第一像素点(y,x)之间的匹配代价之差为|e(yi,xi,d)-e(y,x,d)|,则对应的匹配代价权重用公式表示为
w1(yi,xi,y,x)=exp(-|e(yi,xi,d)-e(y,x,d)|) (7)
若聚合区域内每个像素点(yi,xi)与第一像素点(y,x)之间的距离之差为||xi-x|-|yi-y||,则对应的距离权重用公式表示为
w2(yi,xi,y,x)=exp(-||xi-x|-|yi-y||) (8)
需要说明的是,本实施例中采用负指数幂函数来对匹配代价之差、距离之差进行反比例运算,从而得到匹配代价权重和距离权重。那么,在另外的实施例中还可以采用其它形式的反比例运算方法对匹配代价之差、距离之差进行处理,以计算得到匹配代价权重和距离权重。
步骤S140,根据匹配代价权重和距离权重对匹配代价图像进行代价聚合,获得各个视差值对应的代价聚合函数。
在一实施例中,对于每个视差值d和第一像素点(y,x),计算得到该视差值d对应的代价聚合函数,用公式表示为
Figure BDA0001984571050000081
其中,W表示第一像素点(y,x)的聚合区域。
步骤S150,根据步骤S140中的代价聚合函数C(y,x,d)从各个视差值{0,1,...,dmax}中获得第一像素点的最佳视差值。
在本实施例中,通过步骤S110-S140可获取各个视差值对应的代价聚合函数{C(y,x,d)|d=0,1,...,dmax},接下来可以现有的匹配代价加权算法对该些代价聚合函数进行处理,如采用胜者为王算法WTA(Winner-take-all),只需在一定范围内选取叠加匹配代价最优的点(SAD和SSD取最小值,或NCC取最大值)作为对应匹配点。
在一具体实施例中,在视差d的取值范围{0,1,...,dmax}内计算匹配代价函数C(y,x,d),获得最小函数值时的视差,并将该视差作为最佳视差值d*,即采用最大值公式d*=arg max C(y,x,d)来计算获得第一像素点(y,x)的最佳视差值d*。
相应地,本申请还公开了一种匹配代价加权的双目视觉立体匹配系统30。请参考图4,该系统包括存储器301和处理器302,其中,存储器301用于存储程序,而处理器302用于通过执行存储器301存储的程序以实现步骤S110-S150中所述的方法。
实施例二:
在基于实施例一中双目视觉立体匹配方法的基础上,本实施例还提供一种图像视觉立体匹配方法,请参考图3,该图像视觉立体匹配方法包括步骤S210-S220,下面分别说明。
步骤S210,获取至少两个视点的图像。在一具体实施例中,可通过多个相机来对立体匹配对象进行取像,如此可获得多个视点下的图像。
步骤S220,通过实施例一种所述的双目视觉立体匹配方法对其中一幅图像中的各个像素点进行立体匹配,分别得到各个像素点的最佳视差值。
本领域的技术人员可以理解,实施例一中的双目视觉立体匹配方法获得的是图像中一个像素点的最佳视差值,根据该最佳视差值可以找到另一个图像中的匹配对应点,那么,可以根据该方法继续计算图像中所有像素点的最佳视差值,如此可实现两幅或多幅图像之间像素点的一一立体匹配,进而达到图像立体匹配的效果。
本领域技术人员可以理解,上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现,也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器、随机存储器、磁盘、光盘、硬盘等,通过计算机执行该程序以实现上述功能。例如,将程序存储在设备的存储器中,当通过处理器执行存储器中程序,即可实现上述全部或部分功能。另外,当上述实施方式中全部或部分功能通过计算机程序的方式实现时,该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中,通过下载或复制保存到本地设备的存储器中,或对本地设备的系统进行版本更新,当通过处理器执行存储器中的程序时,即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述,只是用于帮助理解本发明,并不用以限制本发明。对于本发明所属技术领域的技术人员,依据本发明的思想,还可以做出若干简单推演、变形或替换。

Claims (5)

1.一种基于匹配代价加权的双目视觉立体匹配方法,其特征在于,包括以下步骤:
获取两个视点下的第一图像和第二图像;
构建所述第一图像中的第一像素点的聚合区域,根据预设的多个视差值对所述第一像素点以及所述聚合区域内的每个像素点进行代价估计,得到各个视差值分别对应的匹配代价图像,所述第一像素点为所述第一图像中的任意一像素点,其中包括:对于每个视差值d和所述第一像素点(y,x),计算得到该视差值d对应的匹配代价图像,用公式表示为
c(y,x,d)=|IL(y,x)-IR(x-d,y)|,
对于每个视差值d和所述聚合区域内每个像素点(y i ,x i ),计算得到该视差值d对应的匹配代价图像,用公式表示为,
c(y i ,x i ,d)=|IL(y i ,x i )-IR(y i ,x i -d)|,
其中,IL表示所述第一图像的颜色函数,IR表示所述第二图像的颜色函数;d∈{1,2,…,d max},d max为允许的最大视差值;
根据所述匹配代价图像获得所述聚合区域内每个像素点与所述第一像素点之间的匹配代价权重和距离权重,其中包括:对所述匹配代价图像进行反比例变换以得到各个视差值分别对应的变换图像,根据所述变换图像获得所述聚合区域内每个像素点与所述第一像素点之间匹配代价之差和距离之差,以计算得到所述匹配代价权重和所述距离权重,
其中,所述聚合区域内每个像素点(y i ,x i )与所述第一像素点(y,x)之间的匹配代价之差为|e(y i ,x i ,d)-e(y,x,d)|,则对应的匹配代价权重用公式表示为
w 1(y i ,x i ,y,x)=exp(-|e(y i ,x i ,d)-e(y,x,d)|),
所述聚合区域内每个像素点(y i ,x i )与所述第一像素点(y,x)之间的距离之差为||x i -x|-|y i -y||,则对应的距离权重用公式表示为
w 2(y i ,x i ,y,x)=exp(-||x i -x|-|y i -y||);
根据所述匹配代价权重和距离权重对所述匹配代价图像进行代价聚合,获得各个视差值对应的代价聚合函数,其中包括:对于每个视差值d和所述第一像素点(y,x),计算得到该视差值d对应的代价聚合函数,用公式表示为
Figure DEST_PATH_IMAGE002
其中,W表示第一像素点(y,x)的聚合区域;
根据所述代价聚合函数从各个所述视差值中获得所述第一像素点的最佳视差值,其中包括:在视差值d的取值范围{0,1,...,d max}内计算所述代价聚合函数C(y,x,d),获得最小函数值时的视差值,并将该视差值作为最佳视差值d*。
2.如权利要求1所述的双目视觉立体匹配方法,其特征在于,所述第一像素点的聚合区域为所述第一图像上所述第一像素点周围的若干像素点构成的区域。
3.如权利要求1或2所述的双目视觉立体匹配方法,其特征在于,对所述匹配代价图像进行反比例变换以得到各个视差值分别对应的变换图像,包括:
对于每个视差值d和所述第一像素点(y,x),计算得到该视差值d对应的变换图像,用公式表示为
e(y,x,d)=exp(-c(y,x,d)/α)
或者用公式表示为
e(y,x,d)=exp(-c(y,x,dc(y,x,d)/α);
对于每个视差值d和所述聚合区域内每个像素点(y i ,x i ),计算得到该视差值d对应的变换图像,用公式表示为
e(y i ,x i ,d)=exp(-c(y i ,x i ,d)/α)
或者用公式表示为
e(y i ,x i ,d)=exp(-c(y i ,x i ,d)·c(y i ,x i ,d)/α);
其中,exp()表示以e为底的指数函数,α为预设的变换系数。
4.一种图像视觉立体匹配方法,其特征在于,
获取至少两个视点的图像;
通过权利要求1-3中任一项所述的双目视觉立体匹配方法对其中一幅图像中的各个像素点进行立体匹配,分别得到各个像素点的最佳视差值。
5.一种基于匹配代价加权的双目视觉立体匹配系统,其特征在于,包括:
存储器,用于存储程序;
处理器,用于通过执行所述存储器存储的程序以实现如权利要求1-3中任一项所述的方法。
CN201910160798.9A 2019-03-04 2019-03-04 一种基于匹配代价加权的双目视觉立体匹配方法及系统 Active CN109978934B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910160798.9A CN109978934B (zh) 2019-03-04 2019-03-04 一种基于匹配代价加权的双目视觉立体匹配方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910160798.9A CN109978934B (zh) 2019-03-04 2019-03-04 一种基于匹配代价加权的双目视觉立体匹配方法及系统

Publications (2)

Publication Number Publication Date
CN109978934A CN109978934A (zh) 2019-07-05
CN109978934B true CN109978934B (zh) 2023-01-10

Family

ID=67077827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910160798.9A Active CN109978934B (zh) 2019-03-04 2019-03-04 一种基于匹配代价加权的双目视觉立体匹配方法及系统

Country Status (1)

Country Link
CN (1) CN109978934B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533710B (zh) * 2019-08-22 2023-07-14 桂林电子科技大学 一种基于gpu的双目匹配算法的方法及处理装置
CN111369425B (zh) * 2020-02-20 2024-05-14 北京迈格威科技有限公司 图像处理方法、装置、电子设备和计算机可读介质
CN111462195B (zh) * 2020-04-09 2022-06-07 武汉大学 基于主线约束的非规则角度方向代价聚合路径确定方法
CN111951310A (zh) * 2020-07-17 2020-11-17 深圳市帝普森微电子有限公司 双目立体匹配方法、视差图获取装置和计算机存储介质
CN112784874B (zh) * 2020-12-28 2022-07-22 深兰人工智能芯片研究院(江苏)有限公司 双目视觉立体匹配方法、装置、电子设备及存储介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0280064A1 (en) * 1987-01-30 1988-08-31 Nec Corporation Pattern matching system
CN102385752A (zh) * 2011-11-01 2012-03-21 清华大学深圳研究生院 一种基于距离和色彩差异的立体匹配方法
CN102572485A (zh) * 2012-02-02 2012-07-11 北京大学 一种自适应加权立体匹配算法、立体显示采集装置及系统
CN103407407A (zh) * 2013-08-28 2013-11-27 沈阳工业大学 基于双目立体视觉的汽车安全车距警示装置及方法
CN104980726A (zh) * 2015-06-12 2015-10-14 南京信息工程大学 一种联合运动向量的双目视频立体匹配方法
CN106340036A (zh) * 2016-08-08 2017-01-18 东南大学 一种基于双目立体视觉的立体匹配方法
CN106355570A (zh) * 2016-10-21 2017-01-25 昆明理工大学 一种结合深度特征的双目立体视觉匹配方法
CN106815594A (zh) * 2015-11-30 2017-06-09 展讯通信(上海)有限公司 立体匹配方法及装置
CN107220997A (zh) * 2017-05-22 2017-09-29 成都通甲优博科技有限责任公司 一种立体匹配方法及系统
CN107274448A (zh) * 2017-07-11 2017-10-20 江南大学 一种基于水平树结构的可变权重代价聚合立体匹配算法
WO2018098891A1 (zh) * 2016-11-30 2018-06-07 成都通甲优博科技有限责任公司 一种立体匹配方法及系统
CN108305280A (zh) * 2018-01-04 2018-07-20 北京大学深圳研究生院 一种双目图像基于最小生成树的立体匹配方法及系统
CN108305269A (zh) * 2018-01-04 2018-07-20 北京大学深圳研究生院 一种双目图像的图像分割方法及系统
CN108322724A (zh) * 2018-02-06 2018-07-24 上海兴芯微电子科技有限公司 图像立体匹配方法以及双目视觉设备
CN108682026A (zh) * 2018-03-22 2018-10-19 辽宁工业大学 一种基于多匹配基元融合的双目视觉立体匹配方法
CN108682039A (zh) * 2018-04-28 2018-10-19 国网山西省电力公司电力科学研究院 一种双目立体视觉测量方法
CN108898575A (zh) * 2018-05-15 2018-11-27 华南理工大学 一种新型自适应权重立体匹配方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10582179B2 (en) * 2016-02-01 2020-03-03 Samsung Electronics Co., Ltd. Method and apparatus for processing binocular disparity image

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0280064A1 (en) * 1987-01-30 1988-08-31 Nec Corporation Pattern matching system
CN102385752A (zh) * 2011-11-01 2012-03-21 清华大学深圳研究生院 一种基于距离和色彩差异的立体匹配方法
CN102572485A (zh) * 2012-02-02 2012-07-11 北京大学 一种自适应加权立体匹配算法、立体显示采集装置及系统
CN103407407A (zh) * 2013-08-28 2013-11-27 沈阳工业大学 基于双目立体视觉的汽车安全车距警示装置及方法
CN104980726A (zh) * 2015-06-12 2015-10-14 南京信息工程大学 一种联合运动向量的双目视频立体匹配方法
CN106815594A (zh) * 2015-11-30 2017-06-09 展讯通信(上海)有限公司 立体匹配方法及装置
CN106340036A (zh) * 2016-08-08 2017-01-18 东南大学 一种基于双目立体视觉的立体匹配方法
CN106355570A (zh) * 2016-10-21 2017-01-25 昆明理工大学 一种结合深度特征的双目立体视觉匹配方法
WO2018098891A1 (zh) * 2016-11-30 2018-06-07 成都通甲优博科技有限责任公司 一种立体匹配方法及系统
CN107220997A (zh) * 2017-05-22 2017-09-29 成都通甲优博科技有限责任公司 一种立体匹配方法及系统
CN107274448A (zh) * 2017-07-11 2017-10-20 江南大学 一种基于水平树结构的可变权重代价聚合立体匹配算法
CN108305280A (zh) * 2018-01-04 2018-07-20 北京大学深圳研究生院 一种双目图像基于最小生成树的立体匹配方法及系统
CN108305269A (zh) * 2018-01-04 2018-07-20 北京大学深圳研究生院 一种双目图像的图像分割方法及系统
CN108322724A (zh) * 2018-02-06 2018-07-24 上海兴芯微电子科技有限公司 图像立体匹配方法以及双目视觉设备
CN108682026A (zh) * 2018-03-22 2018-10-19 辽宁工业大学 一种基于多匹配基元融合的双目视觉立体匹配方法
CN108682039A (zh) * 2018-04-28 2018-10-19 国网山西省电力公司电力科学研究院 一种双目立体视觉测量方法
CN108898575A (zh) * 2018-05-15 2018-11-27 华南理工大学 一种新型自适应权重立体匹配方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
双目视觉立体匹配技术研究现状和展望;林森等;《科学技术与工程》;20171031;第17卷(第30期);第135-147页 *
基于加权引导滤波的局部立体匹配算法;陈松等;《纳米技术与精密工程》;20170930;第15卷(第5期);第394-399页 *

Also Published As

Publication number Publication date
CN109978934A (zh) 2019-07-05

Similar Documents

Publication Publication Date Title
CN109978934B (zh) 一种基于匹配代价加权的双目视觉立体匹配方法及系统
Gautier et al. Depth-based image completion for view synthesis
KR101901586B1 (ko) 로봇 위치 추정 장치 및 그 방법
CN109360235A (zh) 一种基于光场数据的混合深度估计方法
CN102737406A (zh) 三维建模装置及方法
WO2014073670A1 (ja) 画像処理方法及び画像処理装置
CN102665086A (zh) 利用基于区域的局部立体匹配获取视差的方法
CN104424640A (zh) 对图像进行虚化处理的方法和装置
EP3308323A1 (en) Method for reconstructing 3d scene as 3d model
da Silveira et al. Dense 3D scene reconstruction from multiple spherical images for 3-DoF+ VR applications
CN108305280B (zh) 一种双目图像基于最小生成树的立体匹配方法及系统
CN112150518B (zh) 一种基于注意力机制的图像立体匹配方法及双目设备
CN104243970A (zh) 基于立体视觉注意力机制和结构相似度的3d绘制图像的客观质量评价方法
CN117456114B (zh) 基于多视图的三维图像重建方法及系统
CN108074250A (zh) 匹配代价计算方法和装置
CN109961092B (zh) 一种基于视差锚点的双目视觉立体匹配方法及系统
CN111738061A (zh) 基于区域特征提取的双目视觉立体匹配方法及存储介质
CN109544622A (zh) 一种基于mser的双目视觉立体匹配方法及系统
CN113808185B (zh) 图像深度恢复方法、电子设备及存储介质
CN109544611B (zh) 一种基于bit特征的双目视觉立体匹配方法及系统
CN116630423A (zh) 一种基于orb特征的微小型机器人多目标双目定位方法及系统
Lee et al. Automatic 2d-to-3d conversion using multi-scale deep neural network
CN109544619A (zh) 一种基于图割的双目视觉立体匹配方法及系统
CN108257169B (zh) 一种双目图像立体匹配方法、系统及其滤波方法、系统
CN112884817B (zh) 稠密光流计算方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant