CN113344988B - 立体匹配方法、终端及存储介质 - Google Patents

立体匹配方法、终端及存储介质 Download PDF

Info

Publication number
CN113344988B
CN113344988B CN202010140384.2A CN202010140384A CN113344988B CN 113344988 B CN113344988 B CN 113344988B CN 202010140384 A CN202010140384 A CN 202010140384A CN 113344988 B CN113344988 B CN 113344988B
Authority
CN
China
Prior art keywords
point
value
gray
parallax
candidate matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010140384.2A
Other languages
English (en)
Other versions
CN113344988A (zh
Inventor
陈维强
赵启东
高雪松
李广琴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Co Ltd
Original Assignee
Hisense Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Co Ltd filed Critical Hisense Co Ltd
Priority to CN202010140384.2A priority Critical patent/CN113344988B/zh
Publication of CN113344988A publication Critical patent/CN113344988A/zh
Application granted granted Critical
Publication of CN113344988B publication Critical patent/CN113344988B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种立体匹配方法、终端及存储介质,依次选取基准图中像素点为待匹配点,计算以待匹配点为中心的固定窗口内所有邻域像素点的灰度平均值;根据灰度平均值,分别计算待匹配点的第一比特串和比较图中预设视差搜索范围内首个候选匹配点的第二比特串;选取搜索策略,计算比较图中剩余候选匹配点的第二比特串,根据第一比特串和多个第二比特串,分别计算出多个候选匹配点的匹配代价值;选取最小匹配代价值,将最小匹配代价值所对应的候选匹配点的视差作为待匹配点的最优视差;根据基准图中所有像素点的视差,得到视差图像。本申请能够有效减低算法的资源消耗,利于算法在低成本的计算平台上部署。

Description

立体匹配方法、终端及存储介质
技术领域
本申请涉及图像处理技术领域,尤其涉及一种立体匹配方法、终端及存储介质。
背景技术
双目相机在智慧家居、工业自动化、安防等领域的应用日益广泛,其主要基于双目立体视觉技术。双目立体视觉技术模拟人类双眼识别场景三维信息的机理为利用两个相机分别从两个角度获取同一场景的两幅二维图像,再基于二维图像的处理,获得原始图像的深度信息进而得到三维立体图像。
在双目立体视觉技术对二维图像的处理过程中,核心是用于实现立体匹配。目前,常用的立体匹配方法为:将两幅二维图像分别作为基准图和比较图,在基准图中选取任一像素作为待匹配点,确定视差搜索范围,在该视差搜索范围中,从比较图中寻找出若干候选匹配点,在待匹配点与候选匹配点之间进行暴力搜索,将待匹配点依次与候选匹配点进行比较,找到与其最接近的像素,并通过待匹配点与最接近的候选匹配点的坐标值,确定出待匹配点的视差。根据上述过程,遍历基准图中所有像素点,最终得到视差图像。
上述立体匹配方法中,需要在视差搜索范围进行暴力搜索,使得算法的复杂度较高,并且逐一像素进行比较,耗时较长,导致算法的实时性差。因此,难以将立体匹配方法移植到低成本的计算平台上,从而限制了该方法的产品化。
发明内容
本申请提供了一种立体匹配方法、终端及存储介质,以解决现有技术中立体匹配方法复杂度较高,实时性差的技术问题。
为了解决上述技术问题,本申请实施例公开了如下技术方案:
第一方面,本申请实施例公开了一种立体匹配方法,所述方法包括:
依次选取基准图中像素点为待匹配点,计算固定窗口内所有邻域像素点的灰度平均值,所述固定窗口以所述待匹配点为中心;
根据所述灰度平均值,分别计算所述待匹配点的第一比特串和比较图中预设视差搜索范围内首个候选匹配点的第二比特串;
选取搜索策略,计算所述比较图中剩余候选匹配点的第二比特串,其中,当视差大于预设值时,利用预设的跳跃搜索策略进行计算,当视差小于预设值时,利用预设的连续搜索策略并基于所述灰度平均值进行计算;
根据所述第一比特串和全部所述第二比特串,分别计算出全部所述候选匹配点的匹配代价值;
选取最小匹配代价值,将所述最小匹配代价值所对应的候选匹配点的视差作为所述待匹配点的最优视差;
根据所述基准图中所有像素点的视差,得到视差图像。
第二方面,本申请实施例公开了一种立体匹配终端,所述终端包括:存储器、处理器和摄像头组件,其中,
所述存储器、处理器和摄像头组件通信连接;
所述摄像头组件,用于采集二维图像,并将所述二维图像发送至所述处理器,其中,所述二维图像包括基准图和比较图;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述计算机程序,并根据所述计算机程序实现上述任一所述立体匹配方法。
第三方面,本申请实施例公开了一种计算机存储介质,所述计算机存储介质可存储有计算机程序,所述计算机程序执行时实现上述任一所述立体匹配方法。
与现有技术相比,本申请的有益效果为:
本申请提供了一种立体匹配方法、终端及存储介质,在计算基准图中任一像素点,即待匹配点的视差时,先计算出以该待匹配点为中心的固定窗口内所有邻域像素点的灰度平均值,依据灰度平均值计算该待匹配点第一比特串,并且,在比较图中位于视差搜索范围内的首个候选匹配点,同样基于该灰度平均值,计算出第二比特串。依据视差和深度距离的关系,预先制定视差搜索策略,即连续搜索策略和跳跃搜索策略,按照连续搜索策略或跳跃搜索策略,依次选取比较图中剩余候选匹配点,并分别计算出剩余候选匹配点的第二比特串。若是通过跳跃式搜索策略,则过滤掉不必要候选匹配点的第二比特串的计算,从而减少了计算量。当通过连续搜索策略选择候选匹配点时,由于是基于同一灰度平均值计算第二比特串,相邻两个候选匹配点的第二比特串中,包含有共同部分,所以,大大削减了算法的计算量。且由于计算量的减少,故缩短了算法所需时间。之后,分别计算出多个候选匹配点的匹配代价值,从中选取最小匹配代价值,该最小匹配代价值所对应的候选匹配点的视差即为待匹配点的最优视差。最后,按照上述方式,遍历基准图中的所有像素点,得到视差图像。本申请能够有效减低算法的资源消耗,利于算法在低成本的计算平台上部署。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的视差和深度距离之间的关系图;
图2为本发明实施例提供的一种立体匹配方法的流程示意图;
图3为本发明实施例提供的待匹配点的选取示意图;
图4为本发明实施例提供的待匹配点的第一比特串的计算方法流程图;
图5为本发明实施例提供的搜索视差范围内的首个候选匹配点的第二比特串的计算方法流程图;
图6为本发明实施例提供的积分图算法的流程图;
图7为本发明实施例提供的积分图算法的应用示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
双目相机在获取到双目源图像之后,首先对双目源图像进行预处理,即进行高斯滤波平滑处理,去除双目源图像中的噪声,为了增加后期立体匹配的鲁棒性,在高斯滤波之后,分别对双目源图像进行梯度处理,将双目源图像中的像素灰度信息处理为像素梯度信息,得到梯度处理后的图像。然后,对于预处理之后的源图像基于双目立体匹配获得最终视差图像。最终视差图象主要分为稠密视差图和稀疏视差图,无论是哪种视差图,均需要先通过对预处理之后的源图像进行立体匹配过程,得到初步的视差图像。
为了保证立体匹配过程的精简性和实时性,本申请实施例提供的立体匹配方法中,在进行立体匹配计算之前,可先预设出视差搜索范围。针对于基准图中的每一像素点,都对应的在比较图中的视差搜索范围内,寻找到汉明距离最小的候选匹配点。
在一种实现方式中,在设计生产双目相机时,允许双目相机测得的最远景深和最近景深分别对应相机能够测得的最大距离和最小距离。根据双目相机的设计要求,能够反推出最近距离对应视差最大值dmax,最远距离对应视差最小值dmin。换句话说,对于基准图中的任一像素点(x,y),该像素点对应的比较图中的视差搜索范围为(x+dmin,x+dmax)。
除预设视差搜索范围之外,本申请还可以预先制定出不同的视差搜索策略。在一种实现方式中,根据视差和深度距离关系,设定不同的视差搜索策略。
根据视差和深度距离的计算公式:
Figure BDA0002398880110000031
式中,z为测定物体距离双目相机的深度距离,f是双目相机焦距,d是视差值,其中,双目相机中的左右两个相机拍摄同一个场景,两个相机必须在同一水平线上,两个光心之间的距离叫做相机基线长,用B表示。基于公式可发现,视差和深度距离两者之间成反比关系。
参见图1,为本发明实施例提供的视差和深度距离之间的关系图。视差和实际物体的深度距离关系如图1所示,如图1中a部分所示,当视差值较小时,深度距离随视差变化十分剧烈,而如图1中b部分所示,视差值较大时,深度距离随视差变化相对比较平缓。基于此,本申请制定不同的视差搜索策略。
本申请中视差搜索策略包括连续搜索策略和跳跃搜索策略,该视差搜索策略用于在比较图中,依次确认视差搜索范围内首个候选匹配点之后的后续候选匹配点的位置。还是结合图1,对于横坐标的视差来说,能够分为不同的阶段,每一阶段通过分界点进行分割,例如,视差1-3为一个阶段,视差4-7为一个阶段,视差7-10为一个阶段等等,分界点依次表示为dT1、dT2等。
不同的视差对应的深度距离不同,当视差比较大的时候,距离波动较小,当视差比较小的时候,视差只要有一点变化,实际距离波动就是几米,甚至几十米的误差。因此,本申请可依据经验值,并结合双目相机的设计要求,设置一个预设值。当视差大于预设值时,利用预设的跳跃搜索策略确认比较图中下一候选匹配点的位置,当视差小于预设值时,利用预设的连续搜索策略确认比较图中下一候选匹配点的位置。
考虑到双目相机测量景深距离的范围往往较大,相机基线尺寸和相机焦距又受限于制造成本和设备体积等因素。因此,双目匹配算法会面临视差最大值dmax过大从而消耗过多计算量的问题。基于上述问题,本申请中的跳跃搜索策略可以包括跳跃一次或者跳跃多次,跳跃次数可用n表示。
视差搜索策略可用下式表示:
Figure BDA0002398880110000041
视差搜索策略的公式中,按照d=d+n继续确认比较图中下一候选匹配点的位置,当n=1时,表示连续搜索策略;当n>1时,表示跳跃搜索,其中,n=2时,表示在比较图中跳跃一次选取下一个候选匹配点,n=3时,表示在比较图中跳跃两次选取下一个候选匹配点。当然,根据实际应用的不同,还可以根据视差划分的阶段数量的不同,设置多个分界点dT,相应的,上述n设置为4、5等等,在此不做限制。
下面结合附图对立体匹配方法进行说明。
参见图2,为本发明实施例提供的一种立体匹配方法的流程示意图,结合图2所示,所述立体匹配方法包括以下步骤:
S201:依次选取基准图中像素点为待匹配点,计算固定窗口内所有邻域像素点的灰度平均值,所述固定窗口以所述待匹配点为中心。
在一种实现方式中,对于基准图中的每一像素点,均需要被依次选取为待匹配点。以待匹配点为中心,设置固定窗口,计算该固定窗口内所有邻域像素点的灰度平均值。
参见图3,为本发明实施例提供的待匹配点的选取示意图。如图3所示,从图3的基准图中获取任一像素点为中心,比方说图3中以灰度值为50的像素点为中心,设置固定窗口,计算固定窗口内50的邻域像素点的灰度平均值,计算方式如下:(20+60+72+45+51+52+48+60)/8=51,也就是说,51即为灰度平均值。
S202:根据所述灰度平均值,分别计算所述待匹配点的第一比特串和比较图中预设视差搜索范围内首个候选匹配点的第二比特串。
首先计算第一比特串和视差搜索范围内首个候选匹配点的第二比特串,然后计算出视差搜索范围内全部候选匹配点的第二比特串,基于第一比特串和第二比特串计算出全部候选匹配点的匹配代价值。
第一比特串和视差搜索范围内首个候选匹配点的第二比特串的计算方法都有多种,以下仅以一种方式为例对两者的计算过程进行说明。
参见图4,为本发明实施例提供的待匹配点的第一比特串的计算方法流程图,如图4所示,计算方法包括以下步骤:
S401:判断以所述待匹配点为中心的固定窗口内每一像素点灰度值与所述灰度平均值的大小。
对于基准图像中的待匹配点PR,以PR为中心,在基准图像中取一个固定窗口,求取在该固定窗口内PR所有邻域像素点qR的灰度平均值
Figure BDA0002398880110000042
通过灰度平均值/>
Figure BDA0002398880110000043
求得待匹配点PR的第一比特串R1
S402:若像素点灰度值大于所述灰度平均值,则像素点的比特值记为0。
S403:若像素点的灰度值小于等于所述灰度平均值,则像素点的比特值记为1。
也就是说,以待匹配点为中心的固定窗口内每一像素点的灰度值均与计算出的灰度平均值进行比较,并根据比较结果,记为0或1的比特值,依次记录比特值,即可得到待匹配点的第一比特串。
S404:累计以所述待匹配点为中心的固定窗口内每一像素点的比特值,得到第一比特串。
在一种实现方式中,基于上述计算出的待选匹配点的灰度平均值,第一比特串R1计算公式如下:
Figure BDA0002398880110000051
举例来说,继续结合图3,在该固定窗口内,将每一邻域像素点(20、60、72、45、51、52、48、60)依次与灰度平均值51比较,如20小于51,则20所对应的比特值记为1,6大于51,则60所对应的比特值记为0,以此类推,得到第一比特串10011010。
需要说明的是,第一比特串的计算方式有多种,以上仅仅是一个示例,本申请对第一比特串的计算方式不做限定。
参见图5,为本发明实施例提供的搜索视差范围内的首个候选匹配点的第二比特串的计算方法流程图,如图5所示,计算方法包括以下步骤:
S501:将所述灰度平均值与调整参数相加,得到灰度参考值。
在一种实现方式中,在待匹配点PR的第一比特串之后,确定与待匹配点PR在比较图中对应位置的像素点PL,也就是位于比较图中位于搜索视差范围内的首个候选匹配点。本申请通过调整参数
Figure BDA0002398880110000052
来调整灰度平均值/>
Figure BDA0002398880110000053
其中,I(PL)为像素点PL灰度值,β为噪声调整系数,通过调整之后的灰度参考值去计算第二比特串。对于噪声调整系数来说,根据实际图片的画质确定该数值,可以通过后台获取的大量左右图像进行计算β的值,从而确保噪声调整系数的准确性。一般而言,噪声水平和灰度值成反比,通过Δ对灰度平均值/>
Figure BDA0002398880110000055
进行微调,以保证基准图和比较图中正确匹配点处的灰度信息更加接近,使得固定窗口内求得的比特串更加准确。
S502:判断以候选匹配点为中心的固定窗口内每一像素点灰度值与所述灰度参考值的大小。
S503:若像素点的灰度值大于所述灰度参考值,则当前像素点的比特值记为0。
S504:若像素点的灰度值小于等于所述灰度参考值,则当前像素点的比特值记为1。
也就是说,以候选匹配点为中心的固定窗口内每一像素点的灰度值均与计算出的灰度参考值进行比较,并根据比较结果,记为0或1的比特值,依次记录比特值,即可得到候选匹配点的第二比特串。
S505:累计以候选匹配点为中心的固定窗口内每一像素点的比特值,得到第一比特串。
设置以候选匹配点PL为中心的固定窗口,计算该固定窗口中候选匹配点PL的全部领域像素点qL的比特值,最终获得该候选匹配点PL的第二比特串R2。第二比特串R2的计算公式如下:
Figure BDA0002398880110000054
需要说明的是,视差搜索范围内首个候选匹配点的第二比特串的计算方式有多种,以上仅仅是一个示例,本申请对视差搜索范围内首个候选匹配点的第二比特串的计算方式不做限定。
通过以上示例能够求解出待匹配点的第一比特串和比较图中预设视差搜索范围内首个候选匹配点的第二比特串。然后,本申请中需要计算出视差搜索范围内剩余候选匹配点的第二比特串。
在不同情况下可以采用不同的方式计算所述比较图中剩余候选匹配点的第二比特串。在一种实现方式中,在计算出视差范围内的首个候选匹配点的第二比特串之后,再根据预设好的视差搜索策略,依次确认视差范围内下一候选匹配点,并依次计算出剩余候选匹配点的第二比特串。
S203:选取视差搜索策略,计算所述比较图中剩余候选匹配点的第二比特串,其中,当视差大于预设值时,利用预设的跳跃搜索策略进行计算,当视差小于预设值时,利用预设的连续搜索策略并基于所述灰度平均值进行计算。
本申请中,当下一候选匹配点的视差较小时,利用预设的连续搜索策略,计算所述比较图中剩余候选匹配点的第二比特串。也就是说,根据所述连续搜索策略,选取所述比较图中下一候选匹配点,即计算完上一候选匹配点的第二比特串之后,紧接着计算下一候选匹配点的第二比特串。
针对采用的连续搜索策略,可以利用积分图算法计算所述下一候选匹配点的第二比特串。参见图6,为本发明实施例提供的积分图算法的流程图,如图6所示,该方法包括以下步骤:
S601:将以上一候选匹配点为中心的固定窗口向右滑动一列,或向下滑动一行,得到以所述下一候选匹配点为中心的固定窗口。
上一候选匹配点可理解为刚刚计算出第二比特串的候选匹配点,且其第二比特串式基于灰度平均值计算得到。
S602:根据所述灰度平均值,计算新增列或者新增行内像素点的新增比特值。
以上一候选匹配点为中心的固定窗口向右滑动一列,或向下滑动一行,也就是说,该固定窗口内除了原有的像素点之外,又新增了一列或者一行像素点。此时,可仅仅计算新增列或者新增行内像素点的新增比特值,而无需再计算共同区域内像素点的比特值。
S603:将固定窗口移动前和移动后所共有的像素点的比特值,与新增比特值进行累计,得到所述下一候选匹配点的第二比特串。
为了更加直观的理解本申请中的积分图算法,参见图7,为本发明实施例提供的积分图算法的应用示意图。如图7所示,假设以上一候选匹配点为中心的固定窗口为5*5的窗口,该窗口内的PL为上一候选匹配点,在计算完固定窗口内所有领域像素点qL的比特值之后,将5*5的固定窗口向右移动,得到去掉第1列,新增第6列的新的固定窗口,或者说,将5*5的固定窗口向下移动,得到去掉第1行,新增第6行的新的固定窗口。从图7中可以发现,后续由移动得到的固定窗口与前一固定窗口相比较而言,存在大部分的共同区域,也就存在共同的计算量。因此,在计算移动之后固定窗口内的领域像素点的比特值时,能够借用以上一候选匹配点为中心的固定窗口内部分领域像素点的比特值,从而大大减少了计算量。
以上为本申请中通过连续搜索策略选取下一候选匹配点,且计算其第二比特串的过程。
本申请中,当下一候选匹配点的视差较大时,利用预设的跳跃搜索策略,计算所述比较图中剩余候选匹配点的第二比特串。在一种实现方式中,根据跳跃搜索策略,选取所述比较图中下一候选匹配点,即计算完上一候选匹配点的第二比特串之后,跳跃一个或多个像素点,再计算下一候选匹配点的第二比特串。
由于是跳跃搜索策略,故下一候选匹配点和上一候选匹配点之间会存在一点距离,也就是说,若是由以上一候选匹配点为中心的固定窗口移动至下一候选匹配点为中心的固定窗口的话,两个固定窗口差距较大,可以借鉴利用的共同计算量相对减少,若是继续采用积分图算法的话,可能需要加较多的程序逻辑控制其跳跃几次等,相比较而言,该程序逻辑控制相对复杂。故本申请中针对跳跃搜索策略,利用Census匹配算法,计算所述下一个候选匹配点的第二比特串。
在一种实现方式中,利用Census匹配算法计算第二比特串的过程如下:在比较图的的第一比特串之后,确定与待匹配点PR在比较图中对应位置的像素点PL,在比较图中选取与基准图待匹配点相对应的像素点,以像素点为中心划出一个固定窗口,固定窗口中除像素点p之外的每一个邻域点q都与像素点p进行灰度值的比较,灰度值小于像素点p即记为1,灰度值大于像素点p的则记为0,最终获得第二比特串。
S204:根据所述第一比特串和全部所述第二比特串,分别计算出全部所述候选匹配点的匹配代价值。
在一种实现方式中,依次选取第二比特串R2,分别与第一比特串R1进行比较,计算出每一候选匹配点的匹配代价值,即每一候选匹配点与待匹配点之间的汉明距离。计算公式如下:
Figure BDA0002398880110000071
式中,Census表示为候选匹配点的匹配代价值。通过该公式,逐位进行第二比特串与第一比特串之间的异或运算,即同位置上的比特值相同记为0,相异记为1。计算结果为1的个数,记为此候选匹配点与待匹配点之间的汉明距离,即作为该候选匹配点的匹配代价值。
S205:选取最小匹配代价值,将所述最小匹配代价值所对应的候选匹配点的视差作为所述待匹配点的最优视差。
汉明距离是两像素点间相似度的一种体现,汉明距离愈小,两像素点相似度愈大。在一种实现方式中,选取汉明距离最小所对应的候选匹配点,也就是说选取最小匹配代价值所对应的候选匹配点,该候选匹配点与待匹配点之间的相似度最大。以相似度最大的候选匹配点所对应的视差,作为基准图中该待匹配点的视差。
S206:根据所述基准图中所有像素点的视差,得到视差图像。
通过上述过程,依次计算基准图中每一像素点的视差,即可得到视差图像。
以上,即为视差图像处理过程的步骤描述。在通过立体匹配方法获得初步的视差图像之后,再基于不同的后处理过程,能够获得稠密视差图和稀疏视差图。以下,以稀疏视差图为例,描述得到初步视差图像之后的后处理过程。
基于上述立体匹配方法,分别获得两幅初步的视差图像,即基于左视图的视差图像和基于右视图的视差图像。其中,左右视图可视为双目相机获得的两幅二维图像,先以左视图为基准图,右视图为比较图,获得一幅视差图像,再以右视图为基准图,左视图为比较图,获得另一幅视差图像。由于两幅视差图像是基于同一场景的视差图像,故对于同一像素点的视差应该一致。若是对于同一像素点的两幅视差图中视差差别较大,则说明该像素点的有一立体匹配过程出错,也就是该像素点的置信度较低,进而忽略该像素点的视差。
对于获得的两幅视差图像,可以通过上述左右一致性检测,即通过去除误匹配像素点,保留匹配一致的像素点,得到整合后的视差图像。然后通过中值滤波或均值滤波,对整合后视差图像中的有效视差进行平滑滤波处理,无效视差不做处理,获得后处理的视差图像。
本申请对于双目相机获取到的双目源图像,在经过预处理之后,得到了梯度处理后的图像。对于梯度处理后的图像,设置梯度阈值T,若梯度处理后的图像中某一像素点的像素值小于梯度阈值T,则对应至后处理的视差图像中,将该像素点的视差值赋值为无效视差。若梯度处理后的图像中某一位置的像素值大于等于梯度阈值T,则保留该像素点的视差值。按照上述方式,遍历梯度处理后的图像中的所有像素点,最终检测出不同物体之间的边缘分界点,得到基于边的立体匹配视差图像,即稀疏视差图。也就是说,基于梯度处理后的图像,不同物体之间均是具有边缘分界点,把边缘分界点上的视差提取出来,对于无纹理、平纹理等没有梯度的区域忽略不管,得到稀疏视差图。该稀疏视差图可用于后期基于视差图像的检测识别。
本申请实施例所提供的立体匹配方法,通过视差与深度距离之间的关系,制定出不同的视差搜索策略,即大视差采用跳跃搜索策略,小视差采用连续搜索策略。通过跳跃搜索策略减少了比较图中视差搜索范围内的部分候选匹配点的计算,避免基准图中待匹配点与比较图中视差搜索范围内的候选匹配点进行暴力搜索,从而缩减了立体匹配方法的计算量,进而减少计算所需时间。进一步,针对连续搜索策略,本申请还基于比较图和基准图中共用待匹配点的领域像素点的灰度平均值,利用积分图算法,借用共同的计算量,从而进一步减少了立体匹配方法的计算量,也减少了耗时,进而能够又快又实时的获得一个比较准确的景深视差图像。本申请中立体匹配算法的计算量大大减少,能够有效减低算法的资源消耗,利于算法在低成本的计算平台上部署。
与上述方法相对应的,本申请还提供了一种立体匹配终端,还立体匹配终端包括依次通讯连接的存储器、处理器和摄像头组件。
通过摄像头组件,采集物体的二维图像,并将二维图像发送至处理器,在一种实现方式中,该摄像头组件为双目摄像头,二维图像即包括基准图与比较图的二维图像。存储器,用于存放计算机程序,处理器,用于执行存储器中所存放的计算机程序,并根据计算机程序实现上述立体匹配方法。
基于与上述立体匹配方法和立体匹配终端同样的发明构思,本实施例还提供了一种计算机存储介质,该计算机存储介质可存储有程序,所述程序执行时可实现上述任一实施提供的立体匹配方法。
由于以上实施方式均是在其他方式之上引用结合进行说明,不同实施例之间均具有相同的部分,本说明书中各个实施例之间相同、相似的部分互相参见即可。在此不再详细阐述。
需要说明的是,在本说明书中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或暗示这些实体或操作之间存在任何这种实际的关系或顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的电路结构、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种电路结构、物品或者设备所固有的要素。在没有更多限制的情况下,有语句“包括一个……”限定的要素,并不排除在包括所述要素的电路结构、物品或者设备中还存在另外的相同要素。
本领域技术人员在考虑说明书及实践这里发明的公开后,将容易想到本申请的其他实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由权利要求的内容指出。
以上所述的本申请实施方式并不构成对本申请保护范围的限定。

Claims (7)

1.一种立体匹配方法,其特征在于,所述方法包括:
依次选取基准图中像素点为待匹配点,计算固定窗口内所有邻域像素点的灰度平均值,所述固定窗口以所述待匹配点为中心;
根据所述灰度平均值,分别计算所述待匹配点的第一比特串和比较图中预设视差搜索范围内首个候选匹配点的第二比特串;
选取视差搜索策略,计算所述比较图中剩余候选匹配点的第二比特串,其中,当视差大于预设值时,利用预设的跳跃搜索策略进行计算,当视差小于预设值时,利用预设的连续搜索策略并基于所述灰度平均值进行计算,其中,利用预设的跳跃搜索策略,计算所述比较图中剩余候选匹配点的第二比特串,包括:根据所述跳跃搜索策略,选取所述比较图中下一候选匹配点;利用Census匹配算法,计算所述下一个候选匹配点的第二比特串;利用预设的连续搜索策略,计算所述比较图中剩余候选匹配点的第二比特串,包括:根据所述连续搜索策略,选取所述比较图中下一候选匹配点;利用积分图算法,计算所述下一候选匹配点的第二比特串;
根据所述第一比特串和全部所述第二比特串,分别计算出全部所述候选匹配点的匹配代价值;
选取最小匹配代价值,将所述最小匹配代价值所对应的候选匹配点的视差作为所述待匹配点的最优视差;
根据所述基准图中所有像素点的视差,得到视差图像。
2.根据权利要求1所述的立体匹配方法,其特征在于,所述利用积分图算法,计算所述下一候选匹配点的第二比特串,包括:
将以上一候选匹配点为中心的固定窗口向右滑动一列,或向下滑动一行,得到以所述下一候选匹配点为中心的固定窗口;
根据所述灰度平均值,计算新增列或者新增行内像素点的新增比特值;
将固定窗口移动前和移动后所共有的像素点的比特值,与新增比特值进行累计,得到所述下一候选匹配点的第二比特串。
3.根据权利要求1所述的立体匹配方法,其特征在于,根据所述灰度平均值,计算所述待匹配点的第一比特串,包括:
判断以所述待匹配点为中心的固定窗口内每一像素点灰度值与所述灰度平均值的大小;
若像素点灰度值大于所述灰度平均值,则像素点的比特值记为0;
若像素点的灰度值小于等于所述灰度平均值,则像素点的比特值记为1;
累计以所述待匹配点为中心的固定窗口内每一像素点的比特值,得到第一比特串。
4.根据权利要求1所述的立体匹配方法,其特征在于,根据所述灰度平均值,计算比较图中所述视差搜索范围内首个候选匹配点的第二比特串,包括:
将所述灰度平均值与调整参数相加,得到灰度参考值;
判断以候选匹配点为中心的固定窗口内每一像素点灰度值与所述灰度参考值的大小;
若像素点的灰度值大于所述灰度参考值,则当前像素点的比特值记为0;
若像素点的灰度值小于等于所述灰度参考值,则当前像素点的比特值记为1;
累计以候选匹配点为中心的固定窗口内每一像素点的比特值,得到第一比特串。
5.根据权利要求4所述的立体匹配方法,其特征在于,所述调整参数为像素点灰度值与噪声调整系数的比值。
6.一种立体匹配终端,其特征在于,所述终端包括:存储器、处理器和摄像头组件,其中,
所述存储器、处理器和摄像头组件通信连接;
所述摄像头组件,用于采集二维图像,并将所述二维图像发送至所述处理器,其中,所述二维图像包括基准图和比较图;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述计算机程序,并根据所述计算机程序实现权利要求1-5任一所述立体匹配方法。
7.一种计算机存储介质,其特征在于,所述计算机存储介质可存储有计算机程序,所述计算机程序执行时可实现权利要求1-5任一所述立体匹配方法。
CN202010140384.2A 2020-03-03 2020-03-03 立体匹配方法、终端及存储介质 Active CN113344988B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010140384.2A CN113344988B (zh) 2020-03-03 2020-03-03 立体匹配方法、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010140384.2A CN113344988B (zh) 2020-03-03 2020-03-03 立体匹配方法、终端及存储介质

Publications (2)

Publication Number Publication Date
CN113344988A CN113344988A (zh) 2021-09-03
CN113344988B true CN113344988B (zh) 2023-03-31

Family

ID=77467386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010140384.2A Active CN113344988B (zh) 2020-03-03 2020-03-03 立体匹配方法、终端及存储介质

Country Status (1)

Country Link
CN (1) CN113344988B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116228589B (zh) * 2023-03-22 2023-08-29 新创碳谷集团有限公司 一种视觉检测相机噪声点消除方法、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101980538A (zh) * 2010-10-21 2011-02-23 北京航空航天大学 一种基于分形的双目立体视频压缩编解码方法
CN102316323A (zh) * 2011-07-06 2012-01-11 北京航空航天大学 一种快速的双目立体视频分形压缩与解压缩方法
CN105556965A (zh) * 2013-07-15 2016-05-04 诺基亚技术有限公司 用于视频编码和解码的方法、装置和计算机程序产品
CN109615652A (zh) * 2018-10-23 2019-04-12 西安交通大学 一种深度信息获取方法及装置
CN110135496A (zh) * 2019-05-16 2019-08-16 东莞职业技术学院 一种基于特征的立体图像匹配算法
CN110473219A (zh) * 2019-07-31 2019-11-19 天津大学 基于邻域相关信息的立体匹配方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101980538A (zh) * 2010-10-21 2011-02-23 北京航空航天大学 一种基于分形的双目立体视频压缩编解码方法
CN102316323A (zh) * 2011-07-06 2012-01-11 北京航空航天大学 一种快速的双目立体视频分形压缩与解压缩方法
CN105556965A (zh) * 2013-07-15 2016-05-04 诺基亚技术有限公司 用于视频编码和解码的方法、装置和计算机程序产品
CN109615652A (zh) * 2018-10-23 2019-04-12 西安交通大学 一种深度信息获取方法及装置
CN110135496A (zh) * 2019-05-16 2019-08-16 东莞职业技术学院 一种基于特征的立体图像匹配算法
CN110473219A (zh) * 2019-07-31 2019-11-19 天津大学 基于邻域相关信息的立体匹配方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Noise robust image matching using adjacent evaluation census transform and wavelet edge joint bilateral filter in stereo vision;KechenSong等;《Journal of Visual Communication and Image Representation》;20160731;全文 *
Vehicle Type Classification Using an Enhanced Sparse-Filtered Convolutional Neural Network With Layer-Skipping Strategy;Suryanti Awang;《IEEE Access》;20200101;1-13页 *
基于道路环境的车载双目系统立体匹配算法;张方义等;《科学技术与工程》;20181228;78-86页 *
适用于智能视频监控系统的双目视觉三维重建技术研究;王源;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20181016;1-77页 *

Also Published As

Publication number Publication date
CN113344988A (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
Chen et al. Improved saliency detection in RGB-D images using two-phase depth estimation and selective deep fusion
CN110220493B (zh) 一种双目测距方法及其装置
WO2018000752A1 (zh) 一种基于多尺度cnn和连续crf的单目图像深度估计方法
CN108596975B (zh) 一种针对弱纹理区域的立体匹配算法
CN105069804B (zh) 基于智能手机的三维模型扫描重建方法
US8903161B2 (en) Apparatus for estimating robot position and method thereof
CN107578430B (zh) 一种基于自适应权值和局部熵的立体匹配方法
CN106960449B (zh) 基于多特征约束的异源配准方法
CN109640066B (zh) 高精度稠密深度图像的生成方法和装置
CN111028281B (zh) 基于光场双目系统的深度信息计算方法及装置
CN111368717B (zh) 视线确定方法、装置、电子设备和计算机可读存储介质
WO2015014111A1 (zh) 一种光流跟踪方法和装置
KR101364860B1 (ko) 입체 영상의 입체감 향상을 위한 입체 영상 변환 방법 및 이를 기록한 기록매체
CN113763269A (zh) 一种用于双目图像的立体匹配方法
CN115457086A (zh) 基于双目视觉和卡尔曼滤波的多目标跟踪算法
US11256949B2 (en) Guided sparse feature matching via coarsely defined dense matches
CN111739071A (zh) 基于初始值的快速迭代配准方法、介质、终端和装置
CN113344988B (zh) 立体匹配方法、终端及存储介质
CN111476812A (zh) 地图分割方法、装置、位姿估计方法和设备终端
JP6395429B2 (ja) 画像処理装置、その制御方法及び記憶媒体
CN110443228B (zh) 一种行人匹配方法、装置、电子设备及存储介质
CN111738061A (zh) 基于区域特征提取的双目视觉立体匹配方法及存储介质
JP6655869B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN110910438B (zh) 一种超高分辨率双目图像的高速立体匹配算法
CN112614166A (zh) 基于cnn-knn的点云匹配方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant