CN106780711A - 一种用于芯片集成的立体匹配方法和装置 - Google Patents

一种用于芯片集成的立体匹配方法和装置 Download PDF

Info

Publication number
CN106780711A
CN106780711A CN201510795925.4A CN201510795925A CN106780711A CN 106780711 A CN106780711 A CN 106780711A CN 201510795925 A CN201510795925 A CN 201510795925A CN 106780711 A CN106780711 A CN 106780711A
Authority
CN
China
Prior art keywords
pixel
prime
point
value
reference point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510795925.4A
Other languages
English (en)
Other versions
CN106780711B (zh
Inventor
姜军
罗威
程俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201510795925.4A priority Critical patent/CN106780711B/zh
Publication of CN106780711A publication Critical patent/CN106780711A/zh
Application granted granted Critical
Publication of CN106780711B publication Critical patent/CN106780711B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明适用于计算机视觉技术领域,提供了一种用于芯片集成的立体匹配方法和装置,以解决立体匹配过程计算量太大,消耗资源过多,不适合在芯片上实现的问题。所述方法包括:在左图像中获取与右图像的参考点对应的映射点;从映射点开始向右的预置范围内,每隔固定像素点的间隔选取待测试像素点;计算待测试像素点与参考点之间的匹配值,并取最小匹配值对应的像素点为基准映射点;计算基准映射点左右固定像素点范围内每一个像素点与参考点之间的匹配值,并取最小匹配值对应的像素点为匹配点。本发明的技术方案实现了在保证精度的情况下缩减计算量的立体匹配,大大减少了计算资源和硬件存储资源,从而可以在芯片上得以良好的实现。

Description

一种用于芯片集成的立体匹配方法和装置
技术领域
本发明涉及计算机视觉技术领域,尤其涉及一种用于芯片集成的立体匹配方法和装置。
背景技术
双目立体视觉技术是三维重建算法中比较流行的一种技术。双目立体视觉旨在模拟人类双眼识别场景三维信息的机理,从两个角度获取场景的二维图像,再根据建立图像之间的匹配关系重建三维模型。建立两幅图像像素点对应关系的过程就是立体匹配的过程,它是双目立体视觉技术的核心。
传统的立体匹配过程是将通过双目相机采集到的并且已平行校正过的右图像作为参考图像,循环的对右图像每一个像素点,在双目相机采集到的左图像中的同一行寻找一个与之对应的匹配点,该匹配点是从左图像的映射点开始往右逐个像素寻找直到最大搜索范围。在搜索范围里的每一点,都需要对以此点中心的窗口中每一个像素点进行计算,因此为了确保精度,窗口就必须取较大的范围,加上窗口内所有像素点都要参与计算,导致计算量太大,资源消耗过多,不适合在芯片上实现。
发明内容
本发明的目的在于提供一种用于芯片集成的立体匹配方法和装置,旨在解决现有技术中立体匹配过程计算量太大,消耗资源过多,不适合在芯片上实现的问题。
本发明第一方面,提供一种用于芯片集成的立体匹配方法,包括:
在左图像中获取与右图像的参考点对应的映射点,所述映射点为所述左图像中与所述参考点同行同列的像素点;
从所述映射点开始向右的预置范围内,每隔固定像素点的间隔选取待测试像素点;
计算所述待测试像素点与所述参考点之间的匹配值,并取最小匹配值对应的像素点为基准映射点;
计算所述基准映射点左右固定像素点范围内每一个像素点与所述参考点之间的匹配值,并取最小匹配值对应的像素点为匹配点。
本发明第二方面,提供一种用于芯片集成的立体匹配装置,包括:
映射点获取模块,用于在左图像中获取与右图像的参考点对应的映射点,所述映射点为所述左图像中与所述参考点同行同列的像素点;
测试像素点选取模块,用于从所述映射点开始向右的预置范围内,每隔固定像素点的间隔选取待测试像素点;
基准映射点计算模块,用于计算所述待测试像素点与所述参考点之间的匹配值,并取最小匹配值对应的像素点为基准映射点;
匹配点计算模块,用于计算所述基准映射点左右固定像素点范围内每一个像素点与所述参考点之间的匹配值,并取最小匹配值对应的像素点为匹配点。
本发明与现有技术相比存在的有益效果是:本发明提供的技术方案通过在计算待测试像素点与参考点之间的匹配值之前,在左图像中间隔固定像素点选取所述待测试像素点的方法,与现有技术相比,实现了在保证精度的情况下缩减计算量的立体匹配,大大减少了所需的计算资源和硬件存储资源,从而可以在芯片上得以良好的实现。
附图说明
图1是本发明实施例一提供的用于芯片集成的立体匹配方法的流程图;
图2是本发明实施例一提供的用于芯片集成的立体匹配方法中待测试像素点选取方法的示意图;
图3是本发明实施例二提供的用于芯片集成的立体匹配方法的流程图;
图4是本发明实施例二提供的用于芯片集成的立体匹配方法中基准映射点匹配方法的示意图;
图5是本发明实施例二提供的用于芯片集成的立体匹配方法中正方形窗口像素点选取方法的示意图;
图6是本发明实施例二提供的用于芯片集成的立体匹配方法中匹配点搜索方法的示意图;
图7是本发明实施例三提供的用于芯片集成的立体匹配装置的组成示意图;
图8是本发明实施例四提供的用于芯片集成的立体匹配装置的组成示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
以下结合具体附图对本发明的实现进行详细的描述。
实施例一:
图1是本发明实施例一提供的用于芯片集成的立体匹配方法的流程图,具体包括步骤S101至S104,详述如下:
S101、在左图像中获取与右图像的参考点对应的映射点,所述映射点为左图像中与参考点同行同列的像素点。
具体地,可以用双目相机代替人的双眼进行图像采集,分别得到左图像和右图像,并对左图像和右图像进行畸变校正和平行校正。
将已经畸变校正和平行校正后的右图像作为参考图像,右图像中的每一个像素点均为参考点,对右图像中的每一个参考点,在左图像中都有一个与之对应的映射点,该映射点是左图像中与参考点同行同列的像素点。
S102、从映射点开始向右的预置范围内,每隔固定像素点的间隔选取待测试像素点。
具体地,如图2所示,从左图像的映射点开始向右的预置范围内,可以每隔m个像素点来选取待测试的像素点,其中m为固定像素点,取值为大于零的整数。
这种采用间隔m个像素点来选取待测试像素点的方式,不再需要选取从映射点开始向右的预置范围内的每一个像素点作为待测试像素点,来计算匹配值寻找匹配点,因此在保证精度的情况下缩减了m+1倍的计算量。
S103、计算待测试像素点与参考点之间的匹配值,并取最小匹配值对应的像素点为基准映射点。
具体地,对预置范围内的所有待测试像素点,计算每一个待测试像素点与右图像的参考点之间的像素的匹配值,并将最小匹配值对应的待测试像素点作为基准映射点。
优选地,可以用待测试像素点和参考点之间的像素值的绝对差加权和(Weighted sum of absolute difference,WSAD)值作为像素的匹配值,来确定基准映射点。
S104、计算基准映射点左右固定像素点范围内每一个像素点与参考点之间的匹配值,并取最小匹配值对应的像素点为匹配点。
具体地,对基准映射点左右固定像素范围内的所有像素点,计算其与参考点之间的像素的匹配值,优选地,可以用像素点和参考点之间的像素值的WSAD值作为像素的匹配值,匹配值最小的像素点即为右图中的参考点在左图中的匹配点。
本实施例中,在左图像中从映射点开始向右的预置范围内,每隔固定像素点的间隔选取待测试像素点,计算待测试像素点与参考点之间的匹配值,并取最小匹配值对应的像素点为基准映射点,再计算基准映射点左右固定范围内的每一个像素点与参考点之间的匹配值,找到最小匹配值对应的像素点即为匹配点,因此无需选取从映射点开始向右的预置范围内的每一个像素点作为待测试像素点,来计算匹配值寻找匹配点,从而实现了在保证精度的情况下缩减计算量寻找匹配点,例如,在间隔m个像素点选取待测试像素点时可缩减m+1倍的计算量,大大减少了所需的计算资源和硬件存储资源,使得可以在芯片上得以良好的实现。
实施例二:
图3是本发明实施例二提供的用于芯片集成的立体匹配方法的流程图,具体包括步骤S201至S204,详述如下:
S201、在左图像中获取与右图像的参考点对应的映射点,所述映射点为左图像中与参考点同行同列的像素点。
具体地,可以用双目相机代替人的双眼进行图像采集,分别得到左图像和右图像,并对左图像和右图像进行畸变校正和平行校正。
将已经畸变校正和平行校正后的右图像作为参考图像,右图像中的每一个像素点均为参考点,对右图像中的每一个参考点,在左图像中都有一个与之对应的映射点,该映射点是左图像中与参考点同行同列的像素点。
S202、从映射点开始向右的预置范围内,每隔固定像素点的间隔选取待测试像素点。
具体地,如图2所示,从左图像的映射点开始向右的预置范围内,可以每隔m个像素点来选取待测试的像素点,其中m为固定像素点,取值为大于零的整数。
这种采用间隔m个像素点来选取待测试像素点的方式,不再需要选取从映射点开始向右的预置范围内的每一个像素点作为待测试像素点,来计算匹配值寻找匹配点,因此在保证精度的情况下缩减了m+1倍的计算量。
S203、计算待测试像素点与参考点之间的简化匹配值,并取最小简化匹配值对应的像素点为基准映射点。
具体地,对预置范围内的所有待测试像素点,计算每一个待测试像素点与右图像的参考点之间的像素的简化匹配值,并将最小简化匹配值对应的待测试像素点作为基准映射点。
进一步地,可以用待测试像素点与参考点之间的简化WSAD值作为简化匹配值,来确定基准映射点。
具体地,如图4所示,在左图像中以待测试像素点A'为中心,设置边长为a的正方形窗口,为了确保精度,a可以是取值较大的奇数,如25,在该正方形窗口中按照隔n行n列的方式来选取像素点,其中n是大于零并且小于a/2的整数,如图5所示的边长为a的正方形窗口中的黑色部分即为用隔n行n列的方式所选取的像素点;在右图像中,以参考点A为中心,同样设置边长为a的正方形窗口,在该正方形窗口中选取与左图像正方形窗口所选取的像素点相对应的像素点。
对以A'为中心的正方形窗口内所选取的像素点的R、G、B分量值与以A为中心的正方形窗口内各个对应像素点的R、G、B分量值相减再取绝对值,得到绝对差和(Sum of absolute difference,SAD)值,再根据正方形窗口内的位置信息与颜色差异信息对SAD值做加权平均计算得到的值,即为简化WSAD值。
具体地,简化WSAD值的计算公式为:
其中,A'为待测试像素点,B'为以A'为中心边长为a的正方形窗口中隔n行n列选取的像素点,A为参考点,B为以A为中心边长为a的正方形窗口中与B'对应的像素点,a为奇数,n为大于零并且小于a/2的整数;
具体地,E(B,B')的计算公式为:
其中,R、G、B分别表示像素点的R通道、G通道、B通道的灰度值;
具体地,W(A,B)的计算公式为:
其中,D为像素点A和B之间的像素距离,α和β为设定的参数。
这种采用隔n行n列的方式选取窗口中像素点进行计算的方式,不再需要选取窗口中所有的像素点进行计算,因而在窗口覆盖面积不变的情况下,直接缩减了(n+1)2倍的计算量。
对每一个待测试像素点计算出其与参考点之间的简化WSAD值并进行比较,将最小简化WSAD值对应的待测试像素点作为基准映射点。
S204、计算基准映射点左右固定像素点范围内每一个像素点与参考点之间的精确匹配值,并取最小精确匹配值对应的像素点为匹配点。
具体地,在基准映射点左右j个像素范围内,对每一个像素点计算其与参考点之间的精确匹配值,其中j为固定像素点,比较得到的所有精确匹配值,其中最小精确匹配值对应的像素点即为右图像中参考点在左图像中对应的匹配点。
进一步地,可以用j个像素范围内的像素点与参考点之间的精确WSAD值作为精确匹配值,来确定匹配点。
具体地,如图6所示,在左图像中以基准映射点左右j个像素范围内的每一个像素点A'为中心,设置边长为a的正方形窗口,为了确保精度,a可以是取值较大的奇数,如25,在该正方形窗口中需选取所有的像素点参与计算;在右图像中,以参考点A为中心,同样设置边长为a的正方形窗口,在该正方形窗口的所有像素点均需要参与计算。
对以A'为中心的正方形窗口内每一个像素点的R、G、B分量值与以A为中心的正方形窗口内对应的每一个像素点的R、G、B分量值相减再取绝对值,得到SAD值,再根据正方形窗口内的位置信息与颜色差异信息对SAD值做加权平均计算得到的值,即为精确WSAD值。
具体地,精确WSAD值的计算公式为:
其中,A'为基准映射点左右j个像素范围内的每一个像素点,B'为以A'为中心边长为a的正方形窗口中的所有像素点,A为参考点,B为以A为中心边长为a的正方形窗口中与B'对应的像素点,a为奇数,n为大于零并且小于a/2的整数;
具体地,E(B,B')的计算公式为:
其中,R、G、B分别表示像素点的R通道、G通道、B通道的灰度值;
具体地,W(A,B)的计算公式为:
其中,D为像素点A和B之间的像素距离,α和β为设定的参数。
对j个像素范围内的每一个像素点计算出其与参考点之间的精确WSAD值并进行比较,其中最小精确WSAD值对应的像素点即为匹配点。
确定右图像中的参考点在左图像中对应的匹配点后,映射点与匹配点之间的偏移值即为视差值,根据该视差值可以计算出三维深度信息,进而可以对物体进行三维重建。
本实施例中,在左图像中从映射点开始向右的预置范围内,每隔固定像素点的间隔,例如,间隔m个像素点选取待测试像素点,计算待测试像素点与参考点之间的简化WSAD值,在计算简化WSAD过程中采用隔n行n列选取窗口中像素点的方式进行计算,并取最小简化WSAD值对应的像素点为基准映射点,再计算基准映射点左右固定范围内的每一个像素点与参考点之间的精确WSAD值,找到最小精确WSAD值对应的像素点即为匹配点,因此一方面无需选取从映射点开始向右的预置范围内的每一个像素点作为待测试像素点,另一方面在计算简化WSAD值的正方形窗口中不再选取窗口中所有的像素点进行计算,从而实现了在保证精度的情况下缩减计算量寻找匹配点,与现有技术相比,缩减了(m+1)×(n+1)2倍的计算量,显然大大减少了所需的计算资源和硬件存储资源,使得可以在芯片上得以良好的实现。
实施例三:
图7是本发明实施例三提供的用于芯片集成的立体匹配装置的组成示意图,为了便于说明,仅示出了与本发明实施例相关的部分。图7示例的用于芯片集成的立体匹配装置可以是前述实施例一提供的用于芯片集成的立体匹配方法的执行主体,其可以是应用设备或者应用设备中的一个功能模块。图7示例的用于芯片集成的立体匹配装置主要包括:映射点获取模块71、测试像素点选取模块72、基准映射点计算模块73和匹配点计算模块74。各功能模块详细说明如下:
映射点获取模块71,用于在左图像中获取与右图像的参考点对应的映射点,所述映射点为所述左图像中与所述参考点同行同列的像素点;
测试像素点选取模块72,用于从所述映射点开始向右的预置范围内,每隔固定像素点的间隔选取待测试像素点;
基准映射点计算模块73,用于计算所述待测试像素点与所述参考点之间的匹配值,并取最小匹配值对应的像素点为基准映射点;
匹配点计算模块74,用于计算所述基准映射点左右固定像素点范围内每一个像素点与所述参考点之间的匹配值,并取最小匹配值对应的像素点为匹配点。
从上述图7示例的用于芯片集成的立体匹配装置可知,本实施例中,在左图像中从映射点开始向右的预置范围内,每隔固定像素点的间隔选取待测试像素点,计算待测试像素点与参考点之间的匹配值,并取最小匹配值对应的像素点为基准映射点,再计算基准映射点左右固定范围内的每一个像素点与参考点之间的匹配值,找到最小匹配值对应的像素点即为匹配点,因此无需选取从映射点开始向右的预置范围内的每一个像素点作为待测试像素点,来计算匹配值寻找匹配点,从而实现了在保证精度的情况下缩减计算量寻找匹配点,例如,在间隔m个像素点选取待测试像素点时可缩减m+1倍的计算量,大大减少了所需的计算资源和硬件存储资源,使得可以在芯片上得以良好的实现。
实施例四:
图8是本发明实施例四提供的用于芯片集成的立体匹配装置的组成示意图,为了便于说明,仅示出了与本发明实施例相关的部分。图8示例的用于芯片集成的立体匹配装置可以是前述实施例二提供的用于芯片集成的立体匹配方法的执行主体,其可以是应用设备或者应用设备中的一个功能模块。图8示例的用于芯片集成的立体匹配装置主要包括:映射点获取模块81、测试像素点选取模块82、基准映射点计算模块83和匹配点计算模块84。各功能模块详细说明如下:
映射点获取模块81,用于在左图像中获取与右图像的参考点对应的映射点,所述映射点为所述左图像中与所述参考点同行同列的像素点;
测试像素点选取模块82,用于从所述映射点开始向右的预置范围内,每隔固定像素点的间隔选取待测试像素点;
基准映射点计算模块83,用于计算所述待测试像素点与所述参考点之间的匹配值,并取最小匹配值对应的像素点为基准映射点;
匹配点计算模块84,用于计算所述基准映射点左右固定像素点范围内每一个像素点与所述参考点之间的匹配值,并取最小匹配值对应的像素点为匹配点。
具体地,基准映射点计算模块83包括:
简化匹配计算子模块831,用于计算所述待测试像素点与所述参考点之间的简化匹配值,并取最小简化匹配值对应的像素点为基准映射点。
进一步地,简化匹配计算子模块831,还用于计算所述待测试像素点与所述参考点之间的简化绝对差加权和WSAD值,所述简化WSAD值的计算公式为:
其中,A'为所述待测试像素点,B'为以A'为中心边长为a的正方形窗口中隔n行n列选取的像素点,A为所述参考点,B为以A为中心边长为a的正方形窗口中与B'对应的像素点,所述a为奇数,所述n为大于零并且小于a/2的整数;
E(B,B')的计算公式为:
其中,R、G、B分别表示像素点的R通道、G通道、B通道的灰度值;
W(A,B)的计算公式为:
其中,D为像素点A和B之间的像素距离,α和β为设定的参数。
具体地,匹配点计算模块84包括:
精确匹配计算子模块841,用于计算所述基准映射点左右固定像素点范围内每一个像素点与所述参考点之间的精确匹配值,并取最小精确匹配值对应的像素点为匹配点。
进一步地,精确匹配计算子模块841,还用于计算所述基准映射点左右固定像素点范围内每一个像素点与所述参考点之间的精确绝对差加权和WSAD值,所述精确WSAD值的计算公式为:
其中,A'为所述每一个像素点,B'为以A'为中心边长为a的正方形窗口中的所有像素点,A为所述参考点,B为以A为中心边长为a的正方形窗口中与B'对应的像素点,所述a为奇数,所述n为大于零并且小于a/2的整数;
E(B,B')的计算公式为:
其中,R、G、B分别表示像素点的R通道、G通道、B通道的灰度值;
W(A,B)的计算公式为:
其中,D为像素点A和B之间的像素距离,α和β为设定的参数。
从上述图8示例的用于芯片集成的立体匹配装置可知,本实施例中,在左图像中从映射点开始向右的预置范围内,每隔固定像素点的间隔,例如,间隔m个像素点选取待测试像素点,计算待测试像素点与参考点之间的简化WSAD值,在计算简化WSAD过程中采用隔n行n列选取窗口中像素点的方式进行计算,并取最小简化WSAD值对应的像素点为基准映射点,再计算基准映射点左右固定范围内的每一个像素点与参考点之间的精确WSAD值,找到最小精确WSAD值对应的像素点即为匹配点,因此一方面无需选取从映射点开始向右的预置范围内的每一个像素点作为待测试像素点,另一方面在计算简化WSAD值的正方形窗口中不再选取窗口中所有的像素点进行计算,从而实现了在保证精度的情况下缩减计算量寻找匹配点,与现有技术相比,缩减了(m+1)×(n+1)2倍的计算量,显然大大减少了所需的计算资源和硬件存储资源,使得可以在芯片上得以良好的实现。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每一个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同或者相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
值得注意的是,上述装置实施例中,所包括的各个模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能模块的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
本领域普通技术人员可以理解,实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,相应的程序可以存储于一计算机可读取存储介质中,所述的存储介质,如ROM/RAM、磁盘或光盘等。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种用于芯片集成的立体匹配方法,其特征在于,包括:
在左图像中获取与右图像的参考点对应的映射点,所述映射点为所述左图像中与所述参考点同行同列的像素点;
从所述映射点开始向右的预置范围内,每隔固定像素点的间隔选取待测试像素点;
计算所述待测试像素点与所述参考点之间的匹配值,并取最小匹配值对应的像素点为基准映射点;
计算所述基准映射点左右固定像素点范围内每一个像素点与所述参考点之间的匹配值,并取最小匹配值对应的像素点为匹配点。
2.根据权利要求1所述的用于芯片集成的立体匹配方法,其特征在于,所述计算所述待测试像素点与所述参考点之间的匹配值,并取最小匹配值对应的像素点为基准映射点包括:
计算所述待测试像素点与所述参考点之间的简化匹配值,并取最小简化匹配值对应的像素点为基准映射点。
3.根据权利要求2所述的用于芯片集成的立体匹配方法,其特征在于,所述计算所述待测试像素点与所述参考点之间的简化匹配值包括:
计算所述待测试像素点与所述参考点之间的简化绝对差加权和WSAD值,所述简化WSAD值的计算公式为:
W S A D ( A , A ′ ) = Σ B ∈ N A , B ′ ∈ N A ′ W ( A , B ) W ( A ′ , B ′ ) E ( B , B ′ ) Σ B ∈ N A , B ′ ∈ N A ′ W ( A , B ) W ( A ′ , B ′ )
其中,A'为所述待测试像素点,B'为以A'为中心边长为a的正方形窗口中隔n行n列选取的像素点,A为所述参考点,B为以A为中心边长为a的正方形窗口中与B'对应的像素点,所述a为奇数,所述n为大于零并且小于a/2的整数;
E(B,B')的计算公式为:
E ( B , B ′ ) = 1 3 ( | R B - R B ′ | + | G B - G B ′ | + | B B - B B ′ | )
其中,R、G、B分别表示像素点的R通道、G通道、B通道的灰度值;
W(A,B)的计算公式为:
W ( A , B ) = e - E ( A , B ) α · e - D ( A , B ) β
其中,D为像素点A和B之间的像素距离,α和β为设定的参数。
4.根据权利要求1所述的用于芯片集成的立体匹配方法,其特征在于,所述计算所述基准映射点左右固定像素点范围内每一个像素点与所述参考点之间的匹配值,并取最小匹配值对应的像素点为匹配点包括:
计算所述基准映射点左右固定像素点范围内每一个像素点与所述参考点之间的精确匹配值,并取最小精确匹配值对应的像素点为匹配点。
5.根据权利要求4所述的用于芯片集成的立体匹配方法,其特征在于,所述计算所述基准映射点左右固定像素点范围内每一个像素点与所述参考点之间的精确匹配值包括:
计算所述基准映射点左右固定像素点范围内每一个像素点与所述参考点之间的精确绝对差加权和WSAD值,所述精确WSAD值的计算公式为:
W S A D ( A , A ′ ) = Σ B ∈ N A , B ′ ∈ N A ′ W ( A , B ) W ( A ′ , B ′ ) E ( B , B ′ ) Σ B ∈ N A , B ′ ∈ N A ′ W ( A , B ) W ( A ′ , B ′ )
其中,A'为所述每一个像素点,B'为以A'为中心边长为a的正方形窗口中的所有像素点,A为所述参考点,B为以A为中心边长为a的正方形窗口中与B'对应的像素点,所述a为奇数,所述n为大于零并且小于a/2的整数;
E(B,B')的计算公式为:
E ( B , B ′ ) = 1 3 ( | R B - R B ′ | + | G B - G B ′ | + | B B - B B ′ | )
其中,R、G、B分别表示像素点的R通道、G通道、B通道的灰度值;
W(A,B)的计算公式为:
W ( A , B ) = e - E ( A , B ) α · e - D ( A , B ) β
其中,D为像素点A和B之间的像素距离,α和β为设定的参数。
6.一种用于芯片集成的立体匹配装置,其特征在于,包括:
映射点获取模块,用于在左图像中获取与右图像的参考点对应的映射点,所述映射点为所述左图像中与所述参考点同行同列的像素点;
测试像素点选取模块,用于从所述映射点开始向右的预置范围内,每隔固定像素点的间隔选取待测试像素点;
基准映射点计算模块,用于计算所述待测试像素点与所述参考点之间的匹配值,并取最小匹配值对应的像素点为基准映射点;
匹配点计算模块,用于计算所述基准映射点左右固定像素点范围内每一个像素点与所述参考点之间的匹配值,并取最小匹配值对应的像素点为匹配点。
7.根据权利要求6所述的用于芯片集成的立体匹配装置,其特征在于,所述基准映射点计算模块包括简化匹配计算子模块,用于计算所述待测试像素点与所述参考点之间的简化匹配值,并取最小简化匹配值对应的像素点为基准映射点。
8.根据权利要求7所述的用于芯片集成的立体匹配装置,其特征在于,所述简化匹配计算子模块,还用于计算所述待测试像素点与所述参考点之间的简化绝对差加权和WSAD值,所述简化WSAD值的计算公式为:
W S A D ( A , A ′ ) = Σ B ∈ N A , B ′ ∈ N A ′ W ( A , B ) W ( A ′ , B ′ ) E ( B , B ′ ) Σ B ∈ N A , B ′ ∈ N A ′ W ( A , B ) W ( A ′ , B ′ )
其中,A'为所述待测试像素点,B'为以A'为中心边长为a的正方形窗口中隔n行n列选取的像素点,A为所述参考点,B为以A为中心边长为a的正方形窗口中与B'对应的像素点,所述a为奇数,所述n为大于零并且小于a/2的整数;
E(B,B')的计算公式为:
E ( B , B ′ ) = 1 3 ( | R B - R B ′ | + | G B - G B ′ | + | B B - B B ′ | )
其中,R、G、B分别表示像素点的R通道、G通道、B通道的灰度值;
W(A,B)的计算公式为:
W ( A , B ) = e - E ( A , B ) α · e - D ( A , B ) β
其中,D为像素点A和B之间的像素距离,α和β为设定的参数。
9.根据权利要求6所述的用于芯片集成的立体匹配装置,其特征在于,所述匹配点计算模块包括精确匹配计算子模块,用于计算所述基准映射点左右固定像素点范围内每一个像素点与所述参考点之间的精确匹配值,并取最小精确匹配值对应的像素点为匹配点。
10.根据权利要求9所述的用于芯片集成的立体匹配装置,其特征在于,所述精确匹配计算子模块,还用于计算所述基准映射点左右固定像素点范围内每一个像素点与所述参考点之间的精确绝对差加权和WSAD值,所述精确WSAD值的计算公式为:
W S A D ( A , A ′ ) = Σ B ∈ N A , B ′ ∈ N A ′ W ( A , B ) W ( A ′ , B ′ ) E ( B , B ′ ) Σ B ∈ N A , B ′ ∈ N A ′ W ( A , B ) W ( A ′ , B ′ )
其中,A'为所述每一个像素点,B'为以A'为中心边长为a的正方形窗口中的所有像素点,A为所述参考点,B为以A为中心边长为a的正方形窗口中与B'对应的像素点,所述a为奇数,所述n为大于零并且小于a/2的整数;
E(B,B')的计算公式为:
E ( B , B ′ ) = 1 3 ( | R B - R B ′ | + | G B - G B ′ | + | B B - B B ′ | )
其中,R、G、B分别表示像素点的R通道、G通道、B通道的灰度值;
W(A,B)的计算公式为:
W ( A , B ) = e - E ( A , B ) α · e - D ( A , B ) β
其中,D为像素点A和B之间的像素距离,α和β为设定的参数。
CN201510795925.4A 2015-11-18 2015-11-18 一种立体匹配方法和装置 Active CN106780711B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510795925.4A CN106780711B (zh) 2015-11-18 2015-11-18 一种立体匹配方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510795925.4A CN106780711B (zh) 2015-11-18 2015-11-18 一种立体匹配方法和装置

Publications (2)

Publication Number Publication Date
CN106780711A true CN106780711A (zh) 2017-05-31
CN106780711B CN106780711B (zh) 2020-05-26

Family

ID=58914444

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510795925.4A Active CN106780711B (zh) 2015-11-18 2015-11-18 一种立体匹配方法和装置

Country Status (1)

Country Link
CN (1) CN106780711B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877796A (zh) * 2009-04-28 2010-11-03 青岛海信数字多媒体技术国家重点实验室有限公司 一种视差获取方法、装置和系统
CN102665086A (zh) * 2012-04-26 2012-09-12 清华大学深圳研究生院 利用基于区域的局部立体匹配获取视差的方法
CN103136750A (zh) * 2013-01-30 2013-06-05 广西工学院 双目视觉系统的立体匹配优化方法
US20140002441A1 (en) * 2012-06-29 2014-01-02 Hong Kong Applied Science and Technology Research Institute Company Limited Temporally consistent depth estimation from binocular videos
CN103778632A (zh) * 2014-01-18 2014-05-07 南京理工大学 一种基于fpga的立体匹配方法
US20140258195A1 (en) * 2009-05-29 2014-09-11 Board Of Trustees Of Michigan State University Neuromorphic Spatiotemporal Where-What Machines
CN104867133A (zh) * 2015-04-30 2015-08-26 燕山大学 一种快速的分步立体匹配方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877796A (zh) * 2009-04-28 2010-11-03 青岛海信数字多媒体技术国家重点实验室有限公司 一种视差获取方法、装置和系统
US20140258195A1 (en) * 2009-05-29 2014-09-11 Board Of Trustees Of Michigan State University Neuromorphic Spatiotemporal Where-What Machines
CN102665086A (zh) * 2012-04-26 2012-09-12 清华大学深圳研究生院 利用基于区域的局部立体匹配获取视差的方法
US20140002441A1 (en) * 2012-06-29 2014-01-02 Hong Kong Applied Science and Technology Research Institute Company Limited Temporally consistent depth estimation from binocular videos
CN103136750A (zh) * 2013-01-30 2013-06-05 广西工学院 双目视觉系统的立体匹配优化方法
CN103778632A (zh) * 2014-01-18 2014-05-07 南京理工大学 一种基于fpga的立体匹配方法
CN104867133A (zh) * 2015-04-30 2015-08-26 燕山大学 一种快速的分步立体匹配方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
顾征,苏显渝: "《采用邻域差值特征模板的立体匹配方法》", 《光电工程》 *

Also Published As

Publication number Publication date
CN106780711B (zh) 2020-05-26

Similar Documents

Publication Publication Date Title
CN108269279A (zh) 基于单目三维扫描系统的三维重构方法和装置
CN102695064B (zh) 即时立体影像产生装置与方法
CN109035394B (zh) 人脸三维模型重建方法、装置、设备、系统及移动终端
CN108510535A (zh) 一种基于深度预测和增强子网络的高质量深度估计方法
CN108734776A (zh) 一种基于散斑的三维人脸重建方法及设备
CN106504276A (zh) 非局部立体匹配算法的组合匹配代价算法和视差联合填充算法
CN109974623B (zh) 基于线激光和双目视觉的三维信息获取方法和装置
CN112070657B (zh) 图像处理方法、装置、系统、设备及计算机存储介质
CN111260707B (zh) 一种基于光场epi图像的深度估计方法
CN106600632A (zh) 一种改进匹配代价聚合的立体匹配算法
CN108305286A (zh) 基于颜色编码的多目立体视觉脚型三维测量方法、系统和介质
CN101916455A (zh) 一种高动态范围纹理三维模型的重构方法及装置
WO2019136588A1 (zh) 基于云端计算的标定方法、装置、电子设备和计算机程序产品
CN110096993A (zh) 双目立体视觉的目标检测设备及方法
CN105761270A (zh) 一种基于外极线距离变换的树型滤波立体匹配方法
CN106952299A (zh) 一种适用于智能移动设备的三维光场技术实现方法
CN111652921A (zh) 一种单目深度预测模型的生成方法及单目深度预测方法
CN110599535A (zh) 基于哈希表的高分辨率人体实时动态重建方法及装置
CN110533663A (zh) 一种图像视差确定方法、装置、设备及系统
CN111325736A (zh) 一种基于人眼差分图像的视线角度估计方法
CN103260008B (zh) 一种影像位置到实际位置的射影转换方法
CN107392211A (zh) 基于视觉稀疏认知的显著目标检测方法
CN106570908A (zh) 一种测试子母飞行物抛撒面积的立体视觉装置
EP3144888A1 (en) An apparatus and a method for generating data representing a pixel beam
CN116823602B (zh) 一种视差引导的光场图像的空间超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant