CN105427326A - 图像匹配方法和装置以及深度数据测量方法和系统 - Google Patents
图像匹配方法和装置以及深度数据测量方法和系统 Download PDFInfo
- Publication number
- CN105427326A CN105427326A CN201510897818.2A CN201510897818A CN105427326A CN 105427326 A CN105427326 A CN 105427326A CN 201510897818 A CN201510897818 A CN 201510897818A CN 105427326 A CN105427326 A CN 105427326A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- pixel value
- imaging device
- encoded radio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种图像匹配和装置以及深度数据测量方法和系统。该图像匹配方法包括:获取第一图像和第二图像;对于第一图像中的各个第一图像像素,选取其邻近区域;根据预定的编码规则,基于邻近区域中各像素的像素值进行编码,得到第一编码值;在对应关系表中,关联地存储第一编码值和第一图像像素在第一图像中的第一位置;对于第二图像中的第二图像像素,选取其邻近区域;根据预定的编码规则,基于邻近区域中各像素的像素值进行编码,得到编码值;在对应关系表中,查找与第二编码值相同的第一编码值,并得到与其对应的第一位置;确定第二图像像素与对应的第一位置处的第一图像像素对应。由此,能够提高图像匹配计算的速度。
Description
技术领域
本发明涉及图像匹配方法、图像匹配装置、深度数据测量方法以及深度图像测量系统。
背景技术
图像匹配是在双目立体视觉的景深(在下文中也称为“深度数据”)提取中非常重要的一个步骤。此步骤的目标是找出图像的每个像素点在另一个视角的图像上的对应的像素点,算出视差图像,估算出景深图像,即在其每个像素点处标明了对应的深度数据。
现有的两种主要的图像匹配算法是局部立体匹配算法和全局立体匹配算法。
局部立体匹配算法的基本原理是给定在一幅图像上的某一点,选取该像素点邻域内的一个子窗口,在另一幅图像中的一个区域内的所有可能位置,根据某种相似性判断依据,寻找与子窗口图像最为相似的子图,其匹配的子图中对应的像素点即为该像素的匹配点。
全局立体匹配算法主要是采用了全局的优化理论方法估计视差,建立全局能量函数,通过最小化全局能量函数得到最优视差值。全局匹配算法得到的结果比较准确,但是其运行时间比较长。不适合实时运行。
因此,仍然需要一种能够快速实现图像匹配的方案。
发明内容
本发明要解决的技术问题是提供一种图像匹配方法、图像匹配装置、深度数据测量方法以及深度图像测量系统,其使得能够提高图像查找匹配的速度。
根据本发明的一个方面,提供了一种深度图像测量系统,包括:激光投射装置,用于向拍摄空间投射编码结构光;第一成像设备和第二成像设备,对拍摄空间进行拍照,分别得到第一图像和第二图像,第一成像设备和第二成像设备之间具有预定的相对位置关系;存储器,存储第一图像和第二图像;处理器,获取第一图像和第二图像,确定第二图像中的第二图像像素与第一图像中的第一图像像素之间的对应关系,并根据相互对应的第一图像像素和第二图像像素之间的位置差异,以及预定的相对位置关系,确定第一图像像素的深度数据,并将深度数据与第一图像像素关联地存储在存储器中。
其中,处理器对于第一图像中的各个第一图像像素,根据预定的邻域规则分别选取其邻近区域,根据预定的编码规则,基于邻近区域中各像素的像素值进行编码,得到编码值,作为第一编码值,并在存储器中的对应关系表中,关联地存储第一编码值和第一图像像素在第一图像中的第一位置。
并且,处理器对于第二图像中的第二图像像素,根据预定的邻域规则选取其邻近区域,根据预定的编码规则,基于邻近区域中各像素的像素值进行编码,得到编码值,作为第二编码值,在对应关系表中,查找与第二编码值相同的第一编码值,并得到与其对应的第一位置,确定第二图像像素与对应的第一位置处的第一图像像素对应。
这样,可以通过对应关系表快速地建立第一编码值、第一位置、第二编码之间的联系,并确定第二图像像素与第一图像像素的对应关系。
优选地,编码结构光可以是红外光。
优选地,第一成像设备和第二成像设备可以是红外成像设备。
根据本发明的一个方面,提供了一种图像匹配方法,其步骤包括:获取第一成像设备和第二成像设备对拍摄空间进行拍照分别得到的第一图像和第二图像,第一成像设备和第二成像设备之间具有预定的相对位置关系;对于第一图像中的各个第一图像像素,根据预定的邻域规则分别选取其邻近区域;根据预定的编码规则,基于邻近区域中各像素的像素值进行编码,得到编码值,作为第一编码值;在对应关系表中,关联地存储第一编码值和第一图像像素在第一图像中的第一位置;对于第二图像中的第二图像像素,根据预定的邻域规则选取其邻近区域;根据预定的编码规则,基于邻近区域中各像素的像素值进行编码,得到编码值,作为第二编码值;在对应关系表中,查找与第二编码值相同的第一编码值,并得到与其对应的第一位置;确定第二图像像素与对应的第一位置处的第一图像像素对应。
优选地,邻近区域可以为矩形子窗口,矩形子窗口具有相互垂直的第一方向和第二方向上的边,第一成像设备的中心和第二成像设备的中心之间的连线平行于第一方向。
优选地,基于邻近区域中个像素的像素值进行编码的步骤可以包括:将邻近区域中所有像素的像素值按照预定的顺序依次排列,得到一维向量;在一维向量中,将大于或等于预定阈值的像素值置换为1,将小于预定阈值的像素值置换为0,从而得到编码值。
优选地,基于邻近区域中各像素的像素值进行编码的步骤还可以包括:累加矩形子窗口中具有相同第一方向坐标值的所有像素的像素值,作为对应于该第一方向坐标值的累计像素值;将对应于矩形子窗口中所有第一方向坐标值的累计像素值按照预定的顺序依次排列,得到一维向量;在一维向量中,将大于或等于预定阈值的累计像素值置换为1,将小于预定阈值的累计像素值置换为0,从而得到编码值。
根据本发明的一个方面,提供了一种图像匹配装置,包括:图像获取装置,用于获取第一成像设备和第二成像设备对拍摄空间进行拍照分别得到的第一图像和第二图像,第一成像设备和第二成像设备之间具有预定的相对位置关系;第一处理装置,对于第一图像中的各个第一图像像素,进行编码处理;第二处理装置,对于第二图像中的第二图像像素,进行编码处理。
优选地,第一处理装置可以包括:第一选取装置,用于根据预定的邻域规则分别选取第一图像像素的邻近区域;第一编码装置,用于根据预定的编码规则,基于邻近区域中各像素的像素值进行编码,得到编码值,作为第一编码值;关联存储装置,用于在对应关系表中,关联地存储第一编码值和第一图像像素在第一图像中的第一位置。
优选地,第二处理装置可以包括:第二选取装置,用于根据预定的邻域规则选取其临近区域;第二编码装置,用于根据预定的编码规则,基于邻近区域中各像素的像素值进行编码,得到编码值,作为第二编码值;查找装置,用于在对应关系表中,查找与第二编码值相同的第一编码值,并得到与其对应的第一位置;对应关系确定装置,用于确定第二图像像素与对应的第一位置处的第一图像像素对应。
优选地,邻近区域可以为矩形子窗口,矩形子窗口具有相互垂直的第一方向和第二方向上的边,第一成像设备的中心和第二成像设备的中心之间的连线平行于第一方向。
优选地,第一编码装置和第二编码装置分别可以包括:累加装置,用于累加矩形子窗口中具有相同第一方向坐标值的所有像素的像素值,作为对应于该第一方向坐标值的累计像素值;第二排列装置,用于将对应于矩形子窗口中所有第一方向坐标值的累计像素值按照预定的顺序依次排列,得到一维向量;第二置换装置,用于在一维向量中,将大于或等于预定阈值的累计像素值置换为1,将小于预定阈值的累计像素值置换为0,从而得到编码值。
根据本发明的一个方面,提供了一种深度数据测量方法,包括:向拍摄空间投射编码结构光;使用第一成像设备和第二成像设备对拍摄空间进行拍照,分别得到第一图像和第二图像,第一成像设备和第二成像设备之间具有预定的相对位置关系;通过前述的图像匹配方法,确定第二图像中的第二图像像素与第一图像中的第一图像像素之间的对应关系;根据相互对应的第一图像像素和第二图像像素之间的位置差异。以及预定的相对位置关系,确定第一图像像素的深度数据。
优选地,第一成像设备的中心和第二成像设备的中心之间的连线可以平行于第一方向。
优选地,编码结构光可以是按照编码数据结构进行投射的光束集,编码数据结构的编码值在第一方向上一般具有唯一性。
优选地,编码数据结构的编码值在垂直于第一方向的第二方向上可以是周期性重复的。
优选地,编码数据结构可以为DeBruijn(德布鲁因)序列。
优选地,邻近区域可以为矩形子窗口,矩形子窗口具有第一方向和垂直于第一方向的第二方向上的边。
优选地,基于邻近区域中各像素的像素值进行编码的步骤可以包括:将邻近区域中所有像素的像素值按照预定的顺序进行排列,得到一维向量;在一维向量中,将大于或等于预定阈值的像素置换为1,将小于预定阈值的像素值置换为0,从而得到所述编码值。
优选地,编码数据结构还可以为M-array(M序列)。
基于邻近区域中各像素的像素值进行编码的步骤还可以包括:在矩形子窗口中,累加具有相同第一方向坐标值的所有像素的像素值,作为对应于该第一方向坐标值的累计像素值;将对应于矩形子窗口中所有第一方向坐标值的累计像素值按照预定的顺序依次排列,得到一维向量;在一维向量中,将大于或等于预定阈值的累计像素值置换为1,将小于预定阈值的累计像素值置换为0,从而得到编码值。
由此,通过借助于图像编码,能够提高图像匹配计算的速度。
附图说明
通过结合附图对本公开示例性实施方式进行更详细的描述,本公开的上述以及其它目的、特征和优势将变得更加明显,其中,在本公开示例性实施方式中,相同的参考标号通常代表相同部件。
图1是本公开的深度图像测量系统的示意图。
图2是编码结构光投射装置投射出的激光散斑图样的示意图。
图3是编码结构光投射装置投射出的激光条纹图样的示意图。
图4是本公开的深度数据测量方法的示例性流程图。
图5是本公开的图像匹配方法的示例性流程图。
图6是基于邻近区域中各像素的像素值进行编码的一个实施例的流程图。
图7是基于邻近区域中各像素的像素值进行编码的另一个实施例的流程图。
图8是本公开的图像匹配装置的示意图。
图9是第一编码装置和第二编码装置的一个实施例的示意图。
图10是第一编码装置和第二编码装置的另一个实施例的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式,然而应该理解,可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。
本公开的深度图像测量系统的示意图如图1所示,深度图像测量系统包括激光投射装置10、第一成像设备11和第二成像设备12、存储器13以及处理器14。
激光投射装置10用于向拍摄空间投射编码结构光,其所投射的光可以为红外光。
激光投射装置10可以包括激光光源、光学分束器和光学扩散片。其中激光光源用于产生单束激光;光学分束器被设计为将入射光束在第一方向上分束成能量基本上相同的N个子光束,其中N为奇数;光学扩散片被设计为将N个子光束扩散为多个带状光束或者多个离散激光斑点。
本领域技术人员应当理解,激光投射装置10也可以采用诸如全息式微透镜阵列、光学掩膜以及/或者其它类型的光栅,取代上述光学分束器和光学扩散片,来提供理想的结构光图样。
在一个优选的实施例中,激光投射装置10投射出的编码结构光图案可以设置为在二维坐标的x方向(一般为水平方向,与下文中描述的第一成像设备11的中心和第二成像设备12的中心的连线平行)上对于不同x取值的编码具有唯一性。y方向(垂直于x方向,一般为竖直方向)上编码可以重复出现。图案是一维线性光线条纹图案或者是二维离散光斑点或者二者综合的图案。
其中,二维离散光斑点的图案可以如图2所示;一维线性光线条纹图案可以如图3所示。
在一个优选的实施例中,编码结构光具有唯一性,在预先给定范围和给定窗口尺寸的条件下,在成像设备获取的图像上计算得到的位置编码值在不同位置具有唯一的编码值。此位置编码值可以采用DeBruijn序列或者M-array生成。
其中,DeBruijn序列又称为德布鲁因序列,指一个含有k个元素的表,需要构成一个序列,使n元组在这个序列中当且仅当出现一次。此算法可以保证在范围和窗口一定的条件下,随着窗口的移动,成像设备获取的图像所计算出的编码在不同的位置上具有唯一性。
类似地,M-array是在二维空间中对DeBruijn算法的拓展。
第一成像设备11和第二成像设备12对拍摄空间进行拍照,分别得到第一图像和第二图像,第一成像设备11和第二成像设备12之间具有预定的相对位置关系,一般为水平放置,且间隔固定的距离,拍摄过程中一般相对位置不变。
在激光投射装置10投射红外光的情况下,第一成像设备11和第二成像设备12可以是红外成像设备。
存储器13用于存储第一图像和第二图像,以便处理器后续处理。
处理器14从存储器13获取第一图像和第二图像,确定第二图像中的第二图像像素与第一图像中的第一图像像素之间的对应关系,并根据相互对应的第一图像像素和第二图像像素之间的位置差异,以及预定的相对位置关系,确定所述第一图像像素的深度数据,并将深度数据与第一图像像素关联地存储在所述存储器13中。
其中,处理器14对于第一图像中的各个第一图像像素,根据预定的邻域规则分别选取其临近区域,根据预定的编码规则,基于邻近区域中各像素的像素值进行编码,得到编码值,作为第一编码值,并在存储器13中的对应关系表中,关联地存储第一编码值和第一图像像素在第一图像中的第一位置。
类似地,处理器14对于第二图像中的第二图像像素,根据预定的邻域规则选取其邻近区域,根据前述预定的编码规则,基于邻近区域中各像素的像素值进行编码,得到编码值,作为第二编码值,在对应关系表中查找与第二编码值相同的第一编码值,并得到与其对应的第一位置,确定第二图像像素与对应的第一位置处的第一图像像素对应。
下面参考图4至图7对于根据本发明的深度数据测量方法和其中的图像匹配方法做更详尽的描述。
图4示出了根据本发明的深度数据测量方法的示例性流程图。
如图4所示,在步骤S600,向拍摄空间投射编码结构光。
如前所述,编码结构光可以是按照编码数据结构进行投射的光束集,编码数据结构的编码值在第一方向(例如x方向)上具有唯一性。
编码数据结构的编码值在垂直于第一方向的第二方向(例如y方向)上一般周期性重复,在保证第一方向上编码值唯一的前提下,第二方向上的编码值也可以是随机变化的。
编码数据结构为DeBruijn序列,也可以为M-array,这两种位置编码方法及其优点已在之前做了详尽描述,此处不再赘述。
在步骤S610,使用第一成像设备11和第二成像设备12对拍摄空间进行拍照,分别得到第一图像和第二图像,第一成像设备11和第二成像设备12之间具有预定的相对位置关系。
如前所述,第一成像设备11的中心和第二成像设备12的中心之间的连线一般可以平行于第一方向,例如x方向。
在步骤S620,通过下面将参考图5详细描述的图像匹配方法,确定第二图像中的第二图像像素与第一图像中的第一图像像素之间的对应关系。
然后,在步骤S630,根据相互对应的第一图像像素和第二图像像素之间的位置差异,以及预定的相对位置关系,确定第一图像像素的深度数据。
下面参考图5详细描述根据本发明的图像匹配方法。
图5示出了根据本发明的图像匹配方法的示例性流程图。
如图5所示,在步骤S100,获取第一成像设备11对拍摄空间进行拍照而得到的第一图像。
应当理解,可以对第一图像进行图形变形矫正。由于摄像头镜头成像的原理,传感器实际拍摄到的图像很可能是有变形的,而不是像我们所期望的应当正确显示的图像。如果不进行矫正会影响正常的图像处理,甚至有可能就无法在正常的坐标系统下对图像进行处理。
在步骤S110,对于第一图像中的各个第一图像像素P(x1,y1),根据预定的邻域规则,分别选取其第一邻近区域A(x1,y1)。
邻近区域可以为矩形子窗口,矩形子窗口具有第一方向(例如x方向)和垂直于第一方向的第二方向(例如y方向)上的边。
例如,可以在第一图像像素P(x1,y1)的附近选择预定尺寸的矩形区域(x方向和y方向分别具有预定的像素数)。第一图像像素P(x1,y1)可以位于该矩形区域中任意规定的位置,例如,可以在该矩形区域的最中心,也可以在该矩形区域的某一个角落部位(例如左上角、右下角等)。
然后,在步骤S120,根据预定的编码规则,基于所述第一邻近区域A(x1,y1)中各像素的像素值进行编码,得到第一编码值C(x1,y1)。
可以有很多种编码规则,只要能够根据邻近区域中的像素的像素值进行编码,从而得到基本上能够区别于根据其它邻近区域中的像素的像素值进行编程得到的编码值即可。
下文中将参考图6和图7详细描述两种可能的编码规则对应的编码方式。
进一步地,在步骤S130,在对应关系表中,关联地存储所述第一编码值C(x1,y1)和所述第一图像像素的位置(x1,y1)。
对于第二成像设备12对拍摄空间进行拍照而得到的第二图像,可以进行类似的编码处理。
在步骤S200,获取第二图像。
同样地,也可以对第二图像进行图形变形矫正。
在步骤S210,对于所述第二图像中的第二图像像素P(x2,y2),根据前述预定的领域规则,选取其第二邻近区域A(x2,y2)。
然后,在步骤S220,根据前述预定的编码规则,基于所述第二邻近区域A(x2,y2)中各像素的像素值进行编码,得到第二编码值C(x2,y2)。
接下来,在步骤S230,在前述的对应关系表中,查找与第二编码值C(x2,y2)相同的第一编码值C(x1,y1),并确定其第一位置。
由此,在步骤S240,可以确定该第二图像像素P(x2,y2)与对应的第一位置处的第一图像像素P(x1,y1)对应。
在对第一图像和第二图像分别进行的操作中,使用的编码规则是相同的,这是为了确保在对应关系表中能够通过第二编码值准确地找出第一编码值,进而找到与其对应的第一位置,从而确定第二图像像素和其相应的第一图像像素之间的对应关系。
通过对应关系表,可以借助于相同的第一编码值和第二编码值,建立第一图像像素和第二图像像素之间的联系。一般可以先通过关联存储逐渐建立对应关系表,然后通过查找确定其中的联系。
对应关系表一般是内存键值哈希表,用于快速通过编码值找到对应的位置。其中,可以以上述第一编码值为键(key),而以上述第一位置为值(value)。
步骤S100至步骤S120可以记为第一编码值获取过程,步骤S200至步骤S220可以记为第二编码值获取过程。其中,第一编码值获取过程与第二编码值获取过程可以以任意的顺序执行。但步骤S230与步骤S240一般需要在步骤S130之后执行。
下面参考图6和图7详细描述两种可能的编码规则对应的编码方式。
图6示出了基于邻近区域中各像素的像素值进行编码的一个实施例的流程图。
图6所示的编码方案,例如可以适用于激光投射装置投射的编码结构光,是按照M-array编码数据结构进行投射的光束集的情况。
如图6所示,在步骤S300,将邻近区域中的所有像素的像素值按照预定的顺序依次排列,例如,可以顺序排列或逆序排列,从而得到一维向量。
在步骤S310,在前述的一维向量中,将一维向量中的像素值与预定阈值比较。
在步骤S500,在上述比较结果中,若像素值大于预定值,则进入步骤S510,将像素值置换为1。若像素值小于预定值,则进入步骤S520,将像素值置换为0。
在步骤S530,最终得到编码值。
图7示出了基于邻近区域中各像素的像素值进行编码的另一个实施例的流程图。
图7所示的编码方案例如可以适用于激光投射的编码结构光是按照DeBruijn编码数据结构进行投射的光束集的情况。
如图7所示,在步骤S400,累加所述矩形子窗口中具有相同第一方向坐标值的所有像素的像素值,作为对应于该第一方向坐标值的累计像素值。
在步骤S410,将对应于矩形子窗口中所有第一方向坐标值的累计像素值按照预定的顺序依次排列,得到一维向量。
在步骤S420,在所述一维向量中,将一维向量中的像素值与预定阈值比较。
在步骤S500,在上述比较结果中,若像素值大于预定值,则进入步骤S510,将像素值置换为1。若像素值小于预定值,则进入步骤S520,将像素值置换为0。
在步骤S530,最终得到编码值。
下面参考图8至图10详细描述根据本发明的图像匹配装置。其中各装置的功能的细节与上述方法的相应步骤基本相同,在此不再赘述。
图8示出了根据本发明的图像匹配装置的示意图。如图8所示,图像匹配装置,包括图像获取装置20、第一处理装置31以及第二处理装置41。
图像获取装置20用于获取第一成像设备11和第二成像设备12对拍摄空间进行拍照分别得到的第一图像和第二图像,第一成像设备11和第二成像设备12之间具有预定的相对位置关系。
第一处理装置31对于第一图像中的各个第一图像像素进行编码处理,第一处理装置31包括:第一选取装置32,用于根据预定的邻域规则分别选取第一图像的邻近区域;第一编码装置50,用于根据预定的编码规则,基于邻近区域的各像素的像素值进行编码,得到编码值,作为第一编码值;关联存储装置33,用于在对应关系表中,关联地存储第一编码值和第一图像像素在第一图像中的第一位置。
第二处理装置41对于第二图像中的第二图像像素进行编码处理,第二处理装置41包括:第二选取装置42,用于根据预定的邻域规则选取其邻近区域;第二编码装置60,用于根据前述预定的编码规则,基于邻近区域中各像素的像素值进行编码,得到编码值,作为第二编码值;查找装置43,用于在对应关系表中,查找与第二编码值相同的第一编码值,并得到与其对应的第一位置;对应关系确定装置70,用于确定第二图像像素与对应的第一位置处的第一图像像素对应。
邻近区域一般为矩形子窗口,矩形子窗口具有相互垂直的第一方向和第二方向上的边,第一成像设备11的中心和第二成像设备12的中心之间的连线平行于第一方向。即前述两成像设备中心的连线和矩形子窗口的一对边一般都是水平方向的。
图9示出了第一编码装置和第二编码装置的一个实施例的示意图。
图9所示的编码方案,例如可以适用于激光投射装置投射的编码结构光,是按照M-array编码数据结构进行投射的光束集的情况。
如图9所示,第一编码装置50和第二编码装置60可以分别包括:第一排列装置81,用于将邻近区域中所有像素的像素值按照预定的顺序依次排列,得到一维向量;第一置换装置82,用于在前述的一维向量中,将大于或等于预定阈值的像素置换为1,将小于预定阈值的像素置换为0,从而得到所述编码值。此实施例一般对应于一维的编码结构光位置编码方案。
图10示出了第一编码装置和第二编码装置的另一个实施例的示意图。
图10所示的编码方案,例如可以适用于激光投射装置投射的编码结构光,是按照DeBruijn编码数据结构进行投射的光束集的情况。
如图10所示,第一编码装置50和第二编码装置60可以分别包括:累加装置91,用于累加矩形子窗口中具有相同第一方向坐标值的所有像素的像素值,作为对应于该第一方向坐标值的累计像素值;第二排列装置92,用于将对应于矩形子窗口中所有第一方向坐标值的累计像素值按照预定的顺序依次排列,得到一维向量;第二置换装置93,用于在一维向量中,将大于或等于预定阈值的累计像素值置换为1,将小于预定阈值的累计像素值置换为0,从而得到前述的编码值。
上文中已经参考附图详细描述了根据本发明的图像匹配方法、图像匹配装置、深度数据测量方法以及深度图像测量系统。
此外,根据本发明的方法还可以实现为一种计算机程序,该计算机程序包括用于执行本发明的上述方法中限定的上述各步骤的计算机程序代码指令。或者,根据本发明的方法还可以实现为一种计算机程序产品,该计算机程序产品包括计算机可读介质,在该计算机可读介质上存储有用于执行本发明的上述方法中限定的上述功能的计算机程序。本领域技术人员还将明白的是,结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (13)
1.一种图像匹配方法,包括:
获取第一成像设备和第二成像设备对拍摄空间进行拍照分别得到的第一图像和第二图像,所述第一成像设备和所述第二成像设备之间具有预定的相对位置关系;
对于所述第一图像中的各个第一图像像素,
根据预定的邻域规则分别选取其邻近区域;
根据预定的编码规则,基于所述邻近区域中各像素的像素值进行编码,得到编码值,作为第一编码值;
在对应关系表中,关联地存储所述第一编码值和所述第一图像像素在所述第一图像中的第一位置;
对于所述第二图像中的第二图像像素,
根据所述预定的邻域规则选取其邻近区域;
根据所述预定的编码规则,基于所述邻近区域中各像素的像素值进行编码,得到编码值,作为第二编码值;
在所述对应关系表中,查找与所述第二编码值相同的第一编码值,并得到与其对应的第一位置;
确定所述第二图像像素与所述对应的第一位置处的第一图像像素对应。
2.根据权利要求1所述的图像匹配方法,其中,
所述邻近区域为矩形子窗口,所述矩形子窗口具有相互垂直的第一方向和第二方向上的边,所述第一成像设备的中心和所述第二成像设备的中心之间的连线平行于所述第一方向,
基于所述邻近区域中各像素的像素值进行编码的步骤包括:
将所述邻近区域中所有像素的像素值按照预定的顺序依次排列,得到一维向量;
在所述一维向量中,将大于或等于预定阈值的像素值置换为1,将小于预定阈值的像素值置换为0,从而得到所述编码值。
3.根据权利要求1所述的图像匹配方法,其中,
所述邻近区域为矩形子窗口,所述矩形子窗口具有相互垂直的第一方向和第二方向上的边,所述第一成像设备的中心和所述第二成像设备的中心之间的连线平行于所述第一方向,
基于所述邻近区域中各像素的像素值进行编码的步骤包括:
累加所述矩形子窗口中具有相同第一方向坐标值的所有像素的像素值,作为对应于该第一方向坐标值的累计像素值;
将对应于所述矩形子窗口中所有第一方向坐标值的累计像素值按照预定的顺序依次排列,得到一维向量;
在所述一维向量中,将大于或等于预定阈值的累计像素值置换为1,将小于预定阈值的累计像素值置换为0,从而得到所述编码值。
4.一种图像匹配装置,包括:
图像获取装置,用于获取第一成像设备和第二成像设备对拍摄空间进行拍照分别得到的第一图像和第二图像,所述第一成像设备和所述第二成像设备之间具有预定的相对位置关系;
第一处理装置,对于所述第一图像中的各个第一图像像素,进行编码处理,所述第一处理装置包括:
第一选取装置,用于根据预定的邻域规则分别选取第一图像像素的邻近区域;
第一编码装置,用于根据预定的编码规则,基于所述邻近区域中各像素的像素值进行编码,得到编码值,作为第一编码值;
关联存储装置,用于在对应关系表中,关联地存储所述第一编码值和所述第一图像像素在所述第一图像中的第一位置;
第二处理装置,对于所述第二图像中的第二图像像素,进行编码处理,所述第二处理装置包括:
第二选取装置,用于根据所述预定的邻域规则选取其邻近区域;
第二编码装置,用于根据所述预定的编码规则,基于所述邻近区域中各像素的像素值进行编码,得到编码值,作为第二编码值;
查找装置,用于在所述对应关系表中,查找与所述第二编码值相同的第一编码值,并得到与其对应的第一位置;
对应关系确定装置,用于确定所述第二图像像素与所述对应的第一位置处的第一图像像素对应。
5.根据权利要求4所述的图像匹配装置,其中,
所述邻近区域为矩形子窗口,所述矩形子窗口具有相互垂直的第一方向和第二方向上的边,所述第一成像设备的中心和所述第二成像设备的中心之间的连线平行于所述第一方向,
所述第一编码装置和所述第二编码装置分别包括:
第一排列装置,用于将所述邻近区域中所有像素的像素值按照预定的顺序依次排列,得到一维向量;
第一置换装置,用于在所述一维向量中,将大于或等于预定阈值的像素值置换为1,将小于预定阈值的像素值置换为0,从而得到所述编码值。
6.根据权利要求4所述的图像匹配装置,其中,
所述邻近区域为矩形子窗口,所述矩形子窗口具有相互垂直的第一方向和第二方向上的边,所述第一成像设备的中心和所述第二成像设备的中心之间的连线平行于所述第一方向,
所述第一编码装置和所述第二编码装置分别包括:
累加装置,用于累加所述矩形子窗口中具有相同第一方向坐标值的所有像素的像素值,作为对应于该第一方向坐标值的累计像素值;
第二排列装置,用于将对应于所述矩形子窗口中所有第一方向坐标值的累计像素值按照预定的顺序依次排列,得到一维向量;
第二置换装置,用于在所述一维向量中,将大于或等于预定阈值的累计像素值置换为1,将小于预定阈值的累计像素值置换为0,从而得到所述编码值。
7.一种深度数据测量方法,包括:
向拍摄空间投射编码结构光;
使用第一成像设备和第二成像设备对所述拍摄空间进行拍照,分别得到第一图像和第二图像,所述第一成像设备和所述第二成像设备之间具有预定的相对位置关系;
通过根据权利要求1所述的方法,确定所述第二图像中的第二图像像素与所述第一图像中的第一图像像素之间的对应关系;
根据相互对应的第一图像像素和第二图像像素之间的位置差异,以及所述预定的相对位置关系,确定所述第一图像像素的深度数据。
8.根据权利要求7所述的深度数据测量方法,其中,
所述第一成像设备的中心和所述第二成像设备的中心之间的连线平行于第一方向,
编码结构光是按照编码数据结构进行投射的光束集,所述编码数据结构的编码值在所述第一方向上具有唯一性。
9.根据权利要求8所述的深度数据测量方法,其中,
所述编码数据结构的编码值在垂直于所述第一方向的第二方向上周期性重复。
10.根据权利要求8所述的深度数据测量方法,其中,
所述编码数据结构为DeBruijn序列,
所述邻近区域为矩形子窗口,所述矩形子窗口具有所述第一方向和垂直于所述第一方向的第二方向上的边,
基于所述邻近区域中各像素的像素值进行编码的步骤包括:
将所述邻近区域中所有像素的像素值按照预定的顺序依次排列,得到一维向量;
在所述一维向量中,将大于或等于预定阈值的像素值置换为1,将小于预定阈值的像素值置换为0,从而得到所述编码值。
11.根据权利要求8所述的深度数据测量方法,其中,
所述编码数据结构为M-array,
所述邻近区域为矩形子窗口,所述矩形子窗口具有所述第一方向和垂直于所述第一方向的第二方向上的边,所述第一成像设备的中心和所述第二成像设备的中心之间的连线平行于所述第一方向,
基于所述邻近区域中各像素的像素值进行编码的步骤包括:
累加所述矩形子窗口中具有相同第一方向坐标值的所有像素的像素值,作为对应于该第一方向坐标值的累计像素值;
将对应于所述矩形子窗口中所有第一方向坐标值的累计像素值按照预定的顺序依次排列,得到一维向量;
在所述一维向量中,将大于或等于预定阈值的累计像素值置换为1,将小于预定阈值的累计像素值置换为0,从而得到所述编码值。
12.一种深度图像测量系统,包括:
激光投射装置,用于向拍摄空间投射编码结构光;
第一成像设备和第二成像设备,对所述拍摄空间进行拍照,分别得到第一图像和第二图像,所述第一成像设备和所述第二成像设备之间具有预定的相对位置关系;
存储器,存储所述第一图像和所述第二图像;
处理器,获取所述第一图像和所述第二图像,确定所述第二图像中的第二图像像素与所述第一图像中的第一图像像素之间的对应关系,并根据相互对应的第一图像像素和第二图像像素之间的位置差异,以及所述预定的相对位置关系,确定所述第一图像像素的深度数据,并将所述深度数据与所述第一图像像素关联地存储在所述存储器中,
其中,所述处理器对于所述第一图像中的各个第一图像像素,根据预定的邻域规则分别选取其邻近区域,根据预定的编码规则,基于所述邻近区域中各像素的像素值进行编码,得到编码值,作为第一编码值,并在所述存储器中的对应关系表中,关联地存储所述第一编码值和所述第一图像像素在所述第一图像中的第一位置;
所述处理器对于所述第二图像中的第二图像像素,根据所述预定的邻域规则选取其邻近区域,根据所述预定的编码规则,基于所述邻近区域中各像素的像素值进行编码,得到编码值,作为第二编码值,在所述对应关系表中,查找与所述第二编码值相同的第一编码值,并得到与其对应的第一位置,确定所述第二图像像素与所述对应的第一位置处的第一图像像素对应。
13.根据权利要求12所述的深度数据测量系统,其中,
所述编码结构光为红外光;
所述第一成像设备和第二成像设备为红外成像设备。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510897818.2A CN105427326B (zh) | 2015-12-08 | 2015-12-08 | 图像匹配方法和装置以及深度数据测量方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510897818.2A CN105427326B (zh) | 2015-12-08 | 2015-12-08 | 图像匹配方法和装置以及深度数据测量方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105427326A true CN105427326A (zh) | 2016-03-23 |
CN105427326B CN105427326B (zh) | 2018-12-25 |
Family
ID=55505506
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510897818.2A Active CN105427326B (zh) | 2015-12-08 | 2015-12-08 | 图像匹配方法和装置以及深度数据测量方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105427326B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108428244A (zh) * | 2018-02-27 | 2018-08-21 | 上海图漾信息科技有限公司 | 图像匹配方法及深度数据测量方法和系统 |
CN108498066A (zh) * | 2017-02-28 | 2018-09-07 | 爱博诺德(北京)医疗科技有限公司 | 用于测量眼睛的角膜前表面的地形图的方法和设备 |
CN108780231A (zh) * | 2018-05-09 | 2018-11-09 | 深圳阜时科技有限公司 | 图案投射装置、图像获取装置、身份识别装置及电子设备 |
CN111692987A (zh) * | 2019-03-15 | 2020-09-22 | 上海图漾信息科技有限公司 | 深度数据测量头、测量装置和测量方法 |
CN111829449A (zh) * | 2019-04-23 | 2020-10-27 | 上海图漾信息科技有限公司 | 深度数据测量头、测量装置和测量方法 |
CN113538606A (zh) * | 2021-08-17 | 2021-10-22 | 数坤(北京)网络科技股份有限公司 | 图像关联方法、联动显示方法及相关产品 |
US11885613B2 (en) | 2019-03-15 | 2024-01-30 | Shanghai Percipio Technology Limited | Depth data measuring head, measurement device and measuring method |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100304854A1 (en) * | 2009-05-27 | 2010-12-02 | Microsoft Corporation | Image contrast enhancement in depth sensor |
US20100315490A1 (en) * | 2009-06-15 | 2010-12-16 | Electronics And Telecommunications Research Institute | Apparatus and method for generating depth information |
CN102760234A (zh) * | 2011-04-14 | 2012-10-31 | 财团法人工业技术研究院 | 深度图像采集装置、系统及其方法 |
CN103400366A (zh) * | 2013-07-03 | 2013-11-20 | 西安电子科技大学 | 基于条纹结构光的动态场景深度获取方法 |
CN104634276A (zh) * | 2015-02-12 | 2015-05-20 | 北京唯创视界科技有限公司 | 三维测量系统、拍摄设备和方法、深度计算方法和设备 |
-
2015
- 2015-12-08 CN CN201510897818.2A patent/CN105427326B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100304854A1 (en) * | 2009-05-27 | 2010-12-02 | Microsoft Corporation | Image contrast enhancement in depth sensor |
US20100315490A1 (en) * | 2009-06-15 | 2010-12-16 | Electronics And Telecommunications Research Institute | Apparatus and method for generating depth information |
CN102760234A (zh) * | 2011-04-14 | 2012-10-31 | 财团法人工业技术研究院 | 深度图像采集装置、系统及其方法 |
CN103400366A (zh) * | 2013-07-03 | 2013-11-20 | 西安电子科技大学 | 基于条纹结构光的动态场景深度获取方法 |
CN104634276A (zh) * | 2015-02-12 | 2015-05-20 | 北京唯创视界科技有限公司 | 三维测量系统、拍摄设备和方法、深度计算方法和设备 |
Non-Patent Citations (2)
Title |
---|
贾同 等: "一种基于全向结构光的深度测量方法", 《自动化学报》 * |
赵磊: "基于Open CV的编码结构光立体匹配技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108498066A (zh) * | 2017-02-28 | 2018-09-07 | 爱博诺德(北京)医疗科技有限公司 | 用于测量眼睛的角膜前表面的地形图的方法和设备 |
CN108428244A (zh) * | 2018-02-27 | 2018-08-21 | 上海图漾信息科技有限公司 | 图像匹配方法及深度数据测量方法和系统 |
CN108780231A (zh) * | 2018-05-09 | 2018-11-09 | 深圳阜时科技有限公司 | 图案投射装置、图像获取装置、身份识别装置及电子设备 |
CN111692987A (zh) * | 2019-03-15 | 2020-09-22 | 上海图漾信息科技有限公司 | 深度数据测量头、测量装置和测量方法 |
US11885613B2 (en) | 2019-03-15 | 2024-01-30 | Shanghai Percipio Technology Limited | Depth data measuring head, measurement device and measuring method |
CN111829449A (zh) * | 2019-04-23 | 2020-10-27 | 上海图漾信息科技有限公司 | 深度数据测量头、测量装置和测量方法 |
CN111829449B (zh) * | 2019-04-23 | 2022-04-12 | 上海图漾信息科技有限公司 | 深度数据测量头、测量装置和测量方法 |
CN113538606A (zh) * | 2021-08-17 | 2021-10-22 | 数坤(北京)网络科技股份有限公司 | 图像关联方法、联动显示方法及相关产品 |
CN113538606B (zh) * | 2021-08-17 | 2022-07-22 | 数坤(北京)网络科技股份有限公司 | 图像关联方法、装置、计算机可读存储介质及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN105427326B (zh) | 2018-12-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105427326A (zh) | 图像匹配方法和装置以及深度数据测量方法和系统 | |
KR101259835B1 (ko) | 깊이 정보를 생성하기 위한 장치 및 방법 | |
CN102272796B (zh) | 运动向量生成装置以及运动向量生成方法 | |
US11170202B2 (en) | Apparatus and method for performing 3D estimation based on locally determined 3D information hypotheses | |
US20090296984A1 (en) | System and Method for Three-Dimensional Object Reconstruction from Two-Dimensional Images | |
US20090324059A1 (en) | Method for determining a depth map from images, device for determining a depth map | |
JP2006221603A (ja) | 3次元情報復元装置、3次元情報復元方法および3次元情報復元プログラム | |
KR20100119559A (ko) | 2d 이미지 데이터를 스테레오스코픽 이미지 데이터로 변환하기 위한 방법 및 시스템 | |
CA2650557A1 (en) | System and method for three-dimensional object reconstruction from two-dimensional images | |
US20170272724A1 (en) | Apparatus and method for multi-view stereo | |
US20100118125A1 (en) | Method and apparatus for generating three-dimensional (3d) image data | |
JP4701848B2 (ja) | 画像マッチング装置、画像マッチング方法および画像マッチング用プログラム | |
US11954874B2 (en) | Localization of elements in the space | |
CN105306922A (zh) | 一种深度相机参考图的获取方法和装置 | |
JP2011237296A (ja) | 3次元形状計測方法、3次元形状計測装置、及びプログラム | |
KR100943635B1 (ko) | 디지털카메라의 이미지를 이용한 디스패리티 맵 생성 장치 및 방법 | |
US8340399B2 (en) | Method for determining a depth map from images, device for determining a depth map | |
US9721348B2 (en) | Apparatus and method for raw-cost calculation using adaptive window mask | |
JP4605716B2 (ja) | 多視点画像圧縮符号化方法、装置及びプログラム | |
Fehrman et al. | Depth mapping using a low-cost camera array | |
JP2017192008A (ja) | オブジェクト検出装置 | |
CN108428244A (zh) | 图像匹配方法及深度数据测量方法和系统 | |
JP2006337075A (ja) | 3次元情報復元装置 | |
CN111601097A (zh) | 基于双投射器的双目立体匹配方法、装置、介质和设备 | |
KR20190103833A (ko) | 실시간 3차원 데이터 측정 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |