CN108428244A - 图像匹配方法及深度数据测量方法和系统 - Google Patents

图像匹配方法及深度数据测量方法和系统 Download PDF

Info

Publication number
CN108428244A
CN108428244A CN201810163967.XA CN201810163967A CN108428244A CN 108428244 A CN108428244 A CN 108428244A CN 201810163967 A CN201810163967 A CN 201810163967A CN 108428244 A CN108428244 A CN 108428244A
Authority
CN
China
Prior art keywords
image
imaging device
window
match
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810163967.XA
Other languages
English (en)
Inventor
王敏捷
梁雨时
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Tuyang Information Technology Co Ltd
Original Assignee
Shanghai Tuyang Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Tuyang Information Technology Co Ltd filed Critical Shanghai Tuyang Information Technology Co Ltd
Priority to CN201810163967.XA priority Critical patent/CN108428244A/zh
Publication of CN108428244A publication Critical patent/CN108428244A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种图像匹配方法及深度数据测量方法和系统。图像匹配方法包括：获取第一成像设备和第二成像设备对投射在相同拍摄空间内的至少两种编码结构光进行拍摄分别得到的至少两组图像，第一成像设备和第二成像设备之间具有预定的相对位置关系，各组图像中由第一成像设备拍摄的图像为第一图像，由第二成像设备拍摄的图像为第二图像；对于各组图像，分别以相同的匹配窗口大小求取同组的第一图像和第二图像间各窗口匹配的置信度；基于每组图像中第一图像和第二图像间各窗口匹配的置信度，确定每组图像中第一图像和第二图像间彼此匹配的窗口。由此，通过引入多组图像来提升小窗口的置信度，从而实现更为精确且清晰的深度信息求取。

Description

图像匹配方法及深度数据测量方法和系统
技术领域
本发明涉及双目成像，尤其涉及一种图像匹配方法、及其相应的深度数据测量方法和系统。
背景技术
图像匹配是在双目立体视觉的景深(在下文中也称为“深度数据”)提取中非常重要的一个步骤。此步骤的目标是找出图像的每个像素点在另一个视角的图像上的对应的像素点，算出视差图像，估算出景深图像，即在其每个像素点处标明了对应的深度数据。
局部立体匹配算法可用于进行图像匹配，其基本原理是给定在一幅图像上的某一点，选取该像素点邻域内的一个子窗口，在另一幅图像中的一个区域内的所有可能位置，根据某种相似性判断依据，寻找与子窗口图像最为相似的子图，其匹配的子图中对应的像素点即为该像素的匹配点。该算法计算量小，适于实时运行。
在实际的窗口选择中，如果窗口较大，其所包含的信息也较多，因此容易进行匹配，但颗粒度较大；如果窗口较小，虽然颗粒度较小，但容易造成误匹配。
因此，希望一种能够以较小的颗粒度实现高精度匹配的方法。
发明内容
有鉴于此，本发明提供了一种图像匹配及深度数据测量方法和系统，其通过针对相同拍摄对象投射不同的编码结构光并分别进行双目成像，针对每种编码结构光以相同的窗口大小来进行窗口匹配的置信度计算，通过综合考虑相同位置的窗口在每种编码结构光下的置信度，来确定最终匹配的窗口。由此，通过引入多组图像来提升小窗口的置信度，从而实现更为精确且清晰的深度信息求取。
根据本发明的一个方面，提供了一种深度数据测量系统，包括：激光投射装置，用于向相同的拍摄空间投射至少两种编码结构光；第一成像设备和第二成像设备，用于对投射在相同拍摄空间内的至少两种编码结构光进行拍摄，分别得到各自包括第一图像和第二图像的至少两组图像，所述第一成像设备和所述第二成像设备之间具有预定的相对位置关系；存储器，存储各自包括所述第一图像和所述第二图像的每组图像；处理器，获取每组图像中的所述第一图像和所述第二图像，对于各组图像，分别以相同的匹配窗口大小求取同组的所述第一图像和所述第二图像间各窗口匹配的置信度，基于每组图像中所述第一图像和所述第二图像间各窗口匹配的置信度，确定每组图像中所述第一图像和所述第二图像间彼此匹配的窗口，并且根据彼此匹配的窗口中第一图像像素和第二图像像素之间的位置差异，以及所述预定的相对位置关系，确定所述第一图像像素的深度数据。
通过多次投射不同的结构光并拍摄多组图像，引入相同位置处匹配窗口的多次置信度求取来提升小窗口的匹配准确率，从而减小颗粒度，提升深度图像的精细程度。另外，由于会对拍摄空间内同一待测对象投射多次不同的结构光，因此相同对象上会有更多的位置上照射到编码结构光。换句话说，能够得到待测对象上较多位置的深度信息，因此可以更加准确地反映待检测物体的深度信息，尤其是能够提升边缘的清晰度。
优选地，所述深度数据测量系统可以以预定的工作周期重复持续确定第一图像像素的深度数据。由此，使得本发明的深度数据测量系统可以针对动态目标进行实时测量。
优选地，所述编码结构光可以为红外光。所述第一成像设备和第二成像设备可以为红外成像设备。
优选地，所述激光投射装置可以按照如下至少一种方式投射所述至少两种编码结构光：使用相同的激光器以相同或不同的角度投射；使用不同的激光器从不同的位置发出的；使用不同的编码结构光发生装置；或是上述的任意组合。
根据本发明的另一个方面，还提供了一种深度数据测量方法，包括：向相同的拍摄空间投射至少两种编码结构光；使用第一成像设备和第二成像设备对投射在相同拍摄空间内的至少两种编码结构光进行拍摄，分别得到各自包括第一图像和第二图像的至少两组图像，所述第一成像设备和所述第二成像设备之间具有预定的相对位置关系；通过如下所述的图像匹配方法，确定每组图像中所述第一图像和所述第二图像间彼此匹配的窗口；根据彼此匹配的窗口中第一图像像素和第二图像像素之间的位置差异，以及所述预定的相对位置关系，确定所述第一图像像素的深度数据。
根据本发明的另一个方面，还提供了一种深度数据测量方法，包括：以预定的工作周期向相同的拍摄空间重复投射至少两种编码结构光；使用第一成像设备和第二成像设备对每个工作周期内投射在相同拍摄空间内的至少两种编码结构光中的每一种进行拍摄，分别得到对应于相应工作周期的各自包括第一图像和第二图像的至少两组图像，所述第一成像设备和所述第二成像设备之间具有预定的相对位置关系；通过如下所述的图像匹配方法，确定相应工作周期内的每组图像中所述第一图像和所述第二图像间彼此匹配的窗口；根据相应工作周期内彼此匹配的窗口中第一图像像素和第二图像像素之间的位置差异，以及所述预定的相对位置关系，确定相应工作周期内所述第一图像像素的深度数据。
根据本发明的另一个方面，提供了一种图像匹配方法，包括：获取第一成像设备和第二成像设备对投射在相同拍摄空间内的至少两种编码结构光进行拍摄分别得到的至少两组图像，所述第一成像设备和所述第二成像设备之间具有预定的相对位置关系，各组图像中由所述第一成像设备拍摄的图像为第一图像，由所述第二成像设备拍摄的图像为第二图像；对于各组图像，分别以相同的匹配窗口大小求取同组的所述第一图像和所述第二图像间各窗口匹配的置信度；基于每组图像中所述第一图像和所述第二图像间各窗口匹配的置信度，确定每组图像中所述第一图像和所述第二图像间彼此匹配的窗口。
优选地，所述至少两组图像是以所述第一成像设备和所述第二成像设备各自的帧频连续拍摄的图像。
优选地，所述第一成像设备和所述第二成像设备具有相同的帧频，并且每组图像中的第一图像和第二图像是所述第一成像设备和所述第二成像设备同时拍摄的。
优选地，所述至少两种编码结构光是如下的至少一种：编码相同但投射的空间位置或角度不同的编码结构光；或者编码不同的编码结构光。
优选地，基于每组图像中所述第一图像和所述第二图像间各窗口匹配的置信度，确定每组图像中所述第一图像和所述第二图像间彼此匹配的窗口包括：求取相同位置的窗口在各组图像中的置信度之和；将置信度之和最高的窗口确定为彼此匹配的窗口。
由此，本发明通过多次投射不同的结构光并拍摄多组图像，引入相同位置处匹配窗口的多次置信度求取来提升小窗口的匹配准确率，从而减小颗粒度，提升深度图像的精细程度。另外，由于会对拍摄空间内同一待测对象投射多次不同的结构光，因此相同对象上会有更多的位置上照射到编码结构光。换句话说，能够得到待测对象上较多位置的深度信息，因此可以更加准确地反映待检测物体的深度信息，尤其是能够提升边缘的清晰度。
附图说明
通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。
图1是本公开的深度图像测量系统的示意图。
图2示出了根据本发明一个实施例的深度数据测量系统的测量头的一个例子。
图3A和图3B示出了激光投射装置向相同拍摄空间内的待测对象投射两种不同的编码结构光的示意图。
图4A和图4B示出了对投射有不同的编码结构光的待测对象的图像进行子窗口选取的示意图。
图5示出了根据本发明的深度数据测量方法的示例性流程图。
图6示出了根据本发明的图像匹配方法的示例性流程图。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
针对现有技术中窗口小易造成误匹配的技术问题，本发明通过多次投射不同的结构光并拍摄多组图像，引入相同位置处匹配窗口的多次置信度求取来提升小窗口的匹配准确率，从而减小颗粒度，提升深度图像的精细程度。另外，由于会对拍摄空间内同一待测对象投射多次不同的结构光，因此相同对象上会有更多的位置上照射到编码结构光。换句话说，能够得到待测对象上较多位置的深度信息，因此可以更加准确地反映待检测物体的深度信息，尤其是能够提升边缘的清晰度。
图1是本公开的深度数据测量系统的示意图。如图1所示，深度数据测量系统包括激光投射装置10、第一成像设备11和第二成像设备12、存储器13以及处理器14。
激光投射装置10用于向拍摄空间投射编码结构光，其所投射的光可以为红外光。
激光投射装置10可以包括激光光源和编码结构光发生装置。激光光源可以用于产生单束激光，结构光发生装置可用于将产生的单束激光衍射成特定编码的结构光。在一个实施例中，结构光发生装置可以包括光学分束器和光学扩散片。光学分束器被设计为将入射光束在第一方向上分束成能量基本上相同的N个子光束，其中N为奇数；光学扩散片被设计为将N个子光束扩散为多个带状光束或者多个离散激光斑点。本领域技术人员应当理解，激光投射装置10也可以采用诸如全息式微透镜阵列、光学掩膜以及/或者其它类型的光栅作为结构光发生装置，来提供理想的结构光图样。
在一个实施例中，激光投射装置10投射出的编码结构光图案可以设置为一维线性光线条纹图案或者是二维离散光斑点或者二者综合的图案。在一个优选的实施例中，编码结构光具有唯一性，在预先给定范围和给定窗口尺寸的条件下，在成像设备获取的图像上计算得到的位置编码值在不同位置具有唯一的编码值。此位置编码值例如可以采用DeBruijn序列或者M-array生成。
在本发明中，激光投射装置10能够向相同的拍摄空间投射至少两种编码结构光。这里所指的至少两种编码结构光是指编码、角度和位置至少有一种不同的至少两种编码结构光。换句话说，至少两种编码结构光可以是编码相同但投射的空间位置不同的编码结构光，或者编码不同的编码结构光。
在一个实施例中，激光投射装置10可以使用同一个结构光发生装置，通过让同一激光器变换不同的投射角度(例如，变换5～10°)来投射不同的结构光。在一个实施例中，激光投射装置10可以使用同一个结构光发生装置，通过让不同的激光器从不同的位置来投射不同的结构光。在另一个实施例中，激光投射装置10可以准备至少两套结构光发生装置(例如，两种衍射图案)，使用同一激光器以相同的投射来投射不同的结构光。
本领域技术人员可以理解的是，可以基于具体情况采取上述实现的任意组合来实现对至少两种编码结构光的投射。
图2示出了根据本发明一个实施例的深度数据测量系统的测量头的一个例子。
如图2所示，该测量头可以包括分别置于左右两侧的第一成像设备11和第二成像设备12，而激光投射装置10可以包括投射子单元101和102。投射子单元101和102各自包括激光器和结构光发生装置，以便按照预定次序提供不同的编码结构光。由于投射子单元101和102之间存在唯一，因此即便两者包括相同的衍射图案，其投射在待测物体上的编码结构光也是不一样的。上述投射子单元和成像设备例如可由连接机构20固定。该测量头例如可以通过线路与存储器和处理器相连接。可以理解，图2所示的仅仅测量头的一个例子。在实际应用中，测量头也可以具有其他结构，用来提供至少两种编码结构光。
第一成像设备11和第二成像设备12对拍摄空间进行拍照，分别得到第一图像和第二图像，第一成像设备11和第二成像设备12之间具有预定的相对位置关系，一般为水平放置，且间隔固定的距离，拍摄过程中一般相对位置不变(例如，图2所示)。
在激光投射装置10投射红外光的情况下，第一成像设备11和第二成像设备12可以是红外成像设备。
在激光投射装置10向相同的拍摄空间投射至少两种编码结构光的情况下，第一成像设备11和第二成像设备12也相应地对投射在相同拍摄空间内的至少两种编码结构光进行拍摄，分别得到各自包括第一图像和第二图像的至少两组图像。
图3A和图3B示出了激光投射装置向相同拍摄空间内的待测对象投射两种不同的编码结构光的示意图。图1中的激光投射装置10可以首先如图3A所示投射第一编码结构光，第一成像设备11和第二成像设备12于是针对投射有第一编码结构光的待测手部分别拍摄得到第一图像和第二图像。该第一图像和第二图像组成第一组图像。随后，激光投射装置10可以如图3B所示投射第二编码结构光，第一成像设备11和第二成像设备12于是针对投射有第二编码结构光的待测手部分别拍摄得到第一图像和第二图像。该第一图像和第二图像组成第二组图像。例如，可由图2中的投射子单元101投射如图3A所示的第一编码结构光，随后由投射子单元102投射如图3B所示的第二编码结构光。
存储器13用于存储各自包括其第一图像和第二图像的每组图像，以便处理器14后续处理。
处理器14从存储器13获取每组图像中的第一图像和第二图像，对于各组图像，分别以相同的匹配窗口大小求取同组的第一图像和第二图像间各窗口匹配的置信度，基于每组图像中第一图像和第二图像间各窗口匹配的置信度，确定每组图像中所述第一图像和所述第二图像间彼此匹配的窗口，并且根据彼此匹配的窗口中第一图像像素和第二图像像素之间的位置差异，以及所述预定的相对位置关系，确定所述第一图像像素的深度数据。
如前所述，在此采用局部立体匹配算法进行图像匹配，其给定在一幅图像(第一图像)上的某一点，选取该像素点邻域内的一个子窗口，在另一幅图像(第二图像)中的一个区域内的所有可能位置，根据预定的相似性判断依据，寻找与子窗口图像最为相似的子图，其匹配的子图中对应的像素点即为该像素的匹配点。
处理器14对于第一图像中的各个第一图像像素，根据预定的邻域规则分别选取其临近区域，例如，13x13像素尺寸的子窗口；在第二图像中的一个区域内的所有可能位置，根据预定的相似性判断依据，寻找与第一图像中的子窗口图像最为相似的子窗口图像，例如，同样都是13x13像素尺寸的子窗口，其匹配的子窗口图像中对应的像素点即为该像素的匹配点。
在实际的窗口尺寸选择中，如果窗口较大，其所包含的信息也较多，因此容易进行匹配，但颗粒度较大；如果窗口较小，虽然颗粒度较小，但容易造成误匹配。
在现有技术中，投射的编码结构光可以在预先给定范围和给定窗口尺寸的条件下具有唯一性。为了保证正确匹配，通常需要与编码结构光的唯一性范围相适应的子窗口尺寸。在图3A或图3B所示的编码结构光的情况下，现有技术例如需要13x13像素尺寸的子窗口才能确保以较高的置信度对第一和第二图像中各像素的准确匹配。
不同于仅针对同一编码结构光获取一组第一和第二图像并进行子窗口局部匹配的现有技术(即，利用图3A和图3B所示的编码结构光之一来进行子窗口局部匹配)。本发明的图像匹配方案针对至少两组编码结构光获取相应的至少两组图像，对于各组图像，分别求取每组图像中第一图像和第二图像间各窗口匹配的置信度，基于每组图像中所述第一图像和所述第二图像间各窗口匹配的置信度，确定每组图像中所述第一图像和所述第二图像间彼此匹配的窗口。
如上所述，图3A和图3B示出了激光投射装置向相同拍摄空间内的待测对象投射两种不同的编码结构光的示意图。上述图3A和3B也可以看作是例如第一成像设备11在不同的编码结构光下对同一待测对象拍摄得到的不同的第一图像。在一个实施例中，可以将图3A看作是第一成像设备11拍摄的第一组图像中的第一图像，将图3B看作是第一成像设备11拍摄的第二组图像中的第一图像。虽然没有示出，但可以理解第二成像设备12也针对投射的两种编码结构光拍摄与相应的、但视角略有不同的第一组图像中的第二图像和第二组图像中的第二图像。
图4A和图4B示出了对投射有不同的编码结构光的待测对象的图像进行子窗口选取的示意图。如图4A所示，在针对第一组图像的第一和第二图像进行匹配时，可以选择例如尺寸为6x6像素的小窗口进行匹配。在投射的编码结构光的编码唯一性范围不变的情况下，由于窗口尺寸变小(例如，从13x13像素变为6x6像素)，针对第一图像中的某个确定的6x6像素窗口A，第二图像中可能有多个位置处的6x6像素窗口(例如，6x6像素窗口B1和B2)与第一图像中的窗口A有着较高的匹配置信度。随后，可以针对第二组图像的第一和第二图像进行匹配。同样选择6x6像素的小窗口进行匹配。在第二组的匹配中，针对与第一组第一图像的像素窗口A相同位置的像素窗口A’，第二图像中同样可能有多个位置处的6x6像素窗口(例如，像素窗口B’1和B’2)与像素窗口A’有着较高的匹配置信度。但如果综合考虑两组图像中的匹配置信度，可以看出只有B1位置处的像素窗口在两次匹配中都有着较高的置信度，因此可以判断在第一组图像中，第一图像的像素窗口A与第二图像的像素窗口B1相匹配，而在第二组图像中，第一图像的像素窗口A’与第二图像的像素窗口B’1相匹配。由此，能够以更小的窗口实现高正确率匹配，由此减小颗粒度，提升获取的深度图像的清晰度。
在一个实施例中，可以求取相同位置的窗口在各组图像中的置信度之和，并将置信度之和最高的窗口确定为彼此匹配的窗口。在其他实施例中，也可以采用其他的方法来依据各组图像中的窗口匹配置信度来确定最终匹配的窗口，例如，通过计算cost值来作为窗口匹配置信度的量化指标。虽然为了论述的方便采用了投射两种编码结构光并相应地进行两组图像处理的实施例，但本领域技术人员可以理解的是，也可以投射三种甚至更多的编码结构光并进行后续处理，由此实现尺寸更小的窗口匹配。
在具体实现中，至少两种编码结构光的投射与成像是相续进行的。例如，处理器可以控制激光投射装置10在投射第一编码结构光时，第一和第二成像设备11和12相应地进行图像拍摄；而在激光投射装置10投射第二编码结构光时，第一和第二成像设备11和12进行下一帧的图像拍摄。至少两组图像可以是以第一成像设备和第二成像设备各自的帧频连续拍摄的图像。在一个优选实施例中，第一成像设备和第二成像设备具有相同的帧频，并且每组图像中的第一图像和第二图像是第一成像设备和第二成像设备同时拍摄的。
优选地，上述拍摄和深度数据的求取可以是连续的，由此使得本发明的深度数据测量系统可以针对动态目标进行实时测量。假设第一和第二成像设备各自默认以30帧/秒的速度进行成像，在处理器的处理速度满足要求的情况下，如果轮流投射两种不同的编码结构光，则能够以15帧/秒的速度持续进行待测对象的深度图像更新。换句话说，以1/15秒为预定工作周期来进行深度图像的拍摄和求取。在具体实践中，能够以更新速度降低为代价实现更小窗口的匹配。例如，重复投射三种不同的编码结构光，以3x3像素尺寸的窗口进行匹配，但深度图像更新速度降为1/10秒。可以根据实际应用条件进行灵活折中。
深度数据的求取可以仅根据第一组图像(或其他的任一组图像)进行。仅仅由于匹配窗口尺寸的降低，就能够获取颗粒度更低且更为清晰的深度图像数据。在一个实施例中，深度数据的求取也可以利用每组图像进行。由于投射了不同的编码结构光，使得待检测物体上有更多的位置能够用来提供深度信息。如图4A和4B所示，手部的同一区域A内，额外考虑图4B的图像能够给出更为细密的深度细节。换句话说，不同编码结构光下求取的深度数据包括了待检测物体上较多位置的深度信息，因此，将融合至少两种编码结构光下所确定的深度数据后得到的新的深度数据作为待检测物体的深度数据，可以更加准确地反映待检测物体的深度信息，并且能够提供更为清晰的待测对象的轮廓。
下面将参考图5和图6对于根据本发明的深度数据测量方法和其中的图像匹配方法做更详尽的描述。
图5示出了根据本发明的深度数据测量方法的示例性流程图。
如图5所示，在步骤S510，向相同的拍摄空间投射至少两种编码结构光。如前所述，这里所指的至少两种编码结构光是指编码、角度和位置至少有一种不同的至少两种编码结构光。换句话说，至少两种编码结构光可以是编码相同但投射的空间位置不同的编码结构光，或者编码不同的编码结构光。
然后，在步骤S520，使用第一成像设备和第二成像设备对投射在相同拍摄空间内的至少两种编码结构光进行拍摄，分别得到各自包括第一图像和第二图像的至少两组图像。其中，所述第一成像设备和所述第二成像设备之间可以具有预定的相对位置关系，各组图像中例如可以由所述第一成像设备拍摄的图像为第一图像，由所述第二成像设备拍摄的图像为第二图像。
在步骤S530，通过下面将参考图6详细描述的图像匹配方法，确定每组图像中所述第一图像和所述第二图像间彼此匹配的窗口。
然后，在步骤S540，根据彼此匹配的窗口中第一图像像素和第二图像像素之间的位置差异，以及所述预定的相对位置关系，确定所述第一图像像素的深度数据。
在一个优选实施例中，上述图像匹配可以是持续进行的，用以作为例如实时深度数据获取方案中的一部分。在步骤S510，可以以预定的工作周期向相同的拍摄空间重复投射至少两种编码结构光。在步骤S520，使用第一成像设备和第二成像设备对每个工作周期内投射在相同拍摄空间内的至少两种编码结构光中的每一种进行拍摄，分别得到对应于相应工作周期的各自包括第一图像和第二图像的至少两组图像，所述第一成像设备和所述第二成像设备之间具有预定的相对位置关系。在步骤S530，通过下面将参考图6详细描述的图像匹配方法，确定相应工作周期内的每组图像中所述第一图像和所述第二图像间彼此匹配的窗口。然后，在步骤S540，根据相应工作周期内彼此匹配的窗口中第一图像像素和第二图像像素之间的位置差异，以及所述预定的相对位置关系，确定相应工作周期内所述第一图像像素的深度数据。
在一个优选实施例中，所述至少两种编码结构光的投射和成像可以是相续进行的。上述拍摄和深度数据的求取可以是连续的，由此使得本发明的深度数据测量方法可以针对动态目标进行实时测量。
下面参考图6详细描述根据本发明的图像匹配算法。
图6示出了根据本发明的图像匹配方法的示例性流程图。
如图6所示，在步骤S610，获取第一成像设备和第二成像设备对投射在相同拍摄空间内的至少两种编码结构光进行拍摄分别得到的至少两组图像。
如前所述，所述至少两种编码结构光例如可以是编码相同但投射的空间位置或角度不同的编码结构光，或者编码不同的编码结构光。
第一成像设备和第二成像设备之间具有预定的相对位置关系，各组图像中例如可以由所述第一成像设备拍摄的图像为第一图像，由所述第二成像设备拍摄的图像为第二图像。
至少两组图像可以是以所述第一成像设备和所述第二成像设备各自的帧频连续拍摄的图像。优选地，所述第一成像设备和所述第二成像设备具有相同的帧频，并且每组图像中的第一图像和第二图像是所述第一成像设备和所述第二成像设备同时拍摄的。
在步骤S620，对于各组图像，分别以相同的匹配窗口大小求取同组的所述第一图像和所述第二图像间各窗口匹配的置信度。
在步骤S630，基于每组图像中所述第一图像和所述第二图像间各窗口匹配的置信度，确定每组图像中所述第一图像和所述第二图像间彼此匹配的窗口。优选地，例如可以求取相同位置的窗口在各组图像中的置信度之和，并将置信度之和最高的窗口确定为彼此匹配的窗口。由此，通过引入多组图像来提升小窗口的置信度，从而实现更为精确且清晰的深度信息求取。
上文中已经参考附图详细描述了根据本发明的图像匹配方法及深度数据测量方法和系统。
此外，根据本发明的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本发明的上述方法中限定的上述各步骤的计算机程序代码指令。
或者，本发明还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时，使所述处理器执行根据本发明的上述方法的各个步骤。
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (11)

1.一种图像匹配方法，包括：
获取第一成像设备和第二成像设备对投射在相同拍摄空间内的至少两种编码结构光进行拍摄分别得到的至少两组图像，所述第一成像设备和所述第二成像设备之间具有预定的相对位置关系，各组图像中由所述第一成像设备拍摄的图像为第一图像，由所述第二成像设备拍摄的图像为第二图像；
对于各组图像，分别以相同的匹配窗口大小求取同组的所述第一图像和所述第二图像间各窗口匹配的置信度；
基于每组图像中所述第一图像和所述第二图像间各窗口匹配的置信度，确定每组图像中所述第一图像和所述第二图像间彼此匹配的窗口。
2.如权利要求1所述的方法，其中，所述至少两组图像是以所述第一成像设备和所述第二成像设备各自的帧频连续拍摄的图像。
3.如权利要求2所述的方法，其中，所述第一成像设备和所述第二成像设备具有相同的帧频，并且每组图像中的第一图像和第二图像是所述第一成像设备和所述第二成像设备同时拍摄的。
4.如权利要求1所述的方法，其中，所述至少两种编码结构光是如下的至少一种：
编码相同但投射的空间位置或角度不同的编码结构光；或者
编码不同的编码结构光。
5.如权利要求1所述的方法，其中，基于每组图像中所述第一图像和所述第二图像间各窗口匹配的置信度，确定每组图像中所述第一图像和所述第二图像间彼此匹配的窗口包括：
求取相同位置的窗口在各组图像中的置信度之和；
将置信度之和最高的窗口确定为彼此匹配的窗口。
6.一种深度数据测量方法，包括：
向相同的拍摄空间投射至少两种编码结构光；
使用第一成像设备和第二成像设备对投射在相同拍摄空间内的至少两种编码结构光进行拍摄，分别得到各自包括第一图像和第二图像的至少两组图像，所述第一成像设备和所述第二成像设备之间具有预定的相对位置关系；
通过根据权利要求1-5中任一项所述的方法，确定每组图像中所述第一图像和所述第二图像间彼此匹配的窗口；
根据彼此匹配的窗口中第一图像像素和第二图像像素之间的位置差异，以及所述预定的相对位置关系，确定所述第一图像像素的深度数据。
7.一种深度数据测量方法，包括：
以预定的工作周期向相同的拍摄空间重复投射至少两种编码结构光；
使用第一成像设备和第二成像设备对每个工作周期内投射在相同拍摄空间内的至少两种编码结构光中的每一种进行拍摄，分别得到对应于相应工作周期的各自包括第一图像和第二图像的至少两组图像，所述第一成像设备和所述第二成像设备之间具有预定的相对位置关系；
通过根据权利要求1-5中任一项所述的方法，确定相应工作周期内的每组图像中所述第一图像和所述第二图像间彼此匹配的窗口；
根据相应工作周期内彼此匹配的窗口中第一图像像素和第二图像像素之间的位置差异，以及所述预定的相对位置关系，确定相应工作周期内所述第一图像像素的深度数据。
8.一种深度数据测量系统，包括：
激光投射装置，用于向相同的拍摄空间投射至少两种编码结构光；
第一成像设备和第二成像设备，用于对投射在相同拍摄空间内的至少两种编码结构光进行拍摄，分别得到各自包括第一图像和第二图像的至少两组图像，所述第一成像设备和所述第二成像设备之间具有预定的相对位置关系；
存储器，存储各自包括所述第一图像和所述第二图像的每组图像；
处理器，获取每组图像中的所述第一图像和所述第二图像，对于各组图像，分别以相同的匹配窗口大小求取同组的所述第一图像和所述第二图像间各窗口匹配的置信度，基于每组图像中所述第一图像和所述第二图像间各窗口匹配的置信度，确定每组图像中所述第一图像和所述第二图像间彼此匹配的窗口，并且根据彼此匹配的窗口中第一图像像素和第二图像像素之间的位置差异，以及所述预定的相对位置关系，确定所述第一图像像素的深度数据。
9.根据权利要求8所述的深度数据测量系统，其中，所述深度数据测量系统以预定的工作周期重复持续确定第一图像像素的深度数据。
10.根据权利要求8所述的深度数据测量系统，其中，
所述编码结构光为红外光；
所述第一成像设备和第二成像设备为红外成像设备。
11.根据权利要求8所述的深度数据测量系统，其中，所述激光投射装置按照如下至少一种方式投射所述至少两种编码结构光：
使用相同的激光器以相同或不同的角度投射；
使用不同的激光器从不同的位置发出的；
使用不同的编码结构光发生装置；
或是上述的任意组合。
CN201810163967.XA 2018-02-27 2018-02-27 图像匹配方法及深度数据测量方法和系统 Pending CN108428244A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810163967.XA CN108428244A (zh) 2018-02-27 2018-02-27 图像匹配方法及深度数据测量方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810163967.XA CN108428244A (zh) 2018-02-27 2018-02-27 图像匹配方法及深度数据测量方法和系统

Publications (1)

Publication Number Publication Date
CN108428244A true CN108428244A (zh) 2018-08-21

Family

ID=63157341

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810163967.XA Pending CN108428244A (zh) 2018-02-27 2018-02-27 图像匹配方法及深度数据测量方法和系统

Country Status (1)

Country Link
CN (1) CN108428244A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109299662A (zh) * 2018-08-24 2019-02-01 上海图漾信息科技有限公司 深度数据计算设备与方法及人脸识别设备
CN111829449A (zh) * 2019-04-23 2020-10-27 上海图漾信息科技有限公司 深度数据测量头、测量装置和测量方法
US11885613B2 (en) 2019-03-15 2024-01-30 Shanghai Percipio Technology Limited Depth data measuring head, measurement device and measuring method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105004282A (zh) * 2015-06-19 2015-10-28 北京唯创视界科技有限公司 深度数据检测装置
CN105354819A (zh) * 2015-09-29 2016-02-24 上海图漾信息科技有限公司 深度数据测量系统、深度数据确定方法和装置
CN105357511A (zh) * 2015-12-08 2016-02-24 上海图漾信息科技有限公司 深度数据检测系统
CN105427326A (zh) * 2015-12-08 2016-03-23 上海图漾信息科技有限公司 图像匹配方法和装置以及深度数据测量方法和系统
CN107369156A (zh) * 2017-08-21 2017-11-21 上海图漾信息科技有限公司 深度数据检测系统及其红外编码投影装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105004282A (zh) * 2015-06-19 2015-10-28 北京唯创视界科技有限公司 深度数据检测装置
CN105354819A (zh) * 2015-09-29 2016-02-24 上海图漾信息科技有限公司 深度数据测量系统、深度数据确定方法和装置
CN105357511A (zh) * 2015-12-08 2016-02-24 上海图漾信息科技有限公司 深度数据检测系统
CN105427326A (zh) * 2015-12-08 2016-03-23 上海图漾信息科技有限公司 图像匹配方法和装置以及深度数据测量方法和系统
CN107369156A (zh) * 2017-08-21 2017-11-21 上海图漾信息科技有限公司 深度数据检测系统及其红外编码投影装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHOI S ET AL.: "Hybrid approach for accurate depth acquisition with structured light and stereo camera", 《2012 IEEE INTERNATIONAL SYMPOSIUM ON BROADBAND MULTIMEDIA SYSTEMS AND BROADCASTING (BMSB)》 *
吴鹏 等: "一种基于置信度的自适应窗权局部立体匹配算法", 《工业和信息化教育》 *
杨晓敏 等: "图像特征点提取及匹配技术", 《光学精密工程》 *
陈彦军 等: "结构光编码方法综述", 《小型微型计算机系统》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109299662A (zh) * 2018-08-24 2019-02-01 上海图漾信息科技有限公司 深度数据计算设备与方法及人脸识别设备
US11885613B2 (en) 2019-03-15 2024-01-30 Shanghai Percipio Technology Limited Depth data measuring head, measurement device and measuring method
CN111829449A (zh) * 2019-04-23 2020-10-27 上海图漾信息科技有限公司 深度数据测量头、测量装置和测量方法
CN111829449B (zh) * 2019-04-23 2022-04-12 上海图漾信息科技有限公司 深度数据测量头、测量装置和测量方法

Similar Documents

Publication Publication Date Title
US10902668B2 (en) 3D geometric modeling and 3D video content creation
US9501833B2 (en) Method and system for providing three-dimensional and range inter-planar estimation
EP3392831B1 (en) Three-dimensional sensor system and three-dimensional data acquisition method
JP4290733B2 (ja) ３次元形状計測方法及びその装置
US10152800B2 (en) Stereoscopic vision three dimensional measurement method and system for calculating laser speckle as texture
US8836756B2 (en) Apparatus and method for acquiring 3D depth information
CN106949845A (zh) 基于双目立体视觉的二维激光振镜扫描系统及标定方法
US20180306577A1 (en) System and Methods for Shape Measurement Using Dual Frequency Fringe Pattern
US20090097039A1 (en) 3-Dimensional Shape Measuring Method and Device Thereof
CN107860337B (zh) 基于阵列相机的结构光三维重建方法与装置
CN105303572B (zh) 基于主被动结合的深度信息获取方法
CN108428244A (zh) 图像匹配方法及深度数据测量方法和系统
CN105427326B (zh) 图像匹配方法和装置以及深度数据测量方法和系统
JP2011242183A (ja) 画像処理装置、画像処理方法およびプログラム
CN109903377B (zh) 一种无需相位展开的三维人脸建模方法及系统
CN108362228A (zh) 一种基于双光机的光刀光栅混合式三维测量装置及测量方法
CN109299662A (zh) 深度数据计算设备与方法及人脸识别设备
CN105306922A (zh) 一种深度相机参考图的获取方法和装置
CN105069789A (zh) 基于编码网格模板的结构光动态场景深度获取方法
JP2005509879A (ja) 三次元計測における対応ポイントを決定する方法
CN103942802A (zh) 基于随机模板的结构光动态场景深度获取方法
RU2573767C1 (ru) Устройство трехмерного сканирования сцены с неламбертовыми эффектами освещения
CN113160416B (zh) 一种用于煤流检测的散斑成像装置及方法
JP5307549B2 (ja) ３次元形状計測方法およびその装置
CN114373007A (zh) 深度数据测量设备、方法及图像匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180821