CN109887022A - 一种双目深度相机的特征点匹配方法 - Google Patents

Abstract

本发明涉及一种双目深度相机的特征点匹配方法，该方法包括：带有特定斑纹补光的双目相机，通过特定斑纹补光在目标物体上建立基本特征点；从双目相机的两个摄像头上获取的两幅图像中，对左摄像头成像的左图中任意一个指定特征点，在右摄像头成像的右图中，只要找到一个特征点就可以快速检索和定位到指定特征的位置，从而完成左图和右图的特征点匹配。本发明通过特定斑纹对特征点进行快速定位，减少特征点的搜索范围，减少错误的特征匹配；还通过块匹配获得更精细和更密集的匹配点，并且在特征匹配过程中减少了搜索范围，减少了搜索计算时间。

Description

一种双目深度相机的特征点匹配方法

技术领域

本发明涉及计算机视觉领域，特别涉及一种双目深度相机的特征点匹配方法。

背景技术

深度相机是三维重建的基础，双目深度相机因为其获取的信息量大，稳定性好、结构简单而受到业界的追捧。但双目相机的特征点匹配精度与匹配速度一直是困扰双目深度相机测量精度与响应时间的主要因素。

传统的双目相机在匹配时，对于纹理不明显的目标、重复纹理的目标、非漫反射目标等不容易找到特征点，或在左右两张图中找到的特征点的实际误差很大，导致深度计算偏差以及特征点稀疏；后来有一部分双目相机设备开始采用散斑光斑补光或者规则光斑补光方式，部分改善了特征点匹配效果，但在特征点搜索以及特征点无匹配方面依然存在较大问题；再后来有一些双目设备采用了双补光光源，利用两个补光光源的图案叠加减少特征点误匹配，这种模式降低了特征点误匹配的概率，但因为增加了一个补光光源导致设备成本上升，适用性并不太好。

如何在不增加成本的基础上，准确、快速地找到特征匹配点，以提升深度相机的精度、有效特征点的密集度、以及输出响应速度，成为本领域需要解决的问题。

发明内容

本发明的目的在于，针对现有技术双目相机在进行匹配时存在的上述问题。

为实现上述目的，本发明提供了一种双目深度相机的特征点匹配方法，该方法包括以下步骤：

由双目相机将特定斑纹补光照射到目标物体上形成基本特征点；

从双目相机的两个摄像头上获取的两幅图像中，对左摄像头成像的左图中任意一个指定特征点，在右摄像头成像的右图中，只要找到一个特征点就可以快速检索和定位到指定特征的位置，从而完成左图和右图的特征点匹配。

优选地，本发明还包括以下步骤：

在任意两个相邻的基本特征点之间，通过两幅图之间的块匹配，可找到更精细和更密集的能匹配的特征点，该匹配可以将特征点定位到像素级；

在已经匹配好的两个块之间或者两个像素之间，通过插值方式将能匹配的特征点定位到亚像素级。

优选地，特定斑纹光源的波长和光强度的组合处于双目相机可以捕捉到的范围内；特定斑纹图案轮廓为长方形，图案分为两类，即A类和B类，其长方形的长边分别与双目相机的基线垂直和平行，两类图案各自根据图案轮廓内部的亮块形状分为多种图案，并各自进行编码；

由A类和B类图案组成斑纹矩阵，斑纹矩阵按行分别由A类和B类交替组成，其中A类图案所在行的图案按照编码顺序排列；B类图案所在行由相同的B类图案组成，不同的B类图案所在行的B类图案不一样，并且隔A类图案所在行顺序排列，每一个A类图案的编码和它周围的一个B类图案的编码形成了这两个图案在整个斑纹矩阵中的坐标。

优选地，A类斑纹由4行*3列一共12个方块组成，其中所有A类斑纹的左上方块和右下方块均为亮点，作为A类斑纹的标记；根据剩余10个方块的不同亮或暗顺序编码为A0，A2，……，A1023；B类斑纹由3行*4列一共12个方块组成，其中所有B类斑纹的左上方块和右下方块均为亮点，作为B类斑纹的标记；根据剩余10个方块的不同亮或暗顺序编码为B0，B2，……，B1023。

优选地，斑纹快速寻找特征点步骤包括：在双目相机的左摄像头图像P_L的某一个特征点位于A_x1，这个特征点上方或下方的特征点为B_y1时，可以在双目相机的右摄像头图像P_R上，根据A和B的编码索引找到对应的A_x1和B_y1，从而实现同一特征点在P_L和P_R上的匹配；该特征点可以实现该斑纹特征点的12个方块完全匹配。

优选地，对于连续曲面目标，在P_L上成像的任意两个相邻基本特征点BP_AL和BP_BL之间的特征点CP_L，可在P_R上对应的基本特征点成像BP_AR和BP_BR之间以及附近按照极限约束的原理搜索到，但不需要按照极线约束原理对整个极线进行无穷远搜索；

搜索过程中，在P_L上的BP_AL和BP_BL之间选定大小为3*3像素的特征点CP_L，然后在P_R上的BP_AR和BP_BR之间搜索CP_L对应的特征点CP_R，匹配方式可通过计算CP_L和CP_R之间的L2范数，获得最小值时即为匹配成功；

完成匹配后，可以将CP_L沿BP_AL和BP_BL之间连线移动一个像素，进行下一次特征点匹配，直至全像素匹配。

本发明通过特定斑纹对特征点进行快速定位，减少特征点的搜索范围，减少错误的特征匹配；还通过块匹配获得更精细和更密集的匹配点，并且在特征匹配过程中减少了搜索范围，减少了搜索计算时间。

附图说明

图1：为本发明实施例提供的一种双目深度相机的特征点匹配方法流程示意图；

图2：为A类图案斑纹(图示中白色部分代表光斑中光线被遮挡，也就是暗点；黑色部分代表光线未被遮挡，也就是亮点；从第一行第二列开始，到倒数第一行倒数第二列为止，按白点为0黑点为1的二进制编码方式，对所有图案倒叙编码；虚线部分为光斑图案轮廓)；

图3：为B类图案斑纹(图示中白色部分代表光斑中光线被遮挡，也就是暗点；黑色部分代表光线未被遮挡，也就是亮点；从第一行第二列开始，到倒数第一行倒数第二列为止，按白点为0黑点为1的二进制编码方式，对所有图案倒叙编码；虚线部分为光斑图案轮廓)；

图4：斑纹矩阵示例(奇数行横排图案分别为A0、A1、……、A9，可继续延伸至A1023，偶数行横排分别全部为B0、B1、B2、……,可一直延伸至2*1023行，最大可组成一个1024*2048个的大矩阵，通过一个A类斑纹和与之相邻的B类斑纹，可唯一确定这两个斑纹在这个斑纹矩阵中的坐标。)；

图5：斑纹A2、B0组合中的A2在斑纹A8、B2组合中的A8的相对位置示意图；

图6：连续曲面在双目相机成像时，两个基本特征点之间的特征点的搜索范围示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的一种双目深度相机的特征点匹配方法，在向目标物体投射特定斑纹具有特殊的纹理结构，斑纹的排列也具有特定的规则，让系统可以快速和准确地在双目相机的左右图片上找到能够匹配的基本特征点；通过缩小搜索范围的方式，可以减少相邻基本特征点之间的特征点的匹配速度和精度，从而形成更密集和更准确的可匹配的特征点。完成匹配的特征点可以通过三角定位的方式计算出特征点所在的坐标，如果特征点的准确度和密度提升，双目深度相机输出的点云也就会更加准确和稠密。

图1为本发明实施例提供的一种双目深度相机的特征点匹配方法流程示意图。如图1所示，双目深度相机的特征匹配方法包括以下步骤：

带有特定斑纹补光的双目相机将特定斑纹补光照射到目标物体上形成基本特征点(Base Point，简称BP)；特定斑纹分为两类，为方便表述，将它们命名为A类斑纹和B类斑纹；每一类斑纹由一系列不重复的斑纹组成，这些重复的斑纹根据斑纹图案按照一定的规则顺序编码；斑纹的轮廓为长方形，斑纹的长方形轮廓由多个小的方块组成，方块分为遮挡光源(在实际使用中这部分未补光到目标物体上，在示例图中展示位白色)和未遮挡光源(在实际使用中这部分有补光照射到目标物体上，在示例图中展示为黑色)。

为区分A类斑纹和B类斑纹，设定A类斑纹中的小方块为4行*3列，设定B类斑纹中的小方块为3行*4列，其中左上角和右下角斑纹在图示中展示为黑色，作为轮廓大小的标记。

根据轮廓中图案的不同进行编码，从第一行第二列开始，从左到右逐个方块，到达最右侧时转到下一行第一个，继续从左到右逐个方块，直到倒数第一行倒数第二列；按白色方块为0黑色方块为1；按一行第二列为最低位，倒数第一行倒数第二列为最高位，对所有图案进行二进制顺序编码。

A类斑纹按照图案分别编号为A0、A1、A2、……、A1023，一共有1024种斑纹，如图2所示。

B类斑纹按照图案分别编号为B0、B1、B2、……、B1023，一共有1024种斑纹，如图3所示。

根据轮廓可读出斑纹类型，根据斑纹的图案可以直接读出斑纹的编号。

A类斑纹和B类斑纹组成补光的斑纹矩阵，斑纹矩阵中斑纹的规则是：

斑纹矩阵的奇数行里的斑纹排列为A0、A1、A2、……，所有奇数行的斑纹相同，最多可到A1023；

斑纹矩阵的偶数行里的斑纹为，第2行的斑纹全部为B0，第4行的斑纹全部为B1，第6行的斑纹全部为B2，第8行的斑纹全部为B3，依次类推，最多到第2048行的斑纹全部为B1023，如图4所示。

根据上述规则，任何一个由斑纹形成的特征点都可以根据与它邻近的上一行或下一行的特征点对它做准确定位，比如A2和与下一行的B0可以直接定位到这两个特征点在斑纹矩阵中的位置：这个A2在斑纹矩阵的第三列第1行，这个B0在斑纹矩阵的第三列第2行。

同样根据上述规则，也可以快速地从另一个特征点的位置找到想要的特征点的位置。比如A2、B0这两个相邻特征点中的A2特征点在A8、B2中的A8特征点的左侧第(8-2)列，上方第(2-0)*2行的位置，如图5所示。

根据上述规则，可以计算出任意两个斑纹的在斑纹矩阵中的相对位置，同样，当这些斑纹补光照射到目标物体上时，也可以通过计算出一个特征点和另一个特征点的相对位置。根据上述规则，可以根据已知的特征点位置快速检索和定位到指定特征点的位置。

进一步地，在双目相机形成的图像中，对左摄像头成像的左图中任意一个指定的特征点，在右摄像头成像的右图中，只要找到一个特征点就可以快速检索和定位到指定特征点的位置。从而完成左图和有图的特征点匹配。

作为本发明实施你还的一种改进，对于被双目相机拍摄的连续曲面目标，在两个基本特征点之间可以进一步进行更精细和更密集的特征点匹配。匹配方法如下：

在摄像头的成像中选取两个基本特征点BP_AL和BP_BL之间的某个特征点CP_L，如图6所示。按照3*3的像素块形成特征块，在右摄像头的成像中寻找与之匹配的特征块CP_R。对于连续曲面目标，右图中的特征点CP_R只需要在BP_AR和BP_BR之间按照极线约束的原理进行搜索和块匹配，而不需要进行在极线方向做线性全局搜索与块匹配。匹配方式可通过计算CP_L和CP_R之间的L2范数，获得最小值时即为匹配成功。

完成匹配后，可以将CP_L沿BP_AL和BP_BL之间连线移动一个像素，进行下一次特征点匹配，直至在该连线上实现全像素匹配。

任意两个已经匹配好的特征点之间均可通过这种方式插入新的特征点，直到全局的全像素匹配。完成匹配后，可以将CP_L沿BP_AL和BP_BL之间连线移动一个像素，进行下一次特征点匹配，直至在该连线上实现全像素匹配。

任意两个已经匹配好的特征点之间均可通过这种方式插入新的特征点，直到全局的全像素匹配。

本发明实施例通过特定斑纹对特征点进行快速定位，减少特征点的搜索范围，减少错误的特征匹配；还通过块匹配获得更精细和更密集的匹配点，并且在特征匹配过程中减少了搜索范围，减少了搜索计算时间。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种双目深度相机的特征点匹配方法，其特征在于，包括以下步骤：

由双目相机将特定斑纹补光照射到目标物体上形成基本特征点；

从双目相机的两个摄像头上获取的两幅图像中，对左摄像头成像的左图中任意一个指定特征点，在右摄像头成像的右图中，只要找到一个特征点就可以快速检索和定位到指定特征的位置，从而完成左图和右图的特征点匹配。

2.根据权利要求1所述的特定斑纹，其特征在于，还包括以下步骤：

在任意两个相邻的基本特征点之间，通过两幅图之间的块匹配，可找到更精细和更密集的能匹配的特征点，该匹配可以将特征点定位到像素级；

在已经匹配好的两个块之间或者两个像素之间，通过插值方式将能匹配的特征点定位到亚像素级。

3.根据权利要求1或2所述的方法，其特征在于：特定斑纹光源的波长和光强度的组合处于双目相机可以捕捉到的范围内；特定斑纹图案轮廓为长方形，图案分为两类，即A类和B类，其长方形的长边分别与双目相机的基线垂直和平行，两类图案各自根据图案轮廓内部的亮块形状分为多种图案，并各自进行编码；

由A类和B类图案组成斑纹矩阵，斑纹矩阵按行分别由A类和B类交替组成，其中A类图案所在行的图案按照编码顺序排列；B类图案所在行由相同的B类图案组成，不同的B类图案所在行的B类图案不一样，并且隔A类图案所在行顺序排列，每一个A类图案的编码和它周围的一个B类图案的编码形成了这两个图案在整个斑纹矩阵中的坐标。

4.根据权利要求1或2所述的方法，其特征在于，

A类斑纹由4行*3列一共12个方块组成，其中所有A类斑纹的左上方块和右下方块均为亮点，作为A类斑纹的标记；根据剩余10个方块的不同亮或暗顺序编码为A0，A2，……，A1023；

B类斑纹由3行*4列一共12个方块组成，其中所有B类斑纹的左上方块和右下方块均为亮点，作为B类斑纹的标记；根据剩余10个方块的不同亮或暗顺序编码为B0，B2，……，B1023。

5.根据权利要求2所述的方法，其特征在于，斑纹快速寻找特征点步骤包括：

在双目相机的左摄像头图像P_L的某一个特征点位于A_x1，这个特征点上方或下方的特征点为B_y1时，可以在双目相机的右摄像头图像P_R上，根据A和B的编码索引找到对应的A_x1和B_y1，从而实现同一特征点在P_L和P_R上的匹配；该特征点可以实现该斑纹特征点的12个方块完全匹配。

6.根据权利要求2所述的方法，其特征在于，

对于连续曲面目标，在P_L上成像的任意两个相邻基本特征点BP_AL和BP_BL之间的特征点CP_L，可在P_R上对应的基本特征点成像BP_AR和BP_BR之间以及附近按照极限约束的原理搜索到，但不需要按照极线约束原理对整个极线进行无穷远搜索；

搜索过程中，在P_L上的BP_AL和BP_BL之间选定大小为3*3像素的特征点CP_L，然后在P_R上的BP_AR和BP_BR之间搜索CP_L对应的特征点CP_R，匹配方式可通过计算CP_L和CP_R之间的L2范数，获得最小值时即为匹配成功；

完成匹配后，可以将CP_L沿BP_AL和BP_BL之间连线移动一个像素，进行下一次特征点匹配，直至全像素匹配。