CN116320357A

CN116320357A - 一种3d结构光相机系统、方法、电子设备和可读存储介质

Info

Publication number: CN116320357A
Application number: CN202310553901.2A
Authority: CN
Inventors: 靳展; 林欢; 何兵; 安汝峤; 任鹏; 孙泽梁; 张峰; 陈静
Original assignee: Zhejiang Visual Intelligence Innovation Center Co ltd
Current assignee: Zhejiang Visual Intelligence Innovation Center Co ltd
Priority date: 2023-05-17
Filing date: 2023-05-17
Publication date: 2023-06-23

Abstract

本申请涉及图像识别领域，公开了一种3D结构光相机系统、方法、电子设备和可读存储介质，包括：光机、光学相机和处理模块；处理模块分别与光机以及光学相机相连接；光机，用于投影结构光至待识别目标；光学相机，用于采集被投影结构光的待识别目标的图像，得到灰度图像和多个条纹图像，发送至处理模块；处理模块，用于根据2D预设模型识别灰度图像中的待识别目标的位置信息；根据位置信息和多个条纹图像，确定待识别目标的点云数据。通过预设模型从图像中识别待识别目标的位置信息，从而仅恢复待识别目标的点云数据，能够大量减少恢复点云过程中的计算量，提高效率，提高点云匹配的效率和成功率，避免非待识别目标和背景的点云数据干扰后续任务。

Description

一种3D结构光相机系统、方法、电子设备和可读存储介质

技术领域

本申请涉及图像识别领域，尤其涉及一种3D结构光相机系统、方法、电子设备和可读存储介质。

背景技术

随着各种光学传感器飞速发展，二维扫描测量在某些场景的局限性使得三维扫描测量的需求越来越大且应用越来越广泛。而3D结构光测量以其高精度、高密度等特点成为三维测量系统中的杰出代表。与线激光扫描测量设备相比，3D结构光具有对云台的依赖更少、成像速度快等特性。3D结构光相机一般采用了若干个工业可见光相机（光学相机）+投影仪（光机）的结构。它的系统测量原理是先采用投影仪投射已设计的光栅编码图案到测量对象表面，然后被相机同步采集，对于采集到的光栅图像（条纹图像）组做相位解包算法，利用相位信息对完成像素同名点匹配，最后利用三角重构方法完成对测量物体的三维点云重建。

目前市场上的3D结构光相机内部往往搭载了处理单元（小型工控机或者FPGA）,该处理单元可以在内部完成三维点云重建而直接将最终点云结果输出给上位机，类似常见的TOF相机或者闪斑结构光相机。这种3D结构光相机对用户来说使用方便，用户可以直接从中获取重建的三维点云，而不需要考虑其他的数据处理。3D结构光相机因其可直接生成被摄物体的3D信息，所以被广泛用于工业和物流行业中的无序抓取中。无序抓取需要利用3D结构光相机所精确识别到的场景中无序堆放的一个或多个目标的3D姿态，然后引导机械臂完成目标的有序归置。准确率和效率是无序抓取性能的两个重要评价。但是现有的3D结构光相机在恢复目标区域的三维点云时，不仅效率低，其恢复的点云信息会对后续的模型识别产生干扰，从而降低点云匹配的效率。

综上所述，需要提供一种能够高效恢复三维点云且能够提高点云匹配的效率的3D结构光相机系统、方法、电子设备和可读存储介质。

发明内容

为解决以上问题，本申请提出了一种3D结构光相机系统、方法、电子设备和可读存储介质。

一方面，本申请提出一种3D结构光相机系统，包括：光机、光学相机和处理模块；所述处理模块分别与所述光机以及所述光学相机相连接；

所述光机，用于投影结构光至待识别目标；

所述光学相机，用于采集被投影结构光的待识别目标的图像，得到灰度图像和多个条纹图像，发送至所述处理模块；

所述处理模块，用于根据预设模型识别所述灰度图像中的待识别目标的位置信息，所述预设模型为2D预设模型；根据所述位置信息和多个所述条纹图像，确定所述待识别目标的点云数据；对所述待识别目标的点云数据进行匹配，得到最终匹配结果。

优选地，所述处理模块，包括：

目标识别单元，用于将接收到的所述灰度图像输入至所述预设模型，确定所述灰度图像中的一个或多个所述待识别目标的位置信息；根据所述位置信息，生成所述待识别目标的蒙板图像，所述蒙板图像用于指示所述待识别目标所在的待识别区域。

优选地，所述处理模块，还包括：

相位解析单元，用于根据所述蒙板图像所指示的所述待识别区域和多个所述条纹图像，确定所述待识别区域的绝对相位数据；

点云重建单元，用于根据所述绝对相位数据，对所述待识别区域进行同名像素匹配，确定所述待识别目标的同名匹配像素；确定所述同名匹配像素的三维坐标；根据所述三维坐标重建所述待识别目标，确定所述待识别目标的点云数据。

优选地，所述处理模块，还包括：

点云匹配单元，用于将所述待识别目标的点云数据作为待识别点云，并获取待识别目标的参考点云；将所述待识别点云和所述参考点云划分为多个局部区域；将所述待识别点云的每个所述局部区域的中心点作为第一关键点，得到多个第一关键点；将所述参考点云的每个所述局部区域的中心点作为第二关键点，得到多个第二关键点；确定每个所述第一关键点的特征描述子，得到多个第一特征描述子；确定每个所述第二关键点的特征描述子，得到多个第二特征描述子；将多个所述第一关键点和多个所述第一特征描述子做为待识别集合，将多个所述第二关键点和多个所述第二特征描述子做为参考集合；将所述参考集合中的每个所述第二特征描述子与所述待识别集合中的所有所述第一特征描述子进行匹配，获得所述参考集合中的每个第二关键点的匹配结果；对所有所述匹配结果进行筛选，得到所述待识别点云和所述参考点云的最终匹配结果。

优选地，所述处理模块，还包括：

驱动单元，用于驱动与所述处理模块相连接的所述光机投射结构光；驱动与所述处理模块相连接的所述光学相机采集所述待识别目标的图像。

第二方面，本申请提出一种用于3D结构光相机系统的点云数据获取方法，包括：

投影结构光至待识别目标；

采集被投影结构光的待识别目标的图像，得到灰度图像和多个条纹图像；

根据预设模型识别所述灰度图像中的待识别目标的位置信息，所述预设模型为2D预设模型；

根据所述位置信息和多个所述条纹图像，确定所述待识别目标的点云数据；

对所述待识别目标的点云数据进行匹配，得到最终匹配结果。

优选地，根据预设模型识别所述灰度图像中的待识别目标的位置信息之前，还包括：

从上位机获取所述预设模型，存储所述预设模型。

优选地，所述根据预设模型识别所述灰度图像中的待识别目标的位置信息，包括：

将接收到的所述灰度图像输入至所述预设模型，确定所述灰度图像中的一个或多个所述待识别目标的位置信息；

根据所述位置信息，生成所述待识别目标的蒙板图像，所述蒙板图像用于指示所述待识别目标所在的待识别区域。

第三方面，本申请提出一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行以实现如上所述的方法。

第四方面，本申请提出一种计算机可读存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如上所述的方法。

本申请的优点在于：通过预设模型从图像中识别待识别目标的位置信息，从而仅恢复待识别目标的点云数据，能够大量减少恢复点云过程种的计算量，提高效率，并且能够避免非待识别目标和背景的点云数据对点云匹配的过程产生干扰，从而提高点云匹配的效率。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选事实方案的目的，而并不认为是对本申请的限制。而且在整个附图中，用同样的参考符号表示相同的部件。在附图中：

图1是本申请提供的一种3D结构光相机系统的示意图；

图2是本申请提供的一种3D结构光相机系统的处理模块的示意图；

图3是本申请提供的一种3D结构光相机系统的待识别目标的示意图；

图4是本申请提供的一种3D结构光相机系统的蒙板图像的待识别区域示意图；

图5是本申请提供的一种3D结构光相机系统的驱动单元的示意图；

图6是本申请提供的一种3D结构光相机系统的供电模块的示意图；

图7是本申请提供的一种3D结构光相机系统的通过左光学相机采集到的灰度图像和条纹组的示意图；

图8是本申请提供的一种3D结构光相机系统的通过右光学相机采集到的灰度图像和条纹组的示意图；

图9是传统的完整场景三维点云的重建效果的俯视图；

图10是传统的完整场景三维点云的重建效果的侧视图；

图11是本申请提供的一种3D结构光相机系统的待识别区域中待识别目标的三维点云重建效果的俯视图；

图12是本申请提供的一种3D结构光相机系统的待识别区域中待识别目标的三维点云重建效果的侧视图；

图13是本申请提供的一种用于3D结构光相机系统的点云数据获取方法的示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

根据本申请的实施方式，提出一种3D结构光相机系统，如图1所示，包括：光机101、光学相机102和处理模块103；处理模块103分别与光机101以及光学相机102相连接。

光机101，用于投影结构光至待识别目标。

光学相机102，用于采集被投影结构光的待识别目标的图像，得到灰度图像和多个条纹图像，发送至处理模块103。

光机101为一个或多个。光学相机102为一个或多个。

处理模块103，用于根据预设模型识别灰度图像中的待识别目标的位置信息，预设模型为2D预设模型；根据位置信息和多个条纹图像，确定待识别目标的点云数据；对待识别目标的点云数据进行匹配，得到最终匹配结果。

预设模型包括通过机器学习、深度学习等各种用于2D图像识别的模型。预设模型包括一个或多个待识别目标，每次可以根据需要更换预设模型。待识别目标可以是同种多个，也可以是多种多个，即可以有多种待识别目标，且其中每种待识别目标可以是一个也可以有多个。

如图2所示，处理模块103，包括：

目标识别单元301，用于将接收到的灰度图像输入至预设模型，确定灰度图像中的一个或多个待识别目标的位置信息；根据位置信息，生成待识别目标的蒙板图像，蒙板图像用于指示待识别目标所在的待识别区域。

如图2所示，处理模块103，还包括：

相位解析单元302，用于根据蒙板图像所指示的待识别区域和多个条纹图像，确定待识别区域的绝对相位数据；

点云重建单元303，用于根据绝对相位数据，对待识别区域进行同名像素匹配，确定待识别目标的同名匹配像素；确定同名匹配像素的三维坐标；根据三维坐标重建待识别目标，确定待识别目标的点云数据。点云数据是3D结构光相机系统中最主要的输出数据类型，该数据在2D图像的基础上增加了深度信息。

具体地，目标识别单元301在确定灰度图像中的一个或多个待识别目标的位置信息后，建立与灰度图像大小相同的蒙板图像，根据位置信息，在蒙板图像中确定与待识别目标对应的待识别区域和待识别目标以外的其他区域；分别调整待识别区域和其他区域的灰度值，将待识别区域的灰度值调整为255，其他区域的灰度值调整为0，这样，待识别区域在蒙板图像中为白色，其他区域在蒙板图像中为黑色，以此使待识别区域与其他区域通过灰度值差异在蒙板图像中产生明显差异，通过灰度分布的差异可以直观反应场景中待识别目标所在的待识别区域。

点云重建单元303还能够将点云数据发送至上位机。

如图2所示，处理模块103，还包括：点云匹配单元304，用于将待识别目标的点云数据作为待识别点云，并获取待识别目标的参考点云；将待识别点云和参考点云划分为多个局部区域；将待识别点云的每个局部区域的中心点作为第一关键点，得到多个第一关键点；将参考点云的每个局部区域的中心点作为第二关键点，得到多个第二关键点；确定每个第一关键点的特征描述子，得到多个第一特征描述子；确定每个第二关键点的特征描述子，得到多个第二特征描述子；将多个第一关键点和多个第一特征描述子做为待识别集合，将多个第二关键点和多个第二特征描述子做为参考集合；将参考集合中的每个第二特征描述子与待识别集合中的所有第一特征描述子进行匹配，获得参考集合中的每个第二关键点的匹配结果；对所有匹配结果进行筛选，得到待识别点云和参考点云的最终匹配结果。其中，使用随机抽样一致（Random Sample Consensus，RANSAC）算法，对所有匹配结果进行筛选，排除错误匹配的第一关键点和第二关键点。其中，参考点云可以通过现有软件生成。

确定每个第一关键点的特征描述子，得到多个第一特征描述子，包括：确定与每个第一关键点相邻的多个邻近点之间的法向量，得到多个法向量；根据多个法向量、多个第一关键点和与每个第一关键点相邻的多个邻近点，确定每个第一关键点的第一特征向量，得到多个第一特征向量；根据多个法向量、多个第一关键点和与每个第一关键点相邻的多个邻近点，确定所有邻近点的第二特征向量，得到多个第二特征向量；根据多个第一特征向量和多个第二特征向量，确定每个第一关键点的第三特征向量，将第三特征向量作为第一特征描述子，得到多个第一特征描述子。其中，第一特征向量和第二特征向量均为简化点特征直方图（Simplified Point Feature Histogram，SPFH）特征向量；第三特征向量为点快速特征直方图（Fast Point Feature Histograms，FPFH）特征向量。

确定每个第二关键点的特征描述子，得到多个第二特征描述子，包括：确定与每个第二关键点相邻的多个邻近点之间的法向量，得到多个法向量；根据多个法向量、多个第二关键点和与每个第二关键点相邻的多个邻近点，确定每个第二关键点的第四特征向量，得到多个第四特征向量；根据多个法向量、多个第二关键点和与每个第二键点相邻的多个邻近点，确定所有邻近点的第五特征向量，得到多个第五特征向量；根据多个第四特征向量和多个第五特征向量，确定每个第二关键点的第六特征向量，将第六特征向量作为第二特征描述子，得到多个第二特征描述子。其中，第四特征向量和第五特征向量均为SPFH特征向量；第六特征向量为FPFH特征向量。

将参考集合中的每个第二特征描述子与待识别集合中的所有第一描述子进行匹配，获得参考集合中的每个第二关键点的匹配结果，包括：计算参考集合中的一个第二特征描述子与待识别集合中的每一个第一特征描述子之间的相似度，得到多个相似度；将相似度最高的第二特征描述子对应的第二关键点与第一特征描述子对应的第一关键点进行匹配，得到此第二关键点的匹配结果；继续执行上述计算相似度和匹配的方法，直至完成参考集合中的每个第二关键点与待识别集合中的第一关键点的匹配，得到参考集合中的每个第二关键点的匹配结果。相似度的计算可以使用相关系数和/或距离计算方法，如欧式距离。通过完成参考点云和待识别点云的匹配，完成待识别目标的姿态识别。

点云匹配单元304还能够将最终匹配结果发送至上位机。

如图3所示，待识别目标为灰度图像中D1至D5的部件，图3中的部件E1、E2和E3为三个当前不需要被识别的部件，其中作为待识别目标的部件D2被当前不需要被识别的部件E1遮挡住了一小部分区域。在确定了它们的位置信息后，建立如图4所示的蒙板图像，并在图像中的对应位置和区域，调整灰度信息，使图4中的黑色区域所在位置与部件D1至D5对应，得到待识别区域（D1至D5）。

根据多个条纹图像确定待识别区域的绝对相位数据，优选地，使用绝对相位解析算法。确定同名匹配像素的三维坐标，优选地，使用三角测量法。

如图5所示，处理模块103，还包括：驱动单元305，用于驱动与处理模块相连接的光机投射结构光；驱动与处理模块相连接的光学相机采集待识别目标的图像。处理模块103，还用于通过上位机更新预设模型。处理模块103还包括图形处理器。

光机101，还用于更新结构光。根据需要，预先为光机101烧入结构光不同的结构光。

如图6所示，本申请的实施方式还包括：供电模块104，供电模块104与处理模块103相连接，为处理模块103供电。

下面，对本申请实施例进行进一步说明。

首先处理模块里中的驱动单元控制光机投影事先烧入的结构光，如设计好的光栅编码图案，包括条纹图案和纯白图案，至待识别目标（待测量对象）的表面。驱动单元再控制光学相机采集被投影结构光的待识别目标的图像，得到由多个条纹图像组成的条纹图像组，以及包括待识别目标的场景的灰度图像（纯灰度图像），其中，条纹图像组作为多个条纹图像。如图7所示为通过左光学相机（左相机）采集到的灰度图像和条纹组，如图8所示为通过右光学相机（右相机）采集到的灰度图像和条纹组，其中，条纹组包括多个条纹图像（光栅图像）。

处理模块里面的目标识别单元可以与上位机通信，接收上位机发送的用于模型识别的文件作为预设模型。目标识别单元通过预设模型，能够对待识别目标的2D图像进行识别，从而使本申请的系统能够根据该预设模型准确且高效地从灰度图像中识别出相应待识别目标。预设模型的制作可以通过现有的人工智能训练方式，依次需要完成：训练图像数据的采集、训练图像及其对应模型的标注，以及识别模型的训练等，将训练好的识别模型作为预设模型。目标识别单元使用已载入的预设模型从获取到的灰度图像中识别得到一个或多个待识别目标的位置信息。目标识别单元会建立一个与原始灰度图像大小一样的蒙板图像，根据待识别目标的位置信息，在蒙板图像中确定一个或多个待识别区域。将与待识别目标对应的待识别区域的灰度值赋值为255，其他区域的灰度值均赋值为0，这样使蒙板图像的灰度分布可直观反应场景中待识别目标所在区域（待识别区域）。

相位解析单元结合蒙板图像，只对得到的一个或多个灰度值为255的待识别区域进行相位解析，即使用每个条纹图像中与待识别区域对应的区域进行相位解析。通过绝对相位解析算法获得待识别区域的绝对相位数据，蒙板图像中的灰度值被赋值为0的其他区域不进行相位解析。

点云重建单元在已有相位解析结果（绝对相位数据）基础上完成同名像素匹配，确定待识别目标的多个同名匹配像素。之后，再利用获得的多个同名匹配像素，通过三角测量法获得每个同名匹配像素的三维坐标，完成场景中所有待识别目标的三维重建，得到与每个待识别目标对应的点云数据。将点云数据发送至上位机。整个三维重建过程只处理在相位解析单元中已解析出绝对相位信息的像素，自动忽略无绝对相位信息的像素。

本申请的实施方式能根据具体需要，完成光机投影和光学相机的图像采集，并根据处理模块中的预设模型完成待识别目标的识别，根据识别结果完成仅包含待识别目标对应的待识别区域的场景重建，最后将场景重建点云数据发送给上位机。

下面，以3频4相为例，对本申请获取绝对相位数据进行进一步说明。

传统的方法需要计算整体图像的绝对相位信息，其流程如下：

第一步，选择三个频率值，分别为λ1、λ2、λ3，使用四步相移算对上述三个频率制作相应的的正弦光栅组，获得一共12张光栅图像，其中每一个频率值分别生成4四幅光栅图像，四幅光栅图像的相位移分别为：0、1/2π、π和3/2π。这12张光栅图像和1张纯白图像作为用于投影的结构光。

第二步，光机将上述12张光栅图像（I1,I2,I3,...,I12）和一张纯白图像按顺序投射到待识别目标所在的待测场景中，投射过程中相机同步采集捕捉到相应13张图片。

第三步，对于获得的纯白图像（灰度图像）与12张光栅图像（I1,I2,I3,...,I12），从灰度图像中任意一个像素，分别取出此像素在对应的12张光栅图像中的像素灰度值，并使用多频外差算法计算出其绝对相位值。

其中计算任意像素（x,y）绝对相位值的方法如下所示：

首先，计算待计算像素（x,y）在每个频率下的包裹相位：

phi1=phase_correct(I1(x,y),I2(x,y),I3(x,y),I4(x,y),λ1)

phi2=phase_correct(I5(x,y),I6(x,y),I7(x,y),I8(x,y),λ2)

phi3=phase_correct(I9(x,y),I10(x,y),I11(x,y),I12(x,y),λ3)

其次，对不同频率的相位值进行外差运算：

delta1=phase_subtract(phi1,phi2)

delta2=phase_subtract(phi2,phi3)

最后，对相位差进行相位展开：

phi_abs=phase_unwrap(delta1,delta2)

上述phase_correct为相位校正的函数，phase_subtract为外差运算的函数，phase_unwrap为相位展开的函数，phi1为在频率值为λ1时的待计算像素的包相位，phi2为在频率值为λ2时的待计算像素的包相位，phi3为在频率值为λ3时的待计算像素的包相位，delta1为待计算像素的频率值为λ1和λ2的外差，delta2为待计算像素的频率值为λ2和λ3的外差，phi_abs为待计算像素的绝对相位数据。

本申请的方法只对待识别目标进行绝对相位数据计算的流程如下所示：

第一步，选择三个频率值分别为λ1、λ2、λ3，使用四步相移算对上述三个频率制作相应的的正弦光栅组，一共12张光栅图像，其中每一个频率值分别生成4四幅光栅图像，四幅光栅图像的相位移分别为：0、/2π、π和3/2π。这12张光栅图像和1张纯白图像作为用于投影的结构光。

第二步，处理模块控制光机将上述12张光栅图像（I1,I2,I3,...,I12）和一张纯白图像按顺序投射到待识别目标所在的待测场景中，投射过程中处理模块控制光学相机同步采集捕捉到相应13张图片。

第三步，对于采集到的纯白图像，目标识别单元使用预设模型对待识别目标进行识别，获取待识别目标的位置信息，根据位置信息，确定与待识别目标对应的一个或多个感兴趣区域（Region Of Interest，ROI）作为待识别区域。然后创建一个蒙板图像，在蒙板图像中，将与待识别目标对应的待识别区域的灰度值赋值为255，其他区域的灰度值都赋值为0。

第四步，遍历蒙板图像中像的素，如果灰度值为0则不做处理，对于灰度值为255的像素，分别取出其在对应12张光栅图像中的像素灰度值，并使用多频外差算法计算出其绝对相位数据。

点云重建的核心过程是其中的相位解析，绝对相位数据的解算决定了场景重建点云的质量，其中相位解析主要使用的是多频外差的技术，其原理：通过多个不同频率（周期）正弦光栅的相位做差，将小周期的相位主值转化为大周期的相位差，从而使得相位差信号覆盖整个视场，然后再根据相位差来得到整副图像的绝对相位分布。相位解析是整个场景点云重建算法中至关重要且耗时的一个环节，其解算的区域可理解为接下来要重建的场景区域，解算区域越大不仅其本身处理耗时越多，而且对后续的同名点匹配以及点云重建耗时也更多。传统结构光相机在重建场景三维点云往往是对整幅图像进行相位解析，然后再针对整幅图像进行后续的同名像素匹配以及点云重建。

通常情况下，针对左、右光学相机采集到的条纹组，处理模块会对场景中所有像素点都使用相位解包算法、并且利用相位信息完成场景中尽可能多的像素的同名点匹配，最后再利用三角重构方法完成对完整场景的三维点云重建。如图9所示为传统的完整场景三维点云重建效果的俯视图，如图10所示为传统的完整场景三维点云重建效果的侧视图。

使用本申请提出的通过2D预设模型对待识别目标进行检测的方式，能够对光学相机采集到的灰度图像进行物体识别，从而识别出与待识别目标相对应的一个或多个ROI区域，然后根据场景提取出的ROI区域自动生成一个蒙板图像，在蒙板图像的基础上只对条纹图像组中的ROI区域做相位解包计算，并且只对ROI区域使用相位信息完成像素的同名点匹配，最后利用三角重构方法完成对场景中ROI区域的三维点云重建。这样能够使重建得到的待识别点云仅包含待识别的区域。如图11所示，为本申请的待识别区域中待识别目标的三维点云重建效果的俯视图，如图12所示，为本申请的待识别区域中待识别目标的三维点云重建效果的侧视图。可以理解的是，图3、图4、图7、图8、图11和图12中的白色背景和黑色区域图以及黑色线条图均为示意图，不构成对本实施例的限定，只要背景色和待识别目标的显示色的色差较为明显即可。例如，与图3、图7和图8不同的是，在实际应用中，将纯白图像投影至待识别目标后获取的灰度图像中，待识别目标会显示为浅色，待识别目标之外的区域为深色；以及，在实际应用中，为了凸显待识别目标，可将背景设置成黑色或其他较深的颜色，而将待识别目标设置成白色或其他高亮显示的颜色，如与图4所示的待识别目标及待识别区域的颜色相反。

下面，对本申请的计算待识别点云的第一特征描述子进行进一步说明。

首先，将待识别点云划分为多个局部区域，将每个局部区域的中心点作为第一关键点P_key，得到多个第一关键点P_key。在每个第一关键点P_key的周边确定与此第一关键点P_key最近的K个邻近点P_i，即1个第一关键点P_key对应K个邻近点P_i。

其次，确定每个第一关键点P_key和与其对应的k个邻近点P_i之间的法向量，得到与每个第一关键点P_key对应的多个法向量。优选地，使用最小二乘法为K个邻近点拟合一个局部平面来计算第一关键点P_key的法向量。

对于每个第一关键点P_key，计算其与K个邻近点的SPFH特征向量，其中SPFH特征向量包括第一关键点P_key与K个邻近点之间的法向量，以及第一关键点P_key和与其相邻的K个邻近点之间的关系信息。具体地，对于每个邻近点P_i，分别计算其与第一关键点 P_key之间的距离、法向量之间的夹角以及其与第一关键点P_key的曲率差信息，然后将这些信息进行加权平均。将加权平均后得到的向量信息作为第一关键点P_key的SPFH特征向量，表示为

。按照上述方法，计算每个第一关键点P_key的SPFH特征向量，得到每个第一关键点P_key的SPFH特征向量。

之后，使用相同的方法，计算与每个第一关键点P_key对应的K个邻近点P_i（i= 1,2...K）的SPFH特征向量。对应每个第一关键点P_key，得到K个邻近点P_i的SPFH特征向量，表示为

，i= 1,2...K。

最后，计算每个第一关键点P_key的FPFH特征向量，将得到的FPFH特征向量作为关键点P_key的第一特征描述子。具体地，使用如下公式计算每个第一关键点P_key的FPFH特征向量：

其中，权值

表示邻近点P_i与第一关键点P_key的欧式距离值。

计算参考点云的第二特征描述子使用相同的方法。

由于参考点云的点数是固定的，而不同的3D相机由于使用不同重建算法，其重建得到的待识别点云的点数是不同的，而3D相机的识别算法的效率与待识别点云的点数量有很大关联，重建后得到的待识别目标点云数据的点云数量越大，则需要的计算量越大，因此也会消耗更多的时间。相比完整场景三维点云重建，使用本实施方式得到的待识别区域的三维点云数据由于使用蒙板图像排除了背景区域，因此自动滤除了场景中绝大部分无用的背景点，从而能够大大降低计算量并提高匹配的成功率。

相较于3D目标检测，本申请的实施方式使用基于2D图像的目标检测，能够减少待识别目标的检测的复杂度和耗时，提高待识别目标的检测效率。由于现有的3D结构光机系统会对包括待识别目标的整个场景的点云进行恢复，但是其中许多场景的点云对后续模型识别不仅无用，而且还会成为干扰。因此，本申请的实施方式只计算与待识别目标对应的点云数据，不计算待识别目标的背景的点云数据，只对待识别点云和参考点云进行匹配，不仅能够减少匹配时所需的计算量，提高匹配准确率和效率，还能够在后续的针对待识别目标的任务中，如无序抓取等，大大减小背景点云数据对抓取任务的影响。因此本申请的实施方式不仅避免了恢复这些无用的场景点云所需要耗费的时间，提高了3D相机的工作效率，还能够减少场景点云对后续任务的干扰，从而提高这类任务的准确度和效率。

第二方面，根据本申请的实施方式，还提出一种用于3D结构光相机系统的点云数据获取方法，如图13所示，包括：

S101，投影结构光至待识别目标；

S102，采集被投影结构光的待识别目标的图像，得到灰度图像和多个条纹图像；

S103，根据预设模型识别灰度图像中的待识别目标的位置信息，预设模型为2D预设模型；

S104，根据位置信息和多个条纹图像，确定待识别目标的点云数据；

S105，对待识别目标的点云数据进行匹配，得到最终匹配结果。

本申请实施方式的执行主体可以是3D结构光相机系统或3D结构光相机系统中的处理模块。

根据预设模型识别灰度图像中的待识别目标的位置信息之前，还包括：

从上位机获取预设模型，存储预设模型。

根据预设模型识别灰度图像中的待识别目标的位置信息，包括：

将接收到的灰度图像输入至预设模型，确定灰度图像中的一个或多个待识别目标的位置信息；

根据位置信息，生成待识别目标的蒙板图像，蒙板图像用于指示待识别目标所在的待识别区域。

第三方面，根据本申请的实施方式，还提出一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，处理器运行计算机程序时执行以实现如上所述的方法。

第四方面，根据本申请的实施方式，还提出一种计算机可读存储介质，其上存储有计算机可读指令，计算机可读指令可被处理器执行以实现如上所述的方法。

本申请的系统中，通过预设模型对待识别目标进行识别，并通过在蒙板图像中调整灰度的方式，识别待识别目标对应的待识别区域。由于现有的3D结构光相机在完成场景重建时一般会采集多张条纹图片；绝对相位数据是条纹图片集经相位解包算法计算而得，是场景重建所需的必要的中间数据，绝对相位数据也用于完成场景重建步骤中非常重要的同名点像素匹配；因此，相较于传统的整个场景的重建，本申请的实施方式只对待识别目标对应的待识别区域进行计算，能够大大减少相位解析所需的计算量，提高效率。并且，仅恢复待识别目标的点云数据，还能够大量减少恢复点云过程中的如同名像素匹配的计算量，进一步提高效率，并且避免非待识别目标和背景的点云数据对后续任务的干扰。通过排除无用的背景点，不仅能够降低计算量并提高点云匹配的效率，还能够提高点云匹配的成功率。通过预设模型，识别待识别目标，指导3D结构光机完成针对性的区域重建，自动忽略场景中不重要区域，不仅可以提高3D相机工作效率，还可以减少需要保存和传输到上位机的数据传输量，同时还能提高点云的3D模型匹配的效率，从而高效且准确地完成待识别目标的姿态识别。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种3D结构光相机系统，其特征在于，包括：光机、光学相机和处理模块；所述处理模块分别与所述光机以及所述光学相机相连接；

所述光机，用于投影结构光至待识别目标；

2.如权利要求1所述的相机系统，其特征在于，所述处理模块，包括：

3.如权利要求1所述的相机系统，其特征在于，所述处理模块，还包括：

相位解析单元，用于根据蒙板图像所指示的所述待识别区域和多个所述条纹图像，确定所述待识别区域的绝对相位数据；

4.如权利要求3所述的相机系统，其特征在于，所述处理模块，还包括：

5.如权利要求1所述的相机系统，其特征在于，所述处理模块，还包括：

6.一种用于3D结构光相机系统的点云数据获取方法，其特征在于，包括：

投影结构光至待识别目标；

7.如权利要求6所述的方法，其特征在于，根据预设模型识别所述灰度图像中的待识别目标的位置信息之前，还包括：

从上位机获取所述预设模型，存储所述预设模型。

8.如权利要求6所述的方法，其特征在于，所述根据预设模型识别所述灰度图像中的待识别目标的位置信息，包括：

9.一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行以实现如权利要求6-8任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如权利要求6-8任一项所述的方法。