CN103093191B - 一种三维点云数据结合数字影像数据的物体识别方法 - Google Patents

Abstract

本发明公开了一种三维点云数据结合数字影像数据的物体识别方法，包括以下步骤：先获取场景区域内的三维点云数据和数字影像数据；然后对获取的数据做配准处理：对配准处理后的三维点云数据进行预处理：对三维点云数据进行物体识别；将三维点云数据中的目标物体轮廓映射到数字影像中；对映射后的数字影像中的目标物体做标记处理；重复上述步骤对获取的后续帧的数据进行处理，达到追踪、标记目标物体运动的目的。使用三维点云数据配合数字影像进行物体识别能大大减少运算量，有效提高物体识别速度。

Description

一种三维点云数据结合数字影像数据的物体识别方法

技术领域

本发明涉及一种对置于平面上的物体进行识别、标记并追踪的方法，尤其涉及一种用三维点云数据与数字影像相结合进行物体识别的方法。

背景技术

目前,物体识别是计算机视觉领域里的重要组成部分，它的任务是识别出图像中的物体，并给出物体在图像所反映的场景中的位置。物体识别所使用的数据源通常是由相机、摄像头等装置所获取的二维数字图像，这种图像获取方法简单、快速，但是图像的质量与光照强度有很大关系，在光照不强或有障碍物遮挡时很难分辨图像中的物体。

在物体的识别过程中要利用有关物体的先验知识，它的基本思想是选取物体的某些特征作为基元，在确定基元之间的相互关系后，将物体表示成一个关系属性图，系统通过从图像中抽取出的物体的关系属性图与先验知识进行匹配以识别图像中包含的物体。这种物体识别方法适用于提取某一特定类别的物体，对于物体类别与形状等特征不确定的情况则不适用，并且在物体颜色与背景图像相似时，很难从背景图像中识别出目标物体。

近些年，出于工业和医疗等领域大量现实应用的需要，三维物体识别成为了一个很活跃的研究领域。一般来说，三维物体识别系统可以通过两个阶段的处理来完成三维物体的识别和定位，首先用传感器获取的场景输入数据来得到场景的表达；然后将它与数据库中存储的物体表达相匹配。这一领域的研究主要集中在传感器类型、三维物体表达方法和匹配策略等3个方面，其中使用传感器获得场景内物体的表达是后续操作的关键。

结构光是一组由投影仪和摄像头组成的系统结构。用投影仪投射特定的光信息到物体表面及背景后，由摄像头采集，根据物体造成的光信号的变化来计算物体的位置和深度等信息，进而复原整个三维空间。结构光测量是获得场景内物体三维表达的高效方式，最近几年，结构光测量技术由于其具有主动式、非接触的特性而被广泛应用，在逆向工程、质量检测、数字化建模、物体识别等领域具有无可比拟的优势。与传统测量方法相比，它具有无接触、检测速度快等优势，在工业、信息化服务业等领域获得了越来越广泛的运用。

发明内容

本发明的目的是提供一种用三维点云数据与数字影像相结合进行物体识别的方法，能够有效提高物体识别速度。

本发明采用下述技术方案：一种三维点云数据结合数字影像数据的物体识别方法，包括以下步骤：（1）、获取场景区域内的三维点云数据和数字影像数据；

（2）、对获取的三维点云数据和数字影像数据做配准处理：将三维点云数据与数字影像数据配准在同一空间位置上；

（3）、对配准处理后的三维点云数据进行预处理：剔除场景区域内的背景数据与噪声点；

（4）、对三维点云数据进行物体识别；

（5）、将三维点云数据中的目标物体轮廓映射到数字影像中，得到目标物体在数字影像中的位置及该目标物体所占用的像素点；

（6）、对映射后的数字影像中的目标物体做标记处理；

（7）、重复步骤（1）～（6），对获取的后续帧的三维点云数据和数字影像数据进行处理，达到追踪、标记目标物体运动的目的。

所述的步骤（1）中首先使用结构光投射器向场景区域内投射近红外光，对场景内空间进行标记，空间中的每一点都具有编码信息，代表不同的位置与距离；其次用带红外滤波器的CMOS影像传感器从场景区域内读取经过编码的光线，并进行解码，将点的状态信息转换为高度信息，生成场景区域内的三维点云数据；与此同时，彩色摄像头获取同一场景区域内的彩色数字图像，得到场景区域内的数字影像数据。

所述的结构光投射器、CMOS影像传感器与彩色摄像头三个设备依次紧密相邻排列，且三个设备的中心点在同一条轴线上，三个设备均架设在被测场景区域的正上方。

所述的步骤（3）中的预处理包括以下三个步骤：

（31）、过滤：去除无效点及明显错误的点，如高度值为零的点或为负值的点；

（32）、阈值处理：通过设定略高于目标物体的高度值对三维点云数据进行过滤操作，只保留目标物体所处高度范围内的三维点云数据；

（33）、背景剔除：将背景数据从整体点云数据中去除，其中背景数据是指点云数据中高度值最小的部分；经过预处理后的点云数据，是场景内与背景有一定高度差的物体数据，点云数据中的每个点都包含有位置与高度信息。

所述的步骤（4）中的物体识别具体步骤如下所述：

（41）、搜索三维点云数据找到包含有效高度值的点，将此点标记为物体i的点，其中i为正整数；

（42）、以该点为中心做八邻域搜索，依次检查各邻域点的高度值,将包含有效高度值的点标记为物体i的点；

（43）、依次以步骤（42）中检测出的包含有效高度值的点为中心执行步骤（42）的操作；若步骤（42）中各包含有效高度值的邻域点处理完毕，进入步骤（44）；

（44）、若步骤（43）中被标记的点周围存在包含有效高度值的点，返回（42）；若否则进入（45）；

（45）、搜索全部点云数据，若其中有未被标记的点，返回（41），此时i的值加1；若否进入（46）；

（46）、运用边缘搜索算法，提取已识别出的各个物体的轮廓；

（47）、如果是第一帧影像，手动从已识别出的若干个物体中选择目标物体，进入步骤（48）；否则进入（49）；

（48）、将目标物体的轮廓和目标物体的高度值，作为目标物体模型存储在内存单位中；

（49）、将目标物体模型与后续帧影像识别出的若干个物体进行匹配，得到目标物体所在的位置，结束。

所述的步骤（6）中的标记用高亮颜色填充目标物体的边缘像素，清楚的显现目标物体在数字影像中的位置。

本发明还提供一种三维点云数据结合数字影像数据的物体识别系统，包括以下模块：

数据获取模块，用于获取场景区域内的三维点云数据和数字影像数据；

配准模块，用于对获取的三维点云数据和数字影像数据做配准处理，将点云数据与数字影像配准在同一空间位置上；

三维点云数据预处理模块，用于将配准处理后的三维点云数据进行预处理，剔除场景区域内的背景数据与噪声点；

物体识别模块，用于识别三维点云数据的物体；

映射模块，用于将三维点云数据中的目标物体轮廓映射到数字影像中，得到目标物体在数字影像中的位置；

标记模块，对映射后的数字影像中的目标物体做标记处理。

本发明的有益效果：

1）能有效克服光照强度的影响：由摄像头所采集的数字影像受光照影响较强，在光照较暗或有物体反射时得到的图像质量不佳，不能有效的进行物体识别，而采用基于近红外的面结构光得到的点云数据不受光照度的影响；

2）能有效克服当物体颜色与背景颜色相近时物体识别度不高的问题：数字影像是二维的图像，当物体颜色与背景颜色区分不明显时，物体的识别是一个很棘手的问题，而由基于近红外线的面结构光所获取的三维点云数据是场景内的三维空间数据，包含物体的高度信息，通过高度差别能较方便的将物体从背景中提取出来；

3）能有效减少数据运算量：由摄像头获取的数字图像的分辨率通常较由面结构光所获取的三维点云数据的分辨率高、数据量大，相应的，仅使用数字图像进行物体识别需要的运算量大，而使用三维点云数据配合数字影像进行物体识别能大大减少运算量，有效提高物体识别速度。

附图说明

图1是本发明的方法流程图；

图2是本发明的数据获取装置的示意图；

图3是基于三维点云数据的物体识别示意图；

图4是三维点云数据与平面影像数据映射示意图；

图5是本发明的系统框图。

具体实施方式

如图1所示，本发明是一种三维点云数据结合数字影像数据的物体识别方法，包括以下步骤：（1）、获取场景区域内的三维点云数据和数字影像数据；

（2）、对获取的三维点云数据和数字影像数据做配准处理：将三维点云数据与数字影像数据配准在同一空间位置上；

（3）、对配准处理后的三维点云数据进行预处理：剔除场景区域内的背景数据与噪声点；

（4）、对三维点云数据进行物体识别；

（5）、将三维点云数据中的目标物体轮廓映射到数字影像中，得到目标物体在数字影像中的位置及该目标物体所占用的像素点；

（6）、对映射后的数字影像中的目标物体做标记处理；

（7）、重复步骤（1）～（6），对获取的后续帧的三维点云数据和数字影像数据进行处理达到追踪、标记目标物体运动的目的。

所述的步骤（1）中首先使用结构光投射器向场景区域内投射近红外光，对场景内空间进行标记，空间中的每一点都具有编码信息，代表不同的位置与距离；其次用带红外滤波器的CMOS影像传感器从场景区域内读取经过编码的光线，并进行解码，将点的状态信息转换为高度信息，生成场景区域内的三维点云数据；与此同时，彩色摄像头获取同一场景区域内的彩色数字图像，得到场景区域内的数字影像数据，彩色摄像头与CMOS影像传感器以相同的帧率输出彩色图像与深度图像。

由结构光获取的三维点云数据表达的是场景内的高度信息，只与各物体的形状及高度值等物理特性有关，不受光照、背景色等条件的影响，能很好的弥补彩色数字影像在此方面的不足；此外，与数字影像相比，同一范围内三维点云的数据量更小，在进行目标物体的识别运算时的计算量更少，可以显著提高识别速度。如图2所示，所述的结构光投射器、CMOS影像传感器与彩色摄像头三个设备依次紧密相邻排列，且三个设备的中心点在同一条轴线上，三个设备均架设在被测场景区域的正上方。CMOS影像传感器与彩色摄像机紧邻位于同一条轴线上，二者不在同一位置，产生的图像存在位移偏差，所以需要数据配准模块将两者配准在同一空间位置。

仅经过配准处理的点云数据不仅包含场景内的物体，而且包含场景的背景数据及噪声点，这些数据会对后续算法产生干扰，所以点云数据预处理模块剔除场景的背景数据与噪声点。所述的步骤（3）中的预处理包括以下三个步骤：

（31）、过滤：去除无效点及明显错误的点，如高度值为零的点或为负值的点；

（32）、阈值处理：通过设定略高于目标物体的高度值对三维点云数据进行过滤操作，只保留目标物体所处高度范围内的三维点云数据；

（33）、背景剔除：将背景数据从整体点云数据中去除，其中背景数据是指点云数据中高度值最小的部分；经过预处理后的点云数据，是场景内与背景有一定高度差的物体数据，点云数据中的每个点都包含有位置与高度信息。

三维点云数据经过预处理后，数据量大大减少，可以有效增加物体识别速度，经过预处理后，如图3所示，其中高度值在100附近的点被剔除，只剩下四块阴影部分所覆盖的区域。所述的步骤（4）中的物体识别具体步骤如下所述：

（41）、搜索三维点云数据找到包含有效高度值的点，将此点标记为物体i的点，其中i为正整数；

（42）、以该点为中心做八邻域搜索，依次检查各邻域点的高度值,将包含有效高度值的点标记为物体i的点；

（43）、依次以步骤（42）中检测出的包含有效高度值的点为中心执行步骤（42）的操作；若步骤（42）中各包含有效高度值的邻域点处理完毕，进入步骤（44）；

（44）、若步骤（43）中被标记的点周围存在包含有效高度值的点，返回（42）；若否则进入（45）；

（45）、搜索全部点云数据，若其中有未被标记的点，返回（41），此时i的值加1；若否进入（46）；

以图3中的左上角的目标物体为例，先将高度值为205的点标记为物体1的点（物体1的有效高度值包括有：205、206、207、211、220、218、215、210）；以205点为中心做搜索，搜索出高度值为206、207、211、220的点，标记为物体1的点，然后再分别以206、207、211、220点作为中心，搜索出218、215、211、210，均标记为物体1的点，然后再以218、215、211、210为中心搜索，搜索到205、207，标记为物体1的点，再以205、207为中心搜索，没有有效高度值的点了，则属于物体1的有效高度值点搜索完毕。然后按照此方法搜索其它物体的有效高度值点，图3中显示有4个物体。

（46）、运用边缘搜索算法，提取已识别出的各个物体的轮廓；

（47）、如果是第一帧影像，手动从已识别出的若干个物体中选择目标物体，进入步骤（48）；否则进入（49）；

（48）、将目标物体的轮廓与高度值（即目标物体模型）存储在内存单位中；

（49）、将目标物体模型与后续帧影像识别出的若干个物体进行匹配，得到目标物体的位置，结束。

如图4所示，目标物体M在三维点云数据与数字影像中的位置是对应的，点云数据的分辨率较数字影像的低，因此，点云数据中的1个像素点对应数字影像中的若干个像素点。这样，通过映射模块的处理就能得到目标物体轮廓在数字影像中的位置及该物体所占用的像素点；目标物体轮廓在数字影像中的位置及其所占用的像素点都是确定的，用高亮颜色填充边缘像素进行标记，这样可以很清楚的看到目标物体在数字影像中的位置。

此后，对CMOS影像传感器所得到的每一帧点云数据与彩色摄像头所得到的每一帧数字图像，都进行上述处理，即首先得到目标物体在点云数据中的位置，再将该位置映射到数字图像中进行标记，此过程的反复执行就可以达到追踪、标记目标物体运动的目的。

本发明还提供了一种三维点云数据结合数字影像数据的物体识别系统，如图5所示，包括以下模块：

数据获取模块，用于获取场景区域内的三维点云数据和数字影像数据；

配准模块，用于对获取的三维点云数据和数字影像数据做配准处理，将点云数据与数字影像配准在同一空间位置上；

三维点云数据预处理模块，用于将配准处理后的三维点云数据进行预处理，剔除场景区域内的背景数据与噪声点；

物体识别模块，用于识别三维点云数据的物体；

映射模块，用于将三维点云数据中的目标物体轮廓映射到数字影像中，得到目标物体在数字影像中的位置；

标记模块，对映射后的数字影像中的目标物体做标记处理。

Claims (5)

1.一种三维点云数据结合数字影像数据的物体识别方法，其特征在于：包括以下步骤：（1）、获取场景区域内的三维点云数据和数字影像数据；

所述的步骤（1）中首先使用结构光投射器向场景区域内投射近红外光，对场景内空间进行标记，空间中的每一点都具有编码信息，代表不同的位置与距离；其次用带红外滤波器的CMOS影像传感器从场景区域内读取经过编码的光线，并进行解码，将点的状态信息转换为高度信息，生成场景区域内的三维点云数据；与此同时，彩色摄像头获取同一场景区域内的彩色数字图像，得到场景区域内的数字影像数据；结构光投射器、CMOS影像传感器与彩色摄像头三个设备依次紧密相邻排列，且三个设备的中心点在同一条轴线上，三个设备均架设在被测场景区域的正上方；

（2）、对获取的三维点云数据和数字影像数据做配准处理：将三维点云数据与数字影像数据配准在同一空间位置上；

（3）、对配准处理后的三维点云数据进行预处理：剔除场景区域内的背景数据与噪声点；

（4）、对三维点云数据进行物体识别；

（5）、将三维点云数据中的目标物体轮廓映射到数字影像中，得到目标物体在数字影像中的位置及该目标物体所占用的像素点；

（6）、对映射后的数字影像中的目标物体做标记处理；

（7）、重复步骤（1）～（6），对获取的后续帧的三维点云数据和数字影像数据进行处理，达到追踪、标记目标物体运动的目的。

2.根据权利要求1所述的三维点云数据结合数字影像数据的物体识别方法，其特征在于：所述的步骤（3）中的预处理包括以下三个步骤：

（31）、过滤：去除无效点及明显错误的点；

（32）、阈值处理：通过设定略高于目标物体的高度值对三维点云数据进行过滤操作，只保留目标物体所处高度范围内的三维点云数据；

（33）、背景剔除：将背景数据从整体点云数据中去除，其中背景数据是指点云数据中高度值最小的部分；经过预处理后的点云数据，是场景内与背景有一定高度差的物体数据，点云数据中的每个点都包含有位置与高度信息。

3.根据权利要求1所述的三维点云数据结合数字影像数据的物体识别方法，其特征在于：所述的步骤（4）中的物体识别具体步骤如下所述：

（41）、搜索三维点云数据找到包含有效高度值的点，将此点标记为物体i的点，其中i为正整数；

（42）、以该点为中心做八邻域搜索，依次检查各邻域点的高度值,将包含有效高度值的点标记为物体i的点；

（43）、依次以步骤（42）中检测出的包含有效高度值的点为中心执行步骤（42）的操作；若步骤（42）中各包含有效高度值的邻域点处理完毕，进入步骤（44）；

（44）、若步骤（43）中被标记的点周围存在包含有效高度值的点，返回（42）；若否则进入（45）；

（45）、搜索全部点云数据，若其中有未被标记的点，返回（41），此时i的值加1；若否进入（46）；

（46）、运用边缘搜索算法，提取已识别出的各个物体的轮廓；

（47）、如果是第一帧影像，手动从已识别出的若干个物体中选择目标物体，进入步骤（48）；否则进入（49）；

（48）、将目标物体的轮廓和目标物体的高度值，作为目标物体模型存储在内存单位中；

（49）、将目标物体模型与后续帧影像识别出的若干个物体进行匹配，得到目标物体所在的位置，结束。

4.根据权利要求1所述的三维点云数据结合数字影像数据的物体识别方法，其特征在于：所述的步骤（6）中的标记用高亮颜色填充目标物体的边缘像素，清楚的显现目标物体在数字影像中的位置。

5.实现权利要求1所述方法的三维点云数据结合数字影像数据的物体识别系统，其特征在于：包括以下模块：

数据获取模块，用于获取场景区域内的三维点云数据和数字影像数据；

配准模块，用于对获取的三维点云数据和数字影像数据做配准处理，将点云数据与数字影像配准在同一空间位置上；

三维点云数据预处理模块，用于将配准处理后的三维点云数据进行预处理，剔除场景区域内的背景数据与噪声点；

物体识别模块，用于识别三维点云数据的物体；

映射模块，用于将三维点云数据中的目标物体轮廓映射到数字影像中，得到目标物体在数字影像中的位置；

标记模块，对映射后的数字影像中的目标物体做标记处理。