CN106485274A - 一种基于目标特性图的物体分类方法 - Google Patents

Abstract

本发明涉及一种基于目标特性图的物体分类方法。首先使用激光雷达、可见光摄像机和近红外摄像机分别获取待检测区域内物体多光谱数据和空间结构数据；然后提取待检测的ROI区域；接着对每个ROI物体区域提取特征，并将这些特征组合为特征词；最后利用基于CNN的深度学习分类器对特征词进行判别，实现物体快速可靠分类。多传感器采集的数据互为补充，可有效避免单一传感器检测能力不足的问题；多层空间特征提取对物体的特征描述更加全面；基于CNN的深度学习分类器的分类结果更为可靠。

Description

一种基于目标特性图的物体分类方法

技术领域

本发明属于智能视频图像处理领域，具体涉及一种物体分类方法。

背景技术

物体自动分类技术在农业生产、工业自动化、资源回收等领域应用广泛。基于机器视觉的物体分类方法具有安装便捷、适应性强、无损探查等优点，是当前的研究热点。当场景中待分类的物体种类多、数量大，且存在一定程度的相互遮挡时，如何鲁棒地提取每个物体区域、并实现准确的分类是一项具有挑战性的工作。

针对该问题，文献【MB-LBP特征在视觉目标检测和分类中的应用，中国科学院自动化研究所硕士论文，2008】提出利用MB-LBP特征和EC0C规则设计多类别目标分类算法，该方法仅适用于车辆和人体等较大尺寸的运动物体的分类；文献【细粒度物体分类方法设计与实现，北京交通大学硕士论文，2014】提出利用卷积神经网络的物体分类算法，实现了对马匹、牛羊等较大体积动物的分类；专利【基于改进的MFA和迁移学习的小样本集的物体分类方法，CN201510801292.3】公开了一种基于改进的MFA(Marginal Fisher Analysis)和迁移学习的小样本集(目标域)分类算法，该算法同时识别的物体种类有限；专利【一种具有识别功能的智能物品分类装置，CN201610089449.9】使用毫米波雷达探测物体形状，待分类物体需安置在定制转台上转动来实现360度形状采集，极大限制了其应用场景；专利【一种基于视频图像的目标分类方法，CN201510012901.7】公开了一种基于视频图像的目标分类方法，包括图像分割、主成分分析和矩形饱和度特征分类，该方法仅对视频图像中的人员和车辆目标进行较好分类；专利【一种基于视觉词袋模型的目标分类方法和系统，CN201410087579.X】通过分析样本图片特征点的位置信息和描述信息实现图片分类，仅限于实现特定二维平面目标的分类。

发明内容

针对大量多类物体的鲁棒分类问题，本发明提出一种基于目标特性图的物体分类方法，该方法首先使用激光雷达、可见光摄像机和近红外摄像机分别获取待检测区域内物体分布的三维点云数据、物体的纹理数据、物体的红外反射/吸收数据；然后结合三维点云数据和红外反射/吸收数据实现单个物体区域分割，提取待检测的ROI区域；接着对每个ROI物体区域，分别提取其激光雷达数据对应的物体形状特征、可见光视频对应的物体纹理特征和近红外视频对应的物体灰度特征，并将这些特征组合为特征词；最后利用基于CNN的深度学习分类器对特征词进行判别，实现物体快速可靠分类。

下面对本发明中的技术方案阐述如下：

1、基于多传感器的多光谱数据获取

本发明使用激光雷达获取待检测区域内物体分布的三维点云数据，使用可见光摄像机获取待检测区域内物体的纹理数据，使用近红外摄像机获取待检测区域内物体的红外反射/吸收数据。同一个目标点对应的多维数据按如下方式获取：

(1)以激光雷达中心为坐标原点、水平成像面为XZ平面，构建符合右手规则的XYZ空间三维坐标系；可见光摄像机和近红外摄像机并排放置在激光雷达两侧，两摄像机镜头光心位于X轴上，镜头光轴位于XZ平面内且指向与Z轴平行；

(2)对于激光雷达成像结果中的点p，其对应的空间坐标为(x_p,y_p,z_p)，其在可见光/近红外摄像机图像中的对应点的坐标(p_x,p_y)按下式计算得出，其中c_x为摄像机光心X轴坐标，AOV_H、AOV_V为摄像机水平和垂直视场角，res_w和res_h是摄像机水平和垂直成像分辨率；

(3)有效成像范围为三台设备成像范围的交集，其中激光雷达成像结果为3维点云曲面，且一个(x,y)坐标上只能有一个点；可见光摄像机和近红外摄像机成像结果均为2维平面数据。三者融合结果为一个W×H的数据集{DATA_ij}，其中W、H为数据集的宽度和高度，i∈[0,W-1]、j∈[0,H-1]为数据序号。数据集{data_ij}中的每一个元素DATA_ij包含三个值，分别是可见光灰度值A_ij、近红外灰度值B_ij、深度值C_ij；

2、基于定向生长的ROI区域提取与归一化

本发明ROI区域提取的步骤如下：

Step1：对近红外灰度数据构成的二维数组{B_ij}做边缘检测，获取单像素的边缘；

Step2：对所有孤立边缘沿其自身方向做定向生长，直至其与另外边缘相交或到达图像边界处；

Step3：对于每个由闭合边缘包围的区域，计算其包含的近红外灰度数据均值，如果该均值和相邻区域包含的近红外灰度数据均值的差值小于预设的灰度阈值TH_gray，且区分两区域的边缘两侧邻域对应的深度数据均值差异小于预设的深度差异阈值TH_dis，则将两个区域合并为一个区域，并移除对应的边缘；

Step4：反复执行Step3，直至不再有区域合并为止，此时余下的每个由闭合边缘包围的区域即为单个ROI区域。

本发明ROI区域归一化的步骤如下：

Step1：对于单个ROI区域，以其质心为中心做外接正方形s，设s的边长为l；

Step2：将s包含的所有ROI区域数据变换到一个边长为L的正方形S，这里的L为预设的归一化长度。变换过程中可见光灰度数据和近红外灰度数据先通过双线性插值进行变换，然后以各自变换结果的最大值为基准，归一化到[0,1]；深度数据首先进行双线性插值，然后再乘以L/l获得最终结果。变换后所有非ROI区域的数据统一置为(-1)。

3、基于归一化ROI数据的物体特征提取

归一化的ROI数据中既包含反映物体空间分布的深度数据，也包含反映物体纹理、红外反射/吸收特性的二维图像数据，从中提取特征描述值的步骤如下：

Step1：搜索ROI数据中所有非负深度数据的最小值c_min和最大值c_max，并在这两个值之间插入N-2个值，构成长度为N的等差序列{c_k}，其中N为预设值，k∈[1,N]为序号，c₁＝c_min，c_N＝c_max；

Step2：构造N个L×L数据集{{data_mn}_k}，这里m,n∈[0,L-1]为数据序号。数据集{data_mn}_k包含所有满足c_mn≤c_k且c_mn≥0的数据；

Step3：对于{data_mn}_k的每个可见光灰度数据a_mnk，计算其8个邻域像素在对应邻域方向上的梯度值；对于得到的8个梯度值，按照大小排序，将4个较大的梯度值置为1，其余4个梯度值置为0；从正右侧的点开始，按顺时针方向排列8个点的梯度值，得到一个二进制序列，该序列对应的值为该a_mnk对应的纹理特征值；所有a_mnk的纹理特征值构成{data_mn}_k对应的纹理特征描述子da_k；

Step4：对于{data_mn}_k的所有近红外灰度数据b_mnk，将其分为若干个相邻的4×4子块(多次实验得到)；在每一个子块内部，计算每一个点的梯度方向和强度；将梯度方向归为8类(0°、45°、90°、135°、180°、225°、270°、315°)(多次实验得到)，统计每个子块的方向强度直方图(横坐标为8个方向，纵坐标为该梯度方向对应的所有点梯度强度的累加)；按照从左到右、从上到下的顺序，将所有子块的方向强度直方图排列到一起，得到{data_mn}_k对应的灰度特征描述子db_k；

Step5：求取{data_mn}_k包含的有效ROI数据区域的外部轮廓，记为C_k，将C_k包含的所有点以在X轴上投影最大值的对应点为起点，按顺时针顺序排列成一个点序列{(x_t,y_t)}，并将序列中的每一个点坐标转换为一个复数，形成一个1维的复数序列{x_t+jy_t}，这里t为点序号，j为复数符号。然后按下式计算{data_mn}_k对应的形状特征描述子dc_k，其中M为点序列长度，u为描述子分量序号，取值范围为[0,M]；

s(t)＝x(t)+jy(t)

dc_i＝{a(u)}

Step6：对所有的N个{data_mn}_k执行Step3、Step4、Step5，将所有的结果合并为一个特征词{(da_k,db_k,dc_k)}。

4、基于CNN深度学习的物体特征分类

本发明使用基于CNN的深度学习分类器对特征词进行分类，具体步骤如下：

(1)CNN分类器训练

Step1：使用相同结构的激光雷达、可见光摄像机、近红外摄像机采集已知类型样本物体的数据，采集时同一样本物体应摆放出尽量多的空间姿态；

Step2：使用数据特征提取过程中的步骤对所有样本数据进行处理，提取对应的特征词，并将特征词分为同等数量训练组和测试组；

Step3：将训练组数据送入基于CNN的深度学习分类器进行训练，使用测试组数据测试分类器的训练结果，并将测试结果反馈至训练过程，直至分类测试准确率满足要求。

(2)物体分类

Step1：使用相同结构的激光雷达、可见光摄像机、近红外摄像机采集待分类样本物体的数据；

Step2：使用数据特征提取过程中的步骤对样本数据进行处理，提取对应的特征词；

Step3：将样本数据对应的特征词送入训练好的基于CNN的深度学习分类器，分类器的输出即为物体识别结果。

本发明的优点在于：多传感器采集的数据互为补充，可有效避免单一传感器检测能力不足的问题；多层空间特征提取对物体的特征描述更加全面；基于CNN的深度学习分类器的分类结果更为可靠。

附图说明

图1是本发明实施例的整体示意图，

图2是本发明中可见光摄像机、激光雷达、近红外摄像机空间排列位置顶视图，

图3是本发明中可见光摄像机、激光雷达、近红外摄像机空间排列位置侧视图，

图4是激光雷达成像点在摄像机画面中X坐标计算方式示意图，

图5是激光雷达成像点在摄像机画面中Y坐标计算方式示意图。

具体实施方式

下面结合图示，对本发明的优选实施例作详细介绍。

如图2所示，以激光雷达中心为坐标原点、水平成像面为XZ平面，构建符合右手规则的XYZ空间三维坐标系；将可见光摄像机和近红外摄像机并排放置在激光雷达两侧，两摄像机镜头光心位于X轴上，镜头光轴位于XZ平面内且指向与Z轴平行，有效数据采集区域为三者的交集。通过可见光摄像机、激光雷达、近红外摄像机采集待测物体的多维数据，依据图3所示的空间位置变换得到物体的深度信息、可见光灰度信息和近红外灰度信息。

按照图1所示的处理流程，首选通过分析近红外灰度信息和深度信息，实现ROI区域的提取，并将提取后的ROI数据归一化到一个固定尺寸的数据集。然后将数据集的数据依照物体深度分为N个子数据集，通过分析每一份子数据集包含的有效ROI数据中的可见光灰度数据、近红外灰度数据和深度数据，得到N组灰度特征、形状特征和纹理特征，并组成特征词袋。最后训练CNN分类器，实现对特征词袋的分类，进而实现物体分类。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，比如更改应用领域等，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

Claims (3)

1.一种基于目标特性图的物体分类方法，首先使用激光雷达、可见光摄像机和近红外摄像机分别获取待检测区域内物体分布的三维点云数据、物体的纹理数据、物体的红外反射/吸收数据；然后结合三维点云数据和红外反射/吸收数据实现单个物体区域分割，提取待检测的ROI区域；接着对每个ROI物体区域，分别提取其激光雷达数据对应的物体形状特征、可见光视频对应的物体纹理特征和近红外视频对应的物体灰度特征，并将这些特征组合为特征词；最后利用基于CNN的深度学习分类器对特征词进行判别，实现物体快速可靠分类；

具体步骤如下：

步骤1、基于多传感器的多光谱数据获取

具体步骤如下：

Step1.1以激光雷达中心为坐标原点、水平成像面为XZ平面，构建符合右手规则的XYZ空间三维坐标系；可见光摄像机和近红外摄像机并排放置在激光雷达两侧，两摄像机镜头光心位于X轴上，镜头光轴位于XZ平面内且指向与Z轴平行，

Step1.2对于激光雷达成像结果中的点p，其对应的空间坐标为x_p,y_p,z_p，其在可见光/近红外摄像机图像中的对应点的坐标p_x,p_y按下式计算得出，其中c_x为摄像机光心X轴坐标，AOV_H、AOV_V为摄像机水平和垂直视场角，res_w和res_h是摄像机水平和垂直成像分辨率，

$p_x=(1+\frac{x_p-c_x}{z_p\×tan(AOV\_H/2)})\×\frac{res\_w}{2}$

$p_y=(1+\frac{y_p}{z_p\×tan(AOV\_V/2)})\×\frac{res\_h}{2}$

Step1.3有效成像范围为三台设备成像范围的交集，其中激光雷达成像结果为3维点云曲面，且一个x,y坐标上只能有一个点；可见光摄像机和近红外摄像机成像结果均为2维平面数据，三者融合结果为一个W×H的数据集{DATA_ij}，其中W、H为数据集的宽度和高度，i∈[0,W-1]、j∈[0,H-1]为数据序号，数据集{data_ij}中的每一个元素DATA_ij包含三个值，分别是可见光灰度值A_ij、近红外灰度值B_ij、深度值C_ij，

步骤2、基于定向生长的ROI区域提取与归一化

(2.1)ROI区域提取的步骤如下：

Step2.1.1：对近红外灰度数据构成的二维数组{B_ij}做边缘检测，获取单像素的边缘，

Step2.1.2：对所有孤立边缘沿其自身方向做定向生长，直至其与另外边缘相交或到达图像边界处，

Step2.1.3：对于每个由闭合边缘包围的区域，计算其包含的近红外灰度数据均值，如果该均值和相邻区域包含的近红外灰度数据均值的差值小于预设的灰度阈值TH_gray，且区分两区域的边缘两侧邻域对应的深度数据均值差异小于预设的深度差异阈值TH_dis，则将两个区域合并为一个区域，并移除对应的边缘，

Step2.1.4：反复执行Step2.1.3，直至不再有区域合并为止，此时余下的每个由闭合边缘包围的区域即为单个ROI区域，

(2.2)ROI区域归一化的步骤如下：

Step2.2.1：对于单个ROI区域，以其质心为中心做外接正方形s，设s的边长为l，

Step2.2.2：将s包含的所有ROI区域数据变换到一个边长为L的正方形S，这里的L为预设的归一化长度，变换过程中可见光灰度数据和近红外灰度数据先通过双线性插值进行变换，然后以各自变换结果的最大值为基准，归一化到[0,1]；深度数据首先进行双线性插值，然后再乘以L/l获得最终结果，变换后所有非ROI区域的数据统一置为-1，

步骤3、基于归一化ROI数据的物体特征提取

步骤如下：

Step3.1：搜索ROI数据中所有非负深度数据的最小值c_min和最大值c_max，并在这两个值之间插入N-2个值，构成长度为N的等差序列{c_k}，其中N为预设值，k∈[1,N]为序号，c₁＝c_min，c_N＝c_max，

Step3.2：构造N个L×L数据集{{data_mn}_k}，这里m,n∈[0,L-1]为数据序号，数据集{data_mn}_k包含所有满足c_mn≤c_k且c_mn≥0的数据，

Step3.3：对于{data_mn}_k的每个可见光灰度数据a_mnk，计算其8个邻域像素在对应邻域方向上的梯度值；对于得到的8个梯度值，按照大小排序，将4个较大的梯度值置为1，其余4个梯度值置为0；从正右侧的点开始，按顺时针方向排列8个点的梯度值，得到一个二进制序列，该序列对应的值为该a_mnk对应的纹理特征值；所有a_mnk的纹理特征值构成{data_mn}_k对应的纹理特征描述子da_k，

Step3.4：对于{data_mn}_k的所有近红外灰度数据b_mnk，将其分为若干个相邻的4×4子块(多次实验得到)；在每一个子块内部，计算每一个点的梯度方向和强度；将梯度方向归为8类0°、45°、90°、135°、180°、225°、270°、315°，统计每个子块的方向强度直方图，横坐标为8个方向，纵坐标为该梯度方向对应的所有点梯度强度的累加；按照从左到右、从上到下的顺序，将所有子块的方向强度直方图排列到一起，得到{data_mn}_k对应的灰度特征描述子db_k，

Step3.5：求取{data_mn}_k包含的有效ROI数据区域的外部轮廓，记为C_k，将C_k包含的所有点以在X轴上投影最大值的对应点为起点，按顺时针顺序排列成一个点序列{(x_t,y_t)}，并将序列中的每一个点坐标转换为一个复数，形成一个1维的复数序列{x_t+jy_t}，这里t为点序号，j为复数符号，然后按下式计算{data_mn}_k对应的形状特征描述子dc_k，其中M为点序列长度，u为描述子分量序号，取值范围为[0,M]，

s(t)＝x(t)+jy(t)

$a\left(u\right)=\underset{t=0}{\overset{M-1}{\Σ}}s\left(t\right)e^{-j2\mathrm{\π}ut/M}$

dc_i＝{a(u)}

Step3.6：对所有的N个{data_mn}_k执行Step3.3、Step3.4、Step3.5，将所有的结果合并为一个特征词{(da_k,db_k,dc_k)}，

步骤4、基于CNN深度学习的物体特征分类

使用基于CNN的深度学习分类器对特征词进行分类，具体步骤如下：

(4.1)CNN分类器训练

Step4.1.1：使用相同结构的激光雷达、可见光摄像机、近红外摄像机采集已知类型样本物体的数据，采集时同一样本物体应摆放出尽量多的空间姿态，

Step4.1.2：使用数据特征提取过程中的步骤对所有样本数据进行处理，提取对应的特征词，并将特征词分为同等数量训练组和测试组，

Step4.1.3：将训练组数据送入基于CNN的深度学习分类器进行训练，使用测试组数据测试分类器的训练结果，并将测试结果反馈至训练过程，直至分类测试准确率满足要求，

(4.2)物体分类

Step4.2.1：使用相同结构的激光雷达、可见光摄像机、近红外摄像机采集待分类样本物体的数据，

Step4.2.2：使用数据特征提取过程中的步骤对样本数据进行处理，提取对应的特征词，

Step4.2.3：将样本数据对应的特征词送入训练好的基于CNN的深度学习分类器，分类器的输出即为物体识别结果。

2.根据权利要求1所述的一种基于目标特性图的物体分类方法，其特征在于，所述基于多传感器的多光谱数据获取为：使用激光雷达获取待检测区域内物体分布的三维点云数据，使用可见光摄像机获取待检测区域内物体的纹理数据，使用近红外摄像机获取待检测区域内物体的红外反射/吸收数据。

3.根据权利要求1所述的一种基于目标特性图的物体分类方法，其特征在于，所述归一化的ROI数据中既包含反映物体空间分布的深度数据，也包含反映物体纹理、红外反射/吸收特性的二维图像数据。