CN114663916A - 一种基于深度抽象特征的热红外人体目标识别方法 - Google Patents

Abstract

本发明涉及红外识别技术领域，尤其涉及一种基于深度抽象特征的热红外人体目标识别方法。包括：使用热红外成像装置采集静态图像或者序列图像；通过图像分割获得高亮区域，利用人体形态先验知识把不满足人体目标基本特征的高亮区域过滤掉，获得候选人体目标；计算候选人体目标的多尺度单调波表示；计算候选人体目标的深度抽象特征；基于深度抽象特征和浅层分类器对候选目标进行分类判决。本发明实现了热红外图像区域复杂特征的按类分离，增强了特征表征清晰度；实现了数据本质特征提取的自动化；较大程度上排除特征成分分量中的噪声；保证了深度抽象特征的数据质量；降低了训练分类器时的训练样本数量要求，即降低过拟合风险，改善分类识别精度。

Description

一种基于深度抽象特征的热红外人体目标识别方法

技术领域

本发明涉及红外识别技术领域，尤其涉及一种基于深度抽象特征的热红外人体目标识别方法。

背景技术

红外视觉传统上主要应用于军事领域，但近年来随着热红外成像技术发展以及红外热像设备性能提升价格下降，加上人工智能技术的伴生推动，基于热红外热像的人体识别技术正日益扩展到智能交通、安全监控、智能机器人等诸多领域。

热红外成像的突出优势是对环境物体的成像不依赖于物体对可见光的反射，而是依赖于环境物体的热辐射量。由于任何高于绝对零度的物理都无时无刻向环境进行热辐射，使得热红外成像具有全天候工作的优势，且对于阴影、遮挡等因素更鲁棒。

人体目标是各类事件的主导者和参与者，人体识别旨在利用计算机自动化地将人体与其他环境对象相区分。在此基础上，再实现对人体目标的跟踪、计数、行为分析、预警等。因此，良好的人体目标识别方法是许多智能应用系统所必须的。但是，人体目标识别存在多方面困难，例如人体对象外观的复杂性、运动的随意性、所在场景的干扰，在基于热红外成像的人体识别中，还要叠加上热红外图像本身质量的弱质性。

当前，基于热红外成像的各类人体识别方法中，统计分类法占据主导地位。传统统计分类法的工作步骤可以简单描述为“人工特征提取+分类器判决”。这类方法依赖于开发人员的设计技巧，从待识别对象中提取反映特定对象本质特征的信息，再利用机器学习手段训练具有明确数理理论支撑的浅层分类模型对识别对象分类识别。随着深度学习的广泛兴趣，基于深度神经网络的统计识别方法的工作步骤可以简单描述为“自动特征提取+分类器判决”，以可以实现自动特征提取和端到端识别的优势得到迅速发展，但这类方法非常依赖于海量的训练数据，另外自动获取特征的可解释性不强，而且网络结构设计缺乏比较明确的指导理论。

为此，面向红外人体目标识别面临的困难，本发明提出基于深度抽象特征的热红外人体目标识别方法。

发明内容

本发明的目的是提供一种基于深度抽象特征的热红外人体目标识别方法，用于解决现有技术中非常依赖于海量的训练数据，另外自动获取特征的可解释性不强，而且网络结构设计缺乏比较明确的指导理论的技术问题。

为了实现上述目的，本发明采用了如下技术方案：

一种基于深度抽象特征的热红外人体目标识别方法，包括以下步骤：

步骤1.使用热红外成像装置采集静态图像或者序列图像；

步骤2.通过图像分割获得高亮区域，利用人体形态先验知识把不满足人体目标基本特征的高亮区域过滤掉，获得候选人体目标；

步骤3.计算候选人体目标的多尺度单调波表示；

步骤4.计算候选人体目标的深度抽象特征；

步骤5.基于深度抽象特征和浅层分类器对候选目标进行分类判决。

进一步优选的，步骤4中，计算候选人体目标的深度抽象特征，主要包括：

步骤41.抽取一定数量的多尺度单调波表达样本构建局部能量样本训练集、局部相位样本训练集、局部方向样本训练集；

步骤42.设计卷积神经网络，确定卷积神经网络必要参数，最远端的全连接层神经元数量等于目标类别数；

步骤43.使用步骤41中局部能量样本训练集、局部相位样本训练集、局部方向样本训练集，分别训练1个具有步骤42结构的卷积神经网络：局部能量深度特征提取器CNNet1、局部方向深度特征提取器CNNet2、局部相位深度特征提取器CNNet3；

步骤44.计算候选人体目标区域的多尺度单调波表达，由此获得候选人体目标在多个不同尺度下的局部能量信息、局部相位信息和局部方向信息分量；

步骤45.将步骤44中局部能量信息分量、局部相位信息分量、局部方向信息分量分别输入已训练的CNNet1、CNNet2和CNNet3；

CNNet1、CNNet2和CNNet3的各网络层神经元对输入量产生不同层次的特征抽象；

步骤46.串行组合CNNet1、CNNet2和CNNet3的全连接层神经元响应值，得到一维深度抽象特征。

进一步优选的，步骤42中，所述卷积神经网络必要参数包括：网络深度、各层类型配置、卷积核。

进一步优选的，步骤5中，基于深度抽象特征和浅层分类器对候选目标进行分类判决，主要包括：

步骤51.构建由一定数量深度抽象特征样本构成的训练样本集；

步骤52.使用步骤51中训练样本集训练浅层分类器，获得此浅层分类器模型；

步骤53.将候选人体目标的深度抽象特征向量输入浅层分类器模型，获得目标类型标签。

本发明至少具备以下有益效果：

1.本发明通过多尺度单调波表达将待识别目标区域分解为具有明确物理意义的多重特征分量；

一是实现了图像区域复杂特征的按类分离，增强了特征表征清晰度，二是实现了数据增强，有利于接下来对作为自动特征提取器的卷积神经网络的训练，提升特征抽象精度。

2.本发明通过使用卷积神经网络作为自动特征提取器对多尺度单调波表达的各组成分量进行特征抽象，一是实现了数据本质特征提取的自动化，二是较大程度上排除特征成分分量中的噪声，三是通过卷积神经网络的合理结构设计自然实现特征降维。整体上保证了深度抽象特征的数据质量。

3.本发明通过使用浅层分类器实现人体/非人体的最终分类识别，相对于使用深度神经网络分类器，降低了训练分类器时的训练样本数量要求，即降低过拟合风险，改善分类识别精度。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的整体流程框图；

图2为从热红外图像中提取的候选目标示例图；

图3为一种深度为15的卷积神经网络结构示例图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参阅图1，本发明提供的一种基于深度抽象特征的热红外人体目标识别方法包含以下步骤：

(1)采集红外人体目标图像或序列图像

运用红外热像仪(或其他热红外成像装置)采集静态图像或者序列图像。

成像装置与感兴趣人体对象之间的最小距离设置保证感兴趣人体对象成像尺寸不超出图像的最大分辨率，最大距离设置保证感兴趣人体对象的的全部或部分身体部位在图像中可分辨。

(2)提取红外图像中的人体候选目标

视场中的人体目标和其他具有较高热辐射水平的非人体目标(例如路灯、发动的汽车等)通常反映为热红外图像的高亮区域。因此，首先通过图像分割获得高亮区域能够快速定位图像中的人体目标。在此基础上，利用人体形态先验知识(如宽高比、连通区面积)把不满足人体目标基本特征的高亮区域过滤掉，获得候选人体目标，作为后续步骤的输入。

图2中的矩形方框即标识了从示例热红外图像中获得的候选人体目标。

(3)提取深度抽象特征

候选人体目标区域集中了关于待识别目标的关键信息。为对这些信息进行有效描述，对候选人体目标提取深度抽象特征。

提取该特征的步骤如下：

31)按文献[Dong G,Kuang G,Wang N,et al.SAR Target Recognition viaJoint Sparse Representation of Monogenic Signal[J].IEEE Journal of SelectedTopics in Applied Earth Observations&Remote Sensing,2015,8(7):3316-3328.]计算待识别人体目标区域的多尺度单调波表达：

{A₁,φ₁,θ₁,A₂,φ₂,θ₂,...A_k,φ_k,θ_k,...,A_s,φ_s,θ_s}

其中，A_k,k＝1,2,...,S,φ_k,k＝1,2,...,S,θ_k,k＝1,2,...,S分别为尺度k下的局部能量信息分量、局部相位信息分量和局部方向信息分量。尺度k的最大值为S。

32)构建训练样本集局部能量样本训练集、局部相位样本训练集以及局部方向样本训练集(ASet、ThetaSet以及PhiSet)。每个训练集的特征和标签分别为：

k＝1,2,...,S i＝1,2,...,M

k＝1,2,...,S i＝1,2,...,M

k＝1,2,...,S i＝1,2,...,M

k＝1,2,...,S i＝1,2,...,M

k＝1,2,...,S i＝1,2,...,M

k＝1,2,...,S i＝1,2,...,M

其中，M为训练集中样本数量。ROI(i)表示第i个样本目标区域，ROI(i).Label表示该目标的类别标签。

33)设计3个具有相同结构的卷积神经网络，其最远端的全连接层神经元数量与目标类别数一致，例如固定为2(这里设目标标签为人体、非人体2类)，例如图3所述结构。

34)使用ASet训练卷积神经网络得到局部能量深度特征提取器CNNet1，使用ThetaSet训练卷积神经网络得到局部方向深度特征提取器CNNet2，使用PhiSet训练卷积神经网络得到局部相位深度特征提取器CNNet3。

35)设待测试目标区域的多尺度单调波表示为：

{A₁,φ₁,θ₁,A₂,φ₂,θ₂,...A_k,φ_k,θ_k,...,A_s,φ_s,θ_s}，

依次将A₁,A₂,...A_s输入CNNet1，得到CNNet1的全连接层响应向量：

依次将θ₁,θ₂,...,θ_s输入CNNet2，得到CNNet2的全连接层响应向量：

依次将φ₁,φ₂,...,φ_s输入CNNet3，得到CNNet3的全连接层响应向量：

最后，组合上述特征分量，串行组合得到关于待识别对象的深度抽象特征：

H＝[H^A,H^θ,H^φ]

(4)基于深度抽象特征和支持浅层分类器对候选目标进行识别：

41)构建浅层分类器训练集ShallowClrSet。该训练集的特征向量和标签分别为：

ShallowClrSet.Feature＝{H_i}i＝1,2,...,M

k＝1,2,...,S i＝1,2,..,.M

42)选择2分类支持向量机为浅层分类器。使用ShallowClrSet训练集训练该分类器，获得已训练支持向量机模型；

43)将待识别样本深度抽象特征输入输入步骤42所得支持向量机模型，获得其类型标签。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (4)

1.一种基于深度抽象特征的热红外人体目标识别方法，其特征在于，包括以下步骤：

步骤1.使用热红外成像装置采集静态图像或者序列图像；

步骤2.通过图像分割获得高亮区域，利用人体形态先验知识把不满足人体目标基本特征的高亮区域过滤掉，获得候选人体目标；

步骤3.计算候选人体目标的多尺度单调波表示；

步骤4.计算候选人体目标的深度抽象特征；

步骤5.基于深度抽象特征和浅层分类器对候选目标进行分类判决。

2.根据权利要求1所述的一种基于深度抽象特征的热红外人体目标识别方法，其特征在于，步骤4中，计算候选人体目标的深度抽象特征，主要包括：

步骤41.抽取一定数量的多尺度单调波表达样本构建局部能量样本训练集、局部相位样本训练集、局部方向样本训练集；

步骤42.设计卷积神经网络，确定卷积神经网络必要参数，最远端的全连接层神经元数量等于目标类别数；

步骤43.使用步骤41中局部能量样本训练集、局部相位样本训练集、局部方向样本训练集分别训练1个具有步骤42结构的卷积神经网络：局部能量深度特征提取器CNNet1、局部方向深度特征提取器CNNet2、局部相位深度特征提取器CNNet3；

步骤44.计算候选人体目标区域的多尺度单调波表达，由此获得候选人体目标在多个不同尺度下的局部能量信息、局部相位信息和局部方向信息分量；

步骤45.将步骤44中局部能量信息分量、局部相位信息分量、局部方向信息分量分别输入已训练的CNNet1、CNNet2和CNNet3；

CNNet1、CNNet2和CNNet3的各网络层神经元对输入量产生不同层次的特征抽象；

步骤46.串行组合CNNet1、CNNet2和CNNet3的全连接层神经元响应值，得到一维深度抽象特征。

3.根据权利要求2所述的一种基于深度抽象特征的热红外人体目标识别方法，其特征在于，步骤42中，所述卷积神经网络必要参数包括：网络深度、各层类型配置、卷积核。

4.根据权利要求2所述的一种基于深度抽象特征的热红外人体目标识别方法，其特征在于，步骤5中，基于深度抽象特征和浅层分类器对候选目标进行分类判决，主要包括：

步骤51.构建由一定数量深度抽象特征样本构成的训练样本集；

步骤52.使用步骤51中训练样本集训练浅层分类器，获得此浅层分类器模型；

步骤53.将候选人体目标的深度抽象特征向量输入已训练浅层分类器模型，获得目标类型标签。

Images