CN110175578A - 应用于刑侦的基于深度森林的微表情识别方法 - Google Patents

Abstract

应用于刑侦的基于深度森林的微表情识别方法，涉及生物特征识别技术领域。借助专业的摄像机，对犯罪嫌疑人在讯问过程中的面部表情进行录像，将视频数据输入到客户端；将视频数据通过逐帧扫描的方法，识别出犯罪嫌疑人的脸部，截取脸部其出现的微表情，从起始、峰值到结束；将微表情图像数据进行归一化，检测人脸的关键点；将选取的关键点作为中心像素点，用DCP‑TOP方法，从XY、XT、YT三个正交平面进行编码，提取图像的纹理特征；将纹理特征向量输入到系统预先训练好的深度森林模型里进行分类；将分类结果返回到客户端界面，为侦讯人员正确把握嫌犯供述的真伪提供了帮助。有较高的鲁棒性和泛化能力。预测精度高，分类效率高。

Description

应用于刑侦的基于深度森林的微表情识别方法

技术领域

本发明涉及生物特征识别技术领域，尤其是涉及一种应用于刑侦的基于深度森林的微表情识别方法。

背景技术

微表情是一种持续时间只有1/25s～1/5s的面部肌肉运动，是人不经意间的情感表达，常常表现出人心中被压抑的真实情感。

在侦查讯问的过程中，犯罪嫌疑人所提供的语言信息具有一定的真伪性，侦查人员通过直接沟通并细致观察其细微表情，可以判断嫌疑人口供的真伪，并掌握核心线索。但是靠侦查人员去判断带有主观色彩，结果还不一定准确。

因此，业界需要一种具有较高准确性且应用于刑侦的微表情识别技术。

中国专利CN201210041341.4公开一种基于Gabor和EOH特征的自动微表情识别方法，包括：步骤10)、捕获视频的帧图像中的人脸区域，并进行预处理；步骤20)、对相应人脸区域的图像提取Gabor特征和EOH特征；步骤30)、将相应特征进行融合，获取目标视频的最终表征；通过训练所得的分类器，获取每一帧视频图像的表情标签序列；步骤40)、对该表情标签序列进行扫描，判断表情的持续时间，根据获取的微表情，输出表情类别。

发明内容

本发明的目的是提供可提高识别的准确性、精度和泛化能力的应用于刑侦的基于深度森林的微表情识别方法。

本发明包括以下步骤：

1)借助专业的摄像机，对犯罪嫌疑人在讯问过程中的面部表情进行录像，将视频数据输入到客户端；

在步骤1)中，所述专业的摄像机选择帧数大于60fps的设备，以确保采集到犯罪嫌疑人的微表情。

2)将视频数据通过逐帧扫描的方法，识别出犯罪嫌疑人的脸部，截取脸部其出现的微表情，从起始、峰值到结束，具体步骤包括：

(1)获取视频帧数信息；

(2)读取视频中每帧的图像，将其按顺序输出；

(3)将图像数据进行去噪，去除冗余信息；

(4)根据人类肤色在色彩空间的区域性特点，初步确定犯罪嫌疑人的人脸区域；

(5)利用PCA算法将检测的人脸区域进行矩阵向量化，计算人脸的主成分，将主成分投影到已经训练好的人脸特征子空间，识别出图像中的人脸，并用相同大小的矩形框圈出；

(6)截取矩形框，形成只有犯罪嫌疑人人脸的微表情图像数据；

3)将微表情图像数据进行归一化，检测人脸的关键点；

4)将选取的关键点作为中心像素点，用DCP-TOP方法，从XY、XT、YT三个正交平面进行编码，提取图像的纹理特征；

5)将图像数据提取的纹理特征向量输入到系统预先训练好的深度森林模型里进行分类，其中深度森林模型里只有级联森林的结构，每层包括4个ECOC“纠错输出码”矩阵；具体方法为：

(1)数据输入每一层的深度森林后，根据数据的特征和类别标签生成对应的ECOC矩阵；

(2)将数据类别标签依据ECOC矩阵，改写为二分类问题；

(3)每一个ECOC矩阵都会输出一个类向量，表示该样本与每个类别标签的距离；

(4)除第一层森林外，每层的森林都把上一层的输出结果，再结合原始的输入数据作为当前层的输入；

(5)将最后一层森林输出的类向量做平均，输出最小值；

6)将分类识别结果返回到客户端界面，为侦讯人员通过微表情正确地把握嫌犯供述的真伪提供了帮助。

与现有技术相比，本发明的有益效果如下：

1.本发明选取人脸的显著关键点，涵盖了脸上的所有局部细节信息。

2.本发明的人脸特征提取方法消除了时间，光照，和头部移动的对结果的影响，有较高的鲁棒性和泛化能力。

3.本发明的分类器采用ECOC纠错输出码矩阵具有纠错能力的特性，可以提高监督学习算法的预测精度。

4.本发明的分类结果可以达到专业的水平，与多位心理学家的推断结果一致。

5.本发明的分类效率较高，可以在10s之内完成分类，以达到要求。

附图说明

图1是本发明的人脸特征点的示意图；

图2是本发明微表情识别的框架示意图；

图3是本发明的DCP模式编码的示意图；

图4是本发明的深度森林框架的示意图；

图5是本发明的ECOC纠错输出码的示意图。

具体实施方式

以下实施例将结合附图对本发明作进一步的说明。

本发明实施例包括以下步骤：

步骤一：借助专业的仪器设备，对犯罪嫌疑人在讯问过程中的面部表情进行录像，将视频数据输入到客户端。

步骤二：将视频数据通过逐帧扫描的方法，识别出犯罪嫌疑人的脸部，截取其出现的微表情，从起始，峰值到结束，具体步骤包括：

(1)获取视频帧数信息；

(2)读取视频中每帧的图像，将其按顺序输出；

(3)将图像数据进行去噪，去除冗余信息

(4)根据人类肤色在色彩空间的区域性特点，初步确定嫌疑人人脸的区域；

(5)利用PCA算法将检测的人脸区域进行矩阵向量化，计算人脸的主成分，将主成分投影到已经训练好的人脸特征子空间，识别出图像中的人脸，并用相同大小的矩形框圈出；

(6)截取矩形框，形成只有犯罪嫌疑人人脸的微表情图像数据

步骤三：将微表情图像数据进行归一化，检测人脸的关键点；

步骤四：将选取的关键点作为中心像素点，用DCP-TOP方法，从XY,XT,YT三个正交平面进行编码，提取图像的纹理特征；

步骤五：将图像数据提取的纹理特征向量输入到系统预先训练好的深度森林模型里进行分类，其中深度森林里只有级联森林的结构，每层包括4个ECOC“纠错输出码”矩阵。分类步骤包括：

(1)数据输入每一层的深度森林后，根据数据的特征和类别标签生成对应的ECOC矩阵；

(2)将数据类别标签依据ECOC矩阵，改写为二分类问题；

(3)每一个ECOC矩阵都会输出一个类向量，表示该样本与每个类别标签的距离；

(4)除第一层森林外，每层的森林都把上一层的输出结果，再结合原始的输入数据作为当前层的输入；

(5)将最后一层森林输出的类向量做平均，输出最小值。

步骤六：将分类结果返回到客户端界面，为侦讯人员正确把握嫌犯供述的真伪提供了帮助。

在步骤二中，在单张图像上的人脸识别，首先根据图像上的RGB色彩通道初步判断出人脸的位置，把大致判断出来的人脸变换成M×N的矩阵，再把每个矩阵堆叠成一列的MN维列向量X_i，即把矩阵向量化，计算所有向量的均值向量m：

式中，N为全部向量的总数，m为均值向量，计算向量的协方差矩阵：

计算协方差矩阵的特征向量u和对应的特征值λ，这些特征向量u组成的矩阵U就是人脸空间的正交基底，将协方差矩阵的特征值按从大到小排序：λ₁>λ₂>λ₃>…>λ_d>…。由大于λ_d的λ_i对应的特征向量构成主成分，主成分构成的变换矩阵为U＝(u₁，u₂,…,u_d),这样每一幅图像判断出来的大致区域都可以投影到已经训练好的特征脸子空间，通过与各个图像比较识别出人脸，接下来，就可以进行微表情的识别，具体识别框架图如图2。

在步骤三中，所述检测人脸的关键点，为了更好的量化图像的纹理信息，选取每张图片上相同的25个关键点，包括：左眼中心,右眼中心,鼻子中心,鼻子的两侧和底部的唇等。具体人脸特征关键点参见图1。

在步骤四中，相比于经典的纹理特征描述符，DCP-TOP扩大了采样数量，并且考虑到图像之间相邻帧的信息，从XY、XT、YT三个正交平面进行采样。对于XY平面，可以认为是图像在T轴上的叠加，包含了图像空间域的信息；在XT平面上，是图像在Y轴上的叠加；TY平面也是同理，其中在XT，TY平面上的叠加，包含了图像时间域上的信息。给定图像中的一个关键点，对于XY平面上，求出DCP-TOP_XY，如下所示：

对于XT平面上，求出DCP-TOP_XT，如下所示：

同理可得，DCP-TOP_YT。于是，得到中心像素点的DCP-TOP编码，如下的向量所示：

DCP-TOP＝[DCP-TOP_XY,DCP-TOP_XT,DCP-TOP_YT]

所述DCP是一种局部二进制描述符，包括采样和编码两个部分。DCP将采样数量增加至领域内对称分布的16个点，包括8个方向，0、Π/4、Π/2、3Π/4、5Π/4、3Π/2、和7Π/4。此外，在中心像素点的领域内有两个圆，采样点A₀-A₇均匀分布在内采样圆上，采样点B₀-B₇均匀分布在外采样圆上，见图3(图3中(a)图为DCP模式编码图，(b)图和(c)图为a图的拆分图)。将处于相同方向上的采样点视为一组，在每个采样方向上进行编码。

在这里，I_C,分别代表像素点C，A_i，B_i的灰度值，DCP_i为第i组的编码值，

因为DCP的编码数量会导致图像的特征维数急剧上升，在此，将DCP进行分组编码：

DCP＝{DCP-1，DCP-2}

其中，

在步骤五中，所述深度森林是一种由级联森林和滑动窗口组成的分类器。在这里，只采用有级联森林的深度森林来进行微表情的分类，使用ECOC“纠错输出码”的矩阵作为级联森林的神经元，每一层的神经元包括2个ECOC二元码矩阵和2个ECOC三元码矩阵，ECOC编码矩阵里会把多分类问题转换成多个二分类问题。对于微表情来说，一共有6类：愉悦、惊讶、恐惧、悲伤、厌恶和压抑。通过ECOC矩阵的变换，每次都只考虑两种表情进行分类。

如图4所示是级联森林的结构图，级联森林的每一层都接受前一层处理的特征信息，并将其结果输出到下一层，每一层都是ECOC矩阵的集成，而ECOC矩阵里也是基分类器的集成。每一个矩阵都会输出一个类向量，在类向量里，对应位置表示该样本到类别的距离，距离最小的说明样本属于这个类别。每一层的类向量与原始输入的特征向量连接起来，作为下一层级联森林的输入。特别的，在训练过程，每生成下一层森林结构之前都会用验证集进行验证，如果加上当前层，森林的精度高于之前森林的精度，继续训练；如果没有之前森林的精度高，训练结束，保存模型。

ECOC“纠错输出码”矩阵主要是为了解决多分类问题，其中三元码用{-1，0，+1}表示。其中，“-1”代表负类，“+1”表正类，“0”该码字位所对应的类不参与该列所产生的基分类器的训练。具体的三元码矩阵见图5。纠错输出码的行数表示类别数，列数为n，视具体情况而定。生成纠错输出码矩阵要遵循3个原则：(1)具有一定的纠错能力；(2)矩阵中无全0列，无全1列；(3)矩阵中无相同列，无互补列。

为了降低过拟合的风险，采用K折交叉验证的方式生成每个矩阵的类向量。具体来说，每个实例都会被用作k-1次的训练数据，得到k-1个类向量，然后对这些类向量求平均值，生成最终的类向量作为下一层的输入。当每次要扩展一层时，用验证集对整个级联森林的性能做一个评估，如果没有显著的提升，则终止训练过程，保存模型，用于之后的犯罪嫌疑人微表情的分类。

我们将本发明的识别结果和现在流行的几种微表情识别方法在F1-score和Recall进行了对比，结果如表1所示：

表1

本发明的人脸特征提取方法消除了时间、光照和头部移动对结果的影响，有较高的鲁棒性和泛化能力。本发明的分类器采用ECOC纠错输出码矩阵，具有纠错能力的特性，可以提高监督学习算法的预测精度。本发明的分类结果可以达到专业的水平，与多位心理学家的推断结果一致。本发明的分类效率较高，可以在10s之内完成分类，以达到要求。本发明先采集犯罪嫌疑人视频信息；将视频数据转换成图像数据，并进行人脸定位；将人脸数据进行微表情识别；最后输出结果。本发明通过对犯罪嫌疑人微表情的识别和破解帮助刑侦人员拓展线索，以达到突破案件的目的。

Claims (3)

1.应用于刑侦的基于深度森林的微表情识别方法，其特征在于包括以下步骤：

1)借助专业的摄像机，对犯罪嫌疑人在讯问过程中的面部表情进行录像，将视频数据输入到客户端；

2)将视频数据通过逐帧扫描的方法，识别出犯罪嫌疑人的脸部，截取脸部其出现的微表情，从起始、峰值到结束；

3)将微表情图像数据进行归一化，检测人脸的关键点；

4)将选取的关键点作为中心像素点，用DCP-TOP方法，从XY、XT、YT三个正交平面进行编码，提取图像的纹理特征；

5)将图像数据提取的纹理特征向量输入到系统预先训练好的深度森林模型里进行分类，其中深度森林模型里只有级联森林的结构，每层包括4个ECOC“纠错输出码”矩阵；具体方法为：

(1)数据输入每一层的深度森林后，根据数据的特征和类别标签生成对应的ECOC矩阵；

(2)将数据类别标签依据ECOC矩阵，改写为二分类问题；

(3)每一个ECOC矩阵都会输出一个类向量，表示该样本与每个类别标签的距离；

(4)除第一层森林外，每层的森林都把上一层的输出结果，再结合原始的输入数据作为当前层的输入；

(5)将最后一层森林输出的类向量做平均，输出最小值；

6)将分类识别结果返回到客户端界面。

2.如权利要求1所述应用于刑侦的基于深度森林的微表情识别方法，其特征在于在步骤1)中，所述专业的摄像机为帧数大于60fps的摄像机。

3.如权利要求1所述应用于刑侦的基于深度森林的微表情识别方法，其特征在于在步骤2)中，所述将视频数据通过逐帧扫描的方法，识别出犯罪嫌疑人的脸部，截取脸部其出现的微表情，从起始、峰值到结束的具体步骤包括：

(1)获取视频帧数信息；

(2)读取视频中每帧的图像，将其按顺序输出；

(3)将图像数据进行去噪，去除冗余信息；

(4)根据人类肤色在色彩空间的区域性特点，初步确定犯罪嫌疑人的人脸区域；

(5)利用PCA算法将检测的人脸区域进行矩阵向量化，计算人脸的主成分，将主成分投影到已经训练好的人脸特征子空间，识别出图像中的人脸，并用相同大小的矩形框圈出；

(6)截取矩形框，形成只有犯罪嫌疑人人脸的微表情图像数据。