CN111657971A - 基于微多普勒和视觉感知融合的非接触测谎系统及方法 - Google Patents

Abstract

本发明公开了一种基于微多普勒和视觉感知融合的非接触测谎系统及方法，系统包括摄像头检测模块、毫米波雷达模块、毫米波雷达转台、测谎判定模块、数据储存模块和输出显示模块；毫米波雷达模块包括毫米波雷达和信号处理单元；摄像头检测模块包括摄像头和图像处理单元；毫米波雷达设置在毫米波雷达转台上。本发明同时获取被试者面部微表情特征和生理特征，通过深度学习进行组合判别，可以提升说谎检测的准确率。本发明使用过程中无需接触被试者，可以随时对被试者进行说谎检测，避免被试者故意抵抗说谎检测。

Description

基于微多普勒和视觉感知融合的非接触测谎系统及方法

技术领域

本发明涉及测谎领域，具体涉及一种基于微多普勒和视觉感知融合的非接触测谎系统及方法。

背景技术

说谎是人类通过虚假陈述、扭曲事实和遗漏等形式误导别人的一种特殊行为。自动检测说谎是电子科学、计算机语言学、心理学、情报机构等各学科研究的重要领域。由于人类检测说谎的能力几乎为随机猜测，因此需要科学、可靠的自动化方法检测说谎。自动检测说谎技术通过自动分析人们的行为、语言、以及各种生理指标对人们是否说谎做出判断，其在刑事案件处理、医疗以及司法等职业中起着至关重要的作用，具有广阔的应用场景。

现有说谎检测方式通常采用穿戴传感器来监测被试者相关的生命体征参数的变化，从而检测被试者是否说谎。该类检测方法的缺点在于：被试者会知道正在被接受检测，容易有心理准备，会主动调整和克服情绪变化，导致检测结果出现偏差。

发明内容

针对现有技术中的上述不足，本发明提供的一种基于微多普勒和视觉感知融合的非接触测谎系统及方法解决了传统测谎方法容易被被试者欺骗导致准确率低的问题。

为了达到上述发明目的，本发明采用的技术方案为：

提供一种基于微多普勒和视觉感知融合的非接触测谎系统，其包括摄像头检测模块、毫米波雷达模块、毫米波雷达转台、测谎判定模块、数据储存模块和输出显示模块；毫米波雷达模块包括毫米波雷达和信号处理单元；摄像头检测模块包括摄像头和图像处理单元；毫米波雷达设置在毫米波雷达转台上；

摄像头，用于采集被试者上半身的图像；

图像处理单元，用于根据被试者上半身图像提取面部微表情特征并获取胸口位置；

毫米波雷达转台，用于引导毫米波雷达波束指向被试者胸口；

毫米波雷达，用于发射和接收毫米波信号并产生雷达信号；

信号处理单元，用于对雷达信号进行处理，获取被试者的生理体征参数；

测谎判定模块，用于根据摄像头检测模块采集到的被试者的面部微表情特征和毫米波雷达模块得到的生理体征参数，通过深度学习算法得到被试者说谎的概率；

数据储存模块，用于将摄像头检测模块采集到的被试者面部表情图像和毫米波雷达测得的生理体征参数以及测谎判定模块得到的说谎概率，以视频的形式存储在本地磁盘中；

输出显示模块，用于将摄像头检测模块采集到的被试者面部表情图像和毫米波雷达测得的生理体征参数以及测谎判定模块得到的说谎概率，以视频的形式显示在显示屏上。

进一步地，生理体征参数包括心率和呼吸。

提供一种基于微多普勒和视觉感知融合的非接触测谎方法，其包括以下步骤：

S1、通过摄像头采集被试者上半身的图像；

S2、通过图像处理单元根据被试者上半身图像提取面部微表情特征并获取胸口位置；

S3、基于胸口位置，通过毫米波雷达转台引导毫米波雷达波束指向被试者胸口，并采用毫米波雷达发射和接收毫米波信号并产生雷达信号；

S4、通过信号处理单元对雷达信号进行处理，获取被试者的生理体征参数；

S5、通过测谎判定模块根据摄像头检测模块采集到的被试者的面部微表情特征和毫米波雷达模块得到的生理体征参数，通过深度学习算法得到被试者说谎的概率；

S6、通过数据储存模块将摄像头检测模块采集到的被试者面部表情图像和毫米波雷达测得的生理体征参数以及测谎判定模块得到的说谎概率，以视频的形式存储在本地磁盘中；

S7、通过输出显示模块将摄像头检测模块采集到的被试者面部表情图像和毫米波雷达测得的生理体征参数以及测谎判定模块得到的说谎概率，以视频的形式显示在显示屏上。

进一步地，步骤S2的具体方法包括以下子步骤：

S2-1、通过图像处理单元去除被试者上半身图像的噪点；

S2-2、采用Hog特征对去除噪点的图像进行特征点提取；

S2-3、获取面部和胸口的特征点，设定面部和胸口的尺寸，得到被试者面部位置和胸口位置；

S2-4、标记面部位置的微表情关键点，计算微表情关键点的位置与微表情关键点的平均位置的距离；

S2-5、在微表情关键点上提取尺度不变特征变换特征，得到特征向量；

S2-6、基于步骤S2-4中得到的距离和步骤S2-5中得到的特征向量，采用最小二乘法得到面部微表情特征；

S2-7、重复步骤S2-1至步骤S2-6，完成对被试者面部微表情特征的持续获取及胸口定位。

进一步地，步骤S3中基于胸口位置，通过毫米波雷达转台引导毫米波雷达波束指向被试者胸口的具体方法为：

根据胸口位置获取被试者胸口相对摄像头的位置，根据摄像头相对毫米波雷达的相对位置获取被试者胸口相对毫米波雷达的相对位置；根据被试者胸口相对毫米波雷达的相对位置调整毫米波雷达转台的朝向，使毫米波雷达波束指向被试者胸口。

进一步地，步骤S3中采用毫米波雷达发射和接收毫米波信号并产生雷达信号的具体方法为：

通过毫米波雷达发射并接收返回的毫米波信号，对接收的毫米波信号进行低噪声放大、滤波和混频后转换为中频信号，将中频信号进行下变频得到零中频I/Q两路基带信号，即雷达信号。

进一步地，步骤S4的具体方法为：

采用arctangent解调方法对零中频I/Q两路基带信号进行相位解调，得到体征信息；通过带通滤波器将振动频率为0.8-2.0Hz、振幅为0.1-0.5mm的体征信息作为心跳数据，将振动频率为0.1-0.5Hz、振幅为1-12mm的体征信息作为呼吸数据，完成被试者的生理体征参数获取。

进一步地，步骤S5的具体方法为：

获取并将已知标签的人脸微表情图像的面部微表情特征和该图像对应的呼吸及心跳数据作为样本，采用深度学习算法进行训练，得到说谎表情-生理体征模型；将摄像头检测模块采集到的被试者的面部微表情特征和毫米波雷达模块得到的生理体征参数作为说谎表情-生理体征模型的输入，进而得到被试者说谎的概率。

本发明的有益效果为：

1、本发明同时获取被试者面部微表情特征和生理特征，通过深度学习进行组合判别，可以提升说谎检测的准确率。

2、本发明使用过程中无需接触被试者，可以随时对被试者进行说谎检测，避免被试者故意抵抗说谎检测。

附图说明

图1为本发明的流程示意图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

该基于微多普勒和视觉感知融合的非接触测谎系统包括摄像头检测模块、毫米波雷达模块、毫米波雷达转台、测谎判定模块、数据储存模块和输出显示模块；毫米波雷达模块包括毫米波雷达和信号处理单元；摄像头检测模块包括摄像头和图像处理单元；毫米波雷达设置在毫米波雷达转台上；

摄像头，用于采集被试者上半身的图像；

图像处理单元，用于根据被试者上半身图像提取面部微表情特征并获取胸口位置；

毫米波雷达转台，用于引导毫米波雷达波束指向被试者胸口；

毫米波雷达，用于发射和接收毫米波信号并产生雷达信号；

信号处理单元，用于对雷达信号进行处理，获取被试者的生理体征参数；生理体征参数包括心率和呼吸；

测谎判定模块，用于根据摄像头检测模块采集到的被试者的面部微表情特征和毫米波雷达模块得到的生理体征参数，通过深度学习算法得到被试者说谎的概率；

数据储存模块，用于将摄像头检测模块采集到的被试者面部表情图像和毫米波雷达测得的生理体征参数以及测谎判定模块得到的说谎概率，以视频的形式存储在本地磁盘中；

输出显示模块，用于将摄像头检测模块采集到的被试者面部表情图像和毫米波雷达测得的生理体征参数以及测谎判定模块得到的说谎概率，以视频的形式显示在显示屏上。

如图1所示，该基于微多普勒和视觉感知融合的非接触测谎方法包括以下步骤：

S1、通过摄像头采集被试者上半身的图像；

S2、通过图像处理单元根据被试者上半身图像提取面部微表情特征并获取胸口位置；

S3、基于胸口位置，通过毫米波雷达转台引导毫米波雷达波束指向被试者胸口，并采用毫米波雷达发射和接收毫米波信号并产生雷达信号；

S4、通过信号处理单元对雷达信号进行处理，获取被试者的生理体征参数；

S5、通过测谎判定模块根据摄像头检测模块采集到的被试者的面部微表情特征和毫米波雷达模块得到的生理体征参数，通过深度学习算法得到被试者说谎的概率；

S6、通过数据储存模块将摄像头检测模块采集到的被试者面部表情图像和毫米波雷达测得的生理体征参数以及测谎判定模块得到的说谎概率，以视频的形式存储在本地磁盘中；

S7、通过输出显示模块将摄像头检测模块采集到的被试者面部表情图像和毫米波雷达测得的生理体征参数以及测谎判定模块得到的说谎概率，以视频的形式显示在显示屏上。

步骤S2的具体方法包括以下子步骤：

S2-1、通过图像处理单元去除被试者上半身图像的噪点；

S2-2、采用Hog特征对去除噪点的图像进行特征点提取；

S2-3、获取面部和胸口的特征点，设定面部和胸口的尺寸，得到被试者面部位置和胸口位置；

S2-4、标记面部位置的微表情关键点，计算微表情关键点的位置与微表情关键点的平均位置的距离；

S2-5、在微表情关键点上提取尺度不变特征变换特征，得到特征向量；

S2-6、基于步骤S2-4中得到的距离和步骤S2-5中得到的特征向量，采用最小二乘法得到面部微表情特征；

S2-7、重复步骤S2-1至步骤S2-6，完成对被试者面部微表情特征的持续获取及胸口定位。

步骤S3中基于胸口位置，通过毫米波雷达转台引导毫米波雷达波束指向被试者胸口的具体方法为：根据胸口位置获取被试者胸口相对摄像头的位置，根据摄像头相对毫米波雷达的相对位置获取被试者胸口相对毫米波雷达的相对位置；根据被试者胸口相对毫米波雷达的相对位置调整毫米波雷达转台的朝向，使毫米波雷达波束指向被试者胸口。

步骤S3中采用毫米波雷达发射和接收毫米波信号并产生雷达信号的具体方法为：通过毫米波雷达发射并接收返回的毫米波信号，对接收的毫米波信号进行低噪声放大、滤波和混频后转换为中频信号，将中频信号进行下变频得到零中频I/Q两路基带信号，即雷达信号。

步骤S4的具体方法为：采用arctangent解调方法对零中频I/Q两路基带信号进行相位解调，得到体征信息；通过带通滤波器将振动频率为0.8-2.0Hz、振幅为0.1-0.5mm的体征信息作为心跳数据，将振动频率为0.1-0.5Hz、振幅为1-12mm的体征信息作为呼吸数据，完成被试者的生理体征参数获取。

步骤S5的具体方法为：获取并将已知标签的人脸微表情图像的面部微表情特征和该图像对应的呼吸及心跳数据作为样本，采用深度学习算法进行训练，得到说谎表情-生理体征模型；将摄像头检测模块采集到的被试者的面部微表情特征和毫米波雷达模块得到的生理体征参数作为说谎表情-生理体征模型的输入。表情识别和说谎判定可以在同一个人工神经网络中利用其不同的功能模块来实现。采用深度学习算法实施的基于面部表情和生理特征的测谎方法包括表情识别和说谎判定两个阶段。表情识别阶段的任务是基于被试者的人脸图像特征的特征向量序列来识别面部表情；说谎判定阶段的任务是将训练得到的说谎表情-生理体征模型与所识别的被试者面部表情和被试者的生理体征参数进行对比，预测被试者说谎的概率。

在本发明的一个实施例中，毫米波雷达采用MIMO(多收多发)阵列天线，可以得到更窄的波束宽度，利用阵列天线和波束形成方法不仅可以避免其他人员的干扰，同时可以提高信噪比。

在具体实施过程中，当毫米波雷达的射频信号到达一个目标发生反射时，由于目标运动会产生频率调制，如果目标以v(t)m/s的速度运动，反射信号的频率根据多普勒频移会发生一个偏移：

其中f_d是多普勒频移，单位Hz；f是发射频率，单位Hz；c是信号传播速度，单位m/s，t是经过的时间，单位是s，λ是发射信号的波长，单位m。假设人体目标运动表示为x(t)，反射信号的多普勒频移可以描述为一个相位调制：

当人体的胸腔作为雷达的探测目标时，胸壁的位移对雷达载波相位产生成比例调制。通过相位解调，将得到与胸腔时变位移成比例的时变相位信息，进而可以从中检测出与呼吸和心跳相关的体征信息。

综上所述，本发明同时获取被试者面部微表情特征和生理特征，通过深度学习进行组合判别，可以提升说谎检测的准确率。本发明使用过程中无需接触被试者，可以随时对被试者进行说谎检测，避免被试者故意抵抗说谎检测。

Claims (8)

1.一种基于微多普勒和视觉感知融合的非接触测谎系统，其特征在于，包括摄像头检测模块、毫米波雷达模块、毫米波雷达转台、测谎判定模块、数据储存模块和输出显示模块；所述毫米波雷达模块包括毫米波雷达和信号处理单元；所述摄像头检测模块包括摄像头和图像处理单元；所述毫米波雷达设置在毫米波雷达转台上；

所述摄像头，用于采集被试者上半身的图像；

所述图像处理单元，用于根据被试者上半身图像提取面部微表情特征并获取胸口位置；

所述毫米波雷达转台，用于引导毫米波雷达波束指向被试者胸口；

所述毫米波雷达，用于发射和接收毫米波信号并产生雷达信号；

所述信号处理单元，用于对雷达信号进行处理，获取被试者的生理体征参数；

所述测谎判定模块，用于根据摄像头检测模块采集到的被试者的面部微表情特征和毫米波雷达模块得到的生理体征参数，通过深度学习算法得到被试者说谎的概率；

所述数据储存模块，用于将摄像头检测模块采集到的被试者面部表情图像和毫米波雷达测得的生理体征参数以及测谎判定模块得到的说谎概率，以视频的形式存储在本地磁盘中；

所述输出显示模块，用于将摄像头检测模块采集到的被试者面部表情图像和毫米波雷达测得的生理体征参数以及测谎判定模块得到的说谎概率，以视频的形式显示在显示屏上。

2.根据权利要求1所述的基于微多普勒和视觉感知融合的非接触测谎系统，其特征在于，所述生理体征参数包括心率和呼吸。

3.一种基于微多普勒和视觉感知融合的非接触测谎方法，其特征在于，包括以下步骤：

S1、通过摄像头采集被试者上半身的图像；

S2、通过图像处理单元根据被试者上半身图像提取面部微表情特征并获取胸口位置；

S3、基于胸口位置，通过毫米波雷达转台引导毫米波雷达波束指向被试者胸口，并采用毫米波雷达发射和接收毫米波信号并产生雷达信号；

S4、通过信号处理单元对雷达信号进行处理，获取被试者的生理体征参数；

S5、通过测谎判定模块根据摄像头检测模块采集到的被试者的面部微表情特征和毫米波雷达模块得到的生理体征参数，通过深度学习算法得到被试者说谎的概率；

S6、通过数据储存模块将摄像头检测模块采集到的被试者面部表情图像和毫米波雷达测得的生理体征参数以及测谎判定模块得到的说谎概率，以视频的形式存储在本地磁盘中；

S7、通过输出显示模块将摄像头检测模块采集到的被试者面部表情图像和毫米波雷达测得的生理体征参数以及测谎判定模块得到的说谎概率，以视频的形式显示在显示屏上。

4.根据权利要求3所述的基于微多普勒和视觉感知融合的非接触测谎方法，其特征在于，所述步骤S2的具体方法包括以下子步骤：

S2-1、通过图像处理单元去除被试者上半身图像的噪点；

S2-2、采用Hog特征对去除噪点的图像进行特征点提取；

S2-3、获取面部和胸口的特征点，设定面部和胸口的尺寸，得到被试者面部位置和胸口位置；

S2-4、标记面部位置的微表情关键点，计算微表情关键点的位置与微表情关键点的平均位置的距离；

S2-5、在微表情关键点上提取尺度不变特征变换特征，得到特征向量；

S2-6、基于步骤S2-4中得到的距离和步骤S2-5中得到的特征向量，采用最小二乘法得到面部微表情特征；

S2-7、重复步骤S2-1至步骤S2-6，完成对被试者面部微表情特征的持续获取及胸口定位。

5.根据权利要求3所述的基于微多普勒和视觉感知融合的非接触测谎方法，其特征在于，所述步骤S3中基于胸口位置，通过毫米波雷达转台引导毫米波雷达波束指向被试者胸口的具体方法为：

根据胸口位置获取被试者胸口相对摄像头的位置，根据摄像头相对毫米波雷达的相对位置获取被试者胸口相对毫米波雷达的相对位置；根据被试者胸口相对毫米波雷达的相对位置调整毫米波雷达转台的朝向，使毫米波雷达波束指向被试者胸口。

6.根据权利要求3所述的基于微多普勒和视觉感知融合的非接触测谎方法，其特征在于，所述步骤S3中采用毫米波雷达发射和接收毫米波信号并产生雷达信号的具体方法为：

通过毫米波雷达发射并接收返回的毫米波信号，对接收的毫米波信号进行低噪声放大、滤波和混频后转换为中频信号，将中频信号进行下变频得到零中频I/Q两路基带信号，即雷达信号。

7.根据权利要求6所述的基于微多普勒和视觉感知融合的非接触测谎方法，其特征在于，所述步骤S4的具体方法为：

采用arctangent解调方法对零中频I/Q两路基带信号进行相位解调，得到体征信息；通过带通滤波器将振动频率为0.8-2.0Hz、振幅为0.1-0.5mm的体征信息作为心跳数据，将振动频率为0.1-0.5Hz、振幅为1-12mm的体征信息作为呼吸数据，完成被试者的生理体征参数获取。

8.根据权利要求3所述的基于微多普勒和视觉感知融合的非接触测谎方法，其特征在于，所述步骤S5的具体方法为：

获取并将已知标签的人脸微表情图像的面部微表情特征和该图像对应的呼吸及心跳数据作为样本，采用深度学习算法进行训练，得到说谎表情-生理体征模型；将摄像头检测模块采集到的被试者的面部微表情特征和毫米波雷达模块得到的生理体征参数作为说谎表情-生理体征模型的输入，进而得到被试者说谎的概率。

Images