CN109598217A - 一种人体面部微表情分析研判的系统 - Google Patents

Abstract

本发明公开一种人体面部微表情分析研判的系统，包括显示平台和摄像机，所述显示界面设置有首页显示界面、摄像显示界面、告警设置界面和人员管理界面；所述首页显示界面与数据处理模块的输出端通讯连接，所述数据处理模块的输入端与所述摄像机导线连接；所述数据处理模块包括基于微表情算法的微表情识别模块和心跳识别模块；所述摄像显示界面与所述摄像机通讯连接，所述摄像机显示界面用于记录并展示摄像机的使用信息及使用状态；所述告警设置界面包括需告警的表情、表情告警阈值、心率告警阈值以及同步规则。检测速度快、处理能力强、检查效率高；远程检查无接触、对目标隐秘、友好；精准度高、出错概率低。

Description

一种人体面部微表情分析研判的系统

技术领域

本发明属于人脸识别的技术领域，特备是涉及一种人体面部微表情分析研判的系统。

背景技术

现在每天，成千上万的乘客穿过地铁、火车站、机场的安全检查站，或通过边境检查站出入国境而安检人员则需要通过与他们进行交互来判别谈话内容的真伪，以辨识出哪些人可能具有高风险性，会危害到其他人或国家的安全。将这样的工作完成好几乎是不可能的。人的认知资源是有限的，时间也是有限的，识别谎言的能力更是非常有限的，其识别率仅略高于机率水平。安检人员不可能去挡住这几乎永无止境的人流，不计代价地进行互动以保证谈话的真实性。人必须依赖工具才能完成这样的任务。因此，能帮助人准确识别撒谎行为的工具，特别是自动谎言识别系统，在国际反恐、国家安全、司法侦讯等领域，具有非常重大的应用价值。事实上，虽然测谎仪早已应运而生。但是它的结果却在司法判决中得不到认可，因为大量研究表明测谎仪的结果并不可靠。

微表情反映了人试图压抑与隐藏的真实情感，是一种有效的非言语线索。在临床领域，临床心理学家或许可以仔细观察患者，发现其微表情，了解患者对特定事或人的真正态度和想法，从而对症治疗，缩短治疗时间；在司法领域，法官或许可以藉由犯罪嫌疑人脸上的微表情，判断犯罪嫌疑人是否在撒谎：在安全领域，安全人员或许可以藉由微表情判断对方是否有攻击的意图，从而防患于未然。

发明内容

本发明为实现使得微表情识别技术成为客户可接受的成本水平，顺利实施及应用，提供一种人体面部微表情分析研判的系统。

本发明通过以下技术方案来实现：一种人体面部微表情分析研判的系统，包括显示平台和摄像机，所述显示界面设置有首页显示界面、摄像显示界面、告警设置界面和人员管理界面；

所述首页显示界面与数据处理模块的输出端通讯连接，所述数据处理模块的输入端与所述摄像机导线连接；所述数据处理模块包括基于微表情算法的微表情识别模块和心跳识别模块；

所述摄像显示界面与所述摄像机通讯连接，所述摄像机显示界面用于记录并展示摄像机的使用信息及使用状态；

所述告警设置界面设置表情告警阀值、心率告警阀值及规则默认全部摄像机。

在进一步的实施例中，所述首页显示界面从上至下依次设置有视频显示界面、表情显示界面和心率显示界面；所述表情显示界面分为左右两部分，左侧为表情记录列表，包括告警色块、表情分值、持续时间、识别时间，同时在右侧以图形形式展示；心率显示界面记录心率波动情况，将心率波动以图形式展示，左侧展示心率的告警列表，包括心率值、心率持续时间、开始时间，并记录各个心率值的脸部截图，右侧将心率值以图形形式展示。

在进一步的实施例中，所述微表情算法包括频率和幅度分析、直方图分析和安全阀值。

在进一步的实施例中，所述微表情识别模块是基于八种基本表情的识别：自然状态、高兴、悲伤、愤怒、惊讶、害怕、厌恶和轻蔑以柱状图形式实时显示不同时刻的表情的强弱程度。

在进一步的实施例中，所述心跳识别模块是根据心脏搏动促使血液的流动，引起皮肤下的血管的容积随心脏呈脉动性变化，入射光的光程也会随之发生改变，以及血液对不同波段的光束的吸收作用不同，从而引起表层皮肤的颜色和形状变化，因此，反射光被摄像机接收到形成彩色的视频图像，采集到的视频中的每帧图像在红、绿、蓝三颜色通道的亮度变化包含脉动信息，即彩色视频中含有心率信息。

在进一步的实施例中，所述摄像机的使用信息及使用状态包括：摄像机的支持名称/地址关键字、网络协议搜索和是否启动筛选。

在进一步的实施例中，所述表情告警阀值设置“开始告警”的表情计分值，心率告警阀值设置最低值50、最高值90，不在该范围内均报警，规则默认同步全部摄像头，选择仅当前摄像头时，与摄像显示界面的摄像头保持统一，保存告警规则。

在进一步的实施例中，具体包括以下步骤：

S1启动程序后，默认进入微表情识别页面，在无摄像头情况下，默认为空页面；

S2首页展示选择的视频源，可切换开启的摄像头，若视频中无画面接入，则提醒用户检测摄像头接入是否正常；

S3正常接入视频后，视频右侧展示表情计分实时变化图，即当前时刻各表情的分值；

S4当结束对视频的识别后，即点击“停止识别”后，弹出“是否保存录制视频”弹出框，录制视频从“开始识别”到“停止识别”时间段，以“年月日时分秒”时间命名；

S5点击“确定”，开始下载视频，下载视频可“取消下载”，关闭弹框，点击“确定”录制视频，则系统自动开始录制视频，展示录制进度条，录制完成时，展示视频保存路径；

S6点击“回放”按钮，支持视频播放；

S7对识别后的内容可进行告警筛选，包括微表情告警、心率告警，筛选后，则只展示告警的列表内容；

S8点击“停止识别”后，波动图停止波动，当前时间显示为“停止识别时间”，滚动条支持这次识别过程的数据查看，鼠标悬浮在图表上，出现“下载图表”按钮，点击，保存波状图，弹框提示图表已保存，并给出图表本地路径，点击“打开”按钮，可查看图表图片。

本发明的有益效果：通过精神生理学层面上人的行为表现和人的动作之间的联系，思维和肌肉运动之间存在的相关性，来对人的行为和意识进行识别分析。其通过前端摄像机图像采集分析人的脸部细微肌肉抖动（颤动）并进行捕捉，然后依据人的前庭情感反射功能和生理学以及心理学等关联性反应的参数值来分析并识别潜在的高危可疑人物；检测速度快、处理能力强、检查效率高；远程检查无接触、对目标隐秘、友好；精准度高、出错概率低。

附图说明

图1为本发明显示平台图。

图2为本发明中的心跳识别信号图。

图3为本发明中的算法网络架构的结构示意图。

图4为本发明中的脉搏信号特征示意图。

具体实施方式

下面结附图说明对本发明做进一步的描述。

一种人体面部微表情分析研判的系统，包括显示平台和摄像机，所述显示平台还与打印机的输入端通讯连接。

如图1所示，所述显示平台设置有首页显示界面、摄像显示界面、告警设置界面和人员管理界面；所述首页显示界面从上至下依次设置有视频显示界面、表情显示界面和心率显示界面；所述表情显示界面分为左右两部分，左侧为表情记录列表，包括告警色块、表情分值、持续时间、识别时间，同时在右侧以图形形式展示；心率显示界面记录心率波动情况，将心率波动以图形式展示，左侧展示心率的告警列表，包括心率值、心率持续时间、开始时间，并记录各个心率值的脸部截图，右侧将心率值以图形形式展示。

所述首页显示界面与数据处理模块的输出端通讯连接，所述数据处理模块的输入端与所述摄像机导线连接；所述数据处理模块包括基于微表情算法的微表情识别模块和心跳识别模块；所述微表情算法包括频率和幅度分析、直方图分析和安全阀值。所述微表情识别模块是基于八种基本表情的识别：自然状态、高兴、悲伤、愤怒、惊讶、害怕、厌恶和轻蔑以柱状图形式实时显示不同时刻的表情的强弱程度。所述首页显示界面与数据处理模块的输出端通讯连接，所述数据处理模块的输入端与所述摄像机导线连接；所述数据处理模块包括基于微表情算法的微表情识别模块和心跳识别模块。

其中，微表情算法包括频率和幅度分析、直方图分析和安全阀值。

频率和幅度分析

通过人的行为和细微动作，运用视频处理计算个人压力、侵略性和焦虑度，通过摄像机和电脑计算动作的频率和振幅，可以判断人的潜在犯罪意图，通过摄像机测量头部微小运动的振幅和频率，并基于振幅和频率评估当前个体的安全状态。

直方图分析

在时间间隔（默认为10秒）之内显示一次运动频率的分布。通过对直方图的分析，可以判断出受测者的精神状态和暴力倾向，超过一定阀值就触动告警系统，将该人从人群中区别出来，实施进一步安检措施。

安全阀值

安检系统设置安全状态阀值，超出阈值意味着旅客的情绪和行为有异于常人,那么该旅客需要进行进一步安全检查。

达到以下微表情算法目标：1、微表情识别：本算法 8 种基本表情识别：自然状态（Neutral）、高兴（Happy）、悲伤（Sad）、愤怒（Angry）、惊讶（Surprised）、害怕（Scarer）、厌恶（Disgusted）、轻蔑（Contempt）表情强度对话框（Expression Intensity）以柱状图形式实时显示不同时刻 8 种表情的强弱程度。

2、面向视频的心跳识别：由于心脏搏动促使血液的流动，引起皮肤下的血管的容积随心脏呈脉动性变化，入射光的光程也会随之发生改变，以及血液对不同波段的光束的吸收作用不同，从而引起表层皮肤的颜色和形状变化，因此，反射光被摄像机接收到形成彩色的视频图像，采集到的视频中的每帧图像在红、绿、蓝三颜色通道的亮度变化包含脉动信息，特别是绿色通道的图像信号最能够反映心血管活动中心脏搏动的时间变化及其周期，即彩色视频中含有心率信息，如图2所示。

人体面部微表情分析系统、研究、判断的系统中的微表情算法系统包括：1、图像分类技巧

由于可供算力的大规模提升，识别图片的算法也迎来爆发式变革。在图片分类方面主要有两方技术：（1）基于特征提取的传统方法，将图片分割成多个元素进行目标分类（2）另一种方式，则是利用神经网络实现自学习的图像分类。当数据较少的情况，传统方式和神经网络自学习的方式效果差不多，但，当提供大量的训练数据以及足够算力的条件下，基于神经网络的算法性能和准确率得到显著提升。

2、算法数据环境

训练数据集：采用 FERC-2013(脸部表情识别比赛数据集)，CK+(Extended Cohn-Kanade)和 RaFD(Radbound Faces Database) 等等的混合数据集，供12万张表情图片。

3、算法网络架构

神经网络架构在训练阶段架构在 TensorFlow+Keras 框架之上，采用7层网络，其中包括3个maxpooling层，3个卷积层，1个全连接层，如图3所示。

4、心率算法介绍

人体脉搏信号的时域波形可以简单直观地反映人体脉相，独特的频域特征蕴含着丰富的脉搏信息，因此分析脉搏信号的时域波形和频域特征十分必要。

人体脉搏是由于心脏的收缩舒张进而改变动脉系统的压力和血流量产生的。大约每分钟70到80次是成年人的心跳频率，一般情况下，正常的心跳频率是在60到100次之间的。另外，安静时的心跳频率低于劳动时的心跳频率，男性低于女性的心跳频率，大人低于孩子的心跳频率，据医学统计，新生儿每分钟可以跳到150次。每分钟脉搏的次数即为脉率，脉率不同，所对应的脉相也就不相同。不同的脉相反映着人体不同的生理和病理特征，所以临床医学可以通过实时检测脉搏来诊断人体健康状况。

人体脉搏信号的一个完整波形包括两部分，即升支和降支。脉搏波形的上支形成于心室快速射血期，是因为这时动脉血压上升较快，血管壁得到了扩张。对于后期的心室射血，由于射血的速度将会减慢，主动脉向外流出的血量比进入主动脉的血量要多，进而会回缩扩张的大动脉、降低动脉血压，最终下降支的前段 在脉搏波形中形成。下降支剩余部分是在下降支的前段形成之后，随着心室舒张，动脉血压进一步下降而出现的。出现在下降支的小波称为降中波，也叫重博波。人体脉搏波形有三个特征点，即主波 A、重波波谷 B 和重波波峰 C。人体不同的生理病理变化将由A、B、C 这三个特征点在脉搏波压力曲线上的变化反映出来。

从图4中可以看出动脉血压在一个心动周期中随时间的脉动变化反映在脉搏波的波形和幅值的变化上。可视化运动发生在不同的振幅、空间和时间频率上。虽然较小的运动是难以看的见的，但是却包含着周围世界的重要信息，比如物体的较小形变，平衡过程的微调或系统对强迫压力下的反应。

有了感兴趣的信号之后就可以直接计算心率了，考虑到视频中由于心跳所带来的微小变化也会有跟心率一样的频率，所以数出的这部分信号的峰值个数就是所录视频期间的心跳次数。

所述摄像显示界面与所述摄像机通讯连接，所述摄像机显示界面用于记录并展示摄像机的使用信息及使用状态；所述摄像机的使用信息及使用状态包括： 1）支持名称/地址关键字、网络协议搜索、是否启动筛选；2）列表信息：序号、摄像头名称、摄像头地址、网络协议、启动状态；3）操作支持：启动/关闭摄像头、开始识别（跳转首页）、告警设置（弹出告警设置框）、删除。还可以新建摄像头：表单填写：摄像头名称、摄像头地址、网络协议、是否启动（默认启动）

所述告警设置界面包括需告警的表情、表情告警阈值、心率告警阈值以及同步规则。所述表情告警阀值设置“开始告警”的表情计分值，心率告警阀值设置最低值50、最高值90，不在该范围内均报警，规则默认同步全部摄像头，选择仅当前摄像头时，与摄像显示界面的摄像头保持统一，保存告警规则。

具体的告警设置包括以下步骤：1）点击“告警设置”菜单项，界面中心弹出“设置告警规则框”，如图为默认值；2）表情告警阀值设置“开始告警”的表情计分值，例如超过80开始告警；3）心率告警阀值设置最低、最高值，默认50~90，不在该范围内均报警；4）规则默认同步全部摄像头，选择仅当前摄像头时，与识别界面摄像头保持统一；5）保存告警规则，立即生效。

本人体面部微表情分析系统、研究、判断的系统具体包括以下步骤：

S1启动程序后，默认进入微表情识别页面，在无摄像头情况下，默认为空页面；

S2首页展示选择的视频源，可切换开启的摄像头，若视频中无画面接入，则提醒用户检测摄像头接入是否正常；

S3正常接入视频后，视频右侧展示表情计分实时变化图，即当前时刻各表情的分值；

S4当结束对视频的识别后，即点击“停止识别”后，弹出“是否保存录制视频”弹出框，录制视频从“开始识别”到“停止识别”时间段，以“年月日时分秒”时间命名；

S5点击“确定”，开始下载视频，下载视频可“取消下载”，关闭弹框，点击“确定”录制视频，则系统自动开始录制视频，展示录制进度条，录制完成时，展示视频保存路径；

S6点击“回放”按钮，支持视频播放；

S7对识别后的内容可进行告警筛选，包括微表情告警、心率告警，筛选后，则只展示告警的列表内容；

S8点击“停止识别”后，波动图停止波动，当前时间显示为“停止识别时间”，滚动条支持这次识别过程的数据查看，鼠标悬浮在图表上，出现“下载图表”按钮，点击，保存波状图，弹框提示图表已保存，并给出图表本地路径，点击“打开”按钮，可查看图表图片。

Claims (8)

1.一种人体面部微表情分析研判的系统，其特征在于，包括显示平台和摄像机，所述显示界面设置有首页显示界面、摄像显示界面、告警设置界面和人员管理界面；

所述首页显示界面与数据处理模块的输出端通讯连接，所述数据处理模块的输入端与所述摄像机导线连接；所述数据处理模块包括基于微表情算法的微表情识别模块和心跳识别模块；

所述摄像显示界面与所述摄像机通讯连接，所述摄像机显示界面用于记录并展示摄像机的使用信息及使用状态；

所述告警设置界面包括需告警的表情、表情告警阈值、心率告警阈值以及同步规则。

2.根据权利要求1所述的一种人体面部微表情分析研判的系统，其特征在于，所述首页显示界面从上至下依次设置有视频显示界面、表情显示界面和心率显示界面；所述表情显示界面分为左右两部分，左侧为表情记录列表，包括告警色块、表情分值、持续时间、识别时间，同时在右侧以图形形式展示；心率显示界面记录心率波动情况，将心率波动以图形式展示，左侧展示心率的告警列表，包括心率值、心率持续时间、开始时间，并记录各个心率值的脸部截图，右侧将心率值以图形形式展示。

3.根据权利要求1所述的一种人体面部微表情分析研判的系统，其特征在于，所述微表情算法包括频率和幅度分析、直方图分析和安全阀值。

4.根据权利要求1所述的一种人体面部微表情分析研判的系统，其特征在于，所述微表情识别模块是基于八种基本表情的识别：自然状态、高兴、悲伤、愤怒、惊讶、害怕、厌恶和轻蔑以柱状图形式实时显示不同时刻的表情的强弱程度。

5.根据权利要求1所述的一种人体面部微表情分析研判的系统，其特征在于，所述心跳识别模块是根据心脏搏动促使血液的流动，引起皮肤下的血管的容积随心脏呈脉动性变化，入射光的光程也会随之发生改变，以及血液对不同波段的光束的吸收作用不同，从而引起表层皮肤的颜色和形状变化，因此，反射光被摄像机接收到形成彩色的视频图像，采集到的视频中的每帧图像在红、绿、蓝三颜色通道的亮度变化包含脉动信息，即彩色视频中含有心率信息。

6.根据权利要求1所述的一种人体面部微表情分析研判的系统，其特征在于，所述摄像机的使用信息及使用状态包括：摄像机的支持名称/地址关键字、网络协议搜索和是否启动筛选。

7.根据权利要求1所述的一种人体面部微表情分析研判的系统，其特征在于，所述表情告警阀值设置“开始告警”的表情计分值，心率告警阀值设置最低值50、最高值90，不在该范围内均报警，规则默认同步全部摄像头，选择仅当前摄像头时，与摄像显示界面的摄像头保持统一，保存告警规则。

8.根据权利要求1所述的一种人体面部微表情分析研判的系统，其特征在于，具体包括以下步骤：

S1启动程序后，默认进入微表情识别页面，在无摄像头情况下，默认为空页面；

S2首页展示选择的视频源，可切换开启的摄像头，若视频中无画面接入，则提醒用户检测摄像头接入是否正常；

S3正常接入视频后，视频右侧展示表情计分实时变化图，即当前时刻各表情的分值；

S4当结束对视频的识别后，即点击“停止识别”后，弹出“是否保存录制视频”弹出框，录制视频从“开始识别”到“停止识别”时间段，以“年月日时分秒”时间命名；

S5点击“确定”，开始下载视频，下载视频可“取消下载”，关闭弹框，点击“确定”录制视频，则系统自动开始录制视频，展示录制进度条，录制完成时，展示视频保存路径；

S6点击“回放”按钮，支持视频播放；

S7对识别后的内容可进行告警筛选，包括微表情告警、心率告警，筛选后，则只展示告警的列表内容；

S8点击“停止识别”后，波动图停止波动，当前时间显示为“停止识别时间”，滚动条支持这次识别过程的数据查看，鼠标悬浮在图表上，出现“下载图表”按钮，点击，保存波状图，弹框提示图表已保存，并给出图表本地路径，点击“打开”按钮，可查看图表图片。