CN109766859B - 基于微表情的校园监控方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种基于微表情的校园监控方法，根据第一时间间隔定时采集M幅第一目标人脸图像；将每一第一目标人脸图像输入到表情识别模型中，得到每一第一目标人脸图像的微表情识别单元；判断每一第一目标人脸图像的微表情识别单元是否存在风险微表情单元；若存在风险微表情单元，则根据对应的终端标识和时间点信息获取风险视频数据；采用NLP识别算法对风险视频数据进行识别，得到风险文本信息；对风险文本信息和预设关键词进行关键词匹配，根据匹配结果得到风险信息；若风险信息为存在风险，则发出预警信息，保证了对校园中出现的险情的及时有效地预警。本发明还公开了一种基于微表情的校园监控装置及相关计算机设备及存储介质。

Description

基于微表情的校园监控方法、装置、设备及存储介质

技术领域

本发明涉及微表情识别领域，尤其涉及一种基于微表情的校园监控方法、装置、设备及存储介质。

背景技术

随着国内教育体制的改革，各社会人士开始越来越重视学校的教育，然而在当今的校园中却时常有不安全事故的发生。目前有采取通过扩大安保队伍，定时巡逻校园每个角落，当发现问题时，及时反馈并解决。但是通过上述方式不能实现24小时监控，通过肉眼巡视很也容易产生疲劳，而且产生的人员成本也越高。或者，通过在学校各个出入口、公共区域安视频监控装置机，然后把监控数据传输到存储设备并同步到监控中心实时显示，然而当前的校园监控，只能是在一些校园负面事件的事后起到证据的作用，没法实现实时监控，以进行及时地制止，导致了一些不好的场面发生。

发明内容

本发明实施例提供一种基于微表情的校园监控方法、装置、计算机设备及存储介质，以解决无法对校园实行实时监控的问题。

一种基于微表情的校园监控方法，包括：

根据第一时间间隔定时采集M幅第一目标人脸图像，每一所述第一目标人脸图像包括时间点信息和终端标识，M为正整数；

将每一所述第一目标人脸图像输入到表情识别模型中，得到每一所述第一目标人脸图像的微表情识别单元；

判断每一所述第一目标人脸图像的微表情识别单元是否存在风险微表情单元；

若存在风险微表情单元，则根据存在风险微表情单元的第一目标人脸图像对应的终端标识和时间点信息获取风险视频数据；

采用NLP识别算法对所述风险视频数据进行识别，得到风险文本信息；

将所述风险文本信息和预设关键词进行关键词匹配，根据匹配结果得到风险信息；

若所述风险信息为存在风险，则发出预警信息。

一种基于微表情的校园监控装置，包括：

第一定时采集模块，用于根据第一时间间隔定时采集M幅第一目标人脸图像，每一所述第一目标人脸图像包括时间点信息和终端标识，M为正整数；

表情识别模块，用于将每一所述第一目标人脸图像输入到表情识别模型中，得到每一所述第一目标人脸图像的微表情识别单元；

第一风险微表情判断模块，用于判断每一所述第一目标人脸图像的微表情识别单元是否存在风险微表情单元；

第一风险视频数据获取模块，用于在存在风险微表情单元时，则根据存在风险微表情单元的第一目标人脸图像对应的终端标识和时间点信息获取风险视频数据；

第一风险文本信息获取模块，用于采用NLP识别算法对所述风险视频数据进行识别，得到风险文本信息；

风险信息获取模块，用于将所述风险文本信息和预设关键词进行关键词匹配，根据匹配结果得到风险信息；

第二预警信息发送模块，用于在所述风险信息为存在风险时，则发出预警信息。

一种基于微表情的校园监控方法，包括：

根据第一时间间隔定时采集M幅第一目标人脸图像，每一所述第一目标人脸图像包括时间点信息和终端标识，M为正整数；

将每一所述第一目标人脸图像输入到表情识别模型中，得到每一所述第一目标人脸图像的微表情识别单元；

判断每一所述第一目标人脸图像的微表情识别单元是否存在风险微表情单元；

若存在风险微表情单元，则根据存在风险微表情单元的第一目标人脸图像对应的对应的终端标识和时间点信息获取风险视频数据；

采用NLP识别算法对所述风险视频数据进行识别，得到风险文本信息；

对所述风险文本信息和预设关键词进行关键词匹配，根据匹配结果得到关键词风险评分；

对所述风险视频数据进行分帧处理，得到N幅待识别风险图像，将每一所述待识别风险图像输入到表情识别模型中，得到每一所述待识别风险图像的微表情识别单元；

统计每一所述待识别风险图像的微表情识别单元中属于风险微表情单元的比例，得到微表情风险评分；

根据所述关键词风险评分和微表情风险评分得到风险评分；

若所述风险评分超过预设的风险阈值，则发出预警信息。

一种基于微表情的校园监控装置，包括：

第二定时采集模块，用于根据第一时间间隔定时采集M幅第一目标人脸图像，每一所述第一目标人脸图像包括时间点信息和终端标识，M为正整数；

第二表情识别模块，用于将每一所述第一目标人脸图像输入到表情识别模型中，得到每一所述第一目标人脸图像的微表情识别单元；

第二风险微表情判断模块，用于判断每一所述第一目标人脸图像的微表情识别单元是否存在风险微表情单元；

第二风险视频数据获取模块，用于在存在风险微表情单元时，则根据存在风险微表情单元的第一目标人脸图像对应的终端标识和时间点信息获取风险视频数据；

第二风险文本信息获取模块，用于采用NLP识别算法对所述风险视频数据进行识别，得到风险文本信息；

关键词风险评分获取模块，用于对所述风险文本信息和预设关键词进行关键词匹配，根据匹配结果得到关键词风险评分；

视频分帧模块，用于对所述风险视频数据进行分帧处理，得到N幅待识别风险图像，将每一所述待识别风险图像输入到表情识别模型中，得到每一所述待识别风险图像的微表情识别单元，N为正整数；

微表情风险评分获取模块，用于统计每一所述待识别风险图像的微表情识别单元中属于风险微表情单元的比例，得到微表情风险评分；

风险评分获取模块，用于根据所述关键词风险评分和微表情风险评分得到风险评分；

第三预警信息发送模块，用于在所述风险评分超过预设的风险阈值时，则发出预警信息。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于微表情的校园监控方法。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于微表情的校园监控方法。

上述基于微表情的校园监控方法、装置、计算机设备及存储介质中，根据第一时间间隔定时采集M幅第一目标人脸图像，每一第一目标人脸图像包括时间点信息和终端标识；将每一第一目标人脸图像输入到表情识别模型中，得到每一第一目标人脸图像的微表情识别单元；判断每一第一目标人脸图像的微表情识别单元是否存在风险微表情单元；若存在风险微表情单元，则根据存在风险微表情单元的第一目标人脸图像对应的终端标识和时间点信息获取风险视频数据；采用NLP识别算法对风险视频数据进行识别，得到风险文本信息；对风险文本信息和预设关键词进行关键词匹配，根据匹配结果得到风险信息；若风险信息为存在风险，则发出预警信息。采用微表情识别和语音识别来进行综合判断，保证了对校园中出现的险情的及时有效地预警。

上述基于微表情的校园监控方法、装置、计算机设备及存储介质中，首先根据第一时间间隔定时采集M幅第一目标人脸图像，每一第一目标人脸图像包括时间点信息和终端标识；将每一第一目标人脸图像输入到表情识别模型中，得到每一第一目标人脸图像的微表情识别单元；判断每一第一目标人脸图像的微表情识别单元是否存在风险微表情单元；若存在风险微表情单元，则根据对应的终端标识和时间点信息获取风险视频数据。采用NLP识别算法对风险视频数据进行识别，得到风险文本信息；对风险文本信息和预设关键词进行关键词匹配，根据匹配结果得到关键词风险评分；对风险视频数据进行分帧处理，得到N幅待识别风险图像，将每一待识别风险图像输入到表情识别模型中，得到每一待识别风险图像的微表情识别单元；统计每一待识别风险图像的微表情识别单元中属于风险微表情单元的比例，得到微表情风险评分；根据关键词风险评分和微表情风险评分得到风险评分。若风险评分超过预设的风险阈值，则发出预警信息。该方法将微表情和语音识别进行结合，综合两个因素进行监控，保证了对校园中出现的险情的及时有效地预警。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中基于微表情的校园监控方法的一应用环境示意图；

图2是本发明一实施例中基于微表情的校园监控方法的一示例图；

图3是本发明一实施例中基于微表情的校园监控方法的另一示例图；

图4是本发明一实施例中基于微表情的校园监控方法的另一示例图；

图5是本发明一实施例中基于微表情的校园监控方法的另一示例图；

图6是本发明一实施例中基于微表情的校园监控方法的另一示例图；

图7是本发明一实施例中基于微表情的校园监控装置的一原理框图；

图8是本发明一实施例中基于微表情的校园监控装置的另一原理框图；

图9是本发明一实施例中基于微表情的校园监控装置的另一原理框图；

图10是本发明一实施例中计算机设备的一示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的基于微表情的校园监控方法，可应用在如图1的应用环境中，其中，客户端(计算机设备)通过网络与服务端进行通信。客户端定时发送第一目标人脸图像到服务端，服务端将每一第一目标人脸图像输入到表情识别模型中，得到每一第一目标人脸图像的微表情识别单元；判断每一第一目标人脸图像的微表情识别单元是否存在风险微表情单元；若存在风险微表情单元，则根据存在风险微表情单元的第一目标人脸图像对应的终端标识和时间点信息获取风险视频数据；采用NLP识别算法对风险视频数据进行识别，得到风险文本信息；对风险文本信息和预设关键词进行关键词匹配，根据匹配结果得到风险信息；若风险信息为存在风险，则发出预警信息。其中，客户端(计算机设备)可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑、图像采集设备和便携式可穿戴设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一实施例中，如图2所示，提供一种基于微表情的校园监控方法，以该方法应用在图1中的服务端为例进行说明，包括如下步骤：

S10：根据第一时间间隔定时采集M幅第一目标人脸图像，每一第一目标人脸图像包括时间点信息和终端标识，M为正整数。

其中，第一时间间隔是一个预设的时间段，具体可以根据实际需要设置，例如30秒、1分钟、3分钟、5分钟、8分钟或者10分钟。而第一目标人脸图像是指图像或者视频采集装置采集的包含人脸图像的图像数据。可以通过在特定位置中设置多个摄像头，每一摄像头采集一固定区域中的人脸图像，以实现对M幅第一目标人脸图像的采集，M为正整数。可以理解地，摄像头个数越多，采集精度就越高。在一个具体实施方式中，该方案应用在幼儿园的儿童安全监控中，可以在幼儿园的不同位置设置摄像头，以尽可能进行全方位的覆盖，保证对整个幼儿园的有效监控。

可选地，摄像头采集的是视频数据，而人脸图像为视频数据通过预定的帧率进行分帧之后获得。进一步地，若视频采集装置采集的是视频数据，则可以根据第一时间间隔定时从视频采集装置采集的视频数据中截取得到第一目标人脸图像。具体地，服务端可以通过截屏的方式从视频数据中提取第一目标人脸图像。可以通过OpenCV来实现获取人脸图像的过程，OpenCV提供了一个简便易用的框架以提取视频文件中的图像帧。示例性地，采用VideoCapture类来进行视频读取和写入的操作。首先采用VideoCapture类中的cap＝cv2.VideoCapture()函数显示对应的视频数据，再通过VideoCapture类中的cap.read()函数按预设的帧率读取视频数据，cap.read()函数的返回值有两个：ret和frame。其中，ret是布尔值，如果读取帧是正确的则返回True，如果该视频数据已经读取到结尾，它的返回值就为False，即可以通过cap.read()函数的返回值来判断该视频数据是否读取完毕。frame就是当前截取的图像，其可以为一个三维矩阵。可以理解地，上述从视频数据中截取第一目标人脸图像的步骤也可以在客户端实现，客户端通过上述方式截取得到第一目标人脸图像之后，将截取得到的第一目标人脸图像发送到服务端。

在采集的第一目标人脸图像中，该第一目标人脸图像包括时间点信息和终端标识。其中，时间点信息是指该第一目标人脸图像的实际采集时间，或者该第一目标人脸图像在视频采集装置采集的视频数据中的对应时间点。终端标识用于区分不同的采集装置(例如：摄像头)，以更好地对第一目标人脸图像的来源进行定位。

S20：将每一第一目标人脸图像输入到表情识别模型中，得到每一第一目标人脸图像的微表情识别单元。

表情识别模型是用于判断当前图像中人脸情绪的识别模型，该表情识别模型可以判断当前图像中人脸对应于预设的多种情绪的概率值，若某种情绪的概率值超过对应的预设阈值，则得到该标准人脸图像对应的情绪即为第一识别结果。例如，在本实施例中，针对于幼儿园的监控情景，可以将表情识别模型中的情绪设定为恐惧、愤怒、悲伤、平静、开心或者痛苦等。具体地，可以预先采集分别代表预先设定的情绪的大量视频数据或图像数据进行标注，形成视频数据集获取图像数据集，然后选择对应的神经网络模型或者分类器进行训练，最终得到表情识别模型。在得到第一目标人脸图像之后，将每一第一目标人脸图像输入到表情识别模型中进行识别，得到每一第一目标人脸图像的微表情识别单元。

S30：判断每一第一目标人脸图像的微表情识别单元是否存在风险微表情单元。

其中，风险微表情单元为预先设定的表示存在风险的微表情单元，示例性地，可以将不安、紧张、焦虑、愤怒、悲伤、痛苦和恐惧等微表情单元设定为风险微表情单元。可以理解地，上述举例仅是一个示例性的说明，具体的风险微表情单元可以根据不同的实际需要或者场景进行设定。

在该步骤中，判断每一第一目标人脸图像的微表情识别单元是否有存在属于风险微表情单元中的微表情具体可以通过将微表情识别单元和预设的风险微表情的单元进行匹配而实现。

S40：若存在风险微表情单元，则根据存在风险微表情单元的第一目标人脸图像对应的终端标识和时间点信息获取风险视频数据。

风险视频数据为需要进一步确认是否存在风险的视频数据。在该步骤中，若存在风险微表情单元，则根据存在风险微表情单元的第一目标人脸图像对应的终端标识和时间点信息获取风险视频数据。具体地，根据存在风险微表情单元的第一目标人脸图像对应的终端标识和时间点信息获取风险视频数据，可以包括如下步骤：

S50：采用NLP识别算法对风险视频数据进行识别，得到风险文本信息。

其中，自然语言处理(NLP)是机器学习的应用之一，用于分析、理解和生成自然语言，以便人类与计算机，人类与人类更好的交流。可选地，NLP识别算法可以采用基于动态时间规整(DTW)、技术隐马尔可夫模型(HMM)或者人工神经网络(ANN)来实现。通过NLP识别算法对风险视频数据进行识别，得到风险视频数据的语音文本，即风险文本信息。

S60：将风险文本信息和预设关键词进行关键词匹配，根据匹配结果得到风险信息。

其中，预设关键词为预先设置的预设数量的关键词，这些关键词可以是一些敏感词汇，例如：带有辱骂意向的词汇，带有痛苦或者抗拒类的词汇等。具体词汇可以根据实际需要进行预先采集或者设定。然后判断风险文本信息中是否存在预设关键词中对应的词汇，匹配结果可以包括风险文本信息中包含的预设关键词的数量或者比例，还可以包括具体的词汇。然后根据匹配结果中预设关键词的数量或者比例得到风险信息。具体地，可以预先设定一个数量阈值或者比例阈值，当匹配结果中包含的预设关键词的数量或者比例超过数量阈值或者比例阈值时，则输出存在风险的风险信息。否则，输出不存在风险的风险信息。

S70：若风险信息为存在风险，则发出预警信息。

若风险信息为存在风险，则发出预警信息。其中预警信息为一个提示信息，提示对应位置可能有险情发送，提示相关人员及时赶到进行处理。可选地，预警信息可以发到特定的终端，或者通过语音或者光电信号进行提示。具体地，该预警信息还包括终端标识，以更好地对险情发生的位置进行提示。

在本实施例中，根据第一时间间隔定时采集M幅第一目标人脸图像，每一第一目标人脸图像包括时间点信息和终端标识；将每一第一目标人脸图像输入到表情识别模型中，得到每一第一目标人脸图像的微表情识别单元；判断每一第一目标人脸图像的微表情识别单元是否存在风险微表情单元；若存在风险微表情单元，则根据存在风险微表情单元的第一目标人脸图像对应的终端标识和时间点信息获取风险视频数据；采用NLP识别算法对风险视频数据进行识别，得到风险文本信息；对风险文本信息和预设关键词进行关键词匹配，根据匹配结果得到风险信息；若风险信息为存在风险，则发出预警信息。采用微表情识别和语音识别来进行综合判断，保证了对校园中出现的险情的及时有效地预警。

在一个实施例中，如图3所示，将风险文本信息和预设关键词进行关键词匹配，根据匹配结果得到风险信息，具体包括如下步骤：

S61：若风险文本信息和预设关键词匹配成功，则匹配结果为存在敏感词，匹配结果还包括匹配时间。

在该步骤中，将风险文本信息和预设关键词进行匹配。若预设关键词为复数个，则只要任意一个预设关键词和风险文本信息匹配成功，则认为风险文本信息和预设关键词匹配成功。具体地，可以通过字符串匹配算法或者正则匹配公式来实现风险文本信息和预设关键词的匹配。若风险文本信息和预设关键词匹配成功，则匹配结果为存在敏感词。存在敏感词即是指风险文本信息中存在可能预示着异常情况的词汇。匹配时间是指该风险文本信息对应的风险视频数据实际对应的时间。进一步地，该匹配时间可以是风险文本信息中敏感词在风险视频数据中具体对应的时间点。

S62：根据匹配时间获取预设时间内风险视频数据的历史匹配信息，若历史匹配信息中存在敏感词的次数超过次数阈值，则风险信息为存在风险。

历史匹配信息是指已经和预设关键词匹配过的具体匹配信息，包括每次匹配中是否存在敏感词以及具体的历史匹配时间。预设时间是预先设定的一个时间值，该预设时间可以为30秒、1分钟、3分钟或者5分钟。根据匹配时间获取预设时间内风险视频数据的历史匹配信息即是指获取在匹配时间之前预设时间内该风险视频数据的历史匹配信息。而次数阈值也是一个预设值，可选地，次数阈值可以为3、5、7或者9等。该次数阈值可以根据预设时间来对应调整，可以理解地，预设时间越长，该次数阈值的数值一般越大。若该风险视频数据的历史匹配信息中存在敏感词的次数超过次数阈值，则说明在短时间内出现敏感词的频率较高，因此输出存在风险的风险信息。

在本实施例中，若风险文本信息和预设关键词匹配成功，则匹配结果为存在敏感词；根据匹配时间获取预设时间内风险视频数据的历史匹配信息，若历史匹配信息中存在敏感词的次数超过次数阈值，则风险信息为存在风险。通过查询历史匹配信息来进一步保证监控的准确性。

在一个实施例中，如图4所示，在若存在风险微表情单元，则根据对应的终端标识和时间点信息获取风险视频数据之后，该基于微表情的校园监控方法还包括如下步骤：

S50’：对风险视频数据进行分帧处理，得到N幅待识别风险图像，将每一待识别风险图像输入到表情识别模型中，得到每一待识别风险图像的微表情识别单元，N为正整数。

在该步骤中，对风险视频数据进行分帧处理，得到N幅待识别风险图像。具体地，预先设定一定的帧率或者帧数之后，按照预设的帧率和帧数对每一待审核视频数据进行分帧处理，即得到对应的N幅待识别风险图像。帧率或者帧数越高，N幅待识别风险图像的数量就越多(即N的数值越大)，后续得到的审核信息就越精确，相应地，服务端地计算消耗会越高，整体效率会降低。因此，可以根据实际精度和效率需要来设定帧率和帧数。

在得到风险视频数据的N幅待识别风险图像之后，将N幅待识别风险图像输入到微表情识别模型中进行识别，即得到每一所述待识别风险图像的微表情识别单元。其中，微表情识别单元用于指示对应的微表情图像属于何种微表情。

S60’：统计每一待识别风险图像的微表情识别单元中属于风险微表情单元的比例，得到风险比例。

通过N幅待识别风险图像中微表情识别单元属于风险微表情单元的数量，并且根据数量得到风险比例。具体地，将统计后得到的数量除以待识别风险图像的数量N，即得到风险比例。

S70’：若风险比例超过预设阈值，则发出预警信息。

预设阈值为预先设定的一个比例阈值，例如：20％、30％或者40％。在得到风险比例之后，判断风险比例和比例阈值的关系，若风险比例超过预设阈值，则发出预警信息。

在本实施例中，在得到风险视频数据之后，对风险视频数据进行分帧处理，得到N幅待识别风险图像，将每一待识别风险图像输入到表情识别模型中，得到每一待识别风险图像的微表情识别单元；统计每一待识别风险图像的微表情识别单元中属于风险微表情单元的比例，得到风险比例；若风险比例超过预设阈值，则发出预警信息。在初步得到风险视频数据之后，对风险视频数据中的微表情进行进一步的分析，以得到预警信息，保证了对校园中出现的险情的及时有效地预警。

在一个实施例中，如图5所示，根据对应的终端标识和时间点信息获取风险视频数据，具体包括如下步骤：

S41：根据终端标识获取到对应的原始视频数据。

在该步骤中，根据终端标识获取到该终端标识对应的终端所采集的视频数据，即原始视频数据。

S42：根据时间点信息和预设时间段信息，获取对应的时间区间。

其中，预设时间段信息为一个预设的时间段，具体可以根据实际需要而设置，例如，该时间段信息可以为30秒、60秒或者90秒等。在得到时间点信息和预设时间段信息之后，将时间点信息往后取该预设时间段信息即得到了对应的时间区间。例如，若时间点信息3分20秒，该预设时间段信息为30秒，则对应的时间区间为[3分20秒,3分50秒]。

S43：根据时间区间从原始视频数据中进行视频截取，得到风险视频数据。

根据得到的时间区间，从原始视频数据中对应的时间段进行视频截取，即得到风险视频数据。例如，若时间区间为[3分20秒,3分50秒]，则将待检测视频中对应的[3分20秒,3分50秒]之间的视频数据截取下来，得到风险视频数据。

在一个具体实施方式中，可以采用FFmpeg来实现对风险视频数据的视频截取。其中，FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。

具体地，可以采用如下命令实现对风险视频数据的视频截取：

命令：ffmpeg -i<input>-ss 0 -t 10 -y<output>

其中，ss对应的是起始时间，t为持续时间，该命令意思为从0秒开始截取10秒的时间。可以根据时间区间得到起始时间SS和持续时间，再将这两个数值输入到上述命令中，以执行对待风险视频数据的视频截取。

在本实施例中，先根据终端标识获取到对应的原始视频数据；再根据时间点信息和预设时间段信息，获取对应的时间区间；根据时间区间从所述原始视频数据中进行视频截取，得到风险视频数据。进一步保证了风险视频数据获取的完整性，保证后续监控的准确性。

在一实施例中，如图6所示，提供一种基于微表情的校园监控方法，以该方法应用在图1中的服务端为例进行说明，包括如下步骤：

S110：根据第一时间间隔定时采集M幅第一目标人脸图像，每一第一目标人脸图像包括时间点信息和终端标识，M为正整数。

S120：将每一第一目标人脸图像输入到表情识别模型中，得到每一第一目标人脸图像的微表情识别单元。

S130：判断每一第一目标人脸图像的微表情识别单元是否存在风险微表情单元。

S140：若存在风险微表情单元，则根据存在风险微表情单元的第一目标人脸图像对应的终端标识和时间点信息获取风险视频数据。

S150：采用NLP识别算法对风险视频数据进行识别，得到风险文本信息。

具体地，上述步骤S110-S150和上述第一个实施例中的步骤S10-S50相同，在此不再赘述。

S160：对风险文本信息和预设关键词进行关键词匹配，根据匹配结果得到关键词风险评分。

其中，预设关键词为预先设置的预设数量的关键词，这些关键词可以是一些敏感词汇，例如：带有辱骂意向的词汇，带有痛苦或者抗拒类的词汇等。具体词汇可以根据实际需要进行预先采集或者设定。然后判断风险文本信息中是否存在预设关键词中对应的词汇，匹配结果可以包括风险文本信息中包含的预设关键词的数量或者比例，还可以包括具体的词汇。然后根据匹配结果中预设关键词的数量或者比例得到关键词风险评分。可以理解地，匹配结果中预设关键词的数量或者比例越高，对应的关键词风险评分则越高。

S170：对风险视频数据进行分帧处理，得到N幅待识别风险图像，将每一待识别风险图像输入到表情识别模型中，得到每一待识别风险图像的微表情识别单元，N为正整数。

具体地，该步骤和上述实施例中的步骤S50’相同，在此不再赘述。

S180：统计每一待识别风险图像的微表情识别单元中属于风险微表情单元的比例，得到微表情风险评分。

通过N幅待识别风险图像中微表情识别单元属于风险微表情单元的数量，并且根据数量得到风险比例。具体地，将统计后得到的数量除以待识别风险图像的数量N，即得到风险比例，再根据该风险比例得到微表情风险评分。可以理解地，风险比例越高，对应的微表情风险评分则越高。

S190：根据关键词风险评分和微表情风险评分得到风险评分。

具体地，将关键词风险评分和微表情风险评分进行直接或间接地相加，即得到风险评分。其中间接地相加可以体现为预先为关键词风险评分和微表情风险评分设置不同的权值，将关键词风险评分和微表情风险评分分别乘以对应的权值之后再进行叠加。即得到风险评分。

S200：若风险评分超过预设的风险阈值，则发出预警信息。

其中，风险阈值为一个预先设定的数值，若风险评分超过预设的风险阈值，则发出预警信息。其中预警信息为一个提示信息，提示对应位置可能有险情发送，提示相关人员及时赶到进行处理。可选地，预警信息可以发到特定的终端，或者通过语音或者光电信号进行提示。具体地，该预警信息还包括终端标识，以更好地对险情发生的位置进行提示。

在本实施例中，首先根据第一时间间隔定时采集M幅第一目标人脸图像，每一第一目标人脸图像包括时间点信息和终端标识；将每一第一目标人脸图像输入到表情识别模型中，得到每一第一目标人脸图像的微表情识别单元；判断每一第一目标人脸图像的微表情识别单元是否存在风险微表情单元；若存在风险微表情单元，则根据对应的终端标识和时间点信息获取风险视频数据。采用NLP识别算法对风险视频数据进行识别，得到风险文本信息；对风险文本信息和预设关键词进行关键词匹配，根据匹配结果得到关键词风险评分；对风险视频数据进行分帧处理，得到N幅待识别风险图像，将每一待识别风险图像输入到表情识别模型中，得到每一待识别风险图像的微表情识别单元；统计每一待识别风险图像的微表情识别单元中属于风险微表情单元的比例，得到微表情风险评分；根据关键词风险评分和微表情风险评分得到风险评分。若风险评分超过预设的风险阈值，则发出预警信息。该方法将微表情和语音识别进行结合，综合两个因素进行监控，保证了对校园中出现的险情的及时有效地预警。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在一实施例中，提供一种基于微表情的校园监控装置，该基于微表情的校园监控装置与上述实施例中基于微表情的校园监控方法一一对应。如图7所示，该基于微表情的校园监控装置包括第一定时采集模块10、第一表情识别模块20、第一风险微表情判断模块30、第一风险视频数据获取模块40、第一风险文本信息获取模块50、风险信息获取模块60和第一预警信息发送模块70。各功能模块详细说明如下：

第一定时采集模块10，用于根据第一时间间隔定时采集M幅第一目标人脸图像，每一所述第一目标人脸图像包括时间点信息和终端标识，M为正整数；

第一表情识别模块20，用于将每一所述第一目标人脸图像输入到表情识别模型中，得到每一所述第一目标人脸图像的微表情识别单元；

第一风险微表情判断模块30，用于判断每一所述第一目标人脸图像的微表情识别单元是否存在风险微表情单元；

第一风险视频数据获取模块40，用于在存在风险微表情单元时，则根据存在风险微表情单元的第一目标人脸图像对应的终端标识和时间点信息获取风险视频数据；

第一风险文本信息获取模块50，用于采用NLP识别算法对所述风险视频数据进行识别，得到风险文本信息；

风险信息获取模块60，用于将所述风险文本信息和预设关键词进行关键词匹配，根据匹配结果得到风险信息；

第一预警信息发送模块70，用于在所述风险信息为存在风险时，则发出预警信息。

优选地，风险信息获取模块60用于在风险文本信息和预设关键词匹配成功时，则匹配结果为存在敏感词，匹配结果还包括匹配时间；根据匹配时间获取预设时间内风险视频数据的历史匹配信息，若历史匹配信息中存在敏感词的次数超过次数阈值，则风险信息为存在风险。

优选地，该基于微表情的校园监控装置还包括

第一视频分帧模块，用于对风险视频数据进行分帧处理，得到N幅待识别风险图像，将每一待识别风险图像输入到表情识别模型中，得到每一待识别风险图像的微表情识别单元，N为正整数。

风险比例统计模块，用于统计每一待识别风险图像的微表情识别单元中属于风险微表情单元的比例，得到风险比例。

第二预警信息发送模块，用于在风险比例超过预设阈值时，则发出预警信息。

优选地，如图8所示，第一风险视频数据获取模块40包括原始视频数据获取单元41、时间区间获取单元42和视频截取单元43。

原始视频数据获取单元41，用于根据所述终端标识获取到对应的原始视频数据；

时间区间获取单元42，用于根据所述时间点信息和预设时间段信息，获取对应的时间区间；

视频截取单元43，用于根据所述时间区间从所述原始视频数据中进行视频截取，得到风险视频数据。

在一实施例中，提供一种基于微表情的校园监控装置，该基于微表情的校园监控装置与上述实施例中基于微表情的校园监控方法一一对应。如图9所示，该基于微表情的校园监控装置包括第二定时采集模块110、第二表情识别模块120、第二风险微表情判断模块130、第二风险视频数据获取模块140、第二风险文本信息获取模块150、关键词风险评分获取模块160、第二视频分帧模块170、微表情风险评分获取模块180、风险评分获取模块190和第三预警信息发送模块200。各功能模块详细说明如下：

第二定时采集模块110，用于根据第一时间间隔定时采集M幅第一目标人脸图像，每一所述第一目标人脸图像包括时间点信息和终端标识，M为正整数；

第二表情识别模块120，用于将每一所述第一目标人脸图像输入到表情识别模型中，得到每一所述第一目标人脸图像的微表情识别单元；

第二风险微表情判断模块130，用于判断每一所述第一目标人脸图像的微表情识别单元是否存在风险微表情单元；

第二风险视频数据获取模块140，用于在存在风险微表情单元时，则根据存在风险微表情单元的第一目标人脸图像对应的终端标识和时间点信息获取风险视频数据；

第二风险文本信息获取模块150，用于采用NLP识别算法对所述风险视频数据进行识别，得到风险文本信息；

关键词风险评分获取模块160，用于对所述风险文本信息和预设关键词进行关键词匹配，根据匹配结果得到关键词风险评分；

第二视频分帧模块170，用于对所述风险视频数据进行分帧处理，得到N幅待识别风险图像，将每一所述待识别风险图像输入到表情识别模型中，得到每一所述待识别风险图像的微表情识别单元，N为正整数；

微表情风险评分获取模块180，用于统计每一所述待识别风险图像的微表情识别单元中属于风险微表情单元的比例，得到微表情风险评分；

风险评分获取模块190，用于根据所述关键词风险评分和微表情风险评分得到风险评分；

第三预警信息发送模块200，用于在所述风险评分超过预设的风险阈值时，则发出预警信息。

关于基于微表情的校园监控装置的具体限定可以参见上文中对于基于微表情的校园监控方法的限定，在此不再赘述。上述基于微表情的校园监控装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储上述基于微表情的校园监控方法中使用到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于微表情的校园监控方法。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中基于微表情的校园监控方法。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中基于微表情的校园监控方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于微表情的校园监控方法，其特征在于，包括：

根据第一时间间隔定时采集M幅第一目标人脸图像，每一所述第一目标人脸图像包括时间点信息和终端标识，M为正整数；其中，预先在校园的不同位置设置多个摄像头，每一所述摄像头用于采集一固定区域中的所述第一目标人脸图像；

将每一所述第一目标人脸图像输入到表情识别模型中，得到每一所述第一目标人脸图像的微表情识别单元；

判断每一所述第一目标人脸图像的微表情识别单元是否存在风险微表情单元；

若存在风险微表情单元，则根据存在风险微表情单元的第一目标人脸图像对应的终端标识和时间点信息获取风险视频数据；

采用NLP识别算法对所述风险视频数据进行识别，得到风险文本信息；

将所述风险文本信息和预设关键词进行关键词匹配，根据匹配结果得到风险信息；

若所述风险信息为存在风险，则发出预警信息；

其中，所述将所述风险文本信息和预设关键词进行关键词匹配，根据匹配结果得到风险信息，包括：

若所述风险文本信息和预设关键词匹配成功，则所述匹配结果为存在敏感词，所述匹配结果还包括匹配时间；

根据所述匹配时间获取预设时间内所述风险视频数据的历史匹配信息，若历史匹配信息中存在敏感词的次数超过次数阈值，则风险信息为存在风险；

所述根据存在风险微表情单元的第一目标人脸图像对应的终端标识和时间点信息获取风险视频数据，具体包括：

根据所述终端标识获取到对应的原始视频数据；

根据所述时间点信息和预设时间段信息，获取对应的时间区间；

根据所述时间区间从所述原始视频数据中进行视频截取，得到风险视频数据。

2.如权利要求1所述的基于微表情的校园监控方法，其特征在于，在所述若存在风险微表情单元，则根据对应的终端标识和时间点信息获取风险视频数据之后，所述基于微表情的校园监控方法还包括：

对所述风险视频数据进行分帧处理，得到N幅待识别风险图像，将每一所述待识别风险图像输入到表情识别模型中，得到每一所述待识别风险图像的微表情识别单元，N为正整数；

统计每一所述待识别风险图像的微表情识别单元中属于风险微表情单元的比例，得到风险比例；

若所述风险比例超过预设阈值，则发出预警信息。

3.一种基于微表情的校园监控方法，其特征在于，包括：

根据第一时间间隔定时采集M幅第一目标人脸图像，每一所述第一目标人脸图像包括时间点信息和终端标识，M为正整数；其中，预先在校园的不同位置设置多个摄像头，每一所述摄像头用于采集一固定区域中的所述第一目标人脸图像；

将每一所述第一目标人脸图像输入到表情识别模型中，得到每一所述第一目标人脸图像的微表情识别单元；

判断每一所述第一目标人脸图像的微表情识别单元是否存在风险微表情单元；

若存在风险微表情单元，则根据存在风险微表情单元的第一目标人脸图像对应的终端标识和时间点信息获取风险视频数据；

采用NLP识别算法对所述风险视频数据进行识别，得到风险文本信息；

对所述风险文本信息和预设关键词进行关键词匹配，根据匹配结果得到关键词风险评分；

对所述风险视频数据进行分帧处理，得到N幅待识别风险图像，将每一所述待识别风险图像输入到表情识别模型中，得到每一所述待识别风险图像的微表情识别单元，N为正整数；

统计每一所述待识别风险图像的微表情识别单元中属于风险微表情单元的比例，得到微表情风险评分；

根据所述关键词风险评分和微表情风险评分得到风险评分；

若所述风险评分超过预设的风险阈值，则发出预警信息；

其中，所述根据存在风险微表情单元的第一目标人脸图像对应的终端标识和时间点信息获取风险视频数据，具体包括：

根据所述终端标识获取到对应的原始视频数据；

根据所述时间点信息和预设时间段信息，获取对应的时间区间；

根据所述时间区间从所述原始视频数据中进行视频截取，得到风险视频数据。

4.一种基于微表情的校园监控装置，其特征在于，包括：

第一定时采集模块，用于根据第一时间间隔定时采集M幅第一目标人脸图像，每一所述第一目标人脸图像包括时间点信息和终端标识，M为正整数；其中，预先在校园的不同位置设置多个摄像头，每一所述摄像头用于采集一固定区域中的所述第一目标人脸图像；

第一表情识别模块，用于将每一所述第一目标人脸图像输入到表情识别模型中，得到每一所述第一目标人脸图像的微表情识别单元；

第一风险微表情判断模块，用于判断每一所述第一目标人脸图像的微表情识别单元是否存在风险微表情单元；

第一风险视频数据获取模块，用于在存在风险微表情单元时，则根据存在风险微表情单元的第一目标人脸图像对应的终端标识和时间点信息获取风险视频数据；

第一风险文本信息获取模块，用于采用NLP识别算法对所述风险视频数据进行识别，得到风险文本信息；

风险信息获取模块，用于将所述风险文本信息和预设关键词进行关键词匹配，根据匹配结果得到风险信息；

第一预警信息发送模块，用于在所述风险信息为存在风险时，则发出预警信息；

其中，所述风险信息获取模块还用于在风险文本信息和预设关键词匹配成功时，则匹配结果为存在敏感词，匹配结果还包括匹配时间；根据匹配时间获取预设时间内风险视频数据的历史匹配信息，若历史匹配信息中存在敏感词的次数超过次数阈值，则风险信息为存在风险；

所述第一风险视频数据获取模块包括：

第一原始视频数据获取单元，用于根据所述终端标识获取到对应的原始视频数据；

第一时间区间获取单元，用于根据所述时间点信息和预设时间段信息，获取对应的时间区间；

第一视频截取单元，用于根据所述时间区间从所述原始视频数据中进行视频截取，得到风险视频数据。

5.一种基于微表情的校园监控装置，其特征在于，包括：

第二定时采集模块，用于根据第一时间间隔定时采集M幅第一目标人脸图像，每一所述第一目标人脸图像包括时间点信息和终端标识，M为正整数；其中，预先在校园的不同位置设置多个摄像头，每一所述摄像头用于采集一固定区域中的所述第一目标人脸图像；

第二表情识别模块，用于将每一所述第一目标人脸图像输入到表情识别模型中，得到每一所述第一目标人脸图像的微表情识别单元；

第二风险微表情判断模块，用于判断每一所述第一目标人脸图像的微表情识别单元是否存在风险微表情单元；

第二风险视频数据获取模块，用于在存在风险微表情单元时，则根据存在风险微表情单元的第一目标人脸图像对应的终端标识和时间点信息获取风险视频数据；

第二风险文本信息获取模块，用于采用NLP识别算法对所述风险视频数据进行识别，得到风险文本信息；

关键词风险评分获取模块，用于对所述风险文本信息和预设关键词进行关键词匹配，根据匹配结果得到关键词风险评分；

第二视频分帧模块，用于对所述风险视频数据进行分帧处理，得到N幅待识别风险图像，将每一所述待识别风险图像输入到表情识别模型中，得到每一所述待识别风险图像的微表情识别单元；

微表情风险评分获取模块，用于统计每一所述待识别风险图像的微表情识别单元中属于风险微表情单元的比例，得到微表情风险评分；

风险评分获取模块，用于根据所述关键词风险评分和微表情风险评分得到风险评分；

第三预警信息发送模块，用于在所述风险评分超过预设的风险阈值时，则发出预警信息；

所述第二风险视频数据获取模块包括：

第二原始视频数据获取单元，用于根据所述终端标识获取到对应的原始视频数据；

第二时间区间获取单元，用于根据所述时间点信息和预设时间段信息，获取对应的时间区间；

第二视频截取单元，用于根据所述时间区间从所述原始视频数据中进行视频截取，得到风险视频数据。

6.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至3任一项所述的基于微表情的校园监控方法。

7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述的基于微表情的校园监控方法。