CN112395921A - 异常行为检测方法、装置及系统 - Google Patents
异常行为检测方法、装置及系统 Download PDFInfo
- Publication number
- CN112395921A CN112395921A CN201910760633.5A CN201910760633A CN112395921A CN 112395921 A CN112395921 A CN 112395921A CN 201910760633 A CN201910760633 A CN 201910760633A CN 112395921 A CN112395921 A CN 112395921A
- Authority
- CN
- China
- Prior art keywords
- detected
- target
- micro
- position information
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 206010000117 Abnormal behaviour Diseases 0.000 title claims abstract description 96
- 238000001514 detection method Methods 0.000 title claims abstract description 50
- 230000014509 gene expression Effects 0.000 claims abstract description 73
- 238000013145 classification model Methods 0.000 claims abstract description 43
- 230000002159 abnormal effect Effects 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000012544 monitoring process Methods 0.000 claims abstract description 26
- 230000009471 action Effects 0.000 claims description 55
- 230000001815 facial effect Effects 0.000 claims description 41
- 238000012545 processing Methods 0.000 claims description 21
- 238000012937 correction Methods 0.000 claims description 9
- 238000012163 sequencing technique Methods 0.000 claims description 5
- 230000005856 abnormality Effects 0.000 claims description 4
- 238000012806 monitoring device Methods 0.000 description 37
- 238000003062 neural network model Methods 0.000 description 16
- 230000015654 memory Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 11
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000008451 emotion Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000013441 quality evaluation Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 206010011469 Crying Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B3/00—Audible signalling systems; Audible personal calling systems
- G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Electromagnetism (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种异常行为检测方法、装置及系统，属于视频监控技术领域。所述方法包括：获取采集的M帧视频图像，每帧视频图像包括待检测目标，M为大于1的整数；基于M帧视频图像，通过微表情分类模型确定待检测目标的微表情类别，以及确定待检测目标的位置信息；当待检测目标的微表情类别属于参考微表情类别且位置信息符合位置异常条件，进行异常行为报警。本申请只有当待检测目标的微表情类别属于参考微表情类别且待检测目标的位置信息符合位置异常条件时才会进行异常行为报警，通过两种方式确定待检测目标是否存在异常行为，降低了产生误报警的概率。
Description
技术领域
本申请涉及视频监控技术领域，特别涉及一种异常行为检测方法、装置及系统。
背景技术
视频监控技术在当今社会的应用越来越广泛，在一些容易发生异常行为的区域，可以通过视频监控对人们的行为进行检测，并在检测到异常行为时进行报警。譬如，可以在这些区域设置监控设备，监控设备可以通过摄像头采集视频图像，并对视频图像进行诸如边缘检测之类的处理，当根据处理结果确定该区域有人存在时，触发报警器进行报警。
但在一些情况下，如工作人员进入该区域也会被监控设备认为检测到了异常行为，并触发警报器进行报警，如此，容易产生误报警的情况。
发明内容
本申请提供了一种异常行为检测方法、装置及系统，可以解决相关技术仅当检测到监控区域有人存在时就进行报警，容易产生误报警的问题。所述技术方案如下：
一方面，提供了一种异常行为检测方法，所述方法包括：
获取采集的M帧视频图像，每帧视频图像包括待检测目标，M为大于1的整数；
基于所述M帧视频图像，通过微表情分类模型确定所述待检测目标的微表情类别，以及确定所述待检测目标的位置信息；
当所述待检测目标的微表情类别属于参考微表情类别且所述位置信息符合位置异常条件时，进行异常行为报警。
在本申请一种可能的实现方式中，所述进行异常行为报警之前，还包括：
基于所述M帧视频图像，确定所述待检测目标的动作特征；
所述进行异常行为报警，包括：
如果基于所述动作特征确定所述待检测目标的动作属于参考动作时，则进行异常行为报警。
在本申请一种可能的实现方式中，所述如果基于所述动作特征确定所述待检测目标的动作属于参考动作，则进行异常行为报警之后，还包括：
将所述位置信息和/或微表情识别结果发送给指定设备；和/或，
将动作识别结果和/或所述动作识别结果对应的动作视频发送给所述指定设备；和/或，
基于所述动作识别结果和/或所述位置信息，播放对应的音频报警。
在本申请一种可能的实现方式中，所述当所述待检测目标的微表情类别属于参考微表情类别且所述位置信息符合位置异常条件时，进行异常行为报警之后，还包括：
从所述M帧视频图像中选择一帧视频图像；
提取选择的一帧视频图像的人脸图像特征，基于所述人脸图像特征，从后台服务器中获取与所述人脸图像特征具有关联关系的用户的联系信息；
基于所述联系信息发送报警通知消息。
在本申请一种可能的实现方式中，所述基于所述M帧视频图像，通过微表情分类模型确定所述待检测目标的微表情类别，包括：
按照所述M帧视频图像的图像拍摄时间的先后顺序，对所述M帧视频图像进行排序；
基于排序后的M帧视频图像，通过人脸检测模型和目标跟踪算法，确定待检测目标在每帧视频图像中的人脸位置信息；
根据所述待检测目标的人脸位置信息，从每帧视频图像中获取所述待检测目标的人脸图像；
基于人脸图像模板对获取的每张人脸图像进行调整，基于调整后的M张人脸图像，通过微表情分类模型确定所述待检测目标的微表情类别。
在本申请一种可能的实现方式中，所述基于人脸图像模板对获取的每张人脸图像进行调整，包括：
将每张人脸图像的宽度调整为所述人脸图像模板的宽度，将每张人脸图像的高度调整为所述人脸图像模板的高度；
将每张人脸图像中关键点的坐标调整为所述人脸图像模板的关键点的模板坐标。
在本申请一种可能的实现方式中，所述基于人脸图像模板对获取的每张人脸图像进行调整之前，还包括：
确定每张人脸图像的关键点的坐标；
根据每张人脸图像的关键点的坐标，对每张人脸图像中的人脸进行人脸校正处理。
在本申请一种可能的实现方式中，所述基于所述M帧视频图像，通过微表情分类模型确定所述待检测目标的微表情类别，以及确定所述待检测目标的位置信息，包括：
确定所述待检测目标的位置信息；
当所述待检测目标的位置信息符合位置异常条件时，基于所述M帧视频图像通过所述微表情分类模型确定所述待检测目标的微表情类别。
在本申请一种可能的实现方式中，所述基于所述M帧视频图像，通过微表情分类模型确定所述待检测目标的微表情类别，以及确定所述待检测目标的位置信息，包括：
基于所述M帧视频图像，通过所述微表情分类模型确定所述待检测目标的微表情类别；
当所述微表情类别属于所述参考微表情类别时，确定所述待检测目标的位置信息。
另一方面，提供了一种异常行为检测装置，所述装置包括：
获取模块，用于获取采集的M帧视频图像，每帧视频图像包括待检测目标，M为大于1的整数；
确定模块，用于基于所述M帧视频图像，通过微表情分类模型确定所述待检测目标的微表情类别，以及确定所述待检测目标的位置信息；
报警模块，用于当所述待检测目标的微表情类别属于参考微表情类别且所述位置信息符合位置异常条件时，进行异常行为报警。
在本申请一种可能的实现方式中，所述报警模块还用于：
基于所述M帧视频图像，确定所述待检测目标的动作特征；
如果基于所述动作特征确定所述待检测目标的动作属于参考动作，进行异常行为报警。
在本申请一种可能的实现方式中，所述报警模块还用于：
将所述位置信息和/或微表情识别结果发送给指定设备；和/或，
将动作识别结果和/或所述动作识别结果对应的动作视频发送给所述指定设备；和/或，
基于所述动作识别结果和/或所述位置信息，播放对应的音频报警。
在本申请一种可能的实现方式中，所述报警模块还用于：
从所述M帧视频图像中选择一帧视频图像；
提取选择的一帧视频图像的人脸图像特征，基于所述人脸图像特征，从后台服务器中获取与所述人脸图像特征具有关联关系的用户的联系信息；
基于所述联系信息发送报警通知消息。
在本申请一种可能的实现方式中，所述确定模块用于：
按照所述M帧视频图像的图像拍摄时间的先后顺序，对所述M帧视频图像进行排序；
基于排序后的M帧视频图像，通过人脸检测模型和目标跟踪算法，确定待检测目标在每帧视频图像中的人脸位置信息；
根据所述待检测目标的人脸位置信息，从每帧视频图像中获取所述待检测目标的人脸图像；
基于人脸图像模板对获取的每张人脸图像进行调整，基于调整后的M张人脸图像，通过微表情分类模型确定所述待检测目标的微表情类别。
在本申请一种可能的实现方式中，所述确定模块还用于：
将每张人脸图像的宽度调整为所述人脸图像模板的宽度，将每张人脸图像的高度调整为所述人脸图像模板的高度；
将每张人脸图像中关键点的坐标调整为所述人脸图像模板的关键点的模板坐标。
在本申请一种可能的实现方式中，所述确定模块还用于：
确定每张人脸图像的关键点的坐标；
根据每张人脸图像的关键点的坐标，对每张人脸图像中的人脸进行人脸校正处理。
在本申请一种可能的实现方式中，所述确定模块用于：
确定所述待检测目标的位置信息；
当所述待检测目标的位置信息符合位置异常条件时，基于所述M帧视频图像通过所述微表情分类模型确定所述待检测目标的微表情类别。
在本申请一种可能的实现方式中，所述确定模块用于：
基于所述M帧视频图像，通过所述微表情分类模型确定所述待检测目标的微表情类别；
当所述微表情类别属于所述参考微表情类别时，确定所述待检测目标的位置信息。
另一方面，提供了一种监控系统，所述监控系统包括处理器、摄像头和触发器，所述处理器用于：
获取所述摄像头采集的M帧视频图像，每帧视频图像包括待检测目标，M为大于1的整数；
基于所述M帧视频图像，通过微表情分类模型确定所述待检测目标的微表情类别，以及确定所述待检测目标的位置信息；
当所述待检测目标的微表情类别属于参考微表情类别且所述位置信息符合位置异常条件时，通过所述触发器进行异常行为报警。
在本申请一种可能的实现方式中，所述通过所述触发器进行异常行为报警，包括：
通过所述触发器将所述位置信息和/或微表情识别结果发送给指定设备，由所述指定设备进行异常行为报警；或者，
通过所述触发器触发扬声器进行异常行为报警。
在本申请一种可能的实现方式中，所述处理器还用于：
基于所述摄像头采集的M帧视频图像确定所述待检测目标的位置信息；
或者，
当所述监控系统还包括位置探测传感器时，通过所述位置探测传感器确定所述待检测目标的位置信息。
另一方面，提供了一种设备，所述设备包括处理器、通信接口、存储器和通信总线，所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信，所述存储器用于存放计算机程序，所述处理器用于执行所述存储器上所存放的程序，以实现上述所述异常行为检测方法的步骤。
另一方面，提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述所述异常行为检测方法的步骤。
另一方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述所述异常行为检测方法的步骤。
本申请提供的技术方案至少可以带来以下有益效果：
获取采集的包括待检测目标的M帧视频图像，基于该M帧视频图像，通过微表情分类模型确定待检测目标的微表情类别，以及确定待检测目标的位置信息。当确定待检测目标的微表情类别属于参考微表情类别且待检测目标的位置信息符合位置异常条件时，可以确定待检测目标存在异常行为，从而进行异常行为报警。也就是说，本申请只有当待检测目标的微表情类别属于参考微表情类别且待检测目标的位置信息符合位置异常条件时才会进行异常行为报警，通过两种方式确定待检测目标是否存在异常行为，降低了产生误报警的概率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种实施环境的示意图；
图2是根据一示例性实施例示出的一种异常行为检测方法的流程图；
图3是根据另一示例性实施例示出的一种异常行为检测方法的流程图；
图4是根据一示例性实施例示出的一种异常行为检测装置的结构示意图；
图5是根据一示例性实施例示出的一种监控设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
在对本申请实施例提供的异常行为检测方法进行详细的解释说明之前，先对本申请实施例提供的实施环境进行介绍。
请参考图1，图1是根据一示例性实施例示出的一种实施环境的示意图。该实施环境包括监控系统，该监控系统包括处理器101、摄像头102和触发器103。
其中，该处理器101可以配置在监控设备上，该摄像头102可以与该监控设备连接，或者，该摄像头102可以配置在该监控设备上，该监控设备可以为计算机设备或摄像头设备等。该摄像头用于采集监控区域的视频图像，以便于监控设备对摄像头采集到的视频图像进行处理，并根据处理结果确定是否检测到异常行为，进而确定是否需要报警。该触发器103可以配置在监控设备上且与处理器101连接，或者，该触发器103该触发器103用于根据处理器的处理结果触发扬声器进行报警操作，或者，用于将监控设备处理得到的位置信息或微表情识别结果发送给指定设备，由指定设备进行异常行为报警。
作为一种示例，该监控设备可以是任何一种可与用户通过键盘、触摸板、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互的电子产品，例如PC(Personal Computer，个人计算机)、手机、智能手机、PDA(Personal Digital Assistant，个人数字助手)、可穿戴设备、掌上电脑PPC(Pocket PC)、平板电脑、智能车机、智能电视、智能音箱等。
进一步地，该监控系统还可以包括位置探测传感器，用于确定待检测目标的位置信息。
进一步地，该实施环境还可以包括服务器，该服务器可以用于存储多个用户的人脸图像特征及联系信息。作为一种示例，该服务器可以是一台服务器，也可以是由多台服务器组成的服务器集群，或者是一个云计算服务中心，本申请实施例对此不做限定。
本领域技术人员应能理解上述监控系统和服务器仅为举例，其他现有的或今后可能出现的监控系统或服务器如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在介绍完本申请实施例涉及的实施环境后，接下来对本申请实施例提供的异常行为检测方法进行详细的解释说明。
图2是根据一示例性实施例示出的一种异常行为检测方法的流程图，该方法可以应用于上述图1所示的实施环境中。请参考图2，该方法可以包括如下步骤：
步骤201：获取采集的M帧视频图像，每帧视频图像包括待检测目标，M为大于1的整数。
作为一种示例，监控设备可以配置或者连接有摄像头，可以通过摄像头实时采集监控区域内的视频图像，并且对视频图像进行图像处理。通常情况下，由于1帧视频图像反映的图像信息较少，所以监控设备可以获取摄像头采集的M帧视频图像，且每帧视频图像包括待检测目标，待检测目标为要进行异常行为检测的目标。
步骤202：基于M帧视频图像，通过微表情分类模型确定待检测目标的微表情类别，以及确定待检测目标的位置信息。
其中，微表情分类模型用于基于任意M帧视频图像确定任意M帧视频图像中的目标的微表情类别。通过微表情分类模型对M帧视频图像中待检测目标的微表情进行识别，可以确定待检测目标的微表情类别，并根据微表情类别判断待检测目标的情绪。其中，微表情类别可以用于指示待检测目标的情绪。示例性地，微表情类别可以为压抑、紧张、悲伤、开心、激动、害羞等。
作为一种示例，基于M帧视频图像，通过微表情分类模型确定待检测目标的微表情类别，以及确定待检测目标的位置信息包括两种实现方式：
第一种实现方式：基于M帧视频图像，通过微表情分类模型确定待检测目标的微表情类别，当微表情类别属于参考微表情类别时，确定待检测目标的位置信息。
在一些实施例中，基于M帧视频图像，通过微表情分类模型确定待检测目标的微表情类别，可以包括如下步骤：
(1)按照M帧视频图像的图像拍摄时间的先后顺序，对M帧视频图像进行排序。
将M帧视频图像中图像拍摄时间靠前的视频图像排在前面，图像拍摄时间靠后的视频图像排在后面，按照这样的顺序对M帧视频图像进行排序。
(2)基于排序后的M帧视频图像，通过人脸检测模型和目标跟踪算法，确定待检测目标在每帧视频图像中的人脸位置信息。
作为一种示例，对于排序后的M帧视频图像中的第一帧视频图像，可以通过人脸检测模型确定待检测目标在该第一帧视频图像中的人脸位置信息，对于第二帧视频图像，可以根据待检测目标在第一帧视频图像中的人脸位置信息，通过目标跟踪算法，确定待检测目标在第二帧视频图像中的人脸位置信息，以此类推，可以根据待检测目标在第M-1帧视频图像中的人脸位置信息，通过目标跟踪算法，确定待检测目标在第M帧视频图像中的人脸位置信息。其中，目标跟踪算法可以根据目标在上一帧视频图像中的人脸位置信息确定目标在本帧视频图像中的人脸位置信息。
也就是说，待检测目标在第一帧视频图像中的人脸位置信息可以通过人脸检测模型确定，在后续其他帧视频图像中的人脸位置信息可以根据待检测目标在相邻的前一帧视频图像中的人脸位置信息，通过目标跟踪算法进行确定。
其中，人脸检测模型是基于机器学习技术训练得到的，用于根据任一视频图像确定该任一视频图像中的人脸位置信息。也就是说，在将第一帧视频图像输入人脸检测模型中确定目标在第一帧视频图像中的人脸位置信息之前，需要对待训练的神经网络模型进行训练，得到人脸检测模型。示例性地，该待训练的神经网络模型可以为卷积神经网络，进一步地，该待训练的神经网络模型可以为VGG Net(Visual Geometry Group Network，VGG神经网络)、ResNet(残差神经网络)等，本申请实施例对此不做限定。
作为一种示例，对待训练的神经网络模型进行训练，可以获取多个图像样本，每个图像样本中包括至少一个目标，并确定每个目标的实际人脸位置信息，可以将每个图像样本分别与该图像样本对应的至少一个目标的实际人脸位置信息组成一对，并对应输入至待训练的神经网络模型中，该待训练的神经网络模型可以基于初始模型参数输出该多个图像样本中目标的人脸位置信息，将该输出的人脸位置信息与实际人脸位置信息进行对比，若输出的人脸位置信息和实际人脸位置信息不同，可以调整初始模型参数，当该输出的人脸位置信息和实际人脸位置信息接近时，可以确定该待训练的神经网络模型已经训练结束，可以将此时得到的待训练的神经网络模型确定为人脸检测模型。
作为一种示例，对于排序后的M帧视频图像中的第一帧视频图像，当第一帧视频图像包括多个目标时，可以根据人脸检测模型确定该第一帧视频图像中包括的所有目标的人脸位置信息，从该多个目标中任选一个目标作为待检测目标；当第一帧视频图像包括一个目标时，可以根据人脸检测模型确定该一个目标在第一帧视频图像中的人脸位置信息，将该一个目标作为待检测目标。
示例性地，假设第一帧视频图像包括3个目标，将第一帧视频图像输入人脸检测模型中，人脸检测模型可以输出3个人脸位置信息，可以将其中一个人脸位置信息对应的目标确定为待检测目标。假设第一帧视频图像包括1个目标，将第一帧视频图像输入至人脸检测模型中，人脸检测模型可以输出1个人脸位置信息，可以将该一个人脸位置信息对应的目标确定为待检测目标。
作为一种示例，对于排序后的M帧视频图像中的第二帧视频图像，可以根据待检测目标在第一帧视频图像中的人脸位置信息，通过目标跟踪算法，确定待检测目标在第二帧视频图像中的人脸位置信息，以此类推，可以确定待检测目标在M帧视频图像中的M个人脸位置信息。
示例性地，假设第二帧视频图像包括与第一帧视频图像相同的3个目标A、B和C，A是待检测目标，根据A在第一帧视频图像中的人脸位置信息，目标跟踪算法可以将第二帧视频图像划分成多个小区域，将每个区域的像素值信息分别与待检测目标A在第一帧图像中的人脸位置信息所在的区域的像素值信息进行对比，可以确定A在第二帧视频图像中的人脸位置信息。以此类推，可以确定待检测目标A在M帧视频图像中的M个人脸位置信息。
(3)根据待检测目标的人脸位置信息，从每帧视频图像中获取待检测目标的人脸图像。
在每帧视频图像中，将待检测目标的人脸位置信息所在的区域从视频图像中分割出来，作为待检测目标的人脸图像，可以得到M张待检测目标的人脸图像，该待检测目标的人脸图像中仅包括待检测目标的人脸。
(4)基于人脸图像模板对获取的每张人脸图像进行调整，基于调整后的M帧人脸图像，通过微表情分类模型确定待检测目标的微表情类别。
由于摄像头采集到的M帧视频图像中，待检测目标的人脸姿态可能包括多种，不一定是正脸，为了能够更好地对人脸上的微表情进行识别，可以对每张人脸图像中的人脸进行人脸校正处理。
作为一种示例，可以确定每张人脸图像的关键点的坐标，根据每张人脸图像的关键点的坐标，对每张人脸图像中的人脸进行人脸校正处理。
示例性地，对于任一张人脸图像，可以确定两只眼睛、鼻子、嘴巴以及其他关键部位的坐标，根据这些坐标，通过三维人脸姿态校正算法可以对人脸进行人脸校正处理，得到正面的人脸图像。
由于摄像头采集到的M帧视频图像中待检测目标距离摄像头的位置可能不同，所以得到的M张人脸图像的大小可能不同，为了保证微表情识别效果，可以基于人脸图像模板对人脸校正后的M张人脸图像进行调整，使得M张人脸图像的尺寸完全相同。其中，人脸图像模板为预设的可以输入微表情分类模型的人脸图像的模板，即所有输入微表情分类模型的人脸图像需要按照人脸图像模板进行调整，以便可以得到更准确的微表情类别。人脸图像模板包括人脸图像的长度、宽度和关键点的模板坐标，这些数据可以根据实际情况进行调整。
作为一种示例，可以将每张人脸图像的宽度调整为人脸图像模板的宽度，将每张人脸图像的高度调整为人脸图像模板的高度，将每张人脸图像中关键点的坐标调整为人脸图像模板的关键点的模板坐标。
也就是说，将每张人脸图像调整为与人脸图像模板的尺寸完全相同的图像，每张人脸图像中五官的大小、位置以及距离均与人脸图像模板相同。
作为一种示例，基于调整后的M张人脸图像，通过微表情分类模型确定待检测目标的微表情类别。
其中，微表情分类模型是基于机器学习技术训练得到的。也就是说，在将调整后的人脸图像输入至微表情分类模型中，确定待检测目标的微表情类别之前，需要对待训练的神经网络模型进行训练，得到微表情分类模型。示例性地，该待训练的神经网络模型可以为卷积神经网络，进一步地，该待训练的网络模型可以为VGG Net、ResNet等，本申请实施例对此不做限定。
在一些实施例中，对待训练的神经网络模型进行训练，可以获取多组人脸图像样本，和每组人脸图像样本中的目标的实际微表情类别，每组人脸图像样本包括M张人脸图像样本，该M张人脸图像样本包括相同的目标的人脸图像，将该多组人脸图像样本和每组人脸图像样本中的目标的实际微表情类别输入至待训练的神经网络模型中进行训练，可以得到微表情分类模型。
作为一种示例，可以获取多张人脸图像样本，将该多张人脸图像样本按照人脸图像模板进行调整，将调整后的包括同一目标的M张人脸图像样本分为一组，并确定该目标在该组人脸图像样本中的实际微表情类别，如此可以获取多组人脸图像样本，并确定多组人脸图像样本的实际微表情类别，将每组人脸图像样本和该组人脸图像样本对应的实际微表情类别组成一对，并对应输入至待训练的神经网络模型中，该待训练的神经网络模型可以基于初始模型参数输出该多组人脸图像样本中目标的微表情类别，将该输出的微表情类别与实际微表情类别进行对比，若输出的微表情类别和实际微表情类别不同，可以调整初始模型参数，当该输出的微表情类别和实际微表情类别接近时，可以确定该待训练的神经网络模型已经训练结束，可以将此时得到的待训练的神经网络模型确定为微表情分类模型。模型训练完成后，可以将调整后的M张人脸图像同时输入至微表情分类模型中，微表情分类模型可以输出待检测目标的微表情类别。
在一些实施例中，该微表情分类模型可以包括输入层、卷积层、池化层和输出层，终端将人脸图像输入至该微表情分类模型后，该微表情分类模型依次通过该输入层、卷积层、池化层和输出层对该人脸图像进行处理，输出该人脸图像中待检测目标的微表情类别。
需要说明的是，上述仅是以该微表情分类模型包括输入层、卷积层、池化层和输出层为例进行说明，在另一些实施例中，该微表情分类模型还可以包括其他网络层，例如，还可以包括循环神经网络隐含层等，本申请实施例对此不做限定。
在一些实施例中，当确定待检测目标的微表情类别属于参考微表情类别时，可以进一步对待检测目标的位置信息进行确定，如此，可以更准确地确定待检测目标是否存在异常行为。确定待检测目标的位置信息可以基于采集的M帧视频图像进行确定或者通过位置探测传感器进行确定。
作为一种示例，可以预先对摄像头拍摄的视频图像中的监控区域进行划分，可以在视频图像上通过至少四个第一顶点坐标确定第一参考区域，通过至少四个第二顶点坐标确定第二参考区域。监控过程中，可以获取M帧视频图像，对M帧视频图像进行图像检测，可以确定待检测目标，进而确定待检测目标的位置坐标，将该位置坐标确定为待检测目标的位置信息。
其中，第一参考区域可以为有安全隐患的危险区域。例如，第一参考区域可以为天台边缘，楼顶边缘、楼道窗口处等等。第二参考区域可以为较安全，不存在安全隐患的安全区域。例如，第二参考区域可以为离天台边缘或楼顶边缘较远的位置等等。第一参考区域和第二参考区域可以由用户设置，也可以由监控设备默认设置，本申请实施例对此不做限定。
作为另一种示例，可以通过位置探测传感器对待检测目标的位置进行探测，确定待检测目标的位置信息。例如，位置探测传感器可以为雷达，雷达发射电磁波对待检测目标进行照射并接收返回的电磁波，由此可以获得待检测目标与电磁波发射点之间的距离、待检测目标的距离变化率(径向速度)、方位、高度等信息，进而确定待检测目标的位置信息。例如，根据雷达的安装位置和探测到的人体距离及方向计算人体位置。
在本实现方式中，先确定待检测目标的微表情类别，可以对待检测目标的行为进行初步判断，但通过微表情识别模型确定的微表情类别不一定准确，且当微表情类别属于参考微表情类别时，有可能待检测目标只是在那一瞬间出现了不好的情绪，并没有异常行为，所以，需要再对待检测目标的位置信息进行确定，当待检测目标的位置信息符合异常条件时，可以确定待检测目标存在异常行为。如此，可以更准确地确定待检测目标是否存在异常行为，降低误报警的概率。
第二种实现方式：确定待检测目标的位置信息，当待检测目标的位置信息符合位置异常条件时，基于M帧视频图像通过微表情分类模型确定待检测目标的微表情类别。
当待检测目标的位置信息符合位置异常条件时，再确定待检测目标的微表情类别，如此，可以避免待检测目标没有异常行为时产生误报警的操作，通过对微表情类别进行确定，可以更准确地判断待检测目标是否存在异常行为。具体过程与上述第一种实现方式相同，只是本实现方式中先对待检测目标的位置信息进行确定，当位置信息符合位置异常条件时，再对待检测目标的微表情类别进行确定，即实现顺序不同，因此，本申请实施例对此不再赘述。
在本实现方式中，先确定待检测目标的位置信息，当待检测目标的位置信息符合位置异常条件时，可以确定待检测目标在危险区域内，可能会存在异常行为，但不能准确地确定，例如有可能只是工作人员例行检查，所以，需要再对待检测目标的微表情类别进行确定，当微表情类别属于参考微表情类别时，可以确定待检测目标可能有不好的情绪，进一步确定待检测目标存在异常行为。如此，可以更准确地确定待检测目标是否存在异常行为，降低误报警的概率。
步骤203：当待检测目标的微表情类别属于参考微表情类别且位置信息符合位置异常条件时，进行异常行为报警。
例如，参考微表情类别用于指示负面情绪。示例性地，参考微表情类别可以指示委屈、悲伤、压抑、紧张、悔恨、内疚、羞愧等情绪中的一种或多种。
其中，位置异常条件可以指示待检测目标处于第一参考区域内，或者，也可以指示待检测目标从第二参考区域移动至第一参考区域。
在一些实施例中，当待检测目标的微表情类别属于参考微表情类别时，可以认为待检测目标可能存在异常行为，但仅根据微表情类别进行判断可能会出现失误，所以需要进一步确定待检测目标的位置信息是否符合位置异常条件，当待检测目标的位置信息符合位置异常条件时，可以确定该待检测目标存在异常行为，进而通过触发器进行异常行为报警。
作为一种示例，待检测目标的位置信息为位置坐标。当待检测目标的位置坐标位于第一顶点坐标确定的第一参考区域内时，可以确定待检测目标的位置信息符合位置异常条件；或者，当根据待检测目标在不同时刻的位置坐标确定待检测目标的移动轨迹是从第二参考区域向第一参考区域移动时，可以确定待检测目标的位置信息符合位置异常条件。
在另一些实施例中，在进行异常行为报警之前，还可以基于M帧视频图像，确定待检测目标的动作特征，如果基于动作特征确定待检测目标的动作属于参考动作，则进行异常行为报警。
也就是说，当待检测目标的微表情类别属于参考微表情类别、待检测目标的位置信息符合位置异常条件且待检测目标的动作属于参考动作时，可以确定待检测目标存在异常行为，可以进行异常行为报警。
其中，参考动作可以用于指示危险动作。示例性地，参考动作包括向楼顶边缘处走、起跳等危险动作。
作为一种示例，可以提取M帧视频图像中的待检测目标的动作特征，获得M个时序帧，采用预设网络模型对M个时序帧进行特征提取，获得特征矩阵，采用预设的LSTM(LongShort-Term Memory，长短期记忆网络)网络模型，对特征矩阵进行分类识别，可以得到动作识别结果。当基于动作识别结果确定待检测目标的动作属于参考动作、待检测目标的微表情类别属于参考微表情类别且待检测目标的位置信息符合位置异常条件时，可以更加准确地确定待检测目标存在异常行为，进而进行异常行为报警。
进一步地，如果基于动作特征确定待检测目标的动作属于参考动作，则进行异常行为报警之后，还可以将位置信息和/或微表情识别结果发送给指定设备；和/或，将动作识别结果和/或动作识别结果对应的动作视频发送给指定设备；和/或，基于动作识别结果和/或位置信息，播放对应的音频报警。
其中，指定设备可以为安保设备、警察所持的设备或报警器等，或医院报警台等。
也就是说，在进行异常行为报警之后，可以通过触发器将待检测目标的位置信息、微表情识别结果、动作识别结果、动作识别结果对应的动作视频中的一个或多个发送给指定设备，以便指定设备在进行异常行为报警时容易确定待检测目标的异常行为发生的位置，以及待检测目标当前的情况，进而为警察营救提供帮助；还可以基于动作识别结果和位置信息或基于位置信息，播放对应的音频以进行报警。
需要说明的是，可以在监控设备中预先存储多个音频，并且将多个音频与位置信息对应存储。例如，当待检测目标在天台边缘时，可以播放“有人正在向天台边缘处移动，情绪比较激动，请前去救援”的音频，当待检测目标在楼道窗口时，可以播放“有人站在5楼楼道窗口上，正在崩溃大哭，请前去救援”的音频等。
作为一种示例，还可以通过触发器触发扬声器进行异常行为报警，或者播放舒缓的音乐以使得待检测目标保持冷静，也可以打开扩音器人工向待检测目标喊话，以干扰待检测目标的异常行为，进而为营救争取时间。
进一步地，参见图3，在进行异常行为报警之后，还可以对待检测目标的身份进行确认，联系待检测目标的家人。作为一种示例，可以从M帧视频图像中选择一帧视频图像，提取选择的一帧视频图像的人脸图像特征，基于人脸图像特征，从后台服务器中获取与人脸图像特征具有关联关系的用户的联系信息，基于联系信息发送报警通知消息。
在一些实施例中，可以基于M帧视频图像，通过人脸质量评价算法确定综合质量分数最高的一帧视频图像，将该帧视频图像输入至人脸识别模型中，人脸识别模型可以输出该帧视频图像的人脸图像特征，可以将该帧视频图像的人脸图像特征发送至服务器，由服务器分别确定该帧视频图像的人脸图像特征与存储的人脸图像特征之间的相似度，将相似度大于相似度阈值的人脸图像确定为与待检测目标的人脸图像匹配的目标人脸图像，确定与目标人脸图像有关联关系的用户的联系信息，将该联系信息发送至终端，终端可以基于该联系信息向用户的家人发送报警通知消息。其中，相似度阈值可以由用户根据实际需要进行设置，也可以由终端默认设置，本申请实施例对此不做限定。
作为一种示例，人脸质量评价算法可以基于任一人脸图像确定该任一人脸图像的综合质量分数。可以根据待检测目标的人脸位置信息，从M帧视频图像中获取待检测目标的M张人脸图像，人脸质量评价算法可以根据人脸图像中的人脸姿态、图像分辨率等因素，确定每个因素的质量分数，并根据每个因素的质量分数确定人脸图像的综合质量分数，人脸图像的综合质量分数越高，说明该人脸图像更适合提取人脸图像特征，即对该人脸图像进行人脸识别的准确率更高，确定出M张人脸图像中综合质量分数最高的人脸图像。
作为一种示例，人脸识别模型可以用于基于任一人脸图像确定该任一人脸图像的人脸图像特征。将确定出的人脸图像输入至人脸识别模型，人脸识别模型可以输出该人脸图像的人脸图像特征，人脸图像特征为多维向量，可以通过计算确定的人脸图像的人脸图像特征与存储的人脸图像特征之间的余弦距离确定二者之间的相似度。
在另一些实施例中，确定该帧视频图像的人脸图像特征后，可以获取服务器中存储的人脸图像特征，分别确定该帧视频图像的人脸图像特征与获取的人脸图像特征之间的相似度，将相似度大于相似度阈值的人脸图像确定为与待检测目标的人脸图像匹配的目标人脸图像，确定与目标人脸图像有关联关系的用户的联系信息，基于该联系信息向用户的家人发送报警通知消息。
在本申请实施例中，获取采集的包括待检测目标的M帧视频图像，基于该M帧视频图像，通过微表情分类模型确定待检测目标的微表情类别，以及确定待检测目标的位置信息。当确定待检测目标的微表情类别属于参考微表情类别且待检测目标的位置信息符合位置异常条件时，可以确定待检测目标存在异常行为，从而进行异常行为报警。也就是说，本申请只有当待检测目标的微表情类别属于参考微表情类别且待检测目标的位置信息符合位置异常条件时才会进行异常行为报警，通过两种方式确定待检测目标是否存在异常行为，降低了产生误报警的概率。
图4是根据一示例性实施例示出的一种异常行为检测装置的结构示意图，该装置可以由软件、硬件或者两者的结合实现成为监控设备的部分或者全部，监控设备可以为图1所示的设备。请参考图4，该装置包括：获取模块401、确定模块402和报警模块403。
获取模块401，用于获取采集的M帧视频图像，每帧视频图像包括待检测目标，M为大于1的整数；
确定模块402，用于基于M帧视频图像，通过微表情分类模型确定待检测目标的微表情类别，以及确定待检测目标的位置信息；
报警模块403，用于当待检测目标的微表情类别属于参考微表情类别且位置信息符合位置异常条件时，进行异常行为报警。
在本申请一种可能的实现方式中，该报警模块403还用于：
基于M帧视频图像，确定待检测目标的动作特征；
该报警模块403用于：
如果基于动作特征确定待检测目标的动作属于参考动作，进行异常行为报警。
在本申请一种可能的实现方式中，该报警模块403还用于：
将位置信息和/或微表情识别结果发送给指定设备；和/或，
将动作识别结果和/或动作识别结果对应的动作视频发送给指定设备；和/或，
基于动作识别结果和/或位置信息，播放对应的音频报警。
在本申请一种可能的实现方式中，该报警模块403还用于：
从M帧视频图像中选择一帧视频图像；
提取选择的一帧视频图像的人脸图像特征，基于人脸图像特征，从后台服务器中获取与人脸图像特征具有关联关系的用户的联系信息；
基于联系信息发送报警通知消息。
在本申请一种可能的实现方式中，该确定模块402用于：
按照M帧视频图像的图像拍摄时间的先后顺序，对M帧视频图像进行排序；
基于排序后的M帧视频图像，通过人脸检测模型和目标跟踪算法，确定待检测目标在每帧视频图像中的人脸位置信息；
根据待检测目标的人脸位置信息，从每帧视频图像中获取待检测目标的人脸图像；
基于人脸图像模板对获取的每张人脸图像进行调整，基于调整后的M张人脸图像，通过微表情分类模型确定待检测目标的微表情类别。
在本申请一种可能的实现方式中，该确定模块402还用于：
将每张人脸图像的宽度调整为人脸图像模板的宽度，将每张人脸图像的高度调整为人脸图像模板的高度；
将每张人脸图像中关键点的坐标调整为人脸图像模板的关键点的模板坐标。
在本申请一种可能的实现方式中，该确定模块402还用于：
确定每张人脸图像的关键点的坐标；
根据每张人脸图像的关键点的坐标，对每张人脸图像中的人脸进行人脸校正处理。
在本申请一种可能的实现方式中，该确定模块402用于：
确定待检测目标的位置信息；
当待检测目标的位置信息符合位置异常条件时，基于M帧视频图像通过微表情分类模型确定待检测目标的微表情类别。
在本申请一种可能的实现方式中，该确定模块402用于：
基于M帧视频图像，通过微表情分类模型确定待检测目标的微表情类别；
当微表情类别属于参考微表情类别时，确定待检测目标的位置信息。
在本申请实施例中，获取采集的包括待检测目标的M帧视频图像，基于该M帧视频图像，通过微表情分类模型确定待检测目标的微表情类别，以及确定待检测目标的位置信息。当确定待检测目标的微表情类别属于参考微表情类别且待检测目标的位置信息符合位置异常条件时，可以确定待检测目标存在异常行为，从而进行异常行为报警。也就是说，本申请只有当待检测目标的微表情类别属于参考微表情类别且待检测目标的位置信息符合位置异常条件时才会进行异常行为报警，通过两种方式确定待检测目标是否存在异常行为，降低了产生误报警的概率。
需要说明的是：上述实施例提供的异常行为检测装置在检测异常行为时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的异常行为检测装置与异常行为检测方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图5是根据一示例性实施例示出的一种监控设备500的结构框图。该监控设备500可以是便携式移动设备，比如：智能手机、平板电脑、MP3播放器(Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。监控设备500还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，监控设备500包括有：处理器501和存储器502。
处理器501可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器501可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器501也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器501可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器501还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器502可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器502还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器502中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器501所执行以实现本申请中方法实施例提供的异常行为检测方法。
在一些实施例中，监控设备500还可选包括有：外围设备接口503和至少一个外围设备。处理器501、存储器502和外围设备接口503之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口503相连。具体地，外围设备包括：射频电路504、触摸显示屏505、摄像头506、音频电路507、定位组件508和电源509中的至少一种。
外围设备接口503可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器501和存储器502。在一些实施例中，处理器501、存储器502和外围设备接口503被集成在同一芯片或电路板上；在一些其他实施例中，处理器501、存储器502和外围设备接口503中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路504用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路504通过电磁信号与通信网络以及其他通信设备进行通信。射频电路504将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路504包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路504可以通过至少一种无线通信协议来与其它监控设备进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路504还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏505用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏505是触摸显示屏时，显示屏505还具有采集在显示屏505的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器501进行处理。此时，显示屏505还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏505可以为一个，设置监控设备500的前面板；在另一些实施例中，显示屏505可以为至少两个，分别设置在监控设备500的不同表面或呈折叠设计；在再一些实施例中，显示屏505可以是柔性显示屏，设置在监控设备500的弯曲表面上或折叠面上。甚至，显示屏505还可以设置成非矩形的不规则图形，也即异形屏。显示屏505可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件506用于采集图像或视频。可选地，摄像头组件506包括前置摄像头和后置摄像头。通常，前置摄像头设置在监控设备的前面板，后置摄像头设置在监控设备的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件506还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路507可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器501进行处理，或者输入至射频电路504以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在监控设备500的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器501或射频电路504的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路507还可以包括耳机插孔。
定位组件508用于定位监控设备500的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件508可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源509用于为监控设备500中的各个组件进行供电。电源509可以是交流电、直流电、一次性电池或可充电电池。当电源509包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中，监控设备500还包括有一个或多个传感器510。该一个或多个传感器510包括但不限于：加速度传感器511、陀螺仪传感器512、压力传感器513、指纹传感器514、光学传感器515以及接近传感器516。
加速度传感器511可以检测以监控设备500建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器511可以用于检测重力加速度在三个坐标轴上的分量。处理器501可以根据加速度传感器511采集的重力加速度信号，控制触摸显示屏505以横向视图或纵向视图进行用户界面的显示。加速度传感器511还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器512可以检测监控设备500的机体方向及转动角度，陀螺仪传感器512可以与加速度传感器511协同采集用户对监控设备500的3D动作。处理器501根据陀螺仪传感器512采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器513可以设置在监控设备500的侧边框和/或触摸显示屏505的下层。当压力传感器513设置在监控设备500的侧边框时，可以检测用户对监控设备500的握持信号，由处理器501根据压力传感器513采集的握持信号进行左右手识别或快捷操作。当压力传感器513设置在触摸显示屏505的下层时，由处理器501根据用户对触摸显示屏505的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器514用于采集用户的指纹，由处理器501根据指纹传感器514采集到的指纹识别用户的身份，或者，由指纹传感器514根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器501授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器514可以被设置监控设备500的正面、背面或侧面。当监控设备500上设置有物理按键或厂商Logo时，指纹传感器514可以与物理按键或厂商Logo集成在一起。
光学传感器515用于采集环境光强度。在一个实施例中，处理器501可以根据光学传感器515采集的环境光强度，控制触摸显示屏505的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏505的显示亮度；当环境光强度较低时，调低触摸显示屏505的显示亮度。在另一个实施例中，处理器501还可以根据光学传感器515采集的环境光强度，动态调整摄像头组件506的拍摄参数。
接近传感器516，也称距离传感器，通常设置在监控设备500的前面板。接近传感器516用于采集用户与监控设备500的正面之间的距离。在一个实施例中，当接近传感器516检测到用户与监控设备500的正面之间的距离逐渐变小时，由处理器501控制触摸显示屏505从亮屏状态切换为息屏状态；当接近传感器516检测到用户与监控设备500的正面之间的距离逐渐变大时，由处理器501控制触摸显示屏505从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图5中示出的结构并不构成对监控设备500的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在一些实施例中，还提供了一种计算机可读存储介质，该存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例中异常行为检测方法的步骤。例如，所述计算机可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备等。
值得注意的是，本申请提到的计算机可读存储介质可以为非易失性存储介质，换句话说，可以是非瞬时性存储介质。
应当理解的是，实现上述实施例的全部或部分步骤可以通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。所述计算机指令可以存储在上述计算机可读存储介质中。
也即是，在一些实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述所述的异常行为检测方法的步骤。
以上所述为本申请提供的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (13)
1.一种异常行为检测方法，其特征在于，所述方法包括：
获取采集的M帧视频图像，每帧视频图像包括待检测目标，M为大于1的整数；
基于所述M帧视频图像，通过微表情分类模型确定所述待检测目标的微表情类别，以及确定所述待检测目标的位置信息；
当所述待检测目标的微表情类别属于参考微表情类别且所述位置信息符合位置异常条件时，进行异常行为报警。
2.如权利要求1所述的方法，其特征在于，所述进行异常行为报警之前，还包括：
基于所述M帧视频图像，确定所述待检测目标的动作特征；
所述进行异常行为报警，包括：
如果基于所述动作特征确定所述待检测目标的动作属于参考动作，则进行异常行为报警。
3.如权利要求2所述的方法，其特征在于，所述如果基于所述动作特征确定所述待检测目标的动作属于参考动作，则进行异常行为报警之后，还包括：
将所述位置信息和/或微表情识别结果发送给指定设备；和/或，
将动作识别结果和/或所述动作识别结果对应的动作视频发送给所述指定设备；和/或，
基于所述动作识别结果和/或所述位置信息，播放对应的音频报警。
4.如权利要求1所述的方法，其特征在于，所述当所述待检测目标的微表情类别属于参考微表情类别且所述位置信息符合位置异常条件时，进行异常行为报警之后，还包括：
从所述M帧视频图像中选择一帧视频图像；
提取选择的一帧视频图像的人脸图像特征，基于所述人脸图像特征，从后台服务器中获取与所述人脸图像特征具有关联关系的用户的联系信息；
基于所述联系信息发送报警通知消息。
5.如权利要求1所述的方法，其特征在于，所述基于所述M帧视频图像，通过微表情分类模型确定所述待检测目标的微表情类别，包括：
按照所述M帧视频图像的图像拍摄时间的先后顺序，对所述M帧视频图像进行排序；
基于排序后的M帧视频图像，通过人脸检测模型和目标跟踪算法，确定待检测目标在每帧视频图像中的人脸位置信息；
根据所述待检测目标的人脸位置信息，从每帧视频图像中获取所述待检测目标的人脸图像；
基于人脸图像模板对获取的每张人脸图像进行调整，基于调整后的M张人脸图像，通过微表情分类模型确定所述待检测目标的微表情类别。
6.如权利要求5所述的方法，其特征在于，所述基于人脸图像模板对获取的每张人脸图像进行调整，包括：
将每张人脸图像的宽度调整为所述人脸图像模板的宽度，将每张人脸图像的高度调整为所述人脸图像模板的高度；
将每张人脸图像中关键点的坐标调整为所述人脸图像模板的关键点的模板坐标。
7.如权利要求5所述的方法，其特征在于，所述基于人脸图像模板对获取的每张人脸图像进行调整之前，还包括：
确定每张人脸图像的关键点的坐标；
根据每张人脸图像的关键点的坐标，对每张人脸图像中的人脸进行人脸校正处理。
8.如权利要求1所述的方法，其特征在于，所述基于所述M帧视频图像，通过微表情分类模型确定所述待检测目标的微表情类别，以及确定所述待检测目标的位置信息，包括：
确定所述待检测目标的位置信息；
当所述待检测目标的位置信息符合位置异常条件时，基于所述M帧视频图像通过所述微表情分类模型确定所述待检测目标的微表情类别。
9.如权利要求1所述的方法，其特征在于，所述基于所述M帧视频图像，通过微表情分类模型确定所述待检测目标的微表情类别，以及确定所述待检测目标的位置信息，包括：
基于所述M帧视频图像，通过所述微表情分类模型确定所述待检测目标的微表情类别；
当所述微表情类别属于所述参考微表情类别时，确定所述待检测目标的位置信息。
10.一种异常行为检测装置，其特征在于，所述装置包括：
获取模块，用于获取采集的M帧视频图像，每帧视频图像包括待检测目标，M为大于1的整数；
确定模块，用于基于所述M帧视频图像，通过微表情分类模型确定所述待检测目标的微表情类别，以及确定所述待检测目标的位置信息；
报警模块，用于当所述待检测目标的微表情类别属于参考微表情类别且所述位置信息符合位置异常条件时，进行异常行为报警。
11.一种监控系统，其特征在于，所述监控系统包括处理器、摄像头和触发器，所述处理器用于：
获取所述摄像头采集的M帧视频图像，每帧视频图像包括待检测目标，M为大于1的整数；
基于所述M帧视频图像，通过微表情分类模型确定所述待检测目标的微表情类别，以及确定所述待检测目标的位置信息；
当所述待检测目标的微表情类别属于参考微表情类别且所述位置信息符合位置异常条件时，通过所述触发器进行异常行为报警。
12.如权利要求11所述的监控系统，其特征在于，所述通过所述触发器进行异常行为报警，包括：
通过所述触发器将所述位置信息和/或微表情识别结果发送给指定设备，由所述指定设备进行异常行为报警；或者，
通过所述触发器触发扬声器进行异常行为报警。
13.如权利要求11所述的监控系统，其特征在于，所述处理器还用于：
基于所述摄像头采集的M帧视频图像确定所述待检测目标的位置信息；
或者，
当所述监控系统还包括位置探测传感器时，通过所述位置探测传感器确定所述待检测目标的位置信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910760633.5A CN112395921B (zh) | 2019-08-16 | 2019-08-16 | 异常行为检测方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910760633.5A CN112395921B (zh) | 2019-08-16 | 2019-08-16 | 异常行为检测方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112395921A true CN112395921A (zh) | 2021-02-23 |
| CN112395921B CN112395921B (zh) | 2024-06-18 |
Family
ID=74603115
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910760633.5A Active CN112395921B (zh) | 2019-08-16 | 2019-08-16 | 异常行为检测方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112395921B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113505744A (zh) * | 2021-07-27 | 2021-10-15 | 中国银行股份有限公司 | 用户行为检测方法及装置 |
| CN113723374A (zh) * | 2021-11-02 | 2021-11-30 | 广州通达汽车电气股份有限公司 | 一种基于视频识别用户矛盾的警报方法及相关装置 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008269235A (ja) * | 2007-04-19 | 2008-11-06 | Hitachi Ltd | 端末監視装置 |
| CN102074095A (zh) * | 2010-11-09 | 2011-05-25 | 无锡中星微电子有限公司 | 幼儿行为监控系统及方法 |
| CN102547244A (zh) * | 2012-01-17 | 2012-07-04 | 深圳辉锐天眼科技有限公司 | 视频监控方法及系统 |
| US20120314064A1 (en) * | 2011-06-13 | 2012-12-13 | Sony Corporation | Abnormal behavior detecting apparatus and method thereof, and video monitoring system |
| KR20160095735A (ko) * | 2015-02-04 | 2016-08-12 | 단국대학교 천안캠퍼스 산학협력단 | 사용자 얼굴의 복합 다중 감정 인식 방법 및 시스템 |
| CN107146386A (zh) * | 2017-05-05 | 2017-09-08 | 广东小天才科技有限公司 | 一种异常行为检测方法及装置、用户设备 |
| CN107423707A (zh) * | 2017-07-25 | 2017-12-01 | 深圳帕罗人工智能科技有限公司 | 一种基于复杂环境下的人脸情绪识别方法 |
| US20180005272A1 (en) * | 2016-06-30 | 2018-01-04 | Paypal, Inc. | Image data detection for micro-expression analysis and targeted data services |
| CN109299650A (zh) * | 2018-07-27 | 2019-02-01 | 东南大学 | 基于视频的非线性在线表情预检测方法及装置 |
| CN109461104A (zh) * | 2018-10-22 | 2019-03-12 | 杭州闪宝科技有限公司 | 课堂监控方法、装置及电子设备 |
| CN109886111A (zh) * | 2019-01-17 | 2019-06-14 | 深圳壹账通智能科技有限公司 | 基于微表情的比赛监控方法、装置、计算机设备及存储介质 |
| CN110110657A (zh) * | 2019-05-07 | 2019-08-09 | 中冶赛迪重庆信息技术有限公司 | 视觉识别危险的预警方法、装置、设备及存储介质 |
-
2019
- 2019-08-16 CN CN201910760633.5A patent/CN112395921B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008269235A (ja) * | 2007-04-19 | 2008-11-06 | Hitachi Ltd | 端末監視装置 |
| CN102074095A (zh) * | 2010-11-09 | 2011-05-25 | 无锡中星微电子有限公司 | 幼儿行为监控系统及方法 |
| US20120314064A1 (en) * | 2011-06-13 | 2012-12-13 | Sony Corporation | Abnormal behavior detecting apparatus and method thereof, and video monitoring system |
| CN102547244A (zh) * | 2012-01-17 | 2012-07-04 | 深圳辉锐天眼科技有限公司 | 视频监控方法及系统 |
| KR20160095735A (ko) * | 2015-02-04 | 2016-08-12 | 단국대학교 천안캠퍼스 산학협력단 | 사용자 얼굴의 복합 다중 감정 인식 방법 및 시스템 |
| US20180005272A1 (en) * | 2016-06-30 | 2018-01-04 | Paypal, Inc. | Image data detection for micro-expression analysis and targeted data services |
| CN107146386A (zh) * | 2017-05-05 | 2017-09-08 | 广东小天才科技有限公司 | 一种异常行为检测方法及装置、用户设备 |
| CN107423707A (zh) * | 2017-07-25 | 2017-12-01 | 深圳帕罗人工智能科技有限公司 | 一种基于复杂环境下的人脸情绪识别方法 |
| CN109299650A (zh) * | 2018-07-27 | 2019-02-01 | 东南大学 | 基于视频的非线性在线表情预检测方法及装置 |
| CN109461104A (zh) * | 2018-10-22 | 2019-03-12 | 杭州闪宝科技有限公司 | 课堂监控方法、装置及电子设备 |
| CN109886111A (zh) * | 2019-01-17 | 2019-06-14 | 深圳壹账通智能科技有限公司 | 基于微表情的比赛监控方法、装置、计算机设备及存储介质 |
| CN110110657A (zh) * | 2019-05-07 | 2019-08-09 | 中冶赛迪重庆信息技术有限公司 | 视觉识别危险的预警方法、装置、设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| SENYA POLIKOVSKY等: "Facial micro-expressions recognition using high speed camera and 3D-gradient descriptor", 3RD INTERNATIONAL CONFERENCE ON IMAGING FOR CRIME DETECTION AND PREVENTION (ICDP 2009), 26 July 2010 (2010-07-26), pages 74 - 6 * |
| 张善立等: "人脸图像处理与识别技术", 北京理工大学出版社, pages: 74 * |
| 王帅鹏;赵凯;: "基于图像处理的人员异常行为监测设计", 现代电子技术, no. 06, 31 March 2015 (2015-03-31), pages 119 - 122 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113505744A (zh) * | 2021-07-27 | 2021-10-15 | 中国银行股份有限公司 | 用户行为检测方法及装置 |
| CN113723374A (zh) * | 2021-11-02 | 2021-11-30 | 广州通达汽车电气股份有限公司 | 一种基于视频识别用户矛盾的警报方法及相关装置 |
| CN113723374B (zh) * | 2021-11-02 | 2022-02-15 | 广州通达汽车电气股份有限公司 | 一种基于视频识别用户矛盾的警报方法及相关装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112395921B (zh) | 2024-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110807361B (zh) | 人体识别方法、装置、计算机设备及存储介质 | |
| CN111382624B (zh) | 动作识别方法、装置、设备及可读存储介质 | |
| CN111723602B (zh) | 驾驶员的行为识别方法、装置、设备及存储介质 | |
| CN111127509B (zh) | 目标跟踪方法、装置和计算机可读存储介质 | |
| CN112084811B (zh) | 身份信息的确定方法、装置及存储介质 | |
| CN108363982B (zh) | 确定对象数量的方法及装置 | |
| CN110839128B (zh) | 拍照行为检测方法、装置及存储介质 | |
| CN110650379A (zh) | 视频摘要生成方法、装置、电子设备及存储介质 | |
| CN110572711A (zh) | 视频封面生成方法、装置、计算机设备及存储介质 | |
| CN113627413B (zh) | 数据标注方法、图像比对方法及装置 | |
| CN111027490A (zh) | 人脸属性识别方法及装置、存储介质 | |
| CN110705614A (zh) | 模型训练方法、装置、电子设备及存储介质 | |
| CN111754386A (zh) | 图像区域屏蔽方法、装置、设备及存储介质 | |
| CN110675473B (zh) | 生成gif动态图的方法、装置、电子设备及介质 | |
| CN112395921B (zh) | 异常行为检测方法、装置及系统 | |
| CN111931712B (zh) | 人脸识别方法、装置、抓拍机及系统 | |
| CN112001442B (zh) | 特征检测方法、装置、计算机设备及存储介质 | |
| CN111860064B (zh) | 基于视频的目标检测方法、装置、设备及存储介质 | |
| EP3916619A1 (en) | Open fire detection method and device, and storage medium | |
| CN111988664B (zh) | 视频处理方法、装置、计算机设备及计算机可读存储介质 | |
| CN112882094B (zh) | 初至波的获取方法、装置、计算机设备及存储介质 | |
| CN112214115B (zh) | 输入方式的识别方法、装置、电子设备及存储介质 | |
| CN114595019A (zh) | 应用程序的主题设置方法、装置、设备及存储介质 | |
| CN113936240A (zh) | 确定样本图像的方法、装置、设备及存储介质 | |
| CN112990424B (zh) | 神经网络模型训练的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |