CN109918989A - 监控画面中人物行为类型识别方法、装置、介质和设备 - Google Patents

Abstract

本发明提供了一种监控画面中人物行为类型识别方法、装置、计算机存储介质和计算机设备；该方法包括：接收监控终端发送的监控视频；从所述监控视频中提取出人物对应的微表情信息和肢体动作信息；按照预设分析规则确定所述微表情信息和肢体动作信息之间的关联信息；根据所述关联信息确定所述人物对应的行为类型。发明技术方案能够结合监控视频画面中人物的微表情和肢体动作信息自动识别出监控视频画面中的人物对应的行为类型，能够有效减少用于监控视频画面的人力资源的投入。

Description

监控画面中人物行为类型识别方法、装置、介质和设备

技术领域

本发明涉及内容识别领域，具体而言，本发明涉及一种监控画面中人物行为类型识别方法、装置、介质和计算机设备。

背景技术

目前视频监控的技术很普及，在很多场景中都有应用，比如，超市中会设置监控设备来随时监控物品，以避免物品无人监控被人盗窃等。通常监控设备包括有设置在监控区域的监控摄像头、用于接收监控摄像头回传的实时监控视频的监控主机，监控主机在接收到监控视频后通过屏幕展示给监控者，从而监控者不需要监控区域就可以实时监视监控区域的情况。

然而，监控区域上的人做了什么事情仍然需要监控者来进行判断，比如当监控者离开了屏幕，或者监控者不够留心观看监控视频，即使监控区域上的人做了什么动作，比如偷窃物品等，监控者都不会知晓，也就是说即使在监控区域设置了监控设备，为了监视监控区域的人做了什么，仍然需要投入很大的人力。

发明内容

本发明针对现有技术的缺点，提供了一种监控画面中人物行为类型识别方法、装置、介质和计算机设备，本发明技术方案能够结合监控视频画面中人物的微表情和肢体动作信息自动识别出监控视频画面中的人物对应的行为类型，能够有效减少用于监控视频画面的人力资源的投入。

本发明实施例根据第一方面提供了一种监控画面中人物行为类型识别方法，包括：

接收监控终端发送的监控视频；

从所述监控视频中提取出人物对应的微表情信息和肢体动作信息；

按照预设分析规则确定所述微表情信息和肢体动作信息之间的关联信息；

根据所述关联信息确定所述人物对应的行为类型。

进一步地，所述从所述监控视频中提取出人物对应的微表情信息和肢体动作信息，包括：

将所述监控视频转换为视频帧图集；

获取所述视频帧图集中包含人物的人物视频帧图集；

从所述人物视频帧图集中提取出人物对应的微表情信息和肢体动作信息。

更进一步地，所述从所述人物视频帧图集中提取出人物对应的微表情信息，包括：

从所述人物视频帧图集中获取包含人物面部特征信息的视频帧图集；

使用预设微表情识别规则确定所述视频帧图集中各张视频帧图对应的微表情类型。

进一步地，所述按照预设分析规则确定所述微表情信息和肢体动作信息之间的关联信息，包括：

确定所述微表情信息和肢体动作信息各自对应的时刻信息；

按照所述时刻信息将所述微表情信息和肢体动作信息从早到晚进行排序；

根据排序后的微表情信息和肢体动作信息确定表情动作转换信息。

更进一步地，所述根据所述关联信息确定所述人物对应的行为类型，包括：

将所述表情动作转换信息与预设表情动作转换类型库进行比对；

根据比对结果确定所述人物对应的行为类型。

进一步地，所述根据所述关联信息确定所述人物对应的行为类型，之后包括：

判断所述行为类型是否属于预设行为类型黑名单中的行为类型；

若是，则获取所述人物所在的位置信息；

根据所述位置信息和所述人物对应的行为类型生成报警信息；

向所述监控终端发送所述报警信息。

更进一步地，所述获取所述人物所在的位置信息，包括：

获取所述人物对应的监控视频标识；

获取与所述监控视频标识对应的监控区域信息；

将所述监控区域信息作为所述人物所在的位置信息。

本发明实施例根据第二方面提供了一种监控画面中人物行为类型识别装置，包括：

监控视频接收模块，用于接收监控终端发送的监控视频；

表情动作提取模块，用于从所述监控视频中提取出人物对应的微表情信息和肢体动作信息；

关联信息确定模块，用于按照预设分析规则确定所述微表情信息和肢体动作信息之间的关联信息；

行为类型确定模块，用于根据所述关联信息确定所述人物对应的行为类型。

本发明实施例根据第三方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的监控画面中人物行为类型识别方法。

本发明实施例根据第四方面提供了一种计算机设备，所述计算机设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的监控画面中人物行为类型识别方法。

在本发明实施例中，通过接收监控终端发送的监控视频；从所述监控视频中提取出人物对应的微表情信息和肢体动作信息；按照预设分析规则确定所述微表情信息和肢体动作信息之间的关联信息；根据所述关联信息确定所述人物对应的行为类型，能够结合监控视频画面中人物的微表情和肢体动作信息自动识别出监控视频画面中的人物对应的行为类型，能够有效减少用于监控视频画面的人力资源的投入。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明一个实施例的监控画面中人物行为类型识别方法流程示意图；

图2为本发明一个实施例的监控画面中人物行为类型识别装置的结构示意图；

图3为本发明一种实施例的计算机设备的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式，这里使用的“第一”、“第二”仅用于区别同一技术特征，并不对该技术特征的顺序和数量等加以限定。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

本发明实施例提供了一种监控画面中人物行为类型识别方法，以下结合附图对本发明的具体实施方式进行详细介绍。

如图1所示，本发明实施例提供的监控画面中人物行为类型识别方法包括以下步骤：

S110：接收监控终端发送的监控视频。

S120：从所述监控视频中提取出人物对应的微表情信息和肢体动作信息。

S130：按照预设分析规则确定所述微表情信息和肢体动作信息之间的关联信息。

S140：根据所述关联信息确定所述人物对应的行为类型。

在本实施例中，所述监控终端能够接收到监控摄像头回传的实时的监控视频，之后将所述监控视频通过屏幕展示给监控者，并且将所述监控视频上传到云端的服务器，服务器在接收到监控视频后，即可从所述监控视频中提取出监控视频画面中的人物所对应的微表情信息和肢体动作信息，其中，“微表情”是心理应激微反应的一部分，其持续时间仅在二十五分之一秒到五分之一秒，是一种非常快速的表情，它从人类本能出发，不受思想的控制，因此它可以揭露人隐藏的真实情感。

当人们试图抑制或隐藏真实的情感时，往往泄露出非常短暂且不能自主控制的面部表情，这样的面部表情称为微表情。也就是说人们在进行犯罪，比如在超市偷东西，在门口企图偷偷敲门等一些不好的事情时，总是会做出一些下意识的肢体动作和微表情，并且这样的微表情和肢体动作会比较出现得频繁、并且与人们进行正常活动时出现的肢体动作和表情有区别，因此可以利用人们做出的肢体动作和微表情来判断人们是否正在进行一些不正常的行为，比如偷窃行为等。

具体地，所述微表情信息是服务器对监控视频进行分析得出的微表情类型信息，所述微表情信息包括至少一种微表情类型，比如厌恶、惊讶、担忧、恐惧等。

在一些超市等应用场景中如果单纯靠微表情信息可能难以确定人物是否进行了某类行为，比如某人在超市中想要偷窃东西，而如果只是面部露出了含义不好的微表情，但是由于其还没有行动或没有完成偷窃，则没办法证据可以确定其是否存在偷窃行为。因此，本实施例将人物对应的的肢体动作信息和微表情信息来提高识别精确性。

比如当一个人在超市想要偷窃某种东西，可能会需要多次查看周围是否有人，其此时表现出来的肢体动作就与正常选购产品的客人的行为有所不同，其中的肢体动作信息可以是短时间内东张西望，也就是人物的头部在预定时间区间内向左右或上下的动作次数高于预设阈值，那么就有可能存在偷窃行为了。

具体地，所述肢体动作信息是服务器对监控视频进行分析得出的肢体动作类型信息，所述肢体动作信息包括至少一种肢体动作类型，比如转头、抬头、举手等。

提取出人物对应的微表情信息和肢体动作信息之后，服务器按照预设分析规则确定所述微表情信息和肢体动作信息之间的关联信息，其中，关联信息是指监控画面中的人物在某个时间区间内，接连做了什么微表情和什么肢体动作，比如，在2018年10月1日9点30分到9点31分，人物A露出过担忧的微表情并且多次转头等，之后服务器根据所述关联信息来确定人物对应的行为类型，从而实现自动识别出监控视频画面中的人物对应的行为类型。其中，预先设置了多种行为类型，所述行为类型可以根据应用场景来设置，比如在用于监控超市中的人物的场景中，可以设置正常行为、可疑行为等行为类型。

由于服务器能够自动识别出监控画面中人物的行为类型，从而不需要安排或者不需要安排太多人力用于监视监控摄像头回传的监控画面，能够有效较少人力资源的投入。

在一个实施例中，所述S120：从所述监控视频中提取出人物对应的微表情信息和肢体动作信息，包括：

S121：将所述监控视频转换为视频帧图集。

S122：获取所述视频帧图集中包含人物的人物视频帧图集。

S123：从所述人物视频帧图集中提取出人物对应的微表情信息和肢体动作信息。

在本实施例中，监控终端将监控摄像头拍摄到的监控视频数据上传到服务器，由于监控摄像头拍摄到的监控视频的画面中并不都包含有人物，如果没有人物，服务器就无法进行对人物的微表情和肢体动作的分析操作，因此服务器接收到监控视频后，将所述监控视频转换为视频帧图集，然后再从所述视频帧图集职工获取包含有人物的人物视频帧图集，人物视频帧图中包含有至少一个人物，从而能够进行对人物的微表情和肢体动作的分析操作。

另一方面，由于视频帧图中可能存在一些比较模糊等可能会影响最终的分析结果的视频帧图，所以将这部分视频帧图过滤掉之后，能够使最终的分析结果更为精确，另一方面也能够减少服务器的分析操作，降低服务器的负荷。

在一个实施例中，所述S123：从所述人物视频帧图集中提取出人物对应的微表情信息，包括：

从所述人物视频帧图集中获取包含人物面部特征信息的视频帧图集。

使用预设微表情识别规则确定所述视频帧图集中各张视频帧图对应的微表情类型。

在本实施例中，在判断视频帧图中是否包含人物时，可以使用人脸识别的算法比如基于几何特征的方法、基于模板的方法和/或基于模型的方法来进行检测。也就是说所述视频帧图中的人物是能够检测出人脸面部特征的人物，当检测出人物的人脸特征后，会对该人物对应的若干张人物视频帧图进行分析，以获取该人物对应的肢体动作信息，而如果在某个监控视频片段中，某个顾客一直没有露出脸部，比如该人物背对着监控摄像头，则不获取该人物对应的肢体动作信息。

进一步地，在获取人物对应的肢体动作信息时，可以利用预先训练好的用于识别人体肢体动作的识别模型来识别一张人物视频帧图上人物的初始肢体动作，然后将其作为用于对比的图片，将其后多张时间上连续的人物视频帧图与其进行对比得到人物的肢体动作趋势，最后得出最终的肢体动作。

在一个实施例中，所述S130：按照预设分析规则确定所述微表情信息和肢体动作信息之间的关联信息，包括：

S131：确定所述微表情信息和肢体动作信息各自对应的时刻信息。

S132：按照所述时刻信息将所述微表情信息和肢体动作信息从早到晚进行排序。

S133：根据排序后的微表情信息和肢体动作信息确定表情动作转换信息。

在本实施例中，所述微表情信息的时刻信息是指所述微表情信息对应的人物视频帧图的具体的时间点信息，比如人物A在2018年10月1日9点30分12秒62脸上出现了担忧的微表情，而所述肢体动作信息的时刻信息是指获得所述肢体动作信息对应的多张人物视频帧图对应的一段时间信息，比如人物A在2018年10月1日9点30分12秒62到当天的13秒78做了3次左右摇头的肢体动作。

在确定所述微表情信息和肢体动作信息各自对应的时刻信息之后，服务器按照所述时刻信息将所述微表情信息和肢体动作信息从早到晚进行排序，之后根据排序后的微表情信息和肢体动作信息确定表情动作转换信息，其中，所述表情动作转换信息，即所述关联信息，是指在某一时间区间内人物出现的一系列微表情和肢体动作，比如，在2018年10月1日9点30分12秒62到当天的16秒22之间，人物A出现了担忧表情-一次左右转头-一次左右转头-恐惧表情的微表情和肢体动作。

具体地，所述S140：根据所述关联信息确定所述人物对应的行为类型，包括：

S141：将所述表情动作转换信息与预设表情动作转换类型库进行比对。

S142：根据比对结果确定所述人物对应的行为类型。

在本实施例中，所述预设表情动作转换类型库包括了多个预先设置的表情动作转换类型，通过将获取到的人物的关联信息，即所述表情动作转换信息与预设表情动作类型库对比，得到对比结果，根据对比结果从预设的行为类型映射表中找到对应的行为类型。

在一个实施例中，所述S140：根据所述关联信息确定所述人物对应的行为类型，之后包括：

S150：判断所述行为类型是否属于预设行为类型黑名单中的行为类型。

S160：若是，则获取所述人物所在的位置信息。

S170：根据所述位置信息和所述人物对应的行为类型生成报警信息。

S180：向所述监控终端发送所述报警信息。

在本实施例中，如果确定人物对应的所述行为类型属于预设行为类型黑名单中的行为类型，则需要获取所述人物当前的位置信息，将获取的位置信息与所述行为类型生成报警信息发送给监控终端，监控终端在接收到报警信息后，将所述报警信息通过屏幕展示，从而监控者能够根据报警信息采取相应的行动，比如安排人力找到所述人物进行验证等。

其中，所述预设行为类型黑名单可以根据具体应用场景来设置，比如，预先设置的行为类型有正常行为、可疑行为，可以将所述可疑行为设置为预设行为类型黑名单。

具体地，所述报警信息包括所述人物的人物视频帧图、所述人物对应的行为类型以及所述人物所在的位置信息。

更具体地，监控终端在接收到报警信息后，将所述报警信息通过屏幕展示之外，还可以将报警信息通过预先配置好网络连接发送到监控者，和/或其他安保人员的智能手机等智能终端，从而监控者即使离开了监控屏幕，也能够在监控区域的人物做出黑名单中的行为类型的行为时及时地获知，而安保人员则通过所述报警信息，不需要监控者的告知就可以了解情况，并通过报警信息中的信息来确定存在可疑行为的人物及其当前所处位置。

进一步地，如果查看情况后确定该人物确实存在偷窃物品等的不良行为时，则可以通过监控终端让服务器记录该人物的行为记录，当该人物下次进入视频时，发送提示信息给监控终端，从而可以进行预防工作。

在一个实施例中，所述S160：获取所述人物所在的位置信息，包括：

S161：获取所述人物对应的监控视频标识。

S162：获取与所述监控视频标识对应的监控区域信息。

S163：将所述监控区域信息作为所述人物所在的位置信息。

在本实施例中，如果监控区域不止一个，相应地在每个监控区域也会布置至少一个监控摄像头，因此，预先为监控区域分配监控区域标识，再为设置在监控区域的监控摄像头分配监控视频标识，之后将所述监控视频标识与监控区域标识建立映射关系，从而通过监控视频标识可以确定其对应的监控区域标识，进而确定对应的监控区域。

比如，监控区域有A和B，A处布置了一个监控摄像头A1，B处布置了两个监控摄像头B1和B2，之后确定人物对应的人物视频帧图，通过所述人物视频帧图确定其对应的监控视频是由哪个监控摄像头回传的，比如是监控摄像头B1，则可以确定该人物所处的监控区域为B。

为了更好地理解本发明技术方案，本发明还提供了一种监控画面中人物行为类型识别装置，如图2所示，包括以下模块：

监控视频接收模块110，用于接收监控终端发送的监控视频。

表情动作提取模块120，用于从所述监控视频中提取出人物对应的微表情信息和肢体动作信息。

关联信息确定模块130，用于按照预设分析规则确定所述微表情信息和肢体动作信息之间的关联信息。

行为类型确定模块140，用于根据所述关联信息确定所述人物对应的行为类型。

在本实施例中，所述微表情信息是服务器对监控视频进行分析得出的微表情类型信息，所述微表情信息包括至少一种微表情类型，比如厌恶、惊讶、担忧、恐惧等。

在一些超市等应用场景中如果单纯靠微表情信息可能难以确定人物是否进行了某类行为，比如某人在超市中想要偷窃东西，而如果只是面部露出了含义不好的微表情，但是由于其还没有行动或没有完成偷窃，则没办法证据可以确定其是否存在偷窃行为。因此，本实施例将人物对应的的肢体动作信息和微表情信息来提高识别精确性。

比如当一个人在超市想要偷窃某种东西，可能会需要多次查看周围是否有人，其此时表现出来的肢体动作就与正常选购产品的客人的行为有所不同，其中的肢体动作信息可以是短时间内东张西望，也就是人物的头部在预定时间区间内向左右或上下的动作次数高于预设阈值，那么就有可能存在偷窃行为了。

具体地，所述肢体动作信息是服务器对监控视频进行分析得出的肢体动作类型信息，所述肢体动作信息包括至少一种肢体动作类型，比如转头、抬头、举手等。而所述行为类型可以根据应用场景来设置，比如在用于监控超市中的人物的场景中，可以设置正常行为、可疑行为等行为类型。

由于服务器能够自动识别出监控画面中人物的行为类型，从而不需要安排或者不需要安排太多人力用于监视监控摄像头回传的监控画面，能够有效较少人力资源的投入。

在一个实施例中，所述表情动作提取模块120，包括：

视频转换子模块121，用于将所述监控视频转换为视频帧图集。

人物帧图集获取子模块122，用于获取所述视频帧图集中包含人物的人物视频帧图集。

表情动作提取子模块123，用于从所述人物视频帧图集中提取出人物对应的微表情信息和肢体动作信息。

在一个实施例中，所述表情动作提取子模块123，包括：

面部帧图集获取单元，用于从所述人物视频帧图集中获取包含人物面部特征信息的视频帧图集。

微表情类型确定单元，用于使用预设微表情识别规则确定所述视频帧图集中各张视频帧图对应的微表情类型。

在一个实施例中，所述关联信息确定模块130，包括：

时刻信息确定子模块131，用于确定所述微表情信息和肢体动作信息各自对应的时刻信息.

排序子模块132，用于按照所述时刻信息将所述微表情信息和肢体动作信息从早到晚进行排序。

转换信息确定子模块133，用于根据排序后的微表情信息和肢体动作信息确定表情动作转换信息。

在本实施例中，在判断视频帧图中是否包含人物时，可以使用人脸识别的算法比如基于几何特征的方法、基于模板的方法和/或基于模型的方法来进行检测。也就是说所述视频帧图中的人物是能够检测出人脸面部特征的人物，当检测出人物的人脸特征后，会对该人物对应的若干张人物视频帧图进行分析，以获取该人物对应的肢体动作信息，而如果在某个监控视频片段中，某个顾客一直没有露出脸部，比如该人物背对着监控摄像头，则不获取该人物对应的肢体动作信息。

进一步地，在获取人物对应的肢体动作信息时，可以利用预先训练好的用于识别人体肢体动作的识别模型来识别一张人物视频帧图上人物的初始肢体动作，然后将其作为用于对比的图片，将其后多张时间上连续的人物视频帧图与其进行对比得到人物的肢体动作趋势，最后得出最终的肢体动作。

在一个实施例中，所述行为类型确定模块140，包括：

转换信息对比子模块141，用于将所述表情动作转换信息与预设表情动作转换类型库进行比对。

行为类型确定子模块142，用于根据比对结果确定所述人物对应的行为类型。

在本实施例中，所述微表情信息的时刻信息是指所述微表情信息对应的人物视频帧图的具体的时间点信息，比如人物A在2018年10月1日9点30分12秒62脸上出现了担忧的微表情，而所述肢体动作信息的时刻信息是指获得所述肢体动作信息对应的多张人物视频帧图对应的一段时间信息，比如人物A在2018年10月1日9点30分12秒62到当天的13秒78做了3次左右摇头的肢体动作。

所述表情动作转换信息，即所述关联信息，是指在某一时间区间内人物出现的一系列微表情和肢体动作，比如，在2018年10月1日9点30分12秒62到当天的16秒22之间，人物A出现了担忧表情-一次左右转头-一次左右转头-恐惧表情的微表情和肢体动作。

在一个实施例中，本发明提供的监控画面中人物行为类型识别装置在执行所述行为类型确定模块140对应的功能之后，还执行以下模块对应的功能：

行为类型判断模块150，用于判断所述行为类型是否属于预设行为类型黑名单中的行为类型。

位置信息获取模块160，用于当所述行为类型属于预设行为类型黑名单中的行为类型时，获取所述人物所在的位置信息。

报警信息生成模块170，用于根据所述位置信息和所述人物对应的行为类型生成报警信息。

报警信息发送模块180，用于向所述监控终端发送所述报警信息。

具体地，所述预设行为类型黑名单可以根据具体应用场景来设置，比如，预先设置的行为类型有正常行为、可疑行为，可以将所述可疑行为设置为预设行为类型黑名单。

所述报警信息包括所述人物的人物视频帧图、所述人物对应的行为类型以及所述人物所在的位置信息。

更具体地，监控终端在接收到报警信息后，将所述报警信息通过屏幕展示之外，还可以将报警信息通过预先配置好网络连接发送到监控者，和/或其他安保人员的智能手机等智能终端，从而监控者即使离开了监控屏幕，也能够在监控区域的人物做出黑名单中的行为类型的行为时及时地获知，而安保人员则通过所述报警信息，不需要监控者的告知就可以了解情况，并通过报警信息中的信息来确定存在可疑行为的人物及其当前所处位置。

进一步地，如果查看情况后确定该人物确实存在偷窃物品等的不良行为时，则可以通过监控终端让服务器记录该人物的行为记录，当该人物下次进入视频时，发送提示信息给监控终端，从而可以进行预防工作。

在一个实施例中，所述位置信息获取模块160，包括：

视频标识获取子模块161，用于获取所述人物对应的监控视频标识。

区域信息获取子模块162，用于获取与所述监控视频标识对应的监控区域信息。

位置信息确定子模块163，用于将所述监控区域信息作为所述人物所在的位置信息。

需要说明的是，本发明实施例提供的监控画面中人物行为类型识别装置能够实现上述监控画面中人物行为类型识别方法实施例所实现的功能，功能的具体实现参照上述监控画面中人物行为类型识别方法中的描述，在此不再赘述。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述监控画面中人物行为类型识别方法。其中，所述存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random AcceSS Memory，随即存储器)、EPROM(EraSable ProgrammableRead-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically EraSableProgrammable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，存储介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。可以是只读存储器，磁盘或光盘等。

本发明实施例还提供一种计算机设备，所述计算机设备包括：

一个或多个处理器710；

存储装置720，用于存储一个或多个程序700，

当所述一个或多个程序700被所述一个或多个处理器710执行，使得所述一个或多个处理器710实现上述监控画面中人物行为类型识别方法。

如图3所示为本发明计算机设备的结构示意图，包括处理器710、存储装置720、输入单元730以及显示单元740等器件。本领域技术人员可以理解，图3示出的结构器件并不构成对所有计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件。存储装置720可用于存储应用程序700以及各功能模块，处理器710运行存储在存储装置720的应用程序700，从而执行设备的各种功能应用以及数据处理。存储装置720可以是内存储器或外存储器，或者包括内存储器和外存储器两者。内存储器可以包括只读存储器、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)、快闪存储器、或者随机存储器。外存储器可以包括硬盘、软盘、ZIP盘、U盘、磁带等。本发明所公开的存储装置包括但不限于这些类型的存储装置。本发明所公开的存储装置720只作为例子而非作为限定。

输入单元730用于接收信号的输入，以及接收用户输入的选择语音文件等相关请求。输入单元730可包括触控面板以及其它输入设备。触控面板可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作)，并根据预先设定的程序驱动相应的连接装置；其它输入设备可以包括但不限于物理键盘、功能键(比如播放控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。显示单元740可用于显示用户输入的信息或提供给用户的信息以及计算机设备的各种菜单。显示单元740可采用液晶显示器、有机发光二极管等形式。处理器710是计算机设备的控制中心，利用各种接口和线路连接整个电脑的各个部分，通过运行或执行存储在存储装置720内的软件程序和/或模块，以及调用存储在存储装置内的数据，执行各种功能和处理数据。

在一实施方式中，计算机设备包括一个或多个处理器710，以及一个或多个存储装置720，一个或多个应用程序700，其中所述一个或多个应用程序700被存储在存储装置720中并被配置为由所述一个或多个处理器710执行，所述一个或多个应用程序700配置用于执行以上实施例所述的监控画面中人物行为类型识别方法。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

应该理解的是，在本发明各实施例中的各功能单元可集成在一个处理模块中，也可以各个单元单独物理存在，也可以两个或两个以上单元集成于一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种监控画面中人物行为类型识别方法，其特征在于，包括：

接收监控终端发送的监控视频；

从所述监控视频中提取出人物对应的微表情信息和肢体动作信息；

按照预设分析规则确定所述微表情信息和肢体动作信息之间的关联信息；

根据所述关联信息确定所述人物对应的行为类型。

2.如权利要求1所述的监控画面中人物行为类型识别方法，其特征在于，所述从所述监控视频中提取出人物对应的微表情信息和肢体动作信息，包括：

将所述监控视频转换为视频帧图集；

获取所述视频帧图集中包含人物的人物视频帧图集；

从所述人物视频帧图集中提取出人物对应的微表情信息和肢体动作信息。

3.如权利要求2所述的监控画面中人物行为类型识别方法，其特征在于，所述从所述人物视频帧图集中提取出人物对应的微表情信息，包括：

从所述人物视频帧图集中获取包含人物面部特征信息的视频帧图集；

使用预设微表情识别规则确定所述视频帧图集中各张视频帧图对应的微表情类型。

4.如权利要求1所述的监控画面中人物行为类型识别方法，其特征在于，所述按照预设分析规则确定所述微表情信息和肢体动作信息之间的关联信息，包括：

确定所述微表情信息和肢体动作信息各自对应的时刻信息；

按照所述时刻信息将所述微表情信息和肢体动作信息从早到晚进行排序；

根据排序后的微表情信息和肢体动作信息确定表情动作转换信息。

5.如权利要求4所述的监控画面中人物行为类型识别方法，其特征在于，所述根据所述关联信息确定所述人物对应的行为类型，包括：

将所述表情动作转换信息与预设表情动作转换类型库进行比对；

根据比对结果确定所述人物对应的行为类型。

6.如权利要求1所述的监控画面中人物行为类型识别方法，其特征在于，所述根据所述关联信息确定所述人物对应的行为类型，之后包括：

判断所述行为类型是否属于预设行为类型黑名单中的行为类型；

若是，则获取所述人物所在的位置信息；

根据所述位置信息和所述人物对应的行为类型生成报警信息；

向所述监控终端发送所述报警信息。

7.如权利要求6所述的监控画面中人物行为类型识别方法，其特征在于，所述获取所述人物所在的位置信息，包括：

获取所述人物对应的监控视频标识；

获取与所述监控视频标识对应的监控区域信息；

将所述监控区域信息作为所述人物所在的位置信息。

8.一种监控画面中人物行为类型识别装置，其特征在于，包括：

监控视频接收模块，用于接收监控终端发送的监控视频；

表情动作提取模块，用于从所述监控视频中提取出人物对应的微表情信息和肢体动作信息；

关联信息确定模块，用于按照预设分析规则确定所述微表情信息和肢体动作信息之间的关联信息；

行为类型确定模块，用于根据所述关联信息确定所述人物对应的行为类型。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述的监控画面中人物行为类型识别方法。

10.一种计算机设备，其特征在于，所述计算机设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一项所述的监控画面中人物行为类型识别方法。