CN112149454A - 行为识别方法、装置和设备 - Google Patents

Abstract

本申请提供了行为识别方法、装置和设备。本申请中，在确定出图片(摄像头抓拍的行人进入所述目标区域后的图片)有不文明行为时，根据从图片中获取的目标人体特征信息确定不文明行为的责任人的目标身份特征信息，最终准确识别出到底是由哪个人负责上述不文明行为，以便及时有针对性地提醒责任人纠正不文明行为。

Description

行为识别方法、装置和设备

技术领域

本申请涉及视频监控领域，特别涉及行为识别方法、装置和设备。

背景技术

在某些区域比如景区、园区等公共场所，不文明行为如乱扔垃圾、抽烟、随地大小便等时常发生，这严重影响了区域的清洁和管理。

为了维持区域的清洁和管理，目前常用的方法是在区域的不同位置架设摄像头。摄像头拍摄视频，把视频通过网络发送到区域内的服务器进行不文明行为识别，服务器一旦识别出不文明行为，通过与网络相连的扬声器在整个区域内进行警报或提醒有不文明行为发生。

目前的方法虽然能够识别出不文明行为，但是不能够准确识别出不文明行为的责任人的身份信息。比如发现有人乱扔垃圾，目前的方法只能识别出有人乱扔垃圾，但不知道具体是哪一个人(责任人)乱认垃圾。

发明内容

本申请提供了行为识别方法和装置，以识别出不文明行为的责任人的身份信息。

本申请提供的技术方案包括：

一种行为识别方法，该方法包括：

获取摄像头在行人进入目标区域后抓拍的图片；

在确定图片中有不文明行为时，从所述图片中识别出目标人体特征信息；

根据所述目标人体特征信息确定所述不文明行为的责任人的目标身份特征信息。

一种行为识别装置，该装置包括：

获取单元，用于获取摄像头在行人进入所述目标区域后抓拍的图片；

特征识别单元，用于在确定所述图片中有不文明行为时，从所述图片中识别出目标人体特征信息；

身份识别单元，用于根据所述目标人体特征信息确定所述不文明行为的责任人的目标身份特征信息。

一种设备，其特征在于，该设备包括：处理器和存储器；

所述存储器，用于存储机器可执行指令；

所述处理器，用于读取并执行所述存储器存储的机器可执行指令，以实现如上所述的方法。

由以上技术方案可以看出，本申请中，通过获取行人进入目标区域时的人体特征信息和相匹配的身份特征信息并存储至指定存储介质，可以在确定出图片(摄像头抓拍的行人进入所述目标区域后的图片)有不文明行为时，根据从图片中获取的人体特征信息从指定存储介质中找到与该获取的人体特征信息相匹配的目标人体特征信息，依据所述指定存储介质存储的与目标人体特征信息匹配的身份特征信息确定所述不文明行为的责任人的身份信息，最终准确识别出到底是由哪个人负责上述不文明行为，以便及时有针对性地提醒责任人纠正不文明行为。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1为本申请提供的方法流程图；

图2为本申请提供的行动轨迹确定流程图；

图3为本申请提供的行动轨迹示意图；

图4为本申请提供的针对行人离开目标区域时的流程图；

图5为本申请提供的装置结构示意图；

图6为本申请提供的图5所示装置的硬件结构示意图。

具体实施方式

在本申请中，为了在识别出不文明行为时，还能进一步准确识别出不文明行为的责任人的身份信息，本申请提供了图1所示的方法：

参见图1，图1为本申请提供的方法流程图。本流程是针对一区域(记为目标区域)执行。这里的目标区域可以为园区、景区等公共场所，本申请并不具体限定。

作为一个实施例，图1所示的流程可应用于目标区域中的服务器。这里的服务器可为针对目标区域设置的一台可以联网的网络设备，至于网络设备具体是什么，本申请并不具体限定。

如图1所示，该流程可包括以下步骤：

步骤101，获取行人在进入目标区域后抓拍的图片。

这里，步骤101中的图片是摄像头在行人进入所述目标区域后抓拍的图片，其可不仅包含行人，还可包含行人带的宠物、小朋友等。

步骤102，在确定图片中有不文明行为时，从所述图片中识别出目标人体特征信息。

在本步骤102中，确定图片中有不文明行为有很多实现方式，下文会具体举例，这里暂不赘述。

在本步骤102中，获取图片中的人体特征信息有很多实现方式。作为一个实施例，获取图片中的人体特征信息为：将图片输入至已训练的特征识别模型中，以由特征识别模型从输入的图片中识别出目标人体特征信息。作为另一个实施例，在本步骤102中，获取图片中的人体特征信息可包括：从摄像头获取上述图片中的人体特征信息，这里，摄像头将上述图片输入至已训练的特征识别模型中以由特征识别模型从输入的图片中识别出人体特征信息，获取特征识别模型识别出的目标人体特征信息。

作为一个实施例，上述目标人体特征信息至少可包括人脸特征信息。作为另一个实施例，这里的人体特征信息也可进一步包括：人体外观特征信息，这里的人体外观特征信息比如人体穿着、饰品配戴等，其主要目的是便于在目标区域依据该人体外观特征信息很快找到对应的行人。

步骤103，根据目标人体特征信息确定不文明行为的责任人的目标身份特征信息。

这里，目标身份特征信息在下文会举例描述，这里暂不赘述。

在具体实现时，步骤103中根据目标人体特征信息确定不文明行为的责任人的目标身份特征信息有很多实现方式，下文会举例描述。

至此，完成图1所示流程。

通过图1所示流程可以看出，本申请中，在确定出图片(摄像头抓拍的行人进入所述目标区域后的图片)有不文明行为时，根据从图片中获取的目标人体特征信息确定不文明行为的责任人的目标身份特征信息，最终准确识别出到底是由哪个人负责上述不文明行为，以便及时有针对性地提醒责任人纠正不文明行为。

下面描述步骤102中如何确定图片中有不文明行为：

作为一个实施例，步骤102中，确定图片中有不文明行为有很多实现方式，比如，将图片中的行为特征信息行为和各外部传感器信息(比如红外、烟雾等)输入至预设的行为分析算法模型中，以利用行为分析算法模型识别图片中是否有不文明行为发生。这里的行为分析算法模型，本申请可不具体限定，只要最终目的能够识别出图片中是否有不文明行为发生即可。这里的不文明行为比如随地吐痰、乱扔垃圾、小孩随地大小便等。

作为另一个实施例，上述步骤101中可进一步包括：获取摄像头对抓拍的图片进行不文明行为识别的识别结果。其中，摄像头对抓拍的图片进行不文明行为识别的方式可为：将图片中的行为特征信息行为和各外部传感器信息(比如红外、烟雾等)输入至预设的行为分析算法模型中，以利用行为分析算法模型识别图片中是否有不文明行为发生。基于此，步骤102中，确定图片中有不文明行为时可包括：检查获取的识别结果，若识别结果显示有不文明行为发生，则确定图片中有不文明行为。

以上通过两种实施例描述步骤102中如何确定图片中有不文明行为，只是为便于理解，并不是具体限定。

下面描述步骤103中：如何根据目标人体特征信息确定所述不文明行为的责任人的目标身份特征信息。

为便于理解，本申请通过两种实现方式举例描述步骤103：如何根据目标人体特征信息确定所述不文明行为的责任人的目标身份特征信息。

方式1：

本方式1下，需要提前执行以下步骤(记为步骤a)：

步骤a，获取行人进入目标区域时的人体特征信息，通过访问用于提供身份特征信息的指定窗口获取与人体特征信息匹配的身份特征信息，将人体特征信息、与人体特征信息匹配的身份特征信息存储至指定存储介质。这里的指定窗口比如为公安部门的用户身份系统等，本申请并不具体限定。

在步骤a中，获取行人进入目标区域时的人体特征信息有很多实现方式，比如，作为一个实施例，获取行人进入目标区域时的人体特征信息可包括：获取入口摄像机(设置在目标区域的入口)在行人进入目标区域时的行人图片，将行人图片输入至已训练的上述特征识别模型中，以由特征识别模型从输入的行人图片识别出人体特征信息。

作为另一个实施例，获取行人进入目标区域时的人体特征信息可包括：获取入口摄像机(设置在目标区域的入口)在行人进入目标区域时的人体特征信息。这里，入口摄像机采集行人进入目标区域时的行人图片，将行人图片输入至已训练的上述特征识别模型中，以由特征识别模型从输入的行人图片识别出人体特征信息。

以上描述得如何获取行人进入目标区域时的人体特征信息，只是为便于理解进行的举例，并不是具体限定。

与上述目标人体特征信息类似，这里的人体特征信息至少可包括人脸特征信息。作为另一个实施例，这里的人体特征信息也可进一步包扩：人体外观特征信息，这里的人体外观特征信息比如人体穿着、饰品配戴等，其主要目的是便于在目标区域依据该人体外观特征信息很快找到对应的行人。

作为一个实施例，上述的指定存储介质可举例为目标区域的数据库。如上描述，指定存储介质最终存储了人体特征信息、以及与人体特征信息匹配的身份特征信息。基于此，作为一个实施例，上述步骤103中，根据目标人体特征信息确定所述不文明行为的责任人的目标身份特征信息可包括：

从指定存储介质中查找到与目标人体特征信息匹配的人体特征信息，将指定存储介质中存储的与该查找到的人体特征信息相匹配的身份特征信息确定为目标身份特征信息。

这里，从指定存储介质中查找到与目标人体特征信息匹配的人体特征信息可包括：针对指定存储介质存储的每一人体特征信息，计算该人体特征信息与上述的目标人体特征信息的相似度，从指定存储介质存储的所有人体特征信息中找出相似度与目标人体特征信息最高的人体特征信息。该找出的相似度与目标人体特征信息最高的人体特征信息即为与目标人体特征信息匹配的人体特征信息。

通过方式1，则可从指定存储介质中找到不文明行为的责任人的目标身份特征信息。即准确识别出到底是由哪个人负责上述不文明行为。

以上对方式1进行了描述，下面对方式2进行描述：

方式2：

本方式2相比方式1比较简单，不需要提前上述的步骤a，而是在确定出不文明行为时，直接访问用于提供身份特征信息的指定窗口获取与所述目标人体特征信息匹配的身份特征信息作为上述的目标身份特征信息的过程。这里的指定窗口如上描述，这里不再赘述。

具体地，在本方式2下，上述步骤103中，根据目标人体特征信息确定不文明行为的责任人的目标身份特征信息可包括：

通过访问用于提供身份特征信息的指定窗口获取与所述目标人体特征信息匹配的身份特征信息；将获取的身份特征信息确定为所述目标身份特征信息。这里的指定窗口如上描述，这里不再赘述。

通过方式2，则一旦在确定出图片中有不文明行为时，则从图片中识别出目标人体特征信息，直接访问用于提供身份特征信息的指定窗口获取与所述目标人体特征信息匹配的身份特征信息作为上述的目标身份特征信息。即准确识别出到底是由哪个人负责上述不文明行为。

以上对方式2进行了描述。

本申请中，一旦上述步骤103确定出不文明行为的责任人的身份特征信息，则可基于身份特征信息提醒责任人纠正不文明行为，下面具体描述：

作为一个实施例，身份特征信息至少包括：姓名、联系方式；

基于此，本申请可通过所述联系方式联系所述责任人，以提醒所述责任人纠正所述不文明行为。

作为另一个实施例，所述身份特征信息至少包括：姓名、身份标识。这里的身份标识可为身份证、在目标区域的编号等。

基于此，本申请可通过目标区域的对外服务窗口通知所述责任人，以提醒所述责任人纠正所述不文明行为。这里，对外服务窗口包括但不限于：应用程序APP、公众号。

需要说明的是，以上只是对如何基于身份特征信息提醒责任人纠正不文明行为的举例，并非具体限定。

可以看出，在本申请中，基于身份特征信息提醒责任人纠正不文明行为，并非如现有方式那样通过扬声器在整个区域内进行警报或提醒有不文明行为发生，而是通过对外服务窗口或者联系方式有针对性地提醒责任人纠正不文明行为，具有准确、快速、干扰小的优势。

在本申请中，作为一个实施例，可在行人进入目标区域后通过目标区域内跨相机的抓拍获取每一行人在目标区域内的行动轨迹，以便根据行动轨迹统计目标区域内人流量多的位置、对行人进行定位等。

作为另一个实施例，也可在确定出不文明行为的责任人后，有针对性地追踪责任人，确定责任人在不文明行为后的行动轨迹。下面仅以确定责任人在不文明行为后的行动轨迹为例描述，其他确定行动轨迹的方式类似：

参见图2，图2为本申请提供的行动轨迹确定流程图。如图2所示，该流程可包括以下步骤：

步骤201，获取不同摄像头抓拍的责任人的图片；所述图片携带抓拍时间。

因为图2所示流程是在确定责任人在不文明行为后的行动轨迹，这里获取的图片可为在确定出责任人之后获取的不同摄像头抓拍的责任人的图片。

步骤202，按照抓拍时间将所述责任人在各图片中的位置进行排序得到所述责任人的行动轨迹。

作为一个实施例，本步骤202中，可按照抓拍时间的先后顺序将责任人在各图片中的位置进行排序得到责任人的行动轨迹。最终确定出确定责任人在不文明行为后的行动轨迹，图3举例示出了责任人的行动轨迹。作为一个实施例，这里的行动轨迹可用于定位责任人，以便目标区域中的工作人员直接找到责任人来提醒责任人纠正不文明行为。作为另一个实施例，这里的行动轨迹也可和上述确定出不文明行文的图片一起作为证据留存。本申请并不具体限定行动轨迹的用途。

以上对行人在目标区域的行为进行了描述。

在一个例子中，对应上述方式1，则当行人离开所述目标区域时，可执行图4所示的流程：

参见图4，图4为本申请提供的针对行人离开目标区域时的流程图。作为一个实施例，图4所示的流程可应用于目标区域中的服务器。这里的服务器可为针对目标区域设置的一台可以联网的网络设备，至于网络设备具体是什么，本申请并不具体限定。

如图4所示，该流程可包括：

步骤401，在确定行人离开所述目标区域时，获取行人在离开所述目标区域时的人体特征信息。

作为一个实施例，本步骤401中，获取行人在离开所述目标区域时的人体特征信息可包括：获取出口摄像机(设置在目标区域的出口)在行人离开目标区域时抓拍的行人图片，将行人图片输入至已训练的上述特征识别模型中，输出人体特征信息。

作为另一个实施例，步骤401中，获取行人出目标区域时的人体特征信息可包括：获取出口摄像机(设置在目标区域的出口)发送的人体特征信息。这里，出口摄像机在行人离开目标区域时抓拍到行人图片，将行人图片输入至已训练的上述特征识别模型中，以由特征识别模型从输入的行人图片识别出人体特征信息并输出，之后会获取特征识别模型输出的人体特征信息并发送给上述服务器。

以上通过两种实施例描述步骤101中如何获取行人出目标区域时的人体特征信息，只是为便于理解，并不是具体限定。

步骤402，从指定存储介质中找到与该获取的人体特征信息相匹配的人体特征信息，从所述指定存储介质中删除该找到的人体特征信息和与该找到的人体特征信息匹配的身份特征信息。

本步骤402中从指定存储介质中找到与该获取的人体特征信息相匹配的人体特征信息与上述步骤a中从所述指定存储介质中找到与该获取的人体特征信息相匹配的目标人体特征信息类似，具体如上描述，这里不再赘述。

至此，完成图4所示流程。通过图4所示流程，则应用于上述方式1，可以在行人离园时及时将指定存储介质中存储的该行人的人体特征信息和身份特征信息删除，节省指定存储介质的存储资源。

以上对本申请提供的方法进行了描述。下面对本申请提供的装置进行描述：

参见图5，图5为本申请提供的装置结构图。该装置包括：

获取单元，用于获取摄像头在行人进入所述目标区域后抓拍的图片；

特征识别单元，用于在确定所述图片中有不文明行为时，从所述图片中识别出目标人体特征信息；

身份识别单元，用于根据所述目标人体特征信息确定所述不文明行为的责任人的目标身份特征信息。

如图5所示，该装置进一步包括：

处理单元，用于获取行人在进入目标区域时的人体特征信息，通过访问用于提供身份特征信息的指定窗口获取与人体特征信息匹配的身份特征信息，将所述人体特征信息、与所述人体特征信息匹配的身份特征信息存储至指定存储介质；

所述身份识别单元根据目标人体特征信息确定所述不文明行为的责任人的目标身份特征信息包括：从所述指定存储介质中查找到与目标人体特征信息匹配的人体特征信息，将所述指定存储介质中存储的与该查找到的人体特征信息相匹配的身份特征信息确定为所述目标身份特征信息。

作为一个实施例，所述身份识别单元根据目标人体特征信息确定所述不文明行为的责任人的目标身份特征信息包括：

通过访问用于提供身份特征信息的指定窗口获取与所述目标人体特征信息匹配的身份特征信息；

将获取的身份特征信息确定为所述目标身份特征信息。

如图5所示，该装置进一步包括：提醒单元；

所述身份特征信息至少包括：姓名、联系方式；基于此，所述提醒单元用于通过所述联系方式联系所述责任人，以提醒所述责任人纠正所述不文明行为；或者，

所述身份特征信息至少包括：姓名、身份标识；所述提醒单元用于通过所述目标区域的对外服务窗口通知所述责任人，以提醒所述责任人纠正所述不文明行为。

如图5所示，该装置进一步包括：

轨迹确定单元，用于获取不同摄像头抓拍的所述责任人的图片；所述图片携带抓拍时间；按照抓拍时间将所述责任人在各图片中的位置进行排序得到所述责任人的行动轨迹；所述行动轨迹至少用于定位所述责任人。

作为一个实施例，所述处理单元进一步在确定行人离开所述目标区域时，获取行人在离开所述目标区域时的人体特征信息；从所述指定存储介质中找到与该获取的人体特征信息相匹配的人体特征信息，从所述指定存储介质中删除该找到的人体特征信息和与该找到的人体特征信息匹配的身份特征信息。

至此，完成图5所示装置的结构图。

对应地，本申请还提供了图5所示装置的硬件结构图，具体如图6所示。如图6所示，该硬件结构包括：处理器和存储器。

其中，所述存储器，用于存储机器可执行指令；

所述处理器，用于读取并执行所述存储器存储的机器可执行指令，以实现如图1所示的行为识别方法。

作为一个实施例，存储器可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，存储器可以是：易失存储器、非易失性存储器或者类似的存储介质。具体地，存储器可以是RAM(Radom Access Memory，随机存取存储器)、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、DVD等)，或者类似的存储介质，或者它们的组合。

至此，完成图6所示设备的描述。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (14)

1.一种行为识别方法，其特征在于，该方法包括：

获取在行人进入目标区域后抓拍的图片；

在确定所述图片中有不文明行为时，从所述图片中识别出目标人体特征信息；

根据所述目标人体特征信息确定所述不文明行为的责任人的目标身份特征信息。

2.根据权利要求1所述的方法，其特征在于，该方法之前，进一步包括：获取行人在进入目标区域时的人体特征信息，通过访问用于提供身份特征信息的指定窗口获取与人体特征信息匹配的身份特征信息，将人体特征信息、与人体特征信息匹配的身份特征信息存储至指定存储介质；

所述根据目标人体特征信息确定所述不文明行为的责任人的目标身份特征信息包括：

从所述指定存储介质中查找到与目标人体特征信息匹配的人体特征信息，将所述指定存储介质中存储的与该查找到的人体特征信息相匹配的身份特征信息确定为所述目标身份特征信息。

3.根据权利要求1所述的方法，其特征在于，所述根据目标人体特征信息确定所述不文明行为的责任人的目标身份特征信息包括：

通过访问用于提供身份特征信息的指定窗口获取与所述目标人体特征信息匹配的身份特征信息；

将获取的身份特征信息确定为所述目标身份特征信息。

4.根据权利要求1所述的方法，其特征在于，所述身份特征信息至少包括：姓名、联系方式；

该方法进一步包括：

通过所述联系方式联系所述责任人，以提醒所述责任人纠正所述不文明行为。

5.根据权利要求1所述的方法，其特征在于，所述身份特征信息至少包括：姓名、身份标识；

该方法进一步包括：

通过所述目标区域的对外服务窗口通知所述责任人，以提醒所述责任人纠正所述不文明行为。

6.根据权利要求1所述的方法，其特征在于，该方法进一步包括：

获取不同摄像头抓拍的所述责任人的图片；所述图片携带抓拍时间；

按照抓拍时间将所述责任人在各图片中的位置进行排序得到所述责任人的行动轨迹；所述行动轨迹至少用于定位所述责任人。

7.根据权利要求2所述的方法，其特征在于，该方法进一步包括：

在确定行人离开所述目标区域时，获取行人在离开所述目标区域时的人体特征信息；

从所述指定存储介质中找到与该获取的人体特征信息相匹配的人体特征信息，从所述指定存储介质中删除该找到的人体特征信息和与该找到的人体特征信息匹配的身份特征信息。

8.一种行为识别装置，其特征在于，该装置包括：

获取单元，用于获取在行人进入所述目标区域后抓拍的图片；

特征识别单元，用于在确定所述图片中有不文明行为时，从所述图片中识别出目标人体特征信息；

身份识别单元，用于根据所述目标人体特征信息确定所述不文明行为的责任人的目标身份特征信息。

9.根据权利要求8所述的装置，其特征在于，该装置进一步包括：

处理单元，用于获取行人在进入目标区域时的人体特征信息，通过访问用于提供身份特征信息的指定窗口获取与人体特征信息匹配的身份特征信息，将所述人体特征信息、与所述人体特征信息匹配的身份特征信息存储至指定存储介质；

所述身份识别单元根据目标人体特征信息确定所述不文明行为的责任人的目标身份特征信息包括：从所述指定存储介质中查找到与目标人体特征信息匹配的人体特征信息，将所述指定存储介质中存储的与该查找到的人体特征信息相匹配的身份特征信息确定为所述目标身份特征信息。

10.根据权利要求9所述的装置，其特征在于，所述处理单元进一步在确定行人离开所述目标区域时，获取行人在离开所述目标区域时的人体特征信息；从所述指定存储介质中找到与该获取的人体特征信息相匹配的人体特征信息，从所述指定存储介质中删除该找到的人体特征信息和与该找到的人体特征信息匹配的身份特征信息。

11.根据权利要求8所述的装置，其特征在于，所述身份识别单元根据目标人体特征信息确定所述不文明行为的责任人的目标身份特征信息包括：

通过访问用于提供身份特征信息的指定窗口获取与所述目标人体特征信息匹配的身份特征信息；

将获取的身份特征信息确定为所述目标身份特征信息。

12.根据权利要求8所述的装置，其特征在于，该装置进一步包括：提醒单元；

所述身份特征信息至少包括：姓名、联系方式；所述提醒单元用于通过所述联系方式联系所述责任人，以提醒所述责任人纠正所述不文明行为；或者，

所述身份特征信息至少包括：姓名、身份标识；所述提醒单元用于通过所述目标区域的对外服务窗口通知所述责任人，以提醒所述责任人纠正所述不文明行为。

13.根据权利要求8所述的装置，其特征在于，该装置进一步包括：

轨迹确定单元，用于获取不同摄像头抓拍的所述责任人的图片；所述图片携带抓拍时间；按照抓拍时间将所述责任人在各图片中的位置进行排序得到所述责任人的行动轨迹；所述行动轨迹至少用于定位所述责任人。

14.一种设备，其特征在于，该设备包括：处理器和存储器；

所述存储器，用于存储机器可执行指令；

所述处理器，用于读取并执行所述存储器存储的机器可执行指令，以实现如权利要求1至7任一方法。

Images