CN113469137A - 异常行为的识别方法、装置、存储介质及电子装置 - Google Patents

Abstract

本发明实施例提供了一种异常行为的识别方法、装置、存储介质及电子装置，其中，该方法包括：确定目标视频中待处理人体的人体运动轨迹，以及确定目标视频中目标对象的对象运动轨迹；基于人体运动轨迹，确定待处理人体的人体运动区域，并基于对象运动轨迹，确定目标对象的对象运动区域；根据人体运动区域和对象运动区域的位置关系，确定待处理人体是否执行异常行为，其中，异常行为包括待处理人体针对目标对象执行的动作。通过本发明，解决了相关技术中存在的对异常行为识别的准确率低的问题，达到了提高异常行为识别的准确率的效果。

Description

异常行为的识别方法、装置、存储介质及电子装置

技术领域

本发明实施例涉及视频分析技术领域，具体而言，涉及一种异常行为的识别方法、装置、存储介质及电子装置。

背景技术

网络时代的发展带来了网商的兴起，物流行业也随着发展起来。越来越多的快递公司成立，必然要求对快递服务有一定的监管，尤其需要对服务人员的行为进行监管，下面以对快递分拣过程中的分拣行为进行监管为例，在快递分拣的过程中，由于包裹多、杂、乱，导致分拣员在人工分拣的时候出现暴力抛、掷包裹等异常行为，包裹损坏会导致物流公司损失，因此现在有些公司会安装摄像头来监控分拣过程。目前很多公司都在采用人工监控，通过回放视频查找异常分拣行为，耗时耗力。因此，相关技术中有提出通过视频分析技术来识别异常分拣行为，但是因为分拣行为的复杂性，导致识别失败的情况经常发生，目前相关技术中并没有相应的解决方法。

针对相关技术中存在的对异常行为识别的准确率低的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种异常行为的识别方法、装置、存储介质及电子装置，以至少解决相关技术中存在的对异常行为识别的准确率低的问题。

根据本发明的一个实施例，提供了一种异常行为的识别方法，包括：确定目标视频中待处理人体的人体运动轨迹，以及确定所述目标视频中目标对象的对象运动轨迹；基于所述人体运动轨迹，确定所述待处理人体的人体运动区域，并基于所述对象运动轨迹，确定所述目标对象的对象运动区域；根据所述人体运动区域和所述对象运动区域的位置关系，确定所述待处理人体是否执行异常行为，其中，所述异常行为包括所述待处理人体针对所述目标对象执行的动作。

在一个示例性实施例中，所述根据所述人体运动区域和所述对象运动区域的位置关系，确定所述待处理人体是否执行异常行为，包括：基于所述人体运动区域和所述对象运动区域，确定所述待处理人体和所述目标对象的连接信息；基于所述连接信息，确定所述待处理人体是否执行异常行为。

在一个示例性实施例中，所述确定目标视频中待处理人体的人体运动轨迹，以及确定所述目标视频中目标对象的对象运动轨迹，包括：对目标视频中各帧图像进行检测，确定出所述各帧图像中所述待处理人体的人体位置信息以及所述目标对象的对象位置信息；基于所述各帧图像中的所述人体位置信息，确定所述待处理人体的人体运动轨迹；基于所述各帧图像中的所述对象位置信息，确定所述目标对象的对象运动轨迹。

在一个示例性实施例中，所述基于所述各帧图像中的所述对象位置信息，确定所述目标对象的对象运动轨迹，包括：确定所述各帧图像中检测出所述对象位置信息的帧图像为开始帧图像；基于所述开始帧图像中检测的所述对象位置信息，预测所述目标视频中所述开始帧图像之后的预设数量的帧图像中所述目标对象的对象位置信息；基于预测的各个对象位置信息，确定所述对象运动轨迹。

在一个示例性实施例中，所述基于预测的各个对象位置信息，确定所述对象运动轨迹，包括：获取所述预设数量的帧图像中包括的检测出所述对象位置信息的第一帧图像；将所述第一帧图像中检测的所述对象位置信息与所述预测的各个对象位置信息进行对比，以得到对比结果，其中，所述对比结果用于指示所述预测的各个对象位置信息中是否存在与所述第一帧图像中检测的所述对象位置信息相似度大于预定阈值的信息；在所述对比结果用于指示所述预测的各个对象位置信息中存在与所述第一帧图像中检测的所述对象位置信息相似度大于所述预定阈值的信息的情况下，基于所述预测的各个对象位置信息生成所述对象运动轨迹。

在一个示例性实施例中，所述方法还包括：在确定所述预设数量的帧图像中未包括所述第一帧图像，或者，在确定所述对比结果用于指示所述预测的各个对象位置信息中不存在与所述第一帧图像中检测的所述对象位置信息相似度大于所述预定阈值的信息的情况下，确定所述目标对象已消失。

在一个示例性实施例中，基于所述连接信息，确定所述待处理人体是否执行异常行为包括：在基于所述连接信息确定所述待处理人体和所述目标对象之间存在由连接状态到分开状态的情况下，确定所述待处理人体执行所述异常行为；在基于所述连接信息确定所述待处理人体和所述目标对象之间一直处于连接状态的情况下，确定所述待处理人未执行所述异常行为。

在一个示例性实施例中，所述方法还包括：根据所述人体运动区域和所述对象运动区域的位置关系，确定所述待处理人体执行所述异常行为之后，对所述目标视频包含的各帧图像中所述待处理人体的关键点进行检测；基于所述各帧图像中所述待处理人体的关键点，生成所述待处理人体的关键点序列；利用目标模型对所述关键点序列进行分析，确定所述待处理人体是否执行所述异常行为，其中，所述目标模型是基于标注了人体的行为的图像样本进行训练得到的。

在一个示例性实施例中，所述方法还包括：确定所述待处理人体执行所述异常行为之后，针对所述异常行为进行报警处理。

根据本发明的另一个实施例，还提供了一种异常行为的识别装置，包括：第一确定模块，用于确定目标视频中待处理人体的人体运动轨迹，以及确定所述目标视频中目标对象的对象运动轨迹；第二确定模块，用于基于所述人体运动轨迹，确定所述待处理人体的人体运动区域，并基于所述对象运动轨迹，确定所述目标对象的对象运动区域；第三确定模块，用于根据所述人体运动区域和所述对象运动区域的位置关系，确定所述待处理人体是否执行异常行为，其中，所述异常行为包括所述待处理人体针对所述目标对象执行的动作。

根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明，通过确定目标视频中待处理人体的人体运动轨迹，以及确定目标视频中目标对象的对象运动轨迹；再基于人体运动轨迹，确定待处理人体的人体运动区域，以及基于对象运动轨迹，确定目标对象的对象运动区域；然后根据人体运动区域和对象运动区域的位置关系，确定待处理人体是否执行异常行为，其中，异常行为包括待处理人体针对目标对象执行的动作。即基于人体运动轨迹和对象运动轨迹，以及人体运动区域和对象运动区域的位置关系确定是否存在异常行为，实现了对异常行为进行识别的目的，也实现了提高异常行为识别的准确率的目的。因此，解决了相关技术中存在的对异常行为识别的准确率低的问题，达到了提高异常行为识别的准确率的效果。

附图说明

图1是本发明实施例的异常行为的识别方法的移动终端硬件结构框图；

图2是根据本发明实施例的异常行为的识别方法的流程图；

图3是根据本发明具体实施例的异常行为的识别方法的流程图；

图4是根据本发明实施例的异常行为运动检测示意图；

图5是根据本发明实施例的人体关键点序列示意图；

图6是根据本发明实施例的异常行为的识别装置的结构框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明的实施例。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的异常行为的识别方法的移动终端硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的异常行为的识别方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种异常行为的识别方法，图2是根据本发明实施例的异常行为的识别方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，确定目标视频中待处理人体的人体运动轨迹，以及确定所述目标视频中目标对象的对象运动轨迹；

步骤S204，基于所述人体运动轨迹，确定所述待处理人体的人体运动区域，并基于所述对象运动轨迹，确定所述目标对象的对象运动区域；

步骤S206，根据所述人体运动区域和所述对象运动区域的位置关系，确定所述待处理人体是否执行异常行为，其中，所述异常行为包括所述待处理人体针对所述目标对象执行的动作。

通过上述步骤，通过确定目标视频中待处理人体的人体运动轨迹，以及确定目标视频中目标对象的对象运动轨迹；再基于人体运动轨迹，确定待处理人体的人体运动区域，以及基于对象运动轨迹，确定目标对象的对象运动区域；然后根据人体运动区域和对象运动区域的位置关系，确定待处理人体是否执行异常行为，其中，异常行为包括待处理人体针对目标对象执行的动作。即基于人体运动轨迹和对象运动轨迹，以及人体运动区域和对象运动区域的位置关系确定是否存在异常行为，实现了对异常行为进行识别的目的，也实现了提高异常行为识别的准确率的目的。因此，解决了相关技术中存在的对异常行为识别的准确率低的问题，达到了提高异常行为识别的准确率的效果。

其中，上述步骤的执行主体可以为图像处理系统，或者为具备图像采集与处理能力的设备，或一体化的图像处理设备，或者为具备类似处理能力的服务器，或者为配置在存储设备上的具备人机交互能力的处理器，或者为具备类似处理能力的处理设备或处理单元等，但不限于此。下面以图像处理设备执行上述操作为例(仅是一种示例性说明，在实际操作中还可以是其他的设备或模块来执行上述操作)进行说明：

在上述实施例中，由图像处理设备确定目标视频中待处理人体的人体运动轨迹，以及确定目标视频中目标对象的对象运动轨迹，在实际应用中，可以提前收集多张包括不同类型的待处理人体和/或目标对象的图片，并通过深度学习方法，训练出目标检测模型，能够检测出目标视频中的待处理人体的人体运动轨迹，而通过对目标对象的检测以及结合预定算法(例如卡尔曼滤波算法)可确定出目标视频中目标对象的对象运动轨迹；再基于人体运动轨迹，确定待处理人体的人体运动区域，以及基于对象运动轨迹，确定目标对象的对象运动区域，可选地，在实际应用中，对人体运动轨迹、对象运动轨迹进行分析，通过运动检测法可提取出人体运动区域、对象运动区域；然后根据人体运动区域和对象运动区域的位置关系，确定待处理人体是否执行异常行为，其中，异常行为包括待处理人体针对目标对象执行的动作。实现了对异常行为进行识别的目的，也实现了提高异常行为识别的准确率的目的。因此，解决了相关技术中存在的对异常行为识别的准确率低的问题，达到了提高异常行为识别的准确率的效果。

在一个可选的实施例中，所述根据所述人体运动区域和所述对象运动区域的位置关系，确定所述待处理人体是否执行异常行为，包括：基于所述人体运动区域和所述对象运动区域，确定所述待处理人体和所述目标对象的连接信息；基于所述连接信息，确定所述待处理人体是否执行异常行为。在实际应用中，可利用连通域技术分析人体运动区域和对象运动区域是否从粘连到分开，进而确定待处理人体是否执行异常行为。

在一个可选的实施例中，所述确定目标视频中待处理人体的人体运动轨迹，以及确定所述目标视频中目标对象的对象运动轨迹，包括：对目标视频中各帧图像进行检测，确定出所述各帧图像中所述待处理人体的人体位置信息以及所述目标对象的对象位置信息基于所述各帧图像中的所述人体位置信息，确定所述待处理人体的人体运动轨迹；基于所述各帧图像中的所述对象位置信息，确定所述目标对象的对象运动轨迹。在实际应用中，可以提前收集包含不同待处理人体和目标对象的图片，再利用深度学习方法提前训练出目标检测模型，可以是针对待处理人体、目标对象的各自检测模型，也可以是同时对待处理人体和目标对象进行检测的检测模型，通过检测模型可检测出目标视频中各帧图像中的待处理人体的人体位置信息，以及目标对象的对象位置信息，然后，基于各帧图像中的人体位置信息可得出人体运动轨迹，同样，基于各帧图像中的对象位置信息可得出对象运动轨迹。此外，在实际应用中，对于目标对象因运动较快而导致可能出现漏检或跟踪检测失败的现象发生的情况，可结合卡尔曼滤波算法对目标对象的运动进行预测以得出对象运动轨迹。通过本实施例，实现了对目标视频进行检测以确定出人体运动轨迹和对象运动轨迹的目的。

在一个可选的实施例中，所述基于所述各帧图像中的所述对象位置信息，确定所述目标对象的对象运动轨迹，包括：确定所述各帧图像中检测出所述对象位置信息的帧图像为开始帧图像；基于所述开始帧图像中检测的所述对象位置信息，预测所述目标视频中所述开始帧图像之后的预设数量的帧图像中所述目标对象的对象位置信息；基于预测的各个对象位置信息，确定所述对象运动轨迹。在本实施例中，在各帧图像中确定出包含对象位置信息的帧图像为开始帧图像，然后，基于开始帧图像中检测出的对象位置信息，对目标视频中开始帧图像之后的预设数量(例如3帧，或5帧，或N帧)的帧图像进行预测，在实际应用中，可采用卡尔曼滤波算法对上述目标对象的对象位置信息进行预测，最后，基于预测的各个对象位置信息，可确定出目标对象的对象运动轨迹。通过本实施例，实现了对目标对象的运动位置信息进行预测的目的，避免了相关技术中存在的可能因目标对象的运动较快，以致会出现漏检或者两帧图像之间相差较大，从而导致检测失败的问题。

在一个可选的实施例中，所述基于预测的各个对象位置信息，确定所述对象运动轨迹，包括：获取所述预设数量的帧图像中包括的检测出所述对象位置信息的第一帧图像；将所述第一帧图像中检测的所述对象位置信息与所述预测的各个对象位置信息进行对比，以得到对比结果，其中，所述对比结果用于指示所述预测的各个对象位置信息中是否存在与所述第一帧图像中检测的所述对象位置信息相似度大于预定阈值的信息；在所述对比结果用于指示所述预测的各个对象位置信息中存在与所述第一帧图像中检测的所述对象位置信息相似度大于所述预定阈值的信息的情况下，基于所述预测的各个对象位置信息生成所述对象运动轨迹。在本实施例中，基于预测的各个对象位置信息，确定对象运动轨迹包括：获取预设数量(例如3帧，或5帧，或N帧)的帧图像中包括的检测出对象位置信息的第一帧图像，即第一图像中产生对象位置信息的检测框，再并将第一帧图像中检测出的对象位置信息与预测的各个对象位置信息进行对比，以得到对比结果，即将第一帧图像中检测出的检测框信息与预测的各个对象位置的预测框信息进行对比，以得到对比结果，对比结果用于指示预测位置信息中是否存在与第一帧图像中检测的对象位置信息相似度大于预定阈值(例如90％，或85％，或其他值)的信息，当对比结果指示上述预测位置信息中存在与第一帧图像中标注的对象位置信息相似度大于预定阈值的信息的情况下，即可基于上述预测位置信息生成目标对象的对象运动轨迹，通过本实施例，实现了对目标对象的对象位置信息进行预测以及生成目标对象的对象运动轨迹的目的。

在一个可选的实施例中，所述方法还包括：在确定所述预设数量的帧图像中未包括所述第一帧图像，或者，在确定所述对比结果用于指示所述预测的各个对象位置信息中不存在与所述第一帧图像中检测的所述对象位置信息相似度大于所述预定阈值的信息的情况下，确定所述目标对象已消失。在本实施例中，在确定上述预设数量的帧图像中未包括上述第一帧图像，或者，上述预测位置信息中不存在与第一帧图像中所检测出的检测框信息相似度大于预定阈值的信息的情况下，可确定目标对象已消失。通过本实施例，可实现对目标对象的对象运动轨迹进行准确预测的目的。

在一个可选的实施例中，基于所述连接信息，确定所述待处理人体是否执行异常行为包括：在基于所述连接信息确定所述待处理人体和所述目标对象之间存在由连接状态到分开状态的情况下，确定所述待处理人体执行所述异常行为；在基于所述连接信息确定所述待处理人体和所述目标对象之间一直处于连接状态的情况下，确定所述待处理人未执行所述异常行为。在本实施例中，基于人体运动区域和对象运动区域的位置关系可确定上述连接信息，例如，在实际应用中，可利用连通域技术分析人体运动区域和对象运动区域是否是粘连或分开，当人体运动区域和对象运动区域是粘连的情况下，可确定待处理人体和目标对象之间是连接状态，当人体运动区域和对象运动区域是分开的情况下，也即可确定待处理人体和目标对象之间是分开状态；当根据连接信息确定待处理人体和目标对象之间是由连接状态到分开状态的情况下，可确定出待处理人体执行异常行为；而当待处理人体和目标对象之间一直处于连接状态的情况下，可确定出待处理人未执行所述异常行为。通过本实施例，利用连通域技术对待处理对象和目标对象的连接状态进行分析，进而确定出待处理对象是否执行异常行为。

在一个可选的实施例中，所述方法还包括：根据所述人体运动区域和所述对象运动区域的位置关系，确定所述待处理人体执行所述异常行为之后，对所述目标视频包含的各帧图像中所述待处理人体的关键点进行检测；基于所述各帧图像中所述待处理人体的关键点，生成所述待处理人体的关键点序列；利用目标模型对所述关键点序列进行分析，确定所述待处理人体是否执行所述异常行为，其中，所述目标模型是基于标注了人体的行为的图像样本进行训练得到的。在本实施例中，根据上述人体运动区域和对象运动区域的位置关系，确定待处理人体执行异常行为之后，对目标视频的各帧图像中待处理人体的关键点进行检测，以获取人体关键点信息，并基于关键点信息生成关键点序列，在实际应用中，可对人体目标进行关键点算法分析，以获取人体关键点信息，并组成人体关键点序列；然后，利用目标模型对关键点序列进行分析，以确定目标视频中待处理人体是否执行异常行为，在实际应用中，对上述人体关键点序列进行图卷积神经网络GNN分析，以判断人体行为是否为异常行为，通过本实施例，可进一步确定目标视频中待处理人体是否执行异常行为。

在一个可选的实施例中，所述方法还包括：确定所述待处理人体执行所述异常行为之后，针对所述异常行为进行报警处理。在本实施例中，在确定目标视频中待处理人体执行异常行为之后，可发出告警信息。以快递分拣过程中分拣员的分拣行为的检测为例，通过对快递分拣过程监控的目标视频分析发现分拣员存在暴力分拣行为，可发出告警信息以提示相关人员。

显然，上述所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。

下面结合实施例对本发明进行具体说明：

图3是根据本发明具体实施例的异常行为的识别方法的流程图，如图3所示，该流程包括如下步骤：

S302，输入视频(对应于前述目标视频)，即对行为进行监控的视频；

S304，目标检测，即实时检测视频帧内的包裹(对应于前述目标对象)和人体(对应于前述待处理人体)；

S306，进行目标跟踪，通过跟踪算法，生成目标id；

需要说明的是，在实际应用中，在进行视频检测及目标跟踪之前，通常先训练一个目标检测模型，例如，收集不同包裹类型的图片，建成数据集，包裹可包括但不限于纸箱、编织袋、包装袋、轮胎状物品等等，使用深度学习方法，训练一个目标检测模型，能够检测出各种类别的快递包裹和人体全身、上半身和头肩等；

S308，在检测到目标包裹后，将目标包裹的检测框(对应于前述目标对象的对象位置信息)作为卡尔曼滤波的输入，进行卡尔曼滤波估计，这一步是对前面跟踪的补充。因为包裹在暴力分拣过程中运动较快，经常会出现漏检或者两帧之间相差较大，导致跟踪失败。卡尔曼滤波算法对线性运动目标效果较好，因此捕获目标后只对数帧内进行估计，如一直未出现检测框，则认为目标消失，否则以新产生的目标框作为下一阶段的卡尔曼滤波器的输入；卡尔曼滤波估计具体流程包括：1)将上述步骤S306中跟踪结果作为卡尔曼滤波器的输入，再进行下N(例如N<＝5)帧内的估计；2)下N帧内产生的目标框与卡尔曼滤波器的预测框进行对比，如果有间断产生目标检测框与卡尔曼滤波器预测一致，则续上上述步骤S306中跟踪轨迹，若N帧均无目标框生成，则认为该目标已经消失；

S310，对完整的跟踪轨迹做分析，通过运动检测提取包裹运动区域(对应于前述对象运动区域)和人体运动区域，利用连通域技术，分析包裹是否从与人体粘连到与人体分开；

S312，若上述步骤S310分析结果为包裹是从与人体粘连到与人体分开的情况下，进行一级判定，即认为是一个预检暴力分拣行为(相当于预检异常行为)；

图4是根据本发明实施例的异常行为运动检测示意图，如图4所示，基于对包裹运动区域和人体运动区域进行分析，若包裹是从与人体粘连到与人体分开的情况下，即包裹运动区域和人体运动区域在起始时间段存在交集，而在结束时间的区域两者不存在交集，则可认为上述运动轨迹是一个预检暴力分拣行为；

S314，基于上述S306中的目标跟踪结果，对人体目标进行关键点算法分析，获取人体关键点信息；

S316，基于人体关键点信息，组成人体关键点序列，如图5所示，图5是根据本发明实施例的人体关键点序列示意图，并对人体关键点序列进行分析，例如进行GNN分析；

S318，基于对人体关键点序列的分类分析，进行二级判定，以判断人体行为是否为暴力分拣行为(对应于前述异常行为)；

S320，如果模型判断S318中的人体行为是暴力分拣行为，则结合S312中的判断结果，两个步骤均认为是暴力分拣事件时发出告警。

需要说明的是，在实际应用中，上述步骤S314-S318与步骤S308-S312可同时执行，也可不同时执行，例如，可以在执行完步骤S308-S312后再执行步骤S314-S318；

在上述实施例中，通过使用卡尔曼滤波对目标进行跟踪，补充一般跟踪算法，确保跟踪轨迹完整，实现了有利于分析包裹与人体的连接与分离情况的目的；通过使用人体关键点序列模型作为二级判定算法，在一级初步判定完后进行确认，达到了有助于提高算法精度的效果；通过直接从检测包裹和人体入手，将暴力分拣行为细分为包裹与人体分开，人体有暴力分拣行为两个维度，并对两个维度进行分析，结合两个维度的分析结果共同确认是否为暴力分拣行为，达到了提高目标行为识别的准确率的效果。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

在本实施例中还提供了一种异常行为的识别装置，图6是根据本发明实施例的异常行为的识别装置的结构框图，如图6所示，该装置包括：

第一确定模块602，用于确定目标视频中待处理人体的人体运动轨迹，以及确定所述目标视频中目标对象的对象运动轨迹；

第二确定模块604，用于基于所述人体运动轨迹，确定所述待处理人体的人体运动区域，并基于所述对象运动轨迹，确定所述目标对象的对象运动区域；

第三确定模块606，用于根据所述人体运动区域和所述对象运动区域的位置关系，确定所述待处理人体是否执行异常行为，其中，所述异常行为包括所述待处理人体针对所述目标对象执行的动作。

在一个可选的实施例中，上述第三确定模块606包括：第一确定子模块，用于基于所述人体运动区域和所述对象运动区域，确定所述待处理人体和所述目标对象的连接信息；第二确定子模块，用于基于所述连接信息，确定所述待处理人体是否执行异常行为。

在一个可选的实施例中，上述第一确定模块602包括：检测子模块，用于对目标视频中各帧图像进行检测，确定出所述各帧图像中所述待处理人体的人体位置信息以及所述目标对象的对象位置信息；第三确定子模块，用于基于所述各帧图像中的所述人体位置信息，确定所述待处理人体的人体运动轨迹；第四确定子模块，用于基于所述各帧图像中的所述对象位置信息，确定所述目标对象的对象运动轨迹。

在一个可选的实施例中，上述第四确定子模块包括：第一确定单元，用于确定所述各帧图像中检测出所述对象位置信息的帧图像为开始帧图像；预测单元，用于基于所述开始帧图像中检测的所述对象位置信息，预测所述目标视频中所述开始帧图像之后的预设数量的帧图像中所述目标对象的对象位置信息；第二确定单元，用于基于预测的各个对象位置信息，确定所述对象运动轨迹。

在一个可选的实施例中，上述第二确定单元包括：获取子单元，用于获取所述预设数量的帧图像中包括的检测出所述对象位置信息的第一帧图像；对比子单元，用于将所述第一帧图像中检测的所述对象位置信息与所述预测的各个对象位置信息进行对比，以得到对比结果，其中，所述对比结果用于指示所述预测的各个对象位置信息中是否存在与所述第一帧图像中检测的所述对象位置信息相似度大于预定阈值的信息；生成子单元，用于在所述对比结果用于指示所述预测的各个对象位置信息中存在与所述第一帧图像中检测的所述对象位置信息相似度大于所述预定阈值的信息的情况下，基于所述预测的各个对象位置信息生成所述对象运动轨迹。

在一个可选的实施例中，上述装置还包括：第四确定模块，用于在确定所述预设数量的帧图像中未包括所述第一帧图像，或者，在确定所述对比结果用于指示所述预测的各个对象位置信息中不存在与所述第一帧图像中检测的所述对象位置信息相似度大于所述预定阈值的信息的情况下，确定所述目标对象已消失。

在一个可选的实施例中，上述第二确定子模块包括：第三确定单元，用于在基于所述连接信息确定所述待处理人体和所述目标对象之间存在由连接状态到分开状态的情况下，确定所述待处理人体执行所述异常行为；第四确定单元，用于在基于所述连接信息确定所述待处理人体和所述目标对象之间一直处于连接状态的情况下，确定所述待处理人未执行所述异常行为。

在一个可选的实施例中，上述装置还包括：检测模块，用于根据所述人体运动区域和所述对象运动区域的位置关系，确定所述待处理人体执行所述异常行为之后，对所述目标视频包含的各帧图像中所述待处理人体的关键点进行检测；生成模块，用于基于所述各帧图像中所述待处理人体的关键点，生成所述待处理人体的关键点序列；第五确定模块，用于利用目标模型对所述关键点序列进行分析，确定所述待处理人体是否执行所述异常行为，其中，所述目标模型是基于标注了人体的行为的图像样本进行训练得到的。

在一个可选的实施例中，上述装置还包括：报警模块，用于确定所述待处理人体执行所述异常行为之后，针对所述异常行为进行报警处理。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种异常行为的识别方法，其特征在于，包括：

确定目标视频中待处理人体的人体运动轨迹，以及确定所述目标视频中目标对象的对象运动轨迹；

基于所述人体运动轨迹，确定所述待处理人体的人体运动区域，并基于所述对象运动轨迹，确定所述目标对象的对象运动区域；

根据所述人体运动区域和所述对象运动区域的位置关系，确定所述待处理人体是否执行异常行为，其中，所述异常行为包括所述待处理人体针对所述目标对象执行的动作。

2.如权利要求1所述的方法，其特征在于，所述根据所述人体运动区域和所述对象运动区域的位置关系，确定所述待处理人体是否执行异常行为，包括：

基于所述人体运动区域和所述对象运动区域，确定所述待处理人体和所述目标对象的连接信息；

基于所述连接信息，确定所述待处理人体是否执行异常行为。

3.如权利要求1所述的方法，其特征在于，所述确定目标视频中待处理人体的人体运动轨迹，以及确定所述目标视频中目标对象的对象运动轨迹，包括：

对目标视频中各帧图像进行检测，确定出所述各帧图像中所述待处理人体的人体位置信息以及所述目标对象的对象位置信息；

基于所述各帧图像中的所述人体位置信息，确定所述待处理人体的人体运动轨迹；

基于所述各帧图像中的所述对象位置信息，确定所述目标对象的对象运动轨迹。

4.如权利要求3所述的方法，其特征在于，所述基于所述各帧图像中的所述对象位置信息，确定所述目标对象的对象运动轨迹，包括：

确定所述各帧图像中检测出所述对象位置信息的帧图像为开始帧图像；

基于所述开始帧图像中检测的所述对象位置信息，预测所述目标视频中所述开始帧图像之后的预设数量的帧图像中所述目标对象的对象位置信息；

基于预测的各个对象位置信息，确定所述对象运动轨迹。

5.如权利要求4所述的方法，其特征在于，所述基于预测的各个对象位置信息，确定所述目标对象的对象运动轨迹，包括：

获取所述预设数量的帧图像中包括的检测出所述对象位置信息的第一帧图像；

将所述第一帧图像中检测的所述对象位置信息与所述预测的各个对象位置信息进行对比，以得到对比结果，其中，所述对比结果用于指示所述预测的各个对象位置信息中是否存在与所述第一帧图像中检测的所述对象位置信息相似度大于预定阈值的信息；

在所述对比结果用于指示所述预测的各个对象位置信息中存在与所述第一帧图像中检测的所述对象位置信息相似度大于所述预定阈值的信息的情况下，基于所述预测的各个对象位置信息生成所述对象运动轨迹。

6.如权利要求5所述的方法，其特征在于，所述方法还包括：

在确定所述预设数量的帧图像中未包括所述第一帧图像，或者，在确定所述对比结果用于指示所述预测的各个对象位置信息中不存在与所述第一帧图像中检测的所述对象位置信息相似度大于所述预定阈值的信息的情况下，确定所述目标对象已消失。

7.如权利要求2所述的方法，其特征在于，基于所述连接信息，确定所述待处理人体是否执行异常行为包括：

在基于所述连接信息确定所述待处理人体和所述目标对象之间存在由连接状态到分开状态的情况下，确定所述待处理人体执行所述异常行为；

在基于所述连接信息确定所述待处理人体和所述目标对象之间一直处于连接状态的情况下，确定所述待处理人未执行所述异常行为。

8.如权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述人体运动区域和所述对象运动区域的位置关系，确定所述待处理人体执行所述异常行为之后，对所述目标视频包含的各帧图像中所述待处理人体的关键点进行检测；

基于所述各帧图像中所述待处理人体的关键点，生成所述待处理人体的关键点序列；

利用目标模型对所述关键点序列进行分析，确定所述待处理人体是否执行所述异常行为，其中，所述目标模型是基于标注了人体的行为的图像样本进行训练得到的。

9.如权利要求1或8所述的方法，其特征在于，所述方法还包括：

确定所述待处理人体执行所述异常行为之后，针对所述异常行为进行报警处理。

10.一种异常行为的识别装置，其特征在于，包括：

第一确定模块，用于确定目标视频中待处理人体的人体运动轨迹，以及确定所述目标视频中目标对象的对象运动轨迹；

第二确定模块，用于基于所述人体运动轨迹，确定所述待处理人体的人体运动区域，并基于所述对象运动轨迹，确定所述目标对象的对象运动区域；

第三确定模块，用于根据所述人体运动区域和所述对象运动区域的位置关系，确定所述待处理人体是否执行异常行为，其中，所述异常行为包括所述待处理人体针对所述目标对象执行的动作。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现所述权利要求1至9任一项中所述的方法的步骤。

12.一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现所述权利要求1至9任一项中所述的方法的步骤。

Images