CN110782433A - 基于时序的动态信息暴力抛物检测方法、装置及存储介质 - Google Patents

Abstract

本发明公开了一种基于时序的动态信息暴力抛物检测方法、装置及存储介质。该检测方法包括：获得视频图像的光流轨迹；获得所述光流轨迹的状态值超过阈值的相应图像；将超过所述阈值的所述相应图像及其前后图像形成预检图像序列，将所述预检图像序列转变成帧灰度图序列；利用训练好的基于时序分类的模型判断所述帧灰度图序列中是否存在暴力抛物的情形。通过获取光流轨迹的状态值超过阈值的相应图像进行预检，再根据预检结果形成预检图像序列，将该预检图像序列转变成帧灰度图序列后，输送至基于时序分类的模型中判断是否存在暴力抛物，本发明能够提高检测速度，增加深度特征以提高检测准确性，能够在样本较少的情况下快速收敛。

Description

基于时序的动态信息暴力抛物检测方法、装置及存储介质

技术领域

本申请涉及计算机视觉领域，特别是涉及一种基于时序的动态信息暴力抛物检测方法、装置及存储介质。

背景技术

伴随着海量摄像头不断布控在城市的各大角落，智能监控系统在业务上的需求也在快速扩充，从而来代替监控人员完成大量重复而繁重的工作。在各种需求中，检测视频中是否存在人员不符合要求的检测已成为视频监控的重点。

现有技术中，采用光流法对异常行为进行分析时，通过图像中的特征点进行目标的运动轨迹分析，分析过程复杂，检测速度慢，并且，选用的特征大多为目标运动轨迹特征和外接矩形框宽高比特征，通过位置动态对监控场景下视频中全局移动对象运动轨迹特征进行提取，由于视频中的其它物体影响，导致轨迹不能很好的定位到异常行为人身上，降低检测准确性。

发明内容

本申请提供一种基于时序的动态信息暴力抛物检测方法、装置及存储介质，能够提高检测速度，增加检测准确性。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种基于时序动态信息的暴力抛物检测方法，所述暴力抛物检测方法包括以下步骤：

获得视频图像的光流轨迹；

获得所述光流轨迹的状态值超过阈值的相应图像，所述状态值是根据所述光流轨迹的方向和位移大小得到的；

将超过所述阈值的所述相应图像及其前后图像形成预检图像序列，将所述预检图像序列转变成帧灰度图序列；

利用训练好的基于时序分类的模型判断所述帧灰度图序列中是否存在暴力抛物的情形。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种基于时序的动态信息暴力抛物检测装置，所述检测装置包括：

光流检测模块，用于获得视频图像的光流轨迹；

图片筛选模块，用于获得所述光流轨迹的状态值超过阈值的相应图像，所述状态值是根据所述光流轨迹的方向和位移大小得到的；

处理模块，用于将超过所述阈值的所述相应图像及其前后图像形成预检图像序列，将所述预检图像序列转变成帧灰度图序列；

判断模块，用于利用训练好的基于时序分类的模型判断所述帧灰度图序列中是否存在暴力抛物的情形。

为解决上述技术问题，本申请采用的再一个技术方案是：提供一种基于时序的动态信息暴力抛物检测装置，所述暴力抛物检测装置包括：处理器、存储器和通信电路；

所述通信电路用于与其他设备通信；

所述处理器用于运行所述存储器存储的程序指令，以结合所述通信电路来执行上述的基于时序动态信息的暴力抛物检测方法。

为解决上述技术问题，本申请采用的再一个技术方案是：提供一种存储介质，存储有处理器可运行的程序指令，所述程序指令用于上述的基于时序动态信息的暴力抛物检测方法。

本申请的有益效果是：本发明的基于时序的动态信息暴力抛物检测方法、装置及存储介质，通过获取光流轨迹的状态值超过阈值的相应图像进行预检，再根据预检结果形成预检图像序列，将该预检图像序列转变成帧灰度图序列后，输送至基于时序分类的模型中判断是否存在暴力抛物。通过预检及构建预检图片序列的方式，本发明能够提高检测速度，增加深度特征以提高检测准确性，能够在样本较少的情况下快速收敛。

附图说明

图1是本发明第一实施例的基于时序的动态信息暴力抛物检测方法的流程示意图；

图2是本发明第一实施例的方法中视频图像序列和帧灰度图像序列的对比图；

图3是本发明第二实施例的基于时序的动态信息暴力抛物检测方法的流程示意图；

图4是本发明第三实施例的基于时序的动态信息暴力抛物检测方法的流程示意图；

图5是本发明实施例的基于时序的动态信息暴力抛物检测装置的结构示意图；

图6是本发明另一实施例的基于时序的动态信息暴力抛物检测装置的结构示意图；

图7是本发明实施例的存储介质的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

图1是本发明第一实施例的基于时序动态信息的暴力抛物检测方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图1所示的流程顺序为限。如图1所示，该基于时序动态信息的暴力抛物检测方法包括步骤：

S101，获得视频图像的光流轨迹。

在步骤S101中，该视频图像来源于视频流，在一个可选的实施方式中，该视频流包括第一摄像头拍摄的连续多个视频帧，或者该视频流包括第一摄像头拍摄的连续多个视频帧中的任意几个视频帧。将视频流转换为视频图像序列，该视频图像序列包括不同时间点的多个连续的视频图像，每个视频图像对应视频流的一个视频帧。

在步骤S101中，采用光流检测法获取视频图像的光流轨迹，在一个可选的实施方式中，首先，采用光流检测法对该视频图像序列进行检测进而获得对应的光流图像序列；然后，对该光流图像序列中的光流图像进行特征提取，获取该光流图像中的光流轨迹和光流轨迹的信息，该光流轨迹的信息包括位移大小和方向。

具体地，对该视频图像序列，利用光流算法提取光流信息，将视频图像转化为对应的光流图像，以形成光流图像序列。

在一个可选的实施方式中，由于在相邻的视频图像中，特征点的运动轨迹近似为直线，因此，当前视频图像中的光流轨迹为通过直线拟合像素在视频图像序列中第一个视频图像至当前视频图像的光流轨迹而形成。

在本实施例中，每个光流轨迹与一个特征点对应，每个运动目标(视频中的人或物)包括多个特征点，该运动目标的运动轨迹需要将所有特征点的光流轨迹拟合才能得到，本实施例只考虑特征点的光流轨迹，不考虑运动目标的运动轨迹。

S102，获得该光流轨迹的状态值超过阈值的相应图像，该状态值是根据该光流轨迹的方向和位移大小得到的。

在步骤S102中，对光流图像中的光流轨迹进行状态值计算，当光流图像中至少一个光流轨迹的状态值大于阈值时，该光流图像对应的视频图像即为预检图像。

在一个可选的实施方式中，为了进一步加快检测速度，不对视频图像中的每个光流轨迹进行状态值计算，首先，选择该视频图像中该位移大小最大的指定数量的光流轨迹；然后，计算该指定数量的光流轨迹的该状态值；最后，获取该状态值超过该阈值的相应图像。具体地，将该视频图像的所有光流轨迹按照其位移大小进行排序，提取位移大小排序前K位的K个光流轨迹，计算该K个光流轨迹的该状态值，其中，K可以为视频图像中光流轨迹总数量的30％～50％。

在一个可选的实施方式中，由于暴力抛物中速度较大，且方向具有一致性，该状态值可以为光流轨迹的光流方向信息熵，根据光流轨迹的方向和位移大小计算该光流方向信息熵。

S103，将超过该阈值的该相应图像及其前后图像形成预检图像序列，将该预检图像序列转变成帧灰度图序列。

在步骤S103中，将预检图像及其前后图像从该视频图像序列中抽出，形成预检图像序列，在一个可选的实施方式中，为了增加检测的准确性，预检图像序列包括至少十个视频图像，例如，该预检图像序列可以包括：预检图像的前7个视频图像、预检图像、以及预检图像的后8个视频图像。

在步骤S103中，该帧灰度图序列可以通过以下步骤转换：首先，将该预检图像序列中的视频图像转换为灰度图；然后，基于帧间差分法对连续两帧该灰度图进行差分，以获得该帧灰度图像序列。

在本实施例中，对预检图像序列的相邻图像之间进行像素差值的灰度化，能提取出抛物过程的运动特征，避免其他因素的干扰，请参阅图2所示。

S104，利用训练好的基于时序分类的模型判断该帧灰度图序列中是否存在暴力抛物的情形。

图3是本发明第二实施例的基于时序动态信息的暴力抛物检测方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图3所示的流程顺序为限。如图3所示，该基于时序动态信息的暴力抛物检测方法包括步骤：

S201，构建训练集，将训练集中的训练图像序列转变成帧灰度图序列，送入序列学习框架中进行训练、迭代，得到基于时序分类的模型。

在步骤S201中，训练集中的训练图像序列包括暴力抛物图像序列和非暴力抛物图像序列。

在步骤S201中，为了消除物流场景中背景的干扰，只提取有效的运动信息，采用相邻帧间像素值的相减得到的帧灰度图进行训练。并且帧灰度图像序列中存在明显的物体离开人体过程的特征，方便序列模型的学习迭代。在本实施例中，采用多组暴力抛物图像序列和非暴力抛物图像序列对该基于时序分类的模型进行训练调参，直到该基于时序分类的模型输出正确分类结果为止。

S202，获得视频图像的光流轨迹。

S203，获得该光流轨迹的状态值超过阈值的相应图像，该状态值是根据该光流轨迹的方向和位移大小得到的。

S204，将超过该阈值的该相应图像及其前后图像形成预检图像序列，将该预检图像序列转变成帧灰度图序列。

S205，利用训练好的基于时序分类的模型判断该帧灰度图序列中是否存在暴力抛物的情形。

步骤S202至步骤S205具体参见第一实施例的步骤S101至步骤S104，在此不进行一一赘述。

图4是本发明第三实施例的基于时序动态信息的暴力抛物检测方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图4所示的流程顺序为限。如图4所示，该基于时序动态信息的暴力抛物检测方法包括步骤：

S301，将视频流转换为视频图像序列。

S302，获取当前视频图像的光流轨迹。

S303，获取该光流轨迹的状态值，判断该状态值是否超过阈值。

S304，若判断结果为是，将当前视频图像及其前后图像形成预检图像序列，将该预检图像序列转变成帧灰度图序列。

S305，利用训练好的基于时序分类的模型判断该帧灰度图序列中是否存在暴力抛物的情形。

S306，将视频图像序列中位于预检图片序列最后一张图像之后的视频帧图像作为新的当前视频帧图像，执行步骤S302。

在本实施例中，初始的当前视频图像为视频图像序列的第二个视频图像，在步骤S302和步骤S303中依次进行光流轨迹提取和计算状态值，判断当前视频图像是否为包括状态值超过阈值的光流轨迹的预检图像。当判断结果为否时，执行步骤S302，继续提取其后一张视频图像的光流轨迹。当判断结果为是时，从视频图像序列中挑选图像形成预检图像序列进行进一步处理，步骤S301至步骤S305的详细描述请参阅第一实施例和第二实施例，在此不进行一一赘述。

在步骤S306中，对于预检图像序列中没有提取过光流轨迹的视频图像直接跳过，重新获取新的当前视频图像继续判断。

图5是本发明实施例的基于时序的动态信息暴力抛物检测装置的结构示意图。如图5所示，该检测装置40包括：光流检测模块41、图片筛选模块42、处理模块43和判断模块44。

其中，光流检测模块41，用于获得视频图像的光流轨迹；

图片筛选模块42，用于获得该光流轨迹的状态值超过阈值的相应图像，该状态值是根据该光流轨迹的方向和位移大小得到的；

处理模块43，用于将超过该阈值的该相应图像及其前后图像形成预检图像序列，将该预检图像序列转变成帧灰度图序列；

判断模块44，用于利用训练好的基于时序分类的模型判断该帧灰度图序列中是否存在暴力抛物的情形。

可选地，图片筛选模块42用于选择该视频图像中该位移大小最大的指定数量的光流轨迹；计算该指定数量的光流轨迹的该状态值；获取该状态值超过该阈值的相应图像。

可选地，将视频流转换为视频图像序列，光流检测模块41用于采用光流检测法对该视频图像序列进行检测进而获得对应的光流图像序列；对该光流图像序列中的光流图像进行特征提取，获取该光流图像中的光流轨迹和光流轨迹的信息，该光流轨迹的信息包括该位移大小和方向。

可选地，处理模块43用于将该预检图像序列中的视频图像转换为灰度图；基于帧间差分法对连续两帧该灰度图进行差分，以获得该帧灰度图像序列。

请参阅图6，图6为本发明实施例的基于时序动态信息的暴力抛物检测装置的结构示意图。如图6所示，该基于时序动态信息的暴力抛物检测装置50包括处理器51及和处理器51耦接的存储器52。

存储器52存储有用于实现上述任一实施例该的基于时序动态信息的暴力抛物检测方法的程序指令。

处理器51用于执行存储器52存储的程序指令以以进行基于时序动态信息的暴力抛物检测。

其中，处理器51还可以称为CPU(Central Processing Unit，中央处理单元)。处理器51可能是一种集成电路芯片，具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

参阅图7，图7为本发明实施例的存储介质的结构示意图。本发明实施例的存储介质存储有能够实现上述所有方法的程序指令61，其中，该程序指令61可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储装置包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种基于时序动态信息的暴力抛物检测方法，其特征在于，所述暴力抛物检测方法包括以下步骤：

获得视频图像的光流轨迹；

获得所述光流轨迹的状态值超过阈值的相应图像，所述状态值是根据所述光流轨迹的方向和位移大小得到的；

将超过所述阈值的所述相应图像及其前后图像形成预检图像序列，将所述预检图像序列转变成帧灰度图序列；

利用训练好的基于时序分类的模型判断所述帧灰度图序列中是否存在暴力抛物的情形。

2.根据权利要求1所述的基于时序的动态信息暴力抛物检测方法，其特征在于，所述利用训练好的基于时序分类的模型判断所述帧灰度图序列中是否存在暴力抛物的情形之前包括：

将超过所述阈值的所述相应图像及其前后图像形成预检图像序列；

将所述预检图像序列转变成帧灰度图序列，送入序列学习框架中进行训练、迭代，得到所述基于时序分类的模型。

3.根据权利要求1所述的基于时序的动态信息暴力抛物检测方法，其特征在于，所述获得所述光流轨迹的状态值超过阈值的相应图像，包括：

选择所述视频图像中所述位移大小最大的指定数量的光流轨迹；

计算所述指定数量的光流轨迹的所述状态值；

获取所述状态值超过所述阈值的相应图像。

4.根据权利要求1～3任一项所述的基于时序的动态信息暴力抛物检测方法，其特征在于，所述状态值为光流方向信息熵。

5.根据权利要求1所述的基于时序的动态信息暴力抛物检测方法，其特征在于，所述获得视频图像的光流轨迹之前包括：

将视频流转换为视频图像序列。

6.根据权利要求5所述的基于时序的动态信息暴力抛物检测方法，其特征在于，所述获得视频图像的光流轨迹，包括：

采用光流检测法对所述视频图像序列进行检测进而获得对应的光流图像序列；

对所述光流图像序列中的光流图像进行特征提取，获取所述光流图像中的光流轨迹和光流轨迹的信息，所述光流轨迹的信息包括所述位移大小和方向。

7.根据权利要求1所述的基于时序的动态信息暴力抛物检测方法，其特征在于，所述预检图像序列包括至少十个视频图像。

8.根据权利要求1所述的方法，其特征在于，所述将所述图像序列转变成帧灰度图序列，包括：

将所述预检图像序列中的视频图像转换为灰度图；

基于帧间差分法对连续两帧所述灰度图进行差分，以获得所述帧灰度图像序列。

9.一种基于时序的动态信息暴力抛物检测装置，其特征在于，所述检测装置包括：

光流检测模块，用于获得视频图像的光流轨迹；

图片筛选模块，用于获得所述光流轨迹的状态值超过阈值的相应图像，所述状态值是根据所述光流轨迹的方向和位移大小得到的；

处理模块，用于将超过所述阈值的所述相应图像及其前后图像形成预检图像序列，将所述预检图像序列转变成帧灰度图序列；

判断模块，用于利用训练好的基于时序分类的模型判断所述帧灰度图序列中是否存在暴力抛物的情形。

10.一种基于时序的动态信息暴力抛物检测装置，其特征在于，所述暴力抛物检测装置包括：处理器、存储器和通信电路；

所述通信电路用于与其他设备通信；

所述处理器用于运行所述存储器存储的程序指令，以结合所述通信电路来执行权利要求1至8任一项所述的方法。

11.一种存储介质，其特征在于，存储有处理器可运行的程序指令，所述程序指令用于执行权利要求1至8任一项所述的方法。

Images