CN112926444A - 抛物行为检测方法及装置 - Google Patents

抛物行为检测方法及装置 Download PDF

Info

Publication number
CN112926444A
CN112926444A CN202110205466.5A CN202110205466A CN112926444A CN 112926444 A CN112926444 A CN 112926444A CN 202110205466 A CN202110205466 A CN 202110205466A CN 112926444 A CN112926444 A CN 112926444A
Authority
CN
China
Prior art keywords
motion
target
image
track
moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110205466.5A
Other languages
English (en)
Inventor
翁仁亮
钱扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Aibee Technology Co Ltd
Original Assignee
Beijing Aibee Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Aibee Technology Co Ltd filed Critical Beijing Aibee Technology Co Ltd
Priority to CN202110205466.5A priority Critical patent/CN112926444A/zh
Publication of CN112926444A publication Critical patent/CN112926444A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种抛物行为检测方法及装置，其中该方法包括：获取目标视频流中的目标图像；检测目标图像中包括的运动区域，并根据目标图像在目标视频流中的顺序，为运动区域配置对应的时间信息；基于多帧目标图像中包括的对应于同一运动目标的运动区域，生成运动目标对应的目标轨迹图像；根据目标轨迹图像中各运动区域内的运动像素点，拟合运动目标对应的目标运动轨迹；通过抛物行为识别模型，根据目标运动轨迹上多个运动像素点各自对应的位置信息和时间信息，确定目标运动轨迹对应于抛物行为的置信度；运动像素点对应的时间信息为其所属的运动区域对应的时间信息；根据置信度，确定运动目标是否对应于抛物行为。

Description

抛物行为检测方法及装置
技术领域
本申请涉及计算机视觉技术领域，具体涉及一种抛物行为检测方法及装置。
背景技术
在公共场所中异常抛物是一种极其危险的行为，例如，在机场航站楼上向隔离区抛掷违禁物品，轻则可能妨害机场的运行秩序，重则可能造成重大安全事故。目前，主要基于部署在公共场所中的监控摄像头拍摄的图像，检测公共场所中是否存在此类抛物行为。
然而，目前的现有技术普遍只能事后基于摄像头拍摄的视频进行抛物行为解析分析，难以基于摄像头拍摄的视频实时地检测相关场所中是否存在抛物行为，因而难以及时地针对相关场所中发生的抛物行为报警，降低抛物行为所造成的损失。
发明内容
本申请实施例提供了一种抛物行为检测方法及装置，能够基于摄像头拍摄的视频实时地检测相关场所中是否存在抛物行为，从而便于及时地针对相关场所中发生的抛物行为报警。
有鉴于此，本申请第一方面提供了一种抛物行为检测方法，所述方法包括：
获取目标视频流中的目标图像；
检测所述目标图像中包括的运动区域，并且根据所述目标图像在所述目标视频流中的顺序，为所述运动区域配置对应的时间信息；
基于多帧所述目标图像中包括的对应于同一运动目标的所述运动区域，生成所述运动目标对应的目标轨迹图像；
根据所述目标轨迹图像中各所述运动区域内的运动像素点，拟合所述运动目标对应的目标运动轨迹；
通过抛物行为识别模型，根据所述目标运动轨迹上多个所述运动像素点各自对应的位置信息和时间信息，确定所述目标运动轨迹对应于抛物行为的置信度；所述运动像素点对应的时间信息为其所属的所述运动区域对应的时间信息；
根据所述置信度，确定所述运动目标是否对应于抛物行为。
本申请第二方面提供了一种抛物行为检测装置，所述装置包括：
图像获取模块，用于获取目标视频流中的目标图像；
运动区域确定模块，用于检测所述目标图像中包括的运动区域，并且根据所述目标图像在所述目标视频流中的顺序，为所述运动区域配置对应的时间信息；
轨迹图像生成模块，用于基于多帧所述目标图像中包括的对应于同一运动目标的所述运动区域，生成所述运动目标对应的目标轨迹图像；
运动轨迹拟合模块，用于根据所述目标轨迹图像中各所述运动区域内的运动像素点，拟合所述运动目标对应的目标运动轨迹；
置信度确定模块，通过抛物行为识别模型，根据所述目标运动轨迹上多个所述运动像素点各自对应的位置信息和时间信息，确定所述目标运动轨迹对应于抛物行为的置信度；所述运动像素点对应的时间信息为其所属的所述运动区域对应的时间信息；
抛物行为识别模块，用于根据所述置信度，确定所述运动目标是否对应于抛物行为。
本申请第三方面提供了一种设备，所述设备包括：处理器和存储器；
所述存储器，用于存储计算机程序；
所述处理器，用于调用所述计算机程序，以执行第一方面所述的抛物行为检测方法。
本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行第一方面所述的抛物行为检测方法。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请实施例提供了一种抛物行为检测方法，该方法包括：获取目标视频流中的目标图像；然后，检测该目标图像中包括的运动区域，并且根据该目标图像在所述目标视频流中的顺序，为该运动区域配置对应的时间信息；接着，基于多帧目标图像中包括的对应于同一运动目标的所述运动区域，生成该运动目标对应的目标轨迹图像；进而，根据目标轨迹图像中各运动区域内的运动像素点，拟合运动目标对应的目标运动轨迹；通过抛物行为识别模型，根据目标运动轨迹上多个运动像素点各自对应的位置信息和时间信息，确定该目标运动轨迹对应于抛物行为的置信度；此处运动像素点对应的时间信息为其所属的运动区域对应的时间信息；最终，根据目标运动轨迹对应于抛物行为的置信度，确定运动目标是否对应于抛物行为。上述抛物行为检测方法将目标摄像头拍摄的RGB图像作为数据源，捕捉RGB图像中的运动目标，并且确定运动目标的运动轨迹，进而根据运动目标的运动轨迹确定该运动目标是否对应于抛物行为；由于该抛物行为识别方法的时间复杂度和空间复杂度都比较低，因此能够保证抛物行为检测的实时性，有利于及时地检测出摄像头所拍摄的场景中是否存在抛物行为，进而便于及时地针对所发生的抛物行为报警。
附图说明
图1为本申请实施例提供的抛物行为检测方法的流程示意图；
图2为本申请实施例提供的目标图像和运动图像的示意图；
图3为本申请实施例提供的筛选了运动图像中的运动区域后得到的运动图像的示意图；
图4为本申请实施例提供的筛选了目标轨迹图像中的运动区域后得到的目标轨迹图像的示意图；
图5为本申请实施例提供的模型训练方法的流程示意图；
图6本申请实施例提供的抛物行为检测装置的结构示意图；
图7为本申请实施例提供的服务器的结构示意图；
图8为本申请实施例提供的终端设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
方法实施例：
参见图1，图1为本申请实施例提供的抛物行为检测方法的流程示意图。为了便于描述，下述实施例以服务器作为执行主体为例进行介绍。如图1所示，该抛物行为检测方法包括以下步骤：
步骤101：获取目标视频流中的目标图像。
在实际应用中，当服务器需要基于目标摄像头拍摄的目标视频流，检测该目标摄像头拍摄的场景中是否存在抛物行为时，服务器需要实时地获取目标摄像头上传的目标视频流，进而获取目标视频流中的目标图像。
需要说明的是，为了减少服务器基于目标视频流进行后续处理时所需耗费的计算资源，提高服务器基于目标视频流中的图像进行运动目标识别的准确性，在本申请实施例提供的方法中，服务器获取到目标摄像头拍摄的目标视频流后，可以先针对该目标视频流中的图像进行预处理，得到该帧图像对应的目标图像，此处的预处理可以包括以下至少一种操作：将图像降采样到预设图像尺寸、对图像进行高斯模糊处理。
具体的，服务器可以针对目标视频流中的每帧图像调整其图像大小，使其达到预设图像尺寸。应理解，若目标视频流中每帧图像的分辨率过高，对于服务器来说，其后续基于每帧图像进行运动区域检测时都会耗费很大的计算量，这将导致运动目标检测的实时性降低；为了避免发生这种情况，服务器可以在其获取到目标视频流后，针对目标视频流中的每帧图像进行降采样处理，使得每帧图像达到预设图像尺寸；由于预设图像尺寸下的图像的分辨率较低，因此，能够降低服务器后续进行运动区域检测时所需耗费的计算量，提高运动目标检测的实时性。
此外，考虑到图像中通常会存在一定的噪声，因此，服务器还可以采用一定尺寸的高斯核，对降采样处理后的图像进行全局模糊处理，以去除图像中的噪声，尤其是椒盐噪声，从而帮助提高后续运动区域检测的准确性。
步骤102：检测所述目标图像中包括的运动区域，并且根据所述目标图像在所述目标视频流中的顺序，为所述运动区域配置对应的时间信息。
步骤103：基于多帧所述目标图像中包括的对应于同一运动目标的所述运动区域，生成所述运动目标对应的目标轨迹图像。
由于步骤102和步骤103具有较强的关联性，因此，下文对步骤102和步骤103的整体实现过程进行具体介绍。
具体的，服务器可以针对目标视频流中的每帧目标图像，通过运动检测算法将该目标图像转换为对应的运动图像；该运动图像中包括对应于运动目标的运动区域和对应于场景的场景区域，运动区域的像素值与场景区域的像素值不同；进而，针对运动图像，根据该运动图像对应的目标图像在目标视频流中的顺序，为该运动图像中的运动区域配置对应的时间信息。
服务器获取到目标视频流中的目标图像后，可以针对该目标图像，通过运动检测算法如基于混合高斯模型的背景建模算法等，将该目标图像转换为运动图像，该运动图像中包括对应于运动目标的运动区域和对应于场景的场景区域，运动区域的像素值与场景区域的像素值不同。图2所示即为目标图像和运动图像的示意图，如图2所示，其中(a)为目标图像即RGB(Red Green Blue)图像，(b)为该目标图像对应的运动图像，该运动图像中白色区域(即像素值为255的区域)为对应于运动目标的运动区域，黑色区域(即像素值为0的区域)为对应于场景的场景区域。
具体实现时，服务器可以对预处理后得到的目标图像，采用运动检测算法进行运动区域检测，从而得到该目标图像对应的运动图像。示例性的，服务器可以采用基于混合高斯模型的背景建模算法，针对目标图像中的每个像素点检测其是否对应于运动目标，若是，则将该像素点的像素值设置为255，若否，则将该像素点的像素值设置为0；如此，将目标图像中各个对应于运动目标的像素点的像素值均设置为255，使得对应于运动目标的各个像素点呈现白色，将目标图像中各个对应于非运动目标(即场景)的像素点的像素值均设置为0，使得对应于场景的各个像素点呈现黑色，由此得到该目标图像对应的运动图像。进而，采用区域连通算法，将运动图像中对应相同像素值的像素点连通起来，得到由白色像素点连通而成的运动区域以及由黑色像素点连通而成的场景区域。
应理解，在实际应用中，除了可以采用基于混合高斯模型的背景建模算法将目标图像转换为运动图像外，也可以采用其它运动检测算法如像素点差值检测算法等，将目标图像转换为运动图像，本申请在此不对所采用的运动检测算法做具体限定。
考虑到本申请实施例提供的方法专用于检测通过抛掷行为抛掷的物体，因此，服务器无需针对目标视频流中各个运动目标均进行轨迹检测，基于此，本申请实施例提供的方法可以在将目标图像转换为运动图像后，对运动图像中的运动区域进行初步筛选。
具体的，服务器可以针对运动图像中包括的每个运动区域，判断该运动区域是否满足第一预设面积约束条件；若是，则保留运动图像中的该运动区域；若否，则将运动图像中该运动区域的像素值调整为场景区域的像素值。
由于抛掷物体通常具有距离摄像头较远且体积较小等特点，因此，可以以此为基础设置第一预设面积阈值区间作为第一预设面积约束条件；相应地，将目标视频中的目标图像转换为对应的运动图像后，可以针对运动图像中的每个运动区域，判断其对应的面积是否在第一预设面积阈值区间内，若是，则确定其对应的运动目标可能为抛掷物体，并且将其保留在运动图像中，若否，则确定其对应的运动目标不可能为抛掷物体，并且将其对应的像素值设置为场景区域的像素值；如此，滤除掉运动图像中对应于非抛掷物体的运动区域。图3所示的运动图像即是对图2中(b)所示的运动图像进行运动区域筛选处理后得到的，其中仅保留了可能对应于抛掷物体的运动区域。
应理解，在实际应用中，可以根据实际应用需求设置上述第一预设面积约束条件，本申请在此不对该第一预设面积约束条件做任何限定。
服务器将目标视频流中的目标图像转换为对应的运动图像后，可以根据该运动图像对应的目标图像在目标视频中的顺序，为该运动图像中的运动区域配置对应的时间信息，该时间信息具体可以表现为编号；同一运动图像中的运动区域对应的时间信息相同，即同一运动图像中的运动区域对应的编号相同。进而，服务器可以根据多帧运动图像中对应于同一运动目标的运动区域，生成目标轨迹图像，该目标轨迹图像中运动区域及其对应的时间信息能够反映该运动区域对应的运动目标的运动轨迹。
在一种可能的实现方式中，服务器可以在目标视频流包括的各帧目标图像中选取起始目标图像，将该起始目标图像对应的运动图像作为初始的轨迹图像；然后，针对位于起始目标图像后的第i(i为大于或等于1的整数)帧目标图像对应的运动图像，执行轨迹图像判别操作；该轨迹图像判别操作包括：根据运动图像中的运动区域、以及上一被添加至轨迹图像中的运动区域，判断运动图像中的运动区域是否满足预设运动轨迹条件。若该运动图像中的运动区域满足预设运动轨迹条件，则将该运动图像中的运动区域添加至轨迹图像中；反之，若该运动图像中的运动区域不满足预设运动轨迹条件，则删除该运动区域。
具体的，服务器可以在目标视频包括的各帧目标图像中选择起始目标图像，将该起始目标图像对应的运动图像作为起始运动图像以及初始的轨迹图像，并且，还可以针对该起始运动图像中的运动区域配置起始编号。进而，针对目标视频流中位于该起始目标图像后的每帧目标图像对应的运动图像逐一执行以下操作，直至轨迹图像中的运动区域对应的编号达到预设编号值为止。所执行的操作包括：确定位于起始目标图像后的第i(i为大于或等于1的整数)帧目标图像对应的运动图像作为候选运动图像，针对该候选运动图像执行轨迹图像判别操作；此处的轨迹图像判别操作包括：根据候选运动图像中的运动区域、以及轨迹图像中编号最大的运动区域(即上一被添加至轨迹图像中的运动区域)，判断该候选运动图像中的运动区域是否满足预设运动轨迹条件；若该候选运动图像中的运动区域满足预设运动轨迹条件，则针对该候选运动图像中的运动区域配置对应的编号，并将该候选运动图像中的运动区域添加至轨迹图像中，该编号对应于该候选运动图像中的运动区域被添加至轨迹图像中的顺序；若该候选运动图像中的运动区域不满足预设运动轨迹条件，则删除该候选运动图像。
示例性的，可以将与目标视频中的第一帧目标图像作为起始目标图像，将该起始目标图像对应的运动图像作为起始运动图像，并且针对该起始运动图像中的运动区域配置起始编号1，将该起始运动图像作为初始的轨迹图像。然后，将与目标视频中的第二帧目标图像对应的运动图像视为候选运动图像，根据轨迹图像中编号最大的运动区域(即起始运动图像中的运动区域)、以及该候选运动图像中的运动区域，判断该候选运动图像中的运动区域是否满足预设运动轨迹条件；例如，可以判断候选运动图像中的运动区域与起始运动图像中的运动区域是否存在重叠，若不存在重叠，则认为该候选运动图像中的运动区域满足预设运动轨迹条件，若存在重叠，则认为该候选运动图像中的运动区域不满足预设运动轨迹条件。若该候选运动图像中的运动区域满足预设运动轨迹条件，则服务器可以针对该候选运动图像中的运动区域配置编号2，并将该候选运动图像中的运动区域添加至轨迹图像中，即根据该运动区域在该候选运动图像中的位置，在轨迹图像中相应的位置处添加该候选运动图像中的运动区域；若该候选运动图像中的运动区域不满足预设运动轨迹条件，则服务器可以删除该候选运动图像，即删除与目标视频中的第二帧目标图像对应的运动图像。进而，将与目标视频中的第三帧目标图像对应的运动图像视为新的候选运动图像，针对该候选运动图像执行上述操作。
如此，针对位于起始目标图像后的目标图像对应的运动图像逐一执行上述操作，直至轨迹图像中包括的运动区域对应的编号达到预设编号值为止。此处的预设编号值可以根据实际需求设定，示例性的，本申请实施例提供的方法可以根据抛物行为的相关特征设置上述预设编号值，例如，假设抛掷物体的运动时间最多持续1s，目标摄像头的帧率为T，则可以将轨迹图像中包括的运动区域对应的最大编号值(即上述预设编号值)设置为T。当然，在实际应用中，也可以将该预设编号值设置为其它数值，本申请在此不对该预设编号值做任何限定。
此外，上述预设运动轨迹条件也可以根据实际需求设置，例如，可以设置候选运动图像中的运动区域与轨迹图像中编号最大的运动区域的重叠面积低于预设重叠面积阈值，本申请在此也不对该预设运动轨迹条件做任何限定。
需要说明的是，当轨迹图像中包括的运动区域所属的运动图像的数目达到预设数目时，服务器可以删除轨迹图像中的起始运动区域，该起始运动区域所属的运动图像对应的目标图像相比轨迹图像中其它运动区域所属的运动图像对应的目标图像，在目标视频中的时间顺序更靠前。进而，针对位于最后被添加至轨迹图像中的运动区域所属的运动图像后的运动图像，执行上述轨迹图像判别操作。
即，在轨迹图像中的运动区域对应的编号达到预设编号值后，服务器可以删除该轨迹图像中对应于起始编号的运动区域，并将轨迹图像中各运动区域各自对应的编号减1；进而，确定位于该轨迹图像中编号最大的运动区域所属的运动图像后的第一帧运动图像，作为候选运动图像，针对该候选运动图像执行上述轨迹图像判别操作。
即，在本申请实施例提供的方法中，服务器可以对轨迹图像进行实时更新。轨迹图像中某运动区域的编号达到预设编号值，则说明该轨迹图像中包括的运动区域所属于预设数目帧运动图像，该轨迹图像已能够体现预设数目帧运动图像中的运动区域所对应的运动目标的运动轨迹；此时，服务器可以继续利用后续的运动图像中的运动区域更新该轨迹图像，即将该轨迹图像中编号为1的运动区域删除，同时将该轨迹图像中各个运动区域各自对应的编号均减去1，进而，针对下一帧运动图像(即轨迹图像中编号最大的运动区域所属的运动图像的后一帧运动图像)，执行轨迹图像判别操作，以利用后续的运动图像中的运动区域实时地更新该轨迹图像，从而达到实时地更新运动轨迹的目的。
如此，在轨迹图像中包括的运动区域所属的运动图像的数目达到预设数目时，即在轨迹图像中包括的运动区域对应的编号达到预设编号值时，服务器可以直接将此时的轨迹图像作为目标轨迹图像；该目标轨迹图像中各个运动区域及其各自对应的编号能够反映该运动区域对应的运动目标的运动轨迹。并且，该目标轨迹图像可以跟随运动图像的更新而实时更新，以实时地反映目标摄像头拍摄的场景中的运动目标的运动轨迹。
与此同时，服务器还可以获取运动时间图像，该运动时间图像的像素值与运动图像中场景区域的像素值相同。在将运动图像中的运动区域添加至轨迹图像中后，服务器可以根据该运动区域被添加至轨迹图像中的顺序，确定该运动区域对应的参考像素值，根据该运动图像中运动区域的位置，在该运动时间图像中的相应位置处、以该参考像素值添加显示该运动图像中的运动区域。在将轨迹图像中的起始运动区域删除后，服务器可以同时将该运动时间图像中的起始运动区域删除，并且调整运动时间图像中各运动区域各自对应的参考像素值，得到对应的更新参考像素值，在运动时间图像中以各运动区域各自对应的更新参考像素值显示各运动区域。
即，本申请实施例提供的方法除了可以将起始运动图像作为初始的轨迹图像外，还可以额外获取初始的运动时间图像，该初始的运动时间图像中各个像素点的像素值均为运动图像中场景区域的像素值，即该初始的运动时间图像中各个像素值均为0，该初始的运动时间图像呈现为黑色。
具体实现时，在将运动图像中的运动区域添加至轨迹图像中后，服务器可以根据该运动区域被添加至轨迹图像中的顺序，确定该运动区域对应的编号，并将该运动区域对应的编号作为该运动区域对应的参考像素值，相应地在运动时间图像中以该参考像素值添加显示该运动区域。在将轨迹图像中的起始运动区域删除后，即在将轨迹图像中对应于起始编号的运动区域删除后，服务器可以将该运动时间图像中编号最小的运动区域相应地删除，同时将该运动时间图像中各个运动区域各自对应的参考像素值减1得到对应的更新参考像素值，进而，在运动时间图像中以各运动区域各自对应的更新参考像素值显示各运动区域。
如此，在轨迹图像中包括的运动区域所属的运动图像的数目达到预设数目时，即在轨迹图像中的运动区域对应的编号达到预设编号值时，服务器可以直接将此时的运动时间图像作为目标轨迹图像；该目标轨迹图像中各个运动区域及其各自对应的参考像素值能够反映该运动区域对应的运动目标的运动轨迹。并且，该目标轨迹图像可以跟随运动图像的更新而实时更新，以实时地反映目标摄像头拍摄的场景中的运动目标的运动轨迹。
在上述实现方式中，在基于轨迹图像确定的目标轨迹图像和基于运动时间图像确定的目标轨迹图像中包括的运动区域相同，区别仅在于，基于轨迹图像确定的目标轨迹图像中各运动区域的像素值均相同，需要单独针对各运动区域记录其对应的时间信息即编号，而基于运动时间图像确定的目标轨迹图像中各运动区域的像素值不同，各运动区域的像素值能够相应地反映该运动区域对应的时间信息。
在另一种可能的实现方式中，服务器可以在目标视频流包括的各帧目标图像中选取起始目标图像，确定该起始目标图像对应的运动图像作为起始运动图像，针对该起始运动图像中的运动区域配置起始时间信息如起始编号，并将该起始运动图像作为初始的轨迹图像。进而，针对目标视频流中位于该起始目标图像后的每帧目标图像对应的运动图像逐一执行以下操作，直至轨迹图像中包括的运动区域所属的运动图像的数目达到预设数目为止，例如直至轨迹图像中的运动区域对应的编号达到预设编号值为止。所执行的操作包括：确定位于起始目标图像后的第i(i为大于或等于1的整数)帧目标图像对应的运动图像作为候选运动图像，针对该候选运动图像中的运动区域配置对应的时间信息如编号，并且针对该候选运动图像执行轨迹图像判别操作；此处的轨迹图像判别操作包括：根据候选运动图像中的运动区域、以及上一被添加至轨迹图像中的运动区域(即轨迹图像中编号最大的运动区域)，判断该候选运动图像中的运动区域是否满足预设运动轨迹条件；若该候选运动图像中的运动区域满足预设运动轨迹条件，则将该候选运动图像中的运动区域添加至轨迹图像中；若该候选运动图像中的运动区域不满足预设运动轨迹条件，则删除该候选运动图像。
示例性的，可以将与目标视频中的第一帧目标图像作为起始目标图像，将该起始目标图像对应的运动图像作为起始运动图像，并且针对该起始运动图像中的运动区域配置起始编号1，将该起始运动图像作为轨迹图像。然后，将与目标视频中的第二帧目标图像对应的运动图像视为候选运动图像，针对该候选运动图像中的运动区域配置对应的编号2，根据轨迹图像中编号最大的运动区域(即起始运动图像中的运动区域)、以及该候选运动图像中的运动区域，判断该候选运动图像中的运动区域是否满足预设运动轨迹条件；例如，可以判断候选运动图像中的运动区域与起始运动图像中的运动区域是否存在重叠，若不存在重叠，则认为该候选运动图像中的运动区域满足预设运动轨迹条件，若存在重叠，则认为该候选运动图像中的运动区域不满足预设运动轨迹条件。若该候选运动图像中的运动区域满足预设运动轨迹条件，则服务器可以将该候选运动图像中的运动区域添加至轨迹图像中，即根据该运动区域在该候选运动图像中的位置，在轨迹图像中相应的位置处添加该候选运动图像中的运动区域；若该候选运动图像中的运动区域不满足预设运动轨迹条件，则服务器可以删除该候选运动图像，即删除与目标视频中的第二帧目标图像对应的运动图像。进而，将与目标视频中的第三帧目标图像对应的运动图像视为新的候选运动图像，针对该候选运动图像执行上述操作。如此，针对位于起始目标图像后的目标图像对应的运动图像逐一执行上述操作，直至轨迹图像中包括的运动区域对应的编号达到预设编号值为止。
需要说明的是，在轨迹图像中的运动区域所属的运动图像的数目达到预设数目时，即在轨迹图像中包括的运动区域对应的编号达到预设编号值后，服务器可以删除该轨迹图像中对应于起始编号的运动区域，并将轨迹图像中各运动区域各自对应的编号减1；进而，确定位于该轨迹图像中编号最大的运动区域所属的运动图像后的第一帧运动图像，作为候选运动图像，针对该候选运动图像执行上述轨迹图像判别操作。
如此，在轨迹图像中包括的运动区域所属的运动图像的数目达到预设数目时，服务器可以直接将此时的轨迹图像作为目标轨迹图像；该目标轨迹图像中各个运动区域及其各自对应的编号能够反映该运动区域对应的运动目标的运动轨迹。并且，该目标轨迹图像可以跟随运动图像的更新而实时更新，以实时地反映目标摄像头拍摄的场景中的运动目标的运动轨迹。
与此同时，服务器还可以获取运动时间图像，初始的该运动时间图像的像素值与运动图像中场景区域的像素值相同。针对候选运动图像中的运动区域配置对应的时间信息如编号后，服务器可以根据候选运动图像中的运动区域对应的时间信息确定该运动区域对应的参考像素值，例如，可以确定该候选运动图像中的运动区域对应的编号作为该运动区域对应的参考像素值；进而，根据该候选运动图像中运动区域的位置，在该运动时间图像中的相应位置处、以该参考像素值添加显示该候选运动图像中的运动区域。在将轨迹图像中的起始运动区域删除后，服务器可以同时将该运动时间图像中的该起始运动区域删除，并且调整运动时间图像中各运动区域各自对应的参考像素值得到更新参考像素值，例如，可以将运动时间图像中各运动区域各自对应的参考像素值减1得到对应的更新参考像素值，在运动时间图像中以各运动区域各自对应的更新参考像素值显示各运动区域。
在上述实现方式中，运动时间图像中包括的运动区域与基于轨迹图像确定的目标轨迹图像中包括的运动区域可能不同，运动时间图像中包括的运动区域往往更加丰富。其原因在于，在轨迹图像中添加运动区域时需要通过轨迹图像判别操作，判别候选运动图像中的运动区域是否满足预设运动轨迹条件，在该运动区域满足预设运动轨迹条件时，才会将该运动区域添加至轨迹图像中，而运动时间图像中包括各候选运动图像中的运动区域，因此，运动时间图像中所涵盖的信息往往更加丰富。基于此，服务器后续可以利用运动时间图像为目标轨迹图像提供相关时间参考信息，即可以利用运动时间图像中各运动区域各自对应的像素值，确定目标轨迹图像中各运动区域对应的编号。
由于本申请实施例提供的方法专用于检测通过抛掷行为抛掷的物体，因此，服务器通过上述方法得到目标轨迹图像后，可以对目标轨迹图像中的运动区域进行进一步的筛选，以保留与所需检测的运动目标相对应的运动区域，使得目标轨迹图像专用于表征该运动目标的运动轨迹。
在一种可能的实现方式中，服务器可以针对所述目标轨迹图像中的每个运动区域，判断该运动区域是否满足第二预设面积约束条件；若是，则保留目标轨迹图像中的该运动区域；若否，则删除目标轨迹图像中的该运动区域。
考虑到在对运动图像中的运动区域进行筛选处理时，可能没有彻底地将运动图像中对应非抛掷物体的运动区域均滤除掉，例如，某运动图像中可能包括对应于人体小部分部位的运动区域，但是由于该运动图像中该运动区域的面积满足第一预设面积约束条件，因此没有将其滤除掉，服务器生成目标轨迹图像后，多帧运动图像中对应于人体的各个运动区域将连通起来，连通后的运动区域的面积较大，因此更容易被准确地滤除掉。基于此，可以进一步设置第二预设面积阈值区间作为第二预设面积约束条件；对于目标轨迹图像中超出第二预设面积阈值区间的运动区域滤除掉，仅保留目标轨迹图像中第二预设面积阈值区间内的运动区域。通常情况下，该第二预设面积阈值区间大于上述第一预设面积阈值区间。
应理解，在实际应用中，可以根据实际应用需求设置上述第二预设面积约束条件，本申请在此不对该第二预设面积约束条件做任何限定。
在另一种可能的实现方式中，服务器可以根据目标图像在目标视频流中的时间顺序，为目标图像对应的运动图像中的运动区域配置对应的时间信息，实质上可以是为目标图像对应的运动图像中的运动区域配置对应的编号；相应地，目标轨迹图像中运动区域内的像素点对应的编号与该运动区域的编号相同。在这种情况下，服务器可以针对目标轨迹图像进行区域连通处理，得到参考运动区域；进而，针对目标轨迹图像中的每个参考运动区域，根据参考运动该区域中各个像素点各自对应的编号，确定各种编号下的像素点占比，作为该参考运动区域对应的像素点占比；针对目标轨迹图像中的每个参考运动区域，判断参考运动区域对应的像素点占比是否满足预设占比条件；若是，则保留目标轨迹图像中的该参考运动区域；若否，则删除目标轨迹图像中的该参考运动区域。
由于本申请实施例提供的方法专用于检测抛掷物体的运动轨迹，且抛掷物体对应的运动速度通常较快，因此，在目标轨迹图像中，对应于抛掷物体的运动区域内的像素点通常应当对应于同一编号，反之，对应于非抛掷物体(如人体)的运动区域内的像素点可能来自多帧不同的运动图像，其中可能融合有对应于多种编号的像素点，基于此，本申请实施例提供的方法可以设置预设占比条件，以滤除掉目标轨迹图像中与非抛掷物体对应的运动区域。
具体实现时，服务器可以采用区域连通算法将目标轨迹图像中像素值为0的像素点连通起来，得到各个参考运动区域；然后，针对目标轨迹图像中的每个参考运动区域，确定该参考运动区域中各个像素点各自对应的编号，并计算各种编号下的像素点占比。若该参考运动区域中各个像素点均对应同一编号，或者该参考运动区域中大部分像素点均对应同一编号，即对应于某种编号的像素点占比超过预设占比阈值，则可以认为该参考运动区域满足预设占比条件；进而，可以保留目标轨迹图像中的该参考运动区域，反之，若该参考运动区域中各个像素点各自对应的编号较为分散，即对应于各种编号的像素点占比均不超过预设占比阈值，则可以认为该参考运动区域不满足预设占比条件；进而，可以删除目标轨迹图像中的该参考运动区域。图4所示即为一种对目标轨迹图像进行参考运动区域筛选处理后得到的抛掷物体对应的轨迹图像。
步骤104：根据所述目标轨迹图像中各所述运动区域内的运动像素点，拟合所述运动目标对应的目标运动轨迹。
服务器确定出目标轨迹图像后，可以利用该目标轨迹图像中各运动区域内的像素点，构成前景点集合；然后对前景点集合中的前景点进行采样，得到样本集合，该样本集合中的样本包括第一预设数目个前景点；根据样本中包括的各前景点的位置，拟合得到该样本对应的曲线；根据前景点集合中各个前景点与样本对应的曲线之间的相对位置，确定样本对应的适应值；根据该样本集合中各样本各自对应的适应值，确定目标曲线作为目标运动轨迹。
具体实现时，服务器可以对前景点集合中的前景点进行随机采样，从而得到若干包括第一预设数目个前景点的样本；示例性的，第一预设数目可以设置为3。
在将样本添加至样本集合之前，服务器可以先对所形成的样本的有效性进行检验。具体的，服务器可以对于每个待检测样本，判断其是否满足预设的先验条件；若满足，则确定该待检测样本通过检验，可以将其添加到样本集合中；若不满足，则确定该待检测样本未通过检验，不能将其添加到样本集合中。
上述先验条件具体可以是根据实际的场景或检测要求确定的。示例性的，该先验条件可以包括形态先验条件，在检测抛物行为的应用场景下，可以将基于样本集合中的前景点拟合出的曲线开口朝下，作为一种形态先验条件。该先验条件可以包括时序先验条件，例如，位于曲线上的前景点应当依次符合时序先后关系。当然，预设先验条件还可以既包括形态先验条件，又包括时序先验条件。由于先验条件是可以依据实际场景或检测要求设定的，因此本申请实施例中对于先验条件的具体内容不做限定。
服务器通过上述操作得到样本集合后，可以遍历样本集合中的样本，基于每个样本分别拟合生成该样本对应的曲线。曲线的生成与样本中前景点的位置相关，要求所生成的曲线经过该样本包含的所有前景点。
在样本集合中，每个样本可以包含第一预设数目个前景点的编码。前景点的编码与位置(即坐标信息)存在映射关系，因此根据编码可以相应地获取到前景点的位置。或者在样本集合中，每个样本可以包含第一预设数目个前景点各自的位置。
示例性的，假设某样本为{(xi,yi),(xj,yj),(xk,yk)}，其中(xi,yi),(xj,yj),(xk,yk)分别为前景点i、前景点j和前景点k的坐标。
抛物线方程通常如式(1)所示：
y＝Ax2+Bx+C (1)
在式(1)中，参数A、B和C的表达式分别如式(2)至式(4)所示：
Figure BDA0002950325830000161
Figure BDA0002950325830000162
Figure BDA0002950325830000163
结合上述式(2)至式(4)可知，在已知样本包含的所有前景点的位置(坐标)后，便可以依照式(2)至式(4)求得参数A、B和C的值，进而获得形如式(1)的抛物线表达式，即获得样本对应的曲线。
服务器通过上述操作获得了样本集合中每个样本对应的曲线后，可以进一步求取每个样本的适应值，该适应值可以用于表征样本对应的曲线与前景点集合之间的匹配程度。样本的适应值越大，则表示该样本对应的曲线与前景点集合间的匹配程度越高，该样本对应的曲线越符合检测精度要求；反之，样本的适应值越小，则表示样本对应的曲线与前景点集合间的匹配程度越低，该样本对应的曲线越不符合检测精度要求。
在一种可能的实现方式中，服务器可以预先设定预设距离阈值，根据前景点集合中各个前景点与样本对应的曲线的相对位置，确定各个前景点与该条曲线的距离；将各个前景点与曲线的距离分别与预设距离阈值进行比较，将前景点集合中与曲线的距离小于预设距离阈值的前景点的数目记为样本对应的适应值。前景点与曲线的距离小于预设距离阈值，则视为该曲线与该前景点匹配，该曲线经过了该前景点。
以式(1)中的抛物线表达式为例，前景点a与曲线的距离Da表示为：
Figure BDA0002950325830000171
其中，xa为前景点的横坐标，ya为前景点的纵坐标。
由于样本的适应值表征样本对应对应的曲线与前景点集合间的匹配程度，因此，为了保证曲线检测精度，可以直接将样本集合中适应值最大的样本对应的曲线确定为目标曲线，即将样本集合中适应值最大的样本对应的曲线作为目标运动轨迹。
在上文介绍到，服务器需要对前景点集合中的前景点进行采样，以建立包括互不重合的样本的样本集合。当前景点集合中的前景点数量比较庞大时，可以令样本集合包含第五预设数目个样本。作为示例，第五预设数目为10。
先通过随机采样得到10个样本。在针对这10个样本确定出对应的适应值后，可以进一步确定出一些适应值较高的样本。这些适应值较高的样本中包含的前景点位于最终优选出的目标曲线的概率较高，利用这些前景点可以更便捷、快速、高效且准确地确定出目标曲线。为此，可以为这些前景点配置更高的采样概率，再以更新后的采样概率重新对前景点集合中的前景点采样，继续寻找可能存在的高适应值的样本。下面基于这一思路，介绍另一种拟合目标运动轨迹的实现方式。
利用目标轨迹图像中各运动区域内的像素点，构成前景点集合；对前景点集合中的前景点进行采样，得到包括多个样本的样本集合。根据样本中包含的前景点的位置获得样本对应的曲线。根据前景点集合中各个前景点与曲线的相对位置获得样本的适应值。判断当前是否满足预设截止条件，若是，则将历次迭代中所对应的适应值最大的样本对应的曲线，作为目标曲线；若否，则按照从大到小的顺序对样本集合中各样本各自对应的适应值进行排序，确定排序靠前的第二预设数目个样本；对这第二预设数目个样本中包括的前景点的采样概率进行更新；更新后的采样概率可以用于在下次迭代中对前景点集合中的前景点进行采样。
在上述实现方式中，设置预设截止条件的目的是以预设截止条件决定是否需要停止产生新的样本，是否认定只能从已形成的曲线中选定目标曲线。作为一示例，预设截止条件包括：迭代次数达到第三预设数目次；迭代次数是指从采样得到样本集合到确定样本对应的适应值这一过程的循环次数，每执行一轮上述过程，迭代次数加1，当迭代次数达到第三预设数目次，表示迭代次数足够多，无需再重新产生新的样本；作为示例，第三预设数目为50。作为另一示例，预设截止条件包括：连续迭代第四预设数目次确定出的适应值最大的样本一致；连续迭代第四预设数目次确定出的适应值最大的样本均一致，表示继续迭代下去确定出适应值更大的样本的概率非常低，无需再重新产生新的样本；作为示例，第四预设数目为5。
若样本集合中包含第五预设数目个样本，则通过执行从采样得到样本集合到确定样本对应的适应值这一过程，能够得到第五预设数目条不同的曲线。作为示例，第五预设数目为10，第二预设数目为5，则从样本集合中挑选出5个适应值较大的样本，即对10个样本的适应值降序排列，确定出排序的前5个适应值对应的样本。
若前景点集合中前景点的总数量为X，X为大于或等于3的正整数，则在初次构建样本集合时，各个前景点的采样概率统一为1/X。在确定出了适应值较大的前第二预设数目个样本，这些样本包含的前景点可能存在部分重合，例如两个样本中均包含前景点i。此外，适应值较大的前第二预设数目个样本也可能不存在重合的前景点。适应值较大的前第二预设数目个样本中包含的前景点称为采样概率待更新的前景点，前景点集合中的其余前景点的采样概率则无需变动。
具体执行本步骤时，可以统计该采样概率待更新的前景点在适应值较大的前第二预设数目个样本中出现的总次数Y，将该采样概率待更新的前景点的当前采样概率与Y/X之和作为该采样概率待更新的前景点更新后的采样概率。Y为正整数，Y小于或等于第二预设数目。例如，前景点i在适应值前5的5个样本中出现了2次，前景点i更新前的采样概率为1/X，更新后的采样概率为3/X。
通过执行上述操作，部分前景点的采样概率得到更新，而部分前景点的采样概率未被更新。对于前景点集合，当其中的前景点被随机采样形成样本时，为了保证采样的随机性和求解曲线的准确性，作为一种可选的方式，对所有前景点的采样概率进行归一化，保证所有前景点的采样概率之和为1。对于任一前景点，其归一化后的采样概率为：该前景点归一化前的采样概率与所有前景点归一化前的采样概率之和的比值。通过归一化，实现了对前景点采样概率的准确量化。
其后，即可根据归一化后的采样概率对前景点集合中的前景点进行随机采样。也就是说，可以将得到的采样概率用以在下一次迭代中对前景点集合中的前景点进行采样，进而得到下一次迭代所用的样本集合。
步骤105：通过抛物行为识别模型，根据所述目标运动轨迹上多个所述运动像素点各自对应的位置信息和时间信息，确定所述目标运动轨迹对应于抛物行为的置信度；所述运动像素点对应的时间信息为其所属的所述运动区域对应的时间信息。
服务器通过上述操作确定出目标运动轨迹后，可以从该目标运动轨迹上采集多个运动像素点，并确定这多个运动像素点各自对应的位置信息和时间信息，进而，根据这多个运动像素点各自对应的位置信息和时间信息生成特定的特征向量，并将该特征向量输入预先训练好的抛物行为识别模型，该抛物行为识别模型通过对所输入的特征向量进行分析处理后，可以相应地输出该目标运动轨迹对应于抛物行为的置信度。
需要说明的是，本申请实施例中的抛物行为识别模型可以为任意一种神经网络分类模型，例如，可以为包括三层感知机的分类网络模型，本申请在此不对该抛物行为识别模型的具体结构做任何限定。下文将通过另一方法实施例对该抛物行为识别模型的训练方法做详细介绍。
具体实现时，服务器可以针对目标运动轨迹上的运动像素点，根据运动像素点所属的运动区域在运动时间图像中的参考像素值，确定运动像素点对应的时间信息如编号；根据多个运动像素点各自在目标轨迹图像中的位置坐标以及这多个运动像素点各自对应的时间信息，生成位置特征向量；进而，通过抛物行为识别模型，根据该位置特征向量确定目标运动轨迹对应于抛物行为的置信度。
示例性的，可以预先设定输入抛物行为识别模型的位置特征向量是大小为1*2T特征向量，T为目标轨迹图像中包括的运动区域所对应的最大编号。服务器根据各个运动像素点各自在目标轨迹图像中的位置坐标，构建1*2T大小的位置特征向量f；例如，服务器可以针对编号为t的运动像素点，将其在目标轨迹图像中的位置坐标进行归一化处理，即利用运动像素点的横坐标x除以目标轨迹图像的宽w得到归一化后的横坐标
Figure BDA0002950325830000201
利用运动像素点的纵坐标y除以目标轨迹图像的高h得到归一化后的纵坐标
Figure BDA0002950325830000202
将
Figure BDA0002950325830000203
和
Figure BDA0002950325830000204
填写至位置特征向量f中的第2t位和第2t+1位；对于f中的空白元素可以利用0填充。进而，服务器可以将位置特征向量f输入预先训练好的抛物行为识别模型，得到该抛物行为识别模型输出的置信度。
当然，在实际应用中，服务器也可以采取其它方式构建位置特征向量。例如，预先设定位置特征向量为大小为2*T的特征向量，对编号为t的运动像素点的横坐标x和纵坐标y进行归一化处理，得到横坐标
Figure BDA0002950325830000205
和纵坐标
Figure BDA0002950325830000206
后，将
Figure BDA0002950325830000207
填写至位置特征向量中第一行的第t位，将
Figure BDA0002950325830000208
填写至位置特征向量总第二行的第t位。
步骤106：根据所述置信度，确定所述运动目标是否对应于抛物行为。
服务器得到抛物行为识别模型输出的置信度后，可以根据该置信度确定与目标运动轨迹对应的运动目标是否对应于抛物行为。具体的，服务器可以预先设定置信度阈值，若抛物行为识别模型输出的置信度高于该置信度阈值，则确定与目标运动轨迹对应的运动目标对应于抛物行为；反之，若抛物行为识别模型输出的置信度不高于该置信度阈值，则确定与目标运动轨迹对应的运动目标并非对应于抛物行为。
可选的，在确定目标视频中的运动目标对应于抛物行为的情况下，服务器可以进一步产生报警信息，该报警信息用于提示目标视频对应的拍摄场所中存在抛物行为；如此，提示相关工作人员及时检测抛物行为是否存在危险。例如，假设目标视频是部署在机场的目标摄像头拍摄的，对应于某特定的区域如隔离区，服务器检测到该目标视频中的运动目标对应于抛物行为时，可以向机场安保人员发送报警信息，以通知机场安保人员该目标摄像头拍摄的隔离区域内存在抛物行为。
可选的，不同的目标轨迹图像中的目标运动轨迹可能对应于同一抛物行为，例如，生成时间相近的两个目标轨迹图像中的目标运动轨迹可能是因同一个抛物行为产生的；为了避免针对同一抛物行为重复报警，本申请实施例提供的方法可以在检测到生成时间相近的两个目标轨迹图像中的目标运动轨迹均对应于抛物行为的情况下，进一步检测这两个目标轨迹图像中的目标运动轨迹是否对应于同一抛物行为。
即，服务器可以在确定根据第一目标轨迹图像确定的第一目标运动轨迹对应于抛物行为的置信度高于预设置信度阈值，以及确定根据第二目标轨迹图像确定的第二目标运动轨迹对应于抛物行为的置信度高于预设置信度阈值，且所述第一目标轨迹图像与所述第二目标轨迹图像之间的时间间隔小于预设时长的情况下，基于预设采样标准，在第一目标运动轨迹上采集第一采样点组成第一采样点集，在第二目标运动轨迹上采集第二采样点组成第二采样点集；将第一采样点集和第二采样点集中对应于相同横坐标的第一采样点和第二采样点，组成采样点对；针对每个采样点对，确定其中第一采样点与第二采样点的纵坐标差值，作为该采样点对对应的差值距离；计算各个采样点对各自对应的差值距离的平均值作为平均距离；判断该平均距离是否小于预设距离阈值，若是，则确定第一目标运动轨迹和第二目标运动轨迹对应于同一抛物行为。
示例性的，服务器可以在第一目标轨迹图像中的第一目标运动轨迹上，按照x坐标均匀采集若干第一采集点组成第一采集点集，并且在第二目标轨迹图像中的第二目标轨迹上，也按照x坐标均匀采集若干第二采集点组成第二采集点集。然后，利用第一采集点集和第二采集点集中具有相同横坐标的第一采集点和第二采集点组成采集点对；针对每个采集点对，计算其中第一采集点与第二采集点的纵坐标的差值，作为该采集点对对应的差值距离。进而，计算各个采集点对各自对应的差值距离的平均值得到平均距离。判断该平均距离是否小于预设距离阈值，若是，则可以确定第一目标轨迹图像中的第一目标运动轨迹与第二目标轨迹图像中的第二目标轨迹实际上对应于同一抛物行为；反之，若否，则可以确定第一目标轨迹图像中的第一目标运动轨迹与第二目标轨迹图像中的第二目标轨迹实际上对应于不同的抛物行为。
本申请实施例提供的抛物行为检测方法包括：获取目标视频流中的目标图像；然后，检测该目标图像中包括的运动区域，并且根据该目标图像在所述目标视频流中的顺序，为该运动区域配置对应的时间信息；接着，基于多帧目标图像中包括的对应于同一运动目标的所述运动区域，生成该运动目标对应的目标轨迹图像；进而，根据目标轨迹图像中各运动区域内的运动像素点，拟合运动目标对应的目标运动轨迹；通过抛物行为识别模型，根据目标运动轨迹上多个运动像素点各自对应的位置信息和时间信息，确定该目标运动轨迹对应于抛物行为的置信度；此处运动像素点对应的时间信息为其所属的运动区域对应的时间信息；最终，根据目标运动轨迹对应于抛物行为的置信度，确定运动目标是否对应于抛物行为。上述抛物行为检测方法将目标摄像头拍摄的RGB图像作为数据源，捕捉RGB图像中的运动目标，并且确定运动目标的运动轨迹，进而根据运动目标的运动轨迹确定该运动目标是否对应于抛物行为；由于该抛物行为识别方法的时间复杂度和空间复杂度都比较低，因此能够保证抛物行为检测的实时性，有利于及时地检测出摄像头所拍摄的场景中是否存在抛物行为，进而便于及时地针对所发生的抛物行为报警。
上述方法实施例中提及的抛物行为识别模型，具体可以是通过图5所示的模型训练方法训练得到的。
参见图5，图5为本申请实施例提供的模型训练方法的流程示意图。为了便于描述，下述实施例仍以服务器作为执行主体为例进行介绍。如图5所示，该模型训练方法包括以下步骤：
步骤501：获取训练样本集；所述训练样本集中包括正训练样本和负训练样本，所述正训练样本包括与抛物行为对应的运动轨迹上多个采样点各自对应的位置信息及时间信息，所述负训练样本包括与非抛物行为对应的运动轨迹上多个采样点各自对应的位置信息及时间信息。
服务器对抛物行为识别模型进行训练之前，需要先获取包括大量训练样本的训练样本集。该训练样本集中包括对应于抛物行为的正训练样本和对应于非抛物行为的负训练样本，其中，正训练样本中包括与抛物行为对应的运动轨迹上多个采样点各自对应的位置信息和时间信息，负训练样本中包括与非抛物行为对应的运动轨迹上的多个采样点各自对应的位置信息和时间信息。
在一种可能的实现方式中，服务器可以通过以下方式构建上述正训练样本：设置抛物轨迹的初始坐标、初始坐标对应的初始时间信息、初始速度以及加速度，基于该初始坐标、初始速度和加速度模拟生成抛物轨迹；然后，在该抛物轨迹上按照产生的时间顺序采集采样点，并以初始时间信息为基础，按照采样点产生的时间顺序针对采样点配置对应的时间信息；进而，基于初始坐标及其对应的初始时间信息、以及所采集的各个采样点及其各自对应的时间信息，构建正训练样本。
考虑到真实的抛物数据在现实生活中难以获取且数量较少，通常难以满足神经网络模型训练的要求，因此，本申请实施例提供的方法基于抛物行为所遵循的物理规律，自动生成大量与抛物行为对应的正训练样本。具体的，可以先在一个设定的范围内随机生成初始坐标及其对应的初始编号、初始速度和加速度，并且基于初始坐标、初始速度和加速度模拟生成抛物轨迹；然后，在时间上均匀采样或者不均匀采样，记录每个采样点的坐标，并为其配置对应的编号。考虑到真实抛物行为的抛物轨迹上的点并非理想的质点，因此，可以对每个采样点的坐标施加一定范围内的扰动。
根据先验知识，通过抛掷行为抛出的物体在摄像机画面中出现的时间不会超过t秒，相机的平均帧率为K，那么根据该相机拍摄的视频生成的目标轨迹图像中最多包括T＝t*K个与该运动目标对应的运动区域，相应地，应当在该抛掷物体的运动轨迹上采集T个采样点；因此，正训练样本中包括的采样点的数目应当不超过T。如此生成的正训练样本更贴合真实的抛物数据，理论上，通过这种方式生成的正训练样本能够覆盖各种抛物情况。
在一种可能的实现方式中，服务器可以通过以下方式构建上述负训练样本：通过抛物线检测算法，根据轨迹图像中对应于多个运动目标的多个运动区域及其各自对应的时间信息，检测运动目标的运动轨迹是否为抛物线；在运动目标的运动轨迹并非抛物线的情况下，在该运动目标的运动轨迹上采集多个运动像素点，基于这多个运动像素点各自在轨迹图像中的坐标、以及这多个运动像素点各自所属的运动区域对应的时间信息，构建负训练样本。
由于真实环境中大部分时间没有抛物行为，因此，可以基于摄像头采集的对应于其它运动目标的运动轨迹生成负训练样本。即服务器可以采用抛物线检测算法，根据基于摄像头拍摄的视频生成的轨迹图像中的多个运动区域及其各自对应的编号，检测该运动区域对应的运动目标的运动轨迹是否为抛物线；若不是，则可以在基于这多个运动区域拟合得到的运动轨迹上采集多个运动像素点，利用这多个运动像素点各自在轨迹图像中的坐标、以及这多个运动像素点各自所属的运动区域对应的编号，构建负训练样。
考虑到各种摄像头拍摄得到的图像的分辨率不尽相同，因此，通常需要对训练样本中运动像素点的坐标(x，y)进行归一化处理，归一化后的横坐标
Figure BDA0002950325830000241
归一化后的纵坐标
Figure BDA0002950325830000242
其中w和h分别为该运动像素点所属的轨迹图像的宽和高。然后构建一个1*2T大小的位置特征向量f，将编号为t的运动像素点进行归一化处理后得到的坐标，置于位置特征向量f中的第2t位和第2t+1位；对于运动特征向量的其它空白元素，可以利用0来填充。
步骤502：基于所述训练样本集，对待训练的抛物行为识别模型进行训练。
服务器获取到训练样本集后，可以利用该训练样本集中的正训练样本和负训练样本，对预先构建的、待训练的抛物行为识别模型进行训练。该抛物行为识别模型可以为任一种神经网络分类模型，例如，可以为包括三层感知机的分类网络模型。
具体训练时，服务器可以将基于训练样本中各个运动像素点各自对应的坐标和时间信息确定的位置特征向量，输入待训练的抛物行为识别模型；该抛物行为识别模型对所输入的位置特征向量进行分析处理后，输出预测置信度。进而，服务器可以基于该预测置信度和该训练样本对应的行为类型(即是否为抛物行为)，构建交叉熵损失函数，基于该交叉熵损失函数调整所训练的抛物行为识别模型中的模型参数。应理解，当训练样本为正训练样本时，该正训练样本对应的标准置信度应当为1，服务器可以基于抛物行为识别模型输出的预测置信度和1构建交叉熵损失函数；当训练样本为负训练样本时，该负训练样本对应的标准置信度应当为0，服务器可以基于抛物行为识别模型输出的预测置信度和0构建交叉熵损失函数。
步骤503：待所述抛物行为识别模型满足训练结束条件，确定完成对于所述抛物行为识别模型的训练。
在对抛物行为识别模型进行训练的过程中，服务器可以判断该抛物行为识别模型是否满足训练结束条件；若该抛物行为识别模型已满足训练结束条件，则可以确认完成对于该抛物行为识别模型的训练，可以将该抛物行为识别模型投入实际应用。
示例性的，服务器可以利用测试样本集对抛物行为识别模型的模型性能进行测试，若测试得到的测试结果表征该抛物行为识别模型的准确度达到预设的准确度阈值，则服务器可以认为该抛物行为识别模型已满足训练结束条件；或者，服务器也可以判断对于该抛物行为识别模型的迭代训练的次数是否达到预设训练次数阈值，若已达到，则也可以认为该抛物行为识别模型已满足训练结束条件。本申请在此不对上述训练结束条件做任何限定。
本申请实施例还提供了一种抛物行为检测装置。参见图6，图6为本申请实施例提供的抛物行为检测装置的结构示意图，如图6所示，该装置包括：
图像获取模块601，用于获取目标视频流中的目标图像；
运动区域确定模块602，用于检测所述目标图像中包括的运动区域，并且根据所述目标图像在所述目标视频流中的顺序，为所述运动区域配置对应的时间信息；
轨迹图像生成模块603，用于基于多帧所述目标图像中包括的对应于同一运动目标的所述运动区域，生成所述运动目标对应的目标轨迹图像；
运动轨迹拟合模块604，用于根据所述目标轨迹图像中各所述运动区域内的运动像素点，拟合所述运动目标对应的目标运动轨迹；
置信度确定模块605，通过抛物行为识别模型，根据所述目标运动轨迹上多个所述运动像素点各自对应的位置信息和时间信息，确定所述目标运动轨迹对应于抛物行为的置信度；所述运动像素点对应的时间信息为其所属的所述运动区域对应的时间信息；
抛物行为识别模块606，用于根据所述置信度，确定所述运动目标是否对应于抛物行为。
可选的，所述图像获取模块601具体用于：
对所述目标视频流中的图像进行预处理，得到所述图像对应的所述目标图像；所述预处理包括以下至少一种操作：将所述图像降采样至预设图像尺寸、对所述图像进行高斯模糊处理。
可选的，所述运动区域确定模块602具体用于：
将所述目标图像转换为对应的运动图像；所述运动图像中包括对应于所述运动目标的运动区域和对应于场景的场景区域，所述运动区域的像素值与所述场景区域的像素值不同；
根据所述运动图像对应的所述目标图像在所述目标视频流中的顺序，为所述运动图像中的所述运动区域配置对应的时间信息。
可选的，所述轨迹图像生成模块603具体用于：
将起始目标图像对应的所述运动图像作为初始的轨迹图像；
针对位于所述起始目标图像后的第i帧目标图像对应的所述运动图像，执行轨迹图像判别操作；所述i为大于或等于1的整数；所述轨迹图像判别操作包括：根据所述运动图像中的运动区域、以及上一被添加至所述轨迹图像中的运动区域，判断所述运动图像中的运动区域是否满足预设运动轨迹条件；
若所述运动图像中的运动区域满足所述预设运动轨迹条件，则将所述运动图像中的运动区域添加至所述轨迹图像中；
若所述运动图像中的运动区域不满足所述预设运动轨迹条件，则删除所述运动图像。
可选的，所述轨迹图像生成模块603还用于：
当所述轨迹图像中包括的所述运动区域所属的所述运动图像的数目达到预设数目时，删除所述轨迹图像中的起始运动区域；所述起始运动区域所属的运动图像对应的目标图像，相比所述轨迹图像中其它运动区域所属的运动图像对应的目标图像，在所述目标视频流中的时间顺序更靠前；
针对位于最后被添加至所述轨迹图像中的运动区域所属的运动图像后的运动图像，执行所述轨迹图像判别操作。
可选的，所述轨迹图像生成模块603具体用于：
当所述轨迹图像中包括的所述运动区域所属的所述运动图像的数目达到预设数目时，将所述轨迹图像作为所述目标轨迹图像。
可选的，所述轨迹图像生成模块603还用于：
获取运动时间图像；初始的所述运动时间图像的像素值与所述场景区域的像素值相同；
在将所述运动图像中的运动区域添加至所述轨迹图像中后，根据所述运动区域被添加至所述轨迹图像中的顺序，确定所述运动区域对应的参考像素值；根据所述运动图像中的所述运动区域的位置，在所述运动时间图像中的相应位置以所述参考像素值显示所述运动图像中的所述运动区域；
在将所述轨迹图像中的起始运动区域删除后，将所述运动时间图像中的所述起始运动区域删除，调整所述运动时间图像中各所述运动区域各自对应的参考像素值，得到对应的更新参考像素值，在所述运动时间图像中以各运动区域各自对应的更新参考像素值显示所述各运动区域；所述起始运动区域所属的运动图像对应的目标图像，相比所述轨迹图像中其它运动区域所属的运动图像对应的目标图像，在所述目标视频中的时间顺序更靠前。
可选的，所述装置还包括：
第一区域筛选模块，用于在所述将所述目标图像转换为对应的运动图像之后，针对所述运动图像中包括的每个所述运动区域，判断所述运动区域是否满足第一预设面积约束条件；若是，则保留所述运动区域；若否，则将所述运动区域的像素值调整为所述场景区域的像素值；
第二区域筛选模块，用于在所述基于多帧所述目标图像中包括的对应于同一运动目标的所述运动区域，生成所述运动目标对应的目标轨迹图像之后，针对所述目标轨迹图像中的每个所述运动区域，判断所述运动区域是否满足第二预设面积约束条件；若是，则保留所述运动区域；若否，则删除所述目标轨迹图像中的所述运动区域。
可选的，所述运动轨迹拟合模块604具体用于：
利用所述目标轨迹图像中各所述运动区域内的运动像素点，构成前景点集合；
对所述前景点集合中的前景点进行采样，得到样本集合；所述样本集合中的样本包括第一预设数目个前景点；
根据所述样本中包括的各所述前景点的位置，拟合所述样本对应的曲线；
根据所述前景点集合中各个所述前景点与所述样本对应的曲线之间的相对位置，确定所述样本对应的适应值；
根据所述样本集合中各所述样本各自对应的适应值，确定目标曲线作为所述目标运动轨迹。
可选的，所述运动轨迹拟合模块604具体用于：
满足预设截止条件时，将历次迭代中所对应的适应值最大的所述样本对应的曲线，作为所述目标曲线；
不满足所述预设截止条件时，按照从大到小的顺序对所述样本集合中各所述样本各自对应的适应值进行排序，确定排序靠前的第二预设数目个样本；对所述第二预设数目个样本中包括的所述前景点的采样概率进行更新；更新后的采样概率用于在下次迭代中对所述前景点集合中的前景点进行采样；
其中，所述预设截止条件包括：迭代次数达到第三预设数目次，或者连续迭代第四预设数目次确定出的适应值最大的样本一致。
可选的，所述前景点集合中各个所述前景点初始化的采样概率为1/X，所述X为所述前景点集合中包括的所述前景点的数量；所述运动轨迹拟合模块604具体用于：
将所述第二预设数目个样本中包括的所述前景点，作为采样概率待更新的目标前景点；
针对每个所述目标前景点，统计所述目标前景点在所述第二预设数目个样本中出现的总次数Y，将所述目标前景点当前的采样概率与Y/X之和作为所述目标前景点的更新后的采样概率。
可选的，所述置信度确定模块605具体用于：
针对所述目标运动轨迹上的所述运动像素点，根据所述运动像素点所属的所述运动区域在所述运动时间图像中的参考像素值，确定所述运动像素点对应的时间信息；
根据所述多个运动像素点各自在所述目标轨迹图像中的位置坐标以及所述多个运动像素点各自对应的时间信息，生成位置特征向量；
通过所述抛物行为识别模型，根据所述位置特征向量确定所述目标运动轨迹对应于抛物行为的置信度。
可选的，在确定根据第一目标轨迹图像确定的第一目标运动轨迹对应于抛物行为的置信度高于预设置信度阈值，以及确定根据第二目标轨迹图像确定的第二目标运动轨迹对应于抛物行为的置信度高于所述预设置信度阈值，且所述第一目标轨迹图像与所述第二目标轨迹图像之间的时间间隔小于预设时长的情况下，所述装置还包括：
相同抛物行为判断模块，用于基于预设采样标准，在所述第一目标运动轨迹上采集第一采样点组成第一采样点集，以及在所述第二目标运动轨迹上采集第二采样点组成第二采样点集；将所述第一采样点集和所述第二采样点集中对应于相同横坐标的第一采样点和第二采样点，组成采样点对；针对每个所述采样点对，确定其中所述第一采样点与所述第二采样点的纵坐标差值，作为所述采样点对对应的差值距离；计算各个所述采样点对各自对应的差值距离的平均值，作为平均距离；判断所述平均距离是否小于预设距离阈值，若是，则确定所述第一目标运动轨迹和所述第二目标运动轨迹对应于同一抛物行为。
本申请实施例提供的抛物行为检测装置，获取目标视频流中的目标图像；然后，检测该目标图像中包括的运动区域，并且根据该目标图像在所述目标视频流中的顺序，为该运动区域配置对应的时间信息；接着，基于多帧目标图像中包括的对应于同一运动目标的所述运动区域，生成该运动目标对应的目标轨迹图像；进而，根据目标轨迹图像中各运动区域内的运动像素点，拟合运动目标对应的目标运动轨迹；通过抛物行为识别模型，根据目标运动轨迹上多个运动像素点各自对应的位置信息和时间信息，确定该目标运动轨迹对应于抛物行为的置信度；此处运动像素点对应的时间信息为其所属的运动区域对应的时间信息；最终，根据目标运动轨迹对应于抛物行为的置信度，确定运动目标是否对应于抛物行为。上述抛物行为检测装置将目标摄像头拍摄的RGB图像作为数据源，捕捉RGB图像中的运动目标，并且确定运动目标的运动轨迹，进而根据运动目标的运动轨迹确定该运动目标是否对应于抛物行为；由于该抛物行为识别方法的时间复杂度和空间复杂度都比较低，因此能够保证抛物行为检测的实时性，有利于及时地检测出摄像头所拍摄的场景中是否存在抛物行为，进而便于及时地针对所发生的抛物行为报警。
本申请实施例还提供了一种用于检测抛物行为的设备，该设备具体可以是服务器或终端设备，下面将从硬件实体化的角度对本申请实施例提供的服务器和终端设备进行介绍。
参见图7，图7为本申请实施例提供的一种服务器700的结构示意图。该服务器700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(centralprocessing units，CPU)722(例如，一个或一个以上处理器)和存储器732，一个或一个以上存储应用程序742或数据744的存储介质730(例如一个或一个以上海量存储设备)。其中，存储器732和存储介质730可以是短暂存储或持久存储。存储在存储介质730的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器722可以设置为与存储介质730通信，在服务器700上执行存储介质730中的一系列指令操作。
服务器700还可以包括一个或一个以上电源726，一个或一个以上有线或无线网络接口750，一个或一个以上输入输出接口758，和/或，一个或一个以上操作系统741，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于该图7所示的服务器结构。
其中，CPU 722用于执行如下步骤：
获取目标视频流中的目标图像；
检测所述目标图像中包括的运动区域，并且根据所述目标图像在所述目标视频流中的顺序，为所述运动区域配置对应的时间信息；
基于多帧所述目标图像中包括的对应于同一运动目标的所述运动区域，生成所述运动目标对应的目标轨迹图像；
根据所述目标轨迹图像中各所述运动区域内的运动像素点，拟合所述运动目标对应的目标运动轨迹；
通过抛物行为识别模型，根据所述目标运动轨迹上多个所述运动像素点各自对应的位置信息和时间信息，确定所述目标运动轨迹对应于抛物行为的置信度；所述运动像素点对应的时间信息为其所属的所述运动区域对应的时间信息；
根据所述置信度，确定所述运动目标是否对应于抛物行为。
可选的，CPU 722还可以用于执行本申请实施例提供的抛物行为检测方法的任意一种实现方式的步骤。
参见图8，图8为本申请实施例提供的一种终端设备的结构示意图。为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端可以为包括计算机、平板电脑、个人数字助理(英文全称：Personal DigitalAssistant，英文缩写：PDA)等任意终端设备，以终端为计算机为例：
图8示出的是与本申请实施例提供的终端相关的计算机的部分结构的框图。参考图8，计算机包括：射频(英文全称：Radio Frequency，英文缩写：RF)电路810、存储器820、输入单元830、显示单元840、传感器850、音频电路860、无线保真(英文全称：wirelessfidelity，英文缩写：WiFi)模块870、处理器880、以及电源890等部件。本领域技术人员可以理解，图8中示出的计算机结构并不构成对计算机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
存储器820可用于存储软件程序以及模块，处理器880通过运行存储在存储器820的软件程序以及模块，从而执行计算机的各种功能应用以及数据处理。存储器820可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器820可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器880是计算机的控制中心，利用各种接口和线路连接整个计算机的各个部分，通过运行或执行存储在存储器820内的软件程序和/或模块，以及调用存储在存储器820内的数据，执行计算机的各种功能和处理数据，从而对计算机进行整体监控。可选的，处理器880可包括一个或多个处理单元；优选的，处理器880可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器880中。
在本申请实施例中，该终端所包括的处理器880还具有以下功能：
获取目标视频流中的目标图像；
检测所述目标图像中包括的运动区域，并且根据所述目标图像在所述目标视频流中的顺序，为所述运动区域配置对应的时间信息；
基于多帧所述目标图像中包括的对应于同一运动目标的所述运动区域，生成所述运动目标对应的目标轨迹图像；
根据所述目标轨迹图像中各所述运动区域内的运动像素点，拟合所述运动目标对应的目标运动轨迹；
通过抛物行为识别模型，根据所述目标运动轨迹上多个所述运动像素点各自对应的位置信息和时间信息，确定所述目标运动轨迹对应于抛物行为的置信度；所述运动像素点对应的时间信息为其所属的所述运动区域对应的时间信息；
根据所述置信度，确定所述运动目标是否对应于抛物行为。
可选的，所述处理器880还用于执行本申请实施例提供的抛物行为检测方法的任意一种实现方式的步骤。
本申请实施例还提供一种计算机可读存储介质，用于存储程序代码，该程序代码用于执行前述各个实施例所述的一种抛物行为检测方法中的任意一种实施方式。
本申请实施例还提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行前述各个实施例所述的一种抛物行为检测方法中的任意一种实施方式。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储计算机程序的介质。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (14)

1.一种抛物行为检测方法，其特征在于，所述方法包括：
获取目标视频流中的目标图像；
检测所述目标图像中包括的运动区域，并且根据所述目标图像在所述目标视频流中的顺序，为所述运动区域配置对应的时间信息；
基于多帧所述目标图像中包括的对应于同一运动目标的所述运动区域，生成所述运动目标对应的目标轨迹图像；
根据所述目标轨迹图像中各所述运动区域内的运动像素点，拟合所述运动目标对应的目标运动轨迹；
通过抛物行为识别模型，根据所述目标运动轨迹上多个所述运动像素点各自对应的位置信息和时间信息，确定所述目标运动轨迹对应于抛物行为的置信度；所述运动像素点对应的时间信息为其所属的所述运动区域对应的时间信息；
根据所述置信度，确定所述运动目标是否对应于抛物行为。
2.根据权利要求1所述的方法，其特征在于，所述获取目标视频流中的目标图像，包括：
对所述目标视频流中的图像进行预处理，得到所述图像对应的所述目标图像；所述预处理包括以下至少一种操作：将所述图像降采样至预设图像尺寸、对所述图像进行高斯模糊处理。
3.根据权利要求1所述的方法，其特征在于，所述检测所述目标图像中包括的运动区域，并且根据所述目标图像在所述目标视频流中的顺序，为所述运动区域配置对应的时间信息，包括：
将所述目标图像转换为对应的运动图像；所述运动图像中包括对应于所述运动目标的运动区域和对应于场景的场景区域，所述运动区域的像素值与所述场景区域的像素值不同；
根据所述运动图像对应的所述目标图像在所述目标视频流中的顺序，为所述运动图像中的所述运动区域配置对应的时间信息。
4.根据权利要求3所述的方法，其特征在于，所述基于多帧所述目标图像中包括的对应于同一运动目标的所述运动区域，生成所述运动目标对应的目标轨迹图像，包括：
将起始目标图像对应的所述运动图像作为初始的轨迹图像；
针对位于所述起始目标图像后的第i帧目标图像对应的所述运动图像，执行轨迹图像判别操作；所述i为大于或等于1的整数；所述轨迹图像判别操作包括：根据所述运动图像中的运动区域、以及上一被添加至所述轨迹图像中的运动区域，判断所述运动图像中的运动区域是否满足预设运动轨迹条件；
若所述运动图像中的运动区域满足所述预设运动轨迹条件，则将所述运动图像中的运动区域添加至所述轨迹图像中；
若所述运动图像中的运动区域不满足所述预设运动轨迹条件，则删除所述运动图像。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
当所述轨迹图像中包括的所述运动区域所属的所述运动图像的数目达到预设数目时，删除所述轨迹图像中的起始运动区域；所述起始运动区域所属的运动图像对应的目标图像，相比所述轨迹图像中其它运动区域所属的运动图像对应的目标图像，在所述目标视频流中的时间顺序更靠前；
针对位于最后被添加至所述轨迹图像中的运动区域所属的运动图像后的运动图像，执行所述轨迹图像判别操作。
6.根据权利要求4或5所述的方法，其特征在于，所述基于多帧所述目标图像中包括的对应于同一运动目标的所述运动区域，生成所述运动目标对应的目标轨迹图像，包括：
当所述轨迹图像中包括的所述运动区域所属的所述运动图像的数目达到预设数目时，将所述轨迹图像作为所述目标轨迹图像。
7.根据权利要求4至6任一项所述的方法，其特征在于，所述方法还包括：
获取运动时间图像；初始的所述运动时间图像的像素值与所述场景区域的像素值相同；
在将所述运动图像中的运动区域添加至所述轨迹图像中后，根据所述运动区域被添加至所述轨迹图像中的顺序，确定所述运动区域对应的参考像素值；根据所述运动图像中的所述运动区域的位置，在所述运动时间图像中的相应位置以所述参考像素值显示所述运动图像中的所述运动区域；
在将所述轨迹图像中的起始运动区域删除后，将所述运动时间图像中的所述起始运动区域删除，调整所述运动时间图像中各所述运动区域各自对应的参考像素值，得到对应的更新参考像素值，在所述运动时间图像中以各运动区域各自对应的更新参考像素值显示所述各运动区域；所述起始运动区域所属的运动图像对应的目标图像，相比所述轨迹图像中其它运动区域所属的运动图像对应的目标图像，在所述目标视频中的时间顺序更靠前。
8.根据权利要求3所述的方法，其特征在于，在所述将所述目标图像转换为对应的运动图像之后，所述方法还包括：
针对所述运动图像中包括的每个所述运动区域，判断所述运动区域是否满足第一预设面积约束条件；若是，则保留所述运动区域；若否，则将所述运动区域的像素值调整为所述场景区域的像素值；
在所述基于多帧所述目标图像中包括的对应于同一运动目标的所述运动区域，生成所述运动目标对应的目标轨迹图像之后，所述方法还包括：
针对所述目标轨迹图像中的每个所述运动区域，判断所述运动区域是否满足第二预设面积约束条件；若是，则保留所述运动区域；若否，则删除所述目标轨迹图像中的所述运动区域。
9.根据权利要求1所述的方法，其特征在于，所述根据所述目标轨迹图像中各所述运动区域内的运动像素点，拟合所述运动目标对应的目标运动轨迹，包括：
利用所述目标轨迹图像中各所述运动区域内的运动像素点，构成前景点集合；
对所述前景点集合中的前景点进行采样，得到样本集合；所述样本集合中的样本包括第一预设数目个前景点；
根据所述样本中包括的各所述前景点的位置，拟合所述样本对应的曲线；
根据所述前景点集合中各个所述前景点与所述样本对应的曲线之间的相对位置，确定所述样本对应的适应值；
根据所述样本集合中各所述样本各自对应的适应值，确定目标曲线作为所述目标运动轨迹。
10.根据权利要求9所述的方法，其特征在于，所述根据所述样本集合中各所述样本各自对应的适应值，确定目标曲线作为所述目标运动轨迹，包括：
满足预设截止条件时，将历次迭代中所对应的适应值最大的所述样本对应的曲线，作为所述目标曲线；
不满足所述预设截止条件时，按照从大到小的顺序对所述样本集合中各所述样本各自对应的适应值进行排序，确定排序靠前的第二预设数目个样本；对所述第二预设数目个样本中包括的所述前景点的采样概率进行更新；更新后的采样概率用于在下次迭代中对所述前景点集合中的前景点进行采样；
其中，所述预设截止条件包括：迭代次数达到第三预设数目次，或者连续迭代第四预设数目次确定出的适应值最大的样本一致。
11.根据权利要求10所述的方法，其特征在于，所述前景点集合中各个所述前景点初始化的采样概率为1/X，所述X为所述前景点集合中包括的所述前景点的数量；所述对所述第二预设数目个样本中包括的所述前景点的采样概率进行更新，包括：
将所述第二预设数目个样本中包括的所述前景点，作为采样概率待更新的目标前景点；
针对每个所述目标前景点，统计所述目标前景点在所述第二预设数目个样本中出现的总次数Y，将所述目标前景点当前的采样概率与Y/X之和作为所述目标前景点的更新后的采样概率。
12.根据权利要求7所述的方法，其特征在于，所述通过抛物行为识别模型，根据所述目标运动轨迹上多个所述运动像素点各自对应的位置信息和时间信息，确定所述目标运动轨迹对应于抛物行为的置信度，包括：
针对所述目标运动轨迹上的所述运动像素点，根据所述运动像素点所属的所述运动区域在所述运动时间图像中的参考像素值，确定所述运动像素点对应的时间信息；
根据所述多个运动像素点各自在所述目标轨迹图像中的位置坐标以及所述多个运动像素点各自对应的时间信息，生成位置特征向量；
通过所述抛物行为识别模型，根据所述位置特征向量确定所述目标运动轨迹对应于抛物行为的置信度。
13.根据权利要求1所述的方法，其特征在于，在确定根据第一目标轨迹图像确定的第一目标运动轨迹对应于抛物行为的置信度高于预设置信度阈值，以及确定根据第二目标轨迹图像确定的第二目标运动轨迹对应于抛物行为的置信度高于所述预设置信度阈值，且所述第一目标轨迹图像与所述第二目标轨迹图像之间的时间间隔小于预设时长的情况下，所述方法还包括：
基于预设采样标准，在所述第一目标运动轨迹上采集第一采样点组成第一采样点集，以及在所述第二目标运动轨迹上采集第二采样点组成第二采样点集；
将所述第一采样点集和所述第二采样点集中对应于相同横坐标的第一采样点和第二采样点，组成采样点对；
针对每个所述采样点对，确定其中所述第一采样点与所述第二采样点的纵坐标差值，作为所述采样点对对应的差值距离；
计算各个所述采样点对各自对应的差值距离的平均值，作为平均距离；
判断所述平均距离是否小于预设距离阈值，若是，则确定所述第一目标运动轨迹和所述第二目标运动轨迹对应于同一抛物行为。
14.一种抛物行为检测装置，其特征在于，所述装置包括：
图像获取模块，用于获取目标视频流中的目标图像；
运动区域确定模块，用于检测所述目标图像中包括的运动区域，并且根据所述目标图像在所述目标视频流中的顺序，为所述运动区域配置对应的时间信息；
轨迹图像生成模块，用于基于多帧所述目标图像中包括的对应于同一运动目标的所述运动区域，生成所述运动目标对应的目标轨迹图像；
运动轨迹拟合模块，用于根据所述目标轨迹图像中各所述运动区域内的运动像素点，拟合所述运动目标对应的目标运动轨迹；
置信度确定模块，通过抛物行为识别模型，根据所述目标运动轨迹上多个所述运动像素点各自对应的位置信息和时间信息，确定所述目标运动轨迹对应于抛物行为的置信度；所述运动像素点对应的时间信息为其所属的所述运动区域对应的时间信息；
抛物行为识别模块，用于根据所述置信度，确定所述运动目标是否对应于抛物行为。
CN202110205466.5A 2021-02-24 2021-02-24 抛物行为检测方法及装置 Pending CN112926444A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110205466.5A CN112926444A (zh) 2021-02-24 2021-02-24 抛物行为检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110205466.5A CN112926444A (zh) 2021-02-24 2021-02-24 抛物行为检测方法及装置

Publications (1)

Publication Number Publication Date
CN112926444A true CN112926444A (zh) 2021-06-08

Family

ID=76170628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110205466.5A Pending CN112926444A (zh) 2021-02-24 2021-02-24 抛物行为检测方法及装置

Country Status (1)

Country Link
CN (1) CN112926444A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674315A (zh) * 2021-07-21 2021-11-19 浙江大华技术股份有限公司 一种物体检测方法、设备及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107290720A (zh) * 2017-06-21 2017-10-24 中国科学院国家空间科学中心 一种基于被动微波干涉成像的运动点目标的检测方法
CN111553274A (zh) * 2020-04-28 2020-08-18 青岛聚好联科技有限公司 一种基于轨迹分析的高空抛物检测方法及装置
CN112258573A (zh) * 2020-10-16 2021-01-22 腾讯科技（深圳）有限公司 抛出位置获取方法、装置、计算机设备及存储介质
CN112270253A (zh) * 2020-10-26 2021-01-26 深圳英飞拓科技股份有限公司 一种高空抛物的检测方法及装置
CN112308000A (zh) * 2020-11-06 2021-02-02 安徽清新互联信息科技有限公司 一种基于时空信息的高空抛物检测方法
CN112365524A (zh) * 2020-11-10 2021-02-12 宁波博登智能科技有限责任公司 一种基于时序图像的高空抛物实时报警系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107290720A (zh) * 2017-06-21 2017-10-24 中国科学院国家空间科学中心 一种基于被动微波干涉成像的运动点目标的检测方法
CN111553274A (zh) * 2020-04-28 2020-08-18 青岛聚好联科技有限公司 一种基于轨迹分析的高空抛物检测方法及装置
CN112258573A (zh) * 2020-10-16 2021-01-22 腾讯科技（深圳）有限公司 抛出位置获取方法、装置、计算机设备及存储介质
CN112270253A (zh) * 2020-10-26 2021-01-26 深圳英飞拓科技股份有限公司 一种高空抛物的检测方法及装置
CN112308000A (zh) * 2020-11-06 2021-02-02 安徽清新互联信息科技有限公司 一种基于时空信息的高空抛物检测方法
CN112365524A (zh) * 2020-11-10 2021-02-12 宁波博登智能科技有限责任公司 一种基于时序图像的高空抛物实时报警系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674315A (zh) * 2021-07-21 2021-11-19 浙江大华技术股份有限公司 一种物体检测方法、设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
US20190304102A1 (en) Memory efficient blob based object classification in video analytics
US20190130188A1 (en) Object classification in a video analytics system
WO2021184894A1 (zh) 一种去模糊的人脸识别方法、系统和一种巡检机器人
CN112132119B (zh) 客流统计方法、装置、电子设备和存储介质
US20190034734A1 (en) Object classification using machine learning and object tracking
CN103971386B (zh) 一种动态背景场景下的前景检测方法
US20180144476A1 (en) Cascaded-time-scale background modeling
CN108629299B (zh) 一种结合人脸匹配的长时间多目标跟踪方法及系统
AU2007259040B2 (en) Improvements relating to target tracking
CN108230291B (zh) 物体识别系统训练方法、物体识别方法、装置和电子设备
US8922674B2 (en) Method and system for facilitating color balance synchronization between a plurality of video cameras and for obtaining object tracking between two or more video cameras
CN111062273B (zh) 一种遗留物品追溯检测与报警方法
KR20160136391A (ko) 정보처리장치 및 정보처리방법
CN110233971B (zh) 一种拍摄方法及终端、计算机可读存储介质
CN104091156A (zh) 一种身份识别方法及装置
WO2018031096A1 (en) Methods and systems of performing blob filtering in video analytics
WO2023273011A9 (zh) 高空抛物检测方法和装置、设备，及计算机存储介质
CN111062974A (zh) 一种使用去除鬼影对前景目标提取的方法及系统
CN114639075B (zh) 一种高空抛物坠物的识别方法、系统及计算机可读介质
CN109255360B (zh) 一种目标分类方法、装置及系统
CN106612385B (zh) 视频检测方法和视频检测装置
CN107330414A (zh) 暴力行为监控方法
WO2023142912A1 (zh) 遗留物体的检测方法、装置及存储介质
TWI512685B (zh) 移動物體偵測方法及其裝置
Apewokin et al. Multimodal mean adaptive backgrounding for embedded real-time video surveillance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination