CN114612850A - 高空抛物检测方法、电子设备和存储介质 - Google Patents

高空抛物检测方法、电子设备和存储介质 Download PDF

Info

Publication number
CN114612850A
CN114612850A CN202011425503.5A CN202011425503A CN114612850A CN 114612850 A CN114612850 A CN 114612850A CN 202011425503 A CN202011425503 A CN 202011425503A CN 114612850 A CN114612850 A CN 114612850A
Authority
CN
China
Prior art keywords
moving object
parabolic
position information
video stream
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011425503.5A
Other languages
English (en)
Inventor
杨龙超
庞磊
赵丛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gongdadi Innovation Technology Shenzhen Co ltd
Original Assignee
Gongdadi Innovation Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gongdadi Innovation Technology Shenzhen Co ltd filed Critical Gongdadi Innovation Technology Shenzhen Co ltd
Priority to CN202011425503.5A priority Critical patent/CN114612850A/zh
Publication of CN114612850A publication Critical patent/CN114612850A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种高空抛物检测方法、电子设备和存储介质。方法包括：获取预设时长内待监控区域的监控视频流；基于预设的前景检测算法，分别检测出运动物体在所述监控视频流的每相邻两帧图像中的位置信息；根据所述运动物体在所述监控视频流的所有相邻两帧图像中的所述位置信息，确定所述运动物体在所述预设时长内的位移信息；将所述位移信息和所述监控视频流输入预先训练完成的抛物轨迹检测模型进行识别，得到所述运动物体的下落轨迹；基于所述运动物体的下落轨迹，确定所述运动物体的抛出位置信息。通过将运动物体的位移信息和监控视频流同时输入抛物检测模型可以实现高空抛物的检测，能够有效避免高空抛物造成的伤害。

Description

高空抛物检测方法、电子设备和存储介质
技术领域
本申请涉及目标检测技术领域，尤其涉及一种高空抛物检测方法、电子设备和存储介质。
背景技术
高空抛物是指将杂物从大厦的窗户或天台扔出的行为。由于高空抛物轻则会造成环境污染，重则会造成伤人乃至致命的后果。因此，为了有效避免高空抛物造成的伤害，需要快速准确地检测出高空抛物并进行预警。因此亟需提供一种高空抛物检测方法。
发明内容
本申请提供了一种高空抛物检测方法、装置、设备和存储介质，旨在提高高空抛物检测过程中的稳定性及准确率。
第一方面，本申请实施例提供了一种高空抛物检测方法，包括：
获取预设时长内待监控区域的监控视频流；
基于预设的前景检测算法，分别检测出运动物体在所述监控视频流的每相邻两帧图像中的位置信息；
根据所述运动物体在所述监控视频流的所有相邻两帧图像中的所述位置信息，确定所述运动物体在所述预设时长内的位移信息；
将所述位移信息和所述监控视频流输入预先训练完成的抛物轨迹检测模型进行识别，得到所述运动物体的下落轨迹；
基于所述运动物体的下落轨迹，确定所述运动物体的抛出位置信息。
第二方面，本申请实施例提供了一种电子设备，包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如上述第一方面所述的高空抛物检测方法。
第三方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现上述第一方面所述的高空抛物检测方法。
本申请实施例提供了一种高空抛物检测方法、设备和存储介质，通过前景检测算法分别检测出运动物体在预设时长内待监控区域的监控视频流中每相邻两帧图像中的位置信息，进而根据运动物体在所有相邻两帧图像中的位置信息，可以确定出运动物体在所述预设时长内的位移信息；进一步将所述位移信息和所述监控视频流同时输入抛物轨迹检测模型，可以快速准确地得到所述运动物体的下落轨迹，并根据所述运动物体的下落轨迹确定出所述运动物体的抛出位置信息，在提高高空抛物的检测准确性的同时，能够有效避免高空抛物造成的伤害。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请实施例的公开内容。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A是本申请实施例提供的高空抛物检测系统的示意图；
图1B是高空抛物检测方法的一应用场景示意图；
图2本申请实施例提供的一种高空抛物检测方法的一实现流程示意图；
图3是监控视频流中任意相邻两帧图像上运动物体的位置信息示意图；
图4是监控视频流中运动物体的位移信息示意图；
图5A至图5D是卷积神经网络模型的结构示意图；
图6是监控视频流中运动物体的抛物轨迹示意图；
图7是本申请实施例提供的一种高空抛物检测方法的另一流程示意图；
图8是本申请实施例提供的电子设备的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
在说明本申请实施例提供的高空抛物检测方法之前，对现有的高空抛物检测方法以及高空抛物的检测原理进行示例性的说明。
首先，现有技术中常见的高空抛物检测方法有基于视觉计算的检测方法和基于人工智能(AI)技术的检测方法。其中，基于视觉计算的检测方法是将采集的图像进行颜色变换之后，进行背景建模以确定出图像中的目标物体所在的位置区域，利用目标物体所在的位置区域拟合曲线的方法确定抛物曲线。这种基于图像背景建模进行目标物体位置区域识别的方法太过单一，对前景图像中包含自然现象中存在的如树叶晃动、雨雪等引起的自然空中物体无法进行准确地识别，存在稳定性差，准确率低的问题。而现有的基于人工智能(AI)技术的目标检测方法主要是检测视频序列中是否存在目标物体坠落，无法准确地判断出目标物体是否为抛出物以及抛出位置，且对于细小的快速抛落物不容易检测到。因此，现有技术中对高空抛物的检测方法存在稳定性差及准确率低的问题。而本发明实施例提供的高空抛物检测方法首先是基于前景检测算法得到运动物体的位移信息之后，将运动物体的位移信息和监控视频流结合起来，输入至抛物轨迹检测模型进行识别，能够快速准确地得到运动物体的下落轨迹以及抛出位置信息，进而能够有效避免高空抛物造成的伤害。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参阅图1A所示，图1A是本申请实施例提供的高空抛物检测系统的示意图。本申请实施例提供的高空抛物检测方法均适用于该高空抛物检测系统。由图1A可知，本申请实施例提供的高空抛物检测系统100包括电子设备101和监控设备102。电子设备101可以是终端设备或服务器；其中，终端设备可以是手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备；服务器可以为独立的服务器，也可以为服务器集群。监控设备102可以是摄像机、监视器、视频切换器、录像机等监控设备也可以是携带有摄像头的各种终端设备。
在本申请的实施例中，监控设备102用于获取预设时长内待监控区域的监控视频流，并将所述监控视频流传送至电子设备101；电子设备101根据监控设备102上传的监控视频流确定运动物体的运动轨迹。
示例性地，如图1B所示，图1B是高空抛物检测方法的一具体应用场景示意图。在本实施例中，待监控区域110为预先确定的办公大楼包含窗户的一侧，在所述待监控区域110的附近设置有监控设备102，所述监控设备102用于实时拍摄待监控区域的图像帧，以得到监控视频流；所述监控设备102通过网络将所述监控视频流传输至电子设备101，例如，如图1B所示，在本实施例中，监控设备102为监控摄像头，电子设备101为服务器。电子设备101接收到监控设备102上传的监控视频流后，通过前景检测算法分别检测出运动物体在预设时长内待监控区域的监控视频流中每相邻两帧图像中的位置信息，进而根据运动物体在所有相邻两帧图像中的位置信息，可以确定出运动物体在所述预设时长内的位移信息；进一步将所述位移信息和所述监控视频流同时输入抛物轨迹检测模型，可以快速准确地得到所述运动物体的下落轨迹，并根据所述运动物体的下落轨迹确定出所述运动物体的抛出位置信息，实现高空抛物的检测，能够有效避免高空抛物造成的伤害。
需要说明的是，本申请实施例提供的高空抛物检测方法不仅仅适用于图1B所示的场景。在所有涉及到高空物体检测的应用场景中，例如施工现场坠物检测，以及所有类似于高空物体检测的应用场景中，例如家、办公室或者商场内对非法入室(以入室对象为目标移动对象，确定该目标移动对象的移动轨迹)的检测、对钻井平台或储油罐等与地面有一定高度空间的大型机械系统的零部件脱落或者防止被盗的检测等等。只要是涉及到对运动对象的移动轨迹确定的各种应用场景下，均可采用本申请提供的高空抛物检测方法进行运动对象轨迹的确定。
请参阅图2，图2是本申请实施例提供的一种高空抛物检测方法的一实现流程示意图。所述高空抛物检测方法可以应用在图1A所示的电子设备中。详述如下：
S210，获取预设时长内待监控区域的监控视频流。
在本申请的实施例中，所述预设时长可以是根据待监控区域的人们生活习惯预先自定义的时长。示例性地，假设待监控区域为一办公大楼，该办公大楼内的办公人员通常在午饭之后，会在窗户位置休闲，对应可能会从窗户向外抛出一些杂物。在该待监控区域，所述预设时长可以为午饭后半小时或者1小时，例如所述预设时长为中午12点至12点半或者中午12点至1点等。
此外，所述监控视频流可以由监控设备，例如监控摄像头拍摄得到。所述监控视频流包括多帧图像。
S220，基于预设的前景检测算法，分别检测出运动物体在所述监控视频流的每相邻两帧图像中的位置信息。
在本申请的一些实施例中，预设的前景检测算法为帧差法，对于监控设备，如监控摄像头输入的监控视频流，首先利用简单高效的帧差法进行前景识别，这样可以很快扑捉到监控视频流中前景图上运动物体的位置信息，如图3所示，图3是监控视频流中任意相邻两帧图像上运动物体的位置信息示意图。具体地，图3中310代表的是任意相邻两帧图像上运动物体的位置信息。需要说明的是，帧差法的基本原理就是在视频流的相邻两帧图像间根据像素值的时间差分，通过闭值化来提取出运动物体在相邻图像中的位置信息。
此外，帧差法包括将相邻两帧图像中各个像素点对应的像素值相减得到差分图像，然后对差分图像进行二值化，在环境亮度变化不大的情况下，如果对应像素点的像素值变化小于预先确定的像素阈值，则认为该像素点为背景图像的像素点；如果对应像素点的像素值变化大于或等于预先确定的像素阈值，则认为该变化是由运动物体引起的，对应像素点为运动物体的位置。例如，针对任意相邻两帧图像，假设当前帧在像素点(x，y)处的像素值为It(x，y)，上一帧在像素点(x，y)处的像素值为It-1(x，y)，用当前帧在像素点(x，y)处的像素值It(x，y)减去上一帧在像素点(x，y)处的像素值It-1(x，y)，得到差分图像在像素点(x，y)处的像素变化值为△t(x，y)；对应对差分图像进行二值化处理的过程包括：若差分图像在像素点(x，y)处对应的像素变化值△t(x，y)小于预先确定的像素阈值T，则认为该像素点(x，y)为背景图像的像素点，对应取像素值0；若差分图像在像素点(x，y)处对应的像素变化值△t(x，y)大于或等于预先确定的像素阈值T，则认为该像素点(x，y)为运动物体引起的像素点，对应取像素值1。二值化图像中所有像素值为1的点构成运动物体的位置信息，对应也称为前景像素点。
此外，在本申请的其它一些实施例中，预设的前景检测算法还可以是背景建模法或光流法。其中，背景建模法又包括平均背景法、前景建模法、背景非参数估计法等。示例性地，假设在一可选的实现方式中，预设的前景检测算法为背景建模法，所述背景建模法具体为混合高斯建模法GMM。具体地，通过混合高斯建模法GMM确定监控视频流中运动物体的位置信息的过程包括：使用混合高斯分布模型来表征图像帧中每一个像素点的特征，当获取新的图像帧时，实时更新混合高斯分布模型，某一时刻选取混合高斯模型中的一个子集表征当前背景，如果当前图像帧的某个像素点与混合高斯模型的背景子集匹配，则判定为背景图像对应的像素点，否则则判定为前景图像的像素点。
在另一可选的实现方式中，假设预设的前景检测算法为光流法，具体地，通过光流法确定监控视频流中运动物体的位置信息的基本原理是：针对监控视频流中的图像帧，假设相邻帧之间的亮度恒定、相邻帧之间的取帧时间连续且同一子图像的像素点之间具有相同的运动；对该图像帧中的每个像素点赋予一个速度矢量，形成一个运动矢量场；在任一特定时刻，根据各个像素点的速度矢量特征，对图像进行动态分析；如果图像中没有运动物体，则光流矢量在整个图像区域是连续变化的；如果图像中有运动物体，则运动物体和背景之间存在着相对运动；根据运动物体与背景之间的速度矢量差，确定运动物体在图像中的位置信息；其中，光流矢量指的是运动矢量场在二维图像平面上的投影。
其中，根据各个像素点的速度矢量特征，对图像进行动态分析的算法包括基于匹配的算法、基于梯度的算法、基于频域的算法、基于相位的算法以及神经动力学算法等。具体地，基于匹配的算法是在图像序列中的各图像之间，搜索出对应的图像区域中光流矢量场与运动矢量场最佳拟合的位移过程；基于梯度的算法是建立在图像亮度为常数的假设基础之上的，利用序列图像亮度的时空梯度函数来计算光流矢量场与运动矢量场之间的速度矢量差的过程；基于频域的算法对输入的图像进行时空滤波处理，对时间和空间进行整合的过程；基于相位的算法是根据图像帧中物体的相位信息计算光流场的过程；基于神经动力学算法是利用神经网络建立的视觉运动感知的神经动力学模型进行光流矢量场与运动矢量场之间速度矢量场的计算。具体地，对图像进行动态分析的算法可详见现有已公开的各种算法，在此对算法不做具体限定。
在本申请实施例中，将这些由运动物体对应的像素位置区域标记为前景像素，利用标记的前景像素区域可以确定运动物体在每相邻两帧图像中的位置信息。由于相邻两帧图像间的时间间隔非常短，用前一帧图像作为当前帧的背景模型具有较好的实时性，其背景不积累，且更新速度快、算法简单、计算量小。
示例性地，基于预设的前景检测算法，分别检测出运动物体在所述监控视频流的每相邻两帧图像中的位置信息，可以包括：针对所述监控视频流中任意相邻两帧图像，将所述相邻两帧图像中相互对应的各个像素点的像素值相减，得到所述相邻两帧图像的差分图像；对所述差分图像进行二值化处理，得到二值化图像；根据所述二值化图像中各个像素点的像素值，确定所述运动物体在所述相邻两帧图像中的位置信息。
此外，若所述二值化图像中有像素点的像素值大于预设的像素阈值，则确定所述像素点对应的位置信息为所述运动物体的位置信息；若所述二值化图像中有像素点的像素值小于或等于预设的像素阈值，则确定所述像素点对应的位置信息为背景物的位置信息。
S230，根据所述运动物体在所述监控视频流的所有相邻两帧图像中的所述位置信息，确定所述运动物体在所述预设时长内的位移信息。
在本实施例的上述步骤S220中，通过对相邻两帧图像进行前景识别会识别到运动物体在相邻两帧图像中的位置信息，但是没有一段完整的位移信息，基于单独的位置信息很容易被一些飞虫、雨雪、树叶等干扰，产生大量的错误报警，可能会浪费人力去复查。因此在该步骤中，进一步根据所述运动物体在所述监控视频流的所有相邻两帧图像中的所述位置信息，确定所述运动物体在所述预设时长内的位移信息。
示例性地，根据所述运动物体在所述监控视频流的所有相邻两帧图像中的所述位置信息，确定所述运动物体在所述预设时长内的位移信息，可以包括：将所述运动物体在所述监控视频流中所有相邻两帧图像中的所述位置信息进行叠加，得到所述运动物体在预设时长内的位移信息。
具体地，通过设置检测时间窗口，将每个检测时间窗口内经前景识别得到的位置信息进行累积建模，得到运动物体的位移信息。示例性地，在本申请的实施例中，设置有多个批次，例如N批次的检测时间窗口，每批次的检测时间窗口代表的是每次统计数据的间隔时间，假设为t，则N个批次的检测时间窗口对应的检测窗口时长为N×t，在根据检测时间窗口将每个检测时间窗口内经前景识别得到的位置信息进行累积建模的过程中，需要预设单次滑动步长，在本申请的实施例中，假设每次统计数据的间隔时间为预设的单次滑动步长的整数倍，因此总的检测窗口时长同样为总的滑动步长的整数倍。具体地，一个单次滑动步长触发一次计算，一个检测时间窗口触发一次数据合并；例如单次滑动步长为2秒，单次统计数据的间隔时间4秒(单次滑动步长2秒的2倍)，则在单次统计数据的间隔时间内(每批次的检测时间窗口内)执行了2次滑动，将2次滑动的每个步长内的经前景识别得到的位置信息进行累积，直至所有检测时间窗口(检测窗口时长)内各个滑动步长内的经前景识别得到的位置信息进行累积完毕，得到运动物体的位移信息。
可以理解地，在部分批次的检测时间窗口内，有位置信息重复累加的现象，在本申请的实施例中，在进行各批次位置信息累加过程中，将重复累加的位置信息可以删除。
示例性地，如图4所示，图4是监控视频流中运动物体的位移信息示意图。由图4可知，将每个检测时间窗口内经前景识别得到的位置信息进行累积建模之后，可形成运动物体的一段位移信息，如图4中的410。可以理解地，随着视频流的不断更新，前景识别的结果也不断累积更新到所述位移信息中。
S240，将所述位移信息和所述监控视频流输入预先训练完成的抛物轨迹检测模型进行识别，得到所述运动物体的下落轨迹。
在本申请的一些实施例中，所述预先训练完成的抛物轨迹检测模型为卷积神经网络模型，所述卷积神经网络模型包括四个输入通道，所述四个输入通道分别用于输入所述运动物体在预设时长内的位移信息，所述监控视频流中每帧图像的R通道，所述监控视频流中每帧图像的G通道，以及所述监控视频流中每帧图像的B通道；所述卷积神经网络模型的输出为运动物体在所述预设时长内的下落轨迹。
示例性地，如图5A所示，所述卷积神经网络模型500的四个输入通道分别为第一输入通道510、第二输入通道520、第三输入通道530和第四输入通道540；其中，所述第一输入通道(运动物体的位移信息输入通道)510用于输入所述运动物体在预设时长内的位移信息，所述第二输入通道(R输入通道)520用于输入所述监控视频流中每帧图像的R通道，所述第三输入通道(G输入通道)530用于输入所述监控视频流中每帧图像的G通道，所述第四输入通道(B输入通道)540用于输入所述监控视频流中每帧图像的B通道。可以理解地，所述第一输入通道510、所述第二输入通道520、所述第三输入通道530以及所述第四输入通道540仅为方便描述各通道，并不代表各通道之间的排列顺序，各个通道之间可以按照任意顺序进行排列，在此不做具体限定，且各个通道可以按照任意组合的方式实现上述输入功能。例如可以通过第一输入通道510输入RGB图像帧中的R通道、G通道或者B通道，也可以通过第二输入通道520输入运动物体的位移信息，或者以第一输入通道510输入运动物体的位移信息与RGB图像帧中的R通道或者其它通道的组合等。也就是说，在本申请的实施例中，四个输入通道可以按照任意顺序排列，且可以按照任意组合形式输入所述运动物体的位移信息以及RGB图像中的三通道。
此外，所述位移信息为根据前景检测算法得到运动物体的移动信息，在本实施例中，将所述位移信息连同监控视频流中一同输入到卷积神经网络模型中进行检测；其中，所述位移信息能够提供抛物轨迹有利于卷积神经网络检测算法来识别确定的位置信息，所述监控视频流包括监控区域的RGB图像，所述RGB图像会提供真实世界的物体色彩，有助于卷积神经网络更好的区分树叶、雨雪等干扰物和高空坠物。此外，本申请实施例提供的卷积神经网络的四个输入通道(第一输入通道、第二输入通道、第三输入通道以及第四输入通道)可以分别为R、G、B和位移信息的四个输入通道，不同于传统的R、G、B三个通道的神经网络目标检测模型，四通道输入的卷积神经网络模型可以将对高空抛物检测的准确率提升到99％以上，并且不会带来卷积神经网络算法计算量的提升。通过本申请实施例提供的卷积神经网络模型，可以识别出当前的高空抛物在预设时长内的下落轨迹，示例性地，如图6所示的高空抛物在预设时长内的下落轨迹610。可以理解地，所示卷积神经网络模型一旦检测到有高空抛物，可以及时发出警报进行提醒和预防。
需要说明的是，本申请实施例提供的卷积神经网络模型500的结构不限于图5A所示的四输入通道卷积神经网络模型。可选地，所述卷积神经网络模型500的输入可以是用预设时长内运动物体的位移信息(前景图像信息)替代每帧图像中的R、G或者B中的任一通道，由在预设时长内运动物体的位移信息与每帧图像中的R与G通道、或者R与B通道、或者R与C通道、或者G与B通道作为卷积神经模型的输入。例如，如图5B所示，用预设时长内运动物体的位移信息替代R通道，与G通道和B通道一起作为卷积神经网络模型的输入。这样可以在不改变卷积神经网络模型的输入通道的前提下，高效的获取运动物体的运动轨迹，这是由于在预设时长内运动物体的位移信息(前景图像)本身包含有物体在预设时长内的运动轨迹信息，因此，用预设时长内运动物体的位移信息替代了R、G、B中的任一通道，也可以实现对运动物体运动轨迹的识别。
此外，如图5C所示，可以将预设时长内运动物体的位移信息直接作为卷积神经网络模型500的输入，即卷积神经网络模型可以是单通道输入的卷积神经网络模型，因为在预设时长内运动物体的位移信息(前景图像)已经包含了物体的运动轨迹，所以在高空抛物检测时通过单通道输入的卷积神经网络模型也能够监测节点出物体的运动轨迹。
可以理解地，所述卷积神经网络模型500还可以是双输入通道的卷积神经网络模型，即可以用预设时长内运动物体的位移信息替代R、G、B三通道中的任意两通道，由预设时长内运动物体的位移信息和R、G、B三通道中的任意一通道作为双输入通道的卷积神经网络模型500的输入。例如，如图5D所示，以预设时长内运动物体的位移信息和B通道作为双输入通道的卷积神经网络模型500的输入。
在本申请的其他一些实施例中，所述预先训练完成的抛物轨迹检测模型可以是反卷积神经网络模型、深度卷积逆向网络模型、生成对抗网络模型、循环神经网络模型、长短记忆网络模型、门控循环神经网络模型或深度残差神经网络模型等神经网络模型中的任意一种。需要说明的是，在本申请的实施例中，无论抛物轨迹检测模型选用那种神经网络模型的架构，本申请实施例中使用的神经网络模型相较于现有技术在图像识别中应用的神经网络模型，均可以是包括四个输入通道(现有技术中应用于图像识别中的神经网络模型通常包括三个输入通道)、三输入通道、双输入通道或者单输入通道。
需要说明的是，不管是四输入通道、三输入通道、双输入通道还是单输入通道的神经网络模型，其中，有任一输入通道为用于输入前景图像中运动物体的位移信息的通道，剩余输入通道与现有的神经网络模型的输入通道类似，分别用于输入监控视频流中各帧图像的R通道、G通道或者B通道。具体地，在本申请的实施例中，对所采用的神经网络模型的具体架构不做任何限定，可参考现有的各种神经网络模型的架构。
可以理解地，随着不同神经网络模型的架构不同，在输入运动物体的位移信息时，可以根据网络模型的架构对包含有运动物体位移信息的前景图像进行适应性的调整。示例性地，以3D卷积神经网络模型为例，由于3D卷积神经网络模型可以直接把过去一段时间窗口N内的所有RGB图像按照时间顺序组合成Nx3个通道的数据作为3D卷积神经网络的输入来进行高空抛物的检测，因此，将包含有运动物体位移信息的前景图像可以先以时间窗口N进行划分，得到多个时间窗口内的前景图像后，再输入3D卷积神经网络模型。
S250，基于所述运动物体的下落轨迹，确定所述运动物体的抛出位置信息。
在本实施例中，所述基于所述运动物体的下落轨迹，确定所述运动物体的抛出位置信息，可以包括：将所述抛物检测模型所检测到的所述运动物体的下落轨迹基于预设的曲线拟合算法，与预设的抛物运动曲线进行拟合，得到目标抛物轨迹；根据所述目标抛物轨迹确定所述运动物体的抛出位置信息。
其中，所述预设的曲线拟合算法包括二次曲线拟合算法和三次曲线拟合算法，所述将所述抛物检测模型所检测到的运动物体的下落轨迹基于所述基于预设的曲线拟合算法，与预设的抛物运动曲线进行拟合，包括：将所述抛物检测模型所检测到的运动物体的下落轨迹基于二元曲线拟合算法，与预设的抛物运动曲线进行拟合；或者，将所述抛物检测模型所检测到的运动物体的下落轨迹基于三元曲线拟合算法，与预设的抛物运动曲线进行拟合。
此外，二元曲线拟合算法和三元曲线拟合算法为现有常见的曲线拟合算法，在本实施例中，以将所述抛物检测模型所检测到的运动物体的下落轨迹基于三元曲线拟合算法，与预设的抛物运动曲线进行拟合的过程进行示例性地说明。
例如，在本实施例中，可以选取三元曲线的多项式插值拟合算法，将运动物体的下落轨迹与抛物运动曲线进行拟合，或者也可以选取光滑曲线曲面的拟合算法，将运动物体的下落轨迹与抛物运动曲线进行拟合。示例性地，以光滑曲线曲面的拟合算法进行示例性的说明，光滑曲线曲面拟合方法，采用通用三次多项式在各段拟合，由曲线连续及端点条件，求出多项式的系数，得到拟合后的目标曲线。具体地，三次通用多项式可以表示为：f(x)＝ax3+bx2+cx+d，可以由泰勒展开式求得运动物体的下落轨迹与预设的抛物运动曲线在各段的样条曲线函数，各段样条曲线函数的端点可以根据抛物运动规律进行自定义。具体地，在本实施中，各段样条曲线函数包括三次样条函数，分别对三次样条函数求解，可得到各段样条曲线函数分别对应的三次通用多项式的系数a、系数b以及系数c，进而得到拟合后的目标曲线。
示例性地，由泰勒展开式求得运动物体的下落轨迹与预设的抛物运动曲线在各段的三次样条函数的过程包括：假设运动物体的下落轨迹和预设的抛物运动曲线组成的多项式为S(x)，在该多项式的任意一点Xj做泰勒展开，得到三次多项式S(Xj)，对三次多项式S(Xj)求微分，得到多项式Sj(1)；将Xj点之后的Xj-1点的坐标代入三次多项式Sj(1)，得到Sj-1(1)；用Sj(1)减去Sj-1(1)；将Xj-1的坐标再次代入S(Xj)得到S(Xj-1)，用S(Xj)减去S(Xj-1)；得到三个线性等式Sj(1)，Sj(1)-Sj-1(1)以及S(Xj)-S(Xj-1)；该三个线性等式为在Xj与Xj-1段的三次样条函数，根据预定义的端点条件，求解三次样条函数，即可得到在Xj至Xj-1段三次通用多项式的系数a、系数b以及系数c，进而得到在Xj与Xj-1段拟合后的目标曲线。
此外，二元曲线拟合算法与三元曲线拟合相比，不同之处仅在于多项式的次数以及样条函数的次数不同，在此不再做详息叙述。
在本实施例中，将出现在监控摄像头画面中的运动物体的所有位移信息(包括坠落过程的位移信息)累加起来，可以得到运动物体稀疏的抛物轨迹和大小，如图6所示，进而可以利用稀疏的抛物轨迹和预设的抛物运动曲线，进行曲线拟合得到一条连续的目标抛物轨迹，进一步可以根据所述目标抛物曲线的端点确定运动物体的抛出位置信息，即抛物的起点，由抛物的起点可以为追溯高空抛物的相关责任提供依据。
此外，所述预设的抛物运动曲线为根据物体下落所遵循的基本运动规律，得到的抛物运动曲线。
通过上述分析可知，本申请实施例提供的高空抛物检测方法、设备和存储介质，通过前景检测算法分别检测出运动物体在预设时长内待监控区域的监控视频流中每相邻两帧图像中的位置信息，进而根据运动物体在所有相邻两帧图像中的位置信息，可以确定出运动物体在所述预设时长内的位移信息；进一步将所述位移信息和所述监控视频流同时输入抛物轨迹检测模型，可以快速准确地得到所述运动物体的下落轨迹，并根据所述运动物体的下落轨迹确定出所述运动物体的抛出位置信息，实现高空抛物的检测，能够有效避免高空抛物造成的伤害。
如图7所示，图7是本申请实施例提供的一种高空抛物检测方法的另一流程示意图。由图7可知，本实施与图2所示实施例相比，S710至S750与S210至S250的具体实现过程相同，不同之处在于，在S750之后还包括S760。详述如下：
S710，获取预设时长内待监控区域的监控视频流。
S720，基于预设的前景检测算法，分别检测出运动物体在所述监控视频流的每相邻两帧图像中的位置信息。
S730，根据所述运动物体在所述监控视频流的所有相邻两帧图像中的所述位置信息，确定所述运动物体在所述预设时长内的位移信息。
S740，将所述位移信息和所述监控视频流输入预先训练完成的抛物轨迹检测模型进行识别，得到所述运动物体的下落轨迹。
S750，基于所述运动物体的下落轨迹，确定所述运动物体的抛出位置信息。
S760，根据所述目标抛物轨迹确定所述运动物体的落地位置信息。
具体地，可以根据所述目标抛物轨迹的端点确定所述运动物体的落地位置信息，也称为抛物终点。可以理解地，在确定了所述运动物体的落地位置信息后，可以及时发出警报以防造成更多伤害。
本申请实施例通过确定抛物起点和抛物终点可以帮助快速定位责任，及时警告提醒。
通过上述分析可知，本申请实施例提供的高空抛物检测方法、设备和存储介质，通过前景检测算法分别检测出运动物体在预设时长内待监控区域的监控视频流中每相邻两帧图像中的位置信息，进而根据运动物体在所有相邻两帧图像中的位置信息，可以确定出运动物体在所述预设时长内的位移信息；进一步将所述位移信息和所述监控视频流同时输入抛物轨迹检测模型，可以快速准确地得到所述运动物体的下落轨迹，并根据所述运动物体的下落轨迹确定出所述运动物体的抛出位置信息，实现高空抛物的检测，能够有效避免高空抛物造成的伤害。
请结合上述实施例参阅图8，图8是本申请实施例提供的电子设备130的示意性框图。
示例性的，电子设备可以包括终端设备或服务器；其中，终端设备可以是手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备；服务器可以为独立的服务器，也可以为服务器集群。
所述电子设备130包括处理器801和存储器802。
示例性的，处理器801和存储器802通过总线803连接，所述总线803比如为I2C(Inter-integrated Circuit)总线。
具体地，处理器801可以是微控制单元(Micro-controller Unit，MCU)、中央处理单元(Central Processing Unit，CPU)或数字信号处理器(Digital Signal Processor，DSP)等。
具体地，存储器802可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
其中，所述处理器801用于运行存储在存储器802中的计算机程序，并在执行所述计算机程序时实现前述的AI模型生成方法。
示例性的，所述处理器801用于运行存储在存储器802中的计算机程序，并在执行所述计算机程序时实现如下步骤：
获取预设时长内待监控区域的监控视频流；
基于预设的前景检测算法，分别检测出运动物体在所述监控视频流的每相邻两帧图像中的位置信息；
根据所述运动物体在所述监控视频流的所有相邻两帧图像中的所述位置信息，确定所述运动物体在所述预设时长内的位移信息；
将所述位移信息和所述监控视频流输入预先训练完成的抛物轨迹检测模型进行识别，得到所述运动物体的下落轨迹；
基于所述运动物体的下落轨迹，确定所述运动物体的抛出位置信息。
本申请实施例提供的电子设备的具体原理和实现方式均与前述实施例的高空抛物检测方法类似，此处不再赘述。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现上述实施例提供的高空抛物检测方法的步骤。
其中，所述计算机可读存储介质可以是前述任一实施例所述的电子设备的内部存储单元，例如所述电子设备的硬盘或内存。所述计算机可读存储介质也可以是所述电子设备的外部存储设备，例如所述电子设备上配备的插接式硬盘，智能存储卡(Smart MediaCard，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
应当理解，在此本申请中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。
还应当理解，在本申请和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种高空抛物检测方法，其特征在于，包括：
获取预设时长内待监控区域的监控视频流；
基于预设的前景检测算法，分别检测出运动物体在所述监控视频流的每相邻两帧图像中的位置信息；
根据所述运动物体在所述监控视频流的所有相邻两帧图像中的所述位置信息，确定所述运动物体在所述预设时长内的位移信息；
将所述位移信息和所述监控视频流输入预先训练完成的抛物轨迹检测模型进行识别，得到所述运动物体的下落轨迹；
基于所述运动物体的下落轨迹，确定所述运动物体的抛出位置信息。
2.根据权利要求1所述的高空抛物检测方法，其特征在于，所述基于预设的前景检测方法，分别检测出运动物体在所述监控视频流的每相邻两帧图像中的位置信息，包括：
针对所述监控视频流中任意相邻两帧图像，将所述相邻两帧图像中相互对应的各个像素点的像素值相减，得到所述相邻两帧图像的差分图像；
对所述差分图像进行二值化处理，得到二值化图像；
根据所述二值化图像中各个像素点的像素值，确定所述运动物体在所述相邻两帧图像中的位置信息。
3.根据权利要求2所述的高空抛物检测方法，其特征在于，所述根据所述二值化图像中各个像素点的像素值，确定所述运动物体在所述相邻两帧图像中的位置信息，包括：
若所述二值化图像中有像素点的像素值大于预设的像素阈值，则确定所述像素点对应的位置信息为所述运动物体的位置信息；
若所述二值化图像中有像素点的像素值小于或等于预设的像素阈值，则确定所述像素点对应的位置信息为背景物的位置信息。
4.根据权利要求1-3中任一项所述的高空抛物检测方法，其特征在于，所述根据运动物体在所述监控视频流的所有相邻两帧图像中的所述位置信息，确定所述运动物体在预设时长内的位移信息，包括：
将所述运动物体在所述监控视频流中所有相邻两帧图像中的所述位置信息进行叠加，得到所述运动物体在预设时长内的位移信息。
5.根据权利要求1所述的高空抛物检测方法，其特征在于，所述预先训练完成的抛物轨迹检测模型为卷积神经网络模型，所述卷积神经网络模型包括四个输入通道，所述四个输入通道分别为第一输入通道、第二输入通道、第三输入通道和第四输入通道；所述第一输入通道用于输入所述运动物体在预设时长内的位移信息，所述第二输入通道用于输入所述监控视频流中每帧图像的R通道，所述第三输入通道用于输入所述监控视频流中每帧图像的G通道，所述第四输入通道用于输入所述监控视频流中每帧图像的B通道；所述卷积神经网络模型的输出为运动物体在所述预设时长内的下落轨迹。
6.根据权利要求5所述的高空抛物检测方法，其特征在于，基于所述运动物体的下落轨迹，确定所述运动物体的抛出位置信息，包括：
将所述抛物检测模型所检测到的运动物体的下落轨迹基于预设的曲线拟合算法，与预设的抛物运动曲线进行拟合，得到目标抛物轨迹；
根据所述目标抛物轨迹确定所述运动物体的抛出位置信息。
7.根据权利要求6所述的高空抛物检测方法，其特征在于，所述预设的曲线拟合算法包括二元曲线拟合算法或者三元曲线拟合算法；
将所述抛物检测模型所检测到的运动物体的下落轨迹基于所述基于预设的曲线拟合算法，与预设的抛物运动曲线进行拟合，包括：
将所述抛物检测模型所检测到的运动物体的下落轨迹基于二元曲线拟合算法，与预设的抛物运动曲线进行拟合；或者，
将所述抛物检测模型所检测到的运动物体的下落轨迹基于三元曲线拟合算法，与预设的抛物运动曲线进行拟合。
8.根据权利要求7所述的高空抛物检测方法，其特征在于，在将所述抛物检测模型所检测到的运动物体的下落轨迹基于预设的曲线拟合算法，与预设的抛物运动曲线进行拟合，得到目标抛物轨迹之后，还包括：
根据所述目标抛物轨迹确定所述运动物体的落地位置信息。
9.一种电子设备，其特征在于，包括存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如权利要求1-8中任一项所述的高空抛物检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1-8中任一项所述的高空抛物检测方法。
CN202011425503.5A 2020-12-08 2020-12-08 高空抛物检测方法、电子设备和存储介质 Pending CN114612850A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011425503.5A CN114612850A (zh) 2020-12-08 2020-12-08 高空抛物检测方法、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011425503.5A CN114612850A (zh) 2020-12-08 2020-12-08 高空抛物检测方法、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN114612850A true CN114612850A (zh) 2022-06-10

Family

ID=81856234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011425503.5A Pending CN114612850A (zh) 2020-12-08 2020-12-08 高空抛物检测方法、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN114612850A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116597340A (zh) * 2023-04-12 2023-08-15 深圳市明源云科技有限公司 高空抛物位置预测方法、电子设备及可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116597340A (zh) * 2023-04-12 2023-08-15 深圳市明源云科技有限公司 高空抛物位置预测方法、电子设备及可读存储介质
CN116597340B (zh) * 2023-04-12 2023-10-10 深圳市明源云科技有限公司 高空抛物位置预测方法、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
Gao et al. Block-sparse RPCA for salient motion detection
US11023707B2 (en) System and method for selecting a part of a video image for a face detection operation
US9158985B2 (en) Method and apparatus for processing image of scene of interest
JP5325899B2 (ja) 侵入警報ビデオ処理装置
US20110081043A1 (en) Using video-based imagery for automated detection, tracking, and counting of moving objects, in particular those objects having image characteristics similar to background
Kumar et al. Study of robust and intelligent surveillance in visible and multi-modal framework
Rout A survey on object detection and tracking algorithms
JP2009508450A (ja) 物体のトラッキングおよび活動分析のためのシステムおよび方法
CN111881853B (zh) 一种超大桥隧中异常行为识别方法和装置
Gao et al. Block-sparse RPCA for consistent foreground detection
Xu et al. Segmentation and tracking of multiple moving objects for intelligent video analysis
Sharma Human detection and tracking using background subtraction in visual surveillance
Kongurgsa et al. Real-time intrusion—detecting and alert system by image processing techniques
Hossain et al. Fast-D: When non-smoothing color feature meets moving object detection in real-time
Roy et al. A comprehensive survey on computer vision based approaches for moving object detection
Verma et al. Analysis of moving object detection and tracking in video surveillance system
CN114612850A (zh) 高空抛物检测方法、电子设备和存储介质
Delibasoglu et al. Motion detection in moving camera videos using background modeling and FlowNet
Changalasetty et al. Identification and feature extraction of moving vehicles in LabVIEW
Sharma et al. A survey on moving object detection methods in video surveillance
Kaur Background subtraction in video surveillance
Tsai et al. Foreground object detection based on multi-model background maintenance
Sawalakhe et al. Foreground background traffic scene modeling for object motion detection
Khatri et al. Video analytics based identification and tracking in smart spaces
Qin et al. Scene segmentation based on seeded region growing for foreground detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination