CN113139478A - 一种高空抛物的检测方法、装置、电子设备及存储介质 - Google Patents

一种高空抛物的检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113139478A
CN113139478A CN202110464015.3A CN202110464015A CN113139478A CN 113139478 A CN113139478 A CN 113139478A CN 202110464015 A CN202110464015 A CN 202110464015A CN 113139478 A CN113139478 A CN 113139478A
Authority
CN
China
Prior art keywords
inter
difference image
frame difference
high altitude
compressed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110464015.3A
Other languages
English (en)
Inventor
郑业勤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Bozhilin Robot Co Ltd
Original Assignee
Guangdong Bozhilin Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Bozhilin Robot Co Ltd filed Critical Guangdong Bozhilin Robot Co Ltd
Priority to CN202110464015.3A priority Critical patent/CN113139478A/zh
Publication of CN113139478A publication Critical patent/CN113139478A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种高空抛物的检测方法、装置、电子设备及存储介质，涉及图像处理技术领域。该高空抛物的检测方法包括：获取高空抛物的监控视频；解析所述监控视频，获取多帧图像；根据所述多帧图像获得帧间差分图；压缩所述帧间差分图，获得压缩帧间差分图；根据所述监控视频和所述压缩帧间差分图，合成特征矩阵；将所述特征矩阵输入二分类卷积神经网络分类器，获得高空抛物的检测结果。该高空抛物的检测方法对内存要求小、设备成本低，可以实现大幅减少计算量的技术效果。

Description

一种高空抛物的检测方法、装置、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种高空抛物的检测方法、装置、电子设备及存储介质。
背景技术
目前，高空抛物是一种城市中较为常见的不文明现象，这种将杂物从楼宇的窗户或天台扔出的行为，轻则污染环境卫生，重则造成严重伤人甚至致命的后果。因此，高空抛物现象曾被称为“悬在城市上空的痛”。它曾与“乱扔垃圾”齐名，排名第二。高空抛物，是一种不文明的行为，而且会带来很大的社会危害。
现有技术中，传统的高空抛物监管方法主要是在抛物事件发生后调取时间段的监控录像进行人工筛查。这种方法不仅耗时耗力，而且可能出现漏检或录像数据被清理的情况，导致事故难以追责。因此，一系列高空抛物智能监测方法被提出以缩减人力成本，提高监管力度。然而，这类基于毫米波雷、传感器、无线电信号等技术的监测方法存在计算耗时、占用计算资源较大、准确性不高、泛化性差、设备维护昂贵等问题。
发明内容
本申请实施例的目的在于提供一种高空抛物的检测方法、装置、电子设备及存储介质，对内存要求小、设备成本低，可以实现大幅减少计算量的技术效果。
第一方面，本申请实施例提供了一种高空抛物的检测方法，包括：
获取高空抛物的监控视频；
解析所述监控视频，获取多帧图像；
根据所述多帧图像获得帧间差分图；
压缩所述帧间差分图，获得压缩帧间差分图；
根据所述监控视频和所述压缩帧间差分图，合成特征矩阵；
将所述特征矩阵输入二分类卷积神经网络分类器，获得高空抛物的检测结果。
在上述实现过程中，该高空抛物的检测方法将从监控摄像头获取的监控视频直接在监控摄像头中进行解析切分，获得多帧图像，然后对多帧图像进行处理、获得多张帧间差分图，之后对每张帧间差分图进行信息压缩，只保留图片的有效信息，将无效信息压缩进融合进有效信息中，从而获得一个含有多个特征的特征序列，最后将多个特征序列合成一个特征矩阵；接下来将特征矩阵输入二分类卷积神经网络分类器进行预测，从而确定该监控视频中是否出现了高空抛物现象；其中，二分类卷积神经网络分类器是一个已训练好的二分类卷积神经网络模型，该分类器具有模型小，占用计算资源小，运算速度快等优点，可以用于计算单元等硬件条件较差的监视摄像头中，用于快速的判断是否出现高空抛物现象；从而，该高空抛物的检测方法对内存要求小、设备成本低，可以实现大幅减少计算量的技术效果。
进一步地，所述压缩所述帧间差分图，获得压缩帧间差分图的步骤之前，还包括：
根据滤波算法对所述帧间差分图进行滤波处理，其中，所述滤波算法根据高空抛物的场景和相机像素确定。
在上述实现过程中，滤波算法可以对每张帧间差分图进行滤波处理，以去除孤立点噪声，获得较为干净的运动轨迹的帧间差分图，从而有效提高高空抛物检测的准确性。
进一步地，所述压缩所述帧间差分图，获得压缩帧间差分图的步骤，包括：
在第一方向上对所述帧间差分图进行压缩处理，获得中间帧间差分图；
在第二方向上对所述中间帧间差分图进行压缩处理，获得所述压缩帧间差分图，所述压缩帧间差分图相对于所述帧间差分图的压缩大小、步长及权重由相机像素及场景决定。
在上述实现过程中，对每张去除完噪声的帧间差分图进行信息压缩，从而只保留图片的有效信息，将无效信息压缩进融合进有效信息中，可以有效降低后续的计算量，进而提高运算速度；其中，压缩帧间差分图相对于帧间差分图的压缩大小、步长及权重由相机像素及场景决定，保证压缩效果，确保压缩帧间差分图不会丢失图片的有效信息。
进一步地，所述在第一方向上对所述帧间差分图进行压缩处理，获得中间帧间差分图的步骤，包括：
对所述帧间差分图在所述第一方向上的所有像素点进行归一化处理，获得所述中间帧间差分图。
进一步地，所述根据所述监控视频和所述压缩帧间差分图，合成特征矩阵的步骤，包括：
获取所述监控视频的多个特征序列，其中每个所述特征序列对应一个所述压缩帧间差分图；
将所述多个特征序列以列的方式按时间顺序进行排列、并连接成所述特征矩阵，所述特征矩阵包括所述监控视频中高空抛物在垂直方向的运动属性特征。
进一步地，所述将所述特征矩阵输入二分类卷积神经网络分类器，获得高空抛物的检测结果的步骤之前，还包括：
将所述特征矩阵进行归一化处理，获得归一化特征矩阵。
在上述实现过程中，归一化特征矩阵可输入二分类卷积神经网络分类器，方便通过二分类卷积神经网络分类器进行处理和推断。
进一步地，所述将所述特征矩阵输入二分类卷积神经网络分类器，获得高空抛物的检测结果的步骤，包括：
将所述归一化特征矩阵输入所述二分类卷积神经网络分类器，获得高空抛物的概率判断数值；
判断所述高空抛物的概率判断数值是否大于预设阈值，若是，则所述检测结果为所述监控视频存在高空抛物现象；若否，则所述检测结果为所述监控视频不存在高空抛物现象。
第二方面，本申请实施例提供了一种高空抛物的检测装置，包括：
获取模块，用于获取高空抛物的监控视频；
解析模块，用于解析所述监控视频，获取多帧图像；
帧间差分模块，用于根据所述多帧图像获得帧间差分图；
压缩模块，用于压缩所述帧间差分图，获得压缩帧间差分图；
合成模块，用于根据所述监控视频和所述压缩帧间差分图，合成特征矩阵；
检测模块，用于将所述特征矩阵输入二分类卷积神经网络分类器，获得高空抛物的检测结果。
进一步地，所述装置还包括滤波模块，所述滤波模块用于根据滤波算法对所述帧间差分图进行滤波处理，其中，所述滤波算法根据高空抛物的场景和相机像素确定。
进一步地，所述压缩模块包括：
第一压缩单元，用于在第一方向上对所述帧间差分图进行压缩处理，获得中间帧间差分图；
第二压缩单元，用于在第二方向上对所述中间帧间差分图进行压缩处理，获得所述压缩帧间差分图，所述压缩帧间差分图相对于所述帧间差分图的压缩大小、步长及权重由相机像素及场景决定。
进一步地，所述第一压缩单元还用于对所述帧间差分图在所述第一方向上的所有像素点进行归一化处理，获得所述中间帧间差分图。
进一步地，所述合成模块包括：
获取单元，用于获取所述监控视频的多个特征序列，其中每个所述特征序列对应一个所述压缩帧间差分图；
合成单元，用于将所述多个特征序列以列的方式按时间顺序进行排列、并连接成所述特征矩阵，所述特征矩阵包括所述监控视频中高空抛物在垂直方向的运动属性特征。
进一步地，所述装置还包括归一化模块，所述归一化模块用于将所述特征矩阵进行归一化处理，获得归一化特征矩阵。
进一步地，所述检测模块包括：
分类器单元，用于将所述归一化特征矩阵输入所述二分类卷积神经网络分类器，获得高空抛物的概率判断数值；
判断单元，用于判断所述高空抛物的概率判断数值是否大于预设阈值，若是，则所述检测结果为所述监控视频存在高空抛物现象；若否，则所述检测结果为所述监控视频不存在高空抛物现象。
第三方面，本申请实施例提供的一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述的方法的步骤。
第四方面，本申请实施例提供的一种存储介质，所述存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行如第一方面任一项所述的方法。
第五方面，本申请实施例提供的一种计算机程序产品，所述计算机程序产品在计算机上运行时，使得计算机执行如第一方面任一项所述的方法。
本申请公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本申请公开的上述技术即可得知。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种高空抛物的检测方法的流程示意图；
图2为本申请实施例提供的另一种高空抛物的检测方法的流程示意图；
图3为本申请实施例提供的一种高空抛物的检测装置的结构示意图；
图4为本申请实施例提供的另一种高空抛物的检测装置的结构示意图；
图5为本申请实施例提供的压缩模块的结构示意图；
图6为本申请实施例提供的合成模块的结构示意图；
图7为本申请实施例提供的检测模块的结构示意图；
图8为本申请实施例提供的一种电子设备的结构框图。
图标：100-获取模块；200-解析模块；300-帧间差分模块；400-压缩模块；500-合成模块；600-检测模块；310-滤波模块；511-归一化模块；401-第一压缩单元；402-第二压缩单元；501-获取单元；502-合成单元；601-分类器单元；602-判断单元；510-处理器；520-通信接口；530-存储器；540-通信总线。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
本申请实施例提供了一种高空抛物的检测方法、装置、电子设备及存储介质，可以应用于高空抛物监控中；该高空抛物的检测方法将从监控摄像头获取的监控视频直接在监控摄像头中进行解析切分，获得多帧图像，然后对多帧图像进行处理、获得多张帧间差分图，之后对每张帧间差分图进行信息压缩，只保留图片的有效信息，将无效信息压缩进融合进有效信息中，从而获得一个含有多个特征的特征序列，最后将多个特征序列合成一个特征矩阵；接下来将特征矩阵输入二分类卷积神经网络分类器进行预测，从而确定该监控视频中是否出现了高空抛物现象；其中，二分类卷积神经网络分类器是一个已训练好的二分类卷积神经网络模型，该分类器具有模型小，占用计算资源小，运算速度快等优点，可以用于计算单元等硬件条件较差的监视摄像头中，用于快速的判断是否出现高空抛物现象；从而，该高空抛物的检测方法对内存要求小、设备成本低，可以实现大幅减少计算量的技术效果。
请参见图1，图1为本申请实施例提供的一种高空抛物的检测方法的流程示意图，该高空抛物的检测方法包括如下步骤：
S100：获取高空抛物的监控视频。
示例性地，监控视频可以为监控摄像头拍摄并上传的视频数据；可选地，可以对来自于实际监控摄像头的监控视频进行收集整理，获得完备的高空抛物的监控视频。
S200：解析监控视频，获取多帧图像。
示例性地，解析监控视频，可以对监控视频的视频流切分，从而获取多帧图像，即多个帧图像。
S300：根据多帧图像获得帧间差分图。
示例性地，可使用光流法或帧间差分法处理多帧图像，从而获得帧间差分图；其中，本申请实施例提供的帧间差分图是二值化的帧间差分图。
示例性地，帧间差分法(Inter frame difference method)是一种通过对视频图像序列中相邻两帧作差分运算来获得运动目标轮廓的方法，它可以很好地适用于存在多个运动目标和摄像机移动的情况。当监控场景中出现异常物体运动时，帧与帧之间会出现较为明显的差别，两帧相减，得到两帧图像亮度差的绝对值，判断它是否大于阈值来分析视频或图像序列的运动特性，确定图像序列中有无物体运动。图像序列逐帧的差分，相当于对图像序列进行了时域下的高通滤波。
示例性地，光流(Optical flow or optic flow)是关于视域中的物体运动检测中的概念。用来描述相对于观察者的运动所造成的观测目标、表面或边缘的运动。光流法在样型识别、计算机视觉以及其他影像处理领域中非常有用，可用于运动检测、物件切割、碰撞时间与物体膨胀的计算、运动补偿编码，或者通过物体表面与边缘进行立体的测量等等。
400：压缩帧间差分图，获得压缩帧间差分图。
示例性地，对帧间差分图进行信息压缩，从而获得压缩帧间差分图；其中，压缩帧间差分图只保留了图片的有效信息，将无效信息压缩、并融合进有效信息中，可以有效降低后续的计算量，进而提高运算速度。
S500：根据监控视频和压缩帧间差分图，合成特征矩阵。
示例性地，将监控视频中整个视频流的帧按需求进行抽取或直接使用，然后通过前面S100至S400的步骤来获得多个特征序列，每个特征序列对应一个压缩帧间差分图；多个特征序列按时间顺序进行排列，即连接成一个特征矩阵。由于该特征矩阵具有监控视频、压缩帧间差分图的有效信息，因此，该特征矩阵具有表示监控视频中高空抛物在垂直方向上运动属性特征的能力。
S600：将特征矩阵输入二分类卷积神经网络分类器，获得高空抛物的检测结果。
示例性地，二分类卷积神经网络分类器是一种已训练好的二分类卷积神经网络模型；可选地，本申请实施例运用的是小型二分类卷积神经网络作为分类器，对一整段监控视频处理压缩后的特征矩阵进行识别，并判断监控视频中是否出现高空抛物现象；该分类器具有模型小、占用计算资源小、运算速度快等优点，可以用于计算单元等硬件条件较差的监视摄像头中，用于快速的判断是否出现高空抛物现象。
示例性地，可以根据历史监控数据设计与训练二分类卷积神经网络，历史监控数据即监控摄像头采集的历史视频数据，此处不再赘述。
在一些实施方式中，该高空抛物的检测方法将从监控摄像头获取的监控视频直接在监控摄像头中进行解析切分，获得多帧图像，然后对多帧图像进行处理、获得多张帧间差分图，之后对每张帧间差分图进行信息压缩，只保留图片的有效信息，将无效信息压缩进融合进有效信息中，从而获得一个含有多个特征的特征序列，最后将多个特征序列合成一个特征矩阵；接下来将特征矩阵输入二分类卷积神经网络分类器进行预测，从而确定该监控视频中是否出现了高空抛物现象；其中，二分类卷积神经网络分类器是一个已训练好的二分类卷积神经网络模型，该分类器具有模型小，占用计算资源小，运算速度快等优点，可以用于计算单元等硬件条件较差的监视摄像头中，用于快速的判断是否出现高空抛物现象；从而，该高空抛物的检测方法对内存要求小、设备成本低，可以实现大幅减少计算量的技术效果。
示例性地，该高空抛物的检测方法具有计算速度快、模型小、占用空间资源和计算资源少的优点，可用于相机中进行快速部署、识别和筛选，抗干扰性强。
请参见图2，图2为跟申请实施例提供的另一种高空抛物的检测方法的流程示意图。
示例性地，S400：压缩帧间差分图，获得压缩帧间差分图的步骤之前，还包括：
S310：根据滤波算法对帧间差分图进行滤波处理，其中，滤波算法根据高空抛物的场景和相机像素确定。
示例性地，滤波算法可以对每张帧间差分图进行滤波处理，例如，进行中值滤波，以去除孤立点噪声。
可选地，根据高空抛物的场景和相机像素确定滤波算法，使用滤波算法将帧间差分图中由于光照变化、相机抖动、下雨等情况出现的噪声点进行滤波，获得较为干净的运动轨迹的帧间差分图，从而有效提高高空抛物检测的准确性。
示例性地，S400：压缩帧间差分图，获得压缩帧间差分图的步骤，包括：
S401：在第一方向上对帧间差分图进行压缩处理，获得中间帧间差分图；
S402：在第二方向上对中间帧间差分图进行压缩处理，获得压缩帧间差分图，压缩帧间差分图相对于帧间差分图的压缩大小、步长及权重由相机像素及场景决定。
示例性地，对每张去除完噪声的帧间差分图进行信息压缩，从而只保留图片的有效信息，将无效信息压缩进融合进有效信息中，可以有效降低后续的计算量，进而提高运算速度；其中，压缩帧间差分图相对于帧间差分图的压缩大小、步长及权重由相机像素及场景决定，保证压缩效果，确保压缩帧间差分图不会丢失图片的有效信息。
可选地，S401：在第一方向上对帧间差分图进行压缩处理，获得中间帧间差分图的步骤，包括：
对帧间差分图在第一方向上的所有像素点进行归一化处理，获得中间帧间差分图。
在一些实施场景中，第一方向为水平方向，记为x方向；第二方向为垂直方向，记为y方向。
示例性地，对帧间差分图分别进行x方向和y方向的压缩，可以首先在x方向将帧间差分图的所有像素点归一化后相加，将整张帧间差分图压缩成一个宽度为1，长度为原图在y方向大小的序列，其中每个点表示帧间差分图在该行的像素点个数；然后，再对y方向进行压缩，y方向的压缩方法与x方向的压缩方法类似，此处不再赘述。
示例性地，本申请实施例提供的对帧间差分图进行压缩的方法应用到高空抛物检测之中，使用这种压缩方法，可以在极短时间内对帧间差分图进行压缩。将监控视频中的一长段视频进行处理，获取帧间差分图后再进行压缩和处理获得一个特征矩阵，该矩阵具有表征监控视频中运动物体的特征，压缩后的特征矩阵可以输入二分类卷积神经网络分类器中进行推断。
示例性地，S500：根据监控视频和压缩帧间差分图，合成特征矩阵的步骤，包括：
S501：获取监控视频的多个特征序列，其中每个特征序列对应一个压缩帧间差分图；
S502：将多个特征序列以列的方式按时间顺序进行排列、并连接成特征矩阵，特征矩阵包括监控视频中高空抛物在垂直方向的运动属性特征。
示例性地，将监控视频中整个视频流的帧按需求进行抽取或直接使用，获得一个含有多个特征的特征序列，最后将多个特征序列合成一个特征矩阵，其中每个特征序列对应一个压缩帧间差分图；然后，将所有用到的帧的特征序列以列的方式、并且按时间顺序进行排列，连接成一个特征矩阵，该特征矩阵具有表示监控视频中高空抛物在y方向运动属性特征的能力。
示例性地，S600：将特征矩阵输入二分类卷积神经网络分类器，获得高空抛物的检测结果的步骤之前，还包括：
S511：将特征矩阵进行归一化处理，获得归一化特征矩阵。
在一些实施方式中，归一化处理特征矩阵，以获得归一化特征矩阵，从而方便通过二分类卷积神经网络分类器进行处理和推断。
示例性地，S600：将特征矩阵输入二分类卷积神经网络分类器，获得高空抛物的检测结果的步骤，包括：
S601：将归一化特征矩阵输入二分类卷积神经网络分类器，获得高空抛物的概率判断数值；
S602：判断高空抛物的概率判断数值是否大于预设阈值，若是，则检测结果为监控视频存在高空抛物现象；若否，则检测结果为监控视频不存在高空抛物现象。
示例性地，将归一化特征矩阵输入二分类卷积神经网络分类器，二分类卷积神经网络经过推断后，分类器会输出一个概率判断数值，该概率判断数值表示监控视频中存在高空抛物现象的概率；根据场景等多个要素设定一个预设阈值，可以确定该监控视频中是否存在高空抛物现象：若概率判断数值大于预设阈值，则说明监控视频存在高空抛物现象；若概率判断数值小于等于预设阈值，则说明监控视频不存在高空抛物现象。
可选地，概率判断数值的取值范围为[0,1]。
在一些实施场景中，本申请实施例提供的高空抛物的检测方法可以应用在一个数据处理中心，来对各视频监控装置数据进行集中处理，也可以集成内置于各视频监控装置中进行判定筛选后，再将认定为高空抛物的视频段及拟合的高空抛物轨迹曲线传输到数据中心，供二次判定和记录取证，从而更灵活的搭配布置能减少对网络带宽和数据中心的性能要求，可使一个数据中心接入更多视频监控装置提升监控密度减少监控盲区。
请参见图3，图3为本申请实施例提供的一种高空抛物的检测装置的结构示意图，该高空抛物的检测装置包括：
获取模块100，用于获取高空抛物的监控视频；
解析模块200，用于解析监控视频，获取多帧图像；
帧间差分模块300，用于根据多帧图像获得帧间差分图；
压缩模块400，用于压缩帧间差分图，获得压缩帧间差分图；
合成模块500，用于根据监控视频和压缩帧间差分图，合成特征矩阵；
检测模块600，用于将特征矩阵输入二分类卷积神经网络分类器，获得高空抛物的检测结果。
请参见图4，图4为本申请实施例提供的另一种高空抛物的检测装置的结构示意图。
示例性地，装置还包括滤波模块310，滤波模块用于根据滤波算法对帧间差分图进行滤波处理，其中，滤波算法根据高空抛物的场景和相机像素确定。
示例性地，装置还包括归一化模块511，归一化模块用于将特征矩阵进行归一化处理，获得归一化特征矩阵。
请参见图5，图5为本申请实施例提供的压缩模块的结构示意图。
示例性地，压缩模块400包括：
第一压缩单元401，用于在第一方向上对帧间差分图进行压缩处理，获得中间帧间差分图；
第二压缩单元402，用于在第二方向上对中间帧间差分图进行压缩处理，获得压缩帧间差分图，压缩帧间差分图相对于帧间差分图的压缩大小、步长及权重由相机像素及场景决定。
示例性地，第一压缩单元401还用于对帧间差分图在第一方向上的所有像素点进行归一化处理，获得中间帧间差分图。
请参见图6，图6为本申请实施例提供的合成模块的结构示意图。
示例性地，合成模块500包括：
获取单元501，用于获取监控视频的多个特征序列，其中每个特征序列对应一个压缩帧间差分图；
合成单元502，用于将多个特征序列以列的方式按时间顺序进行排列、并连接成特征矩阵，特征矩阵包括监控视频中高空抛物在垂直方向的运动属性特征。
请参见图7，图7为本申请实施例提供的检测模块的结构示意图。
示例性地，检测模块600包括：
分类器单元601，用于将归一化特征矩阵输入二分类卷积神经网络分类器，获得高空抛物的概率判断数值；
判断单元602，用于判断高空抛物的概率判断数值是否大于预设阈值，若是，则检测结果为监控视频存在高空抛物现象；若否，则检测结果为监控视频不存在高空抛物现象。
应理解，图3至图7所示的高空抛物的检测装置与图1至图2所示的方法实施例相对应，为避免重复，此处不再赘述。
本申请还提供一种电子设备，请参见图8，图8为本申请实施例提供的一种电子设备的结构框图。电子设备可以包括处理器510、通信接口520、存储器530和至少一个通信总线540。其中，通信总线540用于实现这些组件直接的连接通信。其中，本申请实施例中电子设备的通信接口520用于与其他节点设备进行信令或数据的通信。处理器510可以是一种集成电路芯片，具有信号的处理能力。
上述的处理器510可以是通用处理器，包括中央处理器(CPU，Central ProcessingUnit)、网络处理器(NP，Network Processor)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器510也可以是任何常规的处理器等。
存储器530可以是，但不限于，随机存取存储器(RAM，Random Access Memory)，只读存储器(ROM，Read Only Memory)，可编程只读存储器(PROM，Programmable Read-OnlyMemory)，可擦除只读存储器(EPROM，Erasable Programmable Read-Only Memory)，电可擦除只读存储器(EEPROM，Electric Erasable Programmable Read-Only Memory)等。存储器530中存储有计算机可读取指令，当所述计算机可读取指令由所述处理器510执行时，电子设备可以执行上述图1至图2方法实施例涉及的各个步骤。
可选地，电子设备还可以包括存储控制器、输入输出单元。
所述存储器530、存储控制器、处理器510、外设接口、输入输出单元各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通信总线540实现电性连接。所述处理器510用于执行存储器530中存储的可执行模块，例如电子设备包括的软件功能模块或计算机程序。
输入输出单元用于提供给用户创建任务以及为该任务创建启动可选时段或预设执行时间以实现用户与服务器的交互。所述输入输出单元可以是，但不限于，鼠标和键盘等。
可以理解，图8所示的结构仅为示意，所述电子设备还可包括比图8中所示更多或者更少的组件，或者具有与图8所示不同的配置。图8中所示的各组件可以采用硬件、软件或其组合实现。
本申请实施例还提供一种存储介质，所述存储介质上存储有指令，当所述指令在计算机上运行时，所述计算机程序被处理器执行时实现方法实施例所述的方法，为避免重复，此处不再赘述。
本申请还提供一种计算机程序产品，所述计算机程序产品在计算机上运行时，使得计算机执行方法实施例所述的方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种高空抛物的检测方法，其特征在于，包括：
获取高空抛物的监控视频；
解析所述监控视频，获取多帧图像；
根据所述多帧图像获得帧间差分图；
压缩所述帧间差分图，获得压缩帧间差分图；
根据所述监控视频和所述压缩帧间差分图，合成特征矩阵；
将所述特征矩阵输入二分类卷积神经网络分类器，获得高空抛物的检测结果。
2.根据权利要求1所述的高空抛物的检测方法，其特征在于，所述压缩所述帧间差分图，获得压缩帧间差分图的步骤之前，还包括：
根据滤波算法对所述帧间差分图进行滤波处理，其中，所述滤波算法根据高空抛物的场景和相机像素确定。
3.根据权利要求1所述的高空抛物的检测方法，其特征在于，所述压缩所述帧间差分图，获得压缩帧间差分图的步骤，包括：
在第一方向上对所述帧间差分图进行压缩处理，获得中间帧间差分图；
在第二方向上对所述中间帧间差分图进行压缩处理，获得所述压缩帧间差分图，所述压缩帧间差分图相对于所述帧间差分图的压缩大小、步长及权重由相机像素及场景决定。
4.根据权利要求3所述的高空抛物的检测方法，其特征在于，所述在第一方向上对所述帧间差分图进行压缩处理，获得中间帧间差分图的步骤，包括：
对所述帧间差分图在所述第一方向上的所有像素点进行归一化处理，获得所述中间帧间差分图。
5.根据权利要求1所述的高空抛物的检测方法，其特征在于，所述根据所述监控视频和所述压缩帧间差分图，合成特征矩阵的步骤，包括：
获取所述监控视频的多个特征序列，其中每个所述特征序列对应一个所述压缩帧间差分图；
将所述多个特征序列以列的方式按时间顺序进行排列、并连接成所述特征矩阵，所述特征矩阵包括所述监控视频中高空抛物在垂直方向的运动属性特征。
6.根据权利要求1所述的高空抛物的检测方法，其特征在于，所述将所述特征矩阵输入二分类卷积神经网络分类器，获得高空抛物的检测结果的步骤之前，还包括：
将所述特征矩阵进行归一化处理，获得归一化特征矩阵。
7.根据权利要求6所述的高空抛物的检测方法，其特征在于，所述将所述特征矩阵输入二分类卷积神经网络分类器，获得高空抛物的检测结果的步骤，包括：
将所述归一化特征矩阵输入所述二分类卷积神经网络分类器，获得高空抛物的概率判断数值；
判断所述高空抛物的概率判断数值是否大于预设阈值，若是，则所述检测结果为所述监控视频存在高空抛物现象；若否，则所述检测结果为所述监控视频不存在高空抛物现象。
8.一种高空抛物的检测装置，其特征在于，包括：
获取模块，用于获取高空抛物的监控视频；
解析模块，用于解析所述监控视频，获取多帧图像；
帧间差分模块，用于根据所述多帧图像获得帧间差分图；
压缩模块，用于压缩所述帧间差分图，获得压缩帧间差分图；
合成模块，用于根据所述监控视频和所述压缩帧间差分图，合成特征矩阵；
检测模块，用于将所述特征矩阵输入二分类卷积神经网络分类器，获得高空抛物的检测结果。
9.一种电子设备，其特征在于，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的高空抛物的检测方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行如权利要求1至7任一项所述的高空抛物的检测方法。
CN202110464015.3A 2021-04-27 2021-04-27 一种高空抛物的检测方法、装置、电子设备及存储介质 Withdrawn CN113139478A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110464015.3A CN113139478A (zh) 2021-04-27 2021-04-27 一种高空抛物的检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110464015.3A CN113139478A (zh) 2021-04-27 2021-04-27 一种高空抛物的检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113139478A true CN113139478A (zh) 2021-07-20

Family

ID=76816258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110464015.3A Withdrawn CN113139478A (zh) 2021-04-27 2021-04-27 一种高空抛物的检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113139478A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016005252A1 (en) * 2014-07-10 2016-01-14 Thomson Licensing Method and device for image extraction from a video
CN111476163A (zh) * 2020-04-07 2020-07-31 浙江大华技术股份有限公司 一种高空抛物监控方法、装置以及计算机存储介质
CN111539388A (zh) * 2020-06-22 2020-08-14 湖南联智科技股份有限公司 一种高空抛物监测方法
CN111768431A (zh) * 2020-06-28 2020-10-13 熵康(深圳)科技有限公司 一种高空抛物动目标检测方法、检测设备和检测系统
CN112016414A (zh) * 2020-08-14 2020-12-01 熵康(深圳)科技有限公司 一种检测高空抛物事件的方法、装置及楼面智能监控系统
CN112037266A (zh) * 2020-11-05 2020-12-04 北京软通智慧城市科技有限公司 一种下落物体的识别方法、装置、终端设备及存储介质
US20210107404A1 (en) * 2019-10-15 2021-04-15 Robert Bosch Gmbh System to detect objects ejected from a vehicle
CN112686186A (zh) * 2021-01-05 2021-04-20 润联软件系统(深圳)有限公司 一种基于深度学习的高空抛物识别方法及其相关组件

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016005252A1 (en) * 2014-07-10 2016-01-14 Thomson Licensing Method and device for image extraction from a video
US20210107404A1 (en) * 2019-10-15 2021-04-15 Robert Bosch Gmbh System to detect objects ejected from a vehicle
CN111476163A (zh) * 2020-04-07 2020-07-31 浙江大华技术股份有限公司 一种高空抛物监控方法、装置以及计算机存储介质
CN111539388A (zh) * 2020-06-22 2020-08-14 湖南联智科技股份有限公司 一种高空抛物监测方法
CN111768431A (zh) * 2020-06-28 2020-10-13 熵康(深圳)科技有限公司 一种高空抛物动目标检测方法、检测设备和检测系统
CN112016414A (zh) * 2020-08-14 2020-12-01 熵康(深圳)科技有限公司 一种检测高空抛物事件的方法、装置及楼面智能监控系统
CN112037266A (zh) * 2020-11-05 2020-12-04 北京软通智慧城市科技有限公司 一种下落物体的识别方法、装置、终端设备及存储介质
CN112686186A (zh) * 2021-01-05 2021-04-20 润联软件系统(深圳)有限公司 一种基于深度学习的高空抛物识别方法及其相关组件

Similar Documents

Publication Publication Date Title
KR102171122B1 (ko) 장면의 다차원 특징을 기반으로 하는 선박 탐지 방법 및 시스템
CN109154976B (zh) 通过机器学习训练对象分类器的系统和方法
CN102348128B (zh) 具有摄像机异常检测装置的监视用摄像机系统
US8619135B2 (en) Detection of abnormal behaviour in video objects
EP2709066A1 (en) Concept for detecting a motion of a moving object
CN107977638B (zh) 视频监控报警方法、装置、计算机设备和存储介质
KR20100035616A (ko) 비디오 모션 검출
JP2007209008A (ja) 監視装置
CN111783665A (zh) 一种动作识别方法、装置、存储介质和电子设备
CN111507235A (zh) 基于视频的铁路周界异物入侵检测方法
CN113963438A (zh) 行为识别方法及装置、设备和存储介质
WO2016019973A1 (en) Method for determining stationary crowds
KR101842488B1 (ko) 원거리 동적 객체의 검지 및 추적을 기반으로 한 행동패턴인식기법이 적용된 지능형 감지시스템
CN114913442A (zh) 一种异常行为检测方法、装置及计算机存储介质
CN115909215B (zh) 一种基于目标检测的边缘入侵预警方法及系统
CN110855932B (zh) 基于视频数据的报警方法、装置、电子设备及存储介质
CN113139478A (zh) 一种高空抛物的检测方法、装置、电子设备及存储介质
CN112581489A (zh) 一种视频压缩方法、装置及存储介质
WO2014038924A2 (en) A method for producing a background model
JP2024516642A (ja) 行動検出方法、電子機器およびコンピュータ読み取り可能な記憶媒体
CN114550060A (zh) 周界入侵识别方法、系统及电子设备
CN109859200B (zh) 一种基于背景分析的低空慢速无人机快速检测方法
abd el Azeem Marzouk Modified background subtraction algorithm for motion detection in surveillance systems
CN114612850A (zh) 高空抛物检测方法、电子设备和存储介质
TWI448992B (zh) 視訊監控方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210720

WW01 Invention patent application withdrawn after publication