CN113158963A - 一种高空抛物的检测方法及装置 - Google Patents
一种高空抛物的检测方法及装置 Download PDFInfo
- Publication number
- CN113158963A CN113158963A CN202110492228.7A CN202110492228A CN113158963A CN 113158963 A CN113158963 A CN 113158963A CN 202110492228 A CN202110492228 A CN 202110492228A CN 113158963 A CN113158963 A CN 113158963A
- Authority
- CN
- China
- Prior art keywords
- detected
- monitoring video
- brightness
- sample
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 90
- 238000012544 monitoring process Methods 0.000 claims abstract description 296
- 238000000034 method Methods 0.000 claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims description 46
- 239000000203 mixture Substances 0.000 claims description 32
- 238000004891 communication Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000007613 environmental effect Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 10
- 238000005286 illumination Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 241000023320 Luma <angiosperm> Species 0.000 description 4
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 238000007621 cluster analysis Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种高空抛物的检测方法及装置，涉及安防技术领域，方法包括：获取包括建筑物外立面的监控视频，作为待检测监控视频；针对所述待检测监控视频中的每一待检测监控视频帧，提取该待检测监控视频帧中的前景图像，作为待检测前景图像；对各个待检测前景图像进行叠加，得到待检测叠加前景图像；基于所述待检测叠加前景图像，以及预设的包含高空抛物的叠加前景图像，确定所述待检测监控视频中是否存在高空抛物。基于上述处理，能够有效地检测出高空抛物。
Description
技术领域
本发明涉及安防技术领域，特别是涉及一种高空抛物的检测方法及装置。
背景技术
现代城市中，建筑物越来越高，高层建筑物中抛出的物体给人员、车辆、或者其他目标的安全带来了很大的隐患。
因此，亟需一种用于检测高空抛物的方法，以有效地检测出高空抛物。
发明内容
本发明实施例的目的在于提供一种高空抛物的检测方法及装置，能够有效地检测出高空抛物。具体技术方案如下：
第一方面，为了达到上述目的，本发明实施例公开了一种高空抛物的检测方法，所述方法包括：
获取包括建筑物外立面的监控视频，作为待检测监控视频；
针对所述待检测监控视频中的每一待检测监控视频帧，提取该待检测监控视频帧中的前景图像，作为待检测前景图像；
对各个待检测前景图像进行叠加，得到待检测叠加前景图像；
基于所述待检测叠加前景图像，以及预设的包含高空抛物的叠加前景图像，确定所述待检测监控视频中是否存在高空抛物。
可选的，所述提取该待检测监控视频帧中的前景图像，作为待检测前景图像，包括：
基于将该待检测监控视频帧中每一像素位置的像素值，与该像素位置对应的混合高斯模型进行匹配，确定该待检测监控视频帧中该像素位置是否为前景像素位置；
获取该待检测监控视频帧中各个前景像素位置对应的图像，得到该待检测监控视频帧中的前景图像，作为待检测前景图像。
可选的，在基于将该待检测监控视频帧中每一像素位置的像素值，与该像素位置对应的混合高斯模型(Gaussian Mixed Model，GMM)进行匹配，确定该待检测监控视频帧中该像素位置是否为前景像素位置之前，所述方法还包括：
获取包括建筑物外立面的样本监控视频，作为第一样本监控视频；
对所述第一样本监控视频中的每一像素位置的像素值进行建模，得到每一像素位置对应的混合高斯模型；
其中，每一像素位置对应的混合高斯模型包含多个高斯模型，每一高斯模型为基于该像素位置的预设邻域的各个像素位置的像素值，以及各个像素位置的预设权重计算得到的。
可选的，所述获取包括建筑物外立面的监控视频，作为待检测监控视频，包括：
获取包括建筑物外立面的初始监控视频；
若采集所述初始监控视频时的环境光亮度小于第一预设亮度值，对所述初始监控视频进行图像增强处理，得到待检测监控视频。
可选的，所述对所述初始监控视频进行图像增强处理，得到待检测监控视频，包括：
将所述初始监控视频输入至预先训练的图像增强网络，得到增强处理后的初始监控视频，作为待检测监控视频；
其中，所述图像增强网络为基于第二样本监控视频进行训练得到的；所述第二样本监控视频包括第一亮度样本监控视频和对应的第二亮度样本监控视频；所述第二亮度样本监控视频为对所述第一亮度样本监控视频的亮度进行降低得到的。
可选的，所述图像增强网络通过以下步骤训练得到：
获取第一亮度样本监控视频和对应的第二亮度样本监控视频；
将所述第二亮度样本监控视频输入至待训练的图像增强网络，得到所述图像增强网络输出的预测亮度监控视频；
基于所述预测亮度监控视频和所述第一亮度样本监控视频，计算所述第二亮度样本监控视频对应的损失值；
基于所述第二亮度样本监控视频对应的损失值，调整所述图像增强网络的网络参数，继续训练，直到所述图像增强网络收敛。
可选的，所述获取第一亮度样本监控视频和对应的第二亮度样本监控视频，包括：
获取第一亮度样本监控视频；其中，所述第一亮度样本监控视频为环境光亮度大于第二预设亮度值的情况下采集到的监控视频；
基于预设伽马系数，对所述第一亮度样本监控视频进行伽马变换，得到第二亮度样本监控视频；
其中，所述预设伽马系数表示：环境光亮度大于第二预设亮度值的情况下采集的监控视频帧，与环境光亮度小于第一预设亮度值的情况下采集的监控视频帧的亮度值的比值。
可选的，所述基于预设伽马系数，对所述第一亮度样本监控视频进行伽马变换，得到第二亮度样本监控视频，包括：
基于预设伽马系数，对所述第一亮度样本监控视频进行伽马变换，得到变换后的第一亮度样本监控视频；
对变换后的第一亮度样本监控视频添加高斯白噪声，得到第二亮度样本监控视频。
可选的，所述图像增强网络为三维网络3D-UNET。
可选的，所述基于所述待检测叠加前景图像，以及预设的包含高空抛物的叠加前景图像，确定所述待检测监控视频中是否存在高空抛物，包括：
将所述待检测叠加前景图像输入至预先训练的检测网络，得到所述待检测叠加前景图像的目标置信度；其中，所述检测网络为基于包含高空抛物的样本叠加前景图像进行训练得到的；
基于所述目标置信度和预设阈值，确定所述待检测监控视频中是否存在高空抛物。
可选的，所述检测网络通过以下步骤训练得到：
获取包含高空抛物的样本叠加前景图像；其中，所述样本叠加前景图像包含：表示所述样本叠加前景图像中目标对象的边界的第一标签，以及表示所述样本叠加前景图像包含高空抛物的概率的第二标签；
将所述样本叠加前景图像输入至待训练的检测网络，得到预设数目个边界，以及每一边界对应的置信度；
基于各个边界和所述第一标签，以及各个边界的置信度和所述第二标签，计算所述样本叠加前景图像对应的损失值；
基于所述样本叠加前景图像对应的损失值，调整所述检测网络的网络参数，继续训练，直到所述检测网络收敛。
可选的，所述将所述待检测叠加前景图像输入至预先训练的检测网络，得到所述待检测叠加前景图像的目标置信度，包括：
将所述待检测叠加前景图像输入至预先训练的检测网络，得到预设数目个置信度，作为所述待检测叠加前景图像的目标置信度；
所述基于所述目标置信度和预设阈值，确定所述待检测监控视频中是否存在高空抛物，包括：
若各个目标置信度中存在大于预设阈值的置信度，确定所述待检测监控视频中存在高空抛物。
可选的，在所述基于所述待检测叠加前景图像，以及预设的包含高空抛物的叠加前景图像，确定所述待检测监控视频中是否存在高空抛物之后，所述方法还包括：
若确定所述待检测监控视频中存在高空抛物，则进行告警。
第二方面，为了达到上述目的，本发明实施例公开了一种高空抛物的检测装置，所述装置包括：
待检测监控视频获取模块，用于获取包括建筑物外立面的监控视频，作为待检测监控视频；
待检测前景图像获取模块，用于针对所述待检测监控视频中的每一待检测监控视频帧，提取该待检测监控视频帧中的前景图像，作为待检测前景图像；
待检测叠加前景图像获取模块，用于对各个待检测前景图像进行叠加，得到待检测叠加前景图像；
检测模块，用于基于所述待检测叠加前景图像，以及预设的包含高空抛物的叠加前景图像，确定所述待检测监控视频中是否存在高空抛物。
可选的，所述待检测前景图像获取模块，具体用于基于将该待检测监控视频帧中每一像素位置的像素值，与该像素位置对应的混合高斯模型进行匹配，确定该待检测监控视频帧中该像素位置是否为前景像素位置；
获取该待检测监控视频帧中各个前景像素位置对应的图像，得到该待检测监控视频帧中的前景图像，作为待检测前景图像。
可选的，所述装置还包括：
混合高斯模型获取模块，用于在基于将该待检测监控视频帧中每一像素位置的像素值，与该像素位置对应的混合高斯模型进行匹配，确定该待检测监控视频帧中该像素位置是否为前景像素位置之前，获取包括建筑物外立面的样本监控视频，作为第一样本监控视频；
对所述第一样本监控视频中的每一像素位置的像素值进行建模，得到每一像素位置对应的混合高斯模型；
其中，每一像素位置对应的混合高斯模型包含多个高斯模型，每一高斯模型为基于该像素位置的预设邻域的各个像素位置的像素值，以及各个像素位置的预设权重计算得到的。
可选的，所述待检测监控视频获取模块，包括：
初始监控视频获取子模块，用于获取包括建筑物外立面的初始监控视频；
待检测监控视频获取子模块，用于若采集所述初始监控视频时的环境光亮度小于第一预设亮度值，对所述初始监控视频进行图像增强处理，得到待检测监控视频。
可选的，所述待检测监控视频获取子模块，具体用于将所述初始监控视频输入至预先训练的图像增强网络，得到增强处理后的初始监控视频，作为待检测监控视频；
其中，所述图像增强网络为基于第二样本监控视频进行训练得到的；所述第二样本监控视频包括第一亮度样本监控视频和对应的第二亮度样本监控视频；所述第二亮度样本监控视频为对所述第一亮度样本监控视频的亮度进行降低得到的。
可选的，所述装置还包括：
样本监控视频获取模块，用于获取第一亮度样本监控视频和对应的第二亮度样本监控视频；
预测亮度监控视频获取模块，用于将所述第二亮度样本监控视频输入至待训练的图像增强网络，得到所述图像增强网络输出的预测亮度监控视频；
第一损失值计算模块，用于基于所述预测亮度监控视频和所述第一亮度样本监控视频，计算所述第二亮度样本监控视频对应的损失值；
图像增强网络训练模块，用于基于所述第二亮度样本监控视频对应的损失值，调整所述图像增强网络的网络参数，继续训练，直到所述图像增强网络收敛。
可选的，所述样本监控视频获取模块，包括：
第一亮度样本监控视频获取子模块，用于获取第一亮度样本监控视频；其中，所述第一亮度样本监控视频为环境光亮度大于第二预设亮度值的情况下采集到的监控视频；
第二亮度样本监控视频获取子模块，用于基于预设伽马系数，对所述第一亮度样本监控视频进行伽马变换，得到第二亮度样本监控视频；
其中，所述预设伽马系数表示：环境光亮度大于第二预设亮度值的情况下采集的监控视频帧，与环境光亮度小于第一预设亮度值的情况下采集的监控视频帧的亮度值的比值。
可选的，所述第二亮度样本监控视频获取子模块，具体用于基于预设伽马系数，对所述第一亮度样本监控视频进行伽马变换，得到变换后的第一亮度样本监控视频；
对变换后的第一亮度样本监控视频添加高斯白噪声，得到第二亮度样本监控视频。
可选的，所述图像增强网络为三维网络3D-UNET。
可选的，所述检测模块，包括：
目标置信度获取子模块，用于将所述待检测叠加前景图像输入至预先训练的检测网络，得到所述待检测叠加前景图像的目标置信度；其中，所述检测网络为基于包含高空抛物的样本叠加前景图像进行训练得到的；
检测子模块，用于基于所述目标置信度和预设阈值，确定所述待检测监控视频中是否存在高空抛物。
可选的，所述装置还包括：
样本叠加前景图像获取模块，用于获取包含高空抛物的样本叠加前景图像；其中，所述样本叠加前景图像包含：表示所述样本叠加前景图像中目标对象的边界的第一标签，以及表示所述样本叠加前景图像包含高空抛物的概率的第二标签；
处理模块，用于将所述样本叠加前景图像输入至待训练的检测网络，得到预设数目个边界，以及每一边界对应的置信度；
第二损失值计算模块，用于基于各个边界和所述第一标签，以及各个边界的置信度和所述第二标签，计算所述样本叠加前景图像对应的损失值；
检测网络训练模块，用于基于所述样本叠加前景图像对应的损失值，调整所述检测网络的网络参数，继续训练，直到所述检测网络收敛。
可选的，所述目标置信度获取子模块，具体用于将所述待检测叠加前景图像输入至预先训练的检测网络，得到预设数目个置信度，作为所述待检测叠加前景图像的目标置信度；
所述检测子模块，具体用于若各个目标置信度中存在大于预设阈值的置信度，确定所述待检测监控视频中存在高空抛物。
可选的，所述装置还包括：
告警模块，用于在所述基于所述待检测叠加前景图像，以及预设的包含高空抛物的叠加前景图像，确定所述待检测监控视频中是否存在高空抛物之后，若确定所述待检测监控视频中存在高空抛物，则进行告警。
在本发明实施的另一方面，为了达到上述目的，本发明实施例还公开了一种电子设备，所述电子设备包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现如上述第一方面所述的高空抛物的检测方法。
在本发明实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的高空抛物的检测方法。
在本发明实施的又一方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面所述的高空抛物的检测方法。
本发明实施例有益效果：
本发明实施例提供的高空抛物的检测方法，可以获取包括建筑物外立面的监控视频，作为待检测监控视频。针对待检测监控视频中的每一待检测监控视频帧，提取该待检测监控视频帧中的前景图像，作为待检测前景图像，进而，对各个待检测前景图像进行叠加，得到待检测叠加前景图像，并基于待检测叠加前景图像，以及预设的包含高空抛物的叠加前景图像，确定待检测监控视频中是否存在高空抛物。
若存在高空抛物，则确定出的待检测监控视频中的前景图像，也就是抛出的目标对象的图像，因此，待检测叠加前景图像也就能够体现目标对象的运动轨迹。相应的，基于待检测叠加前景图像，以及预设的包含高空抛物的叠加前景图像，也就能够确定待检测监控视频中存在高空抛物。即，本发明实施例提供的高空抛物的检测方法，能够有效地检测出高空抛物。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
图1为本发明实施例提供的一种高空抛物的检测方法的流程图；
图2为本发明实施例提供的另一种高空抛物的检测方法的流程图；
图3为本发明实施例提供的另一种高空抛物的检测方法的流程图；
图4为本发明实施例提供的另一种高空抛物的检测方法的流程图；
图5为本发明实施例提供的一种3D-UNET的架构图；
图6为本发明实施例提供的一种图像增强网络训练方法的流程图；
图7为本发明实施例提供的另一种图像增强网络训练方法的流程图；
图8为本发明实施例提供的另一种图像增强网络训练方法的流程图；
图9为本发明实施例提供的另一种高空抛物的检测方法的流程图；
图10为本发明实施例提供的一种检测网络训练方法的流程图；
图11为本发明实施例提供的一种高空抛物的检测装置的结构图；
图12为本发明实施例提供的一种电子设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员基于本发明所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种高空抛物的检测方法，该方法可以应用于电子设备。该电子设备可以安装于距离建筑物一定距离的地面，以采集建筑物外立面的监控视频，进而，可以基于采集的监控视频进行高空抛物检测；或者，该电子设备也可以获取图像采集设备采集的建筑物外立面的监控视频，并基于获取的监控视频进行高空抛物检测。
参见图1，图1为本发明实施例提供的一种高空抛物的检测方法的流程图，该方法可以包括以下步骤：
S101：获取包括建筑物外立面的监控视频，作为待检测监控视频。
S102：针对待检测监控视频中的每一待检测监控视频帧，提取该待检测监控视频帧中的前景图像，作为待检测前景图像。
S103：对各个待检测前景图像进行叠加，得到待检测叠加前景图像。
S104：基于待检测叠加前景图像，以及预设的包含高空抛物的叠加前景图像，确定待检测监控视频中是否存在高空抛物。
若存在高空抛物，则确定出的待检测监控视频中的前景图像，也就是抛出的目标对象的图像，因此，待检测叠加前景图像也就能够体现目标对象的运动轨迹。相应的，基于待检测叠加前景图像，以及预设的包含高空抛物的叠加前景图像，也就能够确定待检测监控视频中存在高空抛物。即，本发明实施例提供的高空抛物的检测方法，能够有效地检测出高空抛物。
针对步骤S101，获取的待检测监控视频中的视频帧可以为SRGB(Standard RedGreen Blue，标准红绿蓝)格式。待检测监控视频也就是当前需要进行检测的监控视频，以确定其是否包含高空抛物。
针对步骤S102，可以通过不同的方式，获取待检测监控视频帧中的前景图像。
在一个实施例中，可以采用基于区域或者基于边缘的图像分割算法，提取待检测监控视频帧中的前景图像。
在另一个实施例中，也可以基于混合高斯模型提取待检测监控视频帧中的前景图像。
一种实现方式中，参见图2，在图1的基础上，上述步骤S102可以包括以下步骤：
S1021：针对待检测监控视频中的每一待检测监控视频帧，基于将该待检测监控视频帧中每一像素位置的像素值，与该像素位置对应的混合高斯模型进行匹配，确定该待检测监控视频帧中该像素位置是否为前景像素位置。
S1022：获取该待检测监控视频帧中各个前景像素位置对应的图像，得到该待检测监控视频帧中的前景图像，作为待检测前景图像。
在本发明实施例中，在提取待检测监控视频帧中的前景图像之前，可以预先为每一像素位置建立对应的混合高斯模型，后续，针对每一像素位置，则可以将待检测监控视频帧中该像素位置的像素值，与该像素位置对应的混合高斯模型进行匹配。
若相匹配，则可以确定待检测监控视频帧中该像素位置为背景像素位置；若不匹配，则可以确定待检测监控视频帧中该像素位置为前景像素位置。
进而，则可以确定出待检测监控视频帧中所有的前景像素位置，得到待检测前景图像。
一种实现方式，针对每一像素位置，可以基于包括建筑物外立面的样本监控视频中该像素位置的像素值，建立混合高斯模型。即，对样本监控视频中每一像素位置的像素值进行时间方向的统计，得到该像素位置的像素值对应的多个高斯概率密度函数(高斯模型)的加权和，即，得到对应的混合高斯模型。
例如，获取待检测监控视频帧中每一像素位置的像素值，并与对应的混合高斯模型进行比较，若满足如下公式：|x-μ|<2.5δ，则确定该像素位置的像素值与对应的混合高斯模型相匹配，否则，确定不相匹配。其中，x表示待检测监控视频帧中该像素位置的像素值，μ表示该像素位置对应的混合高斯模型的均值，δ表示该像素位置对应的混合高斯模型的方差。
另外，若相匹配，则还可以根据该像素位置的像素值，对混合高斯模型的参数更新。若不匹配，则需要在混合高斯模型中增加一个新的高斯模型，且如果添加前高斯模型的个数已经达到上限，则可以将权重值最小的高斯模型删除，再新增一个高斯模型。
另一种实现方式中，针对每一像素位置，还可以结合其领域范围内的其他像素位置的像素值，得到对应的混合高斯模型。
参见图3，在图2的基础上，在上述步骤S1021之前，该方法还可以包括以下步骤：
S105：获取包括建筑物外立面的样本监控视频，作为第一样本监控视频。
S106：对第一样本监控视频中的每一像素位置的像素值进行建模，得到每一像素位置对应的混合高斯模型。
其中，每一像素位置对应的混合高斯模型包含多个高斯模型，每一高斯模型为基于该像素位置的预设邻域的各个像素位置的像素值，以及各个像素位置的预设权重计算得到的。
第一样本监控视频可以为待检测监控视频之前采集的监控视频，第一样本监控视频包含多个样本监控视频帧，例如，可以包含200个样本监控视频帧，或者，也可以包含300个样本监控视频帧，但并不限于此。
在本发明实施例中，针对每一像素位置，其预设邻域可以由技术人员根据经验进行设置，例如，预设邻域可以为以该像素位置为中心点的3×3的领域，或者，也可以为以该像素位置为中心点的5×5的领域，但并不限于此。
在该像素位置的预设邻域内，各个像素位置的预设权重可以由技术人员根据经验进行设置。其中，该像素位置的预设权重，可以大于其预设邻域内其他像素位置的预设权重。例如，预设邻域为以该像素位置为中心点的3×3的领域范围，则该像素位置的预设权重可以为3，其预设邻域内其他8个像素位置的预设权重可以为1。
一种实现方式中，可以按照各自的预设权重，计算该像素位置的预设邻域内各个像素位置的像素值的加权和的平均值，并基于该平均值进行时间方向的统计，得到该像素位置对应的混合高斯模型。
基于上述处理，针对每一像素位置，在建立对应的混合高斯模型时，不仅仅考虑了其自身的像素值，还结合了其领域内其他像素位置的像素值，相对于只考虑其自身的像素值，能够避免图像分割的结果对噪声敏感，以及图像分割产生不连续区域的现象。也就是说，基于上述处理，综合了邻域像素之间的空间信息关系，构造出具有更强抗噪性的空间信息关系，能够提高混合高斯模型对于噪声的抑制能力。
在一个实施例中，参见图4，在图1的基础上，上述步骤S101可以包括以下步骤：
S1011：获取包括建筑物外立面的初始监控视频。
S1012：若采集初始监控视频时的环境光亮度小于第一预设亮度值，对初始监控视频进行图像增强处理，得到待检测监控视频。
其中，第一预设亮度值可以由技术人员根据经验进行设置。例如，当环境光亮度小于第一预设亮度值时，表明当前的环境光亮度较低，可能为夜晚光照不足的场景。
在本发明实施例中，若采集初始监控视频时的环境光亮度小于第一预设亮度值，表明待检测的监控视频(即初始监控视频)的图像信噪比较低，初始监控视频会存在模糊、昏暗，甚至会出现伪影等现象，此时，如果直接对初始监控视频进行检测，会降低检测的精确度。因此，为了提高检测的精确度，可以对初始监控视频进行图像增强处理。
一种实现方式中，可以基于预设图像增强处理算法，对初始监控视频进行处理，得到待检测监控视频。例如，预设图像增强处理算法可以为伽马变换算法、或者，也可以为灰度变换增强算法。
在另一种方式中，上述步骤S1012可以包括以下步骤：
将初始监控视频输入至预先训练的图像增强网络，得到增强处理后的初始监控视频，作为待检测监控视频。
其中，图像增强网络可以为基于第二样本监控视频进行训练得到的。第二样本监控视频包括第一亮度样本监控视频和对应的第二亮度样本监控视频。第二亮度样本监控视频为对第一亮度样本监控视频的亮度进行降低得到的。
在本发明实施例中，第一亮度样本监控视频和对应的第二亮度样本监控视频，其拍摄的对象相同，且二者的亮度不同，导致二者的图像质量存在差异。
一种实现方式中，图像增强网络可以为2D-UNET(二维网络)。
在一个实施例中，图像增强网络可以为3D-UNET(三维网络)。
在本发明实施例中，采用3D-UNET，其与2D-UNET的区别在于将普通的卷积层替换成3D卷积层。3D-UENT的输入数据是一段时间序列上连续的多个视频帧，输出数据为一段时间序列上连续的，并且经过增强后的多个视频帧。3D-UNET的特殊网络结构，保证了经过增强处理后，时间序列上的各视频帧间亮度变化更加的平滑，不会出现视频帧间图像闪烁的情况。
示例性的，参见图5，图5为本发明实施例提供的一种3D-UNET的架构图。
图5所示的3D-UNET包括：3D卷积层、3D Max Pool(三维最大池化)层以及3D Up-conv(三维反卷积)层。整个3D-UNET可以划分为左边的EnCode(编码)部分和右边的DeCode(解码)部分，并且EnCode与DeCode的对应层之间有直连通路。图5中，每个长方体表示3D卷积层。
在一个实施例中，参见图6，图6为本发明实施例提供的一种图像增强网络训练方法的流程图，该方法可以包括以下步骤：
S601：获取第一亮度样本监控视频和对应的第二亮度样本监控视频。
S602：将第二亮度样本监控视频输入至待训练的图像增强网络，得到图像增强网络输出的预测亮度监控视频。
S603：基于预测亮度监控视频和第一亮度样本监控视频，计算第二亮度样本监控视频对应的损失值。
S604：基于第二亮度样本监控视频对应的损失值，调整图像增强网络的网络参数，继续训练，直到图像增强网络收敛。
在本发明实施例中，可以将第二亮度样本监控视频作为图像增强网络的输入数据，其对应的期望输出为第一亮度样本监控视频。
可以基于图像增强网络的实际输出(即预测亮度监控视频)，与第一亮度样本监控视频，计算损失值，并基于损失值调整网络参数，直至收敛。
一种实现方式中，在将第二亮度样本视频输入至图像增强网络之前，可以先进行归一化处理，进而，可以将归一化处理后的第二亮度样本视频输入至图像增强网络，进行训练。另外，网络训练的批次(batch)可以为1，即，每次输入一组视频帧进行训练。
网络训练的损失函数可以为：预测亮度监控视频与第一亮度样本监控视频之间的MAE(Mean Absolute Error，平均绝对误差)，与预测亮度监控视频与第一亮度样本监控视频之间的Perceptual Loss(感知损失)的加权和。其中，预测亮度监控视频与第一亮度样本监控视频之间的MAE关注二者的底层特征差异，而感知损失更加关注二者之间高层特征差异。
在一个实施例中，参见图7，在图6的基础上，上述步骤S601可以包括以下步骤：
S6011：获取第一亮度样本监控视频。
其中，第一亮度样本监控视频为环境光亮度大于第二预设亮度值的情况下采集到的监控视频。
S6012：基于预设伽马系数，对第一亮度样本监控视频进行伽马变换，得到第二亮度样本监控视频。
其中，预设伽马系数表示：环境光亮度大于第二预设亮度值的情况下采集的监控视频帧，与环境光亮度小于第一预设亮度值的情况下采集的监控视频帧的亮度值的比值。
第二预设亮度值不小于第一预设亮度值。第二预设亮度值可以由技术人员根据经验进行设置。例如，当环境光亮度大于第二预设亮度值时，表明当前的环境光亮度较高，可能为白天光照充足的场景。
在本发明实施例中，可以采集光照充足(即环境光亮度大于第二预设亮度值的情况下)与光照不足(即环境光亮度小于第一预设亮度值的情况下)两种环境下的监控视频帧，并对获取的监控视频帧进行灰度化处理，得到灰度图像，进而，可以计算灰度图像的像素值。
灰度图像的像素值可以用各个像素点的像素值的和值表示，或者，也可以用各个像素点的像素值的平均值表示。
然后，计算光照充足时灰度图像的像素值，与光照不足时灰度图像的像素值的比值，作为预设伽马系数。可以理解的是，该预设伽马系数大于1。
基于上述处理，能够模拟室外光照不足的场景，自动生成大量环境光亮度较低时的监控视频，提高图像增强网络的训练效率。
在一个实施例中，在图7的基础上，参见图8，上述步骤S6012可以包括以下步骤：
S60121：基于预设伽马系数，对第一亮度样本监控视频进行伽马变换，得到变换后的第一亮度样本监控视频。
S60122：对变换后的第一亮度样本监控视频添加高斯白噪声，得到第二亮度样本监控视频。
在本发明实施例中，由于环境光亮度较低时的监控视频在其成像过程中，都伴随着噪声的产生，其中高斯白噪声对图像质量的影响尤为严重。因此，为了更真实的模拟室外光照不足的场景，可以对变换后的第一亮度样本监控视频添加高斯白噪声。
针对上述步骤S104，一种实现方式中，可以计算待检测叠加前景图像，与预设的包含高空抛物的叠加前景图像的相似度，并基于相似度，确定待检测监控视频中是否存在高空抛物。
例如，若相似度大于预设相似度阈值，则确定待检测监控视频中存在高空抛物；若相似度不大于预设相似度阈值，则确定待检测监控视频中不存在高空抛物。
在一个实施例中，在图1的基础上，参见图9，上述步骤S104可以包括以下步骤：
S1041：将待检测叠加前景图像输入至预先训练的检测网络，得到待检测叠加前景图像的目标置信度。
其中，检测网络为基于包含高空抛物的样本叠加前景图像进行训练得到的。
S1042：基于目标置信度和预设阈值，确定待检测监控视频中是否存在高空抛物。
其中，预设阈值可以由技术人员根据经验进行设置，例如，预设阈值可以为0.8，或者，也可以为0.9，但并不限于此。
在本发明实施例中，可以基于神经网络对待检测叠加前景图像进行检测，能够提高检测的适应能力和泛化能力，并且对于前景分割图像中的噪声有更强的抑制能力，可以提高检测的鲁棒性。
在一个实施例中，若将待检测叠加前景图像输入至检测网络，得到一个置信度(即目标置信度)，且该目标置信度大于预设阈值，表明待检测叠加前景图像中目标对象的轨迹，与高空抛物的轨迹相似度较大，因此，可以确定待检测监控视频中存在高空抛物。
另外，若该目标置信度不大于预设阈值，表明待检测叠加前景图像中目标对象的轨迹，与高空抛物的轨迹相似度较小，此时，可以确定待检测监控视频中不存在高空抛物。
在一个实施例中，检测网络可以为深度学习网络，例如，可以为YOLO网络，或者，也可以为AlexNet，但并不限于此。
在一个实施例中，若确定待检测监控视频中存在高空抛物，则进行告警。
在一个实施例中，参见图10，图10为本发明实施例提供的一种检测网络训练方法的流程图，该方法可以包括以下步骤：
S1001：获取包含高空抛物的样本叠加前景图像。
其中，样本叠加前景图像包含：表示样本叠加前景图像中目标对象的边界的第一标签，以及表示样本叠加前景图像包含高空抛物的概率的第二标签。
S1002：将样本叠加前景图像输入至待训练的检测网络，得到预设数目个边界，以及每一边界对应的置信度。
S1003：基于各个边界和第一标签，以及各个边界的置信度和第二标签，计算样本叠加前景图像对应的损失值。
S1004：基于样本叠加前景图像对应的损失值，调整检测网络的网络参数，继续训练，直到检测网络收敛。
其中，预设数目可以根据样本叠加前景图像的大小确定。
在本发明实施例中，针对每一边界，可以计算该边界和第一标签之间的损失值，以及该边界的置信度和第二标签之间的损失值，进而，将两个损失值的和值作为该边界对应的损失值。然后，可以计算各个边界对应的损失值的总和值，作为该样本叠加前景图像对应的损失值。
其中，一个边界的置信度和第二标签之间的损失值，可以基于交叉熵损失函数计算。一个边界和第一标签之间的损失值可以基于边界框的GIOU(GeneralizedIntersection Over Union，全面交并比)的损失函数计算。
一种实现方式中，检测网络为YOLO网络，相应的，可以基于K-means聚类分析对各个样本叠加前景图像的第一标签进行聚类分析，得到至少一个目标标签，作为训练检测网络时的Anchor box(描框)。
另外，本发明实施例中的YOLO网络可以采用深度可分离卷积(DepthwiseSeparable Convolution，DSC)代替传统的卷积层。例如，可以采用单通道的3X3卷积结合跨通道的1X1卷积替换跨通道的3X3卷积，如此，能够减少检测网络的参数的数量和计算量，同时，可以基于倒残差(Inverted Residual)和线性瓶颈(Linear Bottleneck)等算法来保持检测网络的精度。
一种实现方式中，检测网络中的激活函数可以为Mish函数。Mish(米什)函数上对负值并不是完全截断，而是允许比较小的负梯度流入，从而保证激活函数的输出更加平滑。平滑的激活函数可以使检测网络具有更好的精度和泛化性。
一种实现方式中，在训练检测网络时，可以先对样本叠加前景图像进行归一化处理，并基于归一化处理后的样本叠加前景图像，以batch＝64的方式进行训练。
基于上述步骤S1001-S1004训练的检测网络，对待检测叠加前景图像进行检测时，上述步骤S1041可以包括以下步骤：将待检测叠加前景图像输入至预先训练的检测网络，得到预设数目个置信度，作为待检测叠加前景图像的目标置信度。
相应的，上述步骤S1042可以包括以下步骤：若各个目标置信度中存在大于预设阈值的置信度，确定待检测监控视频中存在高空抛物。
在本发明实施例中，利用上述步骤S1001-S1004训练的检测网络，对待检测叠加前景图像进行检测时，可以得到预设数目个边界，以及每一边界的置信度，作为目标置信度。
进而，若各个目标置信度中存在大于预设阈值的置信度，则可以确定待检测监控视频中存在高空抛物，否则，可以确定待检测监控视频中不存在高空抛物。
在一个实施例中，还可以确定出大于预设阈值的目标置信度对应的边界。若确定出的边界为一个，则该边界也就是待检测叠加前景图像中目标对象的边界。
若确定出的边界为多个，则可以对该多个边界进行融合，得到最终的边界，作为待检测叠加前景图像中目标对象的边界。
基于相同的发明构思，本发明实施例还提供了一种高空抛物的检测装置，参见图11，图11为本发明实施例提供的一种高空抛物的检测装置的结构图，该装置可以包括：
待检测监控视频获取模块1101，用于获取包括建筑物外立面的监控视频，作为待检测监控视频；
待检测前景图像获取模块1102，用于针对所述待检测监控视频中的每一待检测监控视频帧，提取该待检测监控视频帧中的前景图像，作为待检测前景图像；
待检测叠加前景图像获取模块1103，用于对各个待检测前景图像进行叠加，得到待检测叠加前景图像；
检测模块1104，用于基于所述待检测叠加前景图像，以及预设的包含高空抛物的叠加前景图像，确定所述待检测监控视频中是否存在高空抛物。
可选的，所述待检测前景图像获取模块1102，具体用于基于将该待检测监控视频帧中每一像素位置的像素值，与该像素位置对应的混合高斯模型进行匹配，确定该待检测监控视频帧中该像素位置是否为前景像素位置；
获取该待检测监控视频帧中各个前景像素位置对应的图像，得到该待检测监控视频帧中的前景图像，作为待检测前景图像。
可选的，所述装置还包括：
混合高斯模型获取模块，用于在基于将该待检测监控视频帧中每一像素位置的像素值，与该像素位置对应的混合高斯模型进行匹配，确定该待检测监控视频帧中该像素位置是否为前景像素位置之前，获取包括建筑物外立面的样本监控视频，作为第一样本监控视频；
对所述第一样本监控视频中的每一像素位置的像素值进行建模，得到每一像素位置对应的混合高斯模型；
其中，每一像素位置对应的混合高斯模型包含多个高斯模型，每一高斯模型为基于该像素位置的预设邻域的各个像素位置的像素值，以及各个像素位置的预设权重计算得到的。
可选的，所述待检测监控视频获取模块1101，包括：
初始监控视频获取子模块，用于获取包括建筑物外立面的监控视频，作为初始监控视频；
待检测监控视频获取子模块，用于若采集所述初始监控视频时的环境光亮度小于第一预设亮度值，对所述初始监控视频进行图像增强处理，得到待检测监控视频。
可选的，所述待检测监控视频获取子模块，具体用于将所述初始监控视频输入至预先训练的图像增强网络，得到增强处理后的初始监控视频，作为待检测监控视频；
其中，所述图像增强网络为基于第二样本监控视频进行训练得到的；所述第二样本监控视频包括第一亮度样本监控视频和对应的第二亮度样本监控视频；所述第二亮度样本监控视频为对所述第一亮度样本监控视频的亮度进行降低得到的。
可选的，所述装置还包括：
样本监控视频获取模块，用于获取第一亮度样本监控视频和对应的第二亮度样本监控视频；
预测亮度监控视频获取模块，用于将所述第二亮度样本监控视频输入至待训练的图像增强网络，得到所述图像增强网络输出的预测亮度监控视频；
第一损失值计算模块，用于基于所述预测亮度监控视频和所述第一亮度样本监控视频，计算所述第二亮度样本监控视频对应的损失值；
图像增强网络训练模块，用于基于所述第二亮度样本监控视频对应的损失值，调整所述图像增强网络的网络参数，继续训练，直到所述图像增强网络收敛。
可选的，所述样本监控视频获取模块，包括：
第一亮度样本监控视频获取子模块，用于获取第一亮度样本监控视频；其中，所述第一亮度样本监控视频为环境光亮度大于第二预设亮度值的情况下采集到的监控视频；
第二亮度样本监控视频获取子模块，用于基于预设伽马系数，对所述第一亮度样本监控视频进行伽马变换，得到第二亮度样本监控视频；
其中，所述预设伽马系数表示：环境光亮度大于第二预设亮度值的情况下采集的监控视频帧，与环境光亮度小于第一预设亮度值的情况下采集的监控视频帧的亮度值的比值。
可选的，所述第二亮度样本监控视频获取子模块，具体用于基于预设伽马系数，对所述第一亮度样本监控视频进行伽马变换，得到变换后的第一亮度样本监控视频；
对变换后的第一亮度样本监控视频添加高斯白噪声，得到第二亮度样本监控视频。
可选的，所述图像增强网络为三维网络3D-UNET。
可选的，所述检测模块1104，包括：
目标置信度获取子模块，用于将所述待检测叠加前景图像输入至预先训练的检测网络，得到所述待检测叠加前景图像的目标置信度；其中，所述检测网络为基于包含高空抛物的样本叠加前景图像进行训练得到的；
检测子模块，用于基于所述目标置信度和预设阈值，确定所述待检测监控视频中是否存在高空抛物。
可选的，所述装置还包括：
样本叠加前景图像获取模块，用于获取包含高空抛物的样本叠加前景图像；其中，所述样本叠加前景图像包含：表示所述样本叠加前景图像中目标对象的边界的第一标签，以及表示所述样本叠加前景图像包含高空抛物的概率的第二标签；
处理模块，用于将所述样本叠加前景图像输入至待训练的检测网络，得到预设数目个边界，以及每一边界对应的置信度；
第二损失值计算模块，用于基于各个边界和所述第一标签，以及各个边界的置信度和所述第二标签，计算所述样本叠加前景图像对应的损失值；
检测网络训练模块，用于基于所述样本叠加前景图像对应的损失值，调整所述检测网络的网络参数，继续训练，直到所述检测网络收敛。
可选的，所述目标置信度获取子模块，具体用于将所述待检测叠加前景图像输入至预先训练的检测网络，得到预设数目个置信度，作为所述待检测叠加前景图像的目标置信度；
所述检测子模块，具体用于若各个目标置信度中存在大于预设阈值的置信度，确定所述待检测监控视频中存在高空抛物。
可选的，所述装置还包括：
告警模块，用于在所述基于所述待检测叠加前景图像，以及预设的包含高空抛物的叠加前景图像，确定所述待检测监控视频中是否存在高空抛物之后，若确定所述待检测监控视频中存在高空抛物，则进行告警。
本发明实施例还提供了一种电子设备，如图12所示，包括处理器1201、通信接口1202、存储器1203和通信总线1204，其中，处理器1201，通信接口1202，存储器1203通过通信总线1204完成相互间的通信，
存储器1203，用于存放计算机程序；
处理器1201，用于执行存储器1203上所存放的程序时，实现如下步骤：
获取包括建筑物外立面的监控视频，作为待检测监控视频；
针对所述待检测监控视频中的每一待检测监控视频帧，提取该待检测监控视频帧中的前景图像，作为待检测前景图像；
对各个待检测前景图像进行叠加，得到待检测叠加前景图像；
基于所述待检测叠加前景图像，以及预设的包含高空抛物的叠加前景图像，确定所述待检测监控视频中是否存在高空抛物。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一高空抛物的检测方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一高空抛物的检测方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质以及计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (28)
1.一种高空抛物的检测方法，其特征在于，所述方法包括：
获取包括建筑物外立面的监控视频，作为待检测监控视频；
针对所述待检测监控视频中的每一待检测监控视频帧，提取该待检测监控视频帧中的前景图像，作为待检测前景图像；
对各个待检测前景图像进行叠加，得到待检测叠加前景图像；
基于所述待检测叠加前景图像，以及预设的包含高空抛物的叠加前景图像，确定所述待检测监控视频中是否存在高空抛物。
2.根据权利要求1所述的方法，其特征在于，所述提取该待检测监控视频帧中的前景图像，作为待检测前景图像，包括：
基于将该待检测监控视频帧中每一像素位置的像素值，与该像素位置对应的混合高斯模型进行匹配，确定该待检测监控视频帧中该像素位置是否为前景像素位置；
获取该待检测监控视频帧中各个前景像素位置对应的图像，得到该待检测监控视频帧中的前景图像，作为待检测前景图像。
3.根据权利要求2所述的方法，其特征在于，在基于将该待检测监控视频帧中每一像素位置的像素值，与该像素位置对应的混合高斯模型进行匹配，确定该待检测监控视频帧中该像素位置是否为前景像素位置之前，所述方法还包括：
获取包括建筑物外立面的样本监控视频，作为第一样本监控视频；
对所述第一样本监控视频中的每一像素位置的像素值进行建模，得到每一像素位置对应的混合高斯模型；
其中，每一像素位置对应的混合高斯模型包含多个高斯模型，每一高斯模型为基于该像素位置的预设邻域的各个像素位置的像素值，以及各个像素位置的预设权重计算得到的。
4.根据权利要求1所述的方法，其特征在于，所述获取包括建筑物外立面的监控视频，作为待检测监控视频，包括：
获取包括建筑物外立面的初始监控视频；
若采集所述初始监控视频时的环境光亮度小于第一预设亮度值，对所述初始监控视频进行图像增强处理，得到待检测监控视频。
5.根据权利要求4所述的方法，其特征在于，所述对所述初始监控视频进行图像增强处理，得到待检测监控视频，包括：
将所述初始监控视频输入至预先训练的图像增强网络，得到增强处理后的初始监控视频，作为待检测监控视频；
其中，所述图像增强网络为基于第二样本监控视频进行训练得到的；所述第二样本监控视频包括第一亮度样本监控视频和对应的第二亮度样本监控视频；所述第二亮度样本监控视频为对所述第一亮度样本监控视频的亮度进行降低得到的。
6.根据权利要求5所述的方法，其特征在于，所述图像增强网络通过以下步骤训练得到：
获取第一亮度样本监控视频和对应的第二亮度样本监控视频；
将所述第二亮度样本监控视频输入至待训练的图像增强网络，得到所述图像增强网络输出的预测亮度监控视频；
基于所述预测亮度监控视频和所述第一亮度样本监控视频，计算所述第二亮度样本监控视频对应的损失值；
基于所述第二亮度样本监控视频对应的损失值，调整所述图像增强网络的网络参数，继续训练，直到所述图像增强网络收敛。
7.根据权利要求6所述的方法，其特征在于，所述获取第一亮度样本监控视频和对应的第二亮度样本监控视频，包括：
获取第一亮度样本监控视频；其中，所述第一亮度样本监控视频为环境光亮度大于第二预设亮度值的情况下采集到的监控视频；
基于预设伽马系数，对所述第一亮度样本监控视频进行伽马变换，得到第二亮度样本监控视频；
其中，所述预设伽马系数表示：环境光亮度大于第二预设亮度值的情况下采集的监控视频帧，与环境光亮度小于第一预设亮度值的情况下采集的监控视频帧的亮度值的比值。
8.根据权利要求7所述的方法，其特征在于，所述基于预设伽马系数，对所述第一亮度样本监控视频进行伽马变换，得到第二亮度样本监控视频，包括：
基于预设伽马系数，对所述第一亮度样本监控视频进行伽马变换，得到变换后的第一亮度样本监控视频；
对变换后的第一亮度样本监控视频添加高斯白噪声，得到第二亮度样本监控视频。
9.根据权利要求5-8任一项所述的方法，其特征在于，所述图像增强网络为三维网络3D-UNET。
10.根据权利要求1所述的方法，其特征在于，所述基于所述待检测叠加前景图像，以及预设的包含高空抛物的叠加前景图像，确定所述待检测监控视频中是否存在高空抛物，包括：
将所述待检测叠加前景图像输入至预先训练的检测网络，得到所述待检测叠加前景图像的目标置信度；其中，所述检测网络为基于包含高空抛物的样本叠加前景图像进行训练得到的；
基于所述目标置信度和预设阈值，确定所述待检测监控视频中是否存在高空抛物。
11.根据权利要求10所述的方法，其特征在于，所述检测网络通过以下步骤训练得到：
获取包含高空抛物的样本叠加前景图像；其中，所述样本叠加前景图像包含：表示所述样本叠加前景图像中目标对象的边界的第一标签，以及表示所述样本叠加前景图像包含高空抛物的概率的第二标签；
将所述样本叠加前景图像输入至待训练的检测网络，得到预设数目个边界，以及每一边界对应的置信度；
基于各个边界和所述第一标签，以及各个边界的置信度和所述第二标签，计算所述样本叠加前景图像对应的损失值；
基于所述样本叠加前景图像对应的损失值，调整所述检测网络的网络参数，继续训练，直到所述检测网络收敛。
12.根据权利要求11所述的方法，其特征在于，所述将所述待检测叠加前景图像输入至预先训练的检测网络，得到所述待检测叠加前景图像的目标置信度，包括：
将所述待检测叠加前景图像输入至预先训练的检测网络，得到预设数目个置信度，作为所述待检测叠加前景图像的目标置信度；
所述基于所述目标置信度和预设阈值，确定所述待检测监控视频中是否存在高空抛物，包括：
若各个目标置信度中存在大于预设阈值的置信度，确定所述待检测监控视频中存在高空抛物。
13.根据权利要求1所述的方法，其特征在于，在所述基于所述待检测叠加前景图像，以及预设的包含高空抛物的叠加前景图像，确定所述待检测监控视频中是否存在高空抛物之后，所述方法还包括：
若确定所述待检测监控视频中存在高空抛物，则进行告警。
14.一种高空抛物的检测装置，其特征在于，所述装置包括：
待检测监控视频获取模块，用于获取包括建筑物外立面的监控视频，作为待检测监控视频；
待检测前景图像获取模块，用于针对所述待检测监控视频中的每一待检测监控视频帧，提取该待检测监控视频帧中的前景图像，作为待检测前景图像；
待检测叠加前景图像获取模块，用于对各个待检测前景图像进行叠加，得到待检测叠加前景图像；
检测模块，用于基于所述待检测叠加前景图像，以及预设的包含高空抛物的叠加前景图像，确定所述待检测监控视频中是否存在高空抛物。
15.根据权利要求14所述的装置，其特征在于，所述待检测前景图像获取模块，具体用于基于将该待检测监控视频帧中每一像素位置的像素值，与该像素位置对应的混合高斯模型进行匹配，确定该待检测监控视频帧中该像素位置是否为前景像素位置；
获取该待检测监控视频帧中各个前景像素位置对应的图像，得到该待检测监控视频帧中的前景图像，作为待检测前景图像。
16.根据权利要求15所述的装置，其特征在于，所述装置还包括：
混合高斯模型获取模块，用于在基于将该待检测监控视频帧中每一像素位置的像素值，与该像素位置对应的混合高斯模型进行匹配，确定该待检测监控视频帧中该像素位置是否为前景像素位置之前，获取包括建筑物外立面的样本监控视频，作为第一样本监控视频；
对所述第一样本监控视频中的每一像素位置的像素值进行建模，得到每一像素位置对应的混合高斯模型；
其中，每一像素位置对应的混合高斯模型包含多个高斯模型，每一高斯模型为基于该像素位置的预设邻域的各个像素位置的像素值，以及各个像素位置的预设权重计算得到的。
17.根据权利要求14所述的装置，其特征在于，所述待检测监控视频获取模块，包括：
初始监控视频获取子模块，用于获取包括建筑物外立面的初始监控视频；
待检测监控视频获取子模块，用于若采集所述初始监控视频时的环境光亮度小于第一预设亮度值，对所述初始监控视频进行图像增强处理，得到待检测监控视频。
18.根据权利要求17所述的装置，其特征在于，所述待检测监控视频获取子模块，具体用于将所述初始监控视频输入至预先训练的图像增强网络，得到增强处理后的初始监控视频，作为待检测监控视频；
其中，所述图像增强网络为基于第二样本监控视频进行训练得到的；所述第二样本监控视频包括第一亮度样本监控视频和对应的第二亮度样本监控视频；所述第二亮度样本监控视频为对所述第一亮度样本监控视频的亮度进行降低得到的。
19.根据权利要求18所述的装置，其特征在于，所述装置还包括：
样本监控视频获取模块，用于获取第一亮度样本监控视频和对应的第二亮度样本监控视频；
预测亮度监控视频获取模块，用于将所述第二亮度样本监控视频输入至待训练的图像增强网络，得到所述图像增强网络输出的预测亮度监控视频；
第一损失值计算模块，用于基于所述预测亮度监控视频和所述第一亮度样本监控视频，计算所述第二亮度样本监控视频对应的损失值；
图像增强网络训练模块，用于基于所述第二亮度样本监控视频对应的损失值，调整所述图像增强网络的网络参数，继续训练，直到所述图像增强网络收敛。
20.根据权利要求19所述的装置，其特征在于，所述样本监控视频获取模块，包括：
第一亮度样本监控视频获取子模块，用于获取第一亮度样本监控视频；其中，所述第一亮度样本监控视频为环境光亮度大于第二预设亮度值的情况下采集到的监控视频；
第二亮度样本监控视频获取子模块，用于基于预设伽马系数，对所述第一亮度样本监控视频进行伽马变换，得到第二亮度样本监控视频；
其中，所述预设伽马系数表示：环境光亮度大于第二预设亮度值的情况下采集的监控视频帧，与环境光亮度小于第一预设亮度值的情况下采集的监控视频帧的亮度值的比值。
21.根据权利要求20所述的装置，其特征在于，所述第二亮度样本监控视频获取子模块，具体用于基于预设伽马系数，对所述第一亮度样本监控视频进行伽马变换，得到变换后的第一亮度样本监控视频；
对变换后的第一亮度样本监控视频添加高斯白噪声，得到第二亮度样本监控视频。
22.根据权利要求18-21任一项所述的装置，其特征在于，所述图像增强网络为三维网络3D-UNET。
23.根据权利要求14所述的装置，其特征在于，所述检测模块，包括：
目标置信度获取子模块，用于将所述待检测叠加前景图像输入至预先训练的检测网络，得到所述待检测叠加前景图像的目标置信度；其中，所述检测网络为基于包含高空抛物的样本叠加前景图像进行训练得到的；
检测子模块，用于基于所述目标置信度和预设阈值，确定所述待检测监控视频中是否存在高空抛物。
24.根据权利要求23所述的装置，其特征在于，所述装置还包括：
样本叠加前景图像获取模块，用于获取包含高空抛物的样本叠加前景图像；其中，所述样本叠加前景图像包含：表示所述样本叠加前景图像中目标对象的边界的第一标签，以及表示所述样本叠加前景图像包含高空抛物的概率的第二标签；
处理模块，用于将所述样本叠加前景图像输入至待训练的检测网络，得到预设数目个边界，以及每一边界对应的置信度；
第二损失值计算模块，用于基于各个边界和所述第一标签，以及各个边界的置信度和所述第二标签，计算所述样本叠加前景图像对应的损失值；
检测网络训练模块，用于基于所述样本叠加前景图像对应的损失值，调整所述检测网络的网络参数，继续训练，直到所述检测网络收敛。
25.根据权利要求24所述的装置，其特征在于，所述目标置信度获取子模块，具体用于将所述待检测叠加前景图像输入至预先训练的检测网络，得到预设数目个置信度，作为所述待检测叠加前景图像的目标置信度；
所述检测子模块，具体用于若各个目标置信度中存在大于预设阈值的置信度，确定所述待检测监控视频中存在高空抛物。
26.根据权利要求14所述的装置，其特征在于，所述装置还包括：
告警模块，用于在所述基于所述待检测叠加前景图像，以及预设的包含高空抛物的叠加前景图像，确定所述待检测监控视频中是否存在高空抛物之后，若确定所述待检测监控视频中存在高空抛物，则进行告警。
27.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-13任一所述的方法步骤。
28.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-13任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110492228.7A CN113158963B (zh) | 2021-05-06 | 一种高空抛物的检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110492228.7A CN113158963B (zh) | 2021-05-06 | 一种高空抛物的检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113158963A true CN113158963A (zh) | 2021-07-23 |
| CN113158963B CN113158963B (zh) | 2024-06-07 |
Family
ID=
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113449712A (zh) * | 2021-09-01 | 2021-09-28 | 武汉方芯科技有限公司 | 一种基于改进Alexnet网络的羊脸识别方法 |
| CN114332154A (zh) * | 2022-03-04 | 2022-04-12 | 英特灵达信息技术(深圳)有限公司 | 一种高空抛物检测方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030081836A1 (en) * | 2001-10-31 | 2003-05-01 | Infowrap, Inc. | Automatic object extraction |
| US20110116682A1 (en) * | 2009-11-19 | 2011-05-19 | Industrial Technology Research Institute | Object detection method and system |
| CN106572385A (zh) * | 2015-10-10 | 2017-04-19 | 北京佳讯飞鸿电气股份有限公司 | 一种用于远程培训视频呈现的图像叠加方法 |
| CN110610463A (zh) * | 2019-08-07 | 2019-12-24 | 深圳大学 | 一种图像增强方法及装置 |
| CN110879951A (zh) * | 2018-09-06 | 2020-03-13 | 华为技术有限公司 | 一种运动前景检测方法及装置 |
| CN111079663A (zh) * | 2019-12-19 | 2020-04-28 | 深圳云天励飞技术有限公司 | 高空抛物的监测方法、装置、电子设备及存储介质 |
| CN112257557A (zh) * | 2020-10-20 | 2021-01-22 | 中国电子科技集团公司第五十八研究所 | 一种基于机器视觉的高空抛物检测识别方法及系统 |
| CN112291478A (zh) * | 2020-11-05 | 2021-01-29 | 北京软通智慧城市科技有限公司 | 一种高空抛坠物的监测方法、装置、设备及存储介质 |
| US20210256266A1 (en) * | 2019-03-18 | 2021-08-19 | Tencent Technology (Shenzhen) Company Limited | Target detection method, system, and apparatus, storage medium, and computer device |
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030081836A1 (en) * | 2001-10-31 | 2003-05-01 | Infowrap, Inc. | Automatic object extraction |
| US20110116682A1 (en) * | 2009-11-19 | 2011-05-19 | Industrial Technology Research Institute | Object detection method and system |
| CN106572385A (zh) * | 2015-10-10 | 2017-04-19 | 北京佳讯飞鸿电气股份有限公司 | 一种用于远程培训视频呈现的图像叠加方法 |
| CN110879951A (zh) * | 2018-09-06 | 2020-03-13 | 华为技术有限公司 | 一种运动前景检测方法及装置 |
| US20210256266A1 (en) * | 2019-03-18 | 2021-08-19 | Tencent Technology (Shenzhen) Company Limited | Target detection method, system, and apparatus, storage medium, and computer device |
| CN110610463A (zh) * | 2019-08-07 | 2019-12-24 | 深圳大学 | 一种图像增强方法及装置 |
| CN111079663A (zh) * | 2019-12-19 | 2020-04-28 | 深圳云天励飞技术有限公司 | 高空抛物的监测方法、装置、电子设备及存储介质 |
| CN112257557A (zh) * | 2020-10-20 | 2021-01-22 | 中国电子科技集团公司第五十八研究所 | 一种基于机器视觉的高空抛物检测识别方法及系统 |
| CN112291478A (zh) * | 2020-11-05 | 2021-01-29 | 北京软通智慧城市科技有限公司 | 一种高空抛坠物的监测方法、装置、设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 赵文哲;秦世引;: "视频运动目标检测方法的对比分析", 科技导报, no. 10, pages 64 - 70 * |
| 郭帅: "基于视觉计算的图像目标检测与分析", 中国优秀硕士学位论文全文数据库（信息科技辑）, no. 08, pages 23 - 25 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113449712A (zh) * | 2021-09-01 | 2021-09-28 | 武汉方芯科技有限公司 | 一种基于改进Alexnet网络的羊脸识别方法 |
| CN114332154A (zh) * | 2022-03-04 | 2022-04-12 | 英特灵达信息技术(深圳)有限公司 | 一种高空抛物检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110276767B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| AU2006252252B2 (en) | Image processing method and apparatus | |
| WO2020078229A1 (zh) | 目标对象的识别方法和装置、存储介质、电子装置 | |
| CN111178183B (zh) | 人脸检测方法及相关装置 | |
| Yang et al. | Single image haze removal via region detection network | |
| US20210174539A1 (en) | A method for estimating the pose of a camera in the frame of reference of a three-dimensional scene, device, augmented reality system and computer program therefor | |
| CN113052876B (zh) | 一种基于深度学习的视频接力跟踪方法及系统 | |
| CN105868748A (zh) | 基于云处理的数据服务平台 | |
| JP6668514B1 (ja) | ディープランニング基盤陰影映像の時空間的な特性分析を活用した暴力検出用フレームワーキング方法およびその装置 | |
| CN111582074A (zh) | 一种基于场景深度信息感知的监控视频树叶遮挡检测方法 | |
| CN111683221B (zh) | 嵌入矢量红线数据的自然资源实时视频监测方法及系统 | |
| EP2447912B1 (en) | Method and device for the detection of change in illumination for vision systems | |
| CN114399734A (zh) | 一种基于视觉信息的森林火灾预警方法 | |
| JP2020095707A (ja) | ディープブラインド画像領域予測を用いたアライメントフリービデオ変化検出 | |
| CN110659627A (zh) | 一种基于视频分割的智能视频监控方法 | |
| CN113505643A (zh) | 违章目标物检测方法及相关装置 | |
| CN113723272A (zh) | 基于多画面实时拼接的物体检测方法、系统、设备和介质 | |
| CN115880765A (zh) | 区域入侵异常行为检测方法、装置及计算机设备 | |
| CN110720224A (zh) | 图像处理方法和装置 | |
| CN117475253A (zh) | 一种模型训练方法、装置、电子设备及存储介质 | |
| WO2018085063A1 (en) | Segmentation-based display highlighting subject of interest | |
| CN116824641A (zh) | 姿态分类方法、装置、设备和计算机存储介质 | |
| CN115861922B (zh) | 一种稀疏烟火检测方法、装置、计算机设备及存储介质 | |
| CN113158963A (zh) | 一种高空抛物的检测方法及装置 | |
| CN113158963B (zh) | 一种高空抛物的检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |