CN113223081A - 一种基于背景建模与深度学习的高空抛物检测方法及系统 - Google Patents

Abstract

一种基于背景建模与深度学习的高空抛物检测方法，包括：S1)获取监控摄像头前S帧图像用于建立初始混合高斯背景模型B；S2)从监控视频流中读取最新图像帧与背景模型B进行匹配，确定前景与背景，并更新背景模型B；S3)对前景部分的像素区域通过CNN进行特征提取记录，并剔除错误前景区域；S4)重复S2与S3步骤，将不同时刻运动物体进行特征匹配，形成匹配集合Z；S5)当S4中匹配结束后，对匹配集合Z通过LSTM进行时序分析，确定真正的高空抛物事件，进行记录并及时告警。本发明还提供实施一种基于背景建模与深度学习的高空抛物检测方法的系统。本发明能快速在实地布署进行高空抛物检测，且能检测到最小尺寸为2像素点的物体。

Description

一种基于背景建模与深度学习的高空抛物检测方法及系统

技术领域

本发明涉及深度学习与图像处理领域，具体是一种基于背景建模与深度学习的高空抛物检测方法及系统。

背景技术

随着城市的发展，为节约用地，楼层越建越高，高层住宅层出不穷，高空抛物现象也屡屡发生，这种不文明的行为被称为“悬在城市上空的痛”，看似不经意，却会带来很大的社会危害。曾有研究显示，一枚重30克的鸡蛋从4楼抛下，会把人头顶砸出个肿包，从18楼抛下，能砸破人的头骨，而从25楼抛下，冲击力足以致人死亡。针对近年来因高空抛物而引发的伤人事件屡屡发生，2021 年3月1日生效实施的《刑法修正案(十一)》新增了高空抛物罪，具体内容如下：“从建筑物或者其他高空抛掷物品，情节严重的，处一年以下有期徒刑、拘役或者管制，并处或者单处罚金。有前款行为，同时构成其他犯罪的，依照处罚较重的规定定罪处罚。”

而目前，监管高空抛物的行为主要还是依靠相应管理安防人员巡逻和在抛物频发地段张贴警示标语等方式，但是这些方式所起到的作用并不是十分有效，同时还会耗费大量的人力物力。同时一旦有高空抛物伤人事件发生后，目前也是主要依靠人工回看视频寻找证据，而高空抛物事件多发生在高楼层，少有目击者，抛物时间短的特征，因此在很多时候并不能精准有效的定位到高空抛物的肇事者，使得相应的执法部门很难追究抛物者的法律责任。因而通过设计相应的监控系统对高空抛物事件进行实时检测，定位、告警、记录，对于预防抛物事件发生具有实际意义。

而作为高空抛物检测系统，需要从监控视频流中完成对运动物体的目标检测和运动目标识别。在目标检测阶段，传统的目标检测算法主要有帧间差分法和背景建模法；而在目标识别阶段，目前一般通过神经网络进行分类来完成对目标物体的识别。如申请号为202011124013.1的专利所公开的技术方案，一种基于机器视觉的高空抛物检测识别方法及系统，使用了高斯混合模型进行了背景建模，从而得到了前景中潜在的运动目标，通过卷积神经网络进行抛物的类别识别。申请号为202011230338.8的专利所公开的技术方案，一种基于深度学习的高空抛物检测方法，通过预先训练好的深度神经网络模型来获取图片中的抛物的位置，从而定位抛物。考虑到背景建模法容易受到前景像素影响，当背景和前景像素较为接近时，难以实现准确检测，特别对于小目标而言；而仅使用深度学习检测模型，对于种类不定的抛物，训练出泛化能力强的模型具有一定难度，因其受限于高空抛物获取训练样本困难；且高空抛物为一个连续事件，仅仅选用卷积神经网络无法体现其在时间上的连续性，会增加检测系统的漏检、误报等发生概率。

由上述分析可知，现有的高空抛物检测算法存在一定的局限性，无法同时满足多类目标检测，快速布署等检测需求。

发明内容

本发明要克服现有技术的上述缺点，融合了背景建模法与深度学习的方法，充分利用其各自的优点，提出了一种基于背景建模与深度学习的高空抛物检测方法及系统。

本发明的技术构思为：获取监控楼层的摄像头实时视频流，分别通过运动目标检测、CNN提取运动目标特征、运动目标匹配、LSTM分析四个阶段来确定高空抛物事件。在运动目标检测阶段，首先通过高斯混合模型建立背景模型，成功建立背景模型后，将最新图像减背景模型图像得到差分图像，经过相应的图像预处理后提取出视频帧中的运动目标，并给出对应的位置信息；在提取运动目标特征阶段，首先通过CNN构建的图像分类网络，排除目标检测阶段的假阳性目标，并提取出真实运动目标的特征向量；在运动目标匹配阶段，依据特征向量对不同时刻的同一运动目标进行匹配，构建目标匹配集合；在LSTM分析阶段，通过的构建LSTM网络，对运动目标匹配集合与对应的前景像素块进行时序分析，确定真正高空抛物事件。经实验验证，本发明所提出的方法可以检测到大部分高空抛物事件，且误报率低。

本发明实现上述发明目的所采用的技术方案如下：

一种基于背景建模与深度学习的高空抛物检测方法及系统，包括如下步骤：

S1：获取监控摄像头前S帧图像用于初始化混合高斯模型，建立初始背景模型B；

S2：从监控视频流中读取最新图像帧与背景模型B进行匹配，确定该帧图像中的前景与背景，并更新背景模型B；

S3：对S2中确定为前景部分的像素区域使用CNN对其进行特征提取记录，并剔除错误前景区域；

S4：重复S2与S3步骤，将不同时刻表征运动物体的特征信息进行匹配，形成匹配集合Z；

S5：当S4中的匹配结束后，对匹配成功的集合通过LSTM进行时序分析，确定真正的高空抛物事件，对其进行记录并及时告警。

进一步，所述步骤S1包括以下步骤：

S1.1：获取监控摄像头中前S帧图像，即取视频序列中(x,y)处像素点的前T_s个历史灰度值作为输入，用以初始化混合高斯模型，如下式所示：

{X₁,X₂,...,X_S}＝{I(x,y,i:1≤t≤S)} (1)

S1.2：通过S1.1中取出的S帧图像中对应的历史像素点(x,y)，用k个高斯分布的概率密度函数加权来建模，如下式所示：

其中ω_i,t，μ_i,t，σ_i,t分别是第i个高斯分布在t时刻的权值、均值和协方差， X_t表示为t时刻图像的灰度值；

S1.3：在匹配完S帧图像后，对k个高斯分布函数按优先级ω_i,t/σ_i,t进行排序，因在模型中，高斯的权重系数越大且标准差越小，则该分布为背景描述的可能性越大，此处取前G个高斯分布作为背景模型，如下式所示：

其中T为设置的背景阈值，当T设置的较大时，高斯混合模型中包含的高斯分布较多，表述的背景模型较为复杂；如果T设置的较小时，则用于描述背景模型的高斯个数会较少，模型也会较为简单。

进一步，所述步骤S2包括以下步骤：

S2.1：从监控视频流中读取最新图像帧，用该图像的像素点X_t+1与S1中选取的G个高斯模型按照下式进行匹配，下式中τ为判定背景前景的阈值：

若满足上式则表明像素点匹配成功，其像素点对应为背景像素点，记为

若与任意一个高斯模型都不满足上式，则说明匹配失败，此时的像素点即前景像素点，记为

S2.2：根据S2.1中的匹配结果，像素点为背景时进行模型参数更新，当像素点为前景时模型参数不变，如下公式所示：

其中，α表示算法学习率，取值[0,1]；β表示参数学习率，其值约等于算法学率与权重值相比

进一步，所述步骤S3包括以下步骤：

S3.1：考虑到检测场景的背景是固定的，因此可预训练相应的CNN对前景块进行图像分类，判定其是否包含真实运动物体，用以排除大部分假阳性目标；

S3.2：对S2中确定为前景的像素区域，通过图像形态学操作后，求该像素区域的最小外接矩形，并通过S3.1中训练的网络，排除由于光照、相机抖动等因素而造成的干扰前景区域；

S3.3：同时，对确定为运动物体的前景区域，提取该目标区域通过图像分类网络时特定的全连接层z，并结合坐标点(x,y)与时刻信息t，作为其特征描述，用于后续匹配操作，其表达式如下所示：

其中

表示在t时刻，中心点位于(x,y)的运动物体的特征描述，Z_(t)表示在t时刻，所有运动物体的特征描述。

进一步，所述步骤S4包括以下步骤：

S4.1：重复S2与S3步骤后，能获取多个时刻，不同运动物体的特征描述，记为Z_T＝[Z_t,Z_t+1,...,Z_T]；

S4.2：对不同时刻物体的特征描述向量通过欧式变换进行相似度匹配，如下所示：

其中

表示t时刻在(x_i,y_i)坐标位置的物体特征向量，

表示 t+1时刻位于(x_j,y_j)位置的物体特征向量，通过上式对t+1时刻的k个物体匹配完成后，通过下式选择出在t+1时刻匹配度最大的特征描述向量，组成匹配集合 Z，如下所示：

进一步，所述步骤S5包括以下步骤：

S5.1：考虑到抛物事件是一个连续发生的过程，因而在通过上述步骤确定运动物体并进行特征匹配后，将匹配集合Z结合前景块信息，输入至预训练的 LSTM网络，通过时序分析对抛物进行判定，用以排除一些不符合抛物轨迹与自然坠物等事件；

S5.2：当通过LSTM网络后，被确定为高空抛物的事件，则将该事件进行纪录用于后续事件回溯，同时进行抛物事件告警。

同时本发明还提供一种实施本发明的基于背景建模与深度学习的高空抛物检测方法的系统，包括依次连接的图像获取模块、背景建模模块、运动目标检测模块、运动目标特征提取模块、运动目标匹配模块、分析确定高空抛物模块、事件记录并告警模块。

本发明的有益效果为：

1)对于危害公共安全的高空抛物事件，其一方面抛物事件难以被发现，另一方面，当事件发生后难以精准有效的定位到高空抛物的肇事者的难题。本发明提出了高空抛物的检测算法，并提供了相应的检测告警系统，能及时检测到高空抛物事件的发生并进行告警，同时对事件进行记录并提供事件回溯功能；

2)考虑到深度学习的检测方法需要大量的训练样本，而高空抛物存在抛物形状、重量都不固定，同时又难以获取大量的抛物样本对模型进行训练，导致难以获得检出率高、适应性强的检测模型。因此本发明首先通过背景建模法确定运动的物体后，再通过神经网络对抛物进行背景与前景的二分类，由于背景数据十分容易获取，因此容易获得准确的运动目标；

3)考虑到高空抛物从抛出到结束是一个连续的过程，其具有时间上的连续性，因此本发明通过目标检测、目标匹配后获取的匹配集合，通过有记忆功能的神经网络LSTM对最终抛物事件进行判定，充分考虑到抛物过程的时空连续性，有利于提高系统整体的检出率与降低系统的误报率。

附图说明

图1为本发明方法的整体处理框架图。

图2为混合高斯背景建模法建立背景模型并提取前景像素块的流程示意图。

图3为卷积神经网络剔除假阳性区域并提取运动目标特征向量流程示意图。

图4为LSTM对运动目标特征向量集与前景像素块进行时序分析的流程示意图。

图5(a)～图5(b)为本发明在不同场景下对抛物的检测效果图，图5(a)为干扰物体较少但为雨天的检测场景下检测效果图，图5(b)为干扰物体较多的检测场景下的检测效果图。

具体实施方式

下面结合说明书附图对本发明的具体实施方式作进一步详细描述。

参照图1～图5，一种基于背景建模与深度学习的高空抛物检测方法，步骤如下：

S1：获取监控摄像头前S帧图像建立初始背景模型B，流程如图2所示；

S1.1：获取监控摄像头中前S帧图像，即取视频序列中(x,y)处像素点的前T_s个历史灰度值作为输入，用以初始化混合高斯模型，如下式所示：

{X₁,X₂,...,X_S}＝{I(x,y,i:1≤t≤S)} (1)

S1.2：通过S1.1中取出的S帧图像中对应的历史像素点(x,y)，用k个高斯分布的概率密度函数加权来建模，如下式所示：

其中ω_i,t，μ_i,t，σ_i,t分别是第i个高斯分布在t时刻的权值、均值和协方差， X_t X_t表示为t时刻图像的灰度值；

S1.3：在匹配完S帧图像后，对k个高斯分布函数按优先级ω_i,t/σ_i,t进行排序，因在模型中，高斯的权重系数越大且标准差越小，则该分布为背景描述的可能性越大，此处取前G个高斯分布作为背景模型，如下式所示：

其中T为设置的背景阈值，当T设置的较大时，高斯混合模型中包含的高斯分布较多，表述的背景模型较为复杂；如果T设置的较小时，则用于描述背景模型的高斯个数会较少，模型也会较为简单。

S2：将最新图像帧与背景模型B进行匹配，确定图像中的前景与背景，并更新背景模型B，流程如图2所示；

S2.1：从监控视频流中读取最新图像帧，用该图像的像素点X_t+1与S1中选取的G个高斯模型按照下式进行匹配，下式中τ为判定背景前景的阈值：

若满足上式则表明像素点匹配成功，其像素点对应为背景像素点，记为

若与任意一个高斯模型都不满足上式，则说明匹配失败，此时的像素点即前景像素点，记为

S2.2：根据S2.1中的匹配结果，像素点为背景时进行模型参数更新，当像素点为前景时模型参数不变，如下公式所示：

其中，α表示算法学习率，取值[0,1]；β表示参数学习率，其值约等于算法学率与权重值相比

S3：对S2中确定为前景部分的像素区域使用CNN对其进行特征提取记录，并剔除错误前景区域，如图3所示；

S3.1：考虑到检测场景的背景是固定的，因此可预训练相应的CNN对前景块进行图像分类，判定其是否包含真实运动物体，用以排除大部分假阳性目标；

S3.2：对S2中确定为前景的像素区域，通过图像形态学操作后，求该像素区域的最小外接矩形，并通过S3.1中训练的网络，排除由于光照、相机抖动等因素而造成的干扰前景区域；

S3.3：同时，对确定为运动物体的前景区域，提取该目标区域通过图像分类网络时特定的全连接层z，并结合坐标点(x,y)与时刻信息t，作为其特征描述，用于后续匹配操作，其表达式如下所示：

其中

表示在t时刻，中心点位于(x,y)的运动物体的特征描述，Z_(t)表示在t时刻，所有运动物体的特征描述。

S4：重复S2与S3步骤，将不同时刻表征运动物体的特征信息进行匹配，形成匹配集合Z；

S4.1：重复S2与S3步骤后，能获取多个时刻，不同运动物体的特征描述，记为Z_T＝[Z_t,Z_t+1,...,Z_T]；

S4.2：对不同时刻物体的特征描述向量通过欧式变换进行相似度匹配，如下所示：

其中

表示t时刻在(x_i,y_i)坐标位置的物体特征向量，

表示 t+1时刻位于(x_j,y_j)位置的物体特征向量，通过上式对t+1时刻的k个物体匹配完成后，通过下式选择出在t+1时刻匹配度最大的特征描述向量，组成匹配集合 Z，如下所示：

S5：当S4中的匹配结束后，对匹配成功的集合通过LSTM进行时序分析，确定真正的高空抛物事件，如图4所示；

S5.1：考虑到抛物事件是一个连续发生的过程，因而在通过上述步骤确定运动物体并进行特征匹配后，将匹配集合Z结合前景块信息，输入至预训练的 LSTM网络，通过时序分析对抛物进行判定，用以排除一些不符合抛物轨迹与自然坠物等事件；

S5.2：当通过LSTM网络后，被确定为高空抛物的事件，则将该事件进行纪录用于后续事件回溯，同时进行抛物事件告警。

此处对本发明中提及的基于背景建模与深度学习的高空抛物检测系统进行详细描述，该系统包括依次连接的图像获取模块、背景建模模块、运动目标检测模块、运动目标特征提取模块、运动目标匹配模块、分析确定高空抛物模块、事件记录并告警模块。

图像获取模块：从监控高楼的摄像头中获取实时的视频流，并从视频流中提取出视频帧进行背景建模与高考抛物检测。

背景建模模块：获取监控摄像头中前S帧图像，用以初始化混合高斯模型作为初始背景模型，具体包括：

获取监控摄像头中前S帧图像，即取视频序列中(x,y)处像素点的前T_s个历史灰度值作为输入，用以初始化混合高斯模型，如下式所示：

{X₁,X₂,...,X_S}＝{I(x,y,i:1≤t≤S)} (1)

通过图像获取模块中取出的S帧图像中对应的历史像素点(x,y)，用k个高斯分布的概率密度函数加权来建模，如下式所示：

其中ω_i,t，μ_i,t，σ_i,t分别是第i个高斯分布在t时刻的权值、均值和协方差， X_t表示为t时刻图像的灰度值；

在匹配完S帧图像后，对k个高斯分布函数按优先级ω_i,t/σ_i,t进行排序，因在模型中，高斯的权重系数越大且标准差越小，则该分布为背景描述的可能性越大，此处取前G个高斯分布作为背景模型，如下式所示：

其中T为设置的背景阈值，当T设置的较大时，高斯混合模型中包含的高斯分布较多，表述的背景模型较为复杂；如果T设置的较小时，则用于描述背景模型的高斯个数会较少，模型也会较为简单。

运动目标检测模块：从监控视频流中读取最新图像帧，与已建立好的背景模型进行匹配，匹配成功则表示像素点为背景像素点，可用于更新背景模型；若匹配失败，则表示像素点为前景点，通过图像形态学操作，求该像素区域的最小外接矩形，用于后续操作，具体包括：

从监控视频流中读取最新图像帧，用该图像的像素点X_t+1与S1中选取的G 个高斯模型按照下式进行匹配，下式中τ为判定背景前景的阈值：

若满足上式则表明像素点匹配成功，其像素点对应为背景像素点，记为

若与任意一个高斯模型都不满足上式，则说明匹配失败，此时的像素点即前景像素点，记为

根据上一步中的匹配结果，像素点为背景时进行模型参数更新，当像素点为前景时模型参数不变，如下公式所示：

其中，α表示算法学习率，取值[0,1]；β表示参数学习率，其值约等于算法学率与权重值相比

运动目标特征提取模块：将前景目标区域的最小外接矩形通过训练的图像分类网络，排除由于光照、相机抖动等因素而造成的干扰前景区域，同时提取该目标区域通过图像分类网络时特定的全连接层作为其特征描述，用于后续匹配操作，具体包括：

考虑到检测场景的背景是固定的，因此可预训练相应的CNN对前景块进行图像分类，判定其是否包含真实运动物体，用以排除大部分假阳性目标；

对运动目标检测模块中确定为前景的像素区域，通过图像形态学操作后，求该像素区域的最小外接矩形，并通过上一步中训练的网络，排除由于光照、相机抖动等因素而造成的干扰前景区域。

运动目标匹配模块：对不同时刻物体的特征描述向量通过欧式变换进行相似度匹配，匹配出运动物体在不同时刻下对应的特征描述向量，形成匹配集合，具体包括：

对确定为运动物体的前景区域，提取该目标区域通过图像分类网络时特定的全连接层z，并结合坐标点(x,y)与时刻信息t，作为其特征描述，用于后续匹配操作，其表达式如下所示：

其中

表示在t时刻，中心点位于(x,y)的运动物体的特征描述，Z_(t)表示在t时刻，所有运动物体的特征描述。

分析确定高空抛物模块：将匹配集合结合前景块信息，输入至预训练的LSTM 网络，通过时序分析对抛物进行判定，用以排除一些不符合抛物轨迹与自然坠物等事件，确定真正的高空抛物事件，具体包括：

考虑到抛物事件是一个连续发生的过程，因而在通过上述步骤确定运动物体并进行特征匹配后，将匹配集合Z结合前景块信息，输入至预训练的LSTM网络，通过时序分析对抛物进行判定，用以排除一些不符合抛物轨迹与自然坠物等事件。

事件记录并告警模块：当检测事件被确定为高空抛物事件，则将该事件进行纪录用于后续事件回溯，同时进行抛物事件告警。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (7)

1.一种基于背景建模与深度学习的高空抛物检测方法，其特征在于，包括以下步骤：

S1：获取监控摄像头前S帧图像用于初始化混合高斯模型，建立初始背景模型B；

S2：从监控视频流中读取最新图像帧与背景模型B进行匹配，确定该帧图像中的前景与背景，并更新背景模型B；

S3：对S2中确定为前景部分的像素区域使用CNN对其进行特征提取记录，并剔除错误前景区域；

S4：重复S2与S3步骤，将不同时刻表征运动物体的特征信息进行匹配，形成匹配集合Z；

S5：当S4中的匹配结束后，对匹配成功的集合通过LSTM进行时序分析，确定真正的高空抛物事件，对其进行记录并及时告警。

2.如权利要求1所述的一种基于背景建模与深度学习的高空抛物检测方法，其特征在于：所述步骤S1包括以下步骤：

S1.1：获取监控摄像头中前S帧图像，即取视频序列中(x,y)处像素点的前T_s个历史灰度值作为输入，用以初始化混合高斯模型，如下式所示：

{X₁,X₂,...,X_S}＝{I(x,y,i:1≤t≤S)} (1)

S1.2：通过S1.1中取出的S帧图像中对应的历史像素点(x,y)，用k个高斯分布的概率密度函数加权来建模，如下式所示：

其中ω_i,t，μ_i,t，σ_i,t分别是第i个高斯分布在t时刻的权值、均值和协方差，X_t表示为t时刻图像的灰度值；

S1.3：在匹配完S帧图像后，对k个高斯分布函数按优先级ω_i,t/σ_i,t进行排序，因在模型中，高斯的权重系数越大且标准差越小，则该分布为背景描述的可能性越大，此处取前G个高斯分布作为背景模型，如下式所示：

其中T为设置的背景阈值，当T设置的较大时，高斯混合模型中包含的高斯分布较多，表述的背景模型较为复杂；如果T设置的较小时，则用于描述背景模型的高斯个数会较少，模型也会较为简单。

3.如权利要求1所述的一种基于背景建模与深度学习的高空抛物检测方法，其特征在于：所述步骤S2包括以下步骤：

S2.1：从监控视频流中读取最新图像帧，用该图像的像素点X_t+1与S1中选取的G个高斯模型按照下式进行匹配，下式中τ为判定背景前景的阈值：

若满足上式则表明像素点匹配成功，其像素点对应为背景像素点，记为

若与任意一个高斯模型都不满足上式，则说明匹配失败，此时的像素点即前景像素点，记为

S2.2：根据S2.1中的匹配结果，像素点为背景时进行模型参数更新，当像素点为前景时模型参数不变，如下公式所示：

其中，α表示算法学习率，取值[0,1]；β表示参数学习率，其值约等于算法学率与权重值相比β＝α/ω_i。

4.如权利要求1所述的一种基于背景建模与深度学习的高空抛物检测方法，其特征在于：所述步骤S3包括以下步骤：

S3.1：考虑到检测场景的背景是固定的，因此可预训练相应的CNN对前景块进行图像分类，判定其是否包含真实运动物体，用以排除大部分假阳性目标；

S3.2：对S2中确定为前景的像素区域，通过图像形态学操作后，求该像素区域的最小外接矩形，并通过S3.1中训练的网络，排除由于光照、相机抖动等因素而造成的干扰前景区域；

S3.3：同时，对确定为运动物体的前景区域，提取该目标区域通过图像分类网络时特定的全连接层z，并结合坐标点(x,y)与时刻信息t，作为其特征描述，用于后续匹配操作，其表达式如下所示：

其中

表示在t时刻，中心点位于(x,y)的运动物体的特征描述向量，Z_(t)表示在t时刻，所有运动物体的特征描述。

5.如权利要求1所述的一种基于背景建模与深度学习的高空抛物检测方法，其特征在于：所述步骤S4包括以下步骤：

S4.1：重复S2与S3步骤后，能获取多个时刻，不同运动物体的特征描述，记为Z_T＝[Z_t,Z_t+1,...,Z_T]；

S4.2：对不同时刻物体的特征描述向量通过欧式变换进行相似度匹配，如下所示：

其中

表示t时刻在(x_i,y_i)坐标位置的物体特征向量，

表示t+1时刻位于(x_j,y_j)位置的物体特征向量，通过上式对t+1时刻的k个物体匹配完成后，通过下式选择出在t+1时刻匹配度最大的特征描述向量，组成匹配集合Z，如下所示：

6.如权利要求1所述的一种基于背景建模与深度学习的高空抛物检测方法及系统，其特征在于：所述步骤S5包括以下步骤：

S5.1：考虑到抛物事件是一个连续发生的过程，因而在通过上述步骤确定运动物体并进行特征匹配后，将匹配集合Z结合前景块信息，输入至预训练的LSTM网络，通过时序分析对抛物进行判定，用以排除一些不符合抛物轨迹与自然坠物等事件；

S5.2：当通过LSTM网络后，被确定为高空抛物的事件，则将该事件进行纪录用于后续事件回溯，同时进行抛物事件告警。

7.实施权利要求1所述的一种基于背景建模与深度学习的高空抛物检测方法的系统，其特征在于：包括依次连接的图像获取模块、背景建模模块、运动目标检测模块、运动目标特征提取模块、运动目标匹配模块、分析确定高空抛物模块、事件记录并告警模块；

图像获取模块：从监控高楼的摄像头中获取实时的视频流，并从视频流中提取出视频帧进行背景建模与高考抛物检测；

背景建模模块：获取监控摄像头中前S帧图像，用以初始化混合高斯模型作为初始背景模型，具体包括：

获取监控摄像头中前S帧图像，即取视频序列中(x,y)处像素点的前T_s个历史灰度值作为输入，用以初始化混合高斯模型，如下式所示：

{X₁,X₂,...,X_S}＝{I(x,y,i:1≤t≤S)} (1)

通过图像获取模块中取出的S帧图像中对应的历史像素点(x,y)，用k个高斯分布的概率密度函数加权来建模，如下式所示：

其中ω_i,t，μ_i,t，σ_i,t分别是第i个高斯分布在t时刻的权值、均值和协方差，X_t表示为t时刻图像的灰度值；

在匹配完S帧图像后，对k个高斯分布函数按优先级ω_i,t/σ_i,t进行排序，因在模型中，高斯的权重系数越大且标准差越小，则该分布为背景描述的可能性越大，此处取前G个高斯分布作为背景模型，如下式所示：

其中T为设置的背景阈值，当T设置的较大时，高斯混合模型中包含的高斯分布较多，表述的背景模型较为复杂；如果T设置的较小时，则用于描述背景模型的高斯个数会较少，模型也会较为简单；

运动目标检测模块：从监控视频流中读取最新图像帧，与已建立好的背景模型进行匹配，匹配成功则表示像素点为背景像素点，可用于更新背景模型；若匹配失败，则表示像素点为前景点，通过图像形态学操作，求该像素区域的最小外接矩形，用于后续操作，具体包括：

从监控视频流中读取最新图像帧，用该图像的像素点X_t+1与S1中选取的G个高斯模型按照下式进行匹配，下式中τ为判定背景前景的阈值：

若满足上式则表明像素点匹配成功，其像素点对应为背景像素点，记为

若与任意一个高斯模型都不满足上式，则说明匹配失败，此时的像素点即前景像素点，记为

根据上一步中的匹配结果，像素点为背景时进行模型参数更新，当像素点为前景时模型参数不变，如下公式所示：

其中，α表示算法学习率，取值[0,1]；β表示参数学习率，其值约等于算法学率与权重值相比β＝α/ω_i。

运动目标特征提取模块：将前景目标区域的最小外接矩形通过训练的图像分类网络，排除由于光照、相机抖动等因素而造成的干扰前景区域，同时提取该目标区域通过图像分类网络时特定的全连接层作为其特征描述，用于后续匹配操作，具体包括：

考虑到检测场景的背景是固定的，因此可预训练相应的CNN对前景块进行图像分类，判定其是否包含真实运动物体，用以排除大部分假阳性目标；

对运动目标检测模块中确定为前景的像素区域，通过图像形态学操作后，求该像素区域的最小外接矩形，并通过上一步中训练的网络，排除由于光照、相机抖动等因素而造成的干扰前景区域；

运动目标匹配模块：对不同时刻物体的特征描述向量通过欧式变换进行相似度匹配，匹配出运动物体在不同时刻下对应的特征描述向量，形成匹配集合，具体包括：

对确定为运动物体的前景区域，提取该目标区域通过图像分类网络时特定的全连接层z，并结合坐标点(x,y)与时刻信息t，作为其特征描述，用于后续匹配操作，其表达式如下所示：

其中

表示在t时刻，中心点位于(x,y)的运动物体的特征描述向量，Z_(t)表示在t时刻，所有运动物体的特征描述；

分析确定高空抛物模块：将匹配集合结合前景块信息，输入至预训练的LSTM网络，通过时序分析对抛物进行判定，用以排除一些不符合抛物轨迹与自然坠物等事件，确定真正的高空抛物事件，具体包括：

考虑到抛物事件是一个连续发生的过程，因而在通过上述步骤确定运动物体并进行特征匹配后，将匹配集合Z结合前景块信息，输入至预训练的LSTM网络，通过时序分析对抛物进行判定，用以排除一些不符合抛物轨迹与自然坠物等事件；

事件记录并告警模块：当检测事件被确定为高空抛物事件，则将该事件进行纪录用于后续事件回溯，同时进行抛物事件告警。

Images