CN109101944B - 一种识别向河道内抛投垃圾的实时视频监控方法 - Google Patents

Abstract

本发明涉及一种识别向河道内抛投垃圾的实时视频监控算法，包括对动态物体进行捕捉，对动态物体进行跟踪，动态物体轨迹判断，本发明利用对动态物体的检测，利用普通监控摄像头采集到的视频，通过跟踪可疑的动态物体，判断其在空中的飞行轨迹，最终识别垃圾由河道外进入河里的这个过程来判断垃圾抛物的行为。本发明适用的范围更广，并不需要画面中出现人这个目标物，直接避免了河岸居民生活行为带来的误判，并且所需要的计算量远远小于对人体的姿态识别，可靠性也高得多。

Description

一种识别向河道内抛投垃圾的实时视频监控方法

技术领域

本发明涉及水利、环保领域，视频图像处理领域，特别是一种识别向河道内抛投垃圾的实时视频监控方法。

背景技术

我们国家的东部地区不仅水资源发达，也是人口活动密集的区域。尤其在河道纵横的城市，商户沿河而建，游人如织，向河道内抛垃圾的情形十分常见。而垃圾一旦被丢入河中，或迅速沉底或漂至下游，对其进行打捞净化河道会变得很困难。如果能够监控向河中抛投垃圾的行为，后续根据取证进行劝导和处罚对于改善河流环境具有非常重要的意义。尤其是海量布置的摄像头今天，利用视频进行监控并且取证比人为的监督要高效的多。

传统的利用视频监控的方法就是利用监督人员的人眼进行捕捉，不仅费时费力，也无法做到多路监控，长时间的监督。随着计算机图形处理手段的提升，利用机器代替人眼是未来的趋势所向。一种可行的方法是识别人体的可疑姿势来实现抛投垃圾行为的识别，先定位丢垃圾的主体，也就是行为人，再通过其抛投垃圾的姿态加上手中的垃圾进行验证。这种方法需要首先定位人体，再进行人体关键点定位，然后进行姿态分析和手中物体的辅助验证。

上述提及的图像处理方法局限性很大，一是，容易和河边居民的生活行为弄混造成误判，二是，河边商户从房内直接向河内抛物的情形是没有人出现在视频中的，因此也无从定位。另外这种方法消耗的计算资源极大，通常也需要隔几秒检测一次，很有可能就遗漏了整个抛物的过程。

发明内容

有鉴于此，本发明的目的是提出一种识别向河道内抛投垃圾的实时视频监控方法，能够对向河道内抛垃圾的情况进行监控。

本发明采用以下方案实现：一种识别向河道内抛投垃圾的实时视频监控方法，包括以下步骤：

步骤S1：提取记录仪视频流中的单帧图像作为输入图像，即当前帧图像，并使用高斯滤波处理输入图像，用以减少图像噪声；捕捉输入图像中的移动物体；

步骤S2：使用混合高斯模型对前帧图像进行建模，首先提取当前帧图像中的前景像素，得到移动物体的前景像素二值图，不仅耗时短，而且能够对周期性运动的干扰物体例如晃动的树木进行排除，然后对该前景像素二值图进行分割，将前景像素二值图中四连通的像素分割为一个粒子，并利用机器视觉中粒子分析方法进行处理，记录相关信息；

步骤S3：利用形态学处理方法对分割后的前景像素二值图先进行先腐蚀后膨胀的处理，用以消除噪音干扰，然后进行先膨胀后腐蚀的处理，用以把分散的前景像素在一定范围内融合；

步骤S4：通过步骤S3处理后的前景像素二值图计算粒子的重心坐标x,y，并将其作为粒子的位置，统计前景像素的个数作为粒子的大小，将在原始彩色图像中属于同一个粒子的前景像素信息作为特征信息进行提取记录；

步骤S5：进行动态物体跟踪；

步骤S6：进行动态物体轨迹判断，判断动态物体的轨迹是否为抛物轨迹，若是则满足；

步骤S7：输入河道位置标注信息，用以判断物体移动的轨迹的起点是否在河道外，并且终点在河内；若是则满足；

步骤S8：当同时满足步骤S6与步骤S7时，记录仪记录这条轨迹作为结果，并且发出警报。

进一步地，步骤S4中，所述的特征信息包括但不限于纹理特征、颜色特征、形状特征。

进一步地，步骤S5具体为：判断当前帧图像找到的粒子和在历史记录中找到的粒子是否是同一个粒子，如果当前帧图像找到的粒子能够在数据库中的历史记录中找到对应粒子，则将历史记录更新，即把当前帧图像找到粒子的坐标x,y加入到历史记录的轨迹中去，并记录其他需要后续帧比较的信息，如果没找到对应的历史记录则重新打开一条新记录存放，记录的信息是当前帧图像找到的粒子的所有信息，其位置x,y作为新记录轨迹的起始位置，未被更新的记录则把前帧图像找到的粒子记录删除不再跟踪。

进一步地，步骤S5中，为增加算法宽容度，设定连续两帧没有更新才删除记录。

进一步地，所述判断当前帧图像的粒子和在历史记录中找到的粒子是否是同一个粒子的所依据的特征包括但不限于距离、尺寸、颜色特征、纹理特征、形状特征。

进一步地，步骤S6具体包括以下步骤：

步骤S61：将当前动态轨迹记录的信息进行处理，计算记录中前后两个坐标在x轴和y轴的增量，得到每个时刻粒子的速度；

步骤S62：如果当前时刻的垂直速度大于上一时刻的垂直速度，并且当前时刻的水平速度小于等于上一时刻的水平速度，则当前动态轨迹是抛物轨迹，反之则不是。

较佳的，所述河道位置标注信息的获得方法包括但不限于深度学习的图像语义分析、边缘信息结合颜色信息的传统方法、以及视频的长时动态判断方法。

与现有技术相比，本发明有以下有益效果：

1、本发明适用的范围更广，并不需要画面中出现人这个目标物，直接避免了河岸居民生活行为带来的误判。

2、本发明所需要的计算量远远小于对人体的姿态识别，可靠性也高得多。

3、本发明将速度判断与起落点判断相结合，来判断动态轨迹是否为目标轨迹，解决了无人出现在画面中时，无从定位的问题。

附图说明

图1为本发明实施例的流程图。

图2、图3为本发明实施例的真实图像连续两帧的图像。

图4为本发明实施例的前景像素二值图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

如图1所示，本实施例把动态物体用一个短时记忆模块进行记录，所有步骤都围绕这个记忆体进行展开。把当前帧找到的动态物体写入记忆体中，把新写入的信息和之前记录的轨迹进行联结，这步实现了动态物体的跟踪，并且更新记忆体。存在一个在时间轴上连续的记录就是动态物体的轨迹记录，未和之前建立联系的动态物体作为新的记录等待后续帧的判断，超过一定时间（帧数）未找到联系的动态物体则被抛弃遗忘掉。最后把记录的轨迹从记忆体中提取出来进行处理判断，符合预期的就认为是丢垃圾的行为，记录这个轨迹并且记录当前的时间（第几帧）写到结果数据中。未找到可疑行为则结束这次判断。

具体的，本实施例提供一种识别向河道内抛投垃圾的实时视频监控方法，包括以下步骤：

步骤S1：提取记录仪视频流中的单帧图像作为输入图像，即当前帧图像，并使用高斯滤波处理输入图像，用以减少图像噪声；捕捉输入图像中的移动物体；

步骤S2：使用混合高斯模型对前帧图像进行建模，首先提取当前帧图像中的前景像素，得到移动物体的前景像素二值图，不仅耗时短，而且能够对周期性运动的干扰物体例如晃动的树木进行排除，然后对该前景像素二值图进行分割，将前景像素二值图中四连通的像素分割为一个粒子，并利用机器视觉中粒子分析方法进行处理，记录相关信息；

步骤S3：利用形态学处理方法对分割后的前景像素二值图先进行先腐蚀后膨胀的处理，用以消除噪音干扰，然后进行先膨胀后腐蚀的处理，用以把分散的前景像素在一定范围内融合；

步骤S4：通过步骤S3处理后的前景像素二值图计算粒子的重心坐标x,y，并将其作为粒子的位置，统计前景像素的个数作为粒子的大小，将在原始彩色图像中属于同一个粒子的前景像素信息作为特征信息进行提取记录；

步骤S5：进行动态物体跟踪；

步骤S6：进行动态物体轨迹判断，判断动态物体的轨迹是否为抛物轨迹，若是则满足；

步骤S7：输入河道位置标注信息，用以判断物体移动的轨迹的起点是否在河道外，并且终点在河内；若是则满足；

步骤S8：当同时满足步骤S6与步骤S7时，记录仪记录这条轨迹作为结果，并且发出警报。

在本实施例中，步骤S4中，所述的特征信息包括但不限于纹理特征、颜色特征、形状特征。

在本实施例中，步骤S5具体为：判断当前帧图像找到的粒子和在历史记录中找到的粒子是否是同一个粒子，如果当前帧图像找到的粒子能够在数据库中的历史记录中找到对应粒子，则将历史记录更新，即把当前帧图像找到粒子的坐标x,y加入到历史记录的轨迹中去，并记录其他需要后续帧比较的信息，如果没找到对应的历史记录则重新打开一条新记录存放，记录的信息是当前帧图像找到的粒子的所有信息，其位置x,y作为新记录轨迹的起始位置，未被更新的记录则把前帧图像找到的粒子记录删除不再跟踪。

在本实施例中，步骤S5中，为增加算法宽容度，设定连续两帧没有更新才删除记录。

在本实施例中，所述判断当前帧图像的粒子和在历史记录中找到的粒子是否是同一个粒子的所依据的特征包括但不限于距离、尺寸、颜色特征、纹理特征、形状特征。

在本实施例中，步骤S6具体包括以下步骤：

步骤S61：将当前动态轨迹记录的信息进行处理，计算记录中前后两个坐标在x轴和y轴的增量，得到每个时刻粒子的速度；

步骤S62：如果当前时刻的垂直速度大于上一时刻的垂直速度，并且当前时刻的水平速度小于等于上一时刻的水平速度，则当前动态轨迹是抛物轨迹，反之则不是。

较佳的，在本实施例中，所述河道位置标注信息的获得方法包括但不限于深度学习的图像语义分析、边缘信息结合颜色信息具体为水体色调和饱和度的特征的传统方法、以及视频的长时动态判断方法。

特别的，和普通的随地丢垃圾的场景过程不同，本实施例是特定场景的垃圾抛投，即向河道内抛投垃圾的场景。本实施例是利用对动态物体的检测，利用普通监控摄像头采集到的视频，通过跟踪可疑的动态物体，判断其在空中的飞行轨迹，最终识别垃圾由河道外进入河里的这个过程来判断垃圾抛物的行为。

特别的，本实例中的混合高斯模型是一种考察视频中每个像素位置是否为前景还是背景而建立的模型，通过观察单个像素位置的历史灰度值，建立这个像素的3通道（彩色）的高斯模型，如果当前帧的颜色在这个高斯模型外，就认为是在移动的像素，把这个像素在前景二值图中设为1，否则视为不动的像素，在前景二值图中为0.当前帧的三通道灰度值会更新混合高斯模型，如图2、3、4三幅图，图2、图3是真实图像连续两帧的图像（人的手臂在向下挥动），图4就是前景二值图，可以比较出当前帧和之前帧（这里只用了前一帧做对比，实际模型是之前很多帧建立起来的）的差异，捕捉动态的像素。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (6)

1.一种识别向河道内抛投垃圾的实时视频监控方法，其特征在于：包括以下步骤：

步骤S1：提取记录仪视频流中的单帧图像作为输入图像，即当前帧图像，并使用高斯滤波处理输入图像，用以减少图像噪声；捕捉输入图像中的移动物体；

步骤S2：使用混合高斯模型对当前帧图像进行建模，首先提取当前帧图像中的前景像素，得到移动物体的前景像素二值图，然后对该前景像素二值图进行分割，将前景像素二值图中四连通的像素分割为一个粒子；

步骤S3：利用形态学处理方法对分割后的前景像素二值图先进行先腐蚀后膨胀的处理，用以消除噪音干扰，然后进行先膨胀后腐蚀的处理，用以把分散的前景像素在一定范围内融合；

步骤S4：通过步骤S3处理后的前景像素二值图计算粒子的重心坐标x,y，并将其作为粒子的位置，统计前景像素的个数作为粒子的大小，将在原始彩色图像中属于同一个粒子的前景像素信息作为特征信息进行提取记录；

步骤S5：进行动态物体跟踪；

步骤S6：进行动态物体轨迹判断，判断动态物体的轨迹是否为抛物轨迹，若是则满足；

步骤S7：输入河道位置标注信息，用以判断物体移动的轨迹的起点是否在河道外，并且终点在河内；若是则满足；

步骤S8：当同时满足步骤S6与步骤S7时，记录仪记录这条轨迹作为结果，并且发出警报。

2.根据权利要求1所述的一种识别向河道内抛投垃圾的实时视频监控方法，其特征在于：步骤S4中，所述的特征信息包括纹理特征、颜色特征、形状特征。

3.根据权利要求1所述的一种识别向河道内抛投垃圾的实时视频监控方法，其特征在于：步骤S5具体为：判断当前帧图像找到的粒子和在历史记录中找到的粒子是否是同一个粒子，如果当前帧图像找到的粒子能够在数据库中的历史记录中找到对应粒子，则将历史记录更新，即把当前帧图像找到粒子的坐标x,y加入到历史记录的轨迹中去，并记录其他需要后续帧比较的信息，如果没找到对应的历史记录则重新打开一条新记录存放，记录的信息是当前帧图像找到的粒子的所有信息，其位置x,y作为新记录轨迹的起始位置，未被更新的记录则把上一帧图像找到的粒子记录删除不再跟踪。

4.根据权利要求3所述的一种识别向河道内抛投垃圾的实时视频监控方法，其特征在于：步骤S5中，为增加算法宽容度，设定连续两帧没有更新才删除记录。

5.根据权利要求3所述的一种识别向河道内抛投垃圾的实时视频监控方法，其特征在于：所述判断当前帧图像的粒子和在历史记录中找到的粒子是否是同一个粒子的所依据的特征包括距离、尺寸、颜色特征、纹理特征、形状特征。

6.根据权利要求1所述的一种识别向河道内抛投垃圾的实时视频监控方法，其特征在于：步骤S6具体包括以下步骤：

步骤S61：将当前动态轨迹记录的信息进行处理，计算记录中前后两个坐标在x轴和y轴的增量，得到每个时刻粒子的速度；

步骤S62：如果当前时刻的垂直速度大于上一时刻的垂直速度，并且当前时刻的水平速度小于等于上一时刻的水平速度，则当前动态轨迹是抛物轨迹，反之则不是。

Images