CN114359800A - 一种景区抛洒物视频识别系统及其检测方法 - Google Patents
一种景区抛洒物视频识别系统及其检测方法 Download PDFInfo
- Publication number
- CN114359800A CN114359800A CN202111663196.9A CN202111663196A CN114359800A CN 114359800 A CN114359800 A CN 114359800A CN 202111663196 A CN202111663196 A CN 202111663196A CN 114359800 A CN114359800 A CN 114359800A
- Authority
- CN
- China
- Prior art keywords
- projectile
- pixel
- gaussian
- model
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及视频识别技术领域,具体涉及一种景区抛洒物视频识别系统及其检测方法,包括以下步骤:获取目标路段的视频,并将采集视频帧序列视频生成的连续帧集合,通过混合高斯模型,从中提取出运动目标;对运动目标的图像帧序列进行处理,再经增强和去噪后,提取出疑似抛洒物,得到抛洒物样本;聚类出抛洒物像素值的分布结果,经筛选过滤后,得到多种像素值聚类结果;将像素值聚类结果内的疑似抛洒物输入抛洒物识别模型,获取疑似抛洒物的像素值,并对疑似抛洒物进行识别后得到抛洒物。本发明对抛洒物的识别提高,实现对乱扔垃圾的人进行追踪,进而能快速准确的检测到景区游客随地乱扔垃圾的行为,从而减少景区环境垃圾对景区造成不良影响。
Description
技术领域
本发明涉及视频识别技术领域,具体涉及一种景区抛洒物视频识别系统及其检测方法。
背景技术
随着我国经济的快速发展,人们生活品质的提高,使得旅游业日益壮大发达。随之而来的景区环境卫生也很容易脏乱,尤其是节假日时,客流量一大就会出现许多游客乱扔垃圾的现象,出现这种情况不能及时制止并且找到乱扔垃圾的对象,会对景区的环境卫生造成一定的影响。
景区游客过多,场景应用较为复杂,存在光照变化、天气变化、相机抖动等诸多问题,导致场景中的噪声较多,造成抛洒物识别的误报较高,直接影响了实际应用的效果无法快速准确的去判断游客乱扔垃圾的行为。
传统运动目标检测算法中,提取的抛洒物在前景中存在时间较短,不利于提高提取抛洒物的识别能力,如何延长抛洒物在前景中的滞留时间也是提升抛洒物识别准确率。
发明内容
针对现有技术的不足,本发明公开了一种景区抛洒物视频识别系统及其检测方法,用于解决上述问题。
本发明通过以下技术方案予以实现:
第一方面,本发明提供了一种景区抛洒物视频识别系统的检测方法,包括以下步骤:
获取目标路段的视频,并将采集视频帧序列视频生成的连续帧集合,通过混合高斯模型,从中提取出运动目标;
对运动目标的图像帧序列进行处理,再经增强和去噪后,提取出疑似抛洒物,得到抛洒物样本;
通过Kemeans算法聚类出抛洒物像素值的分布结果,经筛选过滤后,得到多种像素值聚类结果;
将像素值聚类结果内的疑似抛洒物输入抛洒物识别模型,获取疑似抛洒物的像素值,并对疑似抛洒物进行识别后得到抛洒物。
更进一步的,所述方法在景区指定道路设置监控摄像头对目标路段进行拍摄,获取其拍摄到的视频,将视频帧序列视频生成连续帧集合在视频帧序列中通过混合高斯模型提取出运动目标,计算像素与像素对应高斯分布之间的均值。
更进一步的,所述方法中,将所述均值与初始背景阈值进行比对,若所述均值小于所述初始背景阈值,对运动目标的前景和背景进行初步划分;
若所述均值大于所述初始背景阈值,设置背景变化率对所述初始背景阈值进行更新,将所述均值与更新后的初始背景阈值进行比对,
若所述均值小于所述更新后的初始背景阈值,对运动目标的前景和背景进行再次划分。
更进一步的,所述方法中,先使用算法本身默认的背景阈值T区分大致的运动抛洒物的前景和背景模型,再通过额外设置的背景变化率c,重新更新背景阈值T,变化后的背景阈值T为K个高斯分布的混合高斯模型权值和归一化后的均值乘以背景变化率c;最后开始重新更新背景模型;其中,高斯混合模型的公式如下:
更进一步的,所述方法中,更新步骤为:
更新模型的均值和方差并将模型的高斯分布按权重降序排序,统计K个高斯分布的权重之和并归一化所有的权值;
如果所有高斯模型都匹配失败,则剔除权值最小的模型,增加一个新的高斯分布,重新按权值排序;
利用设置的背景变化率c和统计的K个高斯分布的权重之和的均值,更新背景阈值T;
最后统计xj,t与背景分布模型匹配中权值之和的变化,当权值小于设定的背景衰减阈值c时,认为背景发生变化,重新进行前景和背景划分。
更进一步的,所述方法找到视频帧中运动目标后在找出视频帧中的疑似抛洒物,对运动目标的图像帧序列进行灰度化处理,对得到的灰度化图像进行二值化处理;
所得图像进行形态学膨胀操作,对形态学膨胀操作后的所述二值图像进行连通域检测,将检测到的连通域的内部进行填充,得到运动目标增强后图像;
最后对所述运动目标增强后图像进行去噪,提取出疑似抛洒物。
更进一步的,所述方法通过Kemeans算法聚类出N个抛洒物像素值的分布结果,筛选过滤掉像素范围不在分布结果内的疑似抛洒物。将所述像素值聚类结果内的疑似抛洒物输入抛洒物识别模型中。
更进一步的,所述方法中,左支路中使用了深度可分离卷积,每层卷积之间使用BatchNorm归一化特征,激活函数使用常见的ReLu;
右支路则使用全局池化层、1x1卷积和sigmoid门控制单元提取的特征与经过1x1的卷积处理的特征进行按位乘运算,以获得加权后的特征;
最后与左支路的特征进行相加,最后识别得到抛洒物。
更进一步的,所述方法应用抛洒物识别方法对视频帧序列进行处理,得到抛洒物,在含有抛洒物的视频帧中提取相关人物,计算相关时刻下两者的距离;
若距离小于指定阈值,则判断该人物就是扔垃圾的人;
其中识,别人物使用yolov4物体检测技术,识别到人物的同时获取到人物的中心的坐标,并将中心点的坐标与抛洒物的中心点坐标做对比。
第二方面,本发明提供了一种景区抛洒物视频识别系统,包括处理器以及存储有执行指令的存储器,当所述处理器执行所述存储器存储的所述执行指令时,所述处理器执行第一方面所述的景区抛洒物视频识别系统的检测方法。
本发明的有益效果为:
本发明对抛洒物的识别提高,实现对乱扔垃圾的人进行追踪,进而能快速准确的检测到景区游客随地乱扔垃圾的行为,及时劝说改正其不良行为,并报警告知工作人员及时的去清理打扫,从而减少景区环境垃圾对景区造成不良影响。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是一种景区抛洒物视频识别系统的检测方法步骤图;
图2是本发明实施例抛洒物识别模型图;
图3是本发明实施例识别整体原理图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
参照图1所示,本实施例提供了一种景区抛洒物视频识别系统的检测方法,包括以下步骤:
获取目标路段的视频,并将采集视频帧序列视频生成的连续帧集合,通过混合高斯模型,从中提取出运动目标;
对运动目标的图像帧序列进行处理,再经增强和去噪后,提取出疑似抛洒物,得到抛洒物样本;
通过Kemeans算法聚类出抛洒物像素值的分布结果,经筛选过滤后,得到多种像素值聚类结果;
将像素值聚类结果内的疑似抛洒物输入抛洒物识别模型,获取疑似抛洒物的像素值,并对疑似抛洒物进行识别后得到抛洒物。
本实施例针对现有的技术一般都是工作人员定时的去打扫景区卫生,如果刚打扫完就有垃圾,那就要等到下一次打扫的时候才能清理干净,不够及时也比较浪费人力的问题,做出了解决。
本实施例能够快速准确的检测到景区游客随地乱扔垃圾的行为,及时劝说改正其不良行为,并报警告知工作人员及时的去清理打扫,从而减少景区环境垃圾对景区造成不良影响。
实施例2
在实施例1的基础上,参照图3,本实施例提供一种获取摄像头视频帧,从中提取出运动目标的方法,具体如下:
本实施例在景区指定道路设置监控摄像头对目标路段进行拍摄,获取其拍摄到的视频,视频帧序列视频生成的连续帧集合,在视频帧序列中通过混合高斯模型提取出运动目标,混合高斯模型从现有技术中的OpenCV的video module中直接获取并使用,计算像素与像素对应高斯分布之间的均值。
本实施例将均值与初始背景阈值进行比对,若所述均值小于所述初始背景阈值,对运动目标的前景和背景进行初步划分;若所述均值大于所述初始背景阈值,设置背景变化率对所述初始背景阈值进行更新。
本实施例将均值与更新后的初始背景阈值进行比对,若所述均值小于所述更新后的初始背景阈值,对运动目标的前景和背景进行再次划分。
本实施例先使用算法本身默认的背景阈值T区分大致的运动抛洒物的前景和背景模型,再通过额外设置的背景变化率c,重新更新背景阈值T,变化后的背景阈值T为K个高斯分布的混合高斯模型权值和归一化后的均值乘以背景变化率c。
本实施例只有当背景模型中的权值和小于变化后的背景阈值T时,才认为背景发生变化,开始重新更新背景模型;在混合高斯模型初始化时,学习率设置低一点,以降低高斯模型更新的速度。高斯混合模型的公式如下:
本实施例像素xj,t与当前像素对应高斯模型匹配成功,更新模型的均值和方差并将模型的高斯分布按权重降序排序,统计K个高斯分布的权重之和并归一化所有的权值,如果所有高斯模型都匹配失败,则剔除权值最小的模型,增加一个新的高斯分布,重新按权值排序。
本实施例利用设置的背景变化率c和统计的K个高斯分布的权重之和的均值,更新背景阈值T;最后统计xj,t与背景分布模型匹配中权值之和的变化,当权值小于设定的背景衰减阈值c时,认为背景发生变化,重新进行前景和背景划分。
实施例3
在实施例1的基础上,本实施例提供一种对目标进行处理,得到疑似抛洒物的方法,具体如下:找到视频帧中运动目标后在找出视频帧中的疑似抛洒物,对运动目标的图像帧序列进行灰度化处理,对得到的灰度化图像进行二值化处理。
本实施例所得图像进行形态学膨胀操作,对形态学膨胀操作后的所述二值图像进行连通域检测,将检测到的连通域的内部进行填充,得到运动目标增强后图像;对所述运动目标增强后图像进行去噪,提取出疑似抛洒物。
实施例4
在实施例1的基础上,本实施例提供一种获得抛洒物样本,对抛洒物数据进行聚类,得到多种聚类结果的方法,具体如下:通过Kemeans算法聚类出N个抛洒物像素值的分布结果,筛选过滤掉像素范围不在分布结果内的疑似抛洒物。将所述像素值聚类结果内的疑似抛洒物输入抛洒物识别模型中。
本实施例中,如图2所示,左支路中使用了深度可分离卷积(depthwise-conv),在结构上采用1x1卷积、3x3 depth-wise卷积和1x1卷积,每层卷积之间使用BatchNorm归一化特征,激活函数使用常见的ReLu,增加模型的非线性表达能力,该结构可以增强模型对于特征表示能力的同时,不引入额外的计算量。
本实施例右支路则使用全局池化层(avg-pooling)、1x1卷积和sigmoid门控制单元提取的特征A与经过1x1的卷积处理的特征B进行按位乘运算,以获得加权后的特征C,最后与左支路的特征进行相加。
本实施例右支路中利用sigmoid函数作为控制门单元目的在于获得前一层特征的重要性的得分权值,再与原先经过1x1的卷积处理的特征进行利用按位乘运算获得加权后的特征,最后识别得到抛洒物。
实施例5
本实施例提供一种景区抛洒物视频识别系统的检测方法的应用,本实施例应用抛洒物识别方法对视频帧序列进行处理,得到抛洒物,在含有抛洒物的视频帧中提取相关人物,计算相关时刻下两者的距离,若距离小于指定阈值,则判断该人物就是扔垃圾的人。其中识别人物使用的是yolov4,通用的物体检测技术,识别到人物的同时获取到人物的中心的坐标,将中心点的坐标与抛洒物的中心点坐标做对比。
实施例6
本实施例提供一种景区抛洒物视频识别系统,包括处理器以及存储有执行指令的存储器,当所述处理器执行所述存储器存储的所述执行指令时,所述处理器执行景区抛洒物视频识别系统的检测方法。
综上,本发明对抛洒物的识别提高,实现对乱扔垃圾的人进行追踪,进而能快速准确的检测到景区游客随地乱扔垃圾的行为,及时劝说改正其不良行为,并报警告知工作人员及时的去清理打扫,从而减少景区环境垃圾对景区造成不良影响。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种景区抛洒物视频识别系统的检测方法,其特征在于,包括以下步骤:
获取目标路段的视频,并将采集视频帧序列视频生成的连续帧集合,通过混合高斯模型,从中提取出运动目标;
对运动目标的图像帧序列进行处理,再经增强和去噪后,提取出疑似抛洒物,得到抛洒物样本;
通过Kemeans算法聚类出抛洒物像素值的分布结果,经筛选过滤后,得到多种像素值聚类结果;
将像素值聚类结果内的疑似抛洒物输入抛洒物识别模型,获取疑似抛洒物的像素值,并对疑似抛洒物进行识别后得到抛洒物。
2.根据权利要求1所述的一种景区抛洒物视频识别系统的检测方法,其特征在于,所述方法在景区指定道路设置监控摄像头对目标路段进行拍摄,获取其拍摄到的视频,将视频帧序列视频生成连续帧集合在视频帧序列中通过混合高斯模型提取出运动目标,计算像素与像素对应高斯分布之间的均值。
3.根据权利要求2所述的一种景区抛洒物视频识别系统的检测方法,其特征在于,所述方法中,将所述均值与初始背景阈值进行比对,若所述均值小于所述初始背景阈值,对运动目标的前景和背景进行初步划分;
若所述均值大于所述初始背景阈值,设置背景变化率对所述初始背景阈值进行更新,将所述均值与更新后的初始背景阈值进行比对,
若所述均值小于所述更新后的初始背景阈值,对运动目标的前景和背景进行再次划分。
4.根据权利要求3所述的一种景区抛洒物视频识别系统的检测方法,其特征在于,所述方法中,先使用算法本身默认的背景阈值T区分大致的运动抛洒物的前景和背景模型,再通过额外设置的背景变化率c,重新更新背景阈值T,变化后的背景阈值T为K个高斯分布的混合高斯模型权值和归一化后的均值乘以背景变化率c;最后开始重新更新背景模型;其中,高斯混合模型的公式如下:
xj,t表示在t时刻的图像中第j个像素,P(xj,t)表示该像素的背景分布概率,表示第i个混合高斯模型在t时刻的权值,表示高斯分布的概率密度函数,分别表示在t时刻第j个像素在第i高斯混合模型的均值和协方差矩阵;
5.根据权利要求4所述的一种景区抛洒物视频识别系统的检测方法,其特征在于,所述方法中,更新步骤为:
更新模型的均值和方差并将模型的高斯分布按权重降序排序,统计K个高斯分布的权重之和并归一化所有的权值;
如果所有高斯模型都匹配失败,则剔除权值最小的模型,增加一个新的高斯分布,重新按权值排序;
利用设置的背景变化率c和统计的K个高斯分布的权重之和的均值,更新背景阈值T;
最后统计xj,t与背景分布模型匹配中权值之和的变化,当权值小于设定的背景衰减阈值c时,认为背景发生变化,重新进行前景和背景划分。
6.根据权利要求1所述的一种景区抛洒物视频识别系统的检测方法,其特征在于,所述方法找到视频帧中运动目标后在找出视频帧中的疑似抛洒物,对运动目标的图像帧序列进行灰度化处理,对得到的灰度化图像进行二值化处理;
所得图像进行形态学膨胀操作,对形态学膨胀操作后的所述二值图像进行连通域检测,将检测到的连通域的内部进行填充,得到运动目标增强后图像;
最后对所述运动目标增强后图像进行去噪,提取出疑似抛洒物。
7.根据权利要求1所述的一种景区抛洒物视频识别系统的检测方法,其特征在于,所述方法通过Kemeans算法聚类出N个抛洒物像素值的分布结果,筛选过滤掉像素范围不在分布结果内的疑似抛洒物。将所述像素值聚类结果内的疑似抛洒物输入抛洒物识别模型中。
8.根据权利要求7所述的一种景区抛洒物视频识别系统的检测方法,其特征在于,所述方法中,左支路中使用了深度可分离卷积,每层卷积之间使用BatchNorm归一化特征,激活函数使用常见的ReLu;
右支路则使用全局池化层、1x1卷积和sigmoid门控制单元提取的特征与经过1x1的卷积处理的特征进行按位乘运算,以获得加权后的特征;
最后与左支路的特征进行相加,最后识别得到抛洒物。
9.根据权利要求1所述的一种景区抛洒物视频识别系统的检测方法,其特征在于,所述方法应用抛洒物识别方法对视频帧序列进行处理,得到抛洒物,在含有抛洒物的视频帧中提取相关人物,计算相关时刻下两者的距离;
若距离小于指定阈值,则判断该人物就是扔垃圾的人;
其中识,别人物使用yolov4物体检测技术,识别到人物的同时获取到人物的中心的坐标,并将中心点的坐标与抛洒物的中心点坐标做对比。
10.一种景区抛洒物视频识别系统,包括处理器以及存储有执行指令的存储器,当所述处理器执行所述存储器存储的所述执行指令时,所述处理器执行如权利要求1至9中任一所述的景区抛洒物视频识别系统的检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111663196.9A CN114359800A (zh) | 2021-12-31 | 2021-12-31 | 一种景区抛洒物视频识别系统及其检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111663196.9A CN114359800A (zh) | 2021-12-31 | 2021-12-31 | 一种景区抛洒物视频识别系统及其检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114359800A true CN114359800A (zh) | 2022-04-15 |
Family
ID=81106206
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111663196.9A Pending CN114359800A (zh) | 2021-12-31 | 2021-12-31 | 一种景区抛洒物视频识别系统及其检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114359800A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117789141A (zh) * | 2024-02-23 | 2024-03-29 | 中邮建技术有限公司 | 基于人工智能的路面抛洒事件检测方法 |
-
2021
- 2021-12-31 CN CN202111663196.9A patent/CN114359800A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117789141A (zh) * | 2024-02-23 | 2024-03-29 | 中邮建技术有限公司 | 基于人工智能的路面抛洒事件检测方法 |
CN117789141B (zh) * | 2024-02-23 | 2024-04-26 | 中邮建技术有限公司 | 基于人工智能的路面抛洒事件检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107527009B (zh) | 一种基于yolo目标检测的遗留物检测方法 | |
CN115601374B (zh) | 一种染色体图像分割方法 | |
CN112052797B (zh) | 基于MaskRCNN的视频火灾识别方法及系统 | |
KR101869442B1 (ko) | 화재 감지 장치 및 방법 | |
CN110555368B (zh) | 基于三维卷积神经网络的跌倒行为识别方法 | |
CN106778595B (zh) | 基于高斯混合模型的人群中异常行为的检测方法 | |
US9230175B2 (en) | System and method for motion detection in a surveillance video | |
Faro et al. | Adaptive background modeling integrated with luminosity sensors and occlusion processing for reliable vehicle detection | |
Majecka | Statistical models of pedestrian behaviour in the forum | |
US8340420B2 (en) | Method for recognizing objects in images | |
CN111062273B (zh) | 一种遗留物品追溯检测与报警方法 | |
CN110544271B (zh) | 抛物动作检测方法及相关装置 | |
CN109035219B (zh) | 基于bp神经网络的fics金手指缺陷检测系统及检测方法 | |
CN114639075B (zh) | 一种高空抛物坠物的识别方法、系统及计算机可读介质 | |
KR20160132731A (ko) | 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법 | |
CN111223129A (zh) | 检测方法、检测装置、监控设备和计算机可读存储介质 | |
CN104966305A (zh) | 基于运动矢量划分的前景检测方法 | |
CN113255580A (zh) | 抛洒物识别、车辆抛洒滴漏识别方法和装置 | |
CN111523536A (zh) | 一种基于Faster RCNN的自适应路面抛洒物智能检测方法 | |
Babaei | Vehicles tracking and classification using traffic zones in a hybrid scheme for intersection traffic management by smart cameras | |
CN111950357A (zh) | 一种基于多特征yolov3的船用水面垃圾快速识别方法 | |
CN114359800A (zh) | 一种景区抛洒物视频识别系统及其检测方法 | |
CN111275733A (zh) | 基于深度学习目标检测技术实现多艘船舶快速跟踪处理的方法 | |
CN113297949A (zh) | 高空抛物检测方法、装置、计算机设备和存储介质 | |
KR101690050B1 (ko) | 지능형 영상보안 시스템 및 객체 추적 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |