CN111339824A - 基于机器视觉的路面抛洒物检测方法 - Google Patents

基于机器视觉的路面抛洒物检测方法 Download PDF

Info

Publication number
CN111339824A
CN111339824A CN201911409901.5A CN201911409901A CN111339824A CN 111339824 A CN111339824 A CN 111339824A CN 201911409901 A CN201911409901 A CN 201911409901A CN 111339824 A CN111339824 A CN 111339824A
Authority
CN
China
Prior art keywords
pixel
image
moving target
mixture model
gaussian mixture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201911409901.5A
Other languages
English (en)
Inventor
郭唐仪
马海荣
练智超
丁俊杰
刘悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Aites Technology Co ltd
Original Assignee
Nanjing Aites Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Aites Technology Co ltd filed Critical Nanjing Aites Technology Co ltd
Priority to CN201911409901.5A priority Critical patent/CN111339824A/zh
Publication of CN111339824A publication Critical patent/CN111339824A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于机器视觉的路面抛洒物检测方法，包括获取摄像机视频流，按帧读取图像，对图像中每一个像素点建立高斯混合模型，并利用高斯混合模型实现运动目标与背景分离；去除运动目标图像噪点，强化运动目标图像，凸显待检测物体；将强化后的运动目标图像按帧输入经过训练的YOLO v3目标检测网络，完成对路面抛洒物区域的框选。本发明充分利用互联网下机器视觉的特点与优势，有效减少了复杂背景对检测任务的干扰，提高了路面抛洒物检测的精度。

Description

基于机器视觉的路面抛洒物检测方法
技术领域
本发明属于机器视觉技术领域，具体为一种基于机器视觉的路面抛洒物检测方法。
背景技术
依托于互联网、云计算等新一代计算机与信息技术，借助固定式视频采集设备，GPS、移动终端等感知设备，越来越多的自动检测技术被研究者们提出。目前，通常采用传统的帧间差分法和均值背景减除法进行抛洒物检测，但针对复杂的路面情况，以及抛洒物多为运动物体的事实，传统的帧间差分法和均值背景减除法很难准确地提取出前景运动目标，较难检测出运动的物体是车辆还是路面抛洒物，从而产生大量的误检或漏检，造成路面抛洒物事件检测的准确度和可靠性不高，得到的效果较为有限。
发明内容
本发明提出了一种基于机器视觉的路面抛洒物检测方法。
实现本发明目的的技术方案为：一种基于机器视觉的路面抛洒物检测方法，具体步骤为：
步骤1、获取摄像机视频流，按帧读取图像，对图像中每一个像素点建立高斯混合模型，并利用高斯混合模型实现运动目标与背景分离；
步骤2、去除运动目标图像噪点，强化运动目标图像，凸显待检测物体；
步骤3、将强化后的运动目标图像按帧输入经过训练的YOLO v3目标检测网络，完成对车辆和抛洒物区域的分类。
优选地，对图像中每一个像素点建立高斯混合模型，并利用高斯混合模型实现运动目标与背景分离的具体方法为：
对图像中每一个像素点建立高斯混合模型，根据高斯分布与像素点之间的匹配情况更新分布，如果有匹配成功的高斯混合模型，则更新高斯分布中的均值以及标准差，同时，确定该像素为背景像素；否则，直接确定该像素为前景像素。
优选地，对图像中每一个像素点建立高斯混合模型，并利用高斯混合模型实现运动目标与背景分离的具体步骤为：
1)初始化高斯混合模型，设置高斯混合模型均值、标准差、差分阈值分别赋为μ(0,0)、σ(0,0)、T，分别满足以下条件：
μ(0,0)＝I(x,y)
σ(0,0)＝T
I(x,y)为像素点像素值；
2)检测像素I(x,y)属于前景像素还是背景像素，检测公式为：
Figure BDA0002349689880000021
其中，λ为阈值参数，bg表示背景像素，fg表示前景像素；
3)如果该像素为背景像素，更新高斯混合模型均值μ(x,y)、标准差σ(x,y)，其中α为学习率参数，更新公式为：
μ(x,y)＝(1-α)*μ(x,y)+α*I(x,y)
Figure BDA0002349689880000022
4)重复步骤2)、3)，直至遍历所有的像素。
优选地，去除运动目标图像噪点，强化运动目标图像，凸显待检测物体的具体方法为：
通过形态学滤波对前景图像进行去噪处理；
使用开运算对去噪后的图像依次进行腐蚀、膨胀处理；
对图像进行平滑处理。
优选地，将强化后的运动目标图像按帧输入经过训练的YOLO v3目标检测网络，完成对车辆和抛洒物区域的分类的具体过程为：
强化后的运动目标图像通过Darknet-53卷积层获得特征图谱；
对特征图谱进行多尺度预测，将多尺度预测后的目标特征输入Logistic分类器进行分类，分别得到车辆和抛洒物区域。
优选地，设置获得的特征图谱大小分别为13x13、26x26和52x52。
本发明与现有技术相比，其显著优点为：
1、本发明采用GMM模型分离出背景与运动的物体，能适应动态场景的变化，实现动态建模，因此对路面抛洒物的检测效果影响较小，适用性广，极大提高了检测精度；
2、本发明采用YOLO v3框架实施目标检测，YOLO v3在速度上具有极大的优势，保证了检测准确率，提高了鲁棒性。
下面结合附图对本发明做进一步详细的描述。
附图说明
图1为本发明的流程图。
图2为本发明的YOLO v3框架流程图。
图3为本发明的Darknet-53结构示意图。
具体实施方式
如图1所示，一种基于机器视觉的路面抛洒物检测方法，具体步骤为：
步骤1、获取摄像机视频流，按帧读取图像，对图像中每一个像素点建立高斯混合模型，并利用高斯混合模型(即GMM模型)实现运动的目标与背景分离，即车辆、抛洒物与背景分离，
进一步的实施例中，本发明利用固定式设备采集装置，获取待检测路段上的视频流，读入每一帧图像；
进一步的实施例中，利用高斯混合模型(即GMM模型)，实现运动的目标与背景分离的具体方法为：
对图像中每一个像素点建立高斯混合模型，根据高斯分布与像素点之间的匹配情况更新高斯分布，如果有匹配成功的高斯混合模型，则更新高斯分布中的均值以及标准差，同时，确定该像素为背景像素；否则，直接确定该像素为前景像素，具体步骤为：
1)初始化高斯混合模型，初始化均值、标准差以及差分阈值，分别赋为μ(0,0)、σ(0,0)、T，满足以下等式条件。
μ(0,0)＝I(x,y)
σ(0,0)＝T
2)检测像素I(x,y)属于前景像素还是背景像素，检测公式为：
Figure BDA0002349689880000031
其中，λ为阈值参数，bg表示背景像素，fg表示前景像素，满足下列不等式条件
3)如果该像素为背景像素，更新参数μ(x,y)、σ(x,y)，其中α为学习率参数。
μ(x,y)＝(1-α)*μ(x,y)+α*I(x,y)
Figure BDA0002349689880000041
4)重复步骤2)、3)，直至遍历所有的像素。
通过以上步骤，将运动物体描述为一个高斯分布并建模，将所有的符合运动物体分布的像素分离出来，也即前景与背景分离，这样就将运动物体与背景分离，从而获得运动目标；
步骤2、通过形态学滤波对步骤1分离出的前景图像进行处理，去除噪点，强化图像，凸显待检测物体，具体为：
通过形态学滤波，对步骤1分离出的前景图像进行去噪处理，使用开运算，对去噪后的图像先腐蚀后膨胀操作，消除一些小的像素点，在不改变物体形状的前提下，对图像进行平滑操作，强化图像，进而凸显待检测物体；
步骤3、如图2所示，将步骤2平滑操作后的图像，按帧输入经过大量特征训练的YOLO v3目标检测网络，依次通过Darknet-53卷积层，如图3所示，经过Darknet-53网络结构获得特征图谱，设定特征图谱大小分别为13x13、26x26和52x52，对特征图谱进行多尺度预测，将多尺度预测后的目标特征输入Logistic分类器进行分类，完成对路面抛洒物区域的框选。
在某些实施例中，选取1000张尺寸为1440x1080的图像，从中选取10000个抛洒物作为训练集，并预留500张图像作为测试集，根据预先设置好的Anchor boxes在特征图谱上进行预测，实现多尺度预测，以此达到训练YOLO v3网络结构的效果。
若将该区域分类为路面抛洒物区域，则用矩形框框出，标记路面异常事件。
本发明中YOLO v3中使用Darknet-53全卷积网络结构，这个网络由残差单元叠加而成，在保证准确率的基础上，极大的提高了检测速度。
本发明中YOLO v3使用多个独立的Logistic分类器取代Softmax分类器，使得能够实现目标多分类检测；
本发明中YOLO v3采用类FPN进行多尺度预测，在多个尺度的特征图上分别独立做检测，对于小目标的检测效果非常明显。
实施例
为了分析本发明的预测效果，本实施例将采集到的300段视频作为正样本，同时选取了100段不含路面污染物事件的视频作为负样本，最终，正确检测出了230段(210个正样本，20个负样本)，错误检测出170段(90个正样本，80个负样本)，计算得到路面抛洒物事件检测的准确率、漏检率和误检率结果如表1所示。
表1评价指标
Figure BDA0002349689880000051
上述分析说明，通过本发明进行预测的误差精度低，提高了路面抛洒物检测的准确度。

Claims (6)

1.一种基于机器视觉的路面抛洒物检测方法，其特征在于，具体步骤为：
步骤1、获取摄像机视频流，按帧读取图像，对图像中每一个像素点建立高斯混合模型，并利用高斯混合模型实现运动目标与背景分离；
步骤2、去除运动目标图像噪点，强化运动目标图像，凸显待检测物体；
步骤3、将强化后的运动目标图像按帧输入经过训练的YOLO v3目标检测网络，完成对路面抛洒物区域的框选。
2.根据权利要求1所述的基于机器视觉的路面抛洒物检测方法，其特征在于，对图像中每一个像素点建立高斯混合模型，并利用高斯混合模型实现运动目标与背景分离的具体方法为：
对图像中每一个像素点建立高斯混合模型，根据高斯分布与像素点之间的匹配情况更新分布，如果有匹配成功的高斯混合模型，则更新高斯分布中的均值以及标准差，同时，确定该像素为背景像素；否则，直接确定该像素为前景像素。
3.根据权利要求1或2任一所述的基于机器视觉的路面抛洒物检测方法，其特征在于，对图像中每一个像素点建立高斯混合模型，并利用高斯混合模型实现运动目标与背景分离的具体步骤为：
1)初始化高斯混合模型，设置高斯混合模型均值、标准差、差分阈值分别赋为μ(0,0)、σ(0,0)、T，分别满足以下条件：
μ(0,0)＝I(x,y)
σ(0,0)＝T
I(x,y)为像素点像素值；
2)检测像素I(x,y)属于前景像素还是背景像素，检测公式为：
Figure FDA0002349689870000011
其中，λ为阈值参数，bg表示背景像素，fg表示前景像素；
3)如果该像素为背景像素，更新高斯混合模型均值μ(x,y)、标准差σ(x,y)，其中α为学习率参数，更新公式为：
μ(x,y)＝(1-α)*μ(x,y)+α*I(x,y)
Figure FDA0002349689870000021
4)重复步骤2)、3)，直至遍历所有的像素。
4.根据权利要求1所述的基于机器视觉的路面抛洒物检测方法，其特征在于，去除运动目标图像噪点，强化运动目标图像，凸显待检测物体的具体方法为：
通过形态学滤波对前景图像进行去噪处理；
使用开运算对去噪后的图像依次进行腐蚀、膨胀处理；
对图像进行平滑处理。
5.根据权利要求1所述的基于机器视觉的路面抛洒物检测方法，其特征在于，将强化后的运动目标图像按帧输入经过训练的YOLO v3目标检测网络，完成对车辆和抛洒物区域的分类的具体过程为：
强化后的运动目标图像通过Darknet-53卷积层获得特征图谱；
对特征图谱进行多尺度预测，将多尺度预测后的目标特征输入Logistic分类器进行分类，分别得到车辆和抛洒物区域。
6.根据权利要求5所述的基于机器视觉的路面抛洒物检测方法，其特征在于，设置获得的特征图谱大小分别为13x13、26x26和52x52。
CN201911409901.5A 2019-12-31 2019-12-31 基于机器视觉的路面抛洒物检测方法 Withdrawn CN111339824A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911409901.5A CN111339824A (zh) 2019-12-31 2019-12-31 基于机器视觉的路面抛洒物检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911409901.5A CN111339824A (zh) 2019-12-31 2019-12-31 基于机器视觉的路面抛洒物检测方法

Publications (1)

Publication Number Publication Date
CN111339824A true CN111339824A (zh) 2020-06-26

Family

ID=71185065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911409901.5A Withdrawn CN111339824A (zh) 2019-12-31 2019-12-31 基于机器视觉的路面抛洒物检测方法

Country Status (1)

Country Link
CN (1) CN111339824A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915579A (zh) * 2020-07-24 2020-11-10 天津大学 基于高斯混合模型和卷积神经网络的液体泄漏检测方法
CN113255580A (zh) * 2021-06-18 2021-08-13 城云科技（中国）有限公司 抛洒物识别、车辆抛洒滴漏识别方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070206865A1 (en) * 2006-03-02 2007-09-06 Honeywell International Inc. Block-based Gaussian Mixture Model video motion detection
CN106297278A (zh) * 2015-05-18 2017-01-04 杭州海康威视数字技术股份有限公司 一种用于查询抛洒物车辆的方法和系统
CN107204006A (zh) * 2017-06-01 2017-09-26 大连海事大学 一种基于双背景差分的静止目标检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070206865A1 (en) * 2006-03-02 2007-09-06 Honeywell International Inc. Block-based Gaussian Mixture Model video motion detection
CN106297278A (zh) * 2015-05-18 2017-01-04 杭州海康威视数字技术股份有限公司 一种用于查询抛洒物车辆的方法和系统
CN107204006A (zh) * 2017-06-01 2017-09-26 大连海事大学 一种基于双背景差分的静止目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
晏世武: "基于改进Yolov3的目标检测的研究" *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915579A (zh) * 2020-07-24 2020-11-10 天津大学 基于高斯混合模型和卷积神经网络的液体泄漏检测方法
CN111915579B (zh) * 2020-07-24 2022-05-13 天津大学 基于高斯混合模型和卷积神经网络的液体泄漏检测方法
CN113255580A (zh) * 2021-06-18 2021-08-13 城云科技（中国）有限公司 抛洒物识别、车辆抛洒滴漏识别方法和装置

Similar Documents

Publication Publication Date Title
CN109816024B (zh) 一种基于多尺度特征融合与dcnn的实时车标检测方法
CN106683119B (zh) 基于航拍视频图像的运动车辆检测方法
CN104392468B (zh) 基于改进视觉背景提取的运动目标检测方法
CN106845364B (zh) 一种快速自动目标检测方法
CN100545867C (zh) 航拍交通视频车辆快速检测方法
CN107123131B (zh) 一种基于深度学习的运动目标检测方法
CN102307274B (zh) 基于边缘检测和帧差法的运动检测方法
CN107169401B (zh) 基于轨道视觉特征谱的轨道入侵物检测方法
CN109446917B (zh) 一种基于级联霍夫变换的消失点检测方法
CN103679704B (zh) 一种基于光照补偿的视频运动阴影检测方法
CN106778659B (zh) 一种车牌识别方法及装置
CN108804992B (zh) 一种基于深度学习的人群统计方法
CN106780560B (zh) 一种基于特征融合粒子滤波的仿生机器鱼视觉跟踪方法
CN108416316B (zh) 一种黑烟车的检测方法及系统
CN109711256B (zh) 一种低空复杂背景无人机目标检测方法
CN109544635B (zh) 一种基于枚举试探的相机自动标定方法
CN103093198A (zh) 一种人群密度监测方法及装置
CN110633671A (zh) 基于深度图像的公交车客流实时统计方法
CN109410248B (zh) 一种基于r-K算法的浮选泡沫运动特征提取方法
CN113111727A (zh) 一种基于特征对齐的遥感场景下旋转目标检测方法
CN109166137A (zh) 针对抖动视频序列中运动目标检测算法
CN109165602A (zh) 一种基于视频分析的黑烟车检测方法
Su et al. A new local-main-gradient-orientation HOG and contour differences based algorithm for object classification
CN111339824A (zh) 基于机器视觉的路面抛洒物检测方法
CN111127520B (zh) 一种基于视频分析的车辆跟踪方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200626