CN112883924B - 一种固定摄像下监控视频环境中对运动污染物的检测方法 - Google Patents

一种固定摄像下监控视频环境中对运动污染物的检测方法 Download PDF

Info

Publication number
CN112883924B
CN112883924B CN202110307597.4A CN202110307597A CN112883924B CN 112883924 B CN112883924 B CN 112883924B CN 202110307597 A CN202110307597 A CN 202110307597A CN 112883924 B CN112883924 B CN 112883924B
Authority
CN
China
Prior art keywords
frame
image
value
difference
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110307597.4A
Other languages
English (en)
Other versions
CN112883924A (zh
Inventor
金仙力
周挚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202110307597.4A priority Critical patent/CN112883924B/zh
Publication of CN112883924A publication Critical patent/CN112883924A/zh
Application granted granted Critical
Publication of CN112883924B publication Critical patent/CN112883924B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A20/00—Water conservation; Efficient water supply; Efficient water use
    • Y02A20/20—Controlling water pollution; Waste water treatment

Abstract

本发明公开了一种固定摄像下监控视频环境中对运动污染物的检测方法，包括背景更新算法、五帧差分法及构造改进算法，通过将五帧间差分法与背景差分法结合的方式，在两种算法的优点和缺点上进行分析和对两者的优点进行整合，使对运动目标的检测具有多种算法的优点，且将各种算法的劣势降低到最小。

Description

一种固定摄像下监控视频环境中对运动污染物的检测方法
技术领域
本发明涉及一种运动污染物的检测方法，具体的说是一种固定摄像下监控视频环境中对运动污染物的检测方法，属于计算机视觉技术领域。
背景技术
随着各个地区城市化建设的脚步不断加快，城市的公共卫、道路整洁、环境监测、公共交通等都是城市化建设的重要一环，市容市貌是一个城市城市化发展的最直接体现，也是智慧城市建设的重要环节，关系到城市居民的生活质量和幸福感。
目前的现状是，城市道路污染的情况日渐成为人们生活中的一项重大问题，然而现有方式依然只是单纯依靠人力去监测和识别，发现并清理道路污染，发现和清理的过程都是对人力物力的消耗，在一些情况下，污染物发现不及时，不仅影响道路环境，甚至造成严重的交通隐患，如高速公路中的道路污染，仅仅依靠人力去发现，一是对人的安全造成隐患，二是无法及时发现并清理，可能造成严重的交通事故。因此，需要依靠现代智能监控系统对道路环境进行实时检测。
发明内容
针对现有道路污染物处理方式的不足之处，需要研究对路面的智能化监控技术，在不需要人为干预的情况下对监控区域的路面进行自动分析，做出及时的反应；为此，本发明提供一种固定摄像下监控视频环境中对运动污染物的检测方法。
本发明的技术方案如下：固定摄像下监控视频环境中对运动污染物的检测方法，包括背景更新算法、五帧差分法和构造改进算法，其中背景更新算法包括以下步骤：
步骤1-1：在原始视频图像中取出200帧作为建立背景模型的基础，计算对应的像素差的绝对值，将背景模型中每一帧转换为灰度图形记为g1(x，y),200帧以后的图像称为预背景模型图像，将预背景模型中每一帧转换为灰度图形记为g2(x，y)；
步骤1-2：阈值计算，假定视频图像是一个m乘n的矩阵，通过计算前200帧任意一帧的任意一行的灰度均值，记做G1i(i＝1,2,3,…,M)，200帧后的任意一帧的任意一行的灰度均值，记做G2i(i＝1,2,3,…,M)，通过以下公式计算阈值T：
T＝|G1i-G2i|(i＝1,2,3,…M)
步骤1-3：获取激励值，通过用200帧前的图像点的灰度值与200帧后每一帧的对应位置的灰度值做差取绝对值获取相差的程度，激励值选择如下列公式所示：
Figure GDA0003717787400000021
g1(i,j)是模型帧像素点的灰度值；
g2(i,j)是实际帧像素点的灰度值；k为激励值。
进一步的，所述五帧差分法包括以下步骤：
步骤2-1：在视频序列中选取连续的五帧图像，在经过灰度化以及滤波等图像预处理过程后获得图像fk(x,y)x，y)，k是五个相邻的数字；
步骤2-2：采用隔帧差分的方法，将第一帧fk-2(x,y)与第三帧fk(x,y)，第二帧fk-1(x,y)与第三帧fk(x,y)；将第三帧fk(x,y)与第四帧fk+1(x,y)，第三帧fk(x,y)与第五帧fk+2(x,y)分别进行差分处理，再经过预先设定的阈值分割为二值化图像；
Figure GDA0003717787400000022
Figure GDA0003717787400000023
Figure GDA0003717787400000024
Figure GDA0003717787400000025
公式(3.19)、公式(3.20)、公式(3.21)和公式(3.22)中fk(x,y)x，y)是对应第k帧图像上位于(x,y)坐标的灰度值；动态阈值g1，g2，g3，g4是作为一个变化值；μ为抑制系数X*Y标志着每一帧图像的大小，用来确定待检区域的像素值大小，由于视屏图像的光照产生的变化会影响目标检测的效果，所以引入这个动态阈值作为对光照系数的补偿，尽量减少因光照引起的不利效应；
Figure GDA0003717787400000031
Figure GDA0003717787400000032
Figure GDA0003717787400000033
Figure GDA0003717787400000034
公式(3.23)、公式(3.24)、公式(3.25)和公式(3.26)中d1k，d2k，d3k，d4k为方差图像；T为OTSU法的分割阈值；
步骤2-3：使用公式(3.27)对二值化图像进行以3k为对称进行同或运算后，得到的结果再进行异或运动目标，计算公式如下：
Figure GDA0003717787400000035
dk(x,y)为得到的二值化五帧差分图像。
进一步的，最后通过使用逻辑与对两个算法进行构造改进：
步骤3-1、根据具有更新激励系数的背景更新算法获得二值化图像gk(x,y),以及使用五帧连续图像的帧间差分算法dk(x,y)，使用公式(3.28)逻辑‘与’运算得到运动目标的二值化图像：
Pk(x,y)＝dk(x,y)&gk(x,y) (3.28)
步骤3-2、根据步骤1获得的二值化图像Pk(x,y),在原图像的对应区域进行前景分割，获得目标污染物的图像。
与现有技术相比，本发明的有益效果是：由于传统检测手段中，一般使用背景差分法、帧间差分法和光流法进行运动目标检测，这三种目标检测算法各有优缺点，具体的，帧间差分法的运算速度快，算法实时性好，但是目标运动缓慢时容易出现空洞效应，受背景颜色影响较大；光流法能良好的携带运动物体的运动信息以及背景的三维结构信息，对运动目标的检测不依赖背景信息，但是运算复杂，消耗时间长，光照对算法影响较大，实时性较差；背景差分法算法复杂度小，运算速度快，但是模型与背景需要高度匹配，容易受背景光照影响；因此，为了保证后续的运动目标跟踪能够获得良好的描述信息和空间信息，按照三种目标检测算法的优劣分析，本发明采用五帧间差分法与背景差分法结合的方式，在两种算法的优点和缺点上进行分析和对两者的优点进行整合，使对运动目标的检测具有多种算法的优点，且将各种算法的劣势降低到最小。
附图说明
图1为本发明的联合构造算法原理示意图。
具体实施方式
为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。
固定摄像下监控视频环境中对运动污染物的检测方法，包括背景更新算法、五帧差分法和构造改进算法，其中背景更新算法包括以下步骤：
步骤1：在原始视频图像中取出200帧作为建立背景模型的基础，计算对应的像素差的绝对值，将背景模型中每一帧转换为灰度图形记为g1(x，y),200帧以后的图像称为预背景模型图像，将预背景模型中每一帧转换为灰度图形记为g2(x，y)；
步骤2：阈值计算，假定视频图像是一个m乘n的矩阵，通过计算前200帧任意一帧的任意一行的灰度均值，记做G1i(i＝1,2,3,…,M)，200帧后的任意一帧的任意一行的灰度均值，记做G2i(i＝1,2,3,…,M)，通过以下公式计算阈值T：
T＝|G1i-G2i|(i＝1,2,3,…M)
步骤3：获取激励值，通过用200帧前的图像点的灰度值与200帧后每一帧的对应位置的灰度值做差取绝对值获取相差的程度，激励值选择如下列公式所示：
Figure GDA0003717787400000041
g1(i,j)是模型帧像素点的灰度值；
g2(i,j)是实际帧像素点的灰度值；k为激励值。
进一步的，所述五帧差分法包括以下步骤：
步骤1：在视频序列中选取连续的五帧图像，在经过灰度化以及滤波等图像预处理过程后获得图像fk(x,y)x，y)，k是五个相邻的数字；
步骤2：采用隔帧差分的方法，将第一帧fk-2(x,y)与第三帧fk(x,y)，第二帧fk-1(x,y)与第三帧fk(x,y)；将第三帧fk(x,y)与第四帧fk+1(x,y)，第三帧fk(x,y)与第五帧fk+2(x,y)分别进行差分处理，再经过预先设定的阈值分割为二值化图像；
Figure GDA0003717787400000051
Figure GDA0003717787400000052
Figure GDA0003717787400000053
Figure GDA0003717787400000054
公式(3.19)、公式(3.20)、公式(3.21)和公式(3.22)中fk(x,y)x，y)是对应第k帧图像上位于(x,y)坐标的灰度值；动态阈值g1，g2，g3，g4是作为一个变化值；μ为抑制系数X*Y标志着每一帧图像的大小，用来确定待检区域的像素值大小，由于视屏图像的光照产生的变化会影响目标检测的效果，所以引入这个动态阈值作为对光照系数的补偿，尽量减少因光照引起的不利效应；
Figure GDA0003717787400000055
Figure GDA0003717787400000056
Figure GDA0003717787400000057
Figure GDA0003717787400000058
公式(3.23)、公式(3.24)、公式(3.25)和公式(3.26)中d1k，d2k，d3k，d4k为方差图像；T为OTSU法的分割阈值；
步骤3：使用公式(3.27)对二值化图像进行以3k为对称进行同或运算后，得到的结果再进行异或运动目标，计算公式如下：
Figure GDA0003717787400000059
dk(x,y)x，y)为得到的二值化五帧差分图像。
进一步的，最后通过使用逻辑与对两个算法进行构造改进：
步骤1、根据具有更新激励系数的背景更新算法获得二值化图像gk(x,y),以及使用五帧连续图像的帧间差分算法dk(x,y)，使用公式(3.28)逻辑‘与’运算得到运动目标的二值化图像：
Pk(x,y)＝dk(x,y)&gk(x,y) (3.28)
步骤2、根据步骤1获得的二值化图像Pk(x,y),在原图像的对应区域进行前景分割，获得目标污染物的图像。
如图1所示，所述构造改进算法是通过背景更新算法持续的更新激励系数，以及使用五帧连续图像的帧间差分算法，最后通过使用逻辑与对两个算法的二值化结果进行运算，能有效减少检测目标产生的空洞效应，更好的检测出位于后背景中的目标物。
由于传统检测手段中，一般使用背景差分法、帧间差分法和光流法进行运动目标检测，这三种目标检测算法各有优缺点，具体的，帧间差分法的运算速度快，算法实时性好，但是目标运动缓慢时容易出现空洞效应，受背景颜色影响较大；光流法能良好的携带运动物体的运动信息以及背景的三维结构信息，对运动目标的检测不依赖背景信息，但是运算复杂，消耗时间长，光照对算法影响较大，实时性较差；背景差分法算法复杂度小，运算速度快，但是模型与背景需要高度匹配，容易受背景光照影响；因此，为了保证后续的运动目标跟踪能够获得良好的描述信息和空间信息，按照三种目标检测算法的优劣分析，本发明采用五帧间差分法与背景差分法结合的方式，在两种算法的优点和缺点上进行分析和对两者的优点进行整合，使对运动目标的检测具有多种算法的优点，且将各种算法的劣势降低到最小。
以上所述，仅为本发明较佳的几个实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化和替换，都应涵盖在本发明的保护范围内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (1)

1.一种固定摄像下监控视频环境中对运动污染物的检测方法，其特征在于：包括背景更新算法、五帧差分法及构造改进算法，通过将五帧差分法与背景更新法结合的方式，在两种算法的优点和缺点上进行分析和对两者的优点进行整合，使对运动目标的检测具有多种算法的优点，且将各种算法的劣势降低到最小；
所述背景更新算法包括以下步骤：
步骤1-1、在原始视频图像中取出200帧作为建立背景模型的基础，计算对应的像素差的绝对值，将背景模型中每一帧转换为灰度图形记为g1(x，y)，200帧以后的图像称为预背景模型图像，将预背景模型中每一帧转换为灰度图形记为g2(x，y)；
步骤1-2、阈值计算，假定视频图像是一个m乘n的矩阵，通过计算前200帧任意一帧的任意一行的灰度均值，记做G1i(i＝1，2，3，...，M)，200帧后的任意一帧的任意一行的灰度均值，记做G2i(i＝1，2，3，...，M)，通过以下公式计算阈值T：
T＝|G1i-G2i|(i＝1，2，3，...M)
步骤1-3、获取激励值，通过用200帧前的图像点的灰度值与200帧后每一帧的对应位置的灰度值做差取绝对值获取相差的程度，激励值选择如下列公式所示：
Figure FDA0003717787390000011
其中，g1(i，j)是模型帧像素点的灰度值；g2(i，j)是实际帧像素点的灰度值；k为激励值；
所述五帧差分法包括以下步骤：
步骤2-1、在视频序列中选取连续的五帧图像，在经过灰度化以及滤波等图像预处理过程后获得图像fk(x，y)x，y)，k是五个相邻的数字；
步骤2-2、采用隔帧差分的方法，将第一帧fk-2(x，y)与第三帧fk(x，y)，第二帧fk-1(x，y)与第三帧fk(x，y)；将第三帧fk(x，y)与第四帧fk+1(x，y)，第三帧fk(x，y)与第五帧fk+2(x，y)分别进行差分处理，再经过预先设定的阈值分割为二值化图像；
Figure FDA0003717787390000021
Figure FDA0003717787390000022
Figure FDA0003717787390000023
Figure FDA0003717787390000024
公式(3.19)、公式(3.20)、公式(3.21)和公式(3.22)中fk(x，y)x，y)是对应第k帧图像上位于(x，y)坐标的灰度值；动态阈值g1，g2，g3，g4是作为一个变化值；μ为抑制系数X*Y标志着每一帧图像的大小，用来确定待检区域的像素值大小，由于视屏图像的光照产生的变化会影响目标检测的效果，所以引入这个动态阈值作为对光照系数的补偿，尽量减少因光照引起的不利效应；
Figure FDA0003717787390000025
Figure FDA0003717787390000026
Figure FDA0003717787390000027
Figure FDA0003717787390000028
其中，公式(3.23)、公式(3.24)、公式(3.25)和公式(3.26)中的d1k，d2k，d3k，d4k为方差图像；T为OTSU法的分割阈值；
步骤2-3、使用公式(3.27)对二值化图像进行以3k为对称进行同或运算后，得到的结果再进行异或运动目标，计算公式如下：
Figure FDA0003717787390000029
dk(x，y)为得到的二值化五帧差分图像；
最后通过使用逻辑与对两个算法进行构造改进：
步骤3-1、根据具有更新激励系数的背景更新算法获得二值化图像gk(x，y)，以及使用五帧连续图像的帧间差分算法dk(x，y)，使用公式(3.28)逻辑‘与’运算得到运动目标的二值化图像：
Pk(x，y)＝dk(x，y)&gk(x，y) (3.28)
步骤3-2、根据步骤1获得的二值化图像Pk(x，y)，在原图像的对应区域进行前景分割，获得目标污染物的图像。
CN202110307597.4A 2021-03-23 2021-03-23 一种固定摄像下监控视频环境中对运动污染物的检测方法 Active CN112883924B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110307597.4A CN112883924B (zh) 2021-03-23 2021-03-23 一种固定摄像下监控视频环境中对运动污染物的检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110307597.4A CN112883924B (zh) 2021-03-23 2021-03-23 一种固定摄像下监控视频环境中对运动污染物的检测方法

Publications (2)

Publication Number Publication Date
CN112883924A CN112883924A (zh) 2021-06-01
CN112883924B true CN112883924B (zh) 2022-08-30

Family

ID=76041810

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110307597.4A Active CN112883924B (zh) 2021-03-23 2021-03-23 一种固定摄像下监控视频环境中对运动污染物的检测方法

Country Status (1)

Country Link
CN (1) CN112883924B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169985A (zh) * 2017-05-23 2017-09-15 南京邮电大学 一种基于对称帧间差分和背景更新的运动目标检测方法
CN112036254A (zh) * 2020-08-07 2020-12-04 东南大学 基于视频图像的运动车辆前景检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169985A (zh) * 2017-05-23 2017-09-15 南京邮电大学 一种基于对称帧间差分和背景更新的运动目标检测方法
CN112036254A (zh) * 2020-08-07 2020-12-04 东南大学 基于视频图像的运动车辆前景检测方法

Also Published As

Publication number Publication date
CN112883924A (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN112036254B (zh) 基于视频图像的运动车辆前景检测方法
CN109147331B (zh) 一种基于计算机视觉的道路拥堵状态检测方法
Zhu et al. VISATRAM: A real-time vision system for automatic traffic monitoring
CN102663743B (zh) 一种复杂场景中多摄影机协同的人物追踪方法
CN101739686B (zh) 运动目标跟踪方法及其系统
CN110874592B (zh) 一种基于总有界变分的森林火灾烟雾图像检测方法
CN104978567B (zh) 基于场景分类的车辆检测方法
CN106846359A (zh) 基于视频序列的运动目标快速检测方法
CN108596169B (zh) 基于视频流图像的分块信号转换与目标检测方法及装置
CN101315701B (zh) 运动目标图像分割方法
CN109359563B (zh) 一种基于数字图像处理的占道现象实时检测方法
CN101286239A (zh) 航拍交通视频车辆快速检测方法
CN109934224A (zh) 基于马尔科夫随机场和视觉对比机制的小目标检测方法
CN106296677A (zh) 一种基于双背景模型的双掩膜背景更新的遗留物检测方法
CN106548488A (zh) 一种基于背景模型及帧间差分的前景检测方法
CN115035182B (zh) 一种山区滑坡灾害预警方法及系统
CN106934819A (zh) 一种提高图像中运动物体检测精度的方法
CN109086682A (zh) 一种基于多特征融合的智能视频黑烟车检测方法
CN1556506A (zh) 视频监控系统的智能化报警处理方法
CN112883924B (zh) 一种固定摄像下监控视频环境中对运动污染物的检测方法
Gao et al. Intelligent crack damage detection system in shield tunnel using combination of retinanet and optimal adaptive selection
CN110853000A (zh) 一种车辙的检测方法
CN108510527A (zh) 一种基于帧差法和运动点聚类的运动目标检测方法
Mo et al. Research on expressway traffic event detection at night based on Mask-SpyNet
Ren et al. High-efficient detection of traffic parameters by using two foreground temporal-spatial images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant