CN112258548B - 基于改进ViBe算法的运动目标提取方法 - Google Patents

基于改进ViBe算法的运动目标提取方法 Download PDF

Info

Publication number
CN112258548B
CN112258548B CN202011122423.2A CN202011122423A CN112258548B CN 112258548 B CN112258548 B CN 112258548B CN 202011122423 A CN202011122423 A CN 202011122423A CN 112258548 B CN112258548 B CN 112258548B
Authority
CN
China
Prior art keywords
image
pixel
dynamic
region
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011122423.2A
Other languages
English (en)
Other versions
CN112258548A (zh
Inventor
张侃健
何增祥
谢利萍
魏海坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202011122423.2A priority Critical patent/CN112258548B/zh
Publication of CN112258548A publication Critical patent/CN112258548A/zh
Application granted granted Critical
Publication of CN112258548B publication Critical patent/CN112258548B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Abstract

本发明公开了一种基于改进ViBe算法的运动目标提取方法,实现步骤为:(1)利用监控摄像头采集视频;(2)对采集的视频图像进行预处理;(3)采用ViBe算法对运动目标进行预提取;(4)采用基于图像颜色特征与图像区域匹配方法抑制动态阴影干扰;(5)采用基于改进Canny算子和形态学方法改善动态目标提取不完整问题。本发明能够用于解决ViBe算法动态目标提取中存在的动态阴影干扰和目标提取不完整的问题,提高了动态目标提取的准确度,有利于对运动目标进行识别与跟踪。

Description

基于改进ViBe算法的运动目标提取方法
技术领域
本发明涉及一种基于改进ViBe算法的动态目标提取方法,属于目标检测技术领域。
背景技术
运动前景检测,即基于视频的运动目标提取,通过图像分割的方法,将运动目标提取出来,以进行后续进一步的处理。前景检测方法主要有帧差法、背景差法和光流法。帧差法是对相邻帧的图像进行差分,然后对其进行二值化处理来得到运动前景区域;背景差法是把当前帧的图像和背景图像相减,再二值化提取运动区域;光流法是利用图像序列的光流信息,合并相似的运动矢量完成运动目标的检测。帧差法实现起来比较容易,算法的时间和空间复杂度都低,而且对动态环境的自适应性强,对光照的变化不敏感。但是,如果运动区域的内部灰度值相似,会产生“空洞”问题。其次,如果做差后的图像中目标的边缘轮廓较粗,会发生“双影”现象,则提取的运动区域不完整。背景差法实现起来也很容易,抑制了光线的干扰。但是,背景差法要求视频的背景是静止的。光流法能够适用于摄像头不静止的场景。然而,这个方法计算过程复杂,实时性不好。除此之外,光流法容易受到光线变化的影响,以至于运动前景提取效果降低。
O.Barnich等人提出的ViBe算法能够克服上述的部分缺点,但是还存在一些缺陷,比如漏检、残影和鬼影等问题。在阳光的照射下,动态目标会产生运动的阴影。通过ViBe算法直接提取运动前景,会将运动的阴影也会提取出来,给后续的处理添加麻。除此之外,通过ViBe算法得到的烟雾区域不能准确描述烟雾的轮廓,且烟雾区域内部存在缺失。
发明内容
为解决上述问题,本发明提供一种基于改进ViBe算法的动态目标提取方法,该方法检测性能较高,并且能克服动态阴影、提取的动态区域不完整等缺陷,具有一定的鲁棒性。
为了达到上述目的,本发明提供如下技术方案:
一种基于改进ViBe算法的动态目标提取方法,包括以下步骤:
步骤1:对采集的视频图像进行预处理;
步骤2:采用ViBe算法对运动目标进行预提取;
步骤3:采用基于图像颜色特征与图像区域匹配方法去除动态前景中的阴影;
步骤4:采用基于改进Canny算子和形态学方法提取动态前景中的运动目标。
进一步的,所述步骤1包括如下过程:图像增强、图像修复和图像滤波。
进一步的,所述步骤2具体包括以下步骤:
步骤2.1:初始化单帧图像中每个像素点的背景模型,随机抽样某个像素点的邻域的N个像素点,组成t=0时的像素模型作为背景模型,其中(x,y)为像素点的坐标;
步骤2.2:对后面的每一帧进行前景分割操作,当t=k时,将此帧图像的像素点的模型Pk(x,y)与背景模型Pbg(x,y)做差,若N个像素点的差值小于等于阈值T,则Pk(x,y)为背景,否则为前景;
步骤2.3:采用时间取样更新策略更新背景模型。
进一步的,所述步骤2.3中,假设像素点p(x,y)为步骤2.2确定的背景点,则该点以及该点的k领域内的像素点在下一帧图像中将有w的几率更新自己的模型样本。
进一步的,所述步骤3具体包括以下步骤:
步骤3.1:基于经典的mean shift算法对图像进行分割,每个区域标记为Si,中心为Ci,总计N块小区域;
步骤3.2:将原始的图像从RGB颜色空间转换到YUV颜色空间上,当某个像素点在YUV空间的Y通道上的值小于整张图片的Y通道的平均值的60%时,直接确定这个像素点在阴影之中;当某个区域Si的Y通道的平均值Yi小于整张图像Y通道平均值的60%时,则认为这个区域在阴影中;然后,再根据HSV颜色空间的特征,通过下述判别公式进行阴影检测:
其中,分别表示k时刻f(x,y)像素点处的HSV分量; 分别表示k时刻背景模型B(x,y)像素点处的HSV分量;ζs是前景阴影和背景饱和度差值的阈值,ζH是前景阴影和背景色调差值的阈值;
步骤3.3:对图像每个区域的梯度值计算直方图,同时计算两个区域直方图的曼哈顿距离dg(Si,Sj)来衡量两个区域的相似性;计算各区域的灰度共生矩阵,求出表征纹理特征的特征值和特征向量,然后计算两个区域纹理特征特征向量之间的曼哈顿距离dv(Si,Sj)来衡量区域间的相似性;因此,Si与Sj之间相似特征曼哈顿距离的和为D(Si,Sj)表示为:
D(Si,Sj)=dg(Si,Sj)+dv(Si,Sj)
假设Sj是Si最相似的背景非阴影区域,计算Sj的三个通道H、S、V的颜色直方图HistoH,j、HistoS,j、HistoV,j,并以这三个量为颜色直方图匹配的模板,调整Si的HSV通道的颜色直方图,使得阴影覆盖的区域像素强度、平滑度、饱和度恢复正常;最后,再将图像从HSV颜色空间转到RGB颜色空间。
进一步的,所述步骤4具体包括以下步骤:
步骤4.1:融合最大类间方差法,对原始的Canny算子的高、低阈值进行自适应的调整,使得Canny算子能够根据图像本身的特征来选择最优的阈值;
步骤4.2:通过形态学处理方法对动态前景进行进一步的处理,先进行腐蚀操作,然后进行膨胀操作,去除干扰噪声,同时弥补动态前景的空洞区域。
与现有技术相比,本发明具有如下优点和有益效果:
1.本发明对采集的视频图像进行预处理,消除了许多噪声,修复了坏点,且提高了图像的清晰度,从而提高了运动目标提取的准确度;采用基于图像颜色特征与图像区域匹配方法抑制动态阴影干扰;采用基于改进Canny算子和形态学方法改善动态目标提取不完整问题。
2.本发明能够用于解决ViBe算法动态目标提取中存在的动态阴影干扰和目标提取不完整的问题,提高了动态目标提取的准确度,有利于对运动目标进行识别与跟踪。
附图说明
图1是本发明提供的基于改进ViBe算法的运动目标提取方法的整体流程图;
图2是一帧含有运动目标的视频图像;
图3是原始的ViBe算法提取的动态前景区域;
图4是经过阴影去除后的动态前景区域;
图5是动态目标提取不完整的示意图;
图6是基于改进Canny算子和形态学方法后的动态前景区域。
具体实施方式
以下将结合具体实施例对本发明提供的技术方案进行详细说明,应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
本发明提供的基于改进ViBe算法的动态目标提取方法,其整体流程如图1所示,具体包括如下步骤:
步骤1:图2为一帧含有运动目标的图像,本步骤对图2进行预处理,包括图像增强、图像修复、图像滤波,具体步骤如下:
步骤1.1:图像增强,提高原始视频图像的分辨率;
步骤1.2:图像修复,采用传统的Telea法进行修复,去除图像的部分瑕疵,修复视频图像的坏点划痕;
步骤1.3:图像滤波,对视频图像进行去噪处理,使用中值滤波方法去除视频图像中的椒盐噪声;
步骤2:采用ViBe算法对运动目标进行预提取,具体步骤如下:
步骤2.1:初始化单帧图像中每个像素点的背景模型。随机抽样某个像素点的邻域的N个像素点,组成t=0时的像素模型作为背景模型,其中(x,y)为像素点的坐标;
步骤2.2:对后面的每一帧进行前景分割操作。当t=k时,将此帧图像的像素点的模型Pk(x,y)与背景模型Pbg(x,y)做差,若N个像素点的差值小于等于阈值T,则Pk(x,y)为背景,否则为前景;
步骤2.3:背景模型更新采用时间取样更新策略,假设像素点p(x,y)为步骤2.2确定的背景点,那该点以及该点的k领域内的像素点在下一帧图像中将有w的几率更新自己的模型样本,w取1/16。这样可以有效地消除摄像机的抖动或者目标微动带来的误差。
本步骤提取出的动态前景区域如图3所示。
步骤3:采用基于图像颜色特征与图像区域匹配方法抑制动态阴影干扰,包括以下步骤:
步骤3.1:基于经典的mean shift算法对图像进行分割,每个区域标记为Si,中心为Ci,总计N块小区域;
步骤3.2:将原始的图像从RGB颜色空间转换到YUV颜色空间上。当某个像素点在YUV空间的Y通道上的值小于整张图片的Y通道的平均值的60%时,可以直接确定这个像素点在阴影之中。当某个区域Si的Y通道的平均值Yi小于整张图像Y通道平均值的60%时,那么认为这个区域在阴影中。然后,再根据HSV颜色空间的特征,阴影检测的判别公式为:
其中,分别表示k时刻f(x,y)像素点处的HSV分量; 分别表示k时刻背景模型B(x,y)像素点处的HSV分量;ζs是前景阴影和背景饱和度差值的阈值,ζH是前景阴影和背景色调差值的阈值,两者需要针对不同的视频,进行不断的测试,从而获得最佳的取值。
步骤3.3:对图像每个区域的梯度值计算直方图,同时计算两个区域直方图的曼哈顿距离dg(Si,Sj)来衡量两个区域的相似性;计算各区域的灰度共生矩阵,求出表征纹理特征的特征值和特征向量,然后计算两个区域纹理特征特征向量之间的曼哈顿距离dv(Si,Sj)来衡量区域间的相似性。因此,Si与Sj之间相似特征曼哈顿距离的和为D(Si,Sj),可以表示为:
D(Si,Sj)=dg(Si,Sj)+dv(Si,Sj)
假设Sj是Si最相似的背景非阴影区域,计算Sj的三个通道H、S、V的颜色直方图HistoH,j、HistoS,j、HistoV,j,并以这三个量为颜色直方图匹配的模板,调整Si的HSV通道的颜色直方图,使得阴影覆盖的区域像素强度、平滑度、饱和度恢复正常。最后,再将图像从HSV颜色空间转到RGB颜色空间。
经本步骤去除阴影后的动态前景区域如图4所示。
步骤4:采用基于改进Canny算子和形态学方法提取动态前景中的运动目标,改善动态目标提取不完整问题,具体包括以下步骤:
步骤4.1:融合最大类间方差法,对原始的Canny算子的高、低阈值进行自适应的调整,使得Canny算子能够根据图像本身的特征来选择最优的阈值,更准确地得到运动目标的边缘,算法的自适应性也变得更好。
步骤4.2:通过形态学处理方法对动态前景进行进一步的处理,先进行腐蚀操作,然后进行膨胀操作,对干扰噪声进行去除,同时弥补动态前景的空洞区域。
动态目标提取不完整的示意图如图5所示,经本步骤4改善后的动态前景区域如图6所示。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段,还包括由以上技术特征任意组合所组成的技术方案。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。

Claims (5)

1.一种基于改进ViBe算法的动态目标提取方法,其特征在于,包括以下步骤:
步骤1:对采集的视频图像进行预处理;
步骤2:采用ViBe算法对运动目标进行预提取;
步骤3:采用基于图像颜色特征与图像区域匹配方法去除动态前景中的阴影;具体包括以下步骤:
步骤3.1:基于经典的mean shift算法对图像进行分割,每个区域标记为Si,中心为Ci,总计N块小区域;
步骤3.2:将原始的图像从RGB颜色空间转换到YUV颜色空间上,当某个像素点在YUV空间的Y通道上的值小于整张图片的Y通道的平均值的60%时,直接确定这个像素点在阴影之中;当某个区域Si的Y通道的平均值Yi小于整张图像Y通道平均值的60%时,则认为这个区域在阴影中;然后,再根据HSV颜色空间的特征,通过下述判别公式进行阴影检测:
其中,分别表示k时刻f(x,y)像素点处的HSV分量;/> 分别表示k时刻背景模型B(x,y)像素点处的HSV分量;ζs是前景阴影和背景饱和度差值的阈值,ζH是前景阴影和背景色调差值的阈值;
步骤3.3:对图像每个区域的梯度值计算直方图,同时计算两个区域直方图的曼哈顿距离dg(Si,Sj)来衡量两个区域的相似性;计算各区域的灰度共生矩阵,求出表征纹理特征的特征值和特征向量,然后计算两个区域纹理特征特征向量之间的曼哈顿距离dv(Si,Sj)来衡量区域间的相似性;因此,Si与Sj之间相似特征曼哈顿距离的和为D(Si,Sj)表示为:
D(Si,Sj)=dg(Si,Sj)+dv(Si,Sj)
假设Sj是Si最相似的背景非阴影区域,计算Sj的三个通道H、S、V的颜色直方图HistoH,j、HistoS,j、HistoV,j,并以这三个量为颜色直方图匹配的模板,调整Si的HSV通道的颜色直方图,使得阴影覆盖的区域像素强度、平滑度、饱和度恢复正常;最后,再将图像从HSV颜色空间转到RGB颜色空间;
步骤4:采用基于改进Canny算子和形态学方法提取动态前景中的运动目标。
2.根据权利要求1所述的基于改进ViBe算法的动态目标提取方法,其特征在于,所述步骤1包括如下过程:图像增强、图像修复和图像滤波。
3.根据权利要求1所述的基于改进ViBe算法的动态目标提取方法,其特征在于,所述步骤2具体包括以下步骤:
步骤2.1:初始化单帧图像中每个像素点的背景模型,随机抽样某个像素点的邻域的N个像素点,组成t=0时的像素模型作为背景模型,其中(x,y)为像素点的坐标;
步骤2.2:对后面的每一帧进行前景分割操作,当t为当前的时间点时,将此帧图像的像素点的模型Pk(x,y)与背景模型Pbg(x,y)做差,若N个像素点的差值小于等于阈值T,则Pk(x,y)为背景,否则为前景;
步骤2.3:采用时间取样更新策略更新背景模型。
4.根据权利要求3所述的基于改进ViBe算法的动态目标提取方法,其特征在于,所述步骤2.3中,假设像素点p(x,y)为步骤2.2确定的背景点,则该点以及该点的邻域内的像素点在下一帧图像中将有w的几率更新自己的模型样本。
5.根据权利要求1所述的基于改进ViBe算法的动态目标提取方法,其特征在于,所述步骤4具体包括以下步骤:
步骤4.1:融合最大类间方差法,对原始的Canny算子的高、低阈值进行自适应的调整,使得Canny算子能够根据图像本身的特征来选择最优的阈值;
步骤4.2:通过形态学处理方法对动态前景进行进一步的处理,先进行腐蚀操作,然后进行膨胀操作,去除干扰噪声,同时弥补动态前景的空洞区域。
CN202011122423.2A 2020-10-20 2020-10-20 基于改进ViBe算法的运动目标提取方法 Active CN112258548B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011122423.2A CN112258548B (zh) 2020-10-20 2020-10-20 基于改进ViBe算法的运动目标提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011122423.2A CN112258548B (zh) 2020-10-20 2020-10-20 基于改进ViBe算法的运动目标提取方法

Publications (2)

Publication Number Publication Date
CN112258548A CN112258548A (zh) 2021-01-22
CN112258548B true CN112258548B (zh) 2024-03-29

Family

ID=74244152

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011122423.2A Active CN112258548B (zh) 2020-10-20 2020-10-20 基于改进ViBe算法的运动目标提取方法

Country Status (1)

Country Link
CN (1) CN112258548B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105913441A (zh) * 2016-04-27 2016-08-31 四川大学 一种用于改善视频中目标检测性能的阴影去除方法
WO2017054455A1 (zh) * 2015-09-30 2017-04-06 深圳大学 一种监控视频中运动目标的阴影检测方法、系统
CN107895376A (zh) * 2017-12-11 2018-04-10 福州大学 基于改进Canny算子和轮廓面积阈值的太阳能电池板识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017054455A1 (zh) * 2015-09-30 2017-04-06 深圳大学 一种监控视频中运动目标的阴影检测方法、系统
CN105913441A (zh) * 2016-04-27 2016-08-31 四川大学 一种用于改善视频中目标检测性能的阴影去除方法
CN107895376A (zh) * 2017-12-11 2018-04-10 福州大学 基于改进Canny算子和轮廓面积阈值的太阳能电池板识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
融合改进ViBe与自适应阴影消除的目标检测算法;官洪运;井倩倩;王亚青;缪新苗;张抒艺;;信息技术与网络安全;20200810(第08期);全文 *

Also Published As

Publication number Publication date
CN112258548A (zh) 2021-01-22

Similar Documents

Publication Publication Date Title
CN107578035B (zh) 基于超像素-多色彩空间的人体轮廓提取方法
Ma et al. Shadow segmentation and compensation in high resolution satellite images
WO2022027931A1 (zh) 基于视频图像的运动车辆前景检测方法
CN110782477A (zh) 基于序列图像的运动目标快速检测方法、计算机视觉系统
CN111738211B (zh) 基于动态背景补偿与深度学习的ptz摄像机运动目标检测与识别方法
CN108898132B (zh) 一种基于形状上下文描述的太赫兹图像危险品识别方法
CN114118144A (zh) 抗干扰的航空遥感图像阴影精准检测方法
CN112561899A (zh) 电力巡检图像识别方法
CN111369570B (zh) 一种视频图像的多目标检测跟踪方法
CN111738931B (zh) 光伏阵列无人机航拍图像的阴影去除算法
Ma et al. An automatic detection method of Mura defects for liquid crystal display
CN112288780B (zh) 多特征动态加权的目标跟踪算法
CN112288726B (zh) 一种井下带式输送机带面异物检测方法
Othman et al. Enhanced single image dehazing technique based on HSV color space
Yu et al. MSER based shadow detection in high resolution remote sensing image
CN112184619A (zh) 一种基于深度学习的金属部件表面缺陷检测方法
CN112258548B (zh) 基于改进ViBe算法的运动目标提取方法
CN117058182A (zh) 一种用于视觉测距的目标检测边框优化方法
Xiang et al. Research on target detection method based on HSV fusion Gaussian mixture model
CN111192280A (zh) 一种基于局部特征的视盘边缘检测方法
Hu et al. A low-illumination image enhancement algorithm based on morphological-Retinex (MR) operator
CN112200769B (zh) 一种用于违建检测的定点监控新旧时相图像变化检测方法
Khan et al. Shadow removal from digital images using multi-channel binarization and shadow matting
CN109801238B (zh) 一种基于简化大气散射模型的弱光照图像增强方法
Han et al. Single image dehazing method via sky-regions segmentation and dark channel prior

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant