CN110598613A - 一种高速公路团雾监测方法 - Google Patents

一种高速公路团雾监测方法 Download PDF

Info

Publication number
CN110598613A
CN110598613A CN201910828720.XA CN201910828720A CN110598613A CN 110598613 A CN110598613 A CN 110598613A CN 201910828720 A CN201910828720 A CN 201910828720A CN 110598613 A CN110598613 A CN 110598613A
Authority
CN
China
Prior art keywords
image
pyramid
background image
gaussian
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910828720.XA
Other languages
English (en)
Other versions
CN110598613B (zh
Inventor
朱旭
杨安博
闫茂德
杨盼盼
左磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changan University
Original Assignee
Changan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changan University filed Critical Changan University
Priority to CN201910828720.XA priority Critical patent/CN110598613B/zh
Publication of CN110598613A publication Critical patent/CN110598613A/zh
Application granted granted Critical
Publication of CN110598613B publication Critical patent/CN110598613B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种高速公路团雾监测方法,根据公路沿线的监控视频建立基于自适应阈值的背景提取方法,以消除视频流中动态车辆和其它的干扰信息,然后基于背景图像构建高斯金字塔和拉普拉斯金字塔的结合和逆向重构,兼顾全局整体和局部细节增强,实现对背景图像的增强;接着对增强后的背景图像进行超像素分割建立背景图像的多维特征向量;建立多维高斯分布函数,分别计算待检测图像与正负样本库之间的标准化欧式距离,以两种标准化欧式距离之比作为团雾检测的衡量指标。有效解决了现有团雾检测方法对人工参照物和摄像机标定的依赖,同时避免了在高速公路搭建能见度检测仪和相关团雾监测装置成本过高,检测范围小的问题。

Description

一种高速公路团雾监测方法
技术领域
本发明涉及数字图像处理和高速公路团雾检测技术领域,具体涉及一种高速公路团雾监测方法。
背景技术
团雾本质上是一种浓雾,常出现在高速公路的局部区域,仅有数百米到上千米的范围,具有低能见度、高突发性、难预报的特点,严重影响我国高速公路的行车安全。及时准确的团雾检测是行车安全的重要保证,因此,为了对高速公路团雾信息进行准确的检测,保证行车安全,亟需一种有效的高速公路团雾检测方法。
近年来,常用的高速公路团雾检测方法有目测估计法、气象卫星观测法、以及仪器检测法等,但是由于传统检测方法仅能对部分关键路段进行处置,且存在安装成本高、维护困难等的缺点,导致不能有效地对大范围的团雾信息进行检测。幸运地是,随着图像处理技术的发展,通过对高速公路沿线的监控视频进行分析和处理,进而实现高速公路的团雾检测,有效解决了硬件检测装置对安装和维护成本的依赖。
同时,目前基于图像的团雾检测方式主要利用根据图像的能见度检测结果判断团雾是否产生,可分为两种:一种是基于图像最远可视点的能见度快速计算方法,将天空与道路的连接点作为最远可视点,通过可视距离与最远可视点的比值判断当前道路的能见度信息,这种方式虽然可以快速、简单的计算图像中的能见度信息,但对低能见度环境下误差较大,而团雾刚好发生在低能见度时,不能较好地适用;另一种是通过在拍摄图像搭建黑色参照物,并分析在不同能见度条件下的亮度关系,推导出图片亮度与能见度之间的关系公式。虽然该方法有效降低因背景杂散光引起的能见度检测误差,但其精度易受照明状况、目标物的选择和图像噪声的影响。
发明内容
本发明的目的在于提供一种高速公路团雾监测方法,以克服现有方法检测误差大、精度低的问题。
为达到上述目的,本发明采用如下技术方案:
一种高速公路团雾监测方法,包括以下步骤:
步骤1):利用道路监控获取公路沿线的监控视频,即待检测图像,基于自适应阈值背景提取方法获取监控视频的背景图像;
步骤2):根据步骤1)获取的背景图像建立高斯金字塔和拉普拉斯金字塔模型,通过金字塔模型的融合和逆向重构对背景图像进行增强处理;
步骤3):对增强处理后的背景图像进行超像素分割,并提取超像素的局部对比度、局部信息熵、邻域对比度和邻域信息熵特征,构造背景图像的多维特征向量;
步骤4):建立包括若干张低能见度的正样本图像的正样本图像库和包括若干张高能见度的负样本图像的负样本图像库;建立基于背景图像的多维特征向量的多维高斯分布函数,根据多维高斯分布函数计算增强后背景图像的期望和协方差的最大似然估计,以及根据多维高斯分布函数计算正样本图像库和负样本图像库之间的期望与协方差的最大似然估计;利用标准化欧氏距离度量增强后背景图像的期望和协方差的最大似然估计和正样本图像库和负样本图像库之间的期望与协方差的最大似然估计的相似度,进而得到待检测图像的团雾指标,完成公路团雾的监测。
进一步的,步骤1)中,基于自适应阈值背景提取方法获取监控视频的背景图像具体包括以下步骤:
a、获取监控视频中的第一帧图像为初始背景图像,将第k帧图像与初始背景图像做差分处理,从而得到第k帧图像与初始背景图像之间的差分图像:
Dk(x,y)=|Ck(x,y)-Bk(x,y)|
其中,(x,y)表示监控视频图像中的像素点,Dk(x,y)为第k帧差分图像在(x,y)处的灰度值,Ck(x,y)为第k帧图像在(x,y)处的灰度值,Bk(x,y)为第k帧背景图像在(x,y)处的灰度值;
根据分割阈值将第k帧图像分割为前景图像和背景图像:
分别计算不同分割阈值对应的类间方差
其中,为分割阈值为T时第k帧前景图像和背景图像的灰度值均值,为第k帧前景图像的灰度值平均值,为第k帧背景图像的灰度值平均值,分别为前景图像像素和背景图像像素占原图像(第k帧图像)的比重;为分割阈值为T时第k帧前景图像和背景图像的类间方差;
获取的最大值所对应的T值作为将第k帧图像分割为前景图像和背景图像的最佳分割阈值,根据获取的最佳分割阈值提取第k帧图像的背景图像;
根据最佳分割阈值,对第k帧图像与初始背景图像的差分图像做二值化处理,得到第k帧二值图像值:
其中,Hk(x,y)为第k帧二值图像在(x,y)处的值;
当Dk(x,y)≥T时,(x,y)处对应的像素点划归为前景图像;当Dk(x,y)<T时,(x,y)处的像素点划归为背景图像;
将Dk(x,y)<T对应的像素集合作为新的背景图像替换当前第k帧图像的背景图像:
其中,为第k帧新的背景图像在(x,y)处的灰度值;Bk(x,y)为第k帧背景图像Bk在(x,y)处的灰度值;当Hk(x,y)为0时,使用Ck(x,y)对当前第k帧图像的背景图像进行替换,否则保留当前第k帧图像的背景图像。
进一步的,根据获取的背景图像先构建高斯金字塔,然后根据高斯金字塔构建拉普拉斯金字塔,对高斯金字塔和拉普拉斯金字塔进行融合得到高斯-拉普拉斯融合金字塔:高斯金字塔有n层,每层有m张图像;拉普拉斯金字塔有n层,每层有m-1张图像;综合高斯金字塔和拉普拉斯金字塔,生成n层的融合金字塔;最终利用高斯-拉普拉斯融合金字塔进行逆向重构,完成背景图像增强。
进一步的,构建高斯金字塔具体包括以下步骤:首先,对获取的背景图像进行上采样,将背景图像放大一倍,将放大后的背景图像作为高斯金字塔的第1层的第1张图像,即为通过高斯卷积得到第1层的第j张图像具体计算方式为:
其中,表示高斯金字塔第1层第j张图像在(x,y)处的值,为第1层第j张图像对应的平滑因子;对于金字塔的第1层,在求取平滑因子时,由得到第j张图像对应的平滑因子其中kσ为平滑系数,从而可得到m个尺寸一致但平滑系数不同的背景图像构成高斯金字塔的第一层;
同样,对于高斯金字塔的第2层,将第1层的第m-2张图像做比例因子为的下采样,将第1层的第m-2张图像作为第2层的第1张图像连续对进行平滑因子为的高斯平滑处理,得到m个尺寸一致但平滑系数不同的背景图像构成高斯金字塔的第二层;
重复上述步骤,由高斯金字塔第i-1层的第m-2张图像经过下采样得到高斯金字塔的第i层的第1张图像而第i层的其余图像通过对连续进行平滑因子为的高斯平滑处理,进而得到第i层的m个尺寸一致但平滑系数不同的背景图像;最终可得到n层高斯金字塔,共有n×m张图像。
进一步的,构建拉普拉斯金字塔:基于已构建的高斯金字塔,利用差值法构建拉普拉斯金字塔,建立拉普拉斯金字塔时,采用自上而下的方式,即由顶层开始构建,直至拉普拉斯金字塔的底层。
进一步的,构建拉普拉斯金字塔具体包括以下步骤:对于拉普拉斯金字塔的第n层,共有m-1张图像,第v张图像可由下式得到:
其中,表示拉普拉斯金字塔第n层的第v张图像,表示高斯金字塔第n层的第v+1张图像,表示对图像进行上采样,G为高斯卷积内核,表示卷积操作,重复上式,进而得到拉普拉斯金字塔第n层的m-1张图像;,对高斯金字塔中的每一层采用如上方式,构造对应的拉普拉斯金字塔,进而得到n层的拉普拉斯金字塔。
进一步的,基于构建的高斯金字塔和拉普拉斯金字塔,根据下式得到最终的融合金字塔:
其中,Fw表示融合金字塔的第w层图像,融合金字塔共n层,每层一张图像;对于得到的融合金字塔,通过进行逆向重构完成图像增强;通过高斯金字塔和拉普拉斯金字塔的结合和逆向重构,兼顾全局整体和局部细节增强,实现对背景图像的增强,得到增强后的背景图像,记为
进一步的,步骤3)具体步骤如下:对增强后的背景图像进行超像素分割,提取每一个超像素的对比度和信息熵:
其中,Cs为第s个超像素的对比度,是相邻像素h和l间灰度差为λ的概率值,λ(h,l)为相邻元素h和l间幅度差的绝对值;Es为第s个超像素的信息熵,P(x,y)表示像素点(x,y)在背景图像中出现的概率,[1,Ms]为第s个超像素的x坐标范围,[1,Ns]为第s个超像素的y坐标范围;
获取增强后的背景图像的邻接对比度和邻接信息熵:
其中,表示第s个超像素的邻接对比度,为第s个超像素的邻接信息熵,S'为与第s个超像素相邻的超像素集合,d为集合S中的超像素,Cd为第d个超像素的对比度,Ed为第d个超像素的信息熵,card(S')表示超像素集合S'中元素的个数;
根据获取的局部对比度、局部信息熵、邻接对比度和邻接信息熵,建立超像素s对应的特征向量:
其中,z表示背景图像中超像素的数目;
最后建立增强后背景图像的特征向量:
X=[(X1)T,(X2)T,…,(Xs)T,…,(Xz)T]T
进一步的,步骤4)具体包括以下步骤:根据背景图像的多维特征向量,建立多维高斯分布函数:
其中,X为待检测图像的特征向量,为特征向量X的期望,表示特征向量X的协方差矩阵,D表示特征向量的维数,且D=4z,Σ-1为逆矩阵,|Σ|为协方差矩阵行列式的值;将特征向量X代入多维高斯分布函数中,求解得到期望μ和协方差Σ的最大似然估计值;
建立正样本图像库和负样本图像库,提取正样本图像库中第b张图像的特征向量,记为计算多维高斯分布函数得到的均值和协方差矩阵的最大似然估计;利用标准化欧氏距离,度量待检测图像和正样本的相似度:
其中,Spositive表示待检测图像与正样本图像库的相似度,fpositive表示正样本图像库中图像的数量,||·||表示向量的2范数;将待检测图像与正样本图像的均值和协方差带入上式即可求出待检测图像和正样本图像库的相似度;
对负样本图像库进行高斯分布函数和标准化欧氏距离求解,得到待检测图像与负样本图像集的相似程度:
其中,Snegative表示待检测图像与负样本图像库的相似度,fnegative表示负样本图像库中图像的数量,为负样本图像库中第c张图像期望的最大似然估计,为负样本图像库中第c张图像协方差的最大似然估计;
综合待检测图像和正样本图像库的相似度Spositive、待检测图像和负样本图像库的相似度Snegative,计算待检测图像的团雾指标:
其中,S为团雾指标;当S≥Sseq时,道路监控视频图像中发生团雾;S<Sseq时,道路监控视频图像中无团雾,其中Sseq为有无团雾的临界值。
进一步的,Sseq取值为5.1。
与现有技术相比,本发明具有以下有益的技术效果:
本发明一种高速公路团雾监测方法,基于公路视频监控的团雾检测方法,首先对高速公路沿线的监控视频,建立基于自适应阈值的背景提取方法,以消除视频流中动态车辆和其它的干扰信息,然后基于背景图像构建高斯金字塔和拉普拉斯金字塔,通过两种金字塔的结合和逆向重构,兼顾全局整体和局部细节增强,实现对背景图像的增强;接着对增强后的背景图像进行超像素分割,提取超像素的局部对比度、局部信息熵、邻域对比度和邻域信息熵,建立背景图像的多维特征向量;最后,建立多维高斯分布函数,分别计算待检测图像与正负样本库之间的期望与协方差的最大似然估计,并分别计算待检测图像与正负样本库之间的标准化欧式距离,以两种标准化欧式距离之比作为团雾检测的衡量指标。本发明利用高速公路监控视频实现图像的检测,有效解决了现有团雾检测方法对人工参照物和摄像机标定的依赖,同时避免了在高速公路搭建能见度检测仪和相关团雾监测装置成本过高,检测范围小的问题。本发明以低成本和高可靠性为目标,从背景图像提取出发,结合背景图像增强和多维特征向量提取,利用统计的方法建立团雾检测的度量指标,本发明摆脱了现有团雾检测算法对人工参照物和摄像机标定的依赖,同时避免了在高速公路搭建能见度检测仪和团雾监测设备等问题。
进一步的,通过对提取的背景图像,兼顾全局整体和局部细节增强,进行全局和局部增强处理,突出背景图像中与团雾相关的数据信息,增加特征提取及后续团雾检测的可靠性。
进一步的,通过对局部对比度、局部信息熵、邻域对比度和邻域信息熵等多个特征的提取,使得团雾检测的度量值指标具有更高的准确性。
附图说明
图1为本发明检测方法流程框图。
图2为本发明用于图像增强的高斯-拉普拉斯金字塔图。
具体实施方式
下面结合附图对本发明做进一步详细描述:
下面结合说明书(附图1)对本发明做进一步说明。附图1为本发明的团雾检测方法流程框图,主要包括背景图像的自适应提取、背景图像增强、自然特征向量提取、团雾指标计算四部分。具体实施方式如下:
步骤1:利用高速公路沿线部署的大量视频监控设备,获取道路监控视频;为避免视频图像中运动车辆及其它干扰信息对团雾检测的影响,首先需要提取监控视频的背景图像,在提取背景图像时,建立基于自适应阈值的背景提取方法,从而较大程度去除运动车辆及其它干扰信息:
首先,选取监控视频的第1帧为初始化背景图像,在后续帧实时更新背景图像。对当前帧图像(第k帧图像)与初始化背景图像做差分处理,从而得到当前帧图像与初始化背景图像之间的差分图像:
Dk(x,y)=|Ck(x,y)-Bk(x,y)|
其中,(x,y)表示图像中的像素点,Dk(x,y)为第k帧差分图像在(x,y)处的灰度值,Ck(x,y)为第k帧图像在(x,y)处的灰度值,Bk(x,y)为第k帧背景图像在(x,y)处的灰度值;
接着,确立分割阈值将第k帧图像分割为前景图像和背景图像:当分割阈值为T时,分别定义第k帧图像的均值和类间方差:
其中,为阈值为T时第k帧前景图像和背景图像的灰度值均值,为第k帧前景图像的灰度值平均值,为第k帧背景图像的灰度值平均值,分别为前景图像像素和背景图像像素占原图像的比重;为阈值为T时第k帧前景图像和背景图像的类间方差;
对于不同的阈值T,分别计算其对应的类间方差的最大值为最大类间方差(记为),此时前景图像和背景图像的差别最大,也就是说,所对应的T值即为前景图像和背景图像分割的最佳阈值;这样,通过最大类间方差确定所对应的T值作为将第k帧图像分割为前景图像和背景图像的最佳分割阈值,便于后续自适应地提取背景图像;
然后,根据前面确定的最佳分割阈值,对第k帧图像与初始背景图像的差分图像做二值化处理,得到第k帧二值图像值:
其中,Hk(x,y)为第k帧二值图像在(x,y)处的值;当Dk(x,y)≥T时,(x,y)处对应的像素点划归为前景图像;当Dk(x,y)<T时,(x,y)处的像素点划归为背景图像。
选取Dk(x,y)<T对应的像素集合作为新的背景替换当前第k帧图像的背景图像,具体背景替换方式为:
其中,为第k帧新的背景图像在(x,y)处的灰度值;Bk(x,y)为第k帧原背景图像Bk在(x,y)处的灰度值;当Hk(x,y)为0时,使用Ck(x,y)对原背景图像(第k帧图像的背景图像)进行替换;而在其他情况下,背景图像未受到运动车辆的干扰,保留原背景图像的像素点。最终,通过背景的多次替换得到无运动车辆及其它干扰信息的新背景图像
步骤2:针对步骤1提取的背景图像兼顾全局整体和局部细节增强,进行全局和局部增强处理,以提升背景图像的质量。先构建高斯金字塔,在此基础上构建拉普拉斯金字塔,接着综合利用高斯金字塔和拉普拉斯金字塔,制定融合规则,利用融合金字塔重构图像,实现背景图像的全局和局部增强。如附图中图2所示,图像增强分为两部分,高斯-拉普拉斯金字塔构建以及高斯-拉普拉斯金字塔融合。其中,高斯金字塔有n层,每层有m张图像;拉普拉斯金字塔有n层,每层有m-1张图像;综合高斯金字塔和拉普拉斯金字塔,生成n层的融合金字塔,最终利用得到的融合金字塔,进行逆向重构,完成图像增强。
首先,对背景图像进行上采样,将背景图像放大一倍,将放大后的背景图像作为高斯金字塔的第1层的第1张图像,即为第1层的第j张图像可通过高斯卷积得到;具体计算方式为:
其中,表示高斯金字塔第1层第j张图像在(x,y)处的值,为第1层第j张图像对应的平滑因子;对于金字塔的第1层,在求取平滑因子时,由得到第j张图像对应的平滑因子其中kσ为平滑系数,从而可得到m个尺寸一致但平滑系数不同的图像,m张图像就构成了高斯金字塔的第一层;
同样,对于高斯金字塔的第2层,将第1层的第m-2张图像做比例因子为的下采样,将其作为第2层的第1张图像类比第一层图像构造方式,连续对进行平滑因子为的高斯平滑处理,再得到m个尺寸一致的背景图像。
以此类推,对于高斯金字塔的第i层,其第1张图像由第i-1层的第m-2张图像经过下采样得到,而第i层的其余图像通过对连续进行平滑因子为的高斯平滑处理,进而得到第i层的m个尺寸一致的图像;最终可得到n层高斯金字塔,共有n×m张图像。
接着,由于在构建高斯金字塔过程中,高斯卷积和下采样会损失图像的部分细节信息,因此构建拉普拉斯金字塔来弥补高斯金字塔底层和顶层之间的信息差,增强高斯金字塔丢失的部分细节信息。为此,基于已构建的高斯金字塔,利用差值法构建拉普拉斯金字塔,建立拉普拉斯金字塔时,采用自上而下的方式,即由顶层开始构建,直至金字塔的底层。
对于拉普拉斯金字塔的第n层,共有m-1张图像,第v张图像可由下式得到:
其中,表示拉普拉斯金字塔第n层的第v张图像,表示高斯金字塔第n层的第v+1张图像,表示对图像进行上采样,G为高斯卷积内核,表示卷积操作。不断利用上式,进而得到拉普拉斯金字塔第n层的m-1张图像。
依次类推,对高斯金字塔中的每一层,采用如上的方式,构造对应的拉普拉斯金字塔,进而可以得到n层的拉普拉斯金字塔。
最后,基于构建的高斯金字塔和拉普拉斯金字塔,制定如下的融合规则,得到最终的融合金字塔:
其中,Fw表示融合金字塔的第w层图像。融合金字塔共n层,每层一张图像。对于得到的融合金字塔,通过进行逆向重构完成图像增强。
最终,通过高斯金字塔和拉普拉斯金字塔的结合和逆向重构,兼顾全局整体和局部细节增强,实现对背景图像的增强,得到增强后的背景图像,记为
步骤3:针对步骤2增强后的背景图像进行超像素分割;提取每一个超像素的局部对比度、局部信息熵、邻接对比度和邻接信息熵特征,构造背景图像的多维特征向量,将多维特征向量作为后续团雾检测的依据。
首先,对步骤2增强后的背景图像进行超像素分割,提取每一个超像素的对比度和信息熵:
其中,Cs为第s个超像素的对比度,是相邻像素h和l间灰度差为λ的概率值,λ(h,l)为相邻元素h和l间幅度差的绝对值。Es为第s个超像素的信息熵,P(x,y)表示像素点(x,y)在背景图像中出现的概率,[1,Ms]为第s个超像素的x坐标范围,[1,Ns]为第s个超像素的y坐标范围。当背景图像中含有团雾时,局部对比度值和信息熵值都会减小,因此将局部对比度值和信息熵值作为表征团雾的特征。
接着,由于图像中出现团雾时,在团雾区域,超像素与邻接超像素间的对比度和信息熵均比较低,故而引入邻接对比度和邻接信息熵以进一步表征团雾的特征。
其中,表示第s个超像素的邻接对比度,为第s个超像素的邻接信息熵,S'为与第s个超像素相邻的超像素集合,d为集合S中的超像素,Cd为第d个超像素的对比度,Ed为第d个超像素的信息熵,card(S')表示超像素集合S'中元素的个数。
然后,综合用于表征团雾信息的局部对比度、局部信息熵、邻接对比度和邻接信息熵,建立超像素s对应的特征向量:
其中,z表示背景图像中超像素的数目。
最后,综合整个图像的超像素,建立增强后背景图像的特征向量:
X=[(X1)T,(X2)T,…,(Xs)T,…,(Xz)T]T
至此,建立了增强后背景图像的特征向量,并将其作为团雾检测的重要依据。
步骤4:建立正样本图像库,包括若干张低能见度的正样本图像(有团雾的道路监控视频图像);建立负样本图像库,包括若干张高能见度的负样本图像(无团雾的道路监控视频图像)。将增强后背景图像作为待检测图像,根据步骤3中建立的多维特征向量,构造多维高斯分布函数,分别求解待检测图像期望和协方差的最大似然估计,并求解正负样本图像库的期望及协方差;利用标准化欧氏距离来度量待检测图像和正负样本图像库的相似度,进而计算待检测图像的团雾指标,判断图像中是否产生团雾。
首先,为确定待检测图像与正负样本库之间的相似度,需确定待检测图像期望和协方差的最大似然估计,由此,根据步骤3中建立的图像特征向量X,建立多维高斯分布函数:
其中,X为待检测图像的特征向量,为特征向量X的期望,表示特征向量X的协方差矩阵,D表示特征向量的维数,且D=4z,Σ-1为逆矩阵,|Σ|为协方差矩阵行列式的值。将特征向量X代入多维高斯分布函数中,求解得到期望μ和协方差Σ的最大似然估计值,为之后计算待检测图像与正负样本图像库的相似度提供依据。
然后,建立正负样本图像库,包括200张低能见度的正样本图像(有团雾的道路监控视频图像)和200张高能见度的负样本图像(无团雾的道路监控视频图像)。采用类似于待检测图像特征向量X的提取方式,提取正样本图像库中第b张图像的特征向量,记为计算多维高斯分布函数得到的均值和协方差矩阵的最大似然估计。利用标准化欧氏距离,度量待检测图像和正样本的相似度:
其中,Spositive表示待检测图像与正样本图像库的相似度,fpositive表示正样本图像库中图像的数量,||·||表示向量的2范数。将待检测图像与正样本图像的均值和协方差带入上式即可求出待检测图像和正样本图像库(有团雾)的相似度。
最后,对负样本图像库(无团雾)也进行高斯分布函数和标准化欧氏距离求解,得到待检测图像与负样本图像集(无团雾)的相似程度:
其中,Snegative表示待检测图像与负样本图像库的相似度,fnegative表示负样本图像库中图像的数量,为负样本图像库中第c张图像期望的最大似然估计,为负样本图像库中第c张图像协方差的最大似然估计。
最终,综合待检测图像和正样本图像库的相似度Spositive、待检测图像和负样本图像库的相似度Snegative,计算待检测图像的团雾指标:
其中,S为团雾指标。当S≥Sseq时,道路监控视频图像中发生团雾;S<Sseq时,道路监控视频图像中无团雾,其中Sseq为有无团雾的临界值,根据实际应用经验确定Sseq为5.1。

Claims (10)

1.一种高速公路团雾监测方法,其特征在于,包括以下步骤:
步骤1):利用道路监控获取公路沿线的监控视频,基于自适应阈值背景提取方法获取监控视频的背景图像;
步骤2):根据步骤1)获取的背景图像建立高斯金字塔和拉普拉斯金字塔模型,通过金字塔模型的融合和逆向重构对背景图像进行增强处理;
步骤3):对增强处理后的背景图像进行超像素分割,并提取超像素的局部对比度、局部信息熵、邻域对比度和邻域信息熵特征,构造背景图像的多维特征向量;
步骤4):建立包括若干张低能见度的正样本图像的正样本图像库和包括若干张高能见度的负样本图像的负样本图像库;建立基于背景图像的多维特征向量的多维高斯分布函数,根据多维高斯分布函数计算增强后背景图像的期望和协方差的最大似然估计,以及根据多维高斯分布函数计算正样本图像库和负样本图像库之间的期望与协方差的最大似然估计;利用标准化欧氏距离度量增强后背景图像的期望和协方差的最大似然估计和正样本图像库和负样本图像库之间的期望与协方差的最大似然估计的相似度,进而得到增强后背景图像的团雾指标,完成公路团雾的监测。
2.根据权利要求1所述的一种高速公路团雾监测方法,其特征在于,步骤1)中,基于自适应阈值背景提取方法获取监控视频的背景图像具体包括以下步骤:
a、获取监控视频中的第一帧图像为初始背景图像,将第k帧图像与初始背景图像做差分处理,从而得到第k帧图像与初始背景图像之间的差分图像:
Dk(x,y)=|Ck(x,y)-Bk(x,y)|
其中,(x,y)表示监控视频图像中的像素点,Dk(x,y)为第k帧差分图像在(x,y)处的灰度值,Ck(x,y)为第k帧图像在(x,y)处的灰度值,Bk(x,y)为第k帧背景图像在(x,y)处的灰度值;
根据分割阈值将第k帧图像分割为前景图像和背景图像:
分别计算不同分割阈值对应的类间方差
其中,为分割阈值为T时第k帧前景图像和背景图像的灰度值均值,为第k帧前景图像的灰度值平均值,为第k帧背景图像的灰度值平均值,分别为前景图像像素和背景图像像素占第k帧图像的比重;为分割阈值为T时第k帧前景图像和背景图像的类间方差;
获取的最大值所对应的T值作为将第k帧图像分割为前景图像和背景图像的最佳分割阈值,根据获取的最佳分割阈值提取第k帧图像的背景图像;
根据最佳分割阈值,对第k帧图像与初始背景图像的差分图像做二值化处理,得到第k帧二值图像值:
其中,Hk(x,y)为第k帧二值图像在(x,y)处的值;
当Dk(x,y)≥T时,(x,y)处对应的像素点划归为前景图像;当Dk(x,y)<T时,(x,y)处的像素点划归为背景图像;
将Dk(x,y)<T对应的像素集合作为新的背景图像替换当前第k帧图像的背景图像:
其中,为第k帧新的背景图像在(x,y)处的灰度值;Bk(x,y)为第k帧背景图像Bk在(x,y)处的灰度值;当Hk(x,y)为0时,使用Ck(x,y)对当前第k帧图像的背景图像进行替换,否则保留当前第k帧图像的背景图像。
3.根据权利要求2所述的一种高速公路团雾监测方法,其特征在于,根据获取的背景图像先构建高斯金字塔,然后根据高斯金字塔构建拉普拉斯金字塔,对高斯金字塔和拉普拉斯金字塔进行融合得到高斯-拉普拉斯融合金字塔:高斯金字塔有n层,每层有m张图像;拉普拉斯金字塔有n层,每层有m-1张图像;综合高斯金字塔和拉普拉斯金字塔,生成n层的融合金字塔;最终利用高斯-拉普拉斯融合金字塔进行逆向重构,完成背景图像增强。
4.根据权利要求3所述的一种高速公路团雾监测方法,其特征在于,构建高斯金字塔具体包括以下步骤:首先,对获取的背景图像进行上采样,将背景图像放大一倍,将放大后的背景图像作为高斯金字塔的第1层的第1张图像,即为通过高斯卷积得到第1层的第j张图像具体计算方式为:
其中,表示高斯金字塔第1层第j张图像在(x,y)处的值,为第1层第j张图像对应的平滑因子;对于金字塔的第1层,在求取平滑因子时,由得到第j张图像对应的平滑因子其中kσ为平滑系数,从而可得到m个尺寸一致但平滑系数不同的背景图像构成高斯金字塔的第一层;
同样,对于高斯金字塔的第2层,将第1层的第m-2张图像做比例因子为的下采样,将第1层的第m-2张图像作为第2层的第1张图像连续对进行平滑因子为的高斯平滑处理,得到m个尺寸一致但平滑系数不同的背景图像构成高斯金字塔的第二层;
重复上述步骤,由高斯金字塔第i-1层的第m-2张图像经过下采样得到高斯金字塔的第i层的第1张图像而第i层的其余图像通过对连续进行平滑因子为的高斯平滑处理,进而得到第i层的m个尺寸一致但平滑系数不同的背景图像;最终可得到n层高斯金字塔,共有n×m张图像。
5.根据权利要求4所述的一种高速公路团雾监测方法,其特征在于,构建拉普拉斯金字塔:基于已构建的高斯金字塔,利用差值法构建拉普拉斯金字塔,建立拉普拉斯金字塔时,采用自上而下的方式,即由顶层开始构建,直至拉普拉斯金字塔的底层。
6.根据权利要求5所述的一种高速公路团雾监测方法,其特征在于,构建拉普拉斯金字塔具体包括以下步骤:对于拉普拉斯金字塔的第n层,共有m-1张图像,第v张图像可由下式得到:
其中,表示拉普拉斯金字塔第n层的第v张图像,表示高斯金字塔第n层的第v+1张图像,表示对图像进行上采样,G为高斯卷积内核,表示卷积操作,重复上式,进而得到拉普拉斯金字塔第n层的m-1张图像;,对高斯金字塔中的每一层采用如上方式,构造对应的拉普拉斯金字塔,进而得到n层的拉普拉斯金字塔。
7.根据权利要求6所述的一种高速公路团雾监测方法,其特征在于,基于构建的高斯金字塔和拉普拉斯金字塔,根据下式得到最终的融合金字塔:
其中,Fw表示融合金字塔的第w层图像,融合金字塔共n层,每层一张图像;对于得到的融合金字塔,通过进行逆向重构完成图像增强;通过高斯金字塔和拉普拉斯金字塔的结合和逆向重构,兼顾全局整体和局部细节增强,实现对背景图像的增强,得到增强后的背景图像,记为
8.根据权利要求1所述的一种高速公路团雾监测方法,其特征在于,步骤3)具体步骤如下:对增强后的背景图像进行超像素分割,提取每一个超像素的对比度和信息熵:
其中,Cs为第s个超像素的对比度,是相邻像素h和l间灰度差为λ的概率值,λ(h,l)为相邻元素h和l间幅度差的绝对值;Es为第s个超像素的信息熵,P(x,y)表示像素点(x,y)在背景图像中出现的概率,[1,Ms]为第s个超像素的x坐标范围,[1,Ns]为第s个超像素的y坐标范围;
获取增强后的背景图像的邻接对比度和邻接信息熵:
其中,表示第s个超像素的邻接对比度,为第s个超像素的邻接信息熵,S'为与第s个超像素相邻的超像素集合,d为集合S中的超像素,Cd为第d个超像素的对比度,Ed为第d个超像素的信息熵,card(S')表示超像素集合S'中元素的个数;
根据获取的局部对比度、局部信息熵、邻接对比度和邻接信息熵,建立超像素s对应的特征向量:
其中,z表示背景图像中超像素的数目;
最后建立增强后背景图像的特征向量:
X=[(X1)T,(X2)T,…,(Xs)T,…,(Xz)T]T
9.根据权利要求1所述的一种高速公路团雾监测方法,其特征在于,步骤4)具体包括以下步骤:根据背景图像的多维特征向量,建立多维高斯分布函数:
其中,X为待检测图像的特征向量,为特征向量X的期望,表示特征向量X的协方差矩阵,D表示特征向量的维数,且D=4z,Σ-1为逆矩阵,|Σ|为协方差矩阵行列式的值;将特征向量X代入多维高斯分布函数中,求解得到期望μ和协方差Σ的最大似然估计值;
建立正样本图像库和负样本图像库,提取正样本图像库中第b张图像的特征向量,记为计算多维高斯分布函数得到的均值和协方差矩阵的最大似然估计;利用标准化欧氏距离,度量待检测图像和正样本的相似度:
其中,Spositive表示待检测图像与正样本图像库的相似度,fpositive表示正样本图像库中图像的数量,||·||表示向量的2范数;将待检测图像与正样本图像的均值和协方差带入上式即可求出待检测图像和正样本图像库的相似度;
对负样本图像库进行高斯分布函数和标准化欧氏距离求解,得到待检测图像与负样本图像集的相似程度:
其中,Snegative表示待检测图像与负样本图像库的相似度,fnegative表示负样本图像库中图像的数量,为负样本图像库中第c张图像期望的最大似然估计,为负样本图像库中第c张图像协方差的最大似然估计;
综合待检测图像和正样本图像库的相似度Spositive、待检测图像和负样本图像库的相似度Snegative,计算待检测图像的团雾指标:
其中,S为团雾指标;当S≥Sseq时,道路监控视频图像中发生团雾;S<Sseq时,道路监控视频图像中无团雾,其中Sseq为有无团雾的临界值。
10.根据权利要求9所述的一种高速公路团雾监测方法,其特征在于,Sseq取值为5.1。
CN201910828720.XA 2019-09-03 2019-09-03 一种高速公路团雾监测方法 Active CN110598613B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910828720.XA CN110598613B (zh) 2019-09-03 2019-09-03 一种高速公路团雾监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910828720.XA CN110598613B (zh) 2019-09-03 2019-09-03 一种高速公路团雾监测方法

Publications (2)

Publication Number Publication Date
CN110598613A true CN110598613A (zh) 2019-12-20
CN110598613B CN110598613B (zh) 2022-10-25

Family

ID=68857119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910828720.XA Active CN110598613B (zh) 2019-09-03 2019-09-03 一种高速公路团雾监测方法

Country Status (1)

Country Link
CN (1) CN110598613B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183436A (zh) * 2020-10-12 2021-01-05 南京工程学院 基于像素点八邻域灰度对比的高速公路能见度检测方法
CN112419745A (zh) * 2020-10-20 2021-02-26 中电鸿信信息科技有限公司 一种基于深度融合网络的高速公路团雾预警系统
CN113129408A (zh) * 2021-04-08 2021-07-16 重庆电子工程职业学院 一种基于大数据的团雾监测方法
JP2022545962A (ja) * 2020-07-17 2022-11-01 シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッド 団霧認識方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム製品
WO2023283997A1 (zh) * 2021-07-15 2023-01-19 山东交通学院 基于视频图像的高速公路夜间团雾监测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004044683A2 (en) * 2002-11-06 2004-05-27 Simmonds Precision Products, Inc. Method for detection and recognition of fog presence within an aircraft compartment using video images
CN105528794A (zh) * 2016-01-15 2016-04-27 上海应用技术学院 基于混合高斯模型与超像素分割的运动目标检测方法
CN109376641A (zh) * 2018-10-16 2019-02-22 长安大学 一种基于无人机航拍视频的运动车辆检测方法
CN110021031A (zh) * 2019-03-29 2019-07-16 中广核贝谷科技有限公司 一种基于图像金字塔的x射线图像增强方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004044683A2 (en) * 2002-11-06 2004-05-27 Simmonds Precision Products, Inc. Method for detection and recognition of fog presence within an aircraft compartment using video images
CN105528794A (zh) * 2016-01-15 2016-04-27 上海应用技术学院 基于混合高斯模型与超像素分割的运动目标检测方法
CN109376641A (zh) * 2018-10-16 2019-02-22 长安大学 一种基于无人机航拍视频的运动车辆检测方法
CN110021031A (zh) * 2019-03-29 2019-07-16 中广核贝谷科技有限公司 一种基于图像金字塔的x射线图像增强方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
PAVLIC, M 等: "Image based fog detection in vehicles", 《2012 IEEE INTELLIGENT VEHICLES SYMPOSIUM (IV)》 *
张光伟: "视频序列中入侵目标检测算法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
温立民 等: "基于自然统计特征分布的交通图像雾浓度检测", 《电子学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022545962A (ja) * 2020-07-17 2022-11-01 シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッド 団霧認識方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム製品
CN112183436A (zh) * 2020-10-12 2021-01-05 南京工程学院 基于像素点八邻域灰度对比的高速公路能见度检测方法
CN112183436B (zh) * 2020-10-12 2023-11-07 南京工程学院 基于像素点八邻域灰度对比的高速公路能见度检测方法
CN112419745A (zh) * 2020-10-20 2021-02-26 中电鸿信信息科技有限公司 一种基于深度融合网络的高速公路团雾预警系统
CN113129408A (zh) * 2021-04-08 2021-07-16 重庆电子工程职业学院 一种基于大数据的团雾监测方法
WO2023283997A1 (zh) * 2021-07-15 2023-01-19 山东交通学院 基于视频图像的高速公路夜间团雾监测方法及系统

Also Published As

Publication number Publication date
CN110598613B (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
CN110598613B (zh) 一种高速公路团雾监测方法
CN111738124B (zh) 基于Gabor变换和注意力的遥感图像云检测方法
CN110363215B (zh) 基于生成式对抗网络的sar图像转化为光学图像的方法
CN106778595B (zh) 基于高斯混合模型的人群中异常行为的检测方法
CN110659591B (zh) 基于孪生网络的sar图像变化检测方法
CN110728658A (zh) 一种基于深度学习的高分辨率遥感影像弱目标检测方法
CN106683119B (zh) 基于航拍视频图像的运动车辆检测方法
CN114359283B (zh) 基于Transformer的缺陷检测方法和电子设备
CN107808138B (zh) 一种基于FasterR-CNN的通信信号识别方法
CN110458192B (zh) 基于视觉显著性的高光谱遥感图像分类方法及系统
CN106778734A (zh) 一种基于稀疏表示的绝缘子掉串缺陷检测方法
CN111080678B (zh) 一种基于深度学习的多时相sar图像变化检测方法
CN112365462B (zh) 一种基于图像的变化检测方法
CN110415260B (zh) 基于字典与bp神经网络的烟雾图像分割与识别方法
CN109635726B (zh) 一种基于对称式深度网络结合多尺度池化的滑坡识别方法
CN111339827A (zh) 基于多区域卷积神经网络的sar图像变化检测方法
CN112270697B (zh) 一种结合超分辨率重建的卫星序列影像运动目标检测方法
CN104657980A (zh) 一种改进的基于Meanshift的多通道图像分割算法
CN110310305B (zh) 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置
CN114298948A (zh) 基于PSPNet-RCNN的球机监控异常检测方法
CN115131580A (zh) 基于注意力机制的空间目标小样本识别方法
CN115019201A (zh) 一种基于特征精细化深度网络的弱小目标检测方法
Babu et al. An efficient image dahazing using Googlenet based convolution neural networks
Shit et al. An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection
CN111611858B (zh) 一种基于多角度判别的倾轧轨迹面自动检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant