CN110210407A - 一种雾天图像显著目标检测方法 - Google Patents

一种雾天图像显著目标检测方法 Download PDF

Info

Publication number
CN110210407A
CN110210407A CN201910481371.9A CN201910481371A CN110210407A CN 110210407 A CN110210407 A CN 110210407A CN 201910481371 A CN201910481371 A CN 201910481371A CN 110210407 A CN110210407 A CN 110210407A
Authority
CN
China
Prior art keywords
notable
frequency domain
warp lamination
map
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910481371.9A
Other languages
English (en)
Inventor
徐新
朱昕
穆楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Science and Engineering WUSE
Wuhan University of Science and Technology WHUST
Original Assignee
Wuhan University of Science and Engineering WUSE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Science and Engineering WUSE filed Critical Wuhan University of Science and Engineering WUSE
Priority to CN201910481371.9A priority Critical patent/CN110210407A/zh
Publication of CN110210407A publication Critical patent/CN110210407A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种雾天图像显著目标检测方法，包括如下步骤：步骤一、在频率域对雾天图像进行颜色空间转换计算其显著性，求出频域显著图；步骤二、在空间域对雾天图像进行超像素分割并对每一个超像素块计算其显著性，求出空域显著图；步骤三、将图像在频域中的显著图与空域中的显著图通过离散平稳小波变换融合成一张显著图；步骤四、通过目标轮廓检测模型得到雾天图像的轮廓图；步骤五、将基于频域和空域融合后的显著图与轮廓图相加得到最终显著图。该方法将传统机器方法和深度学习方法相结合，提高了传统显著目标检测的鲁棒性，能够高效、准确地检测出雾天场景下的显著目标；同时对于一些背景较复杂的图像，也能够很好的提取出显著性目标。

Description

一种雾天图像显著目标检测方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种雾天图像显著目标检测方法。
背景技术
由于粉尘悬浮在空气中，对雾天环境下目标的可见度有很大的影响。因此，雾天图像的对比度一般较低，色彩淡漠，主要对象难以识别。显著目标检测有利于这一任务的完成，它是一个模拟人类视觉系统(HVS)注意机制的认知过程，具有惊人的能力从场景中快速判断出最具吸引力的图像区域，并在人脑中进行进一步处理。近年来，视觉显著目标检测在图像处理中的应用越来越受到重视。雾天图像的显著目标检测在野外行人跟踪、目标识别、目标分割、遥感、智能车辆、监控等领域发挥着关键作用。目前已提出了各种去雾技术，并取得了较好的效果。
目前，雾天图像处理方法可分为图像增强方法和图像恢复方法。但是，这些算法的主要缺点是：(1)复杂度高，执行时间长，难以保证显著目标检测的实时性；(2)去雾过程中，同时增加了前景和背景的可视性，从而在一定程度上干扰了对显著目标的识别；(3)图像颜色失真导致无法准确提取目标的边缘、轮廓等视觉特征。
另外，基于对比度特征的显著目标检测方法主要可以分为两类：频域方法和空域方法。通常，空间域可以用来确定每个特征点的局部支持，而频率域则是对特征点的识别。在图像处理的过程中，对于一些在空间域中比较复杂的卷积运算，可以利用傅里叶变换将其转换到频率域，从而变换为乘积运算降低了算法的复杂度。但由于雾天图像的低分辨率和低对比度等特点，传统的基于空域或频域的显著性模型在雾天环境下的性能较差。
发明内容
本发明为了克服以上技术的不足，提供了一种雾天图像显著目标检测方法，该方法能够高效、准确地检测出雾天场景下的显著目标。
本发明克服其技术问题所采用的技术方案是：
一种雾天图像显著目标检测方法，包括如下步骤：
步骤一、在频率域对雾天图像进行颜色空间转换计算其显著性，求出频域显著图；
步骤二、在空间域对雾天图像进行超像素分割并对每一个超像素块计算其显著性，求出空域显著图；
步骤三、将图像在频域中的显著图与空域中的显著图通过离散平稳小波变换融合成一张显著图；
步骤四、通过目标轮廓检测模型得到雾天图像的轮廓图；
步骤五、将基于频域和空域融合后的显著图与轮廓图相加得到最终显著图。
进一步地，所述步骤一具体包括如下：
先将雾天图像转换至HSV颜色空间，再分别将H、S、V通道进行快速傅里叶变换转换为频率域：
其中，M和N分别表示图像的宽度和高度，f(x,y)和F(u,v)分别表示空域和频域中的图像像素；
A(u,v)和P(u,v)分别代表振幅谱和相位谱，它们通过以下公式计算：
A(u,v)＝abs(F(u,v)) (2)
P(u,v)＝angle(F(u,v)) (3)
其中，abs(·)和angle(·)分别表示振幅谱函数和相位谱函数，相位谱函数中复数数组F(u,v)中的每个元素返回相位角的值(以弧度为单位)，这个角度值范围为[-π，+π]，振幅谱A(u,v)＝abs(F(u,v))表示频域中图像像素的绝对值；
对于雾天图像，频域中的低振幅代表目标的线索，高振幅代表雾背景，因此抑制高振幅信息以突出显著目标区域，具体通过以下公式移除振幅谱的峰值来提取显著目标：
A(u,v)＝medfilt2(A(u,v)) (4)
其中，medfilt2(·)表示中值滤波函数，它能有效消除A(u,v)中的峰值，每个输出像素包含输入图像中相应像素周围3×3邻域内的中值；
然后，通过以下公式计算新的频域图：
F(u,v)＝|A(u,v)|e-jP(u,v) (5)
其中，|·|代表绝对值；
再然后，通过以下步骤执行快速傅里叶逆变换，将频域图转换回空间域:
HSV颜色空间中每个通道的显著图分别表示为Hmap、Smap和Vmap，所述Hmap、Smap和Vmap均通过公式(1)-(6)求得；
最后计算Hmap、Smap和Vmap的和，得到频域显著图，表示为S1。
进一步地，所述步骤二具体包括如下：
先通过简单线性迭代聚类算法将输入的雾天图像分割为超像素，表示为SP(i)，i＝1,···,Num，Num＝300；再将得到的H、S、V通道的Hmap、Smap和Vmap作为显著性特征；
每个超像素块的局部-全局显著性通过以下公式获得：
其中，dHmap(SP(i),SP(j))是Hmap中SP(i)和SP(j)的均值之差，E(SP(i),SP(j))表示SP(i)和SP(j)之间的平均欧氏距离；
通过公式(7)，计算出SHmap(i)和SSmap(i)中的超像素SP(i)的显著值SSmap(i)和SVmap(i)；
最后，SP(i)中每个像素的显著值通过求SHmap(i)、SSmap(i)和SSmap(i)的和得到，用S2表示空域显著图。
进一步地，所述步骤三具体包括如下：
将1级变换的低通滤波器和高通滤波器分别表示为h1[n]和g1[n]，由1级滤波器上采样得到2级低通滤波器h2[n]和2级高通滤波器g2[n]，然后得到水平高频子带H2、近似低通子带A2、对角高频子带D2、垂直高频子带V2；
根据步骤一得到的基于频域的显著图S1和步骤二得到的基于空域的显著图S2，将两个显著图通过2级离散平稳小波变换融合为：
[A1S1,H1S1,V1S1,D1S1]＝swt2(S1,1,'sym2') (8)
[A1S2,H1S2,V1S2,D1S2]＝swt2(S2,1,'sym2') (9)
[A2S1,H2S1,V2S1,D2S1]＝swt2(A1S1,1,'sym2') (10)
[A2S2,H2S2,V2S2,D2S2]＝swt2(A1S2,1,'sym2') (11)
其中，swt2(·)表示多级离散平稳小波变换，公式(8)-(11)利用‘sym2’计算二维或三维矩阵在1级平稳小波分解的真实值，输出的三维数组AiSj表示用‘sym2’滤波器的显著图Sj的i级低频近似系数的结果，DiSj，HiSj和ViSj分别表示对角线方向、垂直方向和水平方向的高频系数，其中，i＝1，2，j＝1，2；
接下来，利用以下公式计算2级融合:
A2Sf＝0.5×(A2S1+A2S2) (12)
利用以下公式计算1级融合:
A1Sf＝iswt2(A2Sf,H2Sf,V2Sf,D2Sf,'sym2') (16)
其中，iswt2(·)表示离散平稳小波逆变换函数；
然后，通过以下公式计算融合图像：
Salmap＝iswt2(A1Sf,H1Sf,V1Sf,D1Sf,'sym2') (20)
最后，利用高斯滤波器生成平滑的显著图。
进一步地，所述步骤四中，目标轮廓检测模型采用完全卷积编码-解码网络，该网络中编码器卷积层包括卷积层1、卷积层2、卷积层3、卷积层4、卷积层5和卷积层6，该网络中解码器卷积层包括反卷积层6、反卷积层5、反卷积层4、反卷积层3、反卷积层2、反卷积层1和预测层；其中，反卷积层6采用1×1内核，反卷积层5、反卷积层4、反卷积层3、反卷积层2、反卷积层1和预测层均采用5×5内核，预测层采用sigmoid激活函数，卷积层6、反卷积层5、反卷积层4、反卷积层3、反卷积层2和反卷积层1均采用relu激活函数。
本发明的有益效果是：
1、本发明利用图像的局部和全局信息，使显著目标能够补充频域和空域中的信息。然而，传统机器学习方法会导致边缘信息丢失，从而出现使显著图的边界模糊的问题。
2、本发明增加了深度学习的目标轮廓检测方法，丰富了显著图的边缘信息，它可以抑制来自雾背景的干扰，更精确地获取显著目标的边缘。
3、本发明将传统机器学习方法和深度学习方法相结合，提高了传统显著目标检测的鲁棒性，能够高效、准确地检测出雾天场景下的显著目标；同时对于一些背景较复杂的图像，也能够很好的提取出显著性目标。该方法不仅能通过目标轮廓检测更准确地保留边缘，而且能保证突出物体的完整性，通过这种方法，可以得到更精确、更清晰的显著图。
附图说明
图1为雾天图像中显著目标检测的实例，其中，图1(a)为雾天图像，图1(b)为基准显著图，图1(c)为基于频域和空域的显著图，图1(d)为本发明方法得到的显著图。
图2为本发明所述方法的原理流程图。
图3为目标轮廓检测模型的原理结构图。
图4为采用本发明方法完成显著目标检测的显著图与现有的10种图像显著性检测方法所得到的显著图的对比图，其中，(a)列为雾天图像，(b)列为基准显著图，(c)-(l)列分别为IT方法、SR方法、FT方法、NP方法、IS方法、GBMR方法、SO方法、BSCA方法、SMD方法、MIL方法得到的显著图，(m)列为本发明方法得到的显著图。
具体实施方式
为了便于本领域人员更好的理解本发明，下面结合附图和具体实施例对本发明做进一步详细说明，下述仅是示例性的不限定本发明的保护范围。
如图2所示，本实施例所述的一种雾天图像显著目标检测方法，主要包括如下步骤：
步骤一、在频率域对雾天图像进行颜色空间转换计算其显著性，求出频域显著图。所述步骤一具体包括如下：
先将雾天图像转换至HSV颜色空间，再分别将H、S、V通道进行快速傅里叶变换转换为频率域：
其中，M和N分别表示图像的宽度和高度，f(x,y)和F(u,v)分别表示空域和频域中的图像像素；
A(u,v)和P(u,v)分别代表振幅谱和相位谱，它们通过以下公式计算：
A(u,v)＝abs(F(u,v)) (2)
P(u,v)＝angle(F(u,v)) (3)
其中，abs(·)和angle(·)分别表示振幅谱函数和相位谱函数，相位谱函数中复数数组F(u,v)中的每个元素返回相位角的值(以弧度为单位)，这个角度值范围为[-π，+π]，振幅谱A(u,v)＝abs(F(u,v))表示频域中图像像素的绝对值；
对于雾天图像，频域中的低振幅代表目标的线索，高振幅代表雾背景，因此抑制高振幅信息以突出显著目标区域，具体通过以下公式移除振幅谱的峰值来提取显著目标：
A(u,v)＝medfilt2(A(u,v)) (4)
其中，medfilt2(·)表示中值滤波函数，它能有效消除A(u,v)中的峰值，medfilt2(I)表示对图像I进行二维中值滤波，每个输出像素包含输入图像中相应像素周围3×3邻域内的中值；
然后，通过以下公式计算新的频域图：
F(u,v)＝|A(u,v)|e-jP(u,v) (5)
其中，|·|代表绝对值；
再然后，通过以下步骤执行快速傅里叶逆变换，将频域图转换回空间域:
HSV颜色空间中每个通道的显著图分别表示为Hmap、Smap和Vmap，所述Hmap、Smap和Vmap均通过公式(1)-(6)求得；
最后计算Hmap、Smap和Vmap的和，得到频域显著图，表示为S1。
步骤二、在空间域对雾天图像进行超像素分割并对每一个超像素块计算其显著性，求出空域显著图。所述步骤二具体包括如下：
为了减少计算量并保证目标的完整性，先通过简单线性迭代聚类算法(SLIC)将输入的雾天图像分割为超像素，表示为SP(i)，i＝1,···,Num，Num＝300；再将得到的H、S、V通道的Hmap、Smap和Vmap作为显著性特征；
每个超像素块的局部-全局显著性通过以下公式获得：
其中，dHmap(SP(i),SP(j))是Hmap中SP(i)和SP(j)的均值之差，E(SP(i),SP(j))表示SP(i)和SP(j)之间的平均欧氏距离；
通过公式(7)，计算出SHmap(i)和SSmap(i)中的超像素SP(i)的显著值SSmap(i)和SVmap(i)；
最后，SP(i)中每个像素的显著值通过求SHmap(i)、SSmap(i)和SSmap(i)的和得到，用S2表示空域显著图。
步骤三、将图像在频域中的显著图与空域中的显著图通过离散平稳小波变换融合成一张显著图。所述步骤三具体包括如下：
该步骤主要采用2级离散平稳小波变换去除显著图的噪声并对其进行小波分解，具体是：
将1级变换的低通滤波器和高通滤波器分别表示为h1[n]和g1[n]，由1级滤波器上采样得到2级低通滤波器h2[n]和2级高通滤波器g2[n]，然后得到水平高频子带H2、近似低通子带A2、对角高频子带D2、垂直高频子带V2；高通子带和低通子带的大小与初始图像相同，因此，细节信息可以得到充分的保存，从而使离散平稳小波变换具有平移不变性。
根据步骤一得到的基于频域的显著图S1和步骤二得到的基于空域的显著图S2，将两个显著图通过2级离散平稳小波变换融合为：
[A1S1,H1S1,V1S1,D1S1]＝swt2(S1,1,'sym2') (8)
[A1S2,H1S2,V1S2,D1S2]＝swt2(S2,1,'sym2') (9)
[A2S1,H2S1,V2S1,D2S1]＝swt2(A1S1,1,'sym2') (10)
[A2S2,H2S2,V2S2,D2S2]＝swt2(A1S2,1,'sym2') (11)
其中，swt2(·)表示多级离散平稳小波变换，公式(8)-(11)利用‘sym2’计算二维或三维矩阵在1级平稳小波分解的真实值，输出的三维数组AiSj表示用‘sym2’滤波器的显著图Sj的i级低频近似系数的结果，DiSj，HiSj和ViSj分别表示对角线方向、垂直方向和水平方向的高频系数，其中，i＝1，2，j＝1，2；
接下来，利用以下公式计算2级融合:
A2Sf＝0.5×(A2S1+A2S2) (12)
利用以下公式计算1级融合:
A1Sf＝iswt2(A2Sf,H2Sf,V2Sf,D2Sf,'sym2') (16)
其中，iswt2(·)表示离散平稳小波逆变换函数；
然后，通过以下公式计算融合图像：
Salmap＝iswt2(A1Sf,H1Sf,V1Sf,D1Sf,'sym2') (20)
最后，利用高斯滤波器生成平滑的显著图。
步骤四、通过目标轮廓检测模型得到雾天图像的轮廓图，因为传统的机器学习方法会导致边界信息的丢失，因此增加了深度学习的目标轮廓检测模型方法来丰富显著图的边缘信息。
目标轮廓检测模型可以滤除背景中的边缘信息，忽略边缘信息，以目标为中心在前景中获取轮廓检测结果，在全卷积网络和反卷积网络的启发下，提出了一种目标轮廓检测模型，用于提取目标轮廓和抑制背景边界。
如图3所示，所述目标轮廓检测模型采用完全卷积编码-解码网络(CEDN)用于提取目标轮廓，目标轮廓检测模型的编码器部分直接使用VGG模型对应的部分。该网络中编码器卷积层包括卷积层1、卷积层2、卷积层3、卷积层4、卷积层5和卷积层6，该网络中解码器卷积层包括反卷积层6、反卷积层5、反卷积层4、反卷积层3、反卷积层2、反卷积层1和预测层；其中，反卷积层6采用1×1内核，反卷积层5、反卷积层4、反卷积层3、反卷积层2、反卷积层1和预测层均采用5×5内核，预测层采用sigmoid激活函数，卷积层6、反卷积层5、反卷积层4、反卷积层3、反卷积层2和反卷积层1均采用relu激活函数。
本实施例中，采用Caffe来训练网络，将学习率设置为10-4，训练30个epoch的网络，每个epoch处理所有的训练图像。在网络训练时，编码器的参数是固定的，只有解码器的参数是优化的，这既维护了编码器能力的泛化，并使解码器网络能够轻松地与其他任务相结合。
步骤五、将基于频域和空域融合后的显著图与轮廓图相加得到最终显著图，即将步骤三融合后的显著图与步骤四的轮廓图相加得到最终的显著图。
如图1所示，图1(a)为雾天图像，图1(b)为基准显著图，图1(c)为基于频域和空域的显著图，图1(d)为本发明方法得到的显著图。
本实施例将本发明所述方法与现有的10种图像显著性检测方法在雾天图像中的性能做了比较，各显著性检测方法的AUC值、MAE值、WF值、OR值和所花费的时间，如表1所示。其中，AUC是指ROC曲线下与坐标轴围成的面积，AUC值越大越好；MAE是平均绝对误差，MAE值越小越好；WF是加权平均绝对误差，WF值越大越好；OR值是被正确检测到的主体区域的两倍与被检测到的主体区域和基准显著图主体区域之和的比值，OR值越大越好。表1中最佳的两个结果分别用下划线和点状线显示，综合来看，本发明的方法相比其他方法获得了较好的性能。
表1.本发明与其他10种不同显著性模型在雾天图像中的性能比较
将本发明方法所得的显著图与现有的10种图像显著性检测方法所得到的显著图的检测效果对比，结果如图4所示，其中(a)列为雾天图像，(b)列为基准显著图，(c)列为Itti,L.等人所提出的IT方法的检测结果，(d)列为Hou X.等人所提出的SR方法的检测结果，(e)列为Achanta,R.等人所提出的FT方法的检测结果，(f)列为Murray,N.等人所提出的NP方法的检测结果，(g)列为Hou,X.等人所提出的IS方法的检测结果，(h)列为Simonyan,K.等人所提出的GBMR方法的检测结果，(i)列为Zhu,W.等人所提出的SO方法的检测结果，(j)列为Qin,Y.等人所提出的BSCA方法的检测结果，(k)列为Peng,H.等人所提出的SMD方法的检测结果，(l)列为Huang,F.等人所提出的MIL方法的检测结果，(m)列为本发明方法所求得的显著图。将这些方法所检测出的显著物体与(b)列所标记的显著目标对比，重合度越高，表明显著性检测的质量越高。
以上仅描述了本发明的基本原理和优选实施方式，本领域人员可以根据上述描述做出许多变化和改进，这些变化和改进应该属于本发明的保护范围。

Claims (5)

1.一种雾天图像显著目标检测方法，其特征在于，包括如下步骤：
步骤一、在频率域对雾天图像进行颜色空间转换计算其显著性，求出频域显著图；
步骤二、在空间域对雾天图像进行超像素分割并对每一个超像素块计算其显著性，求出空域显著图；
步骤三、将图像在频域中的显著图与空域中的显著图通过离散平稳小波变换融合成一张显著图；
步骤四、通过目标轮廓检测模型得到雾天图像的轮廓图；
步骤五、将基于频域和空域融合后的显著图与轮廓图相加得到最终显著图。
2.根据权利要求1所述的雾天图像显著目标检测方法，其特征在于，所述步骤一具体包括如下：
先将雾天图像转换至HSV颜色空间，再分别将H、S、V通道进行快速傅里叶变换转换为频率域：
其中，M和N分别表示图像的宽度和高度，f(x,y)和F(u,v)分别表示空域和频域中的图像像素；
A(u,v)和P(u,v)分别代表振幅谱和相位谱，它们通过以下公式计算：
A(u,v)＝abs(F(u,v)) (2)
P(u,v)＝angle(F(u,v)) (3)
其中，abs(·)和angle(·)分别表示振幅谱函数和相位谱函数，相位谱函数中复数数组F(u,v)中的每个元素返回相位角的值(以弧度为单位)，这个角度值范围为[-π，+π]，振幅谱A(u,v)＝abs(F(u,v))表示频域中图像像素的绝对值；
对于雾天图像，频域中的低振幅代表目标的线索，高振幅代表雾背景，因此抑制高振幅信息以突出显著目标区域，具体通过以下公式移除振幅谱的峰值来提取显著目标：
A(u,v)＝medfilt2(A(u,v)) (4)
其中，medfilt2(·)表示中值滤波函数，它能有效消除A(u,v)中的峰值，每个输出像素包含输入图像中相应像素周围3×3邻域内的中值；
然后，通过以下公式计算新的频域图：
F(u,v)＝|A(u,v)|e-jP(u,v) (5)
其中，|·|代表绝对值；
再然后，通过以下步骤执行快速傅里叶逆变换，将频域图转换回空间域:
HSV颜色空间中每个通道的显著图分别表示为Hmap、Smap和Vmap，所述Hmap、Smap和Vmap均通过公式(1)-(6)求得；
最后计算Hmap、Smap和Vmap的和，得到频域显著图，表示为S1。
3.根据权利要求2所述的雾天图像显著目标检测方法，其特征在于，所述步骤二具体包括如下：
先通过简单线性迭代聚类算法将输入的雾天图像分割为超像素，表示为SP(i)，i＝1,···,Num，Num＝300；再将得到的H、S、V通道的Hmap、Smap和Vmap作为显著性特征；
每个超像素块的局部-全局显著性通过以下公式获得：
其中，dHmap(SP(i),SP(j))是Hmap中SP(i)和SP(j)的均值之差，E(SP(i),SP(j))表示SP(i)和SP(j)之间的平均欧氏距离；
通过公式(7)，计算出SHmap(i)和SSmap(i)中的超像素SP(i)的显著值SSmap(i)和SVmap(i)；
最后，SP(i)中每个像素的显著值通过求SHmap(i)、SSmap(i)和SSmap(i)的和得到，用S2表示空域显著图。
4.根据权利要求3所述的雾天图像显著目标检测方法，其特征在于，所述步骤三具体包括如下：
将1级变换的低通滤波器和高通滤波器分别表示为h1[n]和g1[n]，由1级滤波器上采样得到2级低通滤波器h2[n]和2级高通滤波器g2[n]，然后得到水平高频子带H2、近似低通子带A2、对角高频子带D2、垂直高频子带V2；
根据步骤一得到的基于频域的显著图S1和步骤二得到的基于空域的显著图S2，将两个显著图通过2级离散平稳小波变换融合为：
[A1S1,H1S1,V1S1,D1S1]＝swt2(S1,1,'sym2') (8)
[A1S2,H1S2,V1S2,D1S2]＝swt2(S2,1,'sym2') (9)
[A2S1,H2S1,V2S1,D2S1]＝swt2(A1S1,1,'sym2') (10)
[A2S2,H2S2,V2S2,D2S2]＝swt2(A1S2,1,'sym2') (11)
其中，swt2(·)表示多级离散平稳小波变换，公式(8)-(11)利用‘sym2’计算二维或三维矩阵在1级平稳小波分解的真实值，输出的三维数组AiSj表示用‘sym2’滤波器的显著图Sj的i级低频近似系数的结果，DiSj，HiSj和ViSj分别表示对角线方向、垂直方向和水平方向的高频系数，其中，i＝1，2，j＝1，2；
接下来，利用以下公式计算2级融合:
A2Sf＝0.5×(A2S1+A2S2) (12)
利用以下公式计算1级融合:
A1Sf＝iswt2(A2Sf,H2Sf,V2Sf,D2Sf,'sym2') (16)
其中，iswt2(·)表示离散平稳小波逆变换函数；
然后，通过以下公式计算融合图像：
Salmap＝iswt2(A1Sf,H1Sf,V1Sf,D1Sf,'sym2') (20)
最后，利用高斯滤波器生成平滑的显著图。
5.根据权利要求1-4任一项所述的雾天图像显著目标检测方法，其特征在于，所述步骤四中，目标轮廓检测模型采用完全卷积编码-解码网络，该网络中编码器卷积层包括卷积层1、卷积层2、卷积层3、卷积层4、卷积层5和卷积层6，该网络中解码器卷积层包括反卷积层6、反卷积层5、反卷积层4、反卷积层3、反卷积层2、反卷积层1和预测层；其中，反卷积层6采用1×1内核，反卷积层5、反卷积层4、反卷积层3、反卷积层2、反卷积层1和预测层均采用5×5内核，预测层采用sigmoid激活函数，卷积层6、反卷积层5、反卷积层4、反卷积层3、反卷积层2和反卷积层1均采用relu激活函数。
CN201910481371.9A 2019-06-04 2019-06-04 一种雾天图像显著目标检测方法 Withdrawn CN110210407A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910481371.9A CN110210407A (zh) 2019-06-04 2019-06-04 一种雾天图像显著目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910481371.9A CN110210407A (zh) 2019-06-04 2019-06-04 一种雾天图像显著目标检测方法

Publications (1)

Publication Number Publication Date
CN110210407A true CN110210407A (zh) 2019-09-06

Family

ID=67790548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910481371.9A Withdrawn CN110210407A (zh) 2019-06-04 2019-06-04 一种雾天图像显著目标检测方法

Country Status (1)

Country Link
CN (1) CN110210407A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111043953A (zh) * 2019-10-17 2020-04-21 杭州电子科技大学 一种基于深度学习语义分割网络的二维相位解包裹方法
CN112699714A (zh) * 2019-10-23 2021-04-23 初速度（苏州）科技有限公司 一种针对图像的致盲场景检测方法及车载终端
CN113553919A (zh) * 2021-07-01 2021-10-26 大连民族大学 基于深度学习的目标频率特征表达方法、网络和图像分类方法
CN114066816A (zh) * 2021-10-21 2022-02-18 西安理工大学 基于静态小波变换提取的sar图像无监督变化检测方法
CN114155375A (zh) * 2021-09-28 2022-03-08 中国科学院自动化研究所 机场道面病害检测的方法、装置、电子设备及存储介质
CN114943709A (zh) * 2022-05-27 2022-08-26 浙江工业大学 一种光学遥感图像显著目标检测方法
CN116993696A (zh) * 2023-08-03 2023-11-03 苏州阿普奇物联网科技有限公司 一种基于机器视觉的金刚石锯片裂纹检测方法及其装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101540039A (zh) * 2008-03-21 2009-09-23 李金宗 单帧图象超分辨方法
CN104200437A (zh) * 2014-09-04 2014-12-10 北京工业大学 一种图像去雾处理方法
CN104463855A (zh) * 2014-11-25 2015-03-25 武汉科技大学 一种基于频域和空域结合的显著区域检测方法
CN104700381A (zh) * 2015-03-13 2015-06-10 中国电子科技集团公司第二十八研究所 一种基于显著目标的红外与可见光图像融合方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101540039A (zh) * 2008-03-21 2009-09-23 李金宗 单帧图象超分辨方法
CN104200437A (zh) * 2014-09-04 2014-12-10 北京工业大学 一种图像去雾处理方法
CN104463855A (zh) * 2014-11-25 2015-03-25 武汉科技大学 一种基于频域和空域结合的显著区域检测方法
CN104700381A (zh) * 2015-03-13 2015-06-10 中国电子科技集团公司第二十八研究所 一种基于显著目标的红外与可见光图像融合方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIN ZHU,ET AL.: "Saliency Detection Based on the Combination of High-Level Knowledge and Low-Level Cues in Foggy Images", 《ENTROPY》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111043953A (zh) * 2019-10-17 2020-04-21 杭州电子科技大学 一种基于深度学习语义分割网络的二维相位解包裹方法
CN111043953B (zh) * 2019-10-17 2021-07-27 杭州电子科技大学 一种基于深度学习语义分割网络的二维相位解包裹方法
CN112699714A (zh) * 2019-10-23 2021-04-23 初速度（苏州）科技有限公司 一种针对图像的致盲场景检测方法及车载终端
CN112699714B (zh) * 2019-10-23 2022-06-10 魔门塔(苏州)科技有限公司 一种针对图像的致盲场景检测方法及车载终端
CN113553919A (zh) * 2021-07-01 2021-10-26 大连民族大学 基于深度学习的目标频率特征表达方法、网络和图像分类方法
CN113553919B (zh) * 2021-07-01 2023-09-01 大连民族大学 基于深度学习的目标频率特征表达方法、网络和图像分类方法
CN114155375A (zh) * 2021-09-28 2022-03-08 中国科学院自动化研究所 机场道面病害检测的方法、装置、电子设备及存储介质
CN114066816A (zh) * 2021-10-21 2022-02-18 西安理工大学 基于静态小波变换提取的sar图像无监督变化检测方法
CN114066816B (zh) * 2021-10-21 2023-08-15 西安理工大学 基于静态小波变换提取的sar图像无监督变化检测方法
CN114943709A (zh) * 2022-05-27 2022-08-26 浙江工业大学 一种光学遥感图像显著目标检测方法
CN116993696A (zh) * 2023-08-03 2023-11-03 苏州阿普奇物联网科技有限公司 一种基于机器视觉的金刚石锯片裂纹检测方法及其装置

Similar Documents

Publication Publication Date Title
CN110210407A (zh) 一种雾天图像显著目标检测方法
CN106886977B (zh) 一种多图自动配准及融合拼接方法
Huang et al. Context-aware single image rain removal
CN106056155B (zh) 基于边界信息融合的超像素分割方法
CN105960657B (zh) 使用卷积神经网络的面部超分辨率
CN105701477B (zh) 一种基于平稳小波变换视觉显著性的织物疵点检测方法
CN108062525B (zh) 一种基于手部区域预测的深度学习手部检测方法
CN103020965B (zh) 一种基于显著性检测的前景分割方法
CN109636766B (zh) 基于边缘信息增强的偏振差分与光强图像多尺度融合方法
CN109215053B (zh) 一种无人机航拍视频中含暂停状态的运动车辆检测方法
CN105898278B (zh) 一种基于双目多维感知特性的立体视频显著性检测方法
CN105976330A (zh) 一种嵌入式雾天实时视频稳像方法
CN111179193B (zh) 基于DCNNs和GANs的皮肤镜图像增强和分类方法
Zhao et al. License plate location based on Haar-like cascade classifiers and edges
CN112842348B (zh) 一种基于特征提取与深度学习的心电信号自动分类方法
CN114049335A (zh) 一种基于时空注意力的遥感影像变化检测方法
CN105678735A (zh) 一种用于雾天图像的目标显著性检测方法
CN106097369A (zh) 一种smt物料盘x射线透视图像分割检测与计数统计方法及装置
CN109712247A (zh) 基于混合现实技术的实景训练系统
CN101369312B (zh) 检测图像中交叉口的方法和设备
CN111292336A (zh) 基于分段式球面投影格式的全向图像无参考质量评价方法
Hua et al. Background extraction using random walk image fusion
CN104217430A (zh) 基于l1正则化的图像显著性检测方法
CN113159158A (zh) 一种基于生成对抗网络的车牌矫正与重构方法及系统
CN102081741A (zh) 一种基于视觉注意原理的行人检测方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20190906