CN109087270A - 一种基于改进的卷积匹配追踪管道视频图像去雾增强方法 - Google Patents
一种基于改进的卷积匹配追踪管道视频图像去雾增强方法 Download PDFInfo
- Publication number
- CN109087270A CN109087270A CN201811026306.9A CN201811026306A CN109087270A CN 109087270 A CN109087270 A CN 109087270A CN 201811026306 A CN201811026306 A CN 201811026306A CN 109087270 A CN109087270 A CN 109087270A
- Authority
- CN
- China
- Prior art keywords
- image
- video
- characteristic response
- foreground
- video frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 239000011159 matrix material Substances 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 10
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims 1
- 239000003595 mist Substances 0.000 abstract 6
- 230000008030 elimination Effects 0.000 abstract 1
- 238000003379 elimination reaction Methods 0.000 abstract 1
- 238000001514 detection method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明涉及基于改进的卷积匹配追踪管道视频图像去雾增强方法。通过对管道内视频帧中中心圆经处理获得雾层模型,根据雾层作为卷积字典的来源进行字典训练;根据前几帧视频低秩矩阵分解训练获取背景图像与前景图像,根据前景图像初始化残差图像并通过残差图像计算特征响应,初始化前景重构图像,计算噪声能量;对特征响应进行极大值搜索;利用极大值和当前最大特征响应进行前景图像重构并利用极大值更新特征响应;更新残差图像,计算残差图像能量,若小于噪声能量,计算最终去雾图像。本发明能有效获取雾层模型,并通过雾层模型作为卷积字典,找到与视频帧中相符合的雾层并将其去除。可用于管道视频图像增强等科学领域。
Description
技术领域
本发明涉及管道视频图像处理技术领域,尤其涉及一种基于改进的卷积匹配追踪管道视频图像去雾增强方法。
背景技术
管道视频图像去雾增强作为管道检测之前的重要环节,成为了当前管道视频图像处理的热点研究问题。管道视频图像去雾增强是按照特定需要突出或抑制图像中的某些信息,达到增强有用信息的目的。在管道检测系统中,管道视频图像去雾增强效果对后期管道裂缝检测、破损检测等有着决定性的作用。目前,管道视频图像去雾方法主要包括基于Retinex图像增强方法、直方图均衡化图像增强方法、基于暗原色先验的图像增强方法和基于卷积匹配追踪视频图像增强方法。
目前视频图像增强领域存在一些问题,如空气中的水汽和悬浮颗粒等介质、噪声的类间相似性、缺乏全面准确的去雾模型,导致在实际复杂环境中,去雾模型易受外界环境变化影响,去雾模型获取较差,去雾效果较差。卷积匹配追踪视频图像增强方法关键在于雾层的获取,只有保证获取到的雾层作为卷积字典的准确性,才能去雾彻底。在实际复杂环境中,视频图像易受外界光照变化,温差变化等因素影响,导致视频图像的模糊程度不一致,视频图片部分去雾过度或者去雾不完全。
发明内容
针对目前卷积匹配追踪视频图像增强存在的问题,为克服过度去雾和去雾不完全,提高视频图像的去雾准确性,本发明提出了一种基于改进的卷积匹配追踪管道视频图像去雾增强方法,该方法能有效根据提取到的雾层模型进行全图像去雾,提高雾层模型的鲁棒性和去雾效果的可视性,适用于管道视频图像增强等科学领域。
本发明所采用的技术方案包括一种基于改进的卷积匹配追踪管道视频图像去雾增强方法,包括以下步骤:
步骤(1)、获取管道内部视频,每个视频片段转换为一个三维矩阵,根据十字交叉的方法确定管道内部中心圆心的位置,根据圆心位置估计圆的大小,且根据圆的大小提取其三维矩阵;
步骤(2)、对前N帧圆视频帧图像使用拉普拉斯算子进行锐化;
步骤(3)、对锐化后的图像进行阈值化处理,获得雾层;
步骤(4)、根据雾层作为卷积字典的来源进行字典训练,设定噪声能量门限;
步骤(5)、根据视频帧图像的前N帧使用低秩矩阵分解训练获取背景图像与前景图像;
步骤(6)、根据前景图像初始化残差图像,初始化前景重构图像,根据残差图像计算特征响应,根据噪声能量门限计算噪声能量;
步骤(7)、对特征响应进行极大值搜索,并记录极大值;
步骤(8)、利用极大值和当前最大特征响应值进行前景图像重构;
步骤(9)、利用极大值更新特征响应;
步骤(10)、利用前景重构图像更新残差图像;
步骤(11)、计算残差图像能量,若残差图像能量大于噪声能量,返回步骤(7),否则计算最终去雾图像;
本发明的有益效果是,该方法在直接使用管道中心的近乎纯黑的背景圆,求得雾层模型作为卷积字典,可以节省从自然图像中提取卷积字典所需的时间,可以提高去雾的准确率,可用于管道视频图像处理去雾增强。
附图说明
下面结合附图对本发明进一步说明:
图1为本发明的总体流程图;
图2为带雾的管道图像;
图3为十字交叉确定管道内部圆心。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图,对本发明进行进一步详细说明。
如图1所示,本发明方法的实施流程具体包括以下步骤:
S1010:获取管道内部视频,如图2所示每个视频片段转换为一个Yh×Yw×Yn三维矩阵Y,其中Yh视频帧的高度,Yw为视频帧的宽度,第三维Yn表示视频的帧数,Yh×Yw为视频的每一帧的大小;根据十字交叉的方法确定管道内部圆心的位置,如图3所示;根据圆心位置估计圆的大小并提取圆的三维矩阵Y′为Y′h×Y′w×Y′n。Y′h为圆视频帧的高度,Y′w为圆视频帧的宽度,Y′n代表了圆视频帧的帧数,Y′h×Y′w为圆视频帧的大小;
S1110:对前N帧圆视频帧图像使用拉普拉斯算子进行锐化,其中f(x,y)和分别是输入的圆视频帧图像和锐化后的图像,c为常数,为f(x,y)的二阶导数;
S1120:对锐化后的图像进行阈值化处理,并由公式求出G,其中G表示雾层;B表示背景层;且由于管道内部的特殊性,此时背景层B为黑色;
S1130:初始化卷积字典F为K个滤波器组成的滤波器组,F的大小表示滤波器的大小,K为滤波器个数,表示滤波器高度,表示滤波器宽度,由与整幅图像噪声相符的雾层图像直接作为卷积字典的来源进行字典训练,例如取噪声大于等于整幅图像噪声百分之八十的雾层作为卷积字典的训练样本,能够节省从自然图像库中获取卷积字典所需要的时间,缩短视频图像去雾增强的前期准备工作所需的时间,由于雾层来源于视频帧图像的圆形部分,因此,使用雾层训练得到卷积字典可以提高去雾阶段从字典中匹配的机率,设定噪声能量门限Ce;
S1140:根据视频帧图像的前N帧使用低秩矩阵分解训练获取背景图像Yl与前景图像Yq;
S1150:根据前景图像初始化残差图像r=Yq,初始化前景重构图像根据残差图像计算特征响应其中T为矩阵的转置,根据噪声能量门限计算噪声能量ε=(Ce*σ)2*Yh*Yw、,其中σ为噪声强度;
S1160:对特征响应进行极大值搜索,公式为:m为所有特征响应的非零系数个数,j=1,2,..,K,为滤波器的标号,k为当前最匹配滤波器标号,(a,b)为当前最大特征响应位置标号,并记录极大值α=Z(a,b,k),Z(a,b,k)表示当前最匹配滤波器下的最大特征响应值;
S1170:依据公式利用极大值和当前最大响应值重构前景图像,在寻找到前景重构图像当前最大特征响应位置时,利用极大值与当前所得到的最匹配字典进行去噪处理,结果所得即为重构的前景图像,其中Fk为卷积字典中第k个滤波器,其大小为locate()表示进行位置查找,表示寻找前景重构图像当前最大响应位置,表示当前最大特征响应下的重构前景图像;
S1180:利用极大值更新特征响应Z=Z-α×locate(Qk,(a,b)),其中这个公式中locate(Qk,(a,b))表示对Qk进行对应最大特征响应位置查找;
S1190:利用重构的前景图像更新残差图像
S1210:计算更新后的残差图像能量r(x,y)为更新后的残差图像(x,y)位置处的像素值,若E≥ε,则返回步骤(7),否则若E<ε,计算得到去雾图像
需要强调的是,本发明所述的实施例是说明性的,而不是限定性的。因此本发明包括并不限于具体实施方式中所述的实施例,凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式,同样属于本发明保护的范围。
Claims (1)
1.一种基于改进的卷积匹配追踪管道视频图像去雾增强方法,其特征在于,包括以下步骤:
步骤(1)、获取管道内部视频,每个视频片段转换为一个Yh×Yw×Yn三维矩阵Y,其中Yh视频帧的高度,Yw为视频帧的宽度,第三维Yn表示视频的帧数,Yh×Yw为视频的每一帧的大小;根据十字交叉的方法确定管道内部圆心的位置,根据圆心位置估计圆的大小并提取圆的三维矩阵Y′为Y′h×Y′w×Y′n;Y′h为圆视频帧的高度,Y′w为圆视频帧的宽度,Y′n代表了圆视频帧的数目,Y′h×Y′w为圆视频帧的大小;
步骤(2)、对前N帧圆视频帧图像使用拉普拉斯算子进行锐化,其中f(x,y)和q(x,y)分别是输入的圆视频帧图像和锐化后的图像
步骤(3)、对锐化后的图像进行阈值化处理,并由公式求出G,其中G表示雾层;B表示背景层;背景层B为黑色;
步骤(4)、初始化卷积字典F为K个滤波器组成的滤波器组,F的大小其中, 表示滤波器的大小,K为滤波器个数,表示滤波器高度。表示滤波器宽度,由与整幅图像噪声相符的雾层图像直接作为卷积字典的来源进行字典训练,,能够节省从自然图像库中获取卷积字典所需要的时间,设定噪声能量门限Ce;
步骤(5)、根据视频帧图像的前N帧使用低秩矩阵分解训练获取背景图像Yl与前景图像Yq;
步骤(6)、根据前景图像初始化残差图像r=Yq、初始化前景重构图像根据残差图像计算特征响应其中T为矩阵的转置。根据噪声能量门限计算噪声能量ε=(Ce*σ)2*Yh*Yw、,其中σ为噪声强度;
步骤(7)、对特征响应进行极大值搜索,公式为:m为所有特征响应的非零系数个数。j=1,2,...,K,为滤波器的标号,k为当前最匹配滤波器标号,(a,b)为当前最大特征响应位置标号,并记录极大值α=Z(a,b,k),Z(a,b,k)表示当前最匹配滤波器下的最大特征响应值;
步骤(8)、依据公式利用极大值和当前最大特征响应值重构前景图像。在寻找到前景重构图像当前最大特征响应位置时,利用极大值与当前所得到的最匹配字典进行去噪处理,结果所得即为重构的前景图像,其中Fk为第k个滤波器,其大小为locate()表示进行位置查找,表示寻找前景重构图像当前最大响应位置,表示当前最大特征响应下的重构前景图像;
步骤(9)、利用极大值更新特征响应Z=Z-α×locate(Qk,(a,b)),其中这个公式中locate(Qk,(a,b))表示对Qk进行对应最大特征响应位置查找;
步骤(10)、利用重构的前景图像更新残差图像
步骤(11)、计算更新后的残差图像能量r(x,y)为更新后的残差图像(x,y)位置处的像素值,,若E≥ε,则返回步骤(7),否则计算得到去雾图像
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811026306.9A CN109087270B (zh) | 2018-09-04 | 2018-09-04 | 一种基于改进的卷积匹配追踪管道视频图像去雾增强方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811026306.9A CN109087270B (zh) | 2018-09-04 | 2018-09-04 | 一种基于改进的卷积匹配追踪管道视频图像去雾增强方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109087270A true CN109087270A (zh) | 2018-12-25 |
CN109087270B CN109087270B (zh) | 2019-05-14 |
Family
ID=64840820
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811026306.9A Active CN109087270B (zh) | 2018-09-04 | 2018-09-04 | 一种基于改进的卷积匹配追踪管道视频图像去雾增强方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109087270B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109615654A (zh) * | 2019-01-09 | 2019-04-12 | 中国矿业大学(北京) | 基于双目视觉的排水管道内表面腐蚀深度及面积测量方法 |
CN110570376A (zh) * | 2019-09-10 | 2019-12-13 | 广州工程技术职业学院 | 一种图像去雨方法、装置、设备和计算机可读存储介质 |
CN113298730A (zh) * | 2021-05-24 | 2021-08-24 | 中国科学院长春光学精密机械与物理研究所 | 一种基于图像分解的去雾复原方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104346782A (zh) * | 2014-10-29 | 2015-02-11 | 中国科学院深圳先进技术研究院 | 一种实现单幅图像去雾的方法和装置 |
CN106886985A (zh) * | 2017-04-25 | 2017-06-23 | 哈尔滨工业大学 | 一种减小色偏的自适应低照度图像增强方法 |
CN106960425A (zh) * | 2017-04-05 | 2017-07-18 | 上海矽奥微电子有限公司 | 基于多尺度去卷积滤波的单帧去雾方法 |
CN107256541A (zh) * | 2017-06-15 | 2017-10-17 | 北京航空航天大学 | 一种基于卷积神经网络的多光谱遥感图像去雾方法 |
CN107749052A (zh) * | 2017-10-24 | 2018-03-02 | 中国科学院长春光学精密机械与物理研究所 | 基于深度学习神经网络的图像去雾方法及系统 |
CN107958465A (zh) * | 2017-10-23 | 2018-04-24 | 华南农业大学 | 一种基于深度卷积神经网络的单幅图像去雾方法 |
-
2018
- 2018-09-04 CN CN201811026306.9A patent/CN109087270B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104346782A (zh) * | 2014-10-29 | 2015-02-11 | 中国科学院深圳先进技术研究院 | 一种实现单幅图像去雾的方法和装置 |
CN106960425A (zh) * | 2017-04-05 | 2017-07-18 | 上海矽奥微电子有限公司 | 基于多尺度去卷积滤波的单帧去雾方法 |
CN106886985A (zh) * | 2017-04-25 | 2017-06-23 | 哈尔滨工业大学 | 一种减小色偏的自适应低照度图像增强方法 |
CN107256541A (zh) * | 2017-06-15 | 2017-10-17 | 北京航空航天大学 | 一种基于卷积神经网络的多光谱遥感图像去雾方法 |
CN107958465A (zh) * | 2017-10-23 | 2018-04-24 | 华南农业大学 | 一种基于深度卷积神经网络的单幅图像去雾方法 |
CN107749052A (zh) * | 2017-10-24 | 2018-03-02 | 中国科学院长春光学精密机械与物理研究所 | 基于深度学习神经网络的图像去雾方法及系统 |
Non-Patent Citations (4)
Title |
---|
JINSHENG XIAO ET.: "Single-image Dehazing Algorithm Based on Convolutional Neural Networks", 《2018 24TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR)》 * |
MING LIU ET.: "An Ameliorative Defogging Algorithm Based on the MSR", 《APPLIED MECHANICS & MATERIALS》 * |
YONG XU ET.: "Review of video and image defogging algorithms and related studies on image restoration and enhancement", 《IEEE ACCESS》 * |
袁保平: "基于卷积神经网络的图像去雾方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109615654A (zh) * | 2019-01-09 | 2019-04-12 | 中国矿业大学(北京) | 基于双目视觉的排水管道内表面腐蚀深度及面积测量方法 |
CN110570376A (zh) * | 2019-09-10 | 2019-12-13 | 广州工程技术职业学院 | 一种图像去雨方法、装置、设备和计算机可读存储介质 |
CN113298730A (zh) * | 2021-05-24 | 2021-08-24 | 中国科学院长春光学精密机械与物理研究所 | 一种基于图像分解的去雾复原方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109087270B (zh) | 2019-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112200750B (zh) | 一种超声图像去噪模型建立方法及超声图像去噪方法 | |
Zhu et al. | Joint bi-layer optimization for single-image rain streak removal | |
CN109087270B (zh) | 一种基于改进的卷积匹配追踪管道视频图像去雾增强方法 | |
CN109934815B (zh) | 一种结合atv约束的张量恢复红外弱小目标检测方法 | |
CN108230264B (zh) | 一种基于ResNet神经网络的单幅图像去雾方法 | |
CN110517203B (zh) | 一种基于参考图像重建的去雾方法 | |
CN105096272B (zh) | 一种基于双树复小波的除雾方法 | |
CN106251315A (zh) | 一种基于全变分的图像去噪方法 | |
CN107657593A (zh) | 一种单幅图像去雨方法 | |
CN107590779A (zh) | 一种基于图像块聚类字典训练的图像去噪去模糊方法 | |
CN111325688B (zh) | 融合形态学聚类优化大气光的无人机图像去雾方法 | |
CN111368661A (zh) | 一种基于图像处理的手指静脉图像增强方法 | |
CN105338219B (zh) | 视频图像去噪处理方法和装置 | |
CN107451961B (zh) | 多幅模糊噪声图像下清晰图像的恢复方法 | |
CN106815817B (zh) | 一种改进的高光谱图像去噪方法 | |
CN109064419A (zh) | 一种基于wls滤波和多尺度稀疏表达的单幅图像去雨方法 | |
CN107292855B (zh) | 一种结合自适应非局部样本和低秩的图像去噪方法 | |
Zhang et al. | Research on the correlation between image enhancement and underwater object detection | |
CN107730468B (zh) | 一种无人机模糊噪声图像下清晰图像的恢复方法 | |
CN110675422A (zh) | 一种基于广义非凸鲁棒主成分分析的视频前背景分离方法 | |
CN110807744A (zh) | 一种基于卷积神经网络的图像去雾方法 | |
CN110992342B (zh) | 基于3datv约束的spcp红外弱小目标检测方法 | |
CN112750089B (zh) | 基于局部块最大和最小像素先验的光学遥感影像去雾方法 | |
CN109658340B (zh) | 基于rsvd与直方图保存的sar图像快速去噪方法 | |
CN115147613A (zh) | 一种基于多向融合的红外小目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |