CN110097521B - 一种面向反光金属视觉检测的卷积神经网络图像复原方法 - Google Patents

一种面向反光金属视觉检测的卷积神经网络图像复原方法 Download PDF

Info

Publication number
CN110097521B
CN110097521B CN201910378042.1A CN201910378042A CN110097521B CN 110097521 B CN110097521 B CN 110097521B CN 201910378042 A CN201910378042 A CN 201910378042A CN 110097521 B CN110097521 B CN 110097521B
Authority
CN
China
Prior art keywords
term
image
neural network
image restoration
reflective metal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910378042.1A
Other languages
English (en)
Other versions
CN110097521A (zh
Inventor
刘桂雄
王博帝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201910378042.1A priority Critical patent/CN110097521B/zh
Publication of CN110097521A publication Critical patent/CN110097521A/zh
Application granted granted Critical
Publication of CN110097521B publication Critical patent/CN110097521B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种面向反光金属视觉检测的卷积神经网络图像复原方法，所述方法包括：引入松弛变量，解耦最大后验概率图像复原模型；基于泊松分布构建对数似然项主成分，引入非线性退化模型，剔除反光金属饱和像素；基于卷积神经网络构建对数先验项主成分，约束图像复原解空间；交替更新似然项与先验项，通过多阶段联接优化最终复原图像。本发明利用卷积神经网络优势，省去人工设计先验项繁琐环节，基于非线性退化模型提高图像复原质量，有助于图像复原技术在反光金属视觉检测中的应用。

Description

一种面向反光金属视觉检测的卷积神经网络图像复原方法
技术领域
本发明涉及图像复原领域，尤其涉及一种面向反光金属视觉检测的卷积神经网络图像复原方法。
背景技术
视觉检测技术因准确性高、非接触、适用性好而得到广泛应用。动态成像条件下视觉检测易出现运动模糊现象，促使检测结果可靠性降低。图像复原技术从所观测模糊图像中获取潜在清晰图像，是视觉检测技术重要辅助工具。视觉检测目标多种多样，其中金属类目标难以避免反光现象，尤其在动态成像条件下。反光现象造成图像部分区域过度饱和，即饱和像素。饱和像素不符合图像线性退化模型假设，基于此类模型的图像复原技术在面向饱和像素时无法较好发挥作用，致使复原结果产生严重振铃效应。
近年来，卷积神经网络开始应用于图像复原等低层视觉任务，并取得显著成效。卷积神经网络图像复原技术将传统人工先验项用网络权重替代，具有测试效率高的特点。可以看出，基于线性退化模型的图像复原技术在反光金属视觉检测应用效果欠佳，同时卷积神经网络图像复原技术是该领域未来趋势。若能利用卷积神经网络优势，省去人工设计先验项繁琐环节，基于非线性退化模型提高图像复原质量，将有助于图像复原技术在反光金属视觉检测中的应用。
发明内容
为解决上述存在的问题与缺陷，本发明提供一种面向反光金属视觉检测的卷积神经网络图像复原方法，该方法利用卷积神经网络优势，省去人工设计先验项繁琐环节，基于非线性退化模型提高图像复原质量，有助于图像复原技术在反光金属视觉检测中的应用。
本发明的目的通过以下的技术方案来实现：
一种面向反光金属视觉检测的卷积神经网络图像复原方法，该方法包括：
A引入松弛变量，解耦最大后验概率图像复原模型；
B基于泊松分布构建对数似然项主成分，引入非线性退化模型，剔除反光金属饱和像素；
C基于卷积神经网络构建对数先验项主成分，约束图像复原解空间；
D交替更新似然项与先验项，通过多阶段联接优化最终复原图像。
本发明有益效果是：
利用卷积神经网络优势，省去人工设计先验项繁琐环节，基于非线性退化模型提高图像复原质量，有助于图像复原技术在反光金属视觉检测中的应用。
附图说明
图1是本发明所述的一种面向反光金属视觉检测的卷积神经网络图像复原方法流程框图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述。
本发明是面向反光金属视觉检测的卷积神经网络图像复原方法，如图1所示，该方法包括如下步骤：
步骤10、引入松弛变量，解耦最大后验概率图像复原模型；
最大后验概率图像复原模型argmaxxp(x|k,y)∝p(yk,x)p(x)通过引入松弛变量
Figure BDA0002052346930000021
解耦成似然项
Figure BDA0002052346930000022
与先验项
Figure BDA0002052346930000023
其中y、k、x分别表示模糊图像、模糊核、清晰图像，约束条件为
Figure BDA0002052346930000024
步骤20、基于泊松分布构建对数似然项主成分，引入非线性退化模型，剔除反光金属饱和像素；
基于泊松分布构建对数似然项
Figure BDA0002052346930000025
主成分：
Figure BDA0002052346930000031
式中，第一项为主成分，服从泊松分布，i表示像素索引，
Figure BDA0002052346930000032
表示卷积，泊松分布常数项yi！省略，zp表示归一化常数。
对数似然项引入非线性退化模型
Figure BDA0002052346930000033
剔除反光金属饱和像素，其中C表示平滑截断函数，a为平滑度控制参数。对于给定
Figure BDA0002052346930000034
对数似然项由下式迭代求解：
Figure BDA0002052346930000035
式中，kT表示k的转置，C′表示C的导数。本实施例a设为50，zp随迭代次数从2000指数增长至5000。
步骤30、基于卷积神经网络构建对数先验项主成分，约束图像复原解空间；
基于卷积神经网络构建对数先验项
Figure BDA0002052346930000036
主成分
Figure BDA0002052346930000037
约束图像复原解空间，卷积神经网络拟合图像去噪映射函数，对数似然项最优解经过图像去噪映射后，即为对数先验项最优解。本实施例卷积神经网络由7层3功能块组成：第1层“空洞卷积3×3+线性整流单元”；中间5层“空洞卷积3×3+批规范化”；第7层“空洞卷积3×3”。每层空洞卷积空洞系数依次设为1、2、3、4、3、2、1，每层特征图设为64张，并采用残差学习加速训练。
步骤40、交替更新似然项与先验项，通过多阶段联接优化最终复原图像：
似然项与先验项分别在步骤20与步骤30更新，其中x初始值设为y；似然项每更新一次，其内部需迭代求解；步骤20与步骤30首尾联接，以多阶段的方式优化图像复原性能，其中初始执行步骤为步骤20。本实施例似然项内部迭代次数设为10，似然项与先验项交替更新次数设为30，最终迭代结果即为高质量复原图像。
上述方式利用卷积神经网络优势，省去人工设计先验项繁琐环节，基于非线性退化模型提高图像复原质量，有助于图像复原技术在反光金属视觉检测中的应用。
虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (5)

1.一种面向反光金属视觉检测的卷积神经网络图像复原方法，其特征在于，所述方法包括：
A引入松弛变量，解耦最大后验概率图像复原模型；
B基于泊松分布构建对数似然项主成分，引入非线性退化模型，剔除反光金属饱和像素；
C基于卷积神经网络构建对数先验项主成分，约束图像复原解空间；
D交替更新似然项与先验项，通过多阶段联接优化最终复原图像；
所述步骤B中，基于泊松分布构建对数似然项
Figure FDA0004005137010000011
主成分：
Figure FDA0004005137010000012
式中，其中y、k、x分别表示模糊图像、模糊核、清晰图像，约束条件为
Figure FDA0004005137010000013
等号右边第一项为主成分，服从泊松分布，i表示像素索引，
Figure FDA0004005137010000014
表示卷积，泊松分布常数项yi，zp表示归一化常数；
非线性退化模型为：
Figure FDA0004005137010000015
式中，C表示平滑截断函数，具体形式为：
Figure FDA0004005137010000016
式中，a为平滑度控制参数。
2.如权利要求1所述的面向反光金属视觉检测的卷积神经网络图像复原方法，其特征在于，所述步骤A中，最大后验概率图像复原模型argmaxxp(x|k,y)∝p(y|k,x)p(x)通过引入松弛变量
Figure FDA0004005137010000017
解耦成似然项
Figure FDA0004005137010000018
与先验项
Figure FDA0004005137010000019
其中y、k、x分别表示模糊图像、模糊核、清晰图像，约束条件为
Figure FDA00040051370100000110
3.如权利要求1所述的面向反光金属视觉检测的卷积神经网络图像复原方法，其特征在于，所述步骤B中，对数似然项引入非线性退化模型，剔除反光金属饱和像素；对于给定
Figure FDA00040051370100000111
对数似然项由下式迭代求解：
Figure FDA00040051370100000112
式中，kT表示k的转置，C′表示C的导数，。
4.如权利要求1所述的面向反光金属视觉检测的卷积神经网络图像复原方法，其特征在于，所述步骤C中，对数先验项
Figure FDA0004005137010000021
主成分
Figure FDA0004005137010000022
由卷积神经网络权重替代，约束图像复原解空间；卷积神经网络拟合图像去噪映射函数，可由卷积层、线性整流单元、批规范化基本单元组成，对数似然项最优解经过图像去噪映射后，即为对数先验项最优解。
5.如权利要求1所述的面向反光金属视觉检测的卷积神经网络图像复原方法，其特征在于，所述步骤D中，似然项与先验项分别在步骤B与步骤C更新，其中x初始值设为y；似然项每更新一次，其内部需迭代求解；步骤B与步骤C首尾联接，以多阶段的方式优化图像复原性能。
CN201910378042.1A 2019-05-08 2019-05-08 一种面向反光金属视觉检测的卷积神经网络图像复原方法 Active CN110097521B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910378042.1A CN110097521B (zh) 2019-05-08 2019-05-08 一种面向反光金属视觉检测的卷积神经网络图像复原方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910378042.1A CN110097521B (zh) 2019-05-08 2019-05-08 一种面向反光金属视觉检测的卷积神经网络图像复原方法

Publications (2)

Publication Number Publication Date
CN110097521A CN110097521A (zh) 2019-08-06
CN110097521B true CN110097521B (zh) 2023-02-28

Family

ID=67447241

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910378042.1A Active CN110097521B (zh) 2019-05-08 2019-05-08 一种面向反光金属视觉检测的卷积神经网络图像复原方法

Country Status (1)

Country Link
CN (1) CN110097521B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110544249A (zh) * 2019-09-06 2019-12-06 华南理工大学 一种面向任意角度机箱装配视觉检测的卷积神经网络质量鉴别方法
CN111047544B (zh) * 2020-01-08 2022-09-23 华中科技大学 一种基于非线性退化模型的饱和图像去模糊方法
RU2764395C1 (ru) 2020-11-23 2022-01-17 Самсунг Электроникс Ко., Лтд. Способ и устройство для совместного выполнения дебайеризации и устранения шумов изображения с помощью нейронной сети

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102231204A (zh) * 2011-06-20 2011-11-02 南京航空航天大学 一种序列图像自适应正则超分辨率重建方法
CN104809708A (zh) * 2015-05-08 2015-07-29 北京工商大学 基于改进的分裂Bregman算法的荧光显微图像复原方法和装置
CN107680040A (zh) * 2017-09-26 2018-02-09 北京空间飞行器总体设计部 一种基于贝叶斯准则的多帧盲卷积超分辨重建方法及装置
CN108734675A (zh) * 2018-05-17 2018-11-02 西安电子科技大学 基于混合稀疏先验模型的图像复原方法
CN108765325A (zh) * 2018-05-17 2018-11-06 中国人民解放军陆军工程大学 一种小型无人机模糊图像复原方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102231204A (zh) * 2011-06-20 2011-11-02 南京航空航天大学 一种序列图像自适应正则超分辨率重建方法
CN104809708A (zh) * 2015-05-08 2015-07-29 北京工商大学 基于改进的分裂Bregman算法的荧光显微图像复原方法和装置
CN107680040A (zh) * 2017-09-26 2018-02-09 北京空间飞行器总体设计部 一种基于贝叶斯准则的多帧盲卷积超分辨重建方法及装置
CN108734675A (zh) * 2018-05-17 2018-11-02 西安电子科技大学 基于混合稀疏先验模型的图像复原方法
CN108765325A (zh) * 2018-05-17 2018-11-06 中国人民解放军陆军工程大学 一种小型无人机模糊图像复原方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Denoising Prior Driven Deep Neural Network for Image Restoration;Weisheng Dong 等;《arXiv:1801.06756v1》;20180121;第1-13页 *
Learning Deep CNN Denoiser Prior for Image Restoration;Kai Zhang 等;《CVPR 2017》;20171231;第3929-3938页 *
泊松噪声污染模糊图像的非盲去卷积方法;董文德 等;《南京理工大学学报》;20160831;第40卷(第4期);第404-409页 *
运动模糊图像复原技术研究进展与展望;刘桂雄 等;《激光杂志》;20190425;第40卷(第4期);第1-8页 *

Also Published As

Publication number Publication date
CN110097521A (zh) 2019-08-06

Similar Documents

Publication Publication Date Title
CN110097521B (zh) 一种面向反光金属视觉检测的卷积神经网络图像复原方法
CN108229525B (zh) 神经网络训练及图像处理方法、装置、电子设备和存储介质
US11263728B2 (en) Priori constraint and outlier suppression based image deblurring method
CN108734675B (zh) 基于混合稀疏先验模型的图像复原方法
CN111047544B (zh) 一种基于非线性退化模型的饱和图像去模糊方法
Ma et al. EFFICIENT BOX-CONSTRAINED TV-TYPE-l¹ ALGORITHMS FOR RESTORING IMAGES WITH IMPULSE NOISE
CN112116541B (zh) 基于梯度l0范数和总变分正则化约束的模糊图像复原方法
CN113837959B (zh) 图像去噪模型训练方法、图像去噪方法及系统
CN110175963B (zh) 一种适用于水下图像及大气暗图像的两用图像增强方法及装置
CN116883265A (zh) 一种基于增强特征融合机制的图像去模糊方法
CN113066023B (zh) 一种基于自校准卷积神经网络的sar图像去斑方法
CN114677295A (zh) 一种现实场景镜面高光图像增强方法、装置及存储介质
CN111062883B (zh) 图像处理方法及装置、计算机可读介质和电子设备
CN108510464B (zh) 基于分块观测的压缩感知网络及全图重构方法
CN113450267B (zh) 可快速获取多种自然退化图像复原模型的迁移学习方法
CN111861940A (zh) 一种基于条件连续调节的图像调色增强方法
Wang et al. Mixed distortion image enhancement method based on joint of deep residuals learning and reinforcement learning
CN115829870A (zh) 一种基于可变尺度滤波的图像去噪方法
Xie et al. DHD-Net: A novel deep-learning-based dehazing network
CN115456891A (zh) 一种基于u型动态网络的屏下相机图像复原方法
CN114926557A (zh) 一种结合注意力机制的多尺度图像压缩重构方法
CN114529463A (zh) 一种图像去噪方法及系统
CN114862711A (zh) 基于双重互补先验约束的低照度图像增强与去噪方法
CN112330550A (zh) 一种基于图像盲解卷积技术的图像复原方法及系统
Liu An augmented Lagrangian method for the patch-based Gaussian mixture model in image deblurring

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant