CN110084762A - 一种深度学习逆卷积模型异常值处理方法 - Google Patents
一种深度学习逆卷积模型异常值处理方法 Download PDFInfo
- Publication number
- CN110084762A CN110084762A CN201910343480.4A CN201910343480A CN110084762A CN 110084762 A CN110084762 A CN 110084762A CN 201910343480 A CN201910343480 A CN 201910343480A CN 110084762 A CN110084762 A CN 110084762A
- Authority
- CN
- China
- Prior art keywords
- deep learning
- model
- image
- subproblem
- convolution model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 29
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims abstract description 7
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 6
- 230000000007 visual effect Effects 0.000 claims abstract description 5
- 230000013016 learning Effects 0.000 claims abstract description 4
- 230000003044 adaptive effect Effects 0.000 claims abstract description 3
- 230000006870 function Effects 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 230000000717 retained effect Effects 0.000 claims description 2
- 230000008901 benefit Effects 0.000 abstract description 5
- 230000004438 eyesight Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 230000003412 degenerative effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种深度学习逆卷积模型异常值处理方法，所述方法包括：分裂传统能量泛函逆卷积模型；建立异常值掩码模型，预测异常值掩码期望，在逆卷积迭代求解过程剔除异常值；基于深度学习搭建卷积神经网络图像去噪模型，自适应学习图像先验，引导逆卷积演化方向；交替迭代由传统能量泛函逆卷积模型分裂而成的子问题，获取最终高质量复原图像。本发明保留逆卷积模型对不同视觉任务应用柔性，预测异常值掩码期望并对其进行处理，充分利用深度学习图像先验建模优势，实现高质量图像复原。
Description
技术领域
本发明涉及图像复原领域，尤其涉及一种深度学习逆卷积模型异常值处理方法。
背景技术
图像复原技术是计算机视觉重要基础工具，在医学成像、遥感观测、视觉检测、工业制造领域都有广泛应用。该项技术旨在从退化低质量图像中复原出其对应原始高质量图像，涉及机器学习、数学建模、优化理论、光学成像等多方面知识。保证成像质量有助于提高视觉检测效率、促进科学技术发展，尤其是在工业生产自动化程度愈来愈高的当今时代，图像复原的地位与作用更加明显。
逆卷积在图像复原中逆转图像退化过程。传统逆卷积模型构造能量泛函，通过正则项约束解空间。近年来，深度学习开始应用于逆卷积建模等低层视觉任务，并取得显著成效。深度学习逆卷积模型将正则项转化为其网络结构权重，然而保真项拟合优度同样是图像复原质量关键。实际退化图像易存在异常值(饱和像素、非高斯噪声、相机非线性响应函数)，逆卷积过程异常值破坏保真项拟合优度，促使复原图像产生严重振铃效应，影响最终复原图像质量。若能在深度学习逆卷积模型处理异常值问题，将有助于提高模型性能，进一步优化图像复原质量。
发明内容
为解决上述存在的问题与缺陷，本发明提供一种深度学习逆卷积模型异常值处理方法，该方法保留逆卷积模型对不同视觉任务应用柔性，预测异常值掩码期望并对其进行处理，充分利用深度学习图像先验建模优势，实现高质量图像复原。
本发明的目的通过以下的技术方案来实现：
一种深度学习逆卷积模型异常值处理方法，该方法包括：
A分裂传统能量泛函逆卷积模型；
B建立异常值掩码模型，预测异常值掩码期望，在逆卷积迭代求解过程剔除异常值；
C基于深度学习搭建卷积神经网络图像去噪模型，自适应学习图像先验，引导逆卷积演化方向；
D交替迭代由传统能量泛函逆卷积模型分裂而成的子问题，获取最终高质量复原图像。
本发明有益效果是：
保留逆卷积模型对不同视觉任务应用柔性，预测异常值掩码期望并对其进行处理，充分利用深度学习图像先验建模优势，实现高质量图像复原。
附图说明
图1是本发明所述的深度学习逆卷积模型异常值处理方法流程框图；
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述。
本发明是基于掩码预测的深度学习逆卷积模型异常值处理方法，如图1所示，该方法包括如下步骤：
步骤10、传统能量泛函逆卷积模型通过变量分裂技术，独立拆分为保真项子问题与正则项子问题其中b、f、H分别表示退化图像、潜在图像以及退化函数，表示复原图像，l为辅助变量，用以作f近似，t表示迭代次数，λ、β为正则项权重。保真项子问题在步骤20通过异常值掩码优化处理，所述正则项子问题在步骤30通过深度学习高效求解。
步骤20、根据逆卷积模型似然项导出异常值掩码期望其中m表示异常值掩码，σ分别表示高斯分布与其方差，pin、pout则分别表示该数据为正常值或异常值的概率，DR表示相机动态响应量程，C表示DR倒数。继而导出权重令γ＝λ/2β，并由下式与保真项子问题联立，在逆卷积迭代求解过程剔除异常值：
式中，保真项数据对应权重较高被保留，较低则被剔除。
步骤30、基于深度学习搭建卷积神经网络图像去噪模型，包括卷积层、线性整流单元、批规范化。本实施例采用网络结构包含15层卷积层，每层均采用64张特征图、3×3卷积核。除此之外，首层与中间13层还包含线性整流单元，其中中间13层额外增加批规范化。损失函数则采用L1范数度量低质量含噪图像映射结果与其对应高质量清晰图像距离。
步骤40、交替迭代由传统能量泛函逆卷积模型分裂而成的子问题，即保真项子问题与正则项子问题。在一次完整迭代中，保真项子问题输出作为正则项子问题输入，其中初始输入为退化图像，迭代次数设为30，最终迭代结果即为高质量复原图像。
上述方式保留逆卷积模型对不同视觉任务应用柔性，预测异常值掩码期望并对其进行处理，充分利用深度学习图像先验建模优势，实现高质量图像复原。
虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。
Claims (8)
1.一种深度学习逆卷积模型异常值处理方法，其特征在于，所述方法包括：
A 分裂传统能量泛函逆卷积模型；
B 建立异常值掩码模型，预测异常值掩码期望，在逆卷积迭代求解过程剔除异常值；
C 基于深度学习搭建卷积神经网络图像去噪模型，自适应学习图像先验，引导逆卷积演化方向；
D 交替迭代由传统能量泛函逆卷积模型分裂而成的子问题，获取最终高质量复原图像。
2.如权利要求1所述的深度学习逆卷积模型异常值处理方法，其特征在于，所述步骤A中，传统能量泛函逆卷积模型为通过变量分裂技术，独立拆分为保真项子问题与正则项子问题其中b、f、H分别表示退化图像、潜在图像以及退化函数，表示复原图像，l为辅助变量，用以作f近似，t表示迭代次数，λ、β为正则项权重。
3.如权利要求2所述的深度学习逆卷积模型异常值处理方法，其特征在于，所述保真项子问题通过异常值掩码优化处理，所述正则项子问题通过深度学习高效求解。
4.如权利要求1所述的深度学习逆卷积模型异常值处理方法，其特征在于，所述步骤B中，异常值掩码期望E[m]为：
式中，m表示异常值掩码，σ分别表示高斯分布与其方差，pin、pout则分别表示该数据为正常值或异常值的概率，DR表示相机动态响应量程，C表示DR倒数。
5.如权利要求1所述的深度学习逆卷积模型异常值处理方法，其特征在于，所述步骤B中，保真项数据由异常值掩码期望导出权重决定是否在逆卷积迭代求解过程剔除，该权重为：
式中，保真项数据对应权重较高被保留，较低则被剔除。
6.如权利要求1所述的深度学习逆卷积模型异常值处理方法，其特征在于，所述步骤C中，卷积神经网络图像去噪模型学习低质量含噪图像至其对应高质量清晰图像映射关系，其中，卷积神经网络图像去噪模型包括卷积层、线性整流单元、批规范化。
7.如权利要求1所述的深度学习逆卷积模型异常值处理方法，其特征在于，所述步骤D中，所述子问题为保真项子问题与正则项子问题，所述保真项子问题在步骤B求解，所述正则项子问题在步骤C求解，在一次完整迭代中，子问题之一输出作为另一子问题输入，其中初始输入为退化图像，最终迭代结果即为高质量复原图像。
8.如权利要求1所述的深度学习逆卷积模型异常值处理方法，其特征在于，所述深度学习逆卷积模型可根据不同退化函数用于图像去噪、图像去模糊、图像超分辨率重构不同低层视觉任务。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910343480.4A CN110084762B (zh) | 2019-04-26 | 2019-04-26 | 一种深度学习逆卷积模型异常值处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910343480.4A CN110084762B (zh) | 2019-04-26 | 2019-04-26 | 一种深度学习逆卷积模型异常值处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110084762A true CN110084762A (zh) | 2019-08-02 |
| CN110084762B CN110084762B (zh) | 2022-11-18 |
Family
ID=67417017
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910343480.4A Active CN110084762B (zh) | 2019-04-26 | 2019-04-26 | 一种深度学习逆卷积模型异常值处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110084762B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115952846A (zh) * | 2022-12-14 | 2023-04-11 | 北京登临科技有限公司 | Ai算法架构的实现装置、稀疏卷积运算方法及相关设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105551005A (zh) * | 2015-12-30 | 2016-05-04 | 南京信息工程大学 | 耦合了梯度保真项的总变差模型快速图像复原方法 |
| CN105931191A (zh) * | 2015-12-21 | 2016-09-07 | 南京邮电大学 | 基于凹凸混合正则先验的图像盲去卷积方法 |
| CN105957024A (zh) * | 2016-04-20 | 2016-09-21 | 西安电子科技大学 | 基于图像块先验与稀疏范数的盲去模糊方法 |
| CN108734675A (zh) * | 2018-05-17 | 2018-11-02 | 西安电子科技大学 | 基于混合稀疏先验模型的图像复原方法 |
-
2019
- 2019-04-26 CN CN201910343480.4A patent/CN110084762B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105931191A (zh) * | 2015-12-21 | 2016-09-07 | 南京邮电大学 | 基于凹凸混合正则先验的图像盲去卷积方法 |
| CN105551005A (zh) * | 2015-12-30 | 2016-05-04 | 南京信息工程大学 | 耦合了梯度保真项的总变差模型快速图像复原方法 |
| CN105957024A (zh) * | 2016-04-20 | 2016-09-21 | 西安电子科技大学 | 基于图像块先验与稀疏范数的盲去模糊方法 |
| CN108734675A (zh) * | 2018-05-17 | 2018-11-02 | 西安电子科技大学 | 基于混合稀疏先验模型的图像复原方法 |
Non-Patent Citations (4)
| Title |
|---|
| DONGWEI REN ET AL: "Partial Deconvolution With Inaccurate Blur Kernel", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
| SUNGHYUN CHO ET AL: "Handling Outliers in Non-Blind Image Deconvolution", 《2011 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 * |
| 刘桂雄 等: "运动模糊图像复原技术研究进展与展望", 《激光杂志》 * |
| 孙士洁 等: "利用低秩先验的噪声模糊图像盲去卷积", 《电子与信息学报》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115952846A (zh) * | 2022-12-14 | 2023-04-11 | 北京登临科技有限公司 | Ai算法架构的实现装置、稀疏卷积运算方法及相关设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110084762B (zh) | 2022-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108875935B (zh) | 基于生成对抗网络的自然图像目标材质视觉特征映射方法 | |
| CN109685743B (zh) | 基于噪声学习神经网络模型的图像混合噪声消除方法 | |
| Ghorai et al. | Multiple pyramids based image inpainting using local patch statistics and steering kernel feature | |
| CN109005398B (zh) | 一种基于卷积神经网络的立体图像视差匹配方法 | |
| CN104008538A (zh) | 基于单张图像超分辨率方法 | |
| CN112819772A (zh) | 一种高精度快速图形检测识别方法 | |
| CN110751195B (zh) | 一种基于改进YOLOv3的细粒度图像分类方法 | |
| CN109345609B (zh) | 基于卷积神经网络进行壁画图像去噪和线描画生成的方法 | |
| CN111292308A (zh) | 基于卷积神经网络的光伏太阳能板红外缺陷检测方法 | |
| CN115471423A (zh) | 一种基于生成对抗网络及自注意力机制的点云去噪方法 | |
| Ma et al. | Local low-rank and sparse representation for hyperspectral image denoising | |
| CN109871790B (zh) | 一种基于混合神经网络模型的视频去色方法 | |
| CN110084762A (zh) | 一种深度学习逆卷积模型异常值处理方法 | |
| CN107729885A (zh) | 一种基于多重残差学习的人脸增强方法 | |
| CN117252817A (zh) | 一种透明导电薄膜玻璃表面缺陷检测方法及系统 | |
| CN111161228A (zh) | 一种基于迁移学习的纽扣表面缺陷检测方法 | |
| Schrader et al. | CNN-based Euler’s elastica inpainting with deep energy and deep image prior | |
| Zhao et al. | NormalNet: Learning-based normal filtering for mesh denoising | |
| Kumar et al. | Image Deconvolution using Deep Learning-based Adam Optimizer | |
| He et al. | Hybrid high-order nonlocal gradient sparsity regularization for Poisson image deconvolution | |
| CN115018726A (zh) | 一种基于U-Net的图像非均匀模糊核的估计方法 | |
| CN113269786A (zh) | 基于深度学习和引导滤波的装配体图像分割方法及设备 | |
| Wei et al. | Image denoising with deep unfolding and normalizing flows | |
| CN113096105A (zh) | 一种基于有向稀疏采样的手机屏幕缺陷检测方法 | |
| Han et al. | Online burr video denoising by learning sparsifying transform |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |