CN113191966B - 一种运算轻量化图像修复方法 - Google Patents
一种运算轻量化图像修复方法 Download PDFInfo
- Publication number
- CN113191966B CN113191966B CN202110405845.9A CN202110405845A CN113191966B CN 113191966 B CN113191966 B CN 113191966B CN 202110405845 A CN202110405845 A CN 202110405845A CN 113191966 B CN113191966 B CN 113191966B
- Authority
- CN
- China
- Prior art keywords
- network
- convolution
- image
- layers
- lightweight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 6
- 239000011800 void material Substances 0.000 claims abstract 4
- 230000008569 process Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 abstract description 7
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000013461 design Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明涉及计算机图形学与图像处理技术领域，涉及一种运算轻量化图像修复方法，包括以下步骤：一、构建粗糙网络，粗糙网络通过六层门控卷积和三层空洞门控卷积构建，在训练阶段，首先将输入图像降维，并与二值化遮罩层一同作为输入网络，中间使用空洞门控卷积对图像进行修复，最终粗糙网络的修复结果与源图像通过Wasserstein判别器进行比照，对可训练参数进行修正；二、构建精细网络，精细网络通过六层门控卷积、六层轻量化Inception层次网络与三层空洞门控卷积进行构建，精细网络以上一阶段中粗糙网络的输出作为输入，通过精细网络，最终得出输出。本发明大量地减少参数与运算数量。
Description
技术领域
本发明涉及计算机图形学与图像处理技术领域，具体地说，涉及一种运算轻量化图像修复方法。
背景技术
随着数据处理和电子工业的快速发展，人工神经网络在计算机视觉领域被广泛应用于自动驾驶、手机摄像等任务中，这类基于图像处理的任务具有快速、端到端保证图像清晰度的需求。汽车与手机在拍照过程中设备通常会进行比较大的位置变动，在变动过程中，图像很可能会出现撕裂、模糊等问题，运用图像修复技术保证图像的清晰度成为主要的技术手段。但现有的图像修复处理模型大部分是基于人工神经网络的，其所需的计算量高，超出边缘计算设备所能处理的运算量。为了提升自动驾驶、手机摄像拍照等功能的体验，对人工神经网络图像修复模型进行轻量化是必须采用的技术。在轻量化模型的过程中，现有的策略主要考虑削减神经网络层次数量，降低模型表现以期能够在边缘计算设备上运行。
然而，削减网络层次数量牺牲性能无法满足摄像机像素增长的需要，导致修复效果不佳，出现重影、内容错乱等问题。
发明内容
本发明的内容是提供一种运算轻量化图像修复方法，其能够克服现有技术的某种或某些缺陷。
根据本发明的一种运算轻量化图像修复方法，其包括以下步骤：
一、构建粗糙网络，粗糙网络通过六层门控卷积和三层空洞门控卷积构建，在训练阶段，首先将输入图像Igt降维，并与其对应的二值化遮罩层Im一同作为输入网络，中间使用空洞门控卷积对图像进行修复，最终粗糙网络的修复结果Ic与源图像通过Wasserstein判别器进行比照，通过像素层级的L1损失和PatchGAN损失组成的联合损失来对可训练参数进行修正；
二、构建精细网络，精细网络通过六层门控卷积、六层轻量化Inception层次网络与三层空洞门控卷积进行构建，精细网络以上一阶段中粗糙网络的输出作为输入，通过精细网络，最终得出输出Irf。
作为优选，输入图像下采样后降维到512×512分辨率。
作为优选，轻量化Inception层次网络包括Inception轻量化模块，轻量化Inception网络模块以一个1×1的点卷积作为开始，将输入图像的C1个通道数量转变为C2通道数量，随后图像信息分流为两个分支，1×1通道处理上一阶段中卷积得到的n个通道，而3×3分支处理其余的通道；两条通道分别完成卷积后，将通道进行连接操作，重新得到通道数量为C2的特征图，最终该特征图通过一次1×1的点卷积，得到最终的输出。
作为优选，粗糙网络中，门控卷积在网络的开始阶段和后阶段均为三层，中间三层为空洞门控卷积。
作为优选，精细网络中，从前向后依次为三层门控卷积、三层轻量化Inception层次网络、三层空洞门控卷积、三层轻量化Inception层次网络和三层门控卷积。
本发明具有如下的增益效果：
(1)大量地减少参数与运算数量；
(2)具有模块化与即插即用特性，本网络可以通过扩增与替换绝大多数图像处理人工神经网络中的朴素的3×3传统卷积层设计降低运算量而不具备明显的性能损失。
附图说明
图1为实施例1中一种运算轻量化图像修复方法的流程图；
图2-(a)为实施例1中粗糙网络的示意图；
图2-(b)为实施例1中精细网络的示意图；
图2-(c)为实施例1中Inception轻量化模块的示意图。
具体实施方式
为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。应当理解的是，实施例仅仅是对本发明进行解释而并非限定。
实施例1
如图1所示，本实施例提供了一种运算轻量化图像修复方法，其包括以下步骤：
一、构建粗糙网络，如图2-(a)所示，粗糙网络层通过六层门控卷积层构建，在网络的开始阶段和后阶段均为三层，在训练阶段，首先将输入图像Igt下采样后降维到512×512分辨率，并与其对应的二值化遮罩层Im一同作为输入网络，中间三层使用空洞门控卷积对图像进行修复，最终将得到的图像通过上采样恢复到原始分辨率，并且与粗糙网络的修复结果Ic与图像的原始输入(源图像)通过Wasserstein判别器进行比照，通过像素层级的L1损失和PatchGAN损失组成的联合损失来对可训练参数进行修正。
二、构建精细网络，如图2-(b)所示，精细网络通过六层门控卷积、六层轻量化Inception层次网络与三层空洞门控卷积进行构建，精细网络以上一阶段中粗糙网络的输出作为输入，通过精细网络，最终得出输出Irf。精细网络中，从前向后依次为三层门控卷积、三层轻量化Inception层次网络、三层空洞门控卷积、三层轻量化Inception层次网络和三层门控卷积。
如图2-(c)所示，轻量化Inception层次网络包括Inception轻量化模块，轻量化Inception网络模块以一个1×1的点卷积作为开始，将输入图像的C1个通道数量转变为C2通道数量，随后图像信息分流为两个分支，1×1通道处理上一阶段中卷积得到的n个通道，而3×3分支处理其余的通道；两条通道分别完成卷积后，将通道进行连接(Concat)操作，重新得到通道数量为C2的特征图，最终该特征图通过一次1×1的点卷积，得到最终的输出。
本实施例大量地减少参数与运算数量：假设处理的图像或特征图的高度与宽度分别为H、W，输入与输出的通道数量分别为C1、C2，原始的3×3传统卷积所运算的参数数量P和运算数量F为：
P＝9C1C2
F＝9C1C2HW
而应用轻量化Inception模块所运算的参数数量Pi和运算数量Fi为：
Pi＝C1 2+C1C2+32×C1+C1C2+C2 2
Fi＝HWC1 2+HWC1C2+32×HWC1+HWC1C2+HWC1 2+HWC2 2
相比于朴素的3×3传统卷积层，应用轻量化Inception模块与原先网络的参数数量与运算数量比例分别为：
以最为简单的C1＝C2，即输入与输出的通道数量相同为例，参数数量可以压缩至朴素卷积的约33％，而运算数量如果以卷积运算中常见的128为例，可以压缩至朴素卷积的约33％，在输入输出不相等，特别为输出通道数量比输入数量多时，此比例会变得更低.
本实施例具有模块化与即插即用特性，经过实验，本网络可以通过扩增与替换绝大多数图像处理人工神经网络中的朴素的3×3传统卷积层设计降低运算量而不具备明显的性能损失。
L1损失：也称为1-范数误差损失，最小绝对值偏差估计，它是一种将目标值和估计值的绝对差值的总和最小化的方法，设共有n个样本，其中的第i个样本的目标值为Ti，估计值为f(xi)，则1-范数误差损失的公式可以表示为：
PatchGAN损失：PatchGAN损失是一种在原始的生成对抗网络(GenerativeAdversial Network)损失基础上改进而来的损失，这两者之间的区别在于，一个朴素的GAN损失把一个图像映射为单个标量进行输出，从而表示一幅图片是“真实”还是“伪造”的，以此提升生成对抗网络生成图片的质量；而PatchGAN把图像映射到一个N×N大小的矩阵X上，矩阵中的每个元素Xij可以分表表达其对应的第i行第j列的图像块是“真实”还是“伪造”的，从而更为细节地提升生成图像的质量。
Wasserstein判别器：Wasserstein判别器是在原始的生成对抗网络判别器基础上修改得来的，相比于原始的GAN判别器，Wasserstein判别器做出了几点改进：第一，在判别器的最后一层相比于原始GAN判别器去掉了Sigmoid判别函数；第二，不把生成器和判别器的损失取对数函数；第三，每次更新判别器的参数之后把它们的绝对值截断到不超过一个上界C；第四，不使用基于动量的优化算法。
“开端”(Inception)模块：Inception模块是谷歌公司于2014年在GoogleNet人工神经网络中提出的一种分组卷积模块，它在增加网络深度和宽度的同时减少了参数数量。
本实施例的实施步骤如下：
(1)部署Windows训练平台，要求主要软件包为Pytorch 1.7.1、CUDA 10.2，GPU显存大小不小于6GB；
(2)导入Places2数据集，与给定的随机遮罩数据集一同进行训练；
(3)通过测试程序进行测试，验证图像修复效果。
以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。
Claims (2)
1.一种运算轻量化图像修复方法，其特征在于：包括以下步骤：
一、构建粗糙网络，粗糙网络通过六层门控卷积和三层空洞门控卷积构建，在训练阶段，首先将输入图像降维，并与其对应的二值化遮罩层一同作为输入网络，中间使用空洞门控卷积对图像进行修复，最终粗糙网络的修复结果与源图像通过Wasserstein判别器进行比照，通过像素层级的L1损失和PatchGAN损失组成的联合损失来对可训练参数进行修正；粗糙网络中，门控卷积在网络的开始阶段和后阶段均为三层，中间三层为空洞门控卷积；
二、构建精细网络，精细网络通过六层门控卷积、六层轻量化Inception层次网络与三层空洞门控卷积进行构建，精细网络以上一阶段中粗糙网络的输出作为输入，通过精细网络，最终得出输出；精细网络中，从前向后依次为三层门控卷积、三层轻量化Inception层次网络、三层空洞门控卷积、三层轻量化Inception层次网络和三层门控卷积；
轻量化Inception层次网络包括Inception轻量化模块，Inception轻量化模块以一个1×1的点卷积作为开始，将输入图像的C1个通道数量转变为C2个通道数量，随后图像信息分流为两个分支，1×1通道处理上一阶段中卷积得到的n个通道，而3×3分支处理其余的通道；两条通道分别完成卷积后，将通道进行连接操作，重新得到通道数量为C2的特征图，最终该特征图通过一次1×1的点卷积，得到最终的输出。
2.根据权利要求1所述的一种运算轻量化图像修复方法，其特征在于：输入图像下采样后降维到512×512分辨率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110405845.9A CN113191966B (zh) | 2021-04-15 | 2021-04-15 | 一种运算轻量化图像修复方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110405845.9A CN113191966B (zh) | 2021-04-15 | 2021-04-15 | 一种运算轻量化图像修复方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113191966A CN113191966A (zh) | 2021-07-30 |
| CN113191966B true CN113191966B (zh) | 2021-11-09 |
Family
ID=76977154
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110405845.9A Active CN113191966B (zh) | 2021-04-15 | 2021-04-15 | 一种运算轻量化图像修复方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113191966B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011145094A2 (en) * | 2010-05-17 | 2011-11-24 | Sync-Rx, Ltd. | Identification and presentation of device-to-vessel relative motion |
| CN111046967A (zh) * | 2019-12-18 | 2020-04-21 | 江苏科技大学 | 一种基于卷积神经网络和注意力机制的水下图像分类方法 |
| CN111739614A (zh) * | 2019-03-25 | 2020-10-02 | 西门子医疗有限公司 | 医学图像增强 |
| CN111968053A (zh) * | 2020-08-13 | 2020-11-20 | 南京邮电大学 | 基于门控卷积生成对抗网络的图像修复方法 |
| CN112001914A (zh) * | 2020-08-31 | 2020-11-27 | 三星（中国）半导体有限公司 | 深度图像补全的方法和装置 |
| CN112288647A (zh) * | 2020-10-13 | 2021-01-29 | 武汉大学 | 一种基于门控卷积的遥感影像云和阴影修复的方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111651762A (zh) * | 2020-04-21 | 2020-09-11 | 浙江大学 | 一种基于卷积神经网络的pe恶意软件检测方法 |
-
2021
- 2021-04-15 CN CN202110405845.9A patent/CN113191966B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011145094A2 (en) * | 2010-05-17 | 2011-11-24 | Sync-Rx, Ltd. | Identification and presentation of device-to-vessel relative motion |
| CN111739614A (zh) * | 2019-03-25 | 2020-10-02 | 西门子医疗有限公司 | 医学图像增强 |
| CN111046967A (zh) * | 2019-12-18 | 2020-04-21 | 江苏科技大学 | 一种基于卷积神经网络和注意力机制的水下图像分类方法 |
| CN111968053A (zh) * | 2020-08-13 | 2020-11-20 | 南京邮电大学 | 基于门控卷积生成对抗网络的图像修复方法 |
| CN112001914A (zh) * | 2020-08-31 | 2020-11-27 | 三星（中国）半导体有限公司 | 深度图像补全的方法和装置 |
| CN112288647A (zh) * | 2020-10-13 | 2021-01-29 | 武汉大学 | 一种基于门控卷积的遥感影像云和阴影修复的方法 |
Non-Patent Citations (3)
| Title |
|---|
| 《Position and Channel Attention For Image Inpainting by Semantic Structure》;Qiu JJ et al;《IEEE》;20201224;全文 * |
| 《基于并行对抗与多条件融合的生成式高分辨率图像修复》;邵杭等;《模式识别与人工智能》;20200602;第33卷(第4期);全文 * |
| 《基于生成对抗网络的人脸图像修复的研究》;朱德泉;《中国优秀硕士学位论文全文数据库 信息科技辑》;20200715(第2020年第06期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113191966A (zh) | 2021-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113240580B (zh) | 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法 | |
| CN109087273B (zh) | 基于增强的神经网络的图像复原方法、存储介质及系统 | |
| CN110136062B (zh) | 一种联合语义分割的超分辨率重建方法 | |
| CN112489164B (zh) | 基于改进深度可分离卷积神经网络的图像着色方法 | |
| CN109949221B (zh) | 一种图像处理方法及电子设备 | |
| CN110097110B (zh) | 一种基于目标优化的语义图像修复方法 | |
| CN110415280B (zh) | 多任务cnn模型下的遥感影像与建筑物矢量配准方法及系统 | |
| CN113870335A (zh) | 一种基于多尺度特征融合的单目深度估计方法 | |
| CN113902658B (zh) | 基于密集多尺度网络的rgb图像到高光谱图像重建方法 | |
| CN115100039B (zh) | 一种基于深度学习的轻量级图像超分辨率重建方法 | |
| CN116934592A (zh) | 一种基于深度学习的图像拼接方法、系统、设备及介质 | |
| CN113724134A (zh) | 一种基于残差蒸馏网络的航拍图像盲超分辨率重建方法 | |
| CN113191966B (zh) | 一种运算轻量化图像修复方法 | |
| CN112734649A (zh) | 一种基于轻量级神经网络的图像退化方法及退化系统 | |
| CN116580184A (zh) | 一种基于YOLOv7的轻量化模型 | |
| CN111161159A (zh) | 一种基于先验知识与深度学习结合的图像去雾方法和装置 | |
| CN115115860A (zh) | 一种基于深度学习的图像特征点检测匹配网络 | |
| CN115660979A (zh) | 一种基于注意力机制的双判别器图像修复方法 | |
| CN113240589A (zh) | 一种多尺度特征融合的图像去雾方法及系统 | |
| CN114862679A (zh) | 基于残差生成对抗网络的单图超分辨率重建方法 | |
| CN114187174A (zh) | 基于多尺度残差特征融合的图像超分辨率重建方法 | |
| CN117764988B (zh) | 基于异核卷积多感受野网络的道路裂缝检测方法及系统 | |
| CN116152117B (zh) | 一种基于Transformer的井下低光照图像增强方法 | |
| CN116433508B (zh) | 一种基于Swin-Unet的灰度图像着色校正方法 | |
| CN115019022B (zh) | 一种基于双深度融合网络的轮廓检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |