CN112927136B - 一种基于卷积神经网络域适应的图像缩小方法及系统 - Google Patents
一种基于卷积神经网络域适应的图像缩小方法及系统 Download PDFInfo
- Publication number
- CN112927136B CN112927136B CN202110244689.2A CN202110244689A CN112927136B CN 112927136 B CN112927136 B CN 112927136B CN 202110244689 A CN202110244689 A CN 202110244689A CN 112927136 B CN112927136 B CN 112927136B
- Authority
- CN
- China
- Prior art keywords
- image
- module
- feature
- reduction
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000009467 reduction Effects 0.000 title claims abstract description 117
- 230000006978 adaptation Effects 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000012360 testing method Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 37
- 238000010586 diagram Methods 0.000 claims description 31
- 230000004913 activation Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 10
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 9
- 150000001875 compounds Chemical class 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000012545 processing Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于卷积神经网络域适应的图像缩小方法及系统,该方法包括以下步骤:步骤S1:对原始高分辨率的矢量图图像和位图图像进行预处理,得到用于训练的矢量图图像块和位图图像块,组成图像块数据集;步骤S2:构建域适应模块与特征重构模块;步骤S3:构建特征缩小模块,结合域适应模块与特征重构模块,构成图像缩小网络;步骤S4:构建图像缩小网络的损失函数;步骤S5:使用图像块数据集训练图像缩小网络,得到训练好的图像缩小网络;步骤S6:将原始高分辨率的测试位图图像输入到训练好的图像缩小网络,经过域适应模块和特征缩小模块,预测其缩小后的图像。该方法及系统有利于提高图像缩小后小图的质量。
Description
技术领域
本发明属于图像和视频处理技术领域,具体涉及一种基于卷积神经网络域适应的图像缩小方法及系统。
背景技术
大数据时代,互联网上的图像无论是数量还是尺寸都呈爆炸式增长,这不可避免地对通信过程中的带宽以及图像存储所需要的硬件设备产生了极大的压力。在实际应用场景中,受限于网络传输速率以及硬件设备存储空间,往往不能完整地传输所有的图像,这些图像大多需要不同程度的压缩,无法呈现出纹理丰富、边缘锐利的清晰图像,导致用户观看图像的直观感受较差,也给用户对图像的后续处理带来了很大的困难。近年来移动互联网的发展更是增加了用户对图像质量的需求。
图像缩小算法的目的是在减小图像尺寸的情况下尽可能保留原始高分辨率图像的细节,生成高质量的低分辨率图像。图像缩小作为图像处理的一个关键性问题,目前已有大量的研究人员从事相关工作。
图像缩小已被广泛地运用到工程领域,目前图像缩小领域所使用的方法主要可以分为传统图像缩小方法和基于卷积神经网络的图像缩小方法。传统的图像缩小方法,包括基于插值的图像缩小算法、基于池化的图像缩小方法、基于先验的图像缩小方法等。这些方法或者性能一般或者耗时长且依赖于特定的图像先验。
近年来计算机硬件设备的发展也使基于卷积神经网络的方法在图形图像处理领域得到了普及,基于卷积神经网络的图像缩小方法利用卷积神经网络强大的特征提取能力从图像中提取图像特征,再将特征转化为缩小后的图像。由于卷积神经网络的特性,需要特定的数据作为训练集训练网络,使网络能够收敛,输出质量稳定的目标图像。
由于在自然场景中,并不存在真实的小图标签,这也导致已有的基于卷积神经网络的图像缩小方法必须间接的使用图像超分辨率网络将小图放大到原始图像尺寸来完成图像缩小的端到端训练。而目前并没有工作表明,适合图像超分辨率的小图的直观视觉质量是可靠的,还需要进一步的探讨。因此基于卷积神经网络的图像缩小方法的研究仍处于起步阶段,需要更加高效的图像缩小网络以及更加明确的训练目标。
矢量图是目前商业领域常用的一种特殊图像,其特性在于可以实现无损缩放,这与图像缩小的目标十分契合。但矢量图通常由较为简单的曲线以及线段构成,纹理细节不如自然图像丰富,而对位图进行矢量化的操作也会使得位图图像丢失细节,出现颜色失真、图像纹理消失等问题,这也使得使用矢量图作为训练数据训练得到的图像缩小卷积神经网络输出的图像与自然图像仍有一定的差距。
因此,在发挥矢量图无损缩放特点的同时使其能够训练出符合自然图像分布的图像缩小卷积神经网络是一个值得进一步探究的问题。
发明内容
本发明的目的在于提供一种基于卷积神经网络域适应的图像缩小方法及系统,该方法及系统有利于提高图像缩小后小图的质量。
为实现上述目的,本发明采用的技术方案是:一种基于卷积神经网络域适应的图像缩小方法,包括以下步骤:
步骤S1:对原始高分辨率的矢量图图像和位图图像进行预处理,得到用于训练的矢量图图像块和位图图像块,组成图像块数据集;
步骤S2:构建域适应模块与特征重构模块;
步骤S3:构建特征缩小模块,结合域适应模块与特征重构模块,构成图像缩小网络;
步骤S4:构建图像缩小网络的损失函数;
步骤S5:使用图像块数据集训练图像缩小网络,得到训练好的图像缩小网络;
步骤S6:将原始高分辨率的测试位图图像输入到训练好的图像缩小网络,经过域适应模块和特征缩小模块,预测其缩小后的图像。
进一步地,所述步骤S1中,将原始高分辨率的矢量图图像和位图图像进行无重叠的切块,得到初始的矢量图图像块和位图图像块,然后将得到的初始矢量图图像块和位图图像块进行旋转和翻转,得到用于训练的矢量图图像块和位图图像块,组成图像块数据集。
进一步地,所述步骤S2具体包括以下步骤:
步骤A1:构建域适应模块,包含三个卷积层和三个ReLU线性激活函数,其表达式如下:
步骤A2:构建特征重构模块,包含三个卷积层和三个ReLU线性激活函数,其表达式如下:
Freconstruct(Fin)=ReLU(w3(ReLU(w2(ReLU(w1(Fi)+b1))+b2))+b3)
式中,Freconstruct(·)为特征重构模块,Fin为输入特征重构模块的特征,是高分辨率图像块输入域适应模块得到的输出,对于输入的高分辨率图像块wi、bi分别为特征重构模块中第i层卷积层采用的卷积核的权重和偏置。
进一步地,所述步骤S3具体包括以下步骤:
步骤B1:构建特征缩小模块Ffeature_down(·),所述特征缩小模块由密集连接模块、残差模块以及通道注意力模块构成;
首先,计算密集连接模块的输出,所述密集连接模块包含k个卷积层,其表达式如下:
然后,计算残差模块的输出,所述残差模块包含两个卷积层和两个ReLU线性激活函数,其表达式如下:
Fres(Fin)=ReLU(w2(ReLU(w1(Fin)+b1))+b2)
式中,Fres(·)为残差模块的输出,wi、bi分别为残差模块中第i层卷积层采用的卷积核的权重和偏置;
而后,计算通道注意力模块的输出,其表达式如下:
式中,Fchannel(·)为通道注意力模块的输出,Ψchannel(·)为通道注意力模块,k为密集连接模块中卷积层的个数;
最后,通过一个卷积层计算特征缩小模块的输出:
式中,ILR为特征缩小模块的低分辨率图像块输出,w1和b1为所述卷积层中采用的卷积核的权重和偏置;
步骤B2:结合特征缩小模块、域适应模块与特征重构模块,构成图像缩小网络。
进一步地,所述步骤S4具体包括以下步骤:
步骤C1:构建位图重构损失Lbitmap_reconstruct,其表达式如下:
步骤C2:构建矢量图重构损失Lsvg_reconstruct,其表达式如下:
步骤C3:构建特征缩小损失Lfeature_down,其表达式如下:
式中,VGG163表示VGG16网络的前三层;adaptivepool(,)表示自适应池化模块,第一个参数为目标池化尺寸,第二个参数为输入的特征,size(·)表示图像的尺寸,包括高度和宽度;
步骤C4:构建域适应损失Ldomain,其表达式如下:
步骤C5:所述图像缩小网络的目标损失函数为:
式中Ldomain_down为目标函数值,Lbitmap_reconstruct为位图重构损失、Lsvg_reconstruct为矢量图重构损失、Lfeature_down为特征缩小损失,Ldomain为域适应损失,α、β、γ、分别为损失的参数。
进一步地,所述步骤S5具体包括以下步骤:
步骤D1:将用于训练的矢量图图像块和位图图像块分别随机分成一个以上的批次,每个批次分别包含N个图像块;
步骤D2:将每个批次的矢量图图像块和位图图像块分别输入到图像缩小网络,得到各个位图图像块和矢量图图像块的特征重构结果以及各个矢量图图像块的图像缩小预测结果;
步骤D3:根据图像缩小网络的目标损失函数Ldomain_down,利用反向传播方法计算所述图像缩小网络中各参数的梯度,并利用随机梯度下降方法更新参数;
步骤D4:以批次为单位重复进行上述步骤直至得到的损失函数值收敛到预设的阈值或达到迭代次数阈值,保存网络参数,完成图像缩小网络的训练过程。
进一步地,所述步骤D2具体包括以下步骤:
步骤D21:将高分辨率图像块输入到域适应模块,按如下公式提取图像特征:
步骤D22:将得到的特征F0、F1,按如下公式输入到特征重构模块,得到高分辨率的矢量图图像块和位图图像块输出:
步骤D23:将得到的特征F1,按如下公式输入到特征缩小模块,得到缩小后的矢量图图像输出:
本发明还提供了一种基于卷积神经网络域适应的图像缩小系统,包括存储器、处理器以及存储于存储器上并能够在处理器上运行的计算机程序,当处理器运行该计算机程序时,实现所述的方法步骤。
与现有技术相比,本发明具有以下有益效果:本发明将高分辨率矢量图与位图训练图像块作为输入,利用域适应模块提取不同分布域图像之间的共性特征,然后使用特征缩小模块对共性特征进行缩小,转化为缩小后的图像输出,使得网络在学习到矢量图图像无损缩放的特点的同时,也学习到位图图像细节丰富的优势,具有较高的图像缩小性能。本发明针对图像缩小问题构建了一个独立的图像缩小卷积神经网络,能够在保证缩小后图像质量的同时较为快速地完成图像缩小操作,具有较高的使用价值。
附图说明
图1为本发明实施例的方法实现流程示意图。
图2为本发明实施例的模型架构图。
图3为本发明实施例中特征缩小模块的结构示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出,以下详细说明都是示例性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示,本实施例提供了一种基于卷积神经网络域适应的图像缩小方法,包括以下步骤:
步骤S1:对原始高分辨率的矢量图图像和位图图像进行预处理,得到用于训练的矢量图图像块和位图图像块,组成图像块数据集。
步骤S2:构建域适应模块与特征重构模块。
步骤S3:构建特征缩小模块,结合域适应模块与特征重构模块,构成图像缩小网络。
步骤S4:构建图像缩小网络的损失函数。
步骤S5:使用图像块数据集训练图像缩小网络,得到训练好的图像缩小网络。
步骤S6:将原始高分辨率的测试位图图像输入到训练好的图像缩小网络,经过域适应模块和特征缩小模块,预测其缩小后的图像。
本发明使用域适应模块,将矢量图图像与位图图像提取到同一特征空间,并利用特征缩小模块有效地将共性特征信息转化为缩小后的图像输出,充分发挥卷积神经网络的拟合能力,对比现有的图像缩小模型,该方法能显著提高图像缩小的性能。
所述步骤S1中,将原始高分辨率的矢量图图像和位图图像进行无重叠的切块,得到初始的矢量图图像块和位图图像块,然后将得到的初始矢量图图像块和位图图像块进行旋转和翻转,得到用于训练的矢量图图像块和位图图像块,组成图像块数据集。
在本实施例中,所述步骤S2具体包括以下步骤:
步骤A1:构建域适应模块,包含三个卷积层和三个ReLU线性激活函数,其表达式如下:
步骤A2:构建特征重构模块,包含三个卷积层和三个ReLU线性激活函数,其表达式如下:
Freconstruct(Fin)=ReLU(w3(ReLU(w2(ReLU(w1(Fi)+b1))+b2))+b3)
式中,Freconstruct(·)为特征重构模块,Fin为输入特征重构模块的特征,是高分辨率图像块输入域适应模块得到的输出,对于输入的高分辨率图像块wi、bi分别为特征重构模块中第i层卷积层采用的卷积核的权重和偏置。
在本实施例中,所述步骤S3具体包括以下步骤:
步骤B1:构建特征缩小模块Ffeature_down(·),如图3所示,所述特征缩小模块由密集连接模块、残差模块以及通道注意力模块构成。
首先,计算密集连接模块的输出,所述密集连接模块包含k个卷积层,其表达式如下:
然后,计算残差模块的输出,所述残差模块包含两个卷积层和两个ReLU线性激活函数,其表达式如下:
Fres(Fin)=ReLU(w2(ReLU(w1(Fin)+b1))+b2)
式中,Fres(·)为残差模块的输出,wi、bi分别为残差模块中第i层卷积层采用的卷积核的权重和偏置。
而后,计算通道注意力模块的输出,其表达式如下:
式中,Fchannel(·)为通道注意力模块的输出,Ψchannel(·)为通道注意力模块,k为密集连接模块中卷积层的个数。
最后,通过一个卷积层计算特征缩小模块的输出:
式中,ILR为特征缩小模块的低分辨率图像块输出,w1和b1为所述卷积层中采用的卷积核的权重和偏置。
步骤B2:结合特征缩小模块、域适应模块与特征重构模块,构成如图2所示的图像缩小网络。
在本实施例中,所述步骤S4具体包括以下步骤:
步骤C1:构建位图重构损失Lbitmap_reconstruct,其表达式如下:
步骤C2:构建矢量图重构损失Lsvg_reconstruct,其表达式如下:
步骤C3:构建特征缩小损失Lfeature_down,其表达式如下:
式中,VGG163表示VGG16网络的前三层。adaptivepool(,)表示自适应池化模块,第一个参数为目标池化尺寸,第二个参数为输入的特征,size(·)表示图像的尺寸,包括高度和宽度。
步骤C4:构建域适应损失Ldomain,其表达式如下:
步骤C5:所述图像缩小网络的目标损失函数为:
式中Ldomain_down为目标函数值,Lbitmap_reconstruct为位图重构损失、Lsvg_reconstruct为矢量图重构损失、Lfeature_down为特征缩小损失,Ldomain为域适应损失,α、β、γ、分别为损失的参数。
在本实施例中,所述步骤S5具体包括以下步骤:
步骤D1:将用于训练的矢量图图像块和位图图像块分别随机分成一个以上的批次,每个批次分别包含N个图像块。
步骤D2:将每个批次的矢量图图像块和位图图像块分别输入到图像缩小网络,得到各个位图图像块和矢量图图像块的特征重构结果以及各个矢量图图像块的图像缩小预测结果。其具体包括以下步骤:
步骤D21:将高分辨率图像块输入到域适应模块,按如下公式提取图像特征:
步骤D22:将得到的特征F0、F1,按如下公式输入到特征重构模块,得到高分辨率的矢量图图像块和位图图像块输出:
步骤D23:将得到的特征F1,按如下公式输入到特征缩小模块,得到缩小后的矢量图图像输出:
步骤D3:根据图像缩小网络的目标损失函数Ldomain_down,利用反向传播方法计算所述图像缩小网络中各参数的梯度,并利用随机梯度下降方法更新参数。
步骤D4:以批次为单位重复进行上述步骤直至得到的损失函数值收敛到预设的阈值或达到迭代次数阈值,保存网络参数,完成图像缩小网络的训练过程。
本实施例还提供了一种基于卷积神经网络域适应的图像缩小系统,包括存储器、处理器以及存储于存储器上并能够在处理器上运行的计算机程序,当处理器运行该计算机程序时,实现所述的方法步骤。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述,仅是本发明的较佳实施例而已,并非是对本发明作其它形式的限制,任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型,仍属于本发明技术方案的保护范围。
Claims (5)
1.一种基于卷积神经网络域适应的图像缩小方法,其特征在于,包括以下步骤:
步骤S1:对原始高分辨率的矢量图图像和位图图像进行预处理,得到用于训练的矢量图图像块和位图图像块,组成图像块数据集;
步骤S2:构建域适应模块与特征重构模块;
步骤S3:构建特征缩小模块,结合域适应模块与特征重构模块,构成图像缩小网络;
步骤S4:构建图像缩小网络的损失函数;
步骤S5:使用图像块数据集训练图像缩小网络,得到训练好的图像缩小网络;
步骤S6:将原始高分辨率的测试位图图像输入到训练好的图像缩小网络,经过域适应模块和特征缩小模块,预测其缩小后的图像;
所述步骤S2具体包括以下步骤:
步骤A1:构建域适应模块,包含三个卷积层和三个ReLU线性激活函数,其表达式如下:
步骤A2:构建特征重构模块,包含三个卷积层和三个ReLU线性激活函数,其表达式如下:
Freconstruct(Fin)=ReLU(w23(ReLU(w22(ReLU(w21(Fi)+b21))+b22))+b23)
式中,Freconstruct(·)为特征重构模块,Fin为输入特征重构模块的特征,是高分辨率图像块输入域适应模块得到的输出,对于输入的高分辨率图像块w2i、b2i分别为特征重构模块中第i层卷积层采用的卷积核的权重和偏置;
所述步骤S3具体包括以下步骤:
步骤B1:构建特征缩小模块Ffeature_down(·),所述特征缩小模块由密集连接模块、残差模块以及通道注意力模块构成;
首先,计算密集连接模块的输出,所述密集连接模块包含k个卷积层,其表达式如下:
然后,计算残差模块的输出,所述残差模块包含两个卷积层和两个ReLU线性激活函数,其表达式如下:
Fres(Fin)=ReLU(w42(ReLU(w41(Fin)+b41))+b42)
式中,Fres(·)为残差模块的输出,w4i、b4i分别为残差模块中第i层卷积层采用的卷积核的权重和偏置;
而后,计算通道注意力模块的输出,其表达式如下:
式中,Fchannel(·)为通道注意力模块的输出,Ψchannel(·)为通道注意力模块,k为密集连接模块中卷积层的个数;
最后,通过一个卷积层计算特征缩小模块的输出:
式中,ILR为特征缩小模块的低分辨率图像块输出,w1和b1为所述卷积层中采用的卷积核的权重和偏置;
步骤B2:结合特征缩小模块、域适应模块与特征重构模块,构成图像缩小网络;
所述步骤S4具体包括以下步骤:
步骤C1:构建位图重构损失Lbitmap_reconstruct,其表达式如下:
步骤C2:构建矢量图重构损失Lsvg_reconstruct,其表达式如下:
步骤C3:构建特征缩小损失Lfeature_down,其表达式如下:
式中,VGG163表示VGG16网络的前三层;adaptivepool(,)表示自适应池化模块,第一个参数为目标池化尺寸,第二个参数为输入的特征,size(·)表示图像的尺寸,包括高度和宽度;
步骤C4:构建域适应损失Ldomain,其表达式如下:
步骤C5:所述图像缩小网络的目标损失函数为:
2.根据权利要求1所述的一种基于卷积神经网络域适应的图像缩小方法,其特征在于,所述步骤S1中,将原始高分辨率的矢量图图像和位图图像进行无重叠的切块,得到初始的矢量图图像块和位图图像块,然后将得到的初始矢量图图像块和位图图像块进行旋转和翻转,得到用于训练的矢量图图像块和位图图像块,组成图像块数据集。
3.根据权利要求1所述的一种基于卷积神经网络域适应的图像缩小方法,其特征在于,所述步骤S5具体包括以下步骤:
步骤D1:将用于训练的矢量图图像块和位图图像块分别随机分成一个以上的批次,每个批次分别包含N个图像块;
步骤D2:将每个批次的矢量图图像块和位图图像块分别输入到图像缩小网络,得到各个位图图像块和矢量图图像块的特征重构结果以及各个矢量图图像块的图像缩小预测结果;
步骤D3:根据图像缩小网络的目标损失函数Ldomain_down,利用反向传播方法计算所述图像缩小网络中各参数的梯度,并利用随机梯度下降方法更新参数;
步骤D4:以批次为单位重复进行上述步骤直至得到的损失函数值收敛到预设的阈值或达到迭代次数阈值,保存网络参数,完成图像缩小网络的训练过程。
4.根据权利要求3所述的一种基于卷积神经网络域适应的图像缩小方法,其特征在于,所述步骤D2具体包括以下步骤:
步骤D21:将高分辨率图像块输入到域适应模块,按如下公式提取图像特征:
步骤D22:将得到的特征F0、F1,按如下公式输入到特征重构模块,得到高分辨率的矢量图图像块和位图图像块输出:
步骤D23:将得到的特征F1,按如下公式输入到特征缩小模块,得到缩小后的矢量图图像输出:
5.一种基于卷积神经网络域适应的图像缩小系统,其特征在于,包括存储器、处理器以及存储于存储器上并能够在处理器上运行的计算机程序,当处理器运行该计算机程序时,实现如权利要求1-4任一项所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110244689.2A CN112927136B (zh) | 2021-03-05 | 2021-03-05 | 一种基于卷积神经网络域适应的图像缩小方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110244689.2A CN112927136B (zh) | 2021-03-05 | 2021-03-05 | 一种基于卷积神经网络域适应的图像缩小方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112927136A CN112927136A (zh) | 2021-06-08 |
CN112927136B true CN112927136B (zh) | 2022-05-10 |
Family
ID=76173448
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110244689.2A Active CN112927136B (zh) | 2021-03-05 | 2021-03-05 | 一种基于卷积神经网络域适应的图像缩小方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112927136B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109961396A (zh) * | 2017-12-25 | 2019-07-02 | 中国科学院沈阳自动化研究所 | 一种基于卷积神经网络的图像超分辨率重建方法 |
CN111105352A (zh) * | 2019-12-16 | 2020-05-05 | 佛山科学技术学院 | 超分辨率图像重构方法、系统、计算机设备及存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10393842B1 (en) * | 2018-02-20 | 2019-08-27 | The Board Of Trustees Of The Leland Stanford Junior University | Highly-scalable image reconstruction using deep convolutional neural networks with bandpass filtering |
CN110147806B (zh) * | 2018-10-08 | 2023-04-07 | 腾讯科技(深圳)有限公司 | 图像描述模型的训练方法、装置及存储介质 |
CN110059744B (zh) * | 2019-04-16 | 2022-10-25 | 腾讯科技(深圳)有限公司 | 训练神经网络的方法、图像处理的方法、设备及存储介质 |
CN110363709A (zh) * | 2019-07-23 | 2019-10-22 | 腾讯科技(深圳)有限公司 | 一种图像处理方法、图像展示方法、模型训练方法及装置 |
CN111754403B (zh) * | 2020-06-15 | 2022-08-12 | 南京邮电大学 | 一种基于残差学习的图像超分辨率重构方法 |
CN111724306B (zh) * | 2020-06-19 | 2022-07-08 | 福州大学 | 一种基于卷积神经网络的图像缩小方法及系统 |
CN112015932A (zh) * | 2020-09-11 | 2020-12-01 | 深兰科技(上海)有限公司 | 一种基于神经网络的图片存储方法、介质及装置 |
CN112396588A (zh) * | 2020-11-23 | 2021-02-23 | 中国人民大学 | 一种基于对抗网络的眼底图像识别方法、系统及可读介质 |
-
2021
- 2021-03-05 CN CN202110244689.2A patent/CN112927136B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109961396A (zh) * | 2017-12-25 | 2019-07-02 | 中国科学院沈阳自动化研究所 | 一种基于卷积神经网络的图像超分辨率重建方法 |
CN111105352A (zh) * | 2019-12-16 | 2020-05-05 | 佛山科学技术学院 | 超分辨率图像重构方法、系统、计算机设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112927136A (zh) | 2021-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111798400B (zh) | 基于生成对抗网络的无参考低光照图像增强方法及系统 | |
Baldassarre et al. | Deep koalarization: Image colorization using cnns and inception-resnet-v2 | |
CN109087273B (zh) | 基于增强的神经网络的图像复原方法、存储介质及系统 | |
CN112801901A (zh) | 基于分块多尺度卷积神经网络的图像去模糊算法 | |
CN110517329A (zh) | 一种基于语义分析的深度学习图像压缩方法 | |
CN109949222B (zh) | 基于语义图的图像超分辨率重建方法 | |
CN111986075B (zh) | 一种目标边缘清晰化的风格迁移方法 | |
CN112950471A (zh) | 视频超分处理方法、装置、超分辨率重建模型、介质 | |
US11348203B2 (en) | Image generation using subscaling and depth up-scaling | |
CN110717868A (zh) | 视频高动态范围反色调映射模型构建、映射方法及装置 | |
CN113392711A (zh) | 一种基于高层语义与噪声抑制的烟雾语义分割方法及系统 | |
CN111986132A (zh) | 一种基于DLatLRR与VGG·Net的红外与可见光图像融合方法 | |
CN116205820A (zh) | 图像增强方法、目标识别方法、设备及介质 | |
CN112085655A (zh) | 一种基于密集残差注意面部先验网络的人脸超分辨率方法 | |
CN116580184A (zh) | 一种基于YOLOv7的轻量化模型 | |
Liu et al. | Facial image inpainting using multi-level generative network | |
CN111768466A (zh) | 图像填充方法、装置、设备及存储介质 | |
CN109993701B (zh) | 一种基于金字塔结构的深度图超分辨率重建的方法 | |
CN116168197A (zh) | 一种基于Transformer分割网络和正则化训练的图像分割方法 | |
CN112906800B (zh) | 基于图像组自适应的协同显著性检测方法 | |
CN111768326A (zh) | 一种基于gan扩增图像前景物体的高容量数据保护方法 | |
CN112686817B (zh) | 一种基于不确定性估计的图像补全方法 | |
CN102075283A (zh) | 一种信息隐写方法及装置 | |
CN111724306B (zh) | 一种基于卷积神经网络的图像缩小方法及系统 | |
CN112927136B (zh) | 一种基于卷积神经网络域适应的图像缩小方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |