CN112927136B - 一种基于卷积神经网络域适应的图像缩小方法及系统 - Google Patents

一种基于卷积神经网络域适应的图像缩小方法及系统 Download PDF

Info

Publication number
CN112927136B
CN112927136B CN202110244689.2A CN202110244689A CN112927136B CN 112927136 B CN112927136 B CN 112927136B CN 202110244689 A CN202110244689 A CN 202110244689A CN 112927136 B CN112927136 B CN 112927136B
Authority
CN
China
Prior art keywords
image
module
feature
reduction
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110244689.2A
Other languages
English (en)
Other versions
CN112927136A (zh
Inventor
潘昌琴
林涵阳
王力军
张生生
刘国辉
俞伟明
刘刚
陈钥琨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Start Dima Data Processing Co ltd
Original Assignee
Jiangsu Start Dima Data Processing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Start Dima Data Processing Co ltd filed Critical Jiangsu Start Dima Data Processing Co ltd
Priority to CN202110244689.2A priority Critical patent/CN112927136B/zh
Publication of CN112927136A publication Critical patent/CN112927136A/zh
Application granted granted Critical
Publication of CN112927136B publication Critical patent/CN112927136B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于卷积神经网络域适应的图像缩小方法及系统,该方法包括以下步骤:步骤S1:对原始高分辨率的矢量图图像和位图图像进行预处理,得到用于训练的矢量图图像块和位图图像块,组成图像块数据集;步骤S2:构建域适应模块与特征重构模块;步骤S3:构建特征缩小模块,结合域适应模块与特征重构模块,构成图像缩小网络;步骤S4:构建图像缩小网络的损失函数;步骤S5:使用图像块数据集训练图像缩小网络,得到训练好的图像缩小网络;步骤S6:将原始高分辨率的测试位图图像输入到训练好的图像缩小网络,经过域适应模块和特征缩小模块,预测其缩小后的图像。该方法及系统有利于提高图像缩小后小图的质量。

Description

一种基于卷积神经网络域适应的图像缩小方法及系统
技术领域
本发明属于图像和视频处理技术领域,具体涉及一种基于卷积神经网络域适应的图像缩小方法及系统。
背景技术
大数据时代,互联网上的图像无论是数量还是尺寸都呈爆炸式增长,这不可避免地对通信过程中的带宽以及图像存储所需要的硬件设备产生了极大的压力。在实际应用场景中,受限于网络传输速率以及硬件设备存储空间,往往不能完整地传输所有的图像,这些图像大多需要不同程度的压缩,无法呈现出纹理丰富、边缘锐利的清晰图像,导致用户观看图像的直观感受较差,也给用户对图像的后续处理带来了很大的困难。近年来移动互联网的发展更是增加了用户对图像质量的需求。
图像缩小算法的目的是在减小图像尺寸的情况下尽可能保留原始高分辨率图像的细节,生成高质量的低分辨率图像。图像缩小作为图像处理的一个关键性问题,目前已有大量的研究人员从事相关工作。
图像缩小已被广泛地运用到工程领域,目前图像缩小领域所使用的方法主要可以分为传统图像缩小方法和基于卷积神经网络的图像缩小方法。传统的图像缩小方法,包括基于插值的图像缩小算法、基于池化的图像缩小方法、基于先验的图像缩小方法等。这些方法或者性能一般或者耗时长且依赖于特定的图像先验。
近年来计算机硬件设备的发展也使基于卷积神经网络的方法在图形图像处理领域得到了普及,基于卷积神经网络的图像缩小方法利用卷积神经网络强大的特征提取能力从图像中提取图像特征,再将特征转化为缩小后的图像。由于卷积神经网络的特性,需要特定的数据作为训练集训练网络,使网络能够收敛,输出质量稳定的目标图像。
由于在自然场景中,并不存在真实的小图标签,这也导致已有的基于卷积神经网络的图像缩小方法必须间接的使用图像超分辨率网络将小图放大到原始图像尺寸来完成图像缩小的端到端训练。而目前并没有工作表明,适合图像超分辨率的小图的直观视觉质量是可靠的,还需要进一步的探讨。因此基于卷积神经网络的图像缩小方法的研究仍处于起步阶段,需要更加高效的图像缩小网络以及更加明确的训练目标。
矢量图是目前商业领域常用的一种特殊图像,其特性在于可以实现无损缩放,这与图像缩小的目标十分契合。但矢量图通常由较为简单的曲线以及线段构成,纹理细节不如自然图像丰富,而对位图进行矢量化的操作也会使得位图图像丢失细节,出现颜色失真、图像纹理消失等问题,这也使得使用矢量图作为训练数据训练得到的图像缩小卷积神经网络输出的图像与自然图像仍有一定的差距。
因此,在发挥矢量图无损缩放特点的同时使其能够训练出符合自然图像分布的图像缩小卷积神经网络是一个值得进一步探究的问题。
发明内容
本发明的目的在于提供一种基于卷积神经网络域适应的图像缩小方法及系统,该方法及系统有利于提高图像缩小后小图的质量。
为实现上述目的,本发明采用的技术方案是:一种基于卷积神经网络域适应的图像缩小方法,包括以下步骤:
步骤S1:对原始高分辨率的矢量图图像和位图图像进行预处理,得到用于训练的矢量图图像块和位图图像块,组成图像块数据集;
步骤S2:构建域适应模块与特征重构模块;
步骤S3:构建特征缩小模块,结合域适应模块与特征重构模块,构成图像缩小网络;
步骤S4:构建图像缩小网络的损失函数;
步骤S5:使用图像块数据集训练图像缩小网络,得到训练好的图像缩小网络;
步骤S6:将原始高分辨率的测试位图图像输入到训练好的图像缩小网络,经过域适应模块和特征缩小模块,预测其缩小后的图像。
进一步地,所述步骤S1中,将原始高分辨率的矢量图图像和位图图像进行无重叠的切块,得到初始的矢量图图像块和位图图像块,然后将得到的初始矢量图图像块和位图图像块进行旋转和翻转,得到用于训练的矢量图图像块和位图图像块,组成图像块数据集。
进一步地,所述步骤S2具体包括以下步骤:
步骤A1:构建域适应模块,包含三个卷积层和三个ReLU线性激活函数,其表达式如下:
Figure BDA0002963640000000021
式中,FDA(·)为域适应模块,
Figure BDA0002963640000000031
为输入域适应模块的高分辨率图像块,wi、bi分别为域适应模块中第i层卷积层采用的卷积核的权重和偏置,ReLU为线性激活函数;
步骤A2:构建特征重构模块,包含三个卷积层和三个ReLU线性激活函数,其表达式如下:
Freconstruct(Fin)=ReLU(w3(ReLU(w2(ReLU(w1(Fi)+b1))+b2))+b3)
式中,Freconstruct(·)为特征重构模块,Fin为输入特征重构模块的特征,是高分辨率图像块输入域适应模块得到的输出,对于输入的高分辨率图像块
Figure BDA0002963640000000032
wi、bi分别为特征重构模块中第i层卷积层采用的卷积核的权重和偏置。
进一步地,所述步骤S3具体包括以下步骤:
步骤B1:构建特征缩小模块Ffeature_down(·),所述特征缩小模块由密集连接模块、残差模块以及通道注意力模块构成;
首先,计算密集连接模块的输出,所述密集连接模块包含k个卷积层,其表达式如下:
Figure BDA0002963640000000033
式中,Hi(·)表示密集连接模块中第i个卷积层的输出,Fin为输入特征缩小模块的特征,
Figure BDA0002963640000000034
表示按照通道拼接特征操作,wi、bi分别为密集连接模块中第i层卷积层采用的卷积核的权重和偏置;
然后,计算残差模块的输出,所述残差模块包含两个卷积层和两个ReLU线性激活函数,其表达式如下:
Fres(Fin)=ReLU(w2(ReLU(w1(Fin)+b1))+b2)
式中,Fres(·)为残差模块的输出,wi、bi分别为残差模块中第i层卷积层采用的卷积核的权重和偏置;
而后,计算通道注意力模块的输出,其表达式如下:
Figure BDA0002963640000000035
式中,Fchannel(·)为通道注意力模块的输出,Ψchannel(·)为通道注意力模块,k为密集连接模块中卷积层的个数;
最后,通过一个卷积层计算特征缩小模块的输出:
Figure BDA0002963640000000041
式中,ILR为特征缩小模块的低分辨率图像块输出,w1和b1为所述卷积层中采用的卷积核的权重和偏置;
步骤B2:结合特征缩小模块、域适应模块与特征重构模块,构成图像缩小网络。
进一步地,所述步骤S4具体包括以下步骤:
步骤C1:构建位图重构损失Lbitmap_reconstruct,其表达式如下:
Figure BDA0002963640000000042
式中,·1为1范数,则
Figure BDA0002963640000000043
为所述图像缩小网络输出预测的特征重构结果图像块,
Figure BDA0002963640000000044
为输入网络的高分辨率位图图像块,i表示第i个图像块;
步骤C2:构建矢量图重构损失Lsvg_reconstruct,其表达式如下:
Figure BDA0002963640000000045
式中,
Figure BDA0002963640000000046
为输入网络的高分辨率矢量图图像块;
步骤C3:构建特征缩小损失Lfeature_down,其表达式如下:
Figure BDA0002963640000000047
其中,
Figure BDA0002963640000000048
分别表示特征缩小模块输出的矢量图小图图像块与网络输入的高分辨率矢量图图像块经过自适应池化和VGG16网络后提取到的特征,其表达式如下:
Figure BDA0002963640000000049
Figure BDA00029636400000000410
式中,VGG163表示VGG16网络的前三层;adaptivepool(,)表示自适应池化模块,第一个参数为目标池化尺寸,第二个参数为输入的特征,size(·)表示图像的尺寸,包括高度和宽度;
步骤C4:构建域适应损失Ldomain,其表达式如下:
Figure BDA0002963640000000051
式中,
Figure BDA0002963640000000052
表示核函数,
Figure BDA0002963640000000053
表示H范数;
步骤C5:所述图像缩小网络的目标损失函数为:
Figure BDA0002963640000000054
式中Ldomain_down为目标函数值,Lbitmap_reconstruct为位图重构损失、Lsvg_reconstruct为矢量图重构损失、Lfeature_down为特征缩小损失,Ldomain为域适应损失,α、β、γ、
Figure BDA0002963640000000055
分别为损失的参数。
进一步地,所述步骤S5具体包括以下步骤:
步骤D1:将用于训练的矢量图图像块和位图图像块分别随机分成一个以上的批次,每个批次分别包含N个图像块;
步骤D2:将每个批次的矢量图图像块和位图图像块分别输入到图像缩小网络,得到各个位图图像块和矢量图图像块的特征重构结果以及各个矢量图图像块的图像缩小预测结果;
步骤D3:根据图像缩小网络的目标损失函数Ldomain_down,利用反向传播方法计算所述图像缩小网络中各参数的梯度,并利用随机梯度下降方法更新参数;
步骤D4:以批次为单位重复进行上述步骤直至得到的损失函数值收敛到预设的阈值或达到迭代次数阈值,保存网络参数,完成图像缩小网络的训练过程。
进一步地,所述步骤D2具体包括以下步骤:
步骤D21:将高分辨率图像块输入到域适应模块,按如下公式提取图像特征:
Figure BDA0002963640000000056
Figure BDA0002963640000000057
式中,FDA(·)表示域适应模块,F0为经过域适应模块提取后的位图特征,F1为经过域适应模块提取后的矢量图特征,
Figure BDA0002963640000000061
表示第i个高分辨率位图图像块,
Figure BDA0002963640000000062
表示第i个高分辨率矢量图图像块;
步骤D22:将得到的特征F0、F1,按如下公式输入到特征重构模块,得到高分辨率的矢量图图像块和位图图像块输出:
Figure BDA0002963640000000063
Figure BDA0002963640000000064
式中,Freconstruct(·)为特征重构模块,
Figure BDA0002963640000000065
表示特征重构输出的第i个高分辨率位图图像块,
Figure BDA0002963640000000066
表示特征重构输出的第i个高分辨率矢量图图像块:
步骤D23:将得到的特征F1,按如下公式输入到特征缩小模块,得到缩小后的矢量图图像输出:
Figure BDA0002963640000000067
式中,
Figure BDA0002963640000000068
表示特征缩小模块输出的低分辨率矢量图图像块,Ffeature_down(·)表示特征缩小模块。
本发明还提供了一种基于卷积神经网络域适应的图像缩小系统,包括存储器、处理器以及存储于存储器上并能够在处理器上运行的计算机程序,当处理器运行该计算机程序时,实现所述的方法步骤。
与现有技术相比,本发明具有以下有益效果:本发明将高分辨率矢量图与位图训练图像块作为输入,利用域适应模块提取不同分布域图像之间的共性特征,然后使用特征缩小模块对共性特征进行缩小,转化为缩小后的图像输出,使得网络在学习到矢量图图像无损缩放的特点的同时,也学习到位图图像细节丰富的优势,具有较高的图像缩小性能。本发明针对图像缩小问题构建了一个独立的图像缩小卷积神经网络,能够在保证缩小后图像质量的同时较为快速地完成图像缩小操作,具有较高的使用价值。
附图说明
图1为本发明实施例的方法实现流程示意图。
图2为本发明实施例的模型架构图。
图3为本发明实施例中特征缩小模块的结构示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出,以下详细说明都是示例性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示,本实施例提供了一种基于卷积神经网络域适应的图像缩小方法,包括以下步骤:
步骤S1:对原始高分辨率的矢量图图像和位图图像进行预处理,得到用于训练的矢量图图像块和位图图像块,组成图像块数据集。
步骤S2:构建域适应模块与特征重构模块。
步骤S3:构建特征缩小模块,结合域适应模块与特征重构模块,构成图像缩小网络。
步骤S4:构建图像缩小网络的损失函数。
步骤S5:使用图像块数据集训练图像缩小网络,得到训练好的图像缩小网络。
步骤S6:将原始高分辨率的测试位图图像输入到训练好的图像缩小网络,经过域适应模块和特征缩小模块,预测其缩小后的图像。
本发明使用域适应模块,将矢量图图像与位图图像提取到同一特征空间,并利用特征缩小模块有效地将共性特征信息转化为缩小后的图像输出,充分发挥卷积神经网络的拟合能力,对比现有的图像缩小模型,该方法能显著提高图像缩小的性能。
所述步骤S1中,将原始高分辨率的矢量图图像和位图图像进行无重叠的切块,得到初始的矢量图图像块和位图图像块,然后将得到的初始矢量图图像块和位图图像块进行旋转和翻转,得到用于训练的矢量图图像块和位图图像块,组成图像块数据集。
在本实施例中,所述步骤S2具体包括以下步骤:
步骤A1:构建域适应模块,包含三个卷积层和三个ReLU线性激活函数,其表达式如下:
Figure BDA0002963640000000081
式中,FDA(·)为域适应模块,
Figure BDA0002963640000000082
为输入域适应模块的高分辨率图像块,wi、bi分别为域适应模块中第i层卷积层采用的卷积核的权重和偏置,ReLU为线性激活函数。
步骤A2:构建特征重构模块,包含三个卷积层和三个ReLU线性激活函数,其表达式如下:
Freconstruct(Fin)=ReLU(w3(ReLU(w2(ReLU(w1(Fi)+b1))+b2))+b3)
式中,Freconstruct(·)为特征重构模块,Fin为输入特征重构模块的特征,是高分辨率图像块输入域适应模块得到的输出,对于输入的高分辨率图像块
Figure BDA0002963640000000083
wi、bi分别为特征重构模块中第i层卷积层采用的卷积核的权重和偏置。
在本实施例中,所述步骤S3具体包括以下步骤:
步骤B1:构建特征缩小模块Ffeature_down(·),如图3所示,所述特征缩小模块由密集连接模块、残差模块以及通道注意力模块构成。
首先,计算密集连接模块的输出,所述密集连接模块包含k个卷积层,其表达式如下:
Figure BDA0002963640000000084
式中,Hi(·)表示密集连接模块中第i个卷积层的输出,Fin为输入特征缩小模块的特征,
Figure BDA0002963640000000085
表示按照通道拼接特征操作,wi、bi分别为密集连接模块中第i层卷积层采用的卷积核的权重和偏置。
然后,计算残差模块的输出,所述残差模块包含两个卷积层和两个ReLU线性激活函数,其表达式如下:
Fres(Fin)=ReLU(w2(ReLU(w1(Fin)+b1))+b2)
式中,Fres(·)为残差模块的输出,wi、bi分别为残差模块中第i层卷积层采用的卷积核的权重和偏置。
而后,计算通道注意力模块的输出,其表达式如下:
Figure BDA0002963640000000086
式中,Fchannel(·)为通道注意力模块的输出,Ψchannel(·)为通道注意力模块,k为密集连接模块中卷积层的个数。
最后,通过一个卷积层计算特征缩小模块的输出:
Figure BDA0002963640000000091
式中,ILR为特征缩小模块的低分辨率图像块输出,w1和b1为所述卷积层中采用的卷积核的权重和偏置。
步骤B2:结合特征缩小模块、域适应模块与特征重构模块,构成如图2所示的图像缩小网络。
在本实施例中,所述步骤S4具体包括以下步骤:
步骤C1:构建位图重构损失Lbitmap_reconstruct,其表达式如下:
Figure BDA0002963640000000092
式中,||·||1为1范数,则
Figure BDA0002963640000000093
为所述图像缩小网络输出预测的特征重构结果图像块,
Figure BDA0002963640000000094
为输入网络的高分辨率位图图像块,i表示第i个图像块。
步骤C2:构建矢量图重构损失Lsvg_reconstruct,其表达式如下:
Figure BDA0002963640000000095
式中,
Figure BDA0002963640000000096
为输入网络的高分辨率矢量图图像块。
步骤C3:构建特征缩小损失Lfeature_down,其表达式如下:
Figure BDA0002963640000000097
其中,
Figure BDA0002963640000000098
分别表示特征缩小模块输出的矢量图小图图像块与网络输入的高分辨率矢量图图像块经过自适应池化和VGG16网络后提取到的特征,其表达式如下:
Figure BDA0002963640000000099
Figure BDA0002963640000000101
式中,VGG163表示VGG16网络的前三层。adaptivepool(,)表示自适应池化模块,第一个参数为目标池化尺寸,第二个参数为输入的特征,size(·)表示图像的尺寸,包括高度和宽度。
步骤C4:构建域适应损失Ldomain,其表达式如下:
Figure BDA0002963640000000102
式中,
Figure BDA0002963640000000103
表示核函数,
Figure BDA0002963640000000104
表示H范数。
步骤C5:所述图像缩小网络的目标损失函数为:
Figure BDA0002963640000000105
式中Ldomain_down为目标函数值,Lbitmap_reconstruct为位图重构损失、Lsvg_reconstruct为矢量图重构损失、Lfeature_down为特征缩小损失,Ldomain为域适应损失,α、β、γ、
Figure BDA0002963640000000106
分别为损失的参数。
在本实施例中,所述步骤S5具体包括以下步骤:
步骤D1:将用于训练的矢量图图像块和位图图像块分别随机分成一个以上的批次,每个批次分别包含N个图像块。
步骤D2:将每个批次的矢量图图像块和位图图像块分别输入到图像缩小网络,得到各个位图图像块和矢量图图像块的特征重构结果以及各个矢量图图像块的图像缩小预测结果。其具体包括以下步骤:
步骤D21:将高分辨率图像块输入到域适应模块,按如下公式提取图像特征:
Figure BDA0002963640000000107
Figure BDA0002963640000000108
式中,FDA(·)表示域适应模块,F0为经过域适应模块提取后的位图特征,F1为经过域适应模块提取后的矢量图特征,
Figure BDA0002963640000000109
表示第i个高分辨率位图图像块,
Figure BDA00029636400000001010
表示第i个高分辨率矢量图图像块。
步骤D22:将得到的特征F0、F1,按如下公式输入到特征重构模块,得到高分辨率的矢量图图像块和位图图像块输出:
Figure BDA0002963640000000111
Figure BDA0002963640000000112
式中,Freconstruct(·)为特征重构模块,
Figure BDA0002963640000000113
表示特征重构输出的第i个高分辨率位图图像块,
Figure BDA0002963640000000114
表示特征重构输出的第i个高分辨率矢量图图像块:
步骤D23:将得到的特征F1,按如下公式输入到特征缩小模块,得到缩小后的矢量图图像输出:
Figure BDA0002963640000000115
式中,
Figure BDA0002963640000000116
表示特征缩小模块输出的低分辨率矢量图图像块,Ffeature_down(·)表示特征缩小模块。
步骤D3:根据图像缩小网络的目标损失函数Ldomain_down,利用反向传播方法计算所述图像缩小网络中各参数的梯度,并利用随机梯度下降方法更新参数。
步骤D4:以批次为单位重复进行上述步骤直至得到的损失函数值收敛到预设的阈值或达到迭代次数阈值,保存网络参数,完成图像缩小网络的训练过程。
本实施例还提供了一种基于卷积神经网络域适应的图像缩小系统,包括存储器、处理器以及存储于存储器上并能够在处理器上运行的计算机程序,当处理器运行该计算机程序时,实现所述的方法步骤。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述,仅是本发明的较佳实施例而已,并非是对本发明作其它形式的限制,任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型,仍属于本发明技术方案的保护范围。

Claims (5)

1.一种基于卷积神经网络域适应的图像缩小方法,其特征在于,包括以下步骤:
步骤S1:对原始高分辨率的矢量图图像和位图图像进行预处理,得到用于训练的矢量图图像块和位图图像块,组成图像块数据集;
步骤S2:构建域适应模块与特征重构模块;
步骤S3:构建特征缩小模块,结合域适应模块与特征重构模块,构成图像缩小网络;
步骤S4:构建图像缩小网络的损失函数;
步骤S5:使用图像块数据集训练图像缩小网络,得到训练好的图像缩小网络;
步骤S6:将原始高分辨率的测试位图图像输入到训练好的图像缩小网络,经过域适应模块和特征缩小模块,预测其缩小后的图像;
所述步骤S2具体包括以下步骤:
步骤A1:构建域适应模块,包含三个卷积层和三个ReLU线性激活函数,其表达式如下:
Figure FDA0003484130650000011
式中,FDA(·)为域适应模块,
Figure FDA0003484130650000012
为输入域适应模块的高分辨率图像块,w1i、b1i分别为域适应模块中第i层卷积层采用的卷积核的权重和偏置,ReLU为线性激活函数;
步骤A2:构建特征重构模块,包含三个卷积层和三个ReLU线性激活函数,其表达式如下:
Freconstruct(Fin)=ReLU(w23(ReLU(w22(ReLU(w21(Fi)+b21))+b22))+b23)
式中,Freconstruct(·)为特征重构模块,Fin为输入特征重构模块的特征,是高分辨率图像块输入域适应模块得到的输出,对于输入的高分辨率图像块
Figure FDA0003484130650000013
w2i、b2i分别为特征重构模块中第i层卷积层采用的卷积核的权重和偏置;
所述步骤S3具体包括以下步骤:
步骤B1:构建特征缩小模块Ffeature_down(·),所述特征缩小模块由密集连接模块、残差模块以及通道注意力模块构成;
首先,计算密集连接模块的输出,所述密集连接模块包含k个卷积层,其表达式如下:
Figure FDA0003484130650000021
式中,Hi(·)表示密集连接模块中第i个卷积层的输出,Fin为输入特征缩小模块的特征,
Figure FDA0003484130650000022
表示按照通道拼接特征操作,w3i、b3i分别为密集连接模块中第i层卷积层采用的卷积核的权重和偏置;
然后,计算残差模块的输出,所述残差模块包含两个卷积层和两个ReLU线性激活函数,其表达式如下:
Fres(Fin)=ReLU(w42(ReLU(w41(Fin)+b41))+b42)
式中,Fres(·)为残差模块的输出,w4i、b4i分别为残差模块中第i层卷积层采用的卷积核的权重和偏置;
而后,计算通道注意力模块的输出,其表达式如下:
Figure FDA0003484130650000023
式中,Fchannel(·)为通道注意力模块的输出,Ψchannel(·)为通道注意力模块,k为密集连接模块中卷积层的个数;
最后,通过一个卷积层计算特征缩小模块的输出:
Figure FDA0003484130650000024
式中,ILR为特征缩小模块的低分辨率图像块输出,w1和b1为所述卷积层中采用的卷积核的权重和偏置;
步骤B2:结合特征缩小模块、域适应模块与特征重构模块,构成图像缩小网络;
所述步骤S4具体包括以下步骤:
步骤C1:构建位图重构损失Lbitmap_reconstruct,其表达式如下:
Figure FDA0003484130650000025
式中,||·||1为1范数,则
Figure FDA0003484130650000026
为所述图像缩小网络输出预测的特征重构结果图像块,
Figure FDA0003484130650000027
为输入网络的高分辨率位图图像块,i表示第i个图像块;
步骤C2:构建矢量图重构损失Lsvg_reconstruct,其表达式如下:
Figure FDA0003484130650000031
式中,
Figure FDA0003484130650000032
为输入网络的高分辨率矢量图图像块;
步骤C3:构建特征缩小损失Lfeature_down,其表达式如下:
Figure FDA0003484130650000033
其中,
Figure FDA0003484130650000034
分别表示特征缩小模块输出的矢量图小图图像块与网络输入的高分辨率矢量图图像块经过自适应池化和VGG16网络后提取到的特征,其表达式如下:
Figure FDA0003484130650000035
Figure FDA0003484130650000036
式中,VGG163表示VGG16网络的前三层;adaptivepool(,)表示自适应池化模块,第一个参数为目标池化尺寸,第二个参数为输入的特征,size(·)表示图像的尺寸,包括高度和宽度;
步骤C4:构建域适应损失Ldomain,其表达式如下:
Figure FDA0003484130650000037
式中,
Figure FDA0003484130650000038
表示核函数,
Figure FDA0003484130650000039
表示H范数;
步骤C5:所述图像缩小网络的目标损失函数为:
Figure FDA00034841306500000310
式中Ldomain_down为目标函数值,Lbitmap_reconstruct为位图重构损失、Lsvg_reconstruct为矢量图重构损失、Lfeature_down为特征缩小损失,Ldomain为域适应损失,α、β、γ、
Figure FDA00034841306500000311
分别为损失的参数。
2.根据权利要求1所述的一种基于卷积神经网络域适应的图像缩小方法,其特征在于,所述步骤S1中,将原始高分辨率的矢量图图像和位图图像进行无重叠的切块,得到初始的矢量图图像块和位图图像块,然后将得到的初始矢量图图像块和位图图像块进行旋转和翻转,得到用于训练的矢量图图像块和位图图像块,组成图像块数据集。
3.根据权利要求1所述的一种基于卷积神经网络域适应的图像缩小方法,其特征在于,所述步骤S5具体包括以下步骤:
步骤D1:将用于训练的矢量图图像块和位图图像块分别随机分成一个以上的批次,每个批次分别包含N个图像块;
步骤D2:将每个批次的矢量图图像块和位图图像块分别输入到图像缩小网络,得到各个位图图像块和矢量图图像块的特征重构结果以及各个矢量图图像块的图像缩小预测结果;
步骤D3:根据图像缩小网络的目标损失函数Ldomain_down,利用反向传播方法计算所述图像缩小网络中各参数的梯度,并利用随机梯度下降方法更新参数;
步骤D4:以批次为单位重复进行上述步骤直至得到的损失函数值收敛到预设的阈值或达到迭代次数阈值,保存网络参数,完成图像缩小网络的训练过程。
4.根据权利要求3所述的一种基于卷积神经网络域适应的图像缩小方法,其特征在于,所述步骤D2具体包括以下步骤:
步骤D21:将高分辨率图像块输入到域适应模块,按如下公式提取图像特征:
Figure FDA0003484130650000041
Figure FDA0003484130650000042
式中,FDA(·)表示域适应模块,F0为经过域适应模块提取后的位图特征,F1为经过域适应模块提取后的矢量图特征,
Figure FDA0003484130650000043
表示第i个高分辨率位图图像块,
Figure FDA0003484130650000044
表示第i个高分辨率矢量图图像块;
步骤D22:将得到的特征F0、F1,按如下公式输入到特征重构模块,得到高分辨率的矢量图图像块和位图图像块输出:
Figure FDA0003484130650000045
Figure FDA0003484130650000046
式中,Freconstruct(·)为特征重构模块,
Figure FDA0003484130650000047
表示特征重构输出的第i个高分辨率位图图像块,
Figure FDA0003484130650000051
表示特征重构输出的第i个高分辨率矢量图图像块:
步骤D23:将得到的特征F1,按如下公式输入到特征缩小模块,得到缩小后的矢量图图像输出:
Figure FDA0003484130650000052
式中,
Figure FDA0003484130650000053
表示特征缩小模块输出的低分辨率矢量图图像块,Ffeature_down(·)表示特征缩小模块。
5.一种基于卷积神经网络域适应的图像缩小系统,其特征在于,包括存储器、处理器以及存储于存储器上并能够在处理器上运行的计算机程序,当处理器运行该计算机程序时,实现如权利要求1-4任一项所述的方法步骤。
CN202110244689.2A 2021-03-05 2021-03-05 一种基于卷积神经网络域适应的图像缩小方法及系统 Active CN112927136B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110244689.2A CN112927136B (zh) 2021-03-05 2021-03-05 一种基于卷积神经网络域适应的图像缩小方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110244689.2A CN112927136B (zh) 2021-03-05 2021-03-05 一种基于卷积神经网络域适应的图像缩小方法及系统

Publications (2)

Publication Number Publication Date
CN112927136A CN112927136A (zh) 2021-06-08
CN112927136B true CN112927136B (zh) 2022-05-10

Family

ID=76173448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110244689.2A Active CN112927136B (zh) 2021-03-05 2021-03-05 一种基于卷积神经网络域适应的图像缩小方法及系统

Country Status (1)

Country Link
CN (1) CN112927136B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961396A (zh) * 2017-12-25 2019-07-02 中国科学院沈阳自动化研究所 一种基于卷积神经网络的图像超分辨率重建方法
CN111105352A (zh) * 2019-12-16 2020-05-05 佛山科学技术学院 超分辨率图像重构方法、系统、计算机设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10393842B1 (en) * 2018-02-20 2019-08-27 The Board Of Trustees Of The Leland Stanford Junior University Highly-scalable image reconstruction using deep convolutional neural networks with bandpass filtering
CN110147806B (zh) * 2018-10-08 2023-04-07 腾讯科技(深圳)有限公司 图像描述模型的训练方法、装置及存储介质
CN110059744B (zh) * 2019-04-16 2022-10-25 腾讯科技(深圳)有限公司 训练神经网络的方法、图像处理的方法、设备及存储介质
CN110363709A (zh) * 2019-07-23 2019-10-22 腾讯科技(深圳)有限公司 一种图像处理方法、图像展示方法、模型训练方法及装置
CN111754403B (zh) * 2020-06-15 2022-08-12 南京邮电大学 一种基于残差学习的图像超分辨率重构方法
CN111724306B (zh) * 2020-06-19 2022-07-08 福州大学 一种基于卷积神经网络的图像缩小方法及系统
CN112015932A (zh) * 2020-09-11 2020-12-01 深兰科技(上海)有限公司 一种基于神经网络的图片存储方法、介质及装置
CN112396588A (zh) * 2020-11-23 2021-02-23 中国人民大学 一种基于对抗网络的眼底图像识别方法、系统及可读介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961396A (zh) * 2017-12-25 2019-07-02 中国科学院沈阳自动化研究所 一种基于卷积神经网络的图像超分辨率重建方法
CN111105352A (zh) * 2019-12-16 2020-05-05 佛山科学技术学院 超分辨率图像重构方法、系统、计算机设备及存储介质

Also Published As

Publication number Publication date
CN112927136A (zh) 2021-06-08

Similar Documents

Publication Publication Date Title
CN111798400B (zh) 基于生成对抗网络的无参考低光照图像增强方法及系统
Baldassarre et al. Deep koalarization: Image colorization using cnns and inception-resnet-v2
CN109087273B (zh) 基于增强的神经网络的图像复原方法、存储介质及系统
CN112801901A (zh) 基于分块多尺度卷积神经网络的图像去模糊算法
CN110517329A (zh) 一种基于语义分析的深度学习图像压缩方法
CN109949222B (zh) 基于语义图的图像超分辨率重建方法
CN111986075B (zh) 一种目标边缘清晰化的风格迁移方法
CN112950471A (zh) 视频超分处理方法、装置、超分辨率重建模型、介质
US11348203B2 (en) Image generation using subscaling and depth up-scaling
CN110717868A (zh) 视频高动态范围反色调映射模型构建、映射方法及装置
CN113392711A (zh) 一种基于高层语义与噪声抑制的烟雾语义分割方法及系统
CN111986132A (zh) 一种基于DLatLRR与VGG·Net的红外与可见光图像融合方法
CN116205820A (zh) 图像增强方法、目标识别方法、设备及介质
CN112085655A (zh) 一种基于密集残差注意面部先验网络的人脸超分辨率方法
CN116580184A (zh) 一种基于YOLOv7的轻量化模型
Liu et al. Facial image inpainting using multi-level generative network
CN111768466A (zh) 图像填充方法、装置、设备及存储介质
CN109993701B (zh) 一种基于金字塔结构的深度图超分辨率重建的方法
CN116168197A (zh) 一种基于Transformer分割网络和正则化训练的图像分割方法
CN112906800B (zh) 基于图像组自适应的协同显著性检测方法
CN111768326A (zh) 一种基于gan扩增图像前景物体的高容量数据保护方法
CN112686817B (zh) 一种基于不确定性估计的图像补全方法
CN102075283A (zh) 一种信息隐写方法及装置
CN111724306B (zh) 一种基于卷积神经网络的图像缩小方法及系统
CN112927136B (zh) 一种基于卷积神经网络域适应的图像缩小方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant