CN111932454B - 基于改进的二元闭环神经网络的logo图案重建方法 - Google Patents
基于改进的二元闭环神经网络的logo图案重建方法 Download PDFInfo
- Publication number
- CN111932454B CN111932454B CN202010710204.XA CN202010710204A CN111932454B CN 111932454 B CN111932454 B CN 111932454B CN 202010710204 A CN202010710204 A CN 202010710204A CN 111932454 B CN111932454 B CN 111932454B
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- pixel
- formula
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 23
- 238000013507 mapping Methods 0.000 claims abstract description 46
- 238000004806 packaging method and process Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 45
- 238000012549 training Methods 0.000 claims description 41
- 238000005070 sampling Methods 0.000 claims description 38
- 238000012545 processing Methods 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 16
- 238000011176 pooling Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000008447 perception Effects 0.000 claims description 12
- 230000003213 activating effect Effects 0.000 claims description 6
- 239000011541 reaction mixture Substances 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000002156 mixing Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 2
- 230000004913 activation Effects 0.000 claims description 2
- 230000001419 dependent effect Effects 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 238000003708 edge detection Methods 0.000 abstract description 3
- 230000015556 catabolic process Effects 0.000 abstract description 2
- 238000006731 degradation reaction Methods 0.000 abstract description 2
- 238000012938 design process Methods 0.000 abstract description 2
- 230000010076 replication Effects 0.000 abstract description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开基于改进的二元闭环神经网络的LOGO图案重建方法。本发明为解决LOGO图案作为一种必要元素在印刷与包装设计过程中由于不断复制传播造成的分辨率降低以及退化模型未知(可能的映射空间过多)的问题，而为了解决这一问题，本发明提出的方法将现存的一元映射网络(RCAN)改进为二元回归映射网络(BCLNN)，并将边缘检测的方法加入其中，使得模型能够对于LOGO图案进行更好的重建。
Description
技术领域
本发明涉及平面单图像重建领域，具体涉及一种基于改进的二元闭环网络的LOGO图案超分辨率重建方法。
背景技术
LOGO图案作为一种包装设计的必要素材在当今社会得到了广泛的应用。LOGO图案在为人们进行信息传播和产品推广的同时，由于在传播过程中的受到不可控因素的影响，其自身的质量水平会随之降低，进而影响到信息传播的完整性与美观度，特别随着印刷与包装设计技术的发展，LOGO图案经过不断的复制传播，其最初具有的分辨率与清晰度大幅降低，造成使用上的不便。对于部分具有较高价值的LOGO图案，由于分辨率与清晰程度的限制导致其无法再次使用，是非常可惜的，因此，在使用LOGO图案进行信息传播的同时，通过技术手段对LOGO图案进行重建，提升图案本身的分辨率与清晰度是及其必要的。
发明内容
本发明的目的是针对现有技术的不足，提供一种基于改进的二元闭环神经网络的LOGO图案超分辨率重建方法，旨在解决LOGO图案作为一种必要元素在印刷与包装设计过程中由于不断复制传播造成的分辨率降低以及退化模型未知(可能的映射空间过多)的问题，而为了解决这一问题，本发明提出的方法将现存的一元映射网络(RCAN)改进为二元回归映射网络(BCLNN)，并将边缘检测的方法加入其中，使得模型能够对于LOGO图案进行更好的重建。
本发明方法的技术方案分为基于改进的二元闭环神经网络的超分辨率模型构建训练以及LOGO图案的复原重建两个过程进行，具体内容如下：
步骤一、构建二元闭环神经网络的训练集
获取若干分辨率为W×H的原始高分辨率LOGO图案，进行两次图像缩放变换，得到尺寸为W×H的低分辨率图像，去噪后作为训练集的输入项；对应去噪后原始高分辨率LOGO图案作为训练集的输出项；
步骤二、构建二元闭环神经网络：
2-1构建二元闭环神经网络的原始映射：
原始映射依次由下采样层、卷积层、残差通道注意力模块、亚像素卷积重构层、转换色彩空间层、图像边缘计算层、图像感知损失计算层、图像边缘损失计算层构成；其中残差通道注意力块主要由池化层，上采样层，下采样层以及混合层构成；
2-2构建二元闭环神经网络的回归映射：
回归映射依次由下采样层、卷积层、残差通道注意力模块、亚像素卷积重构层、图像感知损失计算层构成；
步骤三、利用训练集进行BCLNN模型的训练
步骤四、LOGO图案的复原及重建
4-1将待重建LOGO图像使用DATALOADER函数导入PYTHON环境中；
4-2加载已经训练好的对应的BCLNN模型，将上述待重建LOGO图像作为输入图像输入模型中，复原重建得到重建图像。
本发明方法针对LOGO图像退化后的振铃现象与现实应用只有低分辨率LOGO图像的问题，结合边缘检测与深度学习回归网络的形式用基于二元闭环神经网络的超分辨率重建方法对低分辨率的LOGO图案进行高分辨率重建，解决了某些平面图案在传播过程中因分辨率不够而造成的使用困难的问题。该方法易于实现，具有较好的重建效果。
附图说明
图1为本发明的方法流程图。
图2为本发明的深度学习网络模型构建图；
图3为本发明的实施例的实施效果示例图；其中(a)为原图，(b)为RCAN模型重建后图像，(c)为本发明重建后图像。
具体实施方式
下面结合附图和具体实施例对本发明做进一步的分析说明。
基于改进的二元闭环神经网络的超分辨率模型构建训练以及LOGO图案的复原重建两个过程进行，如图1具体内容如下：
步骤一、模型训练的数据收集：
1.1收集n(n>350)张高分辨率LOGO图案，高分辨率尺寸为W×H，图片均为纯色背景，并标记为A组；
1.2将1.1中收集的这些图片进行图像缩放变换，得到分辨率为1/3*W×1/3H的低分辨率图像,并标记为B组；其中图像缩放变换采用双三次插值方法，采用双三次内插基函数作为基函数，双三次插值计算按公式(1)进行：
f(i+u,j+v)＝ABC (1)
其中，A、B、C均为矩阵，形式如下：
A＝[s(v+1) s(v) s(1-v) s(2-v)] (2)
(i,j):原图像的像素坐标，其中，i为横坐标值，j为纵坐标值，i、j均为非负整数；
f(i,j):原图像的像素灰度值；
(i+u,j+v):缩放变换后新图像的像素坐标；
f(i+u,j+v):缩放变换后新图像的像素灰度值；
u：沿横坐标方向，原图像像素坐标的横坐标i离新图像像素坐标(i+u,j+v)的距离；
v：沿纵坐标方向，原图像像素坐标的纵坐标j离新图像的像素坐标(i+u,j+v)的距离；
|x|：图像像素沿x方向离原点的距离；
s(x)：sin(π·x)/x的逼近多项式，为插值核；
步骤二.数据集的预处理，生成模型的训练集：
2.1将步骤1.2低分辨率图像进行二次图像缩放变换，得到尺寸为W×H的图像；其中图像缩放变换采用双三次插值方法，采用双三次内插基函数作为基函数，双三次插值计算按公式(1)进行：
2.2将步骤2.1二次缩放变换后B组图像作为训练集的输入集合(未处理)，步骤1.1A组图像作为训练集的输出集合(未处理)，输入集合与输出集合组成完整的训练集。
2.3将步骤2.2中得到的训练集中图像进行中值滤波处理，得到去噪图像。具体如下：
a)将图像的R,G,B三通道分离；
b)对每个通道中的每个像素，把其邻域中的像素按灰度级进行排序，选择该组的中间值作为这个像素的输出值，通常选择3×3窗口大小的邻域；
c)将计算中值后的三个通道整合，输出去噪后图像；
上述由matlab语言编写实现；
2.4将步骤2.3中得到的去噪后图像作为二元闭环神经网络的训练集。
步骤三.如图2构建二元闭环神经网络：
3.1构建二元闭环神经网络的原始映射：
3.1.1构建原始映射的第一层，对训练集中图像进行下采样，该操作按公式(6)进行：
公式(6)中，
Y:下采样后的图像；
F1：下采样函数；
Xi：输入图像
i：当前图像的序号；
k：图像的总数量；
S：下采样的倍数；
3.1.2构建原始映射的第二层，将步骤3.1.1下采样后的图像进行公式(7)卷积操作，然后用公式(8)激活函数激活，提取图像的特征；
F2(Y)＝MAX(0,w2*F1(Y)+B2) (7)
公式(7)中，
F2：卷积操作的处理函数；
Y：步骤3.1.1下采样后的图像；
w2：大小为n1*f2*f2*n2的滤波器，其中f2是滤波器的空间大小，n1、n2是滤波器的数量；
B2：n2维向量；
公式(8)中，
P：激活处理后的图像特征；
yi,j：卷积操作后图像在(i，j)这一点的像素值；
ai.j：(1，+∞)区间内的固定参数；
3.1.3构建原始映射的第三层：
将3.1.2处理后图像特征按通道赋予不同的权值，该过程通过残差通道注意力块实现；残差通道注意力块主要由池化层，上采样层，下采样层以及混合层构成，分别按照公式(9)-(12)进行；
公式(9)中，
P1:池化层处理后的图像特征；
HGP：池化层函数；
P(i,j)：3.1.2处理后图像；
H：3.1.2处理后图像的横坐标总像素值；
W：3.1.2处理后图像的纵坐标总像素值；
公式(10)中，
P2：上采样处理后的图像特征；
UP：上采样函数；
P1：池化层处理后图像特征；
W：尺寸为1*1的卷积核；
公式(11)中，
P3：下采样处理后的图像特征；
P2：上采样层处理后图像特征；
DOWN：下采样函数；
W1：尺寸为1*1的卷积核；
S＝f(WU×WD×HGP(P3)) (12)
公式(12)中，
P3：下采样层处理后图像特征；
S：图像经过混合后的新特征；
f：混合函数；
WU：上采样得到的图像特征的权重系数；
WD：下采样得到的图像特征的权重系数；
HGP：池化层函数；
3.1.4构建原始映射的第四层：
将步骤3.1.3中提取的图像新特征按像素洗牌的方式进行重构，该过程通过亚像素卷积的方式进行实现，按公式(13)进行：
QSR＝PS(WL×f1(S)+bL) (13)
公式(13)中：
QSR：重建出的高分辨率图像；
S；步骤3.1.3中提取的图像新特征；
f1(S)：亚像素卷积预处理函数；
PS：像素洗牌函数；
WL：像素洗牌对应的卷积核；
bL；函数相关的权重偏移值；
3.1.5构建原始映射的第五层：
将3.1.4中重建出的高分辨率图像以及2.4中训练集的A组图像从RGB色彩空间转化到YCbCr色彩空间，并将图像的Y通道保存，分别归为Y1与Y2，其中对图像从RGB色彩空间到YCbCr色彩空间的转化按公式(14)进行：
R＝1.164(Y-16)+1.793(CR-128)＝1.164Y+1.793CR-248.128；
G＝1.164(Y-16)-0.534(CR-128)-0.213(CB-128)＝1.164Y-0.213CB-0.534CR+76.992；
B＝1.164(Y-16)+2.115(CB-128)＝1.164Y+2.115CB-289.344；
(14)
公式(14)中，
R：图像中每个像素的红通道颜色值；
G：图像中每个像素的绿通道颜色值；
B：图像中每个像素的蓝通道颜色值；
Y：图像中每个像素的颜色明亮度和浓度；
Cb：图像中每个像素的颜色的蓝色浓度偏移量；
Cr：图像中每个像素的颜色的红色浓度偏移量；
3.1.6构建原始映射的第六层：
将3.1.5中得到的Y1与Y2分别通canny算子计算对应的边缘图像，归类为Y1-1与Y1-2，canny算子使用滤波器计算像素梯度按公式(15)进行：
公式(15)中，
GX：x方向上的卷积阵列；
GY：y方向上的卷积阵列；
G：是图像对应像素的梯度幅值；
3.1.7构建原始映射的第七层：
3.1.4中重建出的高分辨率图像与2.4中训练集的A组中对应的图像经过VGG19网络计算得到原始映射中的图像感知损失LP-1,LP-1按照公式(16)进行：
公式(16)中，
QSR：步骤3.1.4重建出的高分辨率图像；
S：步骤2.4真实的高分辨率图像；
F:VGG19网络模型；
M：重建出的高分辨率图像的通道数；
W：重建出的高分辨率图像的宽度数；
H：重建出的高分辨率图像的高度数；
3.1.8构建原始映射的第八层：
3.1.6中得到的Y1-1与Y1-2经过VGG19网络计算得到原始映射中的图像边缘损失LP-2，LP-2按照公式(16)进行。
3.2构建二元闭环神经网络的回归映射：
3.2.1构建回归映射的第一层：
对3.1.4中重建出的高分辨率图像进行下采样，该操作按公式(6)进行；
3.2.2构建回归映射的第二层：
将3.2.1中得到的图像进行卷积操作，然后用激活函数激活，提取图像的特征，该操作按公式(7)与(8)进行；
3.2.3构建回归映射的第三层：
将3.2.2中提取的图像特征按通道赋予不同的权值，该过程通过残差通道注意力块实现，残差通道注意力块主要由池化层，上采样层，下采样层以及混合层构成，分别按照公式(9)-(12)进行；
3.2.4构建回归映射的第四层：
将3.1.3中提取的图像新特征按像素洗牌的方式进行重构，该过程通过亚像素卷积的方式进行实现，按公式(13)进行；
3.2.5构建回归映射的第五层：
将3.2.4中得到的重构低分辨率图像经过VGG19网络计算得到回归映射中的图像感知损失LD,LD按照公式(16)进行；
3.3构建整个二元回归网络的损失函数，按照公式(17)进行：
L＝LP-1+LP-2+LD (17)
公式(17)中，
LP-1:原始映射中的图像感知损失；
LP-2：原始映射中的图像边缘损失；
LD：回归映射中的图像感知损失；
步骤四：BCLNN模型的训练
4.1使用基于PYTHON 3.6.5的JPUYTER NOTEBOOK进行模型训练，并配置pytorch相关环境；
4.2将步骤二中模型的训练集通过ImageFolder函数进行封装，并通过DataLoader函数进行导入；
4.3按照步骤三的网络结构进行网络模型的初始化；
4.4设置训练的基本参数与损失函数以及优化器，其中基本参数为
num_epochs＝15、batch_size＝245、learning_rate＝0.001；
4.5加载网络模型，并通过循环迭代不断的更新模型的相关参数；
4.6通过torch.save函数保存训练好的模型为BCLNN.pt；
步骤五.LOGO图案的复原及重建
5.1将待重建LOGO图像使用DATALOADER函数导入PYTHON环境中；
5.2加载已经训练好的对应的BCLNN模型，将5.1中的待重建LOGO图像作为输入图像输入模型中进行复原重建得到重建图像。
重建结果如图3所示，(a)为原图像，(b)为用RCAN网络进行4倍重建得到的图像，(c)为用本发明的BCLNN网络进行4倍重建的图像，可以看到(c)相对于(a)在分辨率与清晰度上有了很大的提高，并且(c)相对于(b)在LOGO图像边缘的重建效果上了一定的提升。
上述实施例并非是对于本发明的限制，本发明也并非仅限于上述实施例，只要符合本发明要求，均属于本发明的保护范围。
Claims (4)
1.基于改进的二元闭环神经网络的LOGO图案重建方法，其特征在于包括以下步骤：
步骤一、构建二元闭环神经网络的训练集
获取若干分辨率为W×H的原始高分辨率LOGO图案，进行两次图像缩放变换，得到尺寸为W×H的低分辨率图像，去噪后作为训练集的输入项；对应去噪后原始高分辨率LOGO图案作为训练集的输出项；
步骤二、构建二元闭环神经网络：
2-1构建二元闭环神经网络的原始映射：
原始映射依次由下采样层、卷积层、残差通道注意力模块、亚像素卷积重构层、转换色彩空间层、图像边缘计算层、图像感知损失计算层、图像边缘损失计算层构成；其中残差通道注意力块主要由池化层，上采样层，下采样层以及混合层构成；
2-2构建二元闭环神经网络的回归映射：
回归映射依次由下采样层、卷积层、残差通道注意力模块、亚像素卷积重构层、图像感知损失计算层构成；
步骤三、利用训练集进行BCLNN模型的训练
步骤四、LOGO图案的复原及重建
4-1将待重建LOGO图像使用DATALOADER函数导入PYTHON环境中；
4-2加载已经训练好的对应的BCLNN模型，将上述待重建LOGO图像作为输入图像输入模型中，复原重建得到重建图像。
2.如权利要求1所述的方法，其特征在于步骤一具体如下：
步骤A、模型训练的数据收集：
1.1收集n张高分辨率LOGO图案，n>350，高分辨率尺寸为W×H，图片均为纯色背景，并标记为A组；
1.2将1.1中收集的这些图片进行图像缩放变换，得到分辨率为1/3*W×1/3H的低分辨率图像,并标记为B组；其中图像缩放变换采用双三次插值方法，采用双三次内插基函数作为基函数，双三次插值计算按公式(1)进行：
f(i+u,j+v)＝ABC (1)
其中，A、B、C均为矩阵，形式如下：
A＝[s(v+1) s(v) s(1-v) s(2-v)] (2)
(i,j):原图像的像素坐标，其中，i为横坐标值，j为纵坐标值，i、j均为非负整数；
f(i,j):原图像的像素灰度值；
(i+u,j+v):缩放变换后新图像的像素坐标；
f(i+u,j+v):缩放变换后新图像的像素灰度值；
u：沿横坐标方向，原图像像素坐标的横坐标i离新图像像素坐标(i+u,j+v)的距离；
v：沿纵坐标方向，原图像像素坐标的纵坐标j离新图像的像素坐标(i+u,j+v)的距离；
|x|：图像像素沿x方向离原点的距离；
s(x)：sin(π·x)/x的逼近多项式，为插值核；
步骤B.数据集的预处理，生成模型的训练集：
2.1将步骤1.2低分辨率图像进行二次图像缩放变换，得到尺寸为W×H的图像；其中图像缩放变换采用双三次插值方法，采用双三次内插基函数作为基函数，双三次插值计算按公式(1)进行：
2.2将步骤2.1二次缩放变换后B组图像作为训练集的输入集合，步骤1.1A组图像作为训练集的输出集合，输入集合与输出集合组成完整的训练集；
2.3将步骤2.2中得到的训练集中图像进行中值滤波处理，得到去噪图像，由matlab语言编写实现；具体如下：
a)将图像的R,G,B三通道分离；
b)对每个通道中的每个像素，把其邻域中的像素按灰度级进行排序，选择该组的中间值作为这个像素的输出值，通常选择3×3窗口大小的邻域；
c)将计算中值后的三个通道整合，输出去噪后图像；
2.4将步骤2.3中得到的去噪后图像作为二元闭环神经网络的训练集。
3.如权利要求2所述的方法，其特征在于步骤二具体如下：
3.1构建二元闭环神经网络的原始映射：
3.1.1构建原始映射的第一层，对训练集中图像进行下采样，该操作按公式(6)进行：
公式(6)中，
Y:下采样后的图像；
F1：下采样函数；
Xi：输入图像
i：当前图像的序号；
k：图像的总数量；
s：下采样的倍数；
3.1.2构建原始映射的第二层，将步骤3.1.1下采样后的图像进行公式(7)卷积操作，然后用公式(8)激活函数激活，提取图像的特征；
F2(Y)＝MAX(0,w2*F1(Y)+B2) (7)
公式(7)中，
F2：卷积操作的处理函数；
Y：步骤3.1.1下采样后的图像；
w2：大小为n1*f2*f2*n2的滤波器，其中f2是滤波器的空间大小，n1、n2是滤波器的数量；
B2：n2维向量；
公式(8)中，
P：激活处理后的图像特征；
yi,j：卷积操作后图像在(i，j)这一点的像素值；
ai.j：(1，+∞)区间内的固定参数；
3.1.3构建原始映射的第三层：
将3.1.2处理后图像特征按通道赋予不同的权值，该过程通过残差通道注意力块实现；残差通道注意力块主要由池化层，上采样层，下采样层以及混合层构成，分别按照公式(9)-(12)进行；
公式(9)中，
P1:池化层处理后的图像特征；
HGP：池化层函数；
P(i,j)：3.1.2处理后图像；
H：3.1.2处理后图像的横坐标总像素值；
W：3.1.2处理后图像的纵坐标总像素值；
公式(10)中，
P2：上采样处理后的图像特征；
UP：上采样函数；
P1：池化层处理后图像特征；
W：尺寸为1*1的卷积核；
公式(11)中，
P3：下采样处理后的图像特征；
P2：上采样层处理后图像特征；
DOWN：下采样函数；
W1：尺寸为1*1的卷积核；
S＝f(WU×WD×HGP(P3)) (12)
公式(12)中，
P3：下采样层处理后图像特征；
S：图像经过混合后的新特征；
f：混合函数；
WU：上采样得到的图像特征的权重系数；
WD：下采样得到的图像特征的权重系数；
HGP：池化层函数；
3.1.4构建原始映射的第四层：
将步骤3.1.3中提取的图像新特征按像素洗牌的方式进行重构，该过程通过亚像素卷积的方式进行实现，按公式(13)进行：
QSR＝PS(WL×f1(S)+bL) (13)
公式(13)中：
QSR：重建出的高分辨率图像；
S；步骤3.1.3中提取的图像新特征；
f1(S)：亚像素卷积预处理函数；
PS：像素洗牌函数；
WL：像素洗牌对应的卷积核；
bL；函数相关的权重偏移值；
3.1.5构建原始映射的第五层：
将3.1.4中重建出的高分辨率图像以及2.4中训练集的A组图像从RGB色彩空间转化到YCbCr色彩空间，并将图像的Y通道保存，分别归为Y1与Y2，其中对图像从RGB色彩空间到YCbCr色彩空间的转化按公式(14)进行：
R＝1.164(Y-16)+1.793(CR-128)＝1.164Y+1.793CR-248.128；
G＝1.164(Y-16)-0.534(CR-128)-0.213(CB-128)＝1.164Y-0.213CB-0.534CR+76.992；
B＝1.164(Y-16)+2.115(CB-128)＝1.164Y+2.115CB-289.344； (14)
公式(14)中，
R：图像中每个像素的红通道颜色值；
G：图像中每个像素的绿通道颜色值；
B：图像中每个像素的蓝通道颜色值；
Y：图像中每个像素的颜色明亮度和浓度；
Cb：图像中每个像素的颜色的蓝色浓度偏移量；
Cr：图像中每个像素的颜色的红色浓度偏移量；
3.1.6构建原始映射的第六层：
将3.1.5中得到的Y1与Y2分别通过canny算子计算对应的边缘图像，归类为Y1-1与Y1-2，canny算子使用滤波器计算像素梯度按公式(15)进行：
公式(15)中，
GX：x方向上的卷积阵列；
GY：y方向上的卷积阵列；
G：是图像对应像素的梯度幅值；
3.1.7构建原始映射的第七层：
3.1.4中重建出的高分辨率图像与2.4中训练集的A组中对应的图像经过VGG19网络计算得到原始映射中的图像感知损失LP-1,LP-1按照公式(16)进行：
公式(16)中，
QSR：步骤3.1.4重建出的高分辨率图像；
S：步骤2.4真实的高分辨率图像；
F:VGG19网络模型；
M：重建出的高分辨率图像的通道数；
W：重建出的高分辨率图像的宽度数；
H：重建出的高分辨率图像的高度数；
3.1.8构建原始映射的第八层：
3.1.6中得到的Y1-1与Y1-2经过VGG19网络计算得到原始映射中的图像边缘损失LP-2，LP-2按照公式(16)进行；
3.2构建二元闭环神经网络的回归映射：
3.2.1构建回归映射的第一层：
对3.1.4中重建出的高分辨率图像进行下采样，该操作按公式(6)进行；
3.2.2构建回归映射的第二层：
将3.2.1中得到的图像进行卷积操作，然后用激活函数激活，提取图像的特征，该操作按公式(7)与(8)进行；
3.2.3构建回归映射的第三层：
将3.2.2中提取的图像特征按通道赋予不同的权值，该过程通过残差通道注意力块实现，残差通道注意力块主要由池化层，上采样层，下采样层以及混合层构成，分别按照公式(9)-(12)进行；
3.2.4构建回归映射的第四层：
将3.1.3中提取的图像新特征按像素洗牌的方式进行重构，该过程通过亚像素卷积的方式进行实现，按公式(13)进行；
3.2.5构建回归映射的第五层：
将3.2.4中得到的重构低分辨率图像经过VGG19网络计算得到回归映射中的图像感知损失LD,LD按照公式(16)进行；
3.3构建整个二元回归网络的损失函数，按照公式(17)进行：
L＝LP-1+LP-2+LD (17)
公式(17)中，
LP-1:原始映射中的图像感知损失；
LP-2：原始映射中的图像边缘损失；
LD：回归映射中的图像感知损失。
4.如权利要求3所述的方法，其特征在于步骤三具体如下：
4.1使用基于PYTHON 3.6.5的JPUYTER NOTEBOOK进行模型训练，并配置pytorch相关环境；
4.2将步骤二中模型的训练集通过ImageFolder函数进行封装，并通过DataLoader函数进行导入；
4.3按照步骤三的网络结构进行网络模型的初始化；
4.4设置训练的基本参数与损失函数以及优化器，其中基本参数为
num_epochs＝15、batch_size＝245、learning_rate＝0.001；
4.5加载网络模型，并通过循环迭代不断的更新模型的相关参数；
4.6通过torch.save函数保存训练好的模型为BCLNN.pt。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010710204.XA CN111932454B (zh) | 2020-07-22 | 2020-07-22 | 基于改进的二元闭环神经网络的logo图案重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010710204.XA CN111932454B (zh) | 2020-07-22 | 2020-07-22 | 基于改进的二元闭环神经网络的logo图案重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111932454A CN111932454A (zh) | 2020-11-13 |
| CN111932454B true CN111932454B (zh) | 2022-05-27 |
Family
ID=73316029
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010710204.XA Active CN111932454B (zh) | 2020-07-22 | 2020-07-22 | 基于改进的二元闭环神经网络的logo图案重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111932454B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017219263A1 (zh) * | 2016-06-22 | 2017-12-28 | 中国科学院自动化研究所 | 基于双向递归卷积神经网络的图像超分辨率增强方法 |
| CN111028150A (zh) * | 2019-11-28 | 2020-04-17 | 武汉大学 | 一种快速时空残差注意力视频超分辨率重建方法 |
| CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
| CN111275618A (zh) * | 2020-01-12 | 2020-06-12 | 杭州电子科技大学 | 一种基于双支感知的深度图超分辨率重建网络构建方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9730643B2 (en) * | 2013-10-17 | 2017-08-15 | Siemens Healthcare Gmbh | Method and system for anatomical object detection using marginal space deep neural networks |
| WO2018053340A1 (en) * | 2016-09-15 | 2018-03-22 | Twitter, Inc. | Super resolution using a generative adversarial network |
| CN109726794B (zh) * | 2017-10-27 | 2024-03-12 | 谷歌有限责任公司 | 基于关注的图像生成神经网络 |
| US11756160B2 (en) * | 2018-07-27 | 2023-09-12 | Washington University | ML-based methods for pseudo-CT and HR MR image estimation |
-
2020
- 2020-07-22 CN CN202010710204.XA patent/CN111932454B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017219263A1 (zh) * | 2016-06-22 | 2017-12-28 | 中国科学院自动化研究所 | 基于双向递归卷积神经网络的图像超分辨率增强方法 |
| CN111028150A (zh) * | 2019-11-28 | 2020-04-17 | 武汉大学 | 一种快速时空残差注意力视频超分辨率重建方法 |
| CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
| CN111275618A (zh) * | 2020-01-12 | 2020-06-12 | 杭州电子科技大学 | 一种基于双支感知的深度图超分辨率重建网络构建方法 |
Non-Patent Citations (3)
| Title |
|---|
| Closed-loop Matters:Dual Regression Networks for Single Image Super-Resolution;Yong Guo et al.;《Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition》;20200522;第5407-5416页 * |
| 图像超分辨重建算法综述;史振威等;《数据采集与处理》;20200115;第35卷(第01期);第1-20页 * |
| 基于重建注意力深度网络的超分辨率图像重建;项军等;《计算机应用研究》;20200630;第37卷(第S1期);第377-379页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111932454A (zh) | 2020-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109102469B (zh) | 一种基于卷积神经网络的遥感图像全色锐化方法 | |
| CN108734659B (zh) | 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法 | |
| US11537873B2 (en) | Processing method and system for convolutional neural network, and storage medium | |
| US11532173B2 (en) | Transformation of hand-drawn sketches to digital images | |
| CN109064396A (zh) | 一种基于深度成分学习网络的单幅图像超分辨率重建方法 | |
| CN108921786A (zh) | 基于残差卷积神经网络的图像超分辨率重构方法 | |
| CN110570440A (zh) | 一种基于深度学习边缘检测的图像自动分割方法及装置 | |
| CN112734646A (zh) | 一种基于特征通道划分的图像超分辨率重建方法 | |
| CN111008936B (zh) | 一种多光谱图像全色锐化方法 | |
| CN112184591A (zh) | 一种基于深度学习图像摩尔纹消除的图像复原方法 | |
| US11887218B2 (en) | Image optimization method, apparatus, device and storage medium | |
| CN102053804A (zh) | 图像处理装置及控制方法 | |
| CN111340696A (zh) | 融合仿生视觉机制的卷积神经网络图像超分辨率重建方法 | |
| CN112598602A (zh) | 一种基于掩码的深度学习视频去摩尔纹方法 | |
| CN115018708A (zh) | 一种基于多尺度特征融合的机载遥感图像超分辨率重建方法 | |
| CN110533591A (zh) | 基于编解码器结构的超分辨图像重建方法 | |
| CN108734668A (zh) | 图像色彩恢复方法、装置、计算机可读存储介质及终端 | |
| CN114626984A (zh) | 中文文本图像的超分辨率重建方法 | |
| CN109064394B (zh) | 一种基于卷积神经网络的图像超分辨率重建方法 | |
| CN106780423A (zh) | 一种基于少数波段高分图像与低分高光谱图像的高质量光谱重建方法 | |
| CN111932454B (zh) | 基于改进的二元闭环神经网络的logo图案重建方法 | |
| CN111462084B (zh) | 基于随机森林的图像矢量化印刷出血点预测系统和方法 | |
| CN111899166A (zh) | 一种基于深度学习的医学高光谱显微图像超分辨重构方法 | |
| CN114663301B (zh) | 一种基于小波层的卷积神经网络全色锐化方法 | |
| CN108921785B (zh) | 基于小波包的超分辨率重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |