CN109146792A - 基于深度学习的芯片图像超分辨率重建方法 - Google Patents
基于深度学习的芯片图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN109146792A CN109146792A CN201811119289.3A CN201811119289A CN109146792A CN 109146792 A CN109146792 A CN 109146792A CN 201811119289 A CN201811119289 A CN 201811119289A CN 109146792 A CN109146792 A CN 109146792A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- low
- sub
- estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000013135 deep learning Methods 0.000 title claims abstract description 6
- 238000004088 simulation Methods 0.000 claims abstract description 30
- 238000006073 displacement reaction Methods 0.000 claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 28
- 230000006870 function Effects 0.000 claims abstract description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 23
- 230000006872 improvement Effects 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 16
- 238000012360 testing method Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000012804 iterative process Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract description 7
- ZXQYGBMAQZUVMI-GCMPRSNUSA-N gamma-cyhalothrin Chemical compound CC1(C)[C@@H](\C=C(/Cl)C(F)(F)F)[C@H]1C(=O)O[C@H](C#N)C1=CC=CC(OC=2C=CC=CC=2)=C1 ZXQYGBMAQZUVMI-GCMPRSNUSA-N 0.000 abstract description 6
- 230000006866 deterioration Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000007850 degeneration Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000001000 micrograph Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000002224 dissection Methods 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习的芯片图像超分辨率重建方法，主要解决现有方法重建芯片图像电路密集处分辨率低的问题。其技术方案是：1.划分图像集，并构建训练数据集；2.对训练数据集进行训练；3.估计出K幅低分辨率图像与参考图像的子像素位移量；4.对参考图像进行上采样，并将其输入到训练好的模型，输出估计图像；5.对估计图像降质，并计算降质后图像与K幅低分辨率图像的模拟误差；6将模拟误差叠加到估计图像上得到改进的估计图像；7.迭代执行5至6，直至误差函数小于误差阈值，输出最终改进的估计图像。本发明提高了芯片图像中电路密集处的超分辨率重建效果，可以用于芯片密集电路处的硬件木马检测。
Description
技术领域
本发明属于图像处理技术领域，更进一步涉及一种图像超分辨率重建方法，可以用于芯片密集电路处的硬件木马检测。
背景技术
目前图像超分辨率重建技术在提升芯片图像的分辨率中发挥着重要作用。近年来，我国的半导体行业发展迅速，但是一些关键部分的高端芯片仍然依赖于进口，并且我国集成电路设计和制造工艺技术并不完善，所以在芯片的设计和生产环节引入的硬件木马问题不容忽视，硬件木马指的是潜伏在原始电路中的微小恶意电路，在特殊条件触发下，该模块能够改变电路功能，导致信息泄露甚至摧毁系统的严重后果，因此，硬件木马的检测变得尤为重要。目前，已经有基于反向解剖、基于功能检测和基于旁路分析等多种检测技术，其中，最高效的检测手段是基于芯片反向解剖的检测技术，即将高倍显微镜拍摄的芯片照片与母版微观图片进行相同的切割并对比，如果没有母版芯片的微观照片，则需要使用原始设计版图与可疑芯片微观照片进行间接的对比，若有元器件和金属线被改动，则说明存在恶意植入的硬件木马。然而，拍摄高分辨率的芯片照片所需的显微镜及摄像头设备十分昂贵，为了降低成本，人们通常采用普通照相机拍摄图像，同时存在大气扰动、光线变化和噪声等外界干扰因素，这些图像退化因素使得我们获取的图像分辨率通常较低，因此需要利用图像超分辨率重建技术来提升芯片图像的分辨率。
从研究方法来说，图像超分辨率重建技术可以分为基于插值、基于重建和基于学习三类，基于插值的方法普遍存在明显的锯齿效应，基于重建的方法考虑了图像的退化模型，且可以结合图像的先验知识，性能较插值法有了很大改善，但是应用于芯片图像时效果依然不佳；基于学习的超分辨率算法的主要思想是学习低分辨率图像和高分辨率图像之间的对应关系，根据这种对应关系指导图像的超分辨率重建，随着机器学习的兴起，基于深度学习的超分辨率重建算法逐渐涌现出来，在处理普通自然图像时，这类方法表现出了优秀的性能，但在重建由密集的电路组成的芯片图像时，并不能将图像的细节部分处理的很好。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种基于深度学习的芯片图像超分辨率重建方法，以提高芯片密集电路处的图像分辨率。
实现本发明目的的技术方案包括如下：
(1)划分图像集：将收集到的芯片图像划分为待处理图像集{y(1),y(2),…,y(N)}和测试集{t(1),t(2),…,t(M)}，N为待处理图像集的图像数，M为测试集的图像数；
(2)对待处理图像集中的图像数进行扩充，得到扩充后的图像集，再对扩充后的图像集中的图像依次进行降质与提取子图像，得到训练数据集；
(3)对训练数据集进行训练，得到训练后的卷积神经网络模型；
(4)输入K幅低分辨率图像xw，w＝0,1,…,K-1，在K幅低分辨率图像中选择一幅参考图像x0，并估计出K幅低分辨率图像xw与参考图像x0的子像素位移量(a0,b0)w，w＝0,1,…,K-1；
(5)将参考图像x0用双立方插值法进行L倍上采样后，得到插值后的低分辨率图像x；
(6)将x作为卷积神经网络模型的输入，将卷积神经网络模型的输出结果作为估计图像yn，n为迭代次数，此时n＝0，y0为初始估计图像；
(7)对估计图像yn进行降质，即先将(4)中得到的子像素位移量增大为(A,B)w＝(La0,Lb0)w，w＝0,1,…,K-1，然后根据增大后的子像素位移量(A,B)w对估计图像yn进行子像素位移，再对每幅图像用双立方插值法依次进行L倍下采样处理，得到K幅模拟的低分辨率图像
(8)将K幅低分辨率图像与K幅模拟的低分辨率图像做差，得到模拟误差
(9)对模拟误差用双立方插值法进行L倍上采样，得到增大后的模拟误差并将增大后的模拟误差根据子像素位移量(A,B)w叠加到估计图像yn上，得到改进的估计图像yn+1；
(10)设定误差阈值t，迭代执行步骤(7)至步骤(9)，每迭代一次n的数值便增加1，当误差函数ε小于设定的误差阈值t，迭代过程结束，输出改进的估计图像yn+1，即超分辨率重建图像，其中：
||·||2代表L2范数
本发明相比于现有技术具有如下优点：
1.本发明利用卷积神经网络重建初始估计图像，通过改善初始估计图像，提高了超分辨率重建效果。
2.本发明通过引入深度学习的先验知识，并利用低分辨率图像序列之间的互补信息，把两者的优势充分结合起来，进一步提高了超分辨率重建效果。
附图说明
图1为本发明的实现总流程图；
图2为本发明中构建训练数据集的子流程图；
图3为本发明中训练卷积神经网络模型子流程图；
图4为用本发明与现有的四种方法对两幅芯片图像的电路密集处超分辨率重建的对比结果图。
具体实施方式
参照图1，本发明的具体实施步骤如下：
步骤1：划分图像集。
对大量芯片图像进行拍照以收集芯片图像，将收集到的芯片图像随机划分为待处理图像集{y(1),y(2),…y(l),…,y(N)}和测试集{t(1),t(2),…t(d)…,t(M)}，其中y(l)为待处理图像集中的第l幅图像，l＝1,2,…,N，t(d)为测试集中的第d幅图像，d＝1,2,…,M，N为待处理图像集的图像数，M为测试集的图像数。
步骤2：根据待处理图像集中的图像，得到训练数据集。
参照图2，本步骤的具体实现如下：
(2a)为增大最终的训练数据集，首先需要对待处理图像集中的图像数扩充，得到扩充后图像集：
(2a1)将待处理图像集{y(1),y(2),…y(l),…,y(N)}中的每一幅芯片图像分别进行0°、90°、180°以及270°的旋转，得到旋转后图像集{p(1),p(2),…,p(e),…,p(L)}，其中p(e)为旋转后图像集的第e幅图像，e＝1,2,…,L，L为旋转后图像集的图像数，L＝4N；
(2a2)将旋转后图像集{p(1),p(2),…,p(e),…,p(L)}中的每一幅芯片图像利用双立方插值法分别进行0.3倍及0.7倍的下采样，用旋转后图像集与下采样后的图像共同组成扩充后图像集{q(1),q(2),…,q(f),…,q(Q)}，其中q(f)为扩充后图像集中的第f幅图像，f＝1,2,…,Q，Q为扩充后图像集的图像数，Q＝3L；
所述双立方插值法是现有超分辨率重建的一种基本方法，其实现步骤如下：
第一步：设待插值图像A的大小为h×t，插值后图像B的大小为H×T，插值后图像的坐标(X,Y)与待插值图像的坐标(x,y)的对应关系为
第二步：待插值图像中坐标(x,y)的像素值用f(x,y)表示，将插值后图像的坐标(X,Y)另记作(x+r,y+c)，插值后图像中坐标(x+r,y+c)的像素值用F(x+r,y+c)表示，其中r表示行数偏差，c表示列数偏差；
第三步：用下列内插公式计算F(x+r,y+c)：
其中，
m为自变量，可代入r+1，r，r-1，r-2，c+1，c，c-1，c-2。
第四步：对插值后图像中每一个像素的值依次按照第三步中的内插公式进行计算，得到插值后图像；
(2b)对扩充后图像集中的图像依次进行降质，得到内插后低分辨率图像集：
(2b1)利用双立方插值法对扩充后图像集{q(1),q(2),…,q(f),…,q(Q)}中的每一幅芯片图像分别进行2倍、3倍及4倍的下采样；
(2b2)利用双立方插值法对下采样后图像进行相应倍数的上采样，得到内插后低分辨率图像集{r(1),r(2),…,r(g),…,r(R)}，其中，r(g)为内插后低分辨率图像集中的第g幅图像，g＝1,2,…,R，R为内插后低分辨率图像集的图像数；
(2c)对内插后低分辨率图像集{r(1),r(2),…,r(g),…,r(R)}中的每一幅图像以41个像素的滑动步长依次截取尺寸为41×41的子图像，得到训练数据集。
步骤3：对训练数据集进行训练，得到训练后的卷积神经网络模型。
现有训练方法包括SRCNN算法、ESPCN算法、VDSR算法和DRCN算法等，本实例采用但不限于用VDSR算法中的训练步骤进行训练。
参照图3，本步骤的实现如下：
(3a)输入训练数据集并配置训练参数：动量参数设为0.9，权重衰减设为0.0001，基础学习率设为0.0001，最大迭代次数设为50000；
(3b)选择一个共有20层卷积层的卷积神经网络，其中：卷积神经网络的第1层和第20层采用3×3×64的卷积核，其他层采用64×3×3×64的卷积核，高分辨率图像用y表示，将y用双立方插值法以相同倍数下采样后再上采样得到低分辨率图像x，将x作为卷积神经网络的输入，用f(x)表示20层卷积神经网络预测的残差图像，用x+f(x)表示卷积神经网络模型的输出即超分辨率重建图像；
(3c)定义残差图像为r＝y-x以及损失函数loss：
(3d)选择caffe框架进行训练，在选择的卷积神经网络模型下根据设定的训练参数对训练数据集进行训练，使损失函数loss随着训练不断减小，当迭代次数达到50000次时训练停止，得到训练后的卷积神经网络模型。
步骤4：估计出K幅低分辨率图像与参考图像的子像素位移量(a0,b0)w。
(4a)输入K幅低分辨率图像xw，w＝0,1,…,K-1，在K幅低分辨率图像中选择一幅参考图像x0，记作f0(x,y)，设其中一幅待估计的图像x1记为f1(x,y)，待估计的图像x1与参考图像x0的子像素位移量记作(a0,b0)；
(4b)将待估计的图像f1(x,y)表示为：f1(x,y)＝f0(x+a0,y+b0)，并对其两边分别进行二维离散傅里叶变换，得到下式：
其中，D和E分别为f1(x,y)的行数和列数，二维图像经过二维离散傅里叶变换得到的二维矩阵的坐标系为(u,v)，F1(u,v)为f1(x,y)的二维离散傅里叶变换，F0(u,v)为f0(x,y)的二维离散傅里叶变换；
(4c)由(4b)中的公式可知，由此式得到x1的子像素位移量(a0,b0)；
(4d)将K幅低分辨率图像中的每一幅图像都按(4a)至(4c)操作，得到子像素位移量(a0,b0)w，w＝0,1,…,K-1。
步骤5：计算初始估计图像。
(5a)将参考图像x0用双立方插值法进行L倍上采样，得到插值后的低分辨率图像x；
(5b)将插值后的低分辨率图像x作为卷积神经网络模型的输入，并将卷积神经网络模型的输出结果作为估计图像yn，此时n＝0，y0为初始估计图像。
步骤6：对估计图像yn进行降质。
(6a)将步骤4中得到的子像素位移量增大为(A,B)w＝(La0,Lb0)w，w＝0,1,…,K-1；
(6b)根据增大后的子像素位移量(A,B)w对估计图像yn进行子像素位移；
(6c)对每幅图像用双立方插值法依次进行L倍下采样处理，得到K幅模拟的低分辨率图像
步骤7：计算模拟误差。
将K幅低分辨率图像与K幅模拟的低分辨率图像做差，得到模拟误差
步骤8：计算改进的估计图像yn+1。
(8a)对模拟误差用双立方插值法进行L倍上采样，得到增大后的模拟误差
(8b)将子像素位移量(A,B)w重新标记为(Aw,Bw)，并用[Aw]表示Aw的整数部分，用Aw′表示Aw的小数部分，用[Bw]表示Bw的整数部分，用Bw′表示Bw的小数部分；
(8c)将像素坐标为(i,j)的第一个增大后的模拟误差叠加到估计图像yn对应的4个像素上得到第一个改进图像yn α的叠加公式如下，：
其中，yn(i+[Aw],j+[Bw])表示估计图像yn上像素坐标为(i+[Aw],j+[Bw])的像素值，yn(i+[Aw]+1,j+[Bw])表示估计图像yn上像素坐标为(i+[Aw]+1,j+[Bw])的像素值，yn(i+[Aw],j+[Bw]+1)表示估计图像yn上像素坐标为(i+[Aw],j+[Bw]+1)的像素值，yn(i+[Aw]+1,j+[Bw]+1)表示估计图像yn上像素坐标为(i+[Aw]+1,j+[Bw]+1)的像素值，yn α(i+[Aw],j+[Bw])表示第一个改进图像yn α上像素坐标为(i+[Aw],j+[Bw])的像素值，yn α(i+[Aw]+1,j+[Bw])表示第一个改进图像yn α上像素坐标为(i+[Aw]+1,j+[Bw])的像素值，yn α(i+[Aw],j+[Bw]+1)表示第一个改进图像yn α上像素坐标为(i+[Aw],j+[Bw]+1)的像素值，yn α(i+[Aw]+1,j+[Bw]+1)表示第一个改进图像yn α上像素坐标为(i+[Aw]+1,j+[Bw]+1)的像素值；
利用上述叠加公式依次计算出第一个增大后的模拟误差中每一个坐标的像素值叠加到估计图像yn对应坐标上得到的像素值，得到第一个改进图像yn α；
(8d)将第二个增大后的模拟误差按照(8c)中的叠加公式叠加到第一个改进图像yn α上，得到第二个改进图像yn α+1，以此类推，将第K个增大后的模拟误差叠加到第K-1个改进图像yn α+K-2上，得到改进的估计图像yn+1。
步骤9：输出超分辨率重建图像。
(9a)设定误差阈值t，迭代执行步骤6至步骤8，每迭代一次n的数值便增加1；
(9b)当误差函数ε小于设定的误差阈值t，迭代过程结束，输出改进的估计图像yn +1，即超分辨率重建图像，其中：
其中||·||2代表L2范数。
本发明的效果可以通过以下仿真实验做进一步的说明
1.仿真条件
本发明是在中央处理器为Inter(R)Core(TM)i5-7200U CPU@2.50GHz 2.70GHz、内存8G、WINDOWS 10操作系统上，运用美国Mathworks公司开发的MATLAB2017b进行仿真。
2.仿真内容
将77张图像划分到待处理图像集，8张图像划分到测试集。在实验过程中，首先设定模拟子像素位移量(a,b)w，w＝0,1,…,K-1，根据模拟子像素位移量对测试集中的每一张芯片图像进行子像素位移，再用双立方插值法对子像素位移得到的K幅图像依次进行降质处理，生成的图像序列用于模拟输入的K幅低分辨率图像。
用本发明方法和现有的双立方插值法、迭代反投影法、SRCNN算法和VDSR算法分别对测试集中的两张芯片图像的电路密集处图像进行超分辨率重建，结果如图4，其中：
图4(a)是用上述五种方法对第一幅图像重建的对比图；
图4(b)是用上述五种方法对第二幅图像重建的对比图。
从图4中可以看出，现有方法的重建图像在电路密集处存在边缘模糊和结构粘连的问题，而本发明方法的重建图像在电路密集处能清晰的看出电路的条数和结构，提高了芯片图像电路密集处的超分辨率重建效果。
Claims (6)
1.一种基于深度学习的芯片图像超分辨率重建方法，包括如下：
(1)划分图像集：将收集到的芯片图像划分为待处理图像集{y(1),y(2),...,y(N)}和测试集{t(1),t(2),...,t(M)}，N为待处理图像集的图像数，M为测试集的图像数；
(2)对待处理图像集中的图像数进行扩充，得到扩充后的图像集，再对扩充后的图像集中的图像依次进行降质与提取子图像，得到训练数据集；
(3)对训练数据集进行训练，得到训练后的卷积神经网络模型；
(4)输入K幅低分辨率图像xw,w＝0,1,...,K-1，在K幅低分辨率图像中选择一幅参考图像x0，并估计出K幅低分辨率图像与参考图像x0的子像素位移量(a0,b0)w,w＝0,1,...,K-1；
(5)将参考图像x0用双立方插值法进行L倍上采样后，得到插值后的低分辨率图像x；
(6)将x作为卷积神经网络模型的输入，将卷积神经网络模型的输出结果作为估计图像yn，n为迭代次数，此时n＝0，y0为初始估计图像；
(7)对估计图像yn进行降质，即先将(4)中得到的子像素位移量增大为(A,B)w＝(La0,Lb0)w,w＝0,1,...,K-1，然后根据增大后的子像素位移量(A,B)w对估计图像yn进行子像素位移，再对每幅图像用双立方插值法依次进行L倍下采样处理，得到K幅模拟的低分辨率图像
(8)将K幅低分辨率图像与K幅模拟的低分辨率图像做差，得到模拟误差
(9)对模拟误差用双立方插值法进行L倍上采样，得到增大后的模拟误差并将增大后的模拟误差根据增大后的子像素位移量(A,B)w叠加到估计图像yn上，得到改进的估计图像yn+1；
(10)设定误差阈值t，迭代执行步骤(7)至步骤(9)，每迭代一次n的数值便增加1，当误差函数ε小于设定的误差阈值t，迭代过程结束，输出改进的估计图像yn+1，即超分辨率重建图像，其中：
代表L2范数。
2.根据权利要求1所述的方法，其特征在于，步骤(2)中对待处理图像集中的图像数进行扩充，其实现如下：
(2a)将待处理图像集{y(1),y(2),...,y(N)}中的每一幅芯片图像分别进行0°、90°、180°以及270°的旋转，得到旋转后图像集{p(1),p(2),...,p(L)}，N为待处理图像集的图像数，L为旋转后图像集的图像数，L＝4N；
(2b)将旋转后图像集{p(1),p(2),...,p(L)}中的每一幅芯片图像利用双立方插值法分别进行0.3倍及0.7倍的下采样，旋转后图像集与下采样后的图像共同组成扩充后图像集{q(1),q(2),...,q(Q)}，Q为扩充后图像集的图像数，Q＝3L。
3.根据权利要求1所述的方法，其特征在于，步骤(2)中对扩充后图像集中的图像依次进行降质与提取子图像，其实现如下:
(2c)利用双立方插值法对扩充后图像集{q(1),q(2),...,q(Q)}中的每一幅芯片图像分别进行2倍、3倍及4倍的下采样，再利用双立方插值法对下采样后图像进行相应倍数的上采样，得到内插后低分辨率图像集{r(1),r(2),...,r(R)}，R为内插后低分辨率图像集的图像数；
(2d)对内插后低分辨率图像集{r(1),r(2),...,r(R)}中的每一幅图像以41个像素的滑动步长依次截取尺寸为41×41的子图像，得到训练数据集。
4.根据权利要求1所述的方法，其特征在于，步骤(3)中对训练数据集进行训练，其实现如下：
(3a)输入训练数据集并配置训练参数：动量参数设为0.9，权重衰减设为0.0001，基础学习率设为0.0001，最大迭代次数设为50000；
(3b)选择一个共有20层卷积层的卷积神经网络，其中：卷积神经网络的第1层和第20层采用3×3×64的卷积核，其他层采用64×3×3×64的卷积核，高分辨率图像用y表示，将y用双立方插值法以相同倍数下采样后再上采样得到低分辨率图像x，将x作为卷积神经网络的输入，用f(x)表示20层卷积神经网络预测的残差图像，用x+f(x)表示卷积神经网络模型的输出即超分辨率重建图像；
(3c)定义残差图像为r＝y-x以及损失函数loss：
(3d)选择caffe框架进行训练，在选择的卷积神经网络模型下根据设定的训练参数对训练数据集进行训练，使损失函数loss随着训练不断减小，当迭代次数达到50000次时训练停止，得到训练后的卷积神经网络模型。
5.根据权利要求1所述的方法，其特征在于，步骤(4)中估计出K幅低分辨率图像与参考图像x0的子像素位移量(a0,b0)w,w＝0,1,...,K-1，其实现如下：
(4a)将参考图像x0记作f0(x,y)，设其中一幅待估计的图像x1记为f1(x,y)，待估计的图像x1与参考图像x0的子像素位移量记作(a0,b0)；
(4b)将待估计的图像f1(x,y)表示为f1(x,y)＝f0(x+a0,y+b0)，并对其两边分别进行二维离散傅里叶变换，得到下式：
其中，D和E分别为f1(x,y)的行数和列数，二维图像经过二维离散傅里叶变换得到的二维矩阵的坐标系为(u,v)，F1(u,v)为f1(x,y)的二维离散傅里叶变换，F0(u,v)为f0(x,y)的二维离散傅里叶变换；
(4c)由(4b)中的公式可知，
由此式得到x1的子像素位移量(a0,b0)；
(4d)将K幅低分辨率图像中的每一幅图像都按(4a)至(4c)操作，得到子像素位移量(a0,b0)w,w＝0,1,...,K-1。
6.根据权利要求1所述的方法，其特征在于，步骤(9)中将增大后的模拟误差根据相应的子像素位移量(A,B)w叠加到估计图像yn上，其实现如下：
(9a)对模拟误差用双立方插值法进行L倍上采样，得到增大后的模拟误差
(9b)将子像素位移量(A,B)w重新标记为(Aw,Bw)并用[Aw]表示Aw的整数部分，用Aw'表示Aw的小数部分，用[Bw]表示Bw的整数部分，用Bw'表示Bw的小数部分；
(9c)将像素坐标为(i,j)的第一个增大后的模拟误差叠加到估计图像yn对应的4个像素上得到第一个改进图像的叠加公式如下：
其中，yn(i+[Aw],j+[Bw])表示估计图像yn上像素坐标为(i+[Aw],j+[Bw])的像素值，yn(i+[Aw]+1,j+[Bw])表示估计图像yn上像素坐标为(i+[Aw]+1,j+[Bw])的像素值，yn(i+[Aw],j+[Bw]+1)表示估计图像yn上像素坐标为(i+[Aw],j+[Bw]+1)的像素值，yn(i+[Aw]+1,j+[Bw]+1)表示估计图像yn上像素坐标为(i+[Aw]+1,j+[Bw]+1)的像素值，表示第一个改进图像上像素坐标为(i+[Aw],j+[Bw])的像素值，表示第一个改进图像上像素坐标为(i+[Aw]+1,j+[Bw])的像素值，表示第一个改进图像上像素坐标为(i+[Aw],j+[Bw]+1)的像素值，表示第一个改进图像上像素坐标为(i+[Aw]+1,j+[Bw]+1)的像素值；
利用上述叠加公式依次计算出第一个增大后的模拟误差中每一个坐标的像素值叠加到估计图像yn对应坐标上得到的像素值，得到第一个改进图像
(9d)将第二个增大后的模拟误差按照(8c)中的叠加公式叠加到第一个改进图像上，得到第二个改进图像以此类推，将第K个增大后的模拟误差叠加到第K-1个改进图像上，得到改进的估计图像yn+1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811119289.3A CN109146792B (zh) | 2018-09-25 | 2018-09-25 | 基于深度学习的芯片图像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811119289.3A CN109146792B (zh) | 2018-09-25 | 2018-09-25 | 基于深度学习的芯片图像超分辨率重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109146792A true CN109146792A (zh) | 2019-01-04 |
| CN109146792B CN109146792B (zh) | 2023-04-18 |
Family
ID=64812256
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811119289.3A Active CN109146792B (zh) | 2018-09-25 | 2018-09-25 | 基于深度学习的芯片图像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109146792B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111445396A (zh) * | 2020-03-05 | 2020-07-24 | 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） | 集成电路版图重建方法、装置、电子设备和存储介质 |
| CN111861881A (zh) * | 2020-06-09 | 2020-10-30 | 复旦大学 | 一种基于cnn进行插值的图像超分辨率重建算法 |
| CN114723608A (zh) * | 2022-04-14 | 2022-07-08 | 西安电子科技大学 | 基于流体粒子网络的图像超分辨率重建方法 |
| CN114757930A (zh) * | 2022-04-26 | 2022-07-15 | 西安电子科技大学 | 基于热传递的芯片硬件木马检测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060159369A1 (en) * | 2005-01-19 | 2006-07-20 | U.S. Army Research Laboratory | Method of super-resolving images |
| CN106228512A (zh) * | 2016-07-19 | 2016-12-14 | 北京工业大学 | 基于学习率自适应的卷积神经网络图像超分辨率重建方法 |
| CN107909564A (zh) * | 2017-10-23 | 2018-04-13 | 昆明理工大学 | 一种基于深度学习的全卷积网络图像裂纹检测方法 |
-
2018
- 2018-09-25 CN CN201811119289.3A patent/CN109146792B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060159369A1 (en) * | 2005-01-19 | 2006-07-20 | U.S. Army Research Laboratory | Method of super-resolving images |
| CN106228512A (zh) * | 2016-07-19 | 2016-12-14 | 北京工业大学 | 基于学习率自适应的卷积神经网络图像超分辨率重建方法 |
| CN107909564A (zh) * | 2017-10-23 | 2018-04-13 | 昆明理工大学 | 一种基于深度学习的全卷积网络图像裂纹检测方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111445396A (zh) * | 2020-03-05 | 2020-07-24 | 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） | 集成电路版图重建方法、装置、电子设备和存储介质 |
| CN111445396B (zh) * | 2020-03-05 | 2023-11-03 | 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） | 集成电路版图重建方法、装置、电子设备和存储介质 |
| CN111861881A (zh) * | 2020-06-09 | 2020-10-30 | 复旦大学 | 一种基于cnn进行插值的图像超分辨率重建算法 |
| CN114723608A (zh) * | 2022-04-14 | 2022-07-08 | 西安电子科技大学 | 基于流体粒子网络的图像超分辨率重建方法 |
| CN114723608B (zh) * | 2022-04-14 | 2023-04-07 | 西安电子科技大学 | 基于流体粒子网络的图像超分辨率重建方法 |
| CN114757930A (zh) * | 2022-04-26 | 2022-07-15 | 西安电子科技大学 | 基于热传递的芯片硬件木马检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109146792B (zh) | 2023-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110119780B (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
| Du et al. | Fast and memory-efficient network towards efficient image super-resolution | |
| CN109146792A (zh) | 基于深度学习的芯片图像超分辨率重建方法 | |
| CN111047515A (zh) | 一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法 | |
| CN109255755A (zh) | 基于多列卷积神经网络的图像超分辨率重建方法 | |
| CN109767386A (zh) | 一种基于深度学习的快速图像超分辨率重建方法 | |
| Li et al. | FilterNet: Adaptive information filtering network for accurate and fast image super-resolution | |
| CN110136062B (zh) | 一种联合语义分割的超分辨率重建方法 | |
| Ren et al. | Single image super-resolution using local geometric duality and non-local similarity | |
| CN109509149A (zh) | 一种基于双通道卷积网络特征融合的超分辨率重建方法 | |
| CN105488776B (zh) | 超分辨率图像重建方法和装置 | |
| CN107633486A (zh) | 基于三维全卷积神经网络的结构磁共振图像去噪方法 | |
| CN108122197A (zh) | 一种基于深度学习的图像超分辨率重建方法 | |
| CN106204449A (zh) | 一种基于对称深度网络的单幅图像超分辨率重建方法 | |
| CN110060204B (zh) | 一种基于可逆网络的单一图像超分辨率方法 | |
| CN101950365A (zh) | 基于ksvd字典学习的多任务超分辨率图像重构方法 | |
| Hu et al. | Pseudo 3D auto-correlation network for real image denoising | |
| Zhang et al. | Accurate and efficient image super-resolution via global-local adjusting dense network | |
| CN105513033B (zh) | 一种非局部联合稀疏表示的超分辨率重建方法 | |
| US20230153946A1 (en) | System and Method for Image Super-Resolution | |
| CN112215755A (zh) | 一种基于反投影注意力网络的图像超分辨率重建方法 | |
| CN111626927A (zh) | 采用视差约束的双目图像超分辨率方法、系统及装置 | |
| CN109920013A (zh) | 基于渐进式卷积测量网络的图像重构方法及装置 | |
| CN108492270A (zh) | 一种基于模糊核估计和变分重构的超分辨率方法 | |
| Cui et al. | Deep neural network based sparse measurement matrix for image compressed sensing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |