CN112288714A - 基于深度学习的硬件木马检测方法 - Google Patents
基于深度学习的硬件木马检测方法 Download PDFInfo
- Publication number
- CN112288714A CN112288714A CN202011173241.8A CN202011173241A CN112288714A CN 112288714 A CN112288714 A CN 112288714A CN 202011173241 A CN202011173241 A CN 202011173241A CN 112288714 A CN112288714 A CN 112288714A
- Authority
- CN
- China
- Prior art keywords
- chip
- microscopic image
- image
- training
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 37
- ZXQYGBMAQZUVMI-GCMPRSNUSA-N gamma-cyhalothrin Chemical compound CC1(C)[C@@H](\C=C(/Cl)C(F)(F)F)[C@H]1C(=O)O[C@H](C#N)C1=CC=CC(OC=2C=CC=CC=2)=C1 ZXQYGBMAQZUVMI-GCMPRSNUSA-N 0.000 title claims abstract description 36
- 238000013135 deep learning Methods 0.000 title claims abstract description 6
- 238000012549 training Methods 0.000 claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 17
- 230000011218 segmentation Effects 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 24
- 125000004122 cyclic group Chemical group 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 230000000877 morphologic effect Effects 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 238000012896 Statistical algorithm Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims 1
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 230000003247 decreasing effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000001000 micrograph Methods 0.000 description 2
- 238000005498 polishing Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 241001522296 Erithacus rubecula Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002224 dissection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011990 functional testing Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
Abstract
本发明公开了一种基于深度学习的硬件木马检测方法，主要解决现有方法成本高、漏检率高和效率低的问题。其方案是：采集图像集，并构建两个训练集；采集待检测图像集；用第一训练集对残差通道注意力网络进行训练，用第二训练集对循环一致性生成对抗网络进行训练，将待检测图像集中的显微图像依次送入训练好的残差通道注意力网络和循环一致性生成对抗网络，得到与母版微观图像同源的图像；对与母版微观图像同源的图像及对应的母版微观图像进行增强并对增强后的图像进行二值化分割和去噪；对去噪后图像进行连通区域标记并对其进行异或运算，运算结果为1的区域为硬件木马。本发明检测方精度更高，速度更快，且操作更简易，可用于集成电路芯片的制备。
Description
技术领域
本发明属于图像处理技术领域，更进一步涉及一种硬件木马检测方法，可用于集成电路芯片的制备。
背景技术
随着集成电路芯片的设计制造技术的迅猛发展，日益普及的第三方技术服务一方面降低了芯片厂商的成本，缩短了其投入市场的周期，另一方面却增加了芯片安全性能方面的风险，降低了集成电路的可靠性。在经济全球化的条件下，集成电路芯片从设计到制造成型的过程中都容易被恶意方添加一些不属于原始设计规格的、额外的恶意电路逻辑单元，也被称之为"硬件木马"。
为了降低使用芯片携带"硬件木马"的风险，研究者们提出了不同的硬件木马检测技术来检测该类恶意设计制造的电路结构。传统的木马检测方法包括旁路分析和功能测试，这两种检测方法都是通过电信号来检测潜在的硬件木马。但在实际检测过程中，基于电信号的硬件木马检测方法存在两个问题：一是由于硬件木马的高隐蔽性及低激活性而难以被实际检测出来；二是难以实现对芯片全覆盖检测。为了解决传统硬件木马检测的问题，研究者们利用先进的光学成像系统提出了一类基于逆向工程的硬件木马检测方法。该方法直接从待检测芯片样本中随机抽取若干样本，通过对芯片的逐层解剖与拆分，将芯片底层的电路硅片完全暴露出来；然后通过显微镜成像设备对芯片硅片表面进行图像采集，获得芯片各块的细节图像，通过图像配准技术将各层图像拼接成完整图像；再利用特有的逆向分析工具把各区域的照片整合成完整的芯片图像；最后利用电路分析软件系统把原来的芯片结构样图与组合后的样式图进行同规格的切割，再把切割后的图像进行对比检查找出图像可见的异常区域，标记为硬件木马。这种基于光学方法和逆向检测技术的硬件木马检测方法虽然能够对芯片实现百分之百的全覆盖检测以及具有较高的检测精度，但对成像质量要求比较高，即需要高分辨的芯片显微图像。另一方面，使用该方法样本芯片中必须存在无硬件木马的芯片显微图像，否则，无法进行有效分类并最终识别芯片是否携带硬件木马。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种基于深度学习的硬件木马检测方法，以在无需高分辨率芯片显微图像的情况下，实现对硬件木马的检测。
为实现上述目的，本发明的技术方案包括如下：
(1)采集得到低分辨率芯片显微图像集W，高分辨率芯片显微图像集X以及母版微观图像集Y，并将低分辨率芯片显微图像集W和高分辨率芯片显微图像集X作为第一训练集，将高分辨率芯片显微图像集X以及对应的母版微观图像集Y作为第二训练集；
(2)采集待检测芯片的低分辨率显微图像集P及待检测芯片对应的母版微观图像集R；
(3)用第一训练集对残差通道注意力网络进行训练，得到训练好的残差通道注意力网络模型；
(4)用第二训练集对循环一致性生成对抗网络进行训练，得到训练好的循环一致性生成对抗网络模型；
(5)将低分辨率的待检测芯片显微图像集为P输入到训练好的残差通道注意力模型中，得到高分辨率的待检测芯片显微图像集Q，再将高分辨率的待检测芯片显微图像集Q输入到训练好的循环一致性生成对抗网络中，得到与母版微观图像同源的芯片显微图像集Z；
(6)对待检测芯片对应的母版微观图像集为R及与母版微观图像同源的芯片显微图像集Z进行图像增强；
(7)通过最大类间方差法对增强后的芯片显微图像和母版微观图像进行二值化分割，分别得到两种图像的目标区域和背景；
(8)对芯片显微图像的目标区域和母版微观图像的目标区域依次进行异或运算及形态学操作，以去除比芯片结构元素小的噪声部分；
(9)通过连通区域统计算法对去噪后芯片显微图像目标区域的每块连通区域和母版微观图像目标区域的每块连通区域分别进行标记；
(10)将连通区域标记后的芯片显微图像与母版微观图像进行异或运算，异或结果为1的部分即为硬件木马，完成硬件木马的检测。
本发明相比于现有技术具有如下优点：
1.本发明通过深度学习算法对采集得到芯片显微图像及完整的母版微观图像进行处理和比对，实现了对芯片显微图像百分之百的全覆盖检测，与传统的硬件木马检测技术相比，大大降低了硬件木马漏检率；
2.本发明通过残差通道注意力网络学习芯片显微图像的深层特征，提高了低分辨率芯片显微图像的分辨率，得到高分辨率芯片显微图像，降低了获取芯片显微图像的成本，节约了大量人力物力；
3.本发明通过循环一致性生成对抗网络学习母版微观图像中的器件布局特征、器件存在形态特征，使得芯片显微图像转换为与母版微观图像同源的图像，实现了在无母本芯片显微图像下的硬件木马检测；
附图说明
图1为本发明的实现总流程图；
图2为本发明中用于训练的低分辨率芯片显微图像；
图3为本发明中用于训练的高分辨率芯片显微图像；
图4为本发明中用于训练的母版微观图像；
图5为现有的循环一致性生成对抗网络架构图。
具体实施方式
参照图1，本发明的具体实施步骤如下：
步骤1：采集低分辨率芯片显微图像集W，高分辨率芯片显微图像集X以及对应的母版微观图像集Y，构建训练集。
1.1)从芯片中提取出裸片，对其进行化学处理，从而剥离出裸片的每一层，再将每层裸片打磨到光滑后，由扫描电子显微镜的800倍透镜和1600倍透镜分别拍摄获得完整的低分辨率芯片显微图像及完整的高分辨率芯片显微图像；
1.2)解析与1.1)中芯片对应的母本芯片的IP核，得到完整的母版微观图像；
1.3)通过滑窗截取完整的低分辨率芯片显微图像、完整的高分辨率芯片显微图像和完整的母版微观图像，其中低分辨率芯片显微图像如图2所示，高分辨率芯片显微图像如图3所示，母版微观图像如图4所示，得到低分辨率芯片显微图像集W，高分辨率芯片显微图像集X以及对应的母版微观图像集Y。
1.4)将低分辨率芯片显微图像集W和高分辨率芯片显微图像集X作为第一训练集，将高分辨率芯片显微图像集X以及对应的母版微观图像集Y作为第二训练集。
步骤2：采集待检测芯片的低分辨率显微图像集P及待检测芯片对应的母版微观图像集R。
2.1)从待检测芯片中提取出裸片，对其进行化学处理，从而剥离出裸片的每一层，再将每层裸片打磨到光滑后，由扫描电子显微镜的800倍透镜拍摄获得待检测芯片的完整低分辨率显微图像；
2.2)解析与待检测芯片对应的母本芯片的IP核，得到待检测芯片对应的完整母版微观图像；
2.3)通过滑窗截取待检测芯片的完整低分辨率显微图像和待检测芯片对应的完整母版微观图像，得到待检测芯片的低分辨率显微图像集P及待检测芯片对应的母版微观图像集R。
步骤3：用第一训练集对残差通道注意力网络进行训练，得到训练好的残差通道注意力网络模型。
(3.1)输入第一训练集并设置使用Adam优化算法优化网络，其中β1设置为0.9，β2设置为0.999，∈设置为10-8，最大迭代次数设为2×105；
(3.2)对残差通道注意力网络所包含的初始特征提取模块、残差中的残差结构、上采样块和重建模块进行参数设置：
所述初始特征提取模块，包括1个卷积层，设该卷积层的卷积核大小设置为3×3；
所述残差中的残差结构中包含10个残差组，每个残差组包含20个残差通道注意力块，每个残差通道注意力块中包括预处理模块和通道注意力模块，预处理模块中包括2个卷积层和1个ReLU层，其中，卷积层的卷积核大小设置为3×3；通道注意力中包含全局平均池化层，通道下采样，ReLU层，通道上采样和Sigmoid层，其中通道下采样和通道上采样中各包含1个卷积层，其卷积核大小均为1×1；
所述上采样块使用亚像素卷积神经网络，以提高分辨率；
所述重建模块包含1个卷积层，卷积核大小设置为3×3；
(3.3)设置残差通道注意力网络损失函数L1：
其中，l为第一训练集的对数，fRCAN(·)表示残差通道注意力网络，wk和xk分别表示低分辨率芯片显微图像集W和高分辨率芯片显微图像集X中任意一副图像；
(3.4)根据反向传播中所产生的误差对各个卷积层的权重进行迭代更新，使得损失函数不断减小，直到损失函数收敛时，结束训练，得到残差通道注意力网络。
步骤4：用第二训练集对循环一致性生成对抗网络进行训练，得到训练好的循环一致性生成对抗网络模型。
参照图5，本步骤的实现如下：
(4.1)输入第二训练集并设置使用Adam优化算法优化网络，其中β1设置为0.9，β2设置为0.999，∈设置为10-8，学习率设置为0.0002；
(4.2)对包含生成器与判决器的循环一致性生成对抗网络进行参数设置：
(4.2.1)设生成器中编码器第一层的卷积核大小为7×7×3,步幅大小为1×1×3，第二层的卷积核大小为3×3×3，步幅为2×2×3，第三层卷积核的大小为1×1×1,步幅为4×4×3，设置生成器中的转换器使用六层Resnet模块，设置生成器中的解码器使用反卷积层；
(4.2.2)设置判决器使用一个卷积层，卷积核大小为3×3×3；
(4.3)设循环一致性生成对抗网络进行训练时的总损失函数为L(G,F,Dx,Dy)，其中G、F为生成器，Dx、Dy为判决器；
(4.3.1)将高分辨率芯片显微图像数据集X作为生成器G的输入，生成母版微观图像模式下的芯片显微图像数据集
将母版微观图像数据集Y作为真数据集，设
与Y之间的损失函数为LGAN(G,Dy,X,Y)：
LGAN(G,Dy,X,Y)＝logDy(y)+log(1-Dy(G(x)))，
其中，x和y分别为高分辨率芯片显微图像数据集X和母版微观图像数据集Y的任意一副图像；
(4.3.2)将母版微观图像数据集Y作为生成器F的输入，生成芯片显微图像模式下的母版微观图像数据集
将高分辨率芯片显微图像数据集X作为真数据集，设
与X之间的损失函数为LGAN(F,Dx,Y,X)：
LGAN(F,Dx,Y,X)＝logDx(x)+log(1-Dx(F(y)))
其中，x和y分别为高分辨率芯片显微图像数据集X和母版微观图像数据集Y的任意一副图像；
(4.3.3)将高分辨率芯片显微数据集X作为生成器G的输入，生成母版微观图像模式下的芯片显微图像数据集
再将母版微观图像模式下的芯片显微图像数据集
作为生成器F的输入，得到假数据集
设
与X之间的损失函数为Lcyc(G,F)
Lcyc(G,F)＝||F(G(x))-x||1
其中，x和y分别为高分辨率芯片显微图像数据集X和母版微观图像数据集Y的任意一副图像；
(4.3.4)将(4.3.1)、(4.3.2)和(4.3.3)中的三个损失函数进行相加，组成循环一致性生成对抗网络的损失函数L(G,F,Dx,Dy)：
L(G,F,Dx,Dy)＝LGAN(G,Dy,X,Y)+LGAN(F,Dx,Y,X)+λLcyc(G,F)，
其中，λ为加权因子，用于控制损失函数Lcyc(G,F)在损失函数L(G,F,Dx,Dy)中的权重；
(4.4)根据反向传播中所产生的误差对卷积层的权值进行迭代更新，使得损失函数L(G,F,Dx,Dy)不断减小，直到其收敛时，结束训练，得到循环一致性生成对抗网络。
步骤5：获取待检测芯片的高分辨率显微图像集Q和与母版微观图像同源的芯片显微图像集Z
(5.1)将待检测芯片的低分辨率显微图像集P输入到训练好的残差通道注意力模型中，学习芯片显微图像的深层特征，得到待检测芯片的高分辨率显微图像集Q；
(5.2)将高分辨率显微图像集Q输入到训练好的循环一致性生成对抗网络中，学习母版微观图像的器件布局特征和器件存在的形态特征，得到与母版微观图像同源的芯片显微图像集Z。
步骤6：对待检测芯片对应的母版微观图像集为R及与母版微观图像同源的芯片显微图像集Z进行图像增强。
(6.1)设待检测芯片对应的母版微观图像集为R及与母版微观图像同源的芯片显微图像集Z中任意一副图像的灰度值函数为f(x,y)，(x,y)为像素点，分别计算图像在x方向上的二阶偏微分和在y方向上的二阶偏微分：
(6.2)计算图像x方向二阶偏微分与y方向二阶偏微分之和
(6.3)根据x方向二阶偏微分与y方向二阶偏微分之和
以及原图像f(x,y)计算得到增强后的图像g(x,y)：
步骤7：通过最大类间方差法对增强后的芯片显微图像和母版微观图像进行二值化分割，分别得到两种图像的目标区域和背景。
(7.1)设C1是灰度级为[0,1,2,...,k]的第一组像素，C2是灰度级为[k+1,...,L-1]的第二组像素，k的取值范围为[0,L-1]，L为最高灰度级；
将每幅图像的类间方差表示为：
其中，P1(k)是第一组像素C1发生的概率，P2(k)第二组像素C2发生的概率，m1(k)和m2(k)分别是第一组像素C1和第二组像素C2中像素的平均灰度值，mG是整个图像的平均灰度值；
(7.2)令k在[0,L-1]范围内依次取值，当k的取值使类间方差最大时，目标区域与背景的区分达到最大，完成图像的目标区域与背景的二值化分割。
步骤8：去除芯片显微图像的目标区域和母版微观图像的目标区域的噪声。
(8.1)对芯片显微图像的目标区域和母版微观图像进行异或运算；
(8.2)对异或运算的结果进行形态学中的开运算，去除微小结构，完成图像去噪。
步骤9：通过连通区域统计算法对去噪后芯片显微图像目标区域的每块连通区域和母版微观图像目标区域的每块连通区域分别进行标记。
(9.1)逐行扫描芯片显微图像和母版微观图像，把每一行中连续的目标区域像素组成一个序列，称为一个团，并记下其所在的行号；
(9.2)给第一行的所有团分别赋予标号；
(9.3)对除第一行外的所有行的团进行标记：
如果当前团与上一行中的所有团都没有重合区域，则赋予其一个新的标号；如果当前团与上一行中一个团有重合区域，则将该团的标号赋给它；
如果当前团与上一行的两个以上的团有重叠区域，则将与其重叠的团中最小标号赋给当前团；
(9.4)将每个团的标号填入正在处理的图像中，并用相同标号的团构成连通区域，完成连通区域的标记。
步骤10：找到硬件木马所在区域。
将连通区域标记后的芯片显微图像与母版微观图像进行异或运算，异或结果为1的部分即为硬件木马，完成硬件木马的检测。
本发明的效果可以通过以下仿真实验做进一步的说明
1.仿真条件
本发明实验环境为：windows10，ubuntu14.0，NVIDIA GEFORCE 820M,lua,torch,matlab。
2.仿真内容
将采集的图像随机截取大小不一致的块，记为block1,block2,…,block10，进行如下实验：
使用本发明对截取的块进行硬件木马的检测，其结果用sr+ge表示；
通过直接对芯片显微图像与母本版图进行异或运算，进行硬件木马的检测，其结果用non表示；
去除本发明中循环一致性生成对抗网络部分，对截取的块进行硬件木马的检测，其结果用sr表示；
去除本发明中残差通道注意力网络部分，对截取的块进行硬件木马的检测，其结果用ge表示；
检测结果如表1所示，其中，ta代表芯片中增加的电路模块，td代表芯片中减少的电路模块。通过人工标注的结果中，芯片中增加的电路模块数用TA来表示，芯片中减少的电路模块用TD来表示。
表1硬件木马检测结果
由表1的结果可知，在不使用本发明的情况下，直接通过芯片显微图像与母本版图之间异或运算检测的结果正确率均低于0.8，其中增加模块的正检率为0.793，减少模块的正检率为0.731。通过本发明，即用残差通道注意力网络和循环一致性生成对抗网络组合的测试结果普遍高于不使用或单独使用这两个网络的结果，且正检率平均检测结果均高于0.9，其中增加模块的正检率为0.905，减少模块的正检率为0.924。由以上实验，验证了本发明的有效性，即本发明能很好的适用于芯片安全检测并能够获得更高的正检率。
Claims (6)
1.基于深度学习的硬件木马检测方法，其特征在于，包括如下：
(1)采集低分辨率芯片显微图像集W，高分辨率芯片显微图像集X以及母版微观图像集Y，并将低分辨率芯片显微图像集W和高分辨率芯片显微图像集X作为第一训练集，将高分辨率芯片显微图像集X以及对应的母版微观图像集Y作为第二训练集；
(2)采集待检测芯片的低分辨率显微图像集P及待检测芯片对应的母版微观图像集R；
(3)用第一训练集对残差通道注意力网络进行训练，得到训练好的残差通道注意力网络模型；
(4)用第二训练集对循环一致性生成对抗网络进行训练，得到训练好的循环一致性生成对抗网络模型；
(5)将低分辨率的待检测芯片显微图像集为P输入到训练好的残差通道注意力模型中，得到高分辨率的待检测芯片显微图像集Q，再将高分辨率的待检测芯片显微图像集Q输入到训练好的循环一致性生成对抗网络中，得到与母版微观图像同源的芯片显微图像集Z；
(6)对待检测芯片对应的母版微观图像集为R及与母版微观图像同源的芯片显微图像集Z进行图像增强；
(7)通过最大类间方差法对增强后的芯片显微图像和母版微观图像进行二值化分割，分别得到两种图像的目标区域和背景；
(8)对芯片显微图像的目标区域和母版微观图像的目标区域依次进行异或运算及形态学操作，以去除比芯片结构元素小的噪声部分；
(9)通过连通区域统计算法对去噪后芯片显微图像目标区域的每块连通区域和母版微观图像目标区域的每块连通区域分别进行标记；
(10)将连通区域标记后的芯片显微图像与母版微观图像进行异或运算，异或结果为1的部分即为硬件木马，完成硬件木马的检测。
2.根据权利要求1所述的方法，其特征在于，(3)中用第一训练集对残差通道注意力网络进行训练，得到训练好的残差通道注意力网络模型，其实现如下：
(3a)输入第一训练集并设置使用Adam优化算法优化网络，其中β1设置为0.9，β2设置为0.999，∈设置为10-8，最大迭代次数设为2×105；
(3b)对残差通道注意力网络所包含的初始特征提取模块、残差中的残差结构、上采样块和重建模块进行参数设置：
(3b1)初始特征提取模块中的卷积层的大小设置为3×3；
(3b2)设置残差中的残差结构参数：
所述残差中的残差结构中，包含10个残差组，每个残差组包含20个残差通道注意力块，设每个残差通道注意力块的通道下采样和通道上采样卷积核均为1×1，其余卷积层的卷积核大小设置为3×3；
(3b3)设置上采样块使用亚像素卷积神经网络，以提高分辨率；
(3b4)设置重建模块的卷积核大小设置为3×3；
(3c)设置残差通道注意力网络损失函数L1：
其中，l为第一训练集的对数，fRCAN(·)表示残差通道注意力网络，wk和xk分别表示低分辨率芯片显微图像集W和高分辨率芯片显微图像集X中任意一副图像；
(3d)根据反向传播中的误差对训练参数进行迭代更新，使得损失函数不断减小，直到损失函数收敛时，结束训练，得到残差通道注意力网络。
3.根据权利要求1所述的方法，其特征在于，(4)中用第二训练集对循环一致性生成对抗网络进行训练，得到训练好的循环一致性生成对抗网络模型，其实现如下：
(4a)输入第二训练集并设置使用Adam优化算法优化网络，其中β1设置为0.9，β2设置为0.999，∈设置为10-8，学习率设置为0.0002；
(4b)对包含生成器与判决器的循环一致性生成对抗网络进行参数设置：
(4b1)设生成器中编码器第一层的卷积核大小为7×7×3,步幅大小为1×1×3，第二层的卷积核大小为3×3×3，步幅为2×2×3，第三层卷积核的大小为1×1×1,步幅为4×4×3，设置生成器中的转换器使用六层Resnet模块，设置生成器中的解码器使用反卷积层；
(4b2)设置判决器使用一个卷积层，卷积核大小为3×3×3；
(4c)设循环一致性生成对抗网络进行训练时的总损失函数为L(G,F,Dx,Dy)，其中G、F为生成器，Dx、Dy为判决器；
(4c1)将高分辨率芯片显微图像数据集X作为生成器G的输入，生成母版微观图像模式下的芯片显微图像数据集
将母版微观图像数据集Y作为真数据集，设
与Y之间的损失函数为LGAN(G,Dy,X,Y)；
(4c2)将母版微观图像数据集Y作为生成器F的输入，生成芯片显微图像模式下的母版微观图像数据集
将高分辨率芯片显微图像数据集X作为真数据集，设
与X之间的损失函数为LGAN(F,Dx,Y,X)；
(4c3)将高分辨率芯片显微集X作为生成器G的输入，生成母版微观图像模式下的芯片显微图像数据集
再将母版微观图像模式下的芯片显微图像数据集
作为生成器F的输入，得到假数据集
设
与X之间的损失函数为Lcyc(G,F)；
(4c4)将(4c1)、(4c2)和(4c3)中的三个损失函数进行相加，组成循环一致性生成对抗网络的损失函数L(G,F,Dx,Dy)：
L(G,F,Dx,Dy)＝LGAN(G,Dy,X,Y)+LGAN(F,Dx,Y,X)+λLcyc(G,F)，
其中，λ为加权因子，用于控制损失函数Lcyc(G,F)在损失函数L(G,F,Dx,Dy)中的权重；
(4d)根据反向传播中所产生的误差对训练参数进行迭代更新，使得损失函数L(G,F,Dx,Dy)不断减小，直到其收敛时，结束训练，得到循环一致性生成对抗网络。
4.根据权利要求1所述的方法，其特征在于，(6)中对待检测芯片对应的母版微观图像集为R及与母版微观图像同源的芯片显微图像集Z进行图像增强，其实现如下：
(6a)设待检测芯片对应的母版微观图像集为R及与母版微观图像同源的芯片显微图像集Z中任意一副图像的灰度值函数为f(x,y)，(x,y)为像素点，分别计算图像在x方向上的二阶偏微分和在y方向上的二阶偏微分：
(6b)计算图像x方向二阶偏微分与y方向二阶偏微分之和
(6c)根据x方向二阶偏微分与y方向二阶偏微分之和
以及原图像f(x,y)计算得到增强后的图像g(x,y)：
5.根据权利要求1所述的方法，其特征在于，(7)中通过最大类间方差法对增强后的芯片显微图像和母版微观图像进行二值化分割，其实现如下：
(7a)设C1是灰度级为[0,1,2,...,k]的第一组像素，C2是灰度级为[k+1,...,L-1]的第二组像素，k的取值范围为[0,L-1]，将每幅图像的类间方差表示为：
其中，P1(k)是第一组像素C1发生的概率，P2(k)是第二组像素C2发生的概率，m1(k)和m2(k)分别是第一组像素C1和第二组像素C2中像素的平均灰度值，mG是整个图像的平均灰度值；
(7b)令k在[0,L-1]范围内依次取值，当k的取值使类间方差最大时，目标区域与背景的区分达到最大，完成图像的目标区域与背景的二值化分割。
6.根据权利要求1所述的方法，其特征在于，(9)中通过连通区域统计算法对去噪后芯片显微图像目标区域的每块连通区域和母版微观图像目标区域的每块连通区域分别进行标记，其实现如下：
(9a)逐行扫描芯片显微图像和母版微观图像，把每一行中连续的目标区域像素组成一个序列，称为一个团，并记下其所在的行号；
(9b)给第一行的所有团分别赋予标号；
(9c)对除第一行外的所有行的团进行标记：
如果当前团与上一行中的所有团都没有重合区域，则赋予其一个新的标号；
如果当前团与上一行中一个团有重合区域，则将该团的标号赋给它；
如果当前团与上一行的两个以上的团有重叠区域，则将与其重叠的团中最小标号赋给当前团；
(9d)将每个团的标号填入正在处理的图像中，并用相同标号的团构成连通区域，完成连通区域的标记。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011173241.8A CN112288714B (zh) | 2020-10-28 | 2020-10-28 | 基于深度学习的硬件木马检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011173241.8A CN112288714B (zh) | 2020-10-28 | 2020-10-28 | 基于深度学习的硬件木马检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112288714A true CN112288714A (zh) | 2021-01-29 |
| CN112288714B CN112288714B (zh) | 2022-12-27 |
Family
ID=74373615
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011173241.8A Active CN112288714B (zh) | 2020-10-28 | 2020-10-28 | 基于深度学习的硬件木马检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112288714B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114723608A (zh) * | 2022-04-14 | 2022-07-08 | 西安电子科技大学 | 基于流体粒子网络的图像超分辨率重建方法 |
| CN114757930A (zh) * | 2022-04-26 | 2022-07-15 | 西安电子科技大学 | 基于热传递的芯片硬件木马检测方法 |
| CN116257852A (zh) * | 2023-03-21 | 2023-06-13 | 西安电子科技大学 | 基于差分曲率的芯片硬件木马检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
| US20200111194A1 (en) * | 2018-10-08 | 2020-04-09 | Rensselaer Polytechnic Institute | Ct super-resolution gan constrained by the identical, residual and cycle learning ensemble (gan-circle) |
| CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
| CN111476717A (zh) * | 2020-04-07 | 2020-07-31 | 西安电子科技大学 | 基于自注意力生成对抗网络的人脸图像超分辨重建方法 |
-
2020
- 2020-10-28 CN CN202011173241.8A patent/CN112288714B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200111194A1 (en) * | 2018-10-08 | 2020-04-09 | Rensselaer Polytechnic Institute | Ct super-resolution gan constrained by the identical, residual and cycle learning ensemble (gan-circle) |
| CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
| CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
| CN111476717A (zh) * | 2020-04-07 | 2020-07-31 | 西安电子科技大学 | 基于自注意力生成对抗网络的人脸图像超分辨重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 刘志强等: "一种深度学习的硬件木马检测算法", 《西安电子科技大学学报》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114723608A (zh) * | 2022-04-14 | 2022-07-08 | 西安电子科技大学 | 基于流体粒子网络的图像超分辨率重建方法 |
| CN114723608B (zh) * | 2022-04-14 | 2023-04-07 | 西安电子科技大学 | 基于流体粒子网络的图像超分辨率重建方法 |
| CN114757930A (zh) * | 2022-04-26 | 2022-07-15 | 西安电子科技大学 | 基于热传递的芯片硬件木马检测方法 |
| CN116257852A (zh) * | 2023-03-21 | 2023-06-13 | 西安电子科技大学 | 基于差分曲率的芯片硬件木马检测方法 |
| CN116257852B (zh) * | 2023-03-21 | 2023-11-14 | 西安电子科技大学 | 基于差分曲率的芯片硬件木马检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112288714B (zh) | 2022-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112288714B (zh) | 基于深度学习的硬件木马检测方法 | |
| Maeda et al. | Generative adversarial network for road damage detection | |
| CN109035149B (zh) | 一种基于深度学习的车牌图像去运动模糊方法 | |
| US11756182B2 (en) | Pattern grouping method based on machine learning | |
| US20210334946A1 (en) | Method and system for classifying defects in wafer using wafer-defect images, based on deep learning | |
| CN111028327B (zh) | 一种三维点云的处理方法、装置及设备 | |
| CN112001218B (zh) | 一种基于卷积神经网络的三维颗粒类别检测方法及系统 | |
| CN114627383B (zh) | 一种基于度量学习的小样本缺陷检测方法 | |
| CN115239719A (zh) | 缺陷检测方法、系统、电子设备及存储介质 | |
| CN111914720B (zh) | 一种输电线路绝缘子爆裂识别方法及装置 | |
| CN116258707A (zh) | 一种基于改进的YOLOv5算法的PCB表面缺陷检测方法 | |
| CN112037221B (zh) | 宫颈癌tct切片阳性细胞检测模型多域共适应训练方法 | |
| CN115880298A (zh) | 一种基于无监督预训练的玻璃表面缺陷检测方法及系统 | |
| CN114897782B (zh) | 基于生成式对抗网络的胃癌病理切片图像分割预测方法 | |
| CN115376003A (zh) | 基于U-Net网络及CBAM注意力机制的路面裂缝分割方法 | |
| CN113362277A (zh) | 一种基于深度学习的工件表面缺陷检测和分割方法 | |
| CN114332008A (zh) | 一种基于多层次特征重构的无监督缺陷检测与定位方法 | |
| CN114972759A (zh) | 基于分级轮廓代价函数的遥感图像语义分割方法 | |
| CN110135428B (zh) | 图像分割处理方法和装置 | |
| CN111652288B (zh) | 一种基于稠密特征金字塔的改进型ssd小目标检测方法 | |
| CN111210398A (zh) | 基于多尺度池化的白细胞识别系统 | |
| Fujishiro et al. | Minimization of CNN training data by using data augmentation for inline defect classification | |
| CN111325724A (zh) | 隧道裂纹区域检测方法和装置 | |
| CN116030076A (zh) | 基于因果推理的隧道点云多目标分割集成方法及系统 | |
| CN113177602B (zh) | 图像分类方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |