CN114757930B - 基于热传递的芯片硬件木马检测方法 - Google Patents
基于热传递的芯片硬件木马检测方法 Download PDFInfo
- Publication number
- CN114757930B CN114757930B CN202210450551.2A CN202210450551A CN114757930B CN 114757930 B CN114757930 B CN 114757930B CN 202210450551 A CN202210450551 A CN 202210450551A CN 114757930 B CN114757930 B CN 114757930B
- Authority
- CN
- China
- Prior art keywords
- chip
- layer
- image
- images
- suspicious
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- ZXQYGBMAQZUVMI-GCMPRSNUSA-N gamma-cyhalothrin Chemical compound CC1(C)[C@@H](\C=C(/Cl)C(F)(F)F)[C@H]1C(=O)O[C@H](C#N)C1=CC=CC(OC=2C=CC=CC=2)=C1 ZXQYGBMAQZUVMI-GCMPRSNUSA-N 0.000 title claims abstract description 48
- 238000012546 transfer Methods 0.000 title claims abstract description 41
- 238000001514 detection method Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 27
- 230000008569 process Effects 0.000 claims abstract description 17
- 238000012360 testing method Methods 0.000 claims abstract description 17
- 239000010410 layer Substances 0.000 claims description 191
- 230000004913 activation Effects 0.000 claims description 59
- 238000005070 sampling Methods 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 15
- 238000013135 deep learning Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000005520 cutting process Methods 0.000 claims description 6
- 230000000877 morphologic effect Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000000227 grinding Methods 0.000 claims description 3
- 239000002184 metal Substances 0.000 claims description 3
- 230000003321 amplification Effects 0.000 claims description 2
- 238000004043 dyeing Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 claims description 2
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 claims description 2
- 239000002344 surface layer Substances 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims 1
- 230000008439 repair process Effects 0.000 abstract description 2
- 230000008859 change Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 235000013619 trace mineral Nutrition 0.000 description 8
- 239000011573 trace mineral Substances 0.000 description 8
- 238000013461 design Methods 0.000 description 6
- 238000004088 simulation Methods 0.000 description 6
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 239000002245 particle Substances 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000012512 characterization method Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000001000 micrograph Methods 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于热传递的芯片硬件木马检测方法，实现步骤为：(1)获取训练样本集和测试样本集；(2)构建热传递的超分网络模型O；(3)对热传递的超分网络模型O进行迭代训练；(4)获取图像重建结果；(5)获取芯片硬件木马检测结果。本发明在对热传递的超分网络模型进行训练以及获取图像重建结果的过程中，基于PVFE的块可以保留和修复边缘信息，离散小波变换残差网络可以获取图像中的高频信息，从而为重建图像提供更多的电路信息，从而更好地重构芯片中的小电路结构，将其应用到重新设计的硬件木马检测系统中，可以获得比其他SR方法更高的硬件木马检测率，且费用和时间都是原来的1/16。
Description
技术领域
本发明属于图像处理技术领域，涉及一种硬件木马检测方法，具体涉及一种基于热传递的芯片硬件木马检测方法，用于在硬件木马检测系统中检测电路中是否嵌入了硬件木马，并确定硬件木马的位置。
背景技术
随着集成电路(IC)技术和半导体技术的发展，芯片产业备受关注。芯片作为电子设备的核心，在处理任务中始终起着主导作用。为了节约生产成本，一些第三方制造商生产了不符合原始设计的劣质芯片。此外，一些人在制造过程中恶意添加一些电路或改变电路结构，以达到控制设备的目的。这些意外的电路称为硬件木马(HT)，可以远程操作设备。如果集成电路感染了硬件木马，其功能和特性将发生变化，从而导致信息泄漏和系统瘫痪等。由于系统崩溃通常是由于软件攻击造成的，当系统受损时，很难认识到原因是硬件木马。针对这一问题，研究人员提出了一些硬件木马检测技术来检测这些意外的电路结构。逻辑功能测试方法通过生成尽可能多的激活向量来检测芯片中的硬件木马。但它需要生成足够的向量来激活硬件木马。侧通道分析收集可疑芯片的功耗、路径延迟或电磁辐射等旁路信息，然后将得到的参数与标准芯片的参数进行比较，判断可疑芯片中是否嵌入了硬件木马。侧信道分析中采集的功率和时延信息受多种因素的影响，很难判断检测到的异常是硬件木马还是信号抖动等因素造成的。为了克服上述困难，反向工程检测方法追溯根，得到具有具体形式的芯片布局，然后与标准布局进行对比。但是它受到某些使用场景的限制。一般的逆向工程系统需要原始的设计文件进行比较，但大多数第三方制造商不公布核心布局设计文件。布局或设计文件必须由扫描电子显微镜(SEM)拍摄的显微镜芯片图像生成。因此，提出了一种方便的显微镜芯片图像逆向工程检测系统的要求，通过直接使用普通芯片图像而不是设计文件进行对比。一旦通过比较标准芯片和可疑芯片的显微镜图像来检测HT，显微镜芯片图像的质量对HT检测至关重要。显微镜芯片图像中集成电路的边缘往往决定了高温检测的准确性。图像超分辨率重建技术是将低分辨率(LR)图像转换为高分辨率(HR)图像，可以提高图像质量。但现有的方法无法重建小电子元件在显微镜芯片图像中的细节和边缘。因为它们主要是从增加层数和块数的角度对网络进行改进。
北京数缘科技有限公司在其申请的专利文献“一种侧信道检测硬件木马的方法、装置及计算机”(专利申请号：202111367036.X，申请公布号为：CN 114021126A)中，公开了一种侧信道检测硬件木马的方法，该方法包括：采集待测试芯片对应的能量迹数据；将待测试芯片对应的能量迹数据输入预先完成训练的生成器，得到重建的能量迹数据；计算重建的能量迹数据与待测试芯片对应的能量迹数据的差异结果，若差异结果超过预设异常分数阈值，则判定待测试芯片中含有硬件木马。该发明能够更好地适应有效指令较少且能量迹的特征无法预知的情况，降低错误选择参数带来的影响；能够更好地避免单一异常能量迹对邻近能量迹的误判。但其忽略了特征图像的时间相关性，从而限制了木马检测精度的进一步提升。
发明内容
本发明的目的在于克服上述现有技术存在的缺陷，提出了一种基于热传递的芯片硬件木马检测的方法，旨在充分考虑特征图像的时间和空间的相关性，提高网络的特征提取能力，使重建图像可以很好地保留边缘细节。
为实现上述目的，本发明采取的技术方案包括以下步骤：
(1)获取训练样本集和测试样本集：
(1a)获取标准芯片图像K幅和待检测的可疑芯片图像K幅，并对2K幅芯片图像进行预处理，对处理后的每幅芯片图像进行1/4降采样，得到降采样后的2K幅芯片图像，其中，K≥1000；
(1b)将每幅芯片图像裁剪为大小为H×H的图像块，同时将该幅芯片图像对应的降采样后的芯片图像裁剪为大小为
的图像块，并将每幅芯片图像裁剪的图像块作为对应的降采样后裁剪的图像块的标签，然后随机选取其中N个降采样后的标准芯片图像及其标签以及N个降采样后的待检测的可疑芯片图像及其标签组成训练样本集R1，将剩余降采样后的标准芯片图像及其标签以及待检测的可疑芯片图像及其标签组成测试样本集E1，其中，
H≥256；
(2)构建热传递的超分网络模型O：
构建包括顺次连接的D个热传递子网络、上采样模块超分网络模型O；每个热传递子网络包括并行排布的PVFE残差网络和离散小波变换残差网络；PVFE残差网络包括卷积层、PVFE残差提取层、通道注意力模块，通道注意力模块包括池化层、多个卷积层和多个非线性激活层；离散小波变换残差网络包括单级二维离散小波变换层、深度学习残差网络、二维离散小波逆变换层、卷积层，深度学习残差网络包括多个卷积层、非线性激活层；
(3)对热传递的超分网络模型O进行迭代训练：
(3a)初始化迭代次数为s，最大迭代次数为S，S≥10000，第s次迭代的流体粒子网络模型为Os，并令s＝1，Os＝O；
(3b)将训练样本集R1作为超分网络模型Os的输入，离散小波变换残差网络对训练样本集中的每个标准芯片图像和待检测的可疑芯片图像在频域中进行图像重建，得到N个标准芯片图像的中间图像和N个待检测的可疑芯片图像的中间图像；同时PVFE残差网络对训练样本集中的每个标准芯片图像和待检测的可疑芯片图像进行特征提取，得到N个标准芯片图像的特征图以及N个待检测的可疑芯片图像的特征图，对每个特征图进行图像重建，得到N个标准芯片图像的补偿图像和N个待检测的可疑芯片图像的补偿图像；将N个标准芯片的补偿图像与其对应位置的N个标准芯片的中间图像逐元素相加以及N个待检测的可疑芯片图像的补偿图像与其对应位置的N个待检测的可疑芯片图像的中间图像逐元素相加，重复D次，得到N个包含丰富细节和边缘信息的标准芯片图像和N个包含丰富细节和边缘信息的待检测的可疑芯片图像；上采样模块对每个包含丰富细节和边缘信息的标准芯片图像和每个包含丰富细节和边缘信息的待检测的可疑芯片图像进行上采样，得到N个标准芯片图像的重建图像和N个待检测的可疑芯片图像的重建图像；
(3c)采用L1范数计算损失函数，并通过每幅重建图像和其对应训练样本标签计算Os的损失值Ls，通过链式法则分别计算Ls对网络中的权值参数ωs及偏置参数bs的偏导
和
并根据
对ωs、bs进行更新；
(3d)判断s≥S是否成立，若是，得到训练好的超分网络模型O*，否则，令s＝s+1，并执行步骤(3b)；
(4)获取图像重建结果：
将测试样本集E1作为训练好的超分网络模型O*的输入进行前向传播，得到测试样本集所对应的K-N个标准芯片图像所对应的重建图像和对应的K-N个待检测的可疑芯片图像所对应的重建图像；
(5)获取芯片硬件木马检测结果：
采用形态学检测算法，并通过每个标准芯片图像所对应的重建图像判断每个待检测可疑芯片所对应的重建图像中是否含有硬件木马，以及硬件木马位置。
本发明与现有技术相比，具有以下优点：
本发明所构建的基于热传递的芯片硬件木马检测模型包括多个热传递子网络，每个热传递子网络包括PVFE残差网络和离散小波变换残差网络，在对该模型进行训练以及图像重建结果的过程中，基于PVFE的残差网络可以保留和修复边缘信息，离散小波变换残差网络可以获取图像中的高频信息，从而为重建图像提供更多的电路信息。实验结果表明，热传递网络可以更好地重构芯片中的小电路结构，将其应用到重新设计的系统中，可以获得比现有技术更高的硬件木马检测率，且费用和时间都是原来的1/16。
附图说明
图1为本发明的实现流程图；
图2为本发明基于热传递的芯片硬件木马检测网络模型的结构示意图；
图3为本发明实施例PVFE残差网络结构示意图；
图4为本发明实施例的离散小波变换残差网络结构示意图；
图5为本发明实施例的试验结果示意图。
具体实施方式
以下结合附图和具体实施例，对本发明作进一步详细描述。
本发明提出的基于热传递的芯片硬件木马检测系统由硬件和软件两部分组成。在硬件部分，检验员首先通过研磨和蚀刻去除芯片的包装，使芯片的金属结构暴露出来。然后利用扫描电子显微镜对标准芯片和待检测的可疑芯片进行显微图像分析。软件部分主要包括两大模块:SR模块和检测模块。SR模块通过所提出的基于热传递的芯片硬件木马检测方法将获得的LR显微芯片图像转换为HR图像。然后比较标准芯片的HR图像和待检测的可疑芯片的HR图像，用形态学算法检测出硬件木马以及硬件木马的具体位置。
参照图1，本发明包括如下步骤：
步骤1)获取训练样本集R1和测试样本集E1：
步骤1a)获取训练样本集和测试样本集：
获取标准芯片图像K幅和待检测的可疑芯片图像K幅，并对2K幅芯片图像进行处理，对处理后的每幅芯片图像进行1/4降采样，得到降采样后的2K幅芯片图像，其中，K≥1000；
实现步骤为：对标准芯片和待检测的可疑芯片的表面层进行研磨和腐蚀去除待测芯片的包装，使芯片的金属结构暴露出来，并对暴露的芯片进行染色，对然后利用光学显微镜或电子扫描仪对标准芯片和待检测的可疑芯片进行显微图像成像，获取标准芯片图像和待检测的可疑芯片图像；
步骤1b)将每幅芯片图像裁剪为大小为H×H的图像块，同时将该幅芯片图像对应的降采样后的芯片图像裁剪为大小为
的图像块，并将每幅芯片图像裁剪的图像块作为对应的降采样后裁剪的图像块的标签，然后随机选取其中N个降采样后的标准芯片图像及其标签以及N个降采样后的待检测的可疑芯片图像及其标签组成训练样本集R1，将剩余降采样后的标准芯片图像及其标签以及待检测的可疑芯片图像及其标签组成测试样本集E1，其中，
H≥256；
步骤2)构建基于热传递的芯片硬件木马检测方法的模型O，其结构如图2所示；
构建包括顺次连接的D个热传递子网络、上采样模块的热传递的超分网络模型O；每个热传递子网络包括并行排布的PVFE残差网络和离散小波变换残差网络，D≥10，在本实施例中，D＝10；PVFE残差网络包括卷积层、PVFE残差提取层、通道注意力模块，通道注意力模块包括池化层、多个卷积层和多个非线性激活层；离散小波变换残差网络包括单级二维离散小波变换层、深度学习残差网络、二维离散小波逆变换层、卷积层，深度学习残差网络包括多个卷积层、非线性激活层；
其中，本实施例PVFE残差网络的结构如图3所示；
PVFE残差网络包括顺次级联的第一卷积层、PVFE残差网络；PVFE残差网络包括顺次级联的PVFE残差提取层、残差通道注意模块，残差通道注意力模块包括顺次级联的池化层、第二卷积层、第一非线性激活层、第三卷积层、第二非线性激活层；网络参数设置为：第一卷积层卷积核大小3*3，其通道数设置为64，第二卷积层、第三卷积层卷积核大小1*1，其通道数设置为32，池化层设置为非局部池化，第一非线性激活层由LeakyReLU函数实现，第二非线性激活层由Sigmoid函数实现；
PVFE残差提取层：受热场相关理论的启发，通过研究热场中微观粒子的运动与图像场(SR)中图像像素之间的相似性。在没有外界影响的封闭热场中，热量从高温区转移到低温区，经过一段时间后达到平衡状态。然而，在自然条件下，由于热源、压力等外部因素的影响，热场中的热量会有一种特定的分布形式：热量集中在某些地方，分散在其他地方。在热场中，热图在不同时间显示出不同的分布。在图像超分辨率重建过程中，随着特征的提取，图像也会不断变化。这两种图像的变化过程基本相同，在一定的约束条件下都会发生一定的变化。通过研究热场和图像场中粒子运动规律的相似性，提出将低分辨率图像转换为高分辨率图像的过程可视为热场中的热变化，图像中像素位置的变化类似于微量元素在热场中的运动。由于热传导微分方程(TCDE)描述了分子的热运动过程，因此将该方程引入图像域来描述超分辨率过程中像素的运动。
1)基于TCDE的像素值流方程
在单位时间内，微量元素的热变化可以描述为：[输入和输出能量之间的差异]+[内部热源的热变化]＝[热力学能量的总增加量]。输入和输出能量之间的差值对应于输入和输出流量之间的像素值差值(If)，内部热源产生的热量对应于像素自身值(Iv)的变化，热力学能的总增加量对应于像素值(ΔI)的总变化量。所以在图像场中，有一个等式[If]+[Iv]＝[ΔI]。
根据TCDE的推导过程，像素流可以描述为：
沿着x轴方向输入和输出像素值之间的差异：
沿着y轴方向输入和输出像素值之间的差异：
因此，像素值差可以写成：
2)像素自身值的变化
除了像素流入和流出引起的变化外，像素值的增减也会影响整体值。对于微元素中的每个点，其自身的像素值随时间而变化：
Iv＝ivdxdydt (4)
式中，iv表示像素强度，即每单位面积和每单位时间内产生的像素值；Iv表示通过改变内部点的像素值来增加微量元素的像素值。
3)整体变化
根据导热过程中温度变化率与微量元素热变化的关系，可以得到图像变化过程中颜色变化率和像素值之间的关系。整个微量元素像素值的变化可以表示为：
其中a是常数，F是颜色的梯度。根据等式(3)-(4)和[If]+[Iv]＝[ΔI]得到：
根据傅里叶定律，根据热传导过程中热流与微量元素温度梯度之间的关系，得到图像重建过程中颜色梯度与像素值流之间的关系：
像素值密度的偏微分可以表示为：
将它们引入方程(6)，可以得到笛卡尔坐标系下的像素值流方程(PVFE)：
PVFE建立了图像中颜色的空间和时间信息之间的关系。
4)基于PVFE的残差块
现有的SR方法通常会加深CNN以提取更多特征。然而，更深层次的图像SR网络更难训练。随着深度的增加，还会出现梯度消失和网络退化等问题。仅通过堆积残差块体很难改善上述问题。希望通过使用PVFE重新设计残差块来提高网络性能。
假设像素自身的值不会改变，即iv＝0。等式(12)可以改写为
其中α是一个合并参数
进一步可写为：
在图像重建过程中，提取的多幅特征图像可以看作是一系列按时间顺序排列的图像。像素值流方程将这组图像的时间多样性和空间多样性联系起来，即建立时间信息Fn+1-Fn和二维空间信息
之间的联系。
进一步可写出CNN中带有残差块的方程：
其中n表示第n次残差计算；h是第n次和第n+1次残差计算之间的步长；G(Fn)是残差计算。可以得到GPVFE(Fn)的具体表达式：
该块使用空间信息来弥补重建过程中缺少的特征。使用该PVFE残差块提取特征的过程可视为：对于边缘的A侧和B侧：
表示像素值较大的点流入A侧，因此微量元素像素值在该侧增加；而
表示像素值较小的点流入B侧，微量元素内的像素值降低。然后FA和FB之间的差异增大，因此边缘更明显，更容易提取。
其中，本实施例中离散小波变换残差网络的结构如图4所示；
离散小波变换残差网络包括顺次级联的单级二维离散小波变换、深度学习残差网络、二维离散小波逆变换、第四卷积层，深度学习残差网络包括并行排布的四条支路，第一支路包括顺次级联的第五卷积层、第三非线性激活层、第六卷积层、第四非线性激活层、第七卷积层、第五非线性激活层，第二支路包括顺次级联的第八卷积层、第六非线性激活层、第九卷积层、第七非线性激活层、第十卷积层、第八非线性激活层，第三支路包括顺次级联的第十一卷积层、第九非线性激活层、第十二卷积层、第十非线性激活层、第十三卷积层、第十一非线性激活层，第四支路包括顺次级联的第十四卷积层、第十二非线性激活层、第十五卷积层、第十三非线性激活层、第十六卷积层、第十四非线性激活层；网络参数设置为：第五卷积层、第七卷积层、第八卷积层、第十卷积层、第十一卷积层、第十三卷积层、第十四卷积层、第十六卷积层卷积核大小为3*3，其通道数设置为64；第六卷积层、第九卷积层、第十二卷积层、第十三卷积层卷积核大小为1*1，其通道数设置为32，第三非线性激活层、第五非线性激活层、第六非线性激活层、第八非线性激活层、第九非线性激活层、第十一非线性激活层其通道数设置为64；第四非线性激活层、第七非线性激活层、第十非线性激活层、第十三非线性激活层其通道数设置为32；非线性激活层用LeakyReLU函数实现；
小波变换(DWT)是一种域变换。DWT通过低通和高通滤波器逐层分离图像。通过小波变换对每一幅标准芯片图像和待检测的可疑芯片图像进行分解和剥离，可以得到包含不同频率信息的多幅标准芯片图像和待检测的可疑芯片图像。对不同的标准芯片图像和待检测的可疑芯片图像执行特定的操作，以实现更具针对性的处理。首先对标准芯片图像和待检测的可疑芯片图像的特征图像进行二维离散小波变换，得到四幅频率信息丰富的标准芯片图像和待检测的可疑芯片图像LL、LH、HL和HH。然后将这些低维度标准芯片图像和待检测的可疑芯片图像发送到不同的卷积层以提取特征。对于LL等低频信息丰富的标准芯片图像和待检测的可疑芯片图像，提取主要结构元素；对于像HH这样的高频信息丰富的标准芯片图像和待检测的可疑芯片图像，着重于提取细节。最后，对提取的特征信息进行反变换得到标准芯片图像和待检测的可疑芯片图像的重建图像。
在每个热传递子网络中，使用PVFE的残差提取层和残差通道注意(RCA)块串联然后与离散小波变换(DWT)残差网络并联并作为一个子网络，并使用这种结构多次提取特征。对于每个热传递子网络，最终提取的特征图G(Fn)可以表示为：
G(Fn)＝GPVFE(Fn)+GDWT(Fn)+GRCA(Fn) (17)
其中，GPVFE(Fn)是基于PVFE的残差提取层计算，GRCA(Fn)是基于RCA残差计算，GDWT(Fn)是离散小波变换。在RCA块中引入注意机制，对不同的通道进行区别对待，提高了网络的表征能力；DWT分支详细描述了不同频率子带中的图像内容；基于PVFE的残差网络利用二阶导数信息连续提取图像特征。将RCA块、DWT残差网络和基于PVFE的残差提取层相结合，以提高网络的学习能力。经过每个热传递子网络提取过程，可以得到每个热传递子网络重建的中间特征图像。
将最终的重建结果送入上采样模块，上采样模块由PixelShuffle实现，放大参数设置为4。
步骤3b)将训练样本集R1作为超分网络模型Os的输入；
步骤3c)第一卷积层对输入图像进行卷积，得到输入图像对应的N个的特征图Y1，其中fm表示第m个训练样本卷积后的第一特征图；N个的特征图Y1送入PVFE残差提取层，得到补偿特征图Y2，其中fm'表示第m个训练样本卷积后的补偿特征图，补偿特征图对边缘特征进行优化和增强，得到时间和空间维度上相关性更强的信息；补偿特征图Y2通过残差通道注意模块，通道注意力模块能够为不同通道特征图分配不同的权重，能够使特征图包含的信息更加准确，得到补偿图像特征图Y3，
单级二维离散小波变换对每个输入图像进行离散化，分别得到四个子带：LL0,LH0,HL0,HH0；分别将四个子带系数(LL0、LH0、HL0、HH0)输入到离散小波变换残差网络中并行排布的四条支路，LL0子带系数输入第一支路，第一支路包括顺次级联的第四卷积层、第三非线性激活层、第五卷积层、第四非线性激活层、第六卷积层、第五非线性激活层，对图像进行相应的预测，得到残差图像LL1，将LL0与LL1逐元素相加，作为二维离散小波变换的新子带LL2，LH0子带系数输入第二支路，第二支路包括顺次级联的第七卷积层、第六非线性激活层、第八卷积层、第七非线性激活层、第九卷积层、第八非线性激活层，对图像进行相应的预测，得到残差图像LH1，将LH0与LH1逐元素相加，作为二维离散小波变换的新子带LH2，HL0子带系数输入第三支路，第三支路包括顺次级联的第十卷积层、第九非线性激活层、第十一卷积层、第十非线性激活层、第十二卷积层、第十一非线性激活层，对图像进行相应的预测，得到残差图像HL1，将HL0与HL1逐元素相加，作为二维离散小波变换的新子带HL2，HH0子带系数输入第四支路，第四支路包括顺次级联的第十三卷积层、第十二非线性激活层、第十四卷积层、第十三非线性激活层、第十五卷积层、第十四非线性激活层，对图像进行相应的预测，得到残差图像HH1，将HH0与HH1逐元素相加，作为二维离散小波变换的新子带HH2，将四个新子带LL2、LH2、HL2、HH2通过二维离散小波逆变换得到超分辨率HR图像Y4，Y4经过第十六卷积层得到N个对应的中间图像的深度特征图Y5，补偿图像深度特征图Y3和中间图像深度特征图Y5进行通道逐元素相加后得到特征图
经过10个热传递子网络后将得到的特征图
经过上采样模块得到每个标准芯片图像和待检测的可疑芯片图像的重建图像。
步骤3d)采用L1范数计算损失函数，并通过每幅标准芯片图像和待检测的可疑芯片图像的重建图像和其对应训练样本标签计算Os的损失值Ls，通过链式法则分别计算损失函数Ls的表达式，以及根据
对ωs、bs进行更新的更新公式分别为：
其中，
表示每个标准芯片图像和待检测的可疑芯片图像的重建图像，I表示训练样本集中样本的标签,ws、bs表示Os所有可学习参数的权值、偏置参数，ws'、bs'表示更新后的可学习参数，lr表示学习率，Ls是损失函数，
表示求导操作。
步骤3e)判断s≥S是否成立，若是，得到训练好的流体粒子网络模型O*，否则，令s＝s+1，并执行步骤(3c)；
步骤3f)获取图像重建结果：
将测试样本集E1作为训练好的超分网络模型O*的输入进行前向传播，得到测试样本集所对应的K-N个标准芯片图像所对应的重建图像和对应的K-N个待检测的可疑芯片图像所对应的重建图像。
步骤3g)获取芯片硬件木马检测结果：
通过基于热传递的芯片硬件木马检测方法网络模型O获取的标准芯片图像所对应的重建图像和待检测可疑芯片所对应的重建图像，并采用形态学检测算法，即将重建的标准芯片图像和待检测的可疑芯片图像进行异或运算，异或结果为1的部分即为硬件木马，完成硬件木马的检测，通过每个标准芯片图像所对应的重建图像判断每个待检测可疑芯片所对应的重建图像中是否含有硬件木马，以及硬件木马位置；形态学算法是一种二进制计算，可以消耗更少的资源来获得更高的检测效果。
本发明提出的PVFE残差网络中PVFE残差提取层对边缘敏感，可以有效地恢复图像中物体的边缘。PVFE残差网络中加入残差通道注意模块通过建模特征通道之间的相互依赖性，自适应地重新缩放每个通道的特征，提高了网络的表征能力，离散小波变换残差网络详细描述了不同频率子带中的标准芯片图像和待检测的可疑芯片图像的内容。将残差通道注意模块、PVFE残差网络和离散小波变换残差网络相结合，以提高网络的学习能力。
结合仿真实验，对本发明的技术效果作进一步说明。
1.仿真条件与内容：
仿真实验的硬件平台为：处理器为Intel(R)Core i9-9900K CPU，主频为3.6GHz，内存为32GB、显卡为NVIDIA GeForce RTX 2080Ti。仿真实验的软件平台为：Ubuntu 16.04操作系统，python版本为3.7，Pytorch版本为1.7.1。
仿真实验中使用新构建的显微镜芯片图像数据库(MCI)。它有468张SEM拍摄的显微镜芯片图像，包括真实的156张LR图像和312张HR图像。在LR图像中，78幅图像拍摄的是一个标准芯片，其他78幅图像拍摄的是相应的可疑芯片。在HR图像中，对应156幅LR图像，随机选取一组图像进行训练。这组图片包括28张LR标准芯片图像和它们对应的×2、×4图片，总共56张。同样，随机选取28张LR待检测的可疑芯片图像和56张HR图像。将剩下的100张LR图像及其对应的HR图像作为测试集。
2.仿真结果分析
其中，本发明的实验结果图如图5所示；
本发明提出的热传递网络由两部分组成：PVFE残差网络和离散小波变换残差网络。与不同现有方法的重建结果比较证明了本发明提出的网络结构的有效性，结果如图5所示。
图5中从左到右共分为八列，其中第一列为LR图像，第二列为VDSR，第三列为DRRN，第四列为MSRN，第五列为CARN，第六列为OISR，第七列为本发明提出的方法，第八列为×4倍的超分辨率芯片图像(HR)，从图中结果可以看出，用VDSR方法重建的电路结构有较大的变形，并且非常模糊，采用DRRN、MSRN和CARN方法重构块电路的结果较好，但线性电路结构存在弯曲和模糊现象，用OISR方法重建的大部分结构是相对规则的，但仍有一些结构缺失。本发明提出的方法可以重建几乎所有的电路结构，并且这些电路的边缘清晰完整。
综上所述：本发明提出的基于热传递的芯片硬件木马检测方法。所对比的顶层设计文件被标准芯片的显微镜图像和可疑芯片的显微镜图像所取代，以增强检测系统的通用性。此外，本发明还引入了一种根据显微镜芯片图像特点设计的超分辨率方法。该SR方法基于热传导过程，取代了原系统中的生成算法，消除了生成算法产生的噪声，所提出的SR方法可以更好地重构芯片中的小电路结构。将其应用到硬件木马检测中，可以获得比其他SR方法更高的硬件木马检测率。
Claims (4)
1.一种基于热传递的芯片硬件木马检测方法，其特征在于，包括以下步骤：
(1)获取训练样本集和测试样本集：
(1a)获取标准芯片图像K幅和待检测的可疑芯片图像K幅，并对2K幅芯片图像进行处理，对处理后的每幅芯片图像进行1/4降采样，得到降采样后的2K幅芯片图像，其中，K≥1000；
(1b)将每幅芯片图像裁剪为大小为H×H的图像块，同时将该幅芯片图像对应的降采样后的芯片图像裁剪为大小为
的图像块，并将每幅芯片图像裁剪的图像块作为对应的降采样后裁剪的图像块的标签，然后随机选取其中N个降采样后的标准芯片图像及其标签以及N个降采样后的待检测的可疑芯片图像及其标签组成训练样本集R1，将剩余降采样后的标准芯片图像及其标签以及待检测的可疑芯片图像及其标签组成测试样本集E1，其中，
H≥256；
(2)构建热传递的超分网络模型O：
构建包括顺次连接的D个热传递子网络、上采样模块的超分网络模型O；每个热传递子网络包括并行排布的PVFE残差网络和离散小波变换残差网络；PVFE残差网络包括卷积层、PVFE残差提取层、通道注意力模块，通道注意力模块包括池化层、多个卷积层和多个非线性激活层；离散小波变换残差网络包括单级二维离散小波变换层、深度学习残差网络、二维离散小波逆变换层、卷积层，深度学习残差网络包括并行排布的四条支路，每条支路均包括多个卷积层和非线性激活层；
(3)对热传递的超分网络模型O进行迭代训练：
(3a)初始化迭代次数为s，最大迭代次数为S，S≥10000，第s次迭代的超分网络模型为Os，并令s＝1，Os＝O；
(3b)将训练样本集R1作为超分网络模型Os的输入，离散小波变换残差网络对训练样本集中的每个标准芯片图像和待检测的可疑芯片图像在频域中进行图像重建，得到N个标准芯片图像的中间图像和N个待检测的可疑芯片图像的中间图像；同时PVFE残差网络对训练样本集中的每个标准芯片图像和待检测的可疑芯片图像进行特征提取，得到N个标准芯片图像的特征图以及N个待检测的可疑芯片图像的特征图，对每个特征图进行图像重建，得到N个标准芯片图像的补偿图像和N个待检测的可疑芯片图像的补偿图像；将N个标准芯片的补偿图像与其对应位置的N个标准芯片的中间图像逐元素相加以及N个待检测的可疑芯片图像的补偿图像与其对应位置的N个待检测的可疑芯片图像的中间图像逐元素相加，重复D次，得到N个包含丰富细节和边缘信息的标准芯片图像和N个包含丰富细节和边缘信息的待检测的可疑芯片图像；上采样模块对每个包含丰富细节和边缘信息的标准芯片图像和每个包含丰富细节和边缘信息的待检测的可疑芯片图像进行上采样，得到N个标准芯片图像的重建图像和N个待检测的可疑芯片图像的重建图像；
(3c)采用L1范数计算损失函数，并通过每幅重建图像和其对应训练样本标签计算Os的损失值Ls，通过链式法则分别计算Ls对网络中的权值参数ωs及偏置参数bs的偏导
和
并根据
对ωs、bs进行更新；
(3d)判断s≥S是否成立，若是，得到训练好的超分网络模型O*，否则，令s＝s+1，并执行步骤(3b)；
(4)获取图像重建结果：
将测试样本集E1作为训练好的超分网络模型O*的输入进行前向传播，得到测试样本集所对应的K-N个标准芯片图像所对应的重建图像和对应的K-N个待检测的可疑芯片图像所对应的重建图像；
(5)获取芯片硬件木马检测结果：
采用形态学检测算法，通过每个标准芯片图像所对应的重建图像判断每个待检测可疑芯片所对应的重建图像中是否含有硬件木马，以及硬件木马位置。
2.根据权利要求1所述的基于热传递的芯片硬件木马检测方法，其特征在于，步骤(1a)中所述的对2K幅芯片图像进行处理，具体为：
对标准芯片和待检测的可疑芯片的表面层进行研磨和腐蚀去除待测芯片的包装，使芯片的金属结构暴露出来，并对暴露的芯片进行染色，对然后利用光学显微镜或电子扫描仪对标准芯片和待检测的可疑芯片进行显微图像成像，获取标准芯片图像和待检测的可疑芯片图像。
3.根据权利要求1所述的基于热传递的芯片硬件木马检测方法，其特征在于，步骤(2)中所述的热传递子网络模型O，包含10个热传递子网络，其中：
PVFE残差网络，其中包含的卷积层个数为3，非线性激活层个数为2，该PVFE残差网络的具体结构包括顺次级联的第一卷积层、PVFE残差提取层、残差通道注意模块，通道注意力模块包括顺次级联的池化层、第二卷积层、第一非线性激活层、第三卷积层、第二非线性激活层；网络参数设置为：第一卷积层卷积核大小为3*3，其通道数设置为64，第二卷积层、第三卷积层卷积核大小1*1，其通道数设置为32，池化层设置为最大池化，第一非线性激活层由LeakyReLU函数实现，第二非线性激活层由Sigmoid函数实现；
离散小波变换残差网络，其中卷积层个数为12，非线性激活层个数为12，该离散小波变换残差网络的具体结构为：顺次级联的单级二维离散小波变换、深度学习残差网络、二维离散小波逆变换、第三卷积层，深度学习残差网络包括并行排布的四条支路，第一支路包括顺次级联的第四卷积层、第三非线性激活层、第五卷积层、第四非线性激活层、第六卷积层、第五非线性激活层，第二支路包括顺次级联的第七卷积层、第六非线性激活层、第八卷积层、第七非线性激活层、第九卷积层、第八非线性激活层，第三支路包括顺次级联的第十卷积层、第九非线性激活层、第十一卷积层、第十非线性激活层、第十二卷积层、第十一非线性激活层，第四支路包括顺次级联的第十三卷积层、第十二非线性激活层、第十四卷积层、第十三非线性激活层、第十五卷积层、第十四非线性激活层；网络参数设置为：第四卷积层、第六卷积层、第七卷积层、第九卷积层、第十卷积层、第十二卷积层、第十三卷积层、第十五卷积层卷积核大小为3*3，其通道数设置为64；第五卷积层、第八卷积层、第十一卷积层、第十二卷积层卷积核大小为1*1，其通道数设置为32，第三非线性激活层、第五非线性激活层、第六非线性激活层、第八非线性激活层、第九非线性激活层、第十一非线性激活层其通道数设置为64；第四非线性激活层、第七非线性激活层、第十非线性激活层、第十三非线性激活层其通道数设置为32；非线性激活层用LeakyReLU函数实现；
上采样模块由PixelShuffle实现，放大参数为4。
4.根据权利要求1所述的基于热传递的芯片硬件木马检测方法，其特征在于，步骤(3c)中所述的L1范数计算Ls的表达式，以及根据
对ωs、bs进行更新的更新公式分别为：
其中，
表示每个标准芯片图像和待检测的可疑芯片图像的重建图像，I表示训练样本集中样本的标签,ws、bs表示Os所有可学习参数的权值、偏置参数，ws'、bs'表示更新后的可学习参数，lr表示学习率，Ls是损失函数，
表示求导操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210450551.2A CN114757930B (zh) | 2022-04-26 | 2022-04-26 | 基于热传递的芯片硬件木马检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210450551.2A CN114757930B (zh) | 2022-04-26 | 2022-04-26 | 基于热传递的芯片硬件木马检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114757930A CN114757930A (zh) | 2022-07-15 |
| CN114757930B true CN114757930B (zh) | 2022-12-06 |
Family
ID=82332534
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210450551.2A Active CN114757930B (zh) | 2022-04-26 | 2022-04-26 | 基于热传递的芯片硬件木马检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114757930B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116257852B (zh) * | 2023-03-21 | 2023-11-14 | 西安电子科技大学 | 基于差分曲率的芯片硬件木马检测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108805866A (zh) * | 2018-05-23 | 2018-11-13 | 兰州理工大学 | 基于四元数小波变换深度视感知的图像注视点检测方法 |
| CN110223242A (zh) * | 2019-05-07 | 2019-09-10 | 北京航空航天大学 | 一种基于时空域残差生成对抗网络的视频湍流移除方法 |
| CN111487573A (zh) * | 2020-05-18 | 2020-08-04 | 厦门大学 | 一种用于磁共振欠采样成像的强化型残差级联网络模型 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109146792B (zh) * | 2018-09-25 | 2023-04-18 | 西安电子科技大学 | 基于深度学习的芯片图像超分辨率重建方法 |
| CN109472743B (zh) * | 2018-10-25 | 2021-01-15 | 中国科学院电子学研究所 | 遥感图像的超分辨率重建方法 |
| CN112288714B (zh) * | 2020-10-28 | 2022-12-27 | 西安电子科技大学 | 基于深度学习的硬件木马检测方法 |
| CN113256536B (zh) * | 2021-06-18 | 2021-11-23 | 之江实验室 | 一种基于小波分析的超高维数据重建深度学习方法 |
-
2022
- 2022-04-26 CN CN202210450551.2A patent/CN114757930B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108805866A (zh) * | 2018-05-23 | 2018-11-13 | 兰州理工大学 | 基于四元数小波变换深度视感知的图像注视点检测方法 |
| CN110223242A (zh) * | 2019-05-07 | 2019-09-10 | 北京航空航天大学 | 一种基于时空域残差生成对抗网络的视频湍流移除方法 |
| CN111487573A (zh) * | 2020-05-18 | 2020-08-04 | 厦门大学 | 一种用于磁共振欠采样成像的强化型残差级联网络模型 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114757930A (zh) | 2022-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lefkimmiatis et al. | Poisson image reconstruction with Hessian Schatten-norm regularization | |
| US20110026804A1 (en) | Detection of Textural Defects Using a One Class Support Vector Machine | |
| CN110148103B (zh) | 基于联合优化的高光谱和多光谱图像融合方法、计算机可读存储介质、电子设备 | |
| Wang et al. | Hybrid image denoising method based on non‐subsampled contourlet transform and bandelet transform | |
| Shukla et al. | Generalized fractional filter-based algorithm for image denoising | |
| Shi et al. | Deep prior-based sparse representation model for diffraction imaging: A plug-and-play method | |
| CN114757930B (zh) | 基于热传递的芯片硬件木马检测方法 | |
| Deeba et al. | Lossless digital image watermarking in sparse domain by using K‐singular value decomposition algorithm | |
| CN115330643A (zh) | 基于卷积神经网络和视觉变换神经网络的地震去噪方法 | |
| Zhang et al. | Enhanced two-step deep-learning approach for electromagnetic-inverse-scattering problems: Frequency extrapolation and scatterer reconstruction | |
| Wang et al. | Hybrid attention-based U-shaped network for remote sensing image super-resolution | |
| Bini | Image restoration via DOST and total variation regularisation | |
| Xu et al. | A deep analysis of the image and video processing techniques using nanoscale quantum-dots cellular automata | |
| CN116257852B (zh) | 基于差分曲率的芯片硬件木马检测方法 | |
| Fadhil et al. | Design and implementation a prototype system for fusion image by using SWT-PCA algorithm with FPGA technique. | |
| CN115760670B (zh) | 基于网络隐式先验的无监督高光谱融合方法及装置 | |
| El-Khamy et al. | Going shallower with MobileNets: On the impact of wavelet pooling | |
| CN112862655B (zh) | 一种基于通道空间注意力机制的jpeg图像隐写分析方法 | |
| Gao et al. | Random noise suppression of seismic data through multi-scale residual dense network | |
| Jia et al. | Learning rich information for quad bayer remosaicing and denoising | |
| Ahmadinia et al. | An Edge-based Real-Time Object Detection | |
| Jiang et al. | Total generalized variation and wavelet transform for impulsive image restoration | |
| Feng et al. | Hierarchical guided network for low‐light image enhancement | |
| Suresh et al. | Chronological bald eagle optimization based deep learning for image watermarking | |
| Jung et al. | Comparative study of deep learning algorithms for atomic force microscopy image denoising |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |