CN116257852B - 基于差分曲率的芯片硬件木马检测方法 - Google Patents
基于差分曲率的芯片硬件木马检测方法 Download PDFInfo
- Publication number
- CN116257852B CN116257852B CN202310273998.1A CN202310273998A CN116257852B CN 116257852 B CN116257852 B CN 116257852B CN 202310273998 A CN202310273998 A CN 202310273998A CN 116257852 B CN116257852 B CN 116257852B
- Authority
- CN
- China
- Prior art keywords
- curvature
- microchip
- convolution layer
- module
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- ZXQYGBMAQZUVMI-GCMPRSNUSA-N gamma-cyhalothrin Chemical compound CC1(C)[C@@H](\C=C(/Cl)C(F)(F)F)[C@H]1C(=O)O[C@H](C#N)C1=CC=CC(OC=2C=CC=CC=2)=C1 ZXQYGBMAQZUVMI-GCMPRSNUSA-N 0.000 title claims abstract description 43
- 238000001514 detection method Methods 0.000 title claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000012360 testing method Methods 0.000 claims abstract description 18
- 230000008569 process Effects 0.000 claims abstract description 8
- 239000010410 layer Substances 0.000 claims description 169
- 230000004927 fusion Effects 0.000 claims description 39
- 238000004364 calculation method Methods 0.000 claims description 18
- 230000004913 activation Effects 0.000 claims description 17
- 238000010586 diagram Methods 0.000 claims description 17
- 238000000354 decomposition reaction Methods 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 10
- 230000000873 masking effect Effects 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 3
- 239000002184 metal Substances 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 230000003321 amplification Effects 0.000 claims description 2
- 238000004043 dyeing Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 claims description 2
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 claims description 2
- 239000002344 surface layer Substances 0.000 claims description 2
- 238000004088 simulation Methods 0.000 description 6
- 238000001000 micrograph Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000002902 bimodal effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 241000566145 Otus Species 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000012407 engineering method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
- G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Computer Hardware Design (AREA)
- Medical Informatics (AREA)
- Virology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种基于差分曲率的芯片硬件木马检测方法，实现步骤为：(1)获取训练样本集和测试样本集；(2)构建基于差分曲率超分网络模型O；(3)对基于差分曲率超分网络模型O进行迭代训练；(4)获取图像重建结果；(5)获取芯片硬件木马检测结果。本发明在对基于差分曲率的芯片硬件木马检测模型进行训练以及获取图像重建结果的过程中，用第二重建网络的曲率信息来补偿第一重建网络的均匀工作流，以增强特征表示能力，从而为重建图像提供更多的几何特征信息。实验结果表明，基于差分曲率的芯片硬件木马检测模型可以更好地探索恢复曲率信息，将其应用到重新设计的硬件木马检测系统中，可以获得比其他SR方法更高的硬件木马检测率。
Description
技术领域
本发明属于图像处理领域，涉及一种硬件木马检测方法，具体涉及一种基于差分曲率的芯片硬件木马检测方法，可用于硬件木马检测等技术领域。
背景技术
随着集成电路(IC)技术和半导体技术的发展，芯片产业备受关注。然而，一些人会在芯片中插入硬件特洛伊木马，以达到控制设备的目的；或在未来秘密泄露机密信息，对金融和交通系统等许多下游应用造成真正的重大威胁。为了提高芯片的安全性，可以通过逆向工程方法检测硬件木马，该方法首先通过化学金属抛光展开芯片，然后通过扫描电子显微镜(SEM)获得每一层的显微镜图像，最后将其与地面真实芯片图像进行比较。但由于当前硬件木马检测(HT)数据库的限制，反向工程检测方法需要从显微镜图像到网表的转换。而且扫描高分辨率(HR)显微镜图像的成本较高。为了缓解这些问题，可以采用图像超分辨率(SR)方法来提高芯片图像的分辨率并恢复细节。而硬件特洛伊木马只是芯片中一个小的篡改区域，例如一条额外的电路线，因此如何对LR显微镜芯片图像进行超分辨率处理，并恢复晶体管和密集电路线的细节，对于后续的硬件特洛伊木马检测过程至关重要。当前的自然图像SR方法是为自然图像设计的，与显微镜芯片图像相比，自然图像具有不同的外观和纹理。例如，自然图像中的纹理是草坪、道路和墙壁表面等，而显微镜芯片图像中的质地主要是密集的电路线和晶体管，它们在几何属性(如表面曲率)方面与自然图像纹理有显著差异，然而，当前的SR方法恢复显微镜芯片图像中曲率信息的能力有限，导致训练后的SR模型无法完全重建显微镜芯片图像的纹理等细节信息。
西安电子科技大学在其申请的专利文献“基于热传递的芯片硬件木马检测方法”(专利申请号：202210450551.2，申请公布号为CN 114757930 A)中，提出了一种基于热传递的芯片硬件木马检测方法，该方法在对热传递的超分网络模型进行训练以及获取图像重建结果的过程中，基于PVFE的块可以保留和修复边缘信息，离散小波变换残差网络可以获取图像中的高频信息，从而为重建图像提供更多的电路信息，从而更好地重构芯片中的小电路结构，将其应用到重新设计的硬件木马检测系统中，可以获得比其他SR方法更高的硬件木马检测精度，然而，该发明忽略了重建图像的几何属性(如表面曲率)等与自然图像纹理有显著差异，导致检测硬件木马的准确率仍然较低。
发明内容
本发明的目的在于克服上述现有技术存在的缺陷，提出了一种基于差分曲率的芯片硬件木马检测方法，用于解决现有技术中存在的因重建图像的稀疏纹理等细节信息导致的检测准确率较低的技术问题。
为实现上述目的，本发明采取的技术方案包括以下步骤：
(1)获取训练样本集和测试样本集：
(1a)获取标准显微芯片图像和可疑显微芯片图像各K幅，并对每幅图像进行预处理，然后将预处理后的每幅显微芯片图像裁剪成大小成H×H的预处理图像块，同时对预处理后的每幅显微芯片图像进行1/4降采样，再将降采样后的每幅显微芯片图像裁剪成大小为的降采样图像块，其中，K≥1000，H≥256；
(1b)将预处理后的每幅显微芯片图像块作为对应的降采样后裁剪的图像块的标签，然后随机选取其中N个降采样后的标准显微芯片图像块及其标签以及N个降采样后的可疑显微芯片图像块及其标签组成训练样本集R1，将剩余降采样后的K-N幅标准显微芯片图像块及其标签以及K-N幅可疑显微芯片图像块及其标签组成测试样本集E1，其中，
(2)构建基于差分曲率超分网络模型O：
构建包括并行排布的第一重建网络和第二重建网络的超分网络模型O，其中：
第一重建网络包括顺次级联的第一卷积层、D个残差组模块、第一重建模块；每个残差组模块的输出端还连接有第一融合模块；其中，残差组模块包括顺次连接的级联的多个TCD残差组、级联的多个互残差通道注意力模块；每个TCD残差组包括顺次级联的第二卷积层、非线性激活层、第三卷积层；每个互残差通道注意块包括顺次级联的最大池化层、第四卷积层、ReLU激活层、第五卷积层、非线性激活层；其中，D≥10；
第二重建网络包括顺次级联的差分曲率计算层、特征分解层、第二融合模块、D个差分曲率掩膜模块、第二重建模块；每个差分曲率掩膜模块的输出端还连接有第三融合模块；其中，每个差分曲率掩膜模块包括顺次级联的差分曲率计算层、第六卷积层、差分曲率扩展块、第七卷积层；差分曲率扩展模块包括级联的第八卷积层、第九卷积层、第十卷积层；
第二融合模块的输入端还与第一卷积层的输出相连，每个第一融合模块的输入端还与对应位置的差分曲率掩膜模块的输出端相连，每个第三融合模块的输入端还与对应位置的第一融合模块的输出端相连；
第一重建模块和第二重建模块均包括顺次级联的第十一卷积层、上采样模块、第十二卷积层；
(3)对基于差分曲率超分网络模型O进行迭代训练：
(3a)初始化迭代次数为s，最大迭代次数为S，S≥20000，第s次迭代的超分辨率重建网络模型为Os，Os中可学习的权值、偏置参数分别为ws、bs，并令s＝0，Os＝O；
(3b)将训练样本集R1作为超分网络模型O的输入：
第一重建网络中的第一卷积层对每个训练样本提取特征；D个残差组模块依次对所提取的每个标准显微芯片特征图和每个可疑显微芯片特征图进行特征细化；第一重建模块对特征细化得到的每个标准显微芯片图像块的高级特征图和每个可疑显微芯片图像块的高级特征图进行重建，得到N个标准显微芯片图像块的重建图像和N个可疑显微芯片图像块的重建图像；
第二重建网络中的差分曲率计算层对每个训练样本计算曲率信息；特征分解层所提取的每个标准显微芯片曲率信息和每个可疑显微芯片曲率信息提取曲率特征；D个差分曲率掩膜模块对所提取的每个标准显微芯片低级曲率特征图和每个可疑显微芯片的低级曲率特征图进行特征掩膜，第二重建模块对每个标准显微芯片图像块的高级曲率特征图和每个可疑显微芯片图像块的高级曲率特征图进行重建，得到N个标准显微芯片图像块的重建曲率图像和N个可疑显微芯片图像块的重建曲率图像；
在第一重建网络和第二重建网络重建的过程中，第d个第一融合模块对第d个差分曲率掩膜模块输出的第n个标准显微芯片图像块的曲率特征图与第d个残差组模块输出的第n个标准显微芯片图像块的特征图进行融合，同时对第d个差分曲率掩膜模块输出的第n个可疑显微芯片图像块的曲率特征图与第d个残差组模块输出的第n个可疑显微芯片图像块的特征图进行融合；第二融合模块对第一卷积层输出的第n个标准显微芯片图像块的特征图与特征分解层输出的第n个标准显微芯片曲率特征图进行融合，同时对第一卷积层输出的第n个可疑显微芯片图像块的特征图与特征分解层输出的第n个可疑显微芯片曲率特征图进行融合；第d个第三融合模块对第d个第一融合模块输出的第n个标准显微芯片图像块的特征图与第d个差分曲率掩膜模块输出的第n个标准显微芯片图像块的曲率特征图进行融合，同时对第d个第一融合模块输出的第n个可疑显微芯片图像块的特征图与第d个差分曲率掩膜模块输出的第n个可疑显微芯片图像块的曲率特征图进行融合,其中d∈[1,D]，n∈[1,N]；
(3c)采用L1范数计算损失函数，并通过N个标准显微芯片图像块的重建图像和N个标准显微芯片图像块的重建曲率图像与其对应训练样本标签计算Os的损失值通过链式法则计算/>对网络中的权值参数ωs及偏置参数bs的偏导/>和/>并根据/>对ωs、bs进行更新；
同时，对N个可疑显微芯片图像块的重建图像和N个可疑显微芯片图像块的重建曲率图像与其对应训练样本标签对计算Os的损失值通过链式法则计算/>对网络中的权值参数ωs及偏置参数bs的偏导/>和/>并根据/>对ωs、bs进行更新；
(3d)判断s≥S是否成立，若是，得到训练好的超分网络模型O*，否则，令s＝s+1，并执行步骤(3b)；
(4)获取图像重建结果：
将测试样本集E1作为训练好的网络模型O*的输入进行前向传播，得到测试样本集所对应的K-N个标准显微芯片图像的重建图像和K-N个可疑显微芯片图像重建图像，以及对应的K-N个标准显微芯片图像的重建曲率图像和K-N个可疑显微芯片图像重建曲率图像；
(5)获取芯片硬件木马检测结果：
采用形态学检测算法，通过每个标准芯片图像的重建图像判断与其对应的可疑芯片的重建图像中是否含有硬件木马，以及硬件木马位置。
本发明与现有技术相比，具有以下优点：
本发明所构建的超分网络模型中的第二重建网络包含有差分曲率计算层和多个差分曲率掩膜模块，在对该模型进行训练以及获取图像重建结果的过程中，第二重建网络中的特征分解层能够提取差分曲率计算层所计算的每个样本曲率信息的曲率特征；多个差分曲率掩膜模块对所提取的每个标准显微芯片曲率特征图和每个可疑显微芯片的曲率特征图进行特征掩膜，再通过第二重建模块对每个标准显微芯片图像块的高级曲率特征图和每个可疑显微芯片图像块的高级曲率特征图进行重建，以获取标准显微芯片图像块和的可疑显微芯片图像块的重建曲率图像；第二重建网络的曲率信息能够补偿第一重建网络的均匀工作流，以增强特征表示能力，从而为第一重建网络的重建图像提供更多的几何特征信息。实验结果表明，本发明可以更好地探索恢复曲率信息，有效提高了检测的准确率。
附图说明
图1为本发明的实现流程图；
图2为本发明基于差分曲率的芯片硬件木马检测模型的结构示意图；
图3为本发明的残差组模块的结构示意图；
图4为本发明的差分曲率掩膜模块的结构示意图。
具体实施方式
以下结合附图和具体实施例，对本发明作进一步详细描述。
参照图1，本发明包括如下步骤：
步骤1)获取训练样本集R1和测试样本集E1：
获取标准显微芯片图像和可疑显微芯片图像各K幅，并对每幅图像进行预处理，然后将预处理后的每幅显微芯片图像裁剪成大小成H×H的预处理图像块，同时对预处理后的每幅显微芯片图像进行1/4降采样，再将降采样后的每幅显微芯片图像裁剪成大小为的降采样图像块，其中，K＝1000，H≥256；
预处理的实现步骤为：对标准芯片和可疑芯片的表面层进行研磨和腐蚀去除待测芯片的包装，使芯片的金属结构暴露出来，并对暴露的芯片进行染色，然后利用光学显微镜或电子扫描仪对标准芯片和可疑芯片进行显微图像成像，获取标准芯片图像和可疑芯片图像；
步骤1b)将预处理后的每幅显微芯片图像块作为对应的降采样后裁剪的图像块的标签，然后随机选取其中N个降采样后的标准显微芯片图像块及其标签以及N个降采样后的可疑显微芯片图像块及其标签组成训练样本集R1，将剩余降采样后的K-N幅标准显微芯片图像块及其标签以及K-N幅可疑显微芯片图像块及其标签组成测试样本集E1，其中，N＝500。
步骤2)构建基于差分曲率超分网络模型O：
构建包括并行排布的第一重建网络和第二重建网络的超分网络模型O，其中：
第一重建网络包括顺次级联的第一卷积层、D个残差组模块、第一重建模块；每个残差组模块的输出端还连接有第一融合模块；其中，残差组模块包括顺次连接的级联的多个TCD残差组、级联的多个互残差通道注意力模块；每个TCD残差组包括顺次级联的第二卷积层、非线性激活层、第三卷积层；每个互残差通道注意块包括顺次级联的最大池化层、第四卷积层、ReLU激活层、第五卷积层、非线性激活层；网络参数设置为：第一卷积层、第二卷积层、第三卷积层卷积核大小3*3，其通道数设置为64，第四卷积层、第五卷积层卷积核大小1*1，其通道数设置为64；非线性激活层由Sigmoid函数实现，第一重建模块的具体结构包括顺次级联的第十一卷积层、第一上采样模块、第十二卷积层；参数设置为：第十一卷积层、第十二卷积层卷积核大小3*3，其通道数设置为64；其中，D＝10；
残差组模块的结构示意图如图3所示；
残差组模块包括顺次连接的级联的两个TCD残差组、级联的两个互残差通道注意力模块，每个TCD残差组包括顺次级联的第二卷积层、非线性激活层、第三卷积层；每个互残差通道注意块包括顺次级联的最大池化层、第四卷积层、ReLU激活层、第五卷积层、非线性激活层；
其中，TCD残差组：在残差学习的启发下，考虑到资源消耗和效率，通过利用二阶差分方程近似的替换方程中的偏导数来提高网络的学习能力，具体来说，二阶偏导数可以表示为：
对于一个特定维度，等式(1)可以改写为：
进一步将ui+1-2ui+ui-1变成不同的两组ui+1-ui和ui-ui-1，并且得到一个新的表达式：
Δui+1＝Δui+h2f(ui,xi) (3)
其中，Δui+1表示从非线性激活层到第三卷积层提取的残差特征，Δui表示第二卷积层提取的残差特征，Δui是叠加在自残差提取的结果f(ui,xi)得到的二阶残差提取结果Δui+1。f(ui,xi)的实现可以用插入ReLU激活层的两个卷积层实现。
第二重建网络包括顺次级联的差分曲率计算层、特征分解层、第二融合模块、D个差分曲率掩膜模块、第二重建模块；每个差分曲率掩膜模块的输出端还连接有第三融合模块；其中，差分曲率掩膜模块包括顺次级联的差分曲率计算层、第六卷积层、差分曲率扩展快、第七卷积层；差分曲率扩展块包括顺次级联的第八卷积层、第九卷积层、第十卷积层；网络参数设置为：第六卷积层、第七卷积层卷积核大小3*3，其通道数设置为64，第八卷积层、第九卷积层、第十卷积层均为空洞卷积，卷积核大小均为3*3，膨胀率分别为1、3、5；第二重建模块的具体结构包括顺次级联的第十三卷积层、第二上采样模块、第十四卷积层；参数设置为：第十三卷积层、第十四卷积层卷积核大小3*3，其通道数设置为64，D＝10；
差分曲率掩膜模块的结构示意图如图4所示；
差分曲率掩膜模块包括顺次级联的差分曲率计算层、第六卷积层、差分曲率扩展快、第七卷积层；差分曲率扩展块包括顺次级联的第八卷积层、第九卷积层、第十卷积层；
其中，差分曲率计算层：在学习可疑芯片图像与其差分曲率图像之间的直接映射时。紧凑的电路区域通常具有尖锐的边缘和大的强度对比度，为了有效地利用纹理信息，可通过差分曲率捕获的几何特征与其相对应。因此，提出了补偿丢失的锐边、保持紧凑电路的几何特征的曲率计算层，而差曲率结合了一阶和二阶梯度，信息量更大，差分曲率可定义如下：
D＝||fε|-|fu|| (4)
其中，fε、fu分别定义为：
通过使用五个卷积核(fx,fy,fxx,fyy,fxy)很容易提取一阶和二阶梯度。五个内核分别是fx＝[0,-1,0,0,0,1,0]、fy＝[0,-1,0,1,0]、fyy＝[0,0,1,0,-2,0,1,0,0]、fxy＝[1,0,-1,0,-1,0,1]和fxx＝[0,0,1,0,0,0,0,0,-2,0,0,0,0,1,0,0]。
第一融合模块通过像素逐元素相乘实现融合，第二、第三融合模块通过像素逐元素相加实现融合，上采样模块由PixelShuffle实现，放大参数为4。
步骤3)对基于差分曲率超分网络模型O进行迭代训练：
步骤3a)初始化迭代次数为s，最大迭代次数为S，S≥20000，第s次迭代的超分辨率重建网络模型为Os，Os中可学习的权值、偏置参数分别为ws、bs，并令s＝0，Os＝O；
步骤3b)将训练样本集R1作为超分网络模型O的输入：
步骤3c)第一重建网络中的第一卷积层对每个训练样本提取特征，得到N个标准芯片图像块的低级特征图Y1 1和N个可疑芯片图像块的低级特征图Y1 2；D个残差组模块依次对所提取的每个标准显微芯片低级特征图和每个可疑显微芯片低级特征图进行特征细化，得到每个标准显微芯片细化的高级特征图和每个可疑显微芯片细化的高级特征图/>第一重建模块对得到的每个标准显微芯片图像块的高级特征图/>和每个可疑显微芯片图像块的高级特征图/>进行重建，得到N个标准显微芯片图像块的重建图像和N个可疑显微芯片图像块的重建图像；
同时，第二重建网络中的差分曲率计算层对每个训练样本计算曲率信息，得到每个标准芯片图像块的曲率信息和每个可疑芯片图像块的曲率信息/>特征分解层所提取的每个标准显微芯片图像块的曲率信息和每个可疑显微芯片图像块的曲率信息提取曲率特征，得到每个标准显微芯片图像块的低级曲率特征图/>和每个可疑显微芯片图像块的低级曲率特征图/>D个差分曲率掩膜模块对所提取的每个标准显微芯片低级曲率特征图/>和每个可疑显微芯片的低级曲率特征图/>进行特征掩膜，得到每个标准显微芯片重建的富含纹理等细节信息的曲率特征图/>和每个可疑显微芯片重建的富含纹理等细节信息曲率特征图/>第二重建模块对重建的每个标准显微芯片图像块的曲率特征图/>和每个可疑显微芯片图像块的曲率特征图/>进行重建，得到N个标准显微芯片图像块的重建曲率图像和N个可疑显微芯片图像块的重建曲率图像；
在第一重建网络和第二重建网络重建的过程中，第d个第一融合模块对第d个差分曲率掩膜模块输出的第n个标准显微芯片图像块的曲率特征图与第d个残差组模块输出的第n个标准显微芯片图像块的特征图/>进行融合，同时对第d个差分曲率掩膜模块输出的第n个可疑显微芯片图像块的曲率特征图/>与第d个残差组模块输出的第n个可疑显微芯片图像块的特征图/>进行融合；第二融合模块对第一卷积层输出的第n个标准显微芯片图像块的特征图Y1 1(n)与特征分解层输出的第n个标准显微芯片曲率特征图/>进行融合，同时对第一卷积层输出的第n个可疑显微芯片图像块的特征图Y1 2(n)与特征分解层输出的第n个可疑显微芯片曲率特征图/>进行融合；第d个第三融合模块对第d个第一融合模块输出的第n个标准显微芯片图像块的特征图与第d个差分曲率掩膜模块输出的第n个标准显微芯片图像块的曲率特征图/>进行融合，同时对第d个第一融合模块输出的第n个可疑显微芯片图像块的特征图与第d个差分曲率掩膜模块输出的第n个可疑显微芯片图像块的曲率特征图/>进行融合,其中d∈[1,D]，n∈[1,N]。
步骤3d)采用L1范数计算损失函数Ls的表达式，并通过重建图像和其对应训练样本标签计算Os的损失值Ls，以及根据对ωs、bs进行更新的更新公式分别为：
Ls＝αL1+βL2
其中，表示训练样本集中样本的标签，/>表示重建的训练样本图像，表示训练样本集中样本标签，/>表示重建的训练样本曲率图像，α和β为损失权重系数，ws、bs表示Os所有可学习参数的权值、偏置参数，ws'、bs'表示更新后的可学习参数，lr表示学习率，Ls是损失函数，/>表示求导操作。
步骤3e)判断s≥S是否成立，若是，得到训练好的超分模型O*，否则，令s＝s+1，并执行步骤3c)；
步骤3f)获取图像重建结果：
将测试样本集E1作为训练好的网络模型O*的输入进行前向传播，得到测试样本集所对应的K-N个标准显微芯片图像的重建图像和K-N个可疑显微芯片图像重建图像，以及对应的K-N个标准显微芯片图像的重建曲率图像和K-N个可疑显微芯片图像重建曲率图像；
步骤3g)获取芯片硬件木马检测结果：
通过基于差分曲率的芯片硬件木马检测模型O获取的标准芯片图像所对应的重建图像和可疑芯片所对应的重建图像，应用Otsu算法获得标准芯片和可疑芯片的HR图像的二值分割掩模。由于显微镜图像的灰度直方图遵循双峰分布，双峰分布曲线的最低点被设置为Otus算法的最佳阈值。然后基于XOR运算，对标准芯片和可疑芯片的二进制掩码进行了比较。通过应用数学形态学检测算法，即将重建的标准芯片图像和可疑芯片图像进行异或运算，异或结果为1的部分即为硬件木马，完成硬件木马的检测，通过每个标准芯片图像所对应的重建图像判断每个可疑芯片所对应的重建图像中是否含有硬件木马，以及硬件木马位置；形态学算法是一种二进制计算，可以消耗更少的资源来获得更高的检测效果。
本发明提出的基于差分曲率的芯片硬件木马检测模型中，第一重建网络有效的重建标准芯片图像和可疑芯片图像，然而，第一重建重建的标准芯片图像和可疑芯片图像和标准LR芯片图像和可疑LR芯片图像的曲率可能不一致，因为特征经过残差组，其输出特征可能会丢失曲率信息；因为，第二重建的曲率掩码能够补偿丢失的曲率信息。在第一重建网络和第二重建网络重建的过程中，利用三个融合模块融合两个重建网络的特征图，并用第二重建网络学习的曲率特征补偿第一重建网络的特征，从以增强CCN的表示能力，提高硬件木马检测的准确率。
结合仿真实验，对本发明的技术效果作进一步说明。
1.仿真条件：
仿真实验的硬件平台为：处理器为Intel(R)Core i9-9900K CPU，主频为3.6GHz，内存为32GB、显卡为NVIDIA GeForce RTX 2080Ti。仿真实验的软件平台为：Ubuntu 16.04操作系统，python版本为3.7，Pytorch版本为1.7.1。
仿真实验中使用新构建的显微镜芯片图像数据库(MCI)。它有468张SEM拍摄的显微镜芯片图像，包括真实的156张LR图像和312张HR图像。在LR图像中，78幅图像拍摄的是一个标准芯片，其他78幅图像拍摄的是相应的可疑芯片。在HR图像中，对应156幅LR图像，随机选取一组图像进行训练。这组图片包括28张LR标准芯片图像和它们对应的×2、×4图片，总共56张。同样，随机选取28张LR待检测的可疑芯片图像和和它们对应的×2、×4图片，总共56张HR图像。将剩下的100张LR图像及其对应的HR图像作为测试集。
2.仿真结果分析：
本发明提出的基于差分曲率的芯片硬件木马检测模型由两部分组成：第一重建网络和第二重建网络；其中，第一重建网络包括TCD残差组模块，第二重建网络包括差分曲率掩膜模块。为了验证TCD残差组模块和差分曲率掩膜模块的有效性，在Set5数据集、Urban100数据集上进行了消融研究，结果列于表1。在测试样本集MCI数据集上，现有技术的峰值信噪比为23.50dB，结构相似度为0.6164；本发明的峰值信噪比为25.60dB，结构相似度为0.8783；结果列于表2。
表1
表2
| 现有技术 | 本发明 | |
| PSNR | 23.50dB | 25.60dB |
| SSIM | 0.6164 | 0.8783 |
图像重建的评级指标PSNR(峰值信噪比)、SSIM(结构相似度)越高，图像重建的质量就越好；对应的，硬件木马检测的精度就越准确。可以看出，本发明相对于现有技术，峰值信噪比有显著提高，因此有更准确的硬件木马检测精度。
Claims (4)
1.一种基于差分曲率的芯片硬件木马检测方法，其特征在于，包括以下步骤：
(1)获取训练样本集和测试样本集：
(1a)获取标准显微芯片图像和可疑显微芯片图像各K幅，并对每幅图像进行预处理，然后将预处理后的每幅显微芯片图像裁剪成大小为H×H的预处理图像块，同时对预处理后的每幅显微芯片图像进行1/4降采样，再将降采样后的每幅显微芯片图像裁剪成大小为的降采样图像块，其中，K≥1000，H≥256；
(1b)将预处理后的每幅显微芯片图像块作为对应的降采样后裁剪的图像块的标签，然后随机选取其中N个降采样后的标准显微芯片图像块及其标签以及N个降采样后的可疑显微芯片图像块及其标签组成训练样本集R1，将剩余降采样后的K-N幅标准显微芯片图像块及其标签以及K-N幅可疑显微芯片图像块及其标签组成测试样本集E1，其中，
(2)构建基于差分曲率超分网络模型O：
构建包括并行排布的第一重建网络和第二重建网络的超分网络模型O，其中：
第一重建网络包括顺次级联的第一卷积层、D个残差组模块、第一重建模块；每个残差组模块的输出端还连接有第一融合模块；其中，残差组模块包括顺次连接的级联的多个TCD残差组、级联的多个互残差通道注意力模块；每个TCD残差组包括顺次级联的第二卷积层、非线性激活层、第三卷积层；每个互残差通道注意块包括顺次级联的最大池化层、第四卷积层、ReLU激活层、第五卷积层、非线性激活层；其中，D≥10；
第二重建网络包括顺次级联的差分曲率计算层、特征分解层、第二融合模块、D个差分曲率掩膜模块、第二重建模块；每个差分曲率掩膜模块的输出端还连接有第三融合模块；其中，每个差分曲率掩膜模块包括顺次级联的差分曲率计算层、第六卷积层、差分曲率扩展块、第七卷积层；差分曲率扩展模块包括级联的第八卷积层、第九卷积层、第十卷积层；
第二融合模块的输入端还与第一卷积层的输出相连，每个第一融合模块的输入端还与对应位置的差分曲率掩膜模块的输出端相连，每个第三融合模块的输入端还与对应位置的第一融合模块的输出端相连；
第一重建模块和第二重建模块均包括顺次级联的第十一卷积层、上采样模块、第十二卷积层；
(3)对基于差分曲率超分网络模型O进行迭代训练：
(3a)初始化迭代次数为s，最大迭代次数为S，S≥20000，第s次迭代的超分辨率重建网络模型为Os，Os中可学习的权值、偏置参数分别为ws、bs，并令s＝0，Os＝O；
(3b)将训练样本集R1作为超分网络模型O的输入：
第一重建网络中的第一卷积层对每个训练样本提取特征；D个残差组模块依次对所提取的每个标准显微芯片特征图和每个可疑显微芯片特征图进行特征细化；第一重建模块对特征细化得到的每个标准显微芯片图像块的高级特征图和每个可疑显微芯片图像块的高级特征图进行重建，得到N个标准显微芯片图像块的重建图像和N个可疑显微芯片图像块的重建图像；
第二重建网络中的差分曲率计算层对每个训练样本计算曲率信息；特征分解层所提取的每个标准显微芯片曲率信息和每个可疑显微芯片曲率信息提取曲率特征；D个差分曲率掩膜模块对所提取的每个标准显微芯片低级曲率特征图和每个可疑显微芯片的低级曲率特征图进行特征掩膜，第二重建模块对每个标准显微芯片图像块的高级曲率特征图和每个可疑显微芯片图像块的高级曲率特征图进行重建，得到N个标准显微芯片图像块的重建曲率图像和N个可疑显微芯片图像块的重建曲率图像；
在第一重建网络和第二重建网络重建的过程中，第d个第一融合模块对第d个差分曲率掩膜模块输出的第n个标准显微芯片图像块的曲率特征图与第d个残差组模块输出的第n个标准显微芯片图像块的特征图进行融合，同时对第d个差分曲率掩膜模块输出的第n个可疑显微芯片图像块的曲率特征图与第d个残差组模块输出的第n个可疑显微芯片图像块的特征图进行融合；第二融合模块对第一卷积层输出的第n个标准显微芯片图像块的特征图与特征分解层输出的第n个标准显微芯片曲率特征图进行融合，同时对第一卷积层输出的第n个可疑显微芯片图像块的特征图与特征分解层输出的第n个可疑显微芯片曲率特征图进行融合；第d个第三融合模块对第d个第一融合模块输出的第n个标准显微芯片图像块的特征图与第d个差分曲率掩膜模块输出的第n个标准显微芯片图像块的曲率特征图进行融合，同时对第d个第一融合模块输出的第n个可疑显微芯片图像块的特征图与第d个差分曲率掩膜模块输出的第n个可疑显微芯片图像块的曲率特征图进行融合,其中d∈[1,D]，n∈[1,N]；
(3c)采用L1范数计算损失函数，并通过N个标准显微芯片图像块的重建图像和N个标准显微芯片图像块的重建曲率图像与其对应训练样本标签计算Os的损失值通过链式法则计算/>对网络中的权值参数ωs及偏置参数bs的偏导/>和/>并根据对ωs、bs进行更新；
同时，对N个可疑显微芯片图像块的重建图像和N个可疑显微芯片图像块的重建曲率图像与其对应训练样本标签对计算Os的损失值通过链式法则计算/>对网络中的权值参数ωs及偏置参数bs的偏导/>和/>并根据/>对ωs、bs进行更新；
(3d)判断s≥S是否成立，若是，得到训练好的超分网络模型O*，否则，令s＝s+1，并执行步骤(3b)；
(4)获取图像重建结果：
将测试样本集E1作为训练好的网络模型O*的输入进行前向传播，得到测试样本集所对应的K-N个标准显微芯片图像的重建图像和K-N个可疑显微芯片图像重建图像，以及对应的K-N个标准显微芯片图像的重建曲率图像和K-N个可疑显微芯片图像重建曲率图像；
(5)获取芯片硬件木马检测结果：
采用形态学检测算法，通过每个标准芯片图像的重建图像判断与其对应的可疑芯片的重建图像中是否含有硬件木马，以及硬件木马位置。
2.根据权利要求1所述的基于差分曲率的芯片硬件木马检测方法，其特征在于，步骤(1a)中所述的对每幅图像进行预处理，具体为：
对标准显微芯片和可疑显微芯片的表面层进行研磨和腐蚀去除待测芯片的包装，使芯片的金属结构暴露出来，并对暴露的芯片进行染色，对然后利用光学显微镜或电子扫描仪对标准显微芯片和可疑显微芯片进行显微图像成像，获取标准芯片显微图像和可疑显微芯片图像。
3.根据权利要求1所述的基于差分曲率的芯片硬件木马检测方法，其特征在于，步骤(2)中所述的差分曲率超分网络模型O，其中：
第一重建网络，其中，残差组模块个数为10，TCD残差组个数为2，互残差通道注意块个数为2；第一重建网络包括顺次级联的第一卷积层、D个残差组模块、第一重建模块；每个残差组模块的输出端还连接有第一融合模块；其中，残差组模块包括顺次连接的级联的多个TCD残差组、级联的多个互残差通道注意力模块；每个TCD残差组包括顺次级联的第二卷积层、非线性激活层、第三卷积层；每个互残差通道注意块包括顺次级联的最大池化层、第四卷积层、ReLU激活层、第五卷积层、非线性激活层；网络参数设置为：第一卷积层、第二卷积层、第三卷积层卷积核大小3*3，其通道数设置为64，第四卷积层、第五卷积层卷积核大小1*1，其通道数设置为64；非线性激活层由Sigmoid函数实现，第一重建模块的具体结构包括顺次级联的第十一卷积层、第一上采样模块、第十二卷积层；参数设置为：第十一卷积层、第十二卷积层卷积核大小3*3，其通道数设置为64；
第二重建网络包括顺次级联的差分曲率计算层、特征分解层、第二融合模块、D个差分曲率掩膜模块、第二重建模块；每个差分曲率掩膜模块的输出端还连接有第三融合模块；其中，差分曲率掩膜模块包括顺次级联的差分曲率计算层、第六卷积层、差分曲率扩展快、第七卷积层；差分曲率扩展块包括顺次级联的第八卷积层、第九卷积层、第十卷积层；网络参数设置为：第六卷积层、第七卷积层卷积核大小3*3，其通道数设置为64，第八卷积层、第九卷积层、第十卷积层均为空洞卷积，卷积核大小均为3*3，膨胀率分别为1、3、5；第二重建模块的具体结构包括顺次级联的第十三卷积层、第二上采样模块、第十四卷积层；参数设置为：第十三卷积层、第十四卷积层卷积核大小3*3，其通道数设置为64；
第一融合模块实现逐元素相乘，第二、第三融合模块实现逐元素相加，上采样模块由PixelShuffle实现，放大参数为4。
4.根据权利要求1所述的基于差分曲率的芯片硬件木马检测方法，其特征在于，步骤(3c)中所述的L1范数Ls的计算公式，以及根据对ωs、bs进行更新的更新公式分别为：
其中，表示训练样本集中样本的标签，/>表示重建的训练样本图像，/>表示训练样本集中样本标签，/>表示重建的训练样本曲率图像，α和β为损失权重系数，ws、bs表示Os所有可学习参数的权值、偏置参数，ws'、bs'表示更新后的可学习参数，lr表示学习率，Ls是损失函数，/>表示求导操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310273998.1A CN116257852B (zh) | 2023-03-21 | 2023-03-21 | 基于差分曲率的芯片硬件木马检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310273998.1A CN116257852B (zh) | 2023-03-21 | 2023-03-21 | 基于差分曲率的芯片硬件木马检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116257852A CN116257852A (zh) | 2023-06-13 |
| CN116257852B true CN116257852B (zh) | 2023-11-14 |
Family
ID=86679371
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310273998.1A Active CN116257852B (zh) | 2023-03-21 | 2023-03-21 | 基于差分曲率的芯片硬件木马检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116257852B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117541471B (zh) * | 2023-11-09 | 2024-06-07 | 西安电子科技大学 | 基于sph启发的pg-spect图像超分辨重建方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112288714A (zh) * | 2020-10-28 | 2021-01-29 | 西安电子科技大学 | 基于深度学习的硬件木马检测方法 |
| CN114723608A (zh) * | 2022-04-14 | 2022-07-08 | 西安电子科技大学 | 基于流体粒子网络的图像超分辨率重建方法 |
| CN114757930A (zh) * | 2022-04-26 | 2022-07-15 | 西安电子科技大学 | 基于热传递的芯片硬件木马检测方法 |
-
2023
- 2023-03-21 CN CN202310273998.1A patent/CN116257852B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112288714A (zh) * | 2020-10-28 | 2021-01-29 | 西安电子科技大学 | 基于深度学习的硬件木马检测方法 |
| CN114723608A (zh) * | 2022-04-14 | 2022-07-08 | 西安电子科技大学 | 基于流体粒子网络的图像超分辨率重建方法 |
| CN114757930A (zh) * | 2022-04-26 | 2022-07-15 | 西安电子科技大学 | 基于热传递的芯片硬件木马检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 自适应差分曲率正则化的低剂量CT重建算法;裴新超;尹四清;;计算机工程与设计(第05期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116257852A (zh) | 2023-06-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhao et al. | Efficient and model-based infrared and visible image fusion via algorithm unrolling | |
| Xie et al. | Deep convolutional networks with residual learning for accurate spectral-spatial denoising | |
| CN116257852B (zh) | 基于差分曲率的芯片硬件木马检测方法 | |
| Zhang et al. | Curvature consistent network for microscope chip image super-resolution | |
| Cao et al. | New architecture of deep recursive convolution networks for super-resolution | |
| Sharma et al. | A hybrid technique to discriminate Natural Images, Computer Generated Graphics Images, Spliced, Copy Move tampered images and Authentic images by using features and ELM classifier | |
| Tudavekar et al. | Dual‐tree complex wavelet transform and super‐resolution based video inpainting application to object removal and error concealment | |
| Ben Hamza | Nonextensive information-theoretic measure for image edge detection | |
| Yang et al. | DPNet: Detail-preserving image deraining via learning frequency domain knowledge | |
| Su et al. | JPEG steganalysis based on ResNeXt with gauss partial derivative filters | |
| Wang et al. | Poissonian blurred hyperspectral imagery denoising based on variable splitting and penalty technique | |
| Liu et al. | Local multi-scale feature aggregation network for real-time image dehazing | |
| CN116773534B (zh) | 一种检测方法及装置、电子设备、计算机可读介质 | |
| Zhao et al. | Multilevel modified finite radon transform network for image upsampling | |
| Maji et al. | Reconstructing an image from its edge representation | |
| CN114757930B (zh) | 基于热传递的芯片硬件木马检测方法 | |
| CN116309612A (zh) | 基于频率解耦监督的半导体硅晶圆检测方法、装置及介质 | |
| Wang et al. | Face super-resolution via hierarchical multi-scale residual fusion network | |
| CN112862655B (zh) | 一种基于通道空间注意力机制的jpeg图像隐写分析方法 | |
| Zhang et al. | [Retracted] Ancient Stone Inscription Image Denoising and Inpainting Methods Based on Deep Neural Networks | |
| CN113763405A (zh) | 一种图像检测方法和装置 | |
| Zhang et al. | DAResNet Based on double-layer residual block for restoring industrial blurred images | |
| Feng et al. | Hierarchical guided network for low‐light image enhancement | |
| Rachmawanto et al. | Medical Image Watermarking Using Slantlet Transform and Particle Swarm Optimization | |
| Banday | Efficient object removal and region filling image refurbishing approach |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |