CN112561902A - 一种基于深度学习的芯片逆还原方法及系统 - Google Patents
一种基于深度学习的芯片逆还原方法及系统 Download PDFInfo
- Publication number
- CN112561902A CN112561902A CN202011543308.2A CN202011543308A CN112561902A CN 112561902 A CN112561902 A CN 112561902A CN 202011543308 A CN202011543308 A CN 202011543308A CN 112561902 A CN112561902 A CN 112561902A
- Authority
- CN
- China
- Prior art keywords
- chip
- image
- module
- deep learning
- detection model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000013135 deep learning Methods 0.000 title claims abstract description 19
- 230000009467 reduction Effects 0.000 title claims abstract description 19
- 238000001514 detection method Methods 0.000 claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 20
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 12
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims abstract description 3
- 238000002372 labelling Methods 0.000 claims description 16
- 238000003860 storage Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 9
- 230000002452 interceptive effect Effects 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000004140 cleaning Methods 0.000 claims description 5
- 230000006835 compression Effects 0.000 claims description 5
- 238000007906 compression Methods 0.000 claims description 5
- 230000004048 modification Effects 0.000 claims description 3
- 238000012986 modification Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims 2
- 238000013461 design Methods 0.000 abstract description 7
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的芯片逆还原方法及系统，对芯片图像数据集进行清洗、标注，并对标注后的图像进行保存；根据标注好的芯片图像样本，使用人工智能框架，设置网络结构和训练超参数，通过GPU CUDA加速，使用CNN卷积神经网络算法，最终训练出深度网络目标检测模型；载入训练好的检测模型，对芯片图像进行检测，识别芯片图像的各电路模块。本发明使用人工智能技术深度学习的方法，实现了对芯片复杂的电路构造的识别，可大大提高芯片逆还原的效率，为芯片设计和生产提供了辅助，有效降低了芯片设计失败的风险。
Description
技术领域
本发明属于芯片IC设计领域，具体涉及到一种基于深度学习的芯片逆还原方法及系统。
背景技术
IC设计是一件高风险的投资行为，及时了解同类竞争对手的技术可提高成功率，芯片的逆向工程是一种解决方案。通过逆向可将整颗芯片从封装、线路布局、内部结构、尺寸、材料、制成与步骤一一还原，进而可还原电路设计。
发明内容
本发明提出一种基于深度学习的芯片逆还原方法及系统，解决芯片还原过程中无法高效准确的识别芯片电路图的问题。
为达到上述目的，本发明的技术方案是这样实现的：
一种基于深度学习的芯片逆还原方法，包括：
S1、对芯片图像数据集进行清洗、标注，并对标注后的图像进行保存；
S2、根据标注好的芯片图像样本，使用人工智能框架，设置网络结构和训练超参数，通过GPU CUDA加速，使用CNN卷积神经网络算法，最终训练出深度网络目标检测模型；
S3、载入训练好的检测模型，对芯片图像进行检测，识别芯片图像的各电路模块。
进一步的，步骤S1具体包括包括芯片图像载入、芯片图像编辑、芯片图像批量导出、修改芯片图像压缩格式、对芯片图像的标注，其中芯片图像编辑包括芯片图像的裁剪、尺寸变换、撤销。
进一步的，步骤S2具体过程包括:
S201、加载标注好的芯片图像数据集；
S202、构建神经网络；
S203、开始训练；
S204、生成检测模型。
进一步的，步骤S3中的检测过程还包括是否检测过的判断以及是否需要重新检测的选择。
进一步的，步骤S1、S2、S3的计算任务提交给集群管理存储节点，集群管理软件按设定要求拆分成子任务，分别提交给计算节点做计算，所有的子任务计算结果最后汇总到集群管理存储节点并返回。
本发明的另一方面，还提出了一种基于深度学习的芯片逆还原系统，包括：
芯片数据标注清洗软件，对芯片图像数据集进行清洗、标注，并对标注后的图像进行保存；
芯片要素检测模型训练软件，根据标注好的芯片图像样本，使用人工智能框架，设置网络结构和训练超参数，通过GPU CUDA加速，使用CNN卷积神经网络算法，最终训练出深度网络目标检测模型；
芯片要素检测人工交互式软件，载入训练好的检测模型，对芯片图像进行检测，识别芯片图像的各电路模块。
进一步的，芯片数据标注清洗软件包括芯片图像载入模块、芯片图像编辑模块、芯片图像批量导出模块、修改芯片图像压缩格式模块、对芯片图像的标注模块，其中芯片图像编辑模块包括芯片图像裁剪单元、尺寸变换单元、撤销单元。
进一步的，芯片要素检测模型训练软件包括:
加载模块，加载标注好的芯片图像数据集；
构建模块，用于构建神经网络；
训练模块，用于开始训练；
生成模块，用于生成检测模型。
进一步的，芯片要素检测人工交互式软件包括：
判断模块，进行是否检测过的判断；
选择模块，进行是否需要重新检测的选择。
进一步的，芯片数据标注清洗软件、芯片要素检测模型训练软件、芯片要素检测人工交互式软件的计算任务提交给集群管理存储节点，集群管理存储节点的集群管理软件按设定要求拆分成子任务，分别提交给计算节点做计算，所有的子任务计算结果最后汇总到集群管理存储节点并返回。
与现有技术相比，本发明具有如下的有益效果：
本发明使用人工智能技术深度学习的方法，实现了对芯片复杂的电路构造的识别，可大大提高芯片逆还原的效率，为芯片设计和生产提供了辅助，有效降低了芯片设计失败的风险。
附图说明
图1是本发明的整体架构示意图；
图2是本发明的模型训练流程示意图；
图3是本发明的芯片图像电路模块识别流程示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。
如图1所示，本发明由高性能计算硬件和软件组成。芯片数据标注清洗软件，芯片要素检测模型训练软件，芯片要素检测人工交互式软件运行在硬件设备上，任务提交给集群管理存储节点，集群管理软件按设定要求拆分成子任务，分别提交给计算节点做计算，所有的子任务计算结果最后汇总到集群管理节点返回给软件。
芯片数据标注清洗软件，主要是对芯片图像数据集进行清洗、标注，并可对标注后的图像进行保存，为后续训练软件提供训练数据。满足如下功能：
·具有图像载入功能。
·具有图像的编辑(裁剪，尺寸变换，撤销)功能。
·具有图像的批量导出功能。
·具有修改图像压缩格式功能。
·具备对芯片图像的标注功能。
芯片要素检测模型训练软件可根据标注好的芯片图像样本，使用主流的人工智能框架，如TensorFlow、Pytorch，设置网络结构和训练超参数，通过GPU CUDA加速，使用CNN(卷积神经网络)算法，最终训练出深度网络目标检测模型。整个模型保存到一个文件中，包含权重值、模型配置及优化器的配置，keras中使用HDF5标准提供基本的保存格式。
芯片要素检测模型训练软件满足如下功能：
·具有载入国定格式下的深度网络模型，并支持可视化功能。
·具有可视化显示训练过程功能。
·具有模型文件的导出功能。
芯片要素检测模型训练软件的训练过程如图2所示，包括：
(1)加载标注好的芯片图像数据集；
(2)构建神经网络；
(3)开始训练；
(4)生成检测模型。
芯片要素检测人工交互软件载入训练好的检测模型，对芯片图像进行检测，具体检测过程如图3所示，包括是否检测过的判断以及是否需要重新检测的选择。可快速有效的识别芯片图像的各电路模块。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于深度学习的芯片逆还原方法，其特征在于，包括：
S1、对芯片图像数据集进行清洗、标注，并对标注后的图像进行保存；
S2、根据标注好的芯片图像样本，使用人工智能框架，设置网络结构和训练超参数，通过GPU CUDA加速，使用CNN卷积神经网络算法，最终训练出深度网络目标检测模型；
S3、载入训练好的检测模型，对芯片图像进行检测，识别芯片图像的各电路模块。
2.根据权利要求1所述的一种基于深度学习的芯片逆还原方法，其特征在于，步骤S1具体包括包括芯片图像载入、芯片图像编辑、芯片图像批量导出、修改芯片图像压缩格式、对芯片图像的标注，其中芯片图像编辑包括芯片图像的裁剪、尺寸变换、撤销。
3.根据权利要求1所述的一种基于深度学习的芯片逆还原方法，其特征在于，步骤S2具体过程包括:
S201、加载标注好的芯片图像数据集；
S202、构建神经网络；
S203、开始训练；
S204、生成检测模型。
4.根据权利要求1所述的一种基于深度学习的芯片逆还原方法，其特征在于，步骤S3中的检测过程还包括是否检测过的判断以及是否需要重新检测的选择。
5.根据权利要求1-4任一项所述的一种基于深度学习的芯片逆还原方法，其特征在于，步骤S1、S2、S3的计算任务提交给集群管理存储节点，集群管理软件按设定要求拆分成子任务，分别提交给计算节点做计算，所有的子任务计算结果最后汇总到集群管理存储节点并返回。
6.一种基于深度学习的芯片逆还原系统，其特征在于，包括：
芯片数据标注清洗软件，对芯片图像数据集进行清洗、标注，并对标注后的图像进行保存；
芯片要素检测模型训练软件，根据标注好的芯片图像样本，使用人工智能框架，设置网络结构和训练超参数，通过GPU CUDA加速，使用CNN卷积神经网络算法，最终训练出深度网络目标检测模型；
芯片要素检测人工交互式软件，载入训练好的检测模型，对芯片图像进行检测，识别芯片图像的各电路模块。
7.根据权利要求6所述的一种基于深度学习的芯片逆还原系统，其特征在于，芯片数据标注清洗软件包括芯片图像载入模块、芯片图像编辑模块、芯片图像批量导出模块、修改芯片图像压缩格式模块、对芯片图像的标注模块，其中芯片图像编辑模块包括芯片图像裁剪单元、尺寸变换单元、撤销单元。
8.根据权利要求6所述的一种基于深度学习的芯片逆还原系统，其特征在于，芯片要素检测模型训练软件包括:
加载模块，加载标注好的芯片图像数据集；
构建模块，用于构建神经网络；
训练模块，用于开始训练；
生成模块，用于生成检测模型。
9.根据权利要求6所述的一种基于深度学习的芯片逆还原系统，其特征在于，芯片要素检测人工交互式软件包括：
判断模块，进行是否检测过的判断；
选择模块，进行是否需要重新检测的选择。
10.根据权利要求6-9任一项所述的一种基于深度学习的芯片逆还原系统，其特征在于，芯片数据标注清洗软件、芯片要素检测模型训练软件、芯片要素检测人工交互式软件的计算任务提交给集群管理存储节点，集群管理存储节点的集群管理软件按设定要求拆分成子任务，分别提交给计算节点做计算，所有的子任务计算结果最后汇总到集群管理存储节点并返回。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011543308.2A CN112561902A (zh) | 2020-12-23 | 2020-12-23 | 一种基于深度学习的芯片逆还原方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011543308.2A CN112561902A (zh) | 2020-12-23 | 2020-12-23 | 一种基于深度学习的芯片逆还原方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112561902A true CN112561902A (zh) | 2021-03-26 |
Family
ID=75031959
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011543308.2A Pending CN112561902A (zh) | 2020-12-23 | 2020-12-23 | 一种基于深度学习的芯片逆还原方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112561902A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113158982A (zh) * | 2021-05-17 | 2021-07-23 | 广东中卡云计算有限公司 | 一种半介入式的目标关键点标注方法 |
| CN114707654A (zh) * | 2022-06-06 | 2022-07-05 | 浙江大学 | 基于人工智能框架的算法训练推理性能可视化方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103036927A (zh) * | 2011-09-29 | 2013-04-10 | 中国电信股份有限公司 | 智能交通控制方法、装置与系统 |
| CN106971134A (zh) * | 2016-01-14 | 2017-07-21 | 芋头科技（杭州）有限公司 | 一种可纠错的图像识别装置及方法 |
| CN107016382A (zh) * | 2017-05-26 | 2017-08-04 | 黄晓咏 | 一种具有通讯装置的眼镜 |
| CN109670423A (zh) * | 2018-12-05 | 2019-04-23 | 依通（北京）科技有限公司 | 一种基于深度学习的图像识别系统、方法及介质 |
| CN110503059A (zh) * | 2019-08-27 | 2019-11-26 | 国网电子商务有限公司 | 一种人脸识别方法及系统 |
| CN110909807A (zh) * | 2019-11-26 | 2020-03-24 | 深圳市信联征信有限公司 | 基于深度学习的网络验证码识别方法、装置及计算机设备 |
| CN111145164A (zh) * | 2019-12-30 | 2020-05-12 | 上海感图网络科技有限公司 | 一种基于人工智能的ic芯片缺陷检测方法 |
-
2020
- 2020-12-23 CN CN202011543308.2A patent/CN112561902A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103036927A (zh) * | 2011-09-29 | 2013-04-10 | 中国电信股份有限公司 | 智能交通控制方法、装置与系统 |
| CN106971134A (zh) * | 2016-01-14 | 2017-07-21 | 芋头科技（杭州）有限公司 | 一种可纠错的图像识别装置及方法 |
| CN107016382A (zh) * | 2017-05-26 | 2017-08-04 | 黄晓咏 | 一种具有通讯装置的眼镜 |
| CN109670423A (zh) * | 2018-12-05 | 2019-04-23 | 依通（北京）科技有限公司 | 一种基于深度学习的图像识别系统、方法及介质 |
| CN110503059A (zh) * | 2019-08-27 | 2019-11-26 | 国网电子商务有限公司 | 一种人脸识别方法及系统 |
| CN110909807A (zh) * | 2019-11-26 | 2020-03-24 | 深圳市信联征信有限公司 | 基于深度学习的网络验证码识别方法、装置及计算机设备 |
| CN111145164A (zh) * | 2019-12-30 | 2020-05-12 | 上海感图网络科技有限公司 | 一种基于人工智能的ic芯片缺陷检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| 姜洋洋: "基于卷积神经网络与CUDA加速计算的手势识别算法应用研究", 《系统仿真技术》 * |
| 徐亚坤: "基于机器视觉的LED芯片识别与产品检测系统", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
| 李欣致等: "应用于智能芯片的可视化反馈系统研究", 《北京航空航天大学学报》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113158982A (zh) * | 2021-05-17 | 2021-07-23 | 广东中卡云计算有限公司 | 一种半介入式的目标关键点标注方法 |
| CN114707654A (zh) * | 2022-06-06 | 2022-07-05 | 浙江大学 | 基于人工智能框架的算法训练推理性能可视化方法及装置 |
| CN114707654B (zh) * | 2022-06-06 | 2022-08-23 | 浙江大学 | 基于人工智能框架的算法训练推理性能可视化方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2019109771A1 (zh) | 基于多核异构并行计算的电力人工智能视觉分析系统 | |
| CN110377984B (zh) | 一种工业设备剩余有效寿命预测方法、系统及电子设备 | |
| CN112561902A (zh) | 一种基于深度学习的芯片逆还原方法及系统 | |
| CN110830807B (zh) | 图像压缩方法、装置及存储介质 | |
| CN114549563A (zh) | 一种基于DeepLabV3+的复合绝缘子实时分割方法及系统 | |
| CN112990219B (zh) | 用于图像语义分割的方法和装置 | |
| CN110543895B (zh) | 一种基于VGGNet和ResNet的图像分类方法 | |
| CN113222560A (zh) | 一种基于ai咨询的企业服务系统及其搭建方法 | |
| CN111339072B (zh) | 基于用户行为的变化值分析方法、装置、电子设备及介质 | |
| CN111476276A (zh) | 智能化数据分类方法、装置、电子设备及可读存储介质 | |
| CN114581422A (zh) | 一种基于图像处理的承力索接触线异常检测方法与系统 | |
| CN117292330A (zh) | 一种适用于时序数据运维的智能监测系统 | |
| CN109767002A (zh) | 一种基于多块fpga协同处理的神经网络加速方法 | |
| CN115345285B (zh) | 基于gpu的时序图神经网络训练方法、系统及电子设备 | |
| CN116778527A (zh) | 人体模型构建方法、装置、设备及存储介质 | |
| CN116434039A (zh) | 一种基于多尺度拆分注意力机制的目标检测方法 | |
| CN106648672A (zh) | 一种大数据开发与运行方法及系统 | |
| CN116451079A (zh) | 一种面向超算平台的电力变压器故障声音诊断方法 | |
| CN115965898A (zh) | 多级分支卷积与膨胀交互采样结合的视频情感分类方法 | |
| CN112434635B (zh) | 卷积神经网络特征提取方法、系统、嵌入式设备及介质 | |
| CN109857590B (zh) | 一种电力调度中心的数据备份系统 | |
| CN113946424A (zh) | 基于图卷积网络的软硬件划分和任务调度模型及其方法 | |
| CN112580505A (zh) | 网点开关门状态识别方法、装置、电子设备及存储介质 | |
| CN111125198A (zh) | 一种基于时间序列的计算机数据挖掘聚类方法 | |
| CN114356502B (zh) | 基于边缘计算技术的非结构化数据标记、训练和发布系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210326 |