CN107169528A - 一种基于机器学习的集成电路图像的通孔识别装置 - Google Patents
一种基于机器学习的集成电路图像的通孔识别装置 Download PDFInfo
- Publication number
- CN107169528A CN107169528A CN201710418753.8A CN201710418753A CN107169528A CN 107169528 A CN107169528 A CN 107169528A CN 201710418753 A CN201710418753 A CN 201710418753A CN 107169528 A CN107169528 A CN 107169528A
- Authority
- CN
- China
- Prior art keywords
- unit
- sample
- module
- dimensional
- hole
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010801 machine learning Methods 0.000 title claims abstract description 20
- 239000013598 vector Substances 0.000 claims abstract description 96
- 238000013507 mapping Methods 0.000 claims abstract description 57
- 238000000034 method Methods 0.000 claims abstract description 55
- 238000012216 screening Methods 0.000 claims abstract description 53
- 238000012549 training Methods 0.000 claims description 44
- 238000002372 labelling Methods 0.000 claims description 5
- 230000002452 interceptive effect Effects 0.000 claims description 4
- 108010001267 Protein Subunits Proteins 0.000 claims description 3
- 238000001000 micrograph Methods 0.000 abstract description 4
- 235000019557 luminance Nutrition 0.000 description 30
- 238000004364 calculation method Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 7
- 238000013461 design Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 239000003550 marker Substances 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013480 data collection Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000010749 BS 2869 Class C1 Substances 0.000 description 1
- 239000010750 BS 2869 Class C2 Substances 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于机器学习的集成电路图像的通孔识别装置，其特征在于，通孔识别装置至少包括初始筛选模块(20)、数据采集模块(30)和识别模块(60)，数据采集模块(30)采集由初始筛选模块(20)将待识别图片划分并筛选得到的至少一个选择单元的亮度相关值并建立d维向量识别模块(60)基于选择单元的d维向量d维线性映射向量和识别模型确定选择单元的一维空间映射值y，其中，是d维线性映射向量，T是识别阈值，若一维空间映射值y小于识别阈值T，则识别模块确定选择单元不含有通孔。本发明能够通过机器学习过程，利用扫描电镜图像上通孔的形状、亮度等特点，来有效的识别通孔。
Description
技术领域
本发明涉及集成电路技术领域，尤其涉及一种基于机器学习的集成电路图像的通孔识别装置及方法。
背景技术
集成电路设计者需要将芯片各层在扫描电子显微镜下进行拍摄，分析拍摄出来的图像，与原设计版图进行对比，以帮助集成电路设计者和制造者更好的了解各种芯片制造工艺流程中的各种效应对最终成品的影响，从而帮助集成电路设计者改进其设计和集成电路制造者改进其工艺流程，提高集成电路芯片的良率，提高集成电路的性能。在分析扫描电镜所拍摄的图像过程中，识别其上面的通孔(via)是及其重要的一环。
由于芯片制造工艺过程中的各种硅片上效应带来的制造偏差问题(包括系统偏差与随机偏差)和在扫描电子显微镜拍摄过程中引入的杂质干扰和图像噪音问题，拍摄出的图像与最初电路设计版图有很大的不同。通过传统的边界识别与匹配方法来识别图像上的通孔的效果很差，识别率低。而因为当今的集成电路设计规模巨大，通过当今广泛应用的机器学习识别普通图像的方法来识别集成电路的扫描电镜图像上的通孔计算量太大，效率太低，无法实用于实际集成电路分析当中。
例如，中国专利(CN 103455654)公开了一种从集成电路涉及提取数据路径逻辑的计算机实施的方法，包括：通过执行计算机系统中的第一指令，接收用于所述集成电路设计的电路描述，所述电路描述包括被互连用于形成多个网的多个单元；通过执行所述计算机系统中的第二指令，根据所述电路描述生成单元聚类；通过执行所述计算机系统中的第三指令，评估所述单元聚类以标识所述单元聚类中的一个或者多个聚类特征；并且通过执行所述计算机系统中的第四指令，基于所述一个或者多个聚类特征使用一个或者多个机器学习模型将所述单元聚类选择性地分类为数据路径逻辑或者非数据路径逻辑。该专利通过机器学习模型来提取集成电路的数据路径逻辑，但是，该专利不能够通过机器学习来解决提高集成电路图像的通孔的识别效率的技术问题。
因此，如何提高通过机器学习来识别扫描电镜图像上的通孔的形状、亮度等特点的识别效率，从而有效识别通孔，是需要解决的技术问题。
发明内容
针对现有技术之不足，本发明提供一种基于机器学习的集成电路图像的通孔识别装置，其特征在于，所述通孔识别装置至少包括初始筛选模块、数据采集模块和识别模块，所述数据采集模块采集由所述初始筛选模块将待识别图片划分并筛选得到的至少一个选择单元的亮度相关值并建立d维向量所述识别模块基于所述选择单元的d维向量d维线性映射向量和识别模型确定所述选择单元的一维空间映射值y，其中，是d维线性映射向量，T是识别阈值，若一维空间映射值y小于识别阈值T，则所述识别模块确定所述选择单元不含有通孔。本发明通过初始筛选模型的筛选过程，排除不含有通孔的图片，减少计算量；本发明通过识别模型的识别，有效识别集成电路图片中通孔的形状和亮度，从而提高通孔的识别率。
根据一个优选实施方式，所述通孔识别装置还包括人工标记模块和训练模块，所述人工标记模块以交互的形式显示至少一个由所述初始筛选模块筛选的样本单元并基于人工标记内容标记所述样本单元的类别；所述训练模块基于由所述数据采集模块建立的所述样本单元的d维向量和人工标记的所述类别建立所述识别模型并确定参数，其中，y是一维空间映射值，是d维线性映射向量，T是识别阈值。本发明通过具有人工标记的样本图片对机器进行训练，使机器主动建立识别模型，从而准确识别图片中的通孔。本发明的机器学习过程的计算量少，错误率低，训练过程简单有效，效率高。
根据一个优选实施方式，所述训练模块确定d维线性映射向量的训练方法为：基于所述样本单元的类别分别建立样本单元的d维向量与一维空间映射值的映射关系：其中，n1是第一类别的样本单元的个数，n2是第二类别的样本单元的个数；基于函数的最大化过程确定参数，其中，是第一类样本单元的d维向量的平均值，是第二类样本单元的d维向量的平均值，s1是的均方差，s2是的均方差。训练模块的训练方法，使得训练模块能够快速建立准确的识别模型，训练速度快。数据的计算是训练模块擅长的学习过程，而且错误率低。训练模块通过有效参数确定识别模型，简单快捷。
根据一个优选实施方式，所述初始筛选模块的筛选方式为：划分图片为至少一个正方形单元，并且基于所述单元所属指定区域的四个方向的边界强度和边界强度阈值筛选并得到至少一个选择单元和/或样本单元。通过对单元的边界强度的筛选，从而排除了不含有通孔的单元，降低了后续数据采集模块和人工标记模块的计算量和劳动强度，减少了计算时间和人工标记时间，提高了通孔的识别效率。
根据一个优选实施方式，所述数据采集模块统计选择单元和/或样本单元的亮度相关值，并且基于选择单元和/或样本单元的四个方向的边界强度、所述亮度相关值建立d维向量通过单元的亮度相关值的统计，能够得知通孔的形状和亮度，从而使单元的数据采集准确，不会在识别通孔的过程中判断失误。
根据一个优选实施方式，所述数据采集模块将选择单元/样本单元再次划分为若干子单元，统计与所述子单元相应的亮度相关值，并且基于所述子单元的所属指定区域四个方向的最强边界值、所述亮度相关值建立d维向量对单元的进一步划分，得到的单元数据多而准确，数据越准确，通孔的识别率越高。
根据一个优选实施方式，所述指定区域是由指定单元、与所述指定单元第一边相邻的第一单元、与所述指定单元第二边相邻的第二单元和与所述第一单元和所述第二单元同时相邻的第三单元构成的边长为所述指定单元的2倍边长的正方形区域。
根据一个优选实施方式，所述人工标记模块以输入和/或选择的方式录入标记人员反馈的标记内容并标记相应的样本单元的类别，所述人工标记模块基于所述标记人员的指令调整并显示所述样本单元的结构部分。人工标记模块的标记方式，便于标记人员详细查看图片内通孔的结构，降低人工标记的失误率，从而提高训练模块的训练正确率，建立准确的识别模型。
根据一个优选实施方式，所述亮度相关值至少包括亮度平均值、亮度均方差值及亮度平均值或亮度均方差值位于至少一个亮度阈值区间的选择单元和/或样本单元的像素值。亮度相关值越多，有利于提高识别模型的准确度，识别模块对通孔的识别率才会越高。
一种基于机器学习的集成电路图像的通孔识别方法，其特征在于，所述通孔识别方法的步骤包括：划分样本图片并筛选得到至少一个样本单元；采集所述样本单元的亮度相关值并基于所述样本单元的最强边界值和所述亮度相关值建立对应的d维向量人工标记所述样本单元的类别；基于样本单元的所述类别、亮度相关值和d维向量建立识别模型其中，y是一维空间映射值，是d维线性映射向量，T是识别阈值；将待识别图片划分并筛选得到至少一个选择单元，采集所述选择单元的亮度相关值并建立d维向量和基于所述选择单元的d维向量d维线性映射向量和识别模型确定所述选择单元的一维空间映射值y，若一维空间映射值y小于识别阈值T，则确定所述选择单元不含有通孔。本发明不仅大幅度减少了计算量，减少了机器的计算时间，而且也通过数据采集模块采集的多维度数据训练机器建立精准的识别模型。本发明的识别模型仅需根据参数进行识别和判断，通孔的识别准确率较高。本发明的方法使得机器通过特定的学习来准确建立识别模型，从而准确得到通孔的形状和亮度，准确识别通孔，提高通孔的识别率。
本发明不仅适用于集成电路图像中通孔的识别，还可以适用于集成电路中其它结构的识别。
本发明的有益技术效果：
(1)通过初始筛选过程大幅度减少数据的传输量和计算量，数据计算快；
(2)通过采集多维度的边界强度、亮度相关值的数据，使得单元的数据丰富准确，有利于识别模型的准确建立；
(3)通过样本图片的多维度数据的准确训练，机器学习速度快，并且建立了精准的识别模型和关键参数，识别模型正确率高；
(4)通过精准的识别模型识别图片中的通孔参数，能够得到通孔的有效识别参数，误差小，提高了通孔的有效识别概率。
附图说明
图1是通孔识别装置的一种优选的模块结构示意图；
图2是通孔识别装置的另一种优选的模块结构示意图；和
图3是通孔识别装置的另一种优选的模块结构示意图。
附图标记列表
101：样本图片库 102：待识别图片库 20：初始筛选模块
30：数据采集模块 40：人工标记模块 50：训练模块
60：识别模块
具体实施方式
下面结合附图进行详细说明。
集成电路版图上的通孔是正方形的；集成电路的扫描电镜图像上通孔是接近正方形的图形，其大小和通孔之间的最小间距是由其工艺制程决定的。知道工艺制程和扫描电镜图像的比例尺之后，图像的通孔尺寸和通孔之间的最小间距就能得知。在图像识别过程中，图像的通孔尺寸和通孔之间的最小间距以像素个数为单位。由于前面提到的硅片上效应和图像拍摄问题，通孔的形状、尺寸都在一定范围内有所偏差。
在本发明中，定义图像的通孔的尺寸即集成电路版图上代表通孔的正方形的边长为w，定义通孔的最小间距为s。图像的通孔的尺寸和通孔之间的最小间距的单位都是像素个数。
本发明中的图片是指由扫描电镜扫描的集成电路图像或集成电路的扫描电镜图像。
实施例1
如图1所示，是本发明的通孔识别装置的整体的优选的模块结构示意图。本发明提供的基于机器学习的通孔识别装置，至少包括初始筛选模块20、数据采集模块30和识别模块60，如图2所示。
如图2所示，初始筛选模块20与待识别图片库102连接。初始筛选模块20与数据采集模块30连接。数据采集模块30与识别模块60连接。待识别图片库102将待识别图片发送至初始筛选模块20。初始筛选模块20将待识别图片划分并筛选得到的至少一个选择单元。数据采集模块30采集至少一个选择单元的亮度相关值并建立d维向量识别模块60基于选择单元的d维向量d维线性映射向量和识别模型确定选择单元的一维空间映射值y。其中，是d维线性映射向量，T是识别阈值。若一维空间映射值y小于识别阈值T，则识别模块60确定选择单元不含有通孔。例如，待识别图片库102将待识别图片发送至初始筛选模块20。待识别图片为待识别的集成电路图片。集成电路图片优选为扫描电镜拍摄的集成电路图片。初始筛选模块20将接收的图片划分为至少一个正方形待识别单元，并对待识别单元进行筛选。初始筛选模块20对待识别单元的初始筛选，能够排除图片中绝大多数不含有通孔的部分，大幅度减小计算量。优选的，初始筛选模块20将图片划分为边长尺寸为(w+s)*(w+s)的至少一个正方形单元。优选的，一个单元中至多有一个通孔。
本发明将待计算边界强度的单元定义为指定单元。初始筛选模块20基于指定单元所属指定区域的四个方向的边界强度和边界强度阈值筛选并得到至少一个选择单元。
优选的，指定区域是由指定单元、与指定单元第一边相邻的第一单元、与指定单元第二边相邻的第二单元和与第一单元和第二单元同时相邻的第三单元构成的边长为指定单元的2倍边长的正方形区域。
例如，在指定单元i及其右边相邻、下面相邻和右下相邻的4个单元组成的边长为2*(w+s)的区域中，统计并选择指定区域内的4个方向的(顶、底、左和右)的最强边界。此时，将通孔的左上角像素所在的单元定义为这个通孔所在的单元。
例如，在指定单元i及其左边相邻、上面相邻和左上相邻的4个单元组成的边长为2*(w+s)的区域中。此时，将通孔的右下角像素所在的单元定义为这个通孔所在的单元。
本发明的最强边界是指指定单元的同一个方向的边界强度中，最大元素对应的强度最大的边界。最强边界值是最强边界的边界强度值。
本发明对指定区域内的最强边界值的算法进行如下说明。
选择图片上a*b(一行有a个像素，共b行)的矩形区域，其最强顶边界的计算方法为：
S1：计算矩形区域内每一行所有像素亮度值之和，储存在b阶数组v[]中；
S2：计算第i行的边界强度，储存在b-1阶数组e[]中，第i行的边界强度e[i]＝v[i+1]–v[i]，其中v[i]为数组v[]的第i个元素；
S3：数组e[]的最大元素对应最强边界。
假设e[m]为数组e[]的最大元素，则区域内最强顶部边界为(m,e[m])，m和e[m]分别表示边界的位置和强度。
将步骤S2中的e[i]＝v[i+1]–v[i]改为e[i]＝v[i]–v[i+1]，用于计算最强底边界。交换算法中的行、列，可以计算指定区域的最强左、右边界。
优选的，若指定区域的顶、底、左和右4个方向的最强边界元素均大于边界强度阈值t0，则指定单元i可能含有通孔。否则，指定单元i不含有通孔。初始筛选模块20将可能含有通孔的指定单元i筛选出来成为选择单元，并发送至数据采集模块30。初始筛选模块20将不含有通孔的指定单元排除。
优选的，数据采集模块30统计选择单元的亮度相关值，并且基于指定单元的四个方向的最强边界值、亮度相关值建立d维向量
数据采集模块30建立的d维向量能够清晰统计图片中通孔的亮度和形状，有利于训练模块50或识别模块60对通孔的识别学习和识别。
优选的，亮度相关值至少包括亮度平均值、亮度均方差值、亮度平均值或亮度均方差值位于至少一个指定亮度阈值区间的选择单元和/或样本单元的像素值。
优选的，初始采集模块20将筛选的选择单元及其指定区域的4个方向的最强边界顶边界(m0,e0[m0])，底边界(m1,e1[m1])，左边界(m2,e2[m2])和右边界(m3,e3[m3])发送至数据采集模块30。数据采集模块30采集选择单元的亮度相关值，例如平均亮度f。并且，数据采集模块30针对选择单元，统计亮度平均值f中超过第一亮度阈值t1的像素个数N1，亮度平均值f超过第二亮度阈值t2的像素个数N2，亮度平均值f中超过第三亮度阈值t3的像素个数N3。N1、N2和N3为像素值。数据采集模块30基于选择单元指定区域的各个方向的最强边界值、亮度相关值建立d维向量
本发明对建立d维向量的过程进行举例说明。
例如，基于指定单元i的最强边界值、亮度平均值f和像素值建立d＝13的13维向量：
优选的，d维向量中的维度数值d的数值区间为10～20。一般的，数据采集单元30采集的单元的数据维度，即d的数值在10至20之间最佳。若数据维度较少，即d太小，采集的单元的数据信息不足，无法精确构造识别模型。若数据维度较多，即d太大，降低识别模型的构造效率，并且对训练模块使用的样本图片的数量要求太大，不利于训练模块50的识别训练和学习。
扫描电子显微镜扫描的集成电路图像都是灰度的图片。图片中的每个像素由一个0到255之间的整数表示，0表示这个像素是亮度最低的黑色，255表示这个像素是亮度最高的白色。由图片划分形成的单元的平均亮度是指该单元内所有像素对应的亮度值的算术平均值。
本发明以一个3*3共含有9个像素的正方形单元为例对亮度平均值的计算进行说明。该单元的9个像素的像素平均亮度分别为20、19、23、91、88、21、136、93和22，则单元的亮度平均值为9个像素平均亮度的算术平均值，即单元的亮度平均值为f＝(20+19+23+91+88+21+136+93+22)/9＝57。亮度平均值的算法适用与本发明的所有单元的亮度平均值的统计。优选的，初始筛选单元20划分成的初始样本单元或待识别单元的像素个数不小于3*3。
在识别模块60存储识别模型的情况下，识别模块60基于数据采集模块30发送的d维向量d维线性映射向量和识别模型计算选择单元的一维空间映射值y。若一维空间映射值y小于识别阈值T，则识别模块60确定选择单元不含有通孔。否则，选择单元含有通孔。
识别模型可以是在其它设备的训练模块根据样本图片建立并存储至识别模块的，也可以是识别装置本身的训练模块根据样本图片建立并存储至识别模块的。
优选的，如图3所示，通孔识别装置还包括人工标记模块40和训练模块50。人工标记模块40与初始筛选模块20连接。训练模块50分别连接人工标记模块40和数据采集模块30。训练模块50与识别模块60连接。
初始筛选模块20接收样本图片库101发送的样本图片，划分并筛选为至少一个可能包含通孔的样本单元，并且将样本单元发送至人工标记模块40和数据采集模块30。
例如，样本图片库101将样本图片发送至初始筛选模块20。样本图片为已知的集成电路图片。初始筛选模块20将接收的图片划分为至少一个正方形初始样本单元，并对初始样本进行筛选，得到可能含有通孔的样本单元。初始筛选模块20对样本图片的筛选方式与筛选待识别图片的方式相同，在此不再重复。
初始筛选模块20对样本图片的划分和筛选，能够排除图片中绝大多数不含有通孔的部分，大幅度减小计算量，同时减少人工标记的劳动强度。
优选的，数据采集模块30统计初始筛选模块20发送的样本单元的亮度相关值，并且基于指定单元的四个方向的最强边界值、亮度相关值建立d维向量
数据采集模块30建立的d维向量能够清晰统计样本图片中通孔的亮度和形状，有利于训练模块50对通孔的识别训练。数据采集模块30建立样本单元的d维向量的过程与建立选择单元的d维向量的步骤相同，在此不再重复。
优选的，数据采集模块30将选择单元/样本单元可以再次划分为若干子单元。数据采集模块30统计与子单元相应的亮度相关值。亮度相关值包括子单元亮度平均值、子单元亮度均方差值、子单元亮度平均值位于至少一个指定亮度阈值区间的像素值和子单元亮度均方差值位于至少一个指定亮度阈值区间的像素值。
优选的，子单元的划分不限于一次，还可以二次划分或多次划分为更小的子单元。对于子单元的亮度相关值的统计，有利于对选择单元和/或样本单元整体的亮度相关值更准确的统计和判断，有利于识别模型的准确建立。
优选的，数据采集模块30基于子单元的所属指定区域各个方向的最强边界值、亮度相关值建立子单元的d维向量
人工标记模块40以交互的形式显示样本单元并基于人工标记内容标记样本单元的类别。
例如，人工标记模块40包括具有交互功能的显示模块。显示模块可以是触摸屏、计算机、手机或PC机。标记人员通过人工标记模块40对样本单元输入人工标记内容。人工标记内容为二元分类形式。例如无通孔记录标记为类C1，有通孔记录标记为类C2。或者，无通孔记录标记为类别圆形，有通孔记录标记为类别三角形。或者，无通孔记录标记为类别绿色，有通孔记录标记为类别红色。或者，人工标记内容的类别为颜色、形状及其文字符号的结合。
优选的，人工标记模块40以输入和/或选择的方式录入标记人员反馈的标记内容并标记相应的样本单元的类别。
例如，人工标记模块40显示初始筛选模块20发送的样本单元图片。标记人员查看样本单元图片并输入人工标记内容以进行标记。或者，人工标记模块40显示样本单元图片的同时显示至少2种标记内容以供标记人员选择。标记人员选择相应的标记内容以进行标记。人工标记模块40录入标记人员反馈的标记内容，并且对相应的样本单元进行标记。
优选的，人工标记模块40基于标记人员的指令调整并显示样本单元的结构部分。
集成电路的单元图片规模巨大，人工标记模块40很难显示全部的内容，一般显示图片的一部分。人工标记模块40根据标记人员输入的指令调整样本单元的显示部分，调整样本单元的大小、显示的结构部分，从而使标记人员能够清楚查看样本单元的各个结构部分。例如，人工标记模块40根据标记人员的指令移动、缩放样本单元。
优选的，人工标记模块40将标记结果即标记类别发送至训练模块50。数据采集模块30将建立的样本单元的d维向量发送至训练模块50。训练模块50基于d维向量和人工标记的类别建立识别模型并确定参数，其中，y是一维空间映射值，是d维线性映射向量，T是识别阈值。
例如，假设训练样本中有n1个样本单元被标记为C1类，其对应的d维向量数据分别为有n2个样本单元被标记为C2类其对应的d维向量数据分别为C1类为人工标记不含有通孔的类别，C2类为人工标记含有通孔的类别。
优选的，训练模块50确定d维线性映射向量的训练方法为：
S11：基于样本单元的类别分别建立样本单元的d维向量与一维空间映射值的映射关系：其中，n1是第一类别的样本单元的个数，n2是第二类别的样本单元的个数。
S12：基于函数的最大化过程确定参数。其中，是第一类样本单元的d维向量的平均值，是第二类样本单元的d维向量的平均值。s1是的均方差，s2是的均方差。并且，
优选的，函数最大化的过程如下所述：
S21：定义d维向量形成的d*d的矩阵M：
其中，xk[i]是向量的第i维，xk[j]是向量的第j维。r1[i]是向量的第i维，r1[j]是向量的第j维。r2[i]是向量的第i维，r2[j]是向量的第j维。
S22：参数其中c是常数。c取不同的常数，会得到不同的参数，选择能够使函数最大化的参数作为参数，作为通孔识别模型的最优参数。识别模型能够基于参数对通孔进行识别。此时，参数并不唯一。训练模块50需要存储多个C常数并计算对应的参数，数据计算量和存储量很大。
S23：选择实现参数关系的常数作为c常数。此时根据参数得到能够使函数最大化的唯一的参数作为参数。此时的参数为步骤S22中多个参数的其中之一，不影响识别模型对通孔的识别效果。
因此，选择实现参数关系的C常数的技术手段，有利于训练模块50的计算量大幅度减少，也减少了数据的存储量和传输量，既降低了训练模块50学习过程中的失误概率，又提高了数据计算和传输的速度，并且保证了识别模型对通孔的识别效果。
优选的，训练模块50在学习训练过程结束后，将建立的识别模型d维线性映射向量和识别阈值T发送至识别模块60。
识别模块60基于选择单元的d维向量d维线性映射向量和识别模型确定选择单元的一维空间映射值y。若一维空间映射值y小于识别阈值T，则识别模块60确定选择单元不含有通孔。否则，选择单元含有通孔。
实施例2
本实施例是对实施例1的进一步改进，重复的内容不再赘述。
如图1所示，本发明的基于机器学习的集成电路图像的通孔识别装置包括初始筛选模块20、数据采集模块30、人工标记模块40、训练模块50和识别模块60。
样本图片库102和待识别图片库101与初始筛选模块20连接，向其输送集成电路图片。初始筛选模块20与数据采集模块30和人工标记模块40分别连接，将筛选后的可能含有通孔的单元发送至数据采集模块30和人工标记模块40。数据采集模块30与训练模块50和识别模块60分别连接。人工标记模块40与训练模块50连接。训练模块50与识别模块60连接。
本实施例对基于机器学习的集成电路图像的通孔识别装置的通孔识别方法进行如下说明。
一种基于机器学习的集成电路图像的通孔识别方法，其特征在于，识别方法的步骤包括：
划分样本图片并筛选得到至少一个样本单元；
采集样本单元的亮度相关值并基于样本单元的最强边界值和亮度相关值建立对应的d维向量
人工标记样本单元的类别；
基于样本单元的类别、亮度相关值和d维向量建立识别模型其中，y是一维空间映射值，是d维线性映射向量，T是识别阈值；
将待识别图片划分并筛选得到至少一个选择单元，
采集选择单元的亮度相关值并建立d维向量和
基于选择单元的d维向量d维线性映射向量和识别模型确定选择单元的一维空间映射值y，
若一维空间映射值y小于识别阈值T，则确定选择单元不含有通孔。
优选的，本发明的方法步骤的顺序不限于上述顺序，各个步骤的顺序可以调整和更换。
根据一个优选实施方式，采集样本单元的亮度相关值并基于样本单元的边界强度和亮度相关值建立对应的d维向量的方法包括：
划分样本图片为至少一个正方形的初始样本单元，
基于初始样本单元的边界强度和边界强度阈值筛选得到样本单元；
采集样本单元的亮度相关值；和
基于样本单元的边界强度、亮度相关值建立对应的d维向量
根据一个优选实施方式，基于样本单元的类别、亮度相关值和d维向量建立识别模型的方法包括：
基于样本单元的类别分别建立样本单元的d维向量与一维空间映射值的映射关系：
其中，n1是第一类别的样本单元的个数，n2是第二类别的样本单元的个数；
基于函数的最大化过程确定参数，其中，
是第一类样本单元的d维向量的平均值，是第二类样本单元的d维向量的平均值，
s1是的均方差，s2是的均方差。
根据一个优选实施方式，基于待识别单元的d维向量线性映射向量和识别模型识别待识别单元是否含有通孔的方法包括：
采集待识别单元的边界强度、亮度相关值并建立对应的d维向量
基于识别模型d维线性映射向量确定待识别单元的一维空间映射值y，其中，是d维线性映射向量，T是识别阈值；
若一维空间映射值y小于识别阈值T，则确定待识别单元不含有通孔。
优选的，采集待识别单元的边界强度、亮度相关值并建立对应的d维向量的方法包括：
划分待识别的图片为至少一个正方形的待识别单元，
基于待识别单元的边界强度和边界强度阈值筛选得到选择单元；
采集选择单元的亮度相关值；和
基于选择单元的边界强度、亮度相关值建立对应的d维向量
本发明中，基于待识别单元的边界强度和边界强度阈值筛选得到选择单元的方法与基于初始样本单元的边界强度和边界强度阈值筛选得到样本单元的方法的步骤相同。
优选的，基于初始样本单元/待识别单元的边界强度和边界强度阈值筛选得到样本单元/选择单元的方法包括：
统计初始样本单元/待识别单元所属指定区域的四个方向的边界强度，
选择四个方向的最强边界值分别与边界强度阈值比较，和
筛选四个方向的最强边界值均大于边界强度阈值的初始样本单元/待识别单元为样本单元/选择单元。
优选的，指定区域是由指定单元、与指定单元第一边相邻的第一单元、与指定单元第二边相邻的第二单元和与第一单元和第二单元同时相邻的第三单元构成的边长为指定单元的2倍边长的正方形区域。指定单元为初始样本单元或待识别单元。
优选的，采集样本单元和/或选择单元的亮度相关值的方法包括：统计样本单元和/或选择单元的亮度平均值、亮度均方差值、亮度平均值或亮度均方差值位于至少一个指定亮度阈值区间的选择单元和/或样本单元的像素值。优选的，d维向量中的维度数值d的数值区间为10～20。
优选的，采集样本单元和/或选择单元的亮度相关值的方法还包括：
划分样本单元和/或选择单元为若干子单元，采集子单元的亮度相关值，并且基于子单元的边界强度、亮度相关值建立对应的d维向量
优选的，子单元边界强度和亮度相关值的统计方法与样本单元和/或选择单元的统计方法相同。
优选的，人工标记样本单元的类别的方法包括：
以输入和/或选择的方式录入标记人员反馈的标记内容并标记相应的样本单元的类别，和/或
基于标记人员的指令调整并显示样本单元的结构部分。
优选的，本发明中的样本图片库102和待识别图片库101不仅包括服务器中的数据库，还包括图片存储装置，例如存储卡、U盘、硬盘等存储装置。
需要注意的是，上述具体实施例是示例性的，本领域技术人员可以在本发明公开内容的启发下想出各种解决方案，而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白，本发明说明书及其附图均为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。
Claims (10)
1.一种基于机器学习的集成电路图像的通孔识别装置，其特征在于，所述通孔识别装置至少包括初始筛选模块(20)、数据采集模块(30)和识别模块(60)，
所述数据采集模块(30)采集由所述初始筛选模块(20)将待识别图片划分并筛选得到的至少一个选择单元的亮度相关值并建立d维向量
所述识别模块(60)基于所述选择单元的d维向量d维线性映射向量和识别模型确定所述选择单元的一维空间映射值y，其中，
是d维线性映射向量，T是识别阈值，
若一维空间映射值y小于识别阈值T，则所述识别模块(60)确定所述选择单元不含有通孔。
2.如权利要求1所述的通孔识别装置，其特征在于，所述通孔识别装置还包括人工标记模块(40)和训练模块(50)，
所述人工标记模块(40)以交互的形式显示至少一个由所述初始筛选模块(20)筛选的样本单元并基于人工标记内容标记所述样本单元的类别；
所述训练模块(50)基于由所述数据采集模块(30)建立的所述样本单元的d维向量和人工标记的所述类别建立所述识别模型并确定参数，其中，y是一维空间映射值，是d维线性映射向量，T是识别阈值。
3.如权利要求2所述的通孔识别装置，其特征在于，所述训练模块(50)确定d维线性映射向量的训练方法为：
基于所述样本单元的类别分别建立样本单元的d维向量与一维空间映射值的映射关系：
其中，n1是第一类别的样本单元的个数，n2是第二类别的样本单元的个数；
基于函数的最大化过程确定参数，其中，
是第一类样本单元的d维向量的平均值，是第二类样本单元的d维向量的平均值，
s1是的均方差，s2是的均方差。
4.如前述权利要求之一所述的通孔识别装置，其特征在于，所述初始筛选模块(20)的筛选方式为：
划分图片为至少一个正方形单元，并且基于所述单元所属指定区域的四个方向的边界强度和边界强度阈值筛选并得到至少一个选择单元和/或样本单元。
5.如前述权利要求之一所述的通孔识别装置，其特征在于，所述数据采集模块(30)统计选择单元和/或样本单元的亮度相关值，并且基于选择单元和/或样本单元的四个方向的边界强度、所述亮度相关值建立d维向量
6.如前述权利要求之一所述的通孔识别装置，其特征在于，所述数据采集模块(30)将选择单元/样本单元再次划分为若干子单元，
统计与所述子单元相应的亮度相关值，并且
基于所述子单元的所属指定区域四个方向的最强边界值、所述亮度相关值建立d维向量
7.如权利要求4至6之一所述的通孔识别装置，其特征在于，所述指定区域是由指定单元、与所述指定单元第一边相邻的第一单元、与所述指定单元第二边相邻的第二单元和与所述第一单元和所述第二单元同时相邻的第三单元构成的边长为所述指定单元的2倍边长的正方形区域。
8.如权利要求2至7之一所述的通孔识别装置，其特征在于，所述人工标记模块(40)以输入和/或选择的方式录入标记人员反馈的标记内容并标记相应的样本单元的类别，
所述人工标记模块(40)基于所述标记人员的指令调整并显示所述样本单元的结构部分。
9.如前述权利要求之一所述的通孔识别装置，其特征在于，所述亮度相关值至少包括亮度平均值、亮度均方差值及亮度平均值或亮度均方差值位于至少一个亮度阈值区间的选择单元和/或样本单元的像素值。
10.一种基于机器学习的集成电路图像的通孔识别方法，其特征在于，所述通孔识别方法的步骤包括：
划分样本图片并筛选得到至少一个样本单元；
采集所述样本单元的亮度相关值并基于所述样本单元的最强边界值和所述亮度相关值建立对应的d维向量
人工标记所述样本单元的类别；
基于样本单元的所述类别、亮度相关值和d维向量建立识别模型其中，y是一维空间映射值，是d维线性映射向量，T是识别阈值；
将待识别图片划分并筛选得到至少一个选择单元，
采集所述选择单元的亮度相关值并建立d维向量和
基于所述选择单元的d维向量d维线性映射向量和识别模型确定所述选择单元的一维空间映射值y，
若一维空间映射值y小于识别阈值T，则确定所述选择单元不含有通孔。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710418753.8A CN107169528B (zh) | 2017-06-06 | 2017-06-06 | 一种基于机器学习的集成电路图像的通孔识别装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710418753.8A CN107169528B (zh) | 2017-06-06 | 2017-06-06 | 一种基于机器学习的集成电路图像的通孔识别装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107169528A true CN107169528A (zh) | 2017-09-15 |
| CN107169528B CN107169528B (zh) | 2020-01-07 |
Family
ID=59824352
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710418753.8A Active CN107169528B (zh) | 2017-06-06 | 2017-06-06 | 一种基于机器学习的集成电路图像的通孔识别装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107169528B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2583643A (en) * | 2017-12-20 | 2020-11-04 | Ibm | Automated extraction of echocardiograph measurements from medical images |
| CN112200164A (zh) * | 2020-12-03 | 2021-01-08 | 中国科学院自动化研究所 | 基于电镜图像的集成电路金属圆孔自动识别方法及系统 |
| WO2022218394A1 (zh) * | 2021-04-16 | 2022-10-20 | 中国科学院上海药物研究所 | 一种冷冻电镜自动选孔方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102663166A (zh) * | 2011-12-08 | 2012-09-12 | 清华大学 | 一种片上供电网络仿真方法及系统 |
| CN203133843U (zh) * | 2013-02-26 | 2013-08-14 | 歌尔声学股份有限公司 | 智能翻译扫描笔 |
-
2017
- 2017-06-06 CN CN201710418753.8A patent/CN107169528B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102663166A (zh) * | 2011-12-08 | 2012-09-12 | 清华大学 | 一种片上供电网络仿真方法及系统 |
| CN203133843U (zh) * | 2013-02-26 | 2013-08-14 | 歌尔声学股份有限公司 | 智能翻译扫描笔 |
Non-Patent Citations (1)
| Title |
|---|
| 宋昀岑: ""PCB自动光学检测系统基础算法研究"", 《中国博士学论文全文数据库 信息科技辑》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2583643A (en) * | 2017-12-20 | 2020-11-04 | Ibm | Automated extraction of echocardiograph measurements from medical images |
| GB2583643B (en) * | 2017-12-20 | 2022-10-12 | Ibm | Automated extraction of echocardiograph measurements from medical images |
| CN112200164A (zh) * | 2020-12-03 | 2021-01-08 | 中国科学院自动化研究所 | 基于电镜图像的集成电路金属圆孔自动识别方法及系统 |
| WO2022218394A1 (zh) * | 2021-04-16 | 2022-10-20 | 中国科学院上海药物研究所 | 一种冷冻电镜自动选孔方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107169528B (zh) | 2020-01-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dev et al. | Categorization of cloud image patches using an improved texton-based approach | |
| CN103544506B (zh) | 一种基于卷积神经网络的图像分类方法和装置 | |
| CN111540006B (zh) | 基于深度迁移学习的植物气孔智能检测与识别方法及系统 | |
| CN107169528B (zh) | 一种基于机器学习的集成电路图像的通孔识别装置 | |
| CN108830312B (zh) | 一种基于样本自适应扩充的集成学习方法 | |
| CN106033535B (zh) | 电子阅卷方法 | |
| CN107066958A (zh) | 一种基于hog特征和svm多分类器的人脸识别方法 | |
| CN103544504B (zh) | 一种基于多尺度图匹配核的场景字符识别方法 | |
| CN110503054A (zh) | 文本图像的处理方法及装置 | |
| CN109308456B (zh) | 目标对象的信息确定方法、装置、设备及存储介质 | |
| CN112069985A (zh) | 基于深度学习的高分辨率大田图像稻穗检测与计数方法 | |
| CN109145964B (zh) | 一种实现图像颜色聚类的方法和系统 | |
| CN107209942A (zh) | 对象检测方法和图像检索系统 | |
| CN109492534A (zh) | 一种基于Faster RCNN的跨场景多姿态的行人检测方法 | |
| CN111783885A (zh) | 一种基于局部增强的毫米波图像的质量分类模型构建方法 | |
| CN114548208A (zh) | 一种基于YOLOv5改进的植物种子实时分类检测方法 | |
| CN112489142A (zh) | 一种颜色识别方法、装置、设备及存储介质 | |
| CN102609715B (zh) | 一种结合多个兴趣点检测子的物体类识别方法 | |
| CN113096079B (zh) | 图像分析系统及其构建方法 | |
| CN110619297A (zh) | 一种豆类植物子实图像批量采集识别方法及装置 | |
| Laroca et al. | Do we train on test data? The impact of near-duplicates on license plate recognition | |
| CN111414855B (zh) | 基于端到端回归模型的电线杆标牌目标检测及识别方法 | |
| CN114648683B (zh) | 基于不确定性分析的神经网络性能提升方法和设备 | |
| CN104021220B (zh) | 基于显著性模型的图像检索方法 | |
| CN106228553A (zh) | 高分辨率遥感图像阴影检测装置与方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20191030 Address after: Room 301, floor 3, unit 1, building 9, No.146, north section of Hongqi Avenue, Deyuan town (Jingrong town), Pidu District, Chengdu City, Sichuan Province Applicant after: Chengdu Xinyun Microelectronics Co.,Ltd. Address before: High tech Zone Gaopeng road in Chengdu city of Sichuan province 610041 5 Building No. 1 No. 205 Applicant before: CHENGDU RUIKAIYUN TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20221208 Address after: Building C, No.888, Huanhu West 2nd Road, Lingang New District, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai Patentee after: Shanghai Riguan Core Automation Co.,Ltd. Address before: 611730 Room 301, third floor, unit 1, building 9, No. 146, north section of Hongqi Avenue, Deyuan town (Jingrong town), Pidu District, Chengdu, Sichuan Patentee before: Chengdu Xinyun Microelectronics Co.,Ltd. |
|
| TR01 | Transfer of patent right |