CN110197473B - 塑封器件真伪识别方法及装置 - Google Patents
塑封器件真伪识别方法及装置 Download PDFInfo
- Publication number
- CN110197473B CN110197473B CN201810163766.XA CN201810163766A CN110197473B CN 110197473 B CN110197473 B CN 110197473B CN 201810163766 A CN201810163766 A CN 201810163766A CN 110197473 B CN110197473 B CN 110197473B
- Authority
- CN
- China
- Prior art keywords
- plastic package
- image
- package device
- model
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 93
- 238000012545 processing Methods 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims description 122
- 238000001514 detection method Methods 0.000 claims description 64
- 239000011159 matrix material Substances 0.000 claims description 40
- 230000005855 radiation Effects 0.000 claims description 30
- 238000010801 machine learning Methods 0.000 claims description 20
- 238000004806 packaging method and process Methods 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 9
- 238000007689 inspection Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000011176 pooling Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000011179 visual inspection Methods 0.000 description 4
- ATJFFYVFTNAWJD-UHFFFAOYSA-N Tin Chemical compound [Sn] ATJFFYVFTNAWJD-UHFFFAOYSA-N 0.000 description 3
- 239000011248 coating agent Substances 0.000 description 3
- 238000000576 coating method Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 230000002860 competitive effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000000227 grinding Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 238000007747 plating Methods 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011536 re-plating Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- QAOWNCQODCNURD-UHFFFAOYSA-N sulfuric acid Substances OS(O)(=O)=O QAOWNCQODCNURD-UHFFFAOYSA-N 0.000 description 1
- 238000002759 z-score normalization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域，具体提供了一种塑封器件真伪识别方法及装置，旨在解决如何便捷、有效且准确地识别塑封器件真伪的技术问题。为此目的，本发明中塑封器件真伪识别方法可以基于真伪识别模型对塑封器件图像进行识别和学习，判断出塑封器件的真伪。基于此，该方法无需依赖于检查人员的经验判断，并且具有较高的准确率和功率效率。同时，本发明的装置可以执行并实现上述方法。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种塑封器件真伪识别方法及装置。
背景技术
塑封器件是指以树脂类聚合物为材料封装的半导体器件，通过塑封技术可以有效保护半导体器件，其具有小型化、高密度和高可靠性等优点。但是，由于塑封器件更新换代的周期短和采购困难等问题，导致翻新器件日益泛滥。翻新器件所存在的损伤和隐患，将会给使用这些器件的系统的可靠性与安全性带来严重危害。
当前翻新器件的真伪识别方法主要包括外部目检、X光检查和内部目检等方法。具体地，外部目检指的是通过人眼观察塑封器件的外部封装是否存在研磨、喷涂和引脚重新镀金属层等问题。X光检查指的是利用X光线成像技术检查塑封器件的引线框架、金丝键合、芯片大小和版图等内部结构是否存在差异。内部目检指的是通过人眼观察塑封器件的芯片版图标识是否正常。上述方法虽然能够取得一定的识别效果，但由于依赖于检查人员的经验判断，准确率较低并且耗时较长，不适用于对批量塑封器件的真伪识别。
发明内容
为了解决现有技术中的上述问题，即为了解决如何便捷、有效且准确地识别塑封器件真伪的技术问题。为此目的，本发明提供了一种塑封器件真伪识别方法及装置。
在第一方面，本发明中的塑封器件真伪识别方法包括：
基于预先构建的真伪识别模型对塑封器件图像进行检测，并根据检测结果判断所述塑封器件的真伪；
其中，所述真伪识别模型包括基于机器学习算法构建的第一识别模型，所述第一识别模型的训练方法包括：
获取塑封器件样本的显微图像，并提取所述显微图像中塑封器件的纹理特征和角点特征；
获取所述塑封器件样本的太赫兹辐射图像，并计算所述太赫兹辐射图像中主颜色的颜色比率；
基于所述纹理特征和/或角点特征和/或颜色比率，对所述第一识别模型进行网络训练，得到优化后的识别模型。
进一步地，本发明提供的一个优选技术方案为：
“基于所述纹理特征和/或角点特征和/或颜色比率，对所述第一识别模型进行网络训练，得到优化后的识别模型”的步骤具体包括：
对所述纹理特征、角点特征和颜色比率进行标准化处理；
基于经所述标准化处理后的所述纹理特征和/或角点特征和/或颜色比率，对多个所述第一识别模型进行网络训练，并选取识别正确率最高的识别模型作为最终优化后的第一识别模型。
进一步地，本发明提供的一个优选技术方案为：
所述真伪识别模型还包括基于机器学习算法构建的第二识别模型；
“基于预先构建的真伪识别模型对塑封器件图像进行检测，并根据检测结果判断所述塑封器件的真伪”的步骤具体包括：
基于所述第一识别模型或第二识别模型对塑封器件图像进行检测，并根据所述第一识别模型或第二识别模型的检测结果判断塑封器件的真伪。
进一步地，本发明提供的一个优选技术方案为：
所述真伪识别模型还包括基于机器学习算法构建的第二识别模型和第三识别模型；
“基于预先构建的真伪识别模型对塑封器件图像进行检测，并根据检测结果判断所述塑封器件的真伪”的步骤具体包括：
基于所述第一识别模型和第二识别模型分别对塑封器件图像进行检测，基于所述第三识别模型对所述第一识别模型和第二识别模型的检测结果进行识别，判断所述塑封器件的真伪；
或者，
基于多个所述第二识别模型分别对塑封器件图像进行检测，基于所述第三识别模型对多个所述第二识别模型的检测结果进行识别，判断所述塑封器件的真伪。
进一步地，本发明提供的一个优选技术方案为：
所述第二识别模型的训练方法包括：
获取塑封器件样本的引脚显微图像；
获取塑封器件样本X射线图像
对塑封器件样本进行开封处理，并获取经所述开封处理后的塑封器件样本显微图像；
基于所述引脚显微图像和/或塑封器件样本X射线图像和/或经开封处理后塑封器件样本显微图像对所述第二识别模型进行网络训练，得到优化后的识别模型。
进一步地，本发明提供的一个优选技术方案为：
所述第三识别模型的训练方法包括：
通过多个所述第二识别模型对所述塑封器件样本的图像进行检测；基于所述第二识别模型的检测结果，对所述第三识别模型进行网络训练，得到优化后的识别模型；
或者，
通过所述第一识别模型对塑封器件样本的图像进行检测，通过一个或多个所述第二识别模型对所述塑封器件样本的图像进行检测；
基于所述第一识别模型和第二识别模型的检测结果，对所述第三识别模型进行网络训练，得到优化后的识别模型。
进一步地，本发明提供的一个优选技术方案为：
所述纹理特征包括塑封器件凹痕纹理特征和塑封器件表面纹理特征，所述角点特征包括塑封器件拐角角点的数量和角度；
“提取所述显微图像的纹理特征和角点特征”的步骤具体包括：
对所述显微图像进行分割，得到包含塑封器件凹痕的局部图像，并计算所述局部图像所对应灰度图像直方图的灰度矩阵；
获取所述显微图像的灰度共生矩阵，并计算所述灰度共生矩阵的特征向量；其中，所述塑封器件表面纹理特征包括多个所述灰度共生矩阵所对应特征向量的均值及标准差；
采用Harris角点算法检测所述显微图像中塑封器件拐角角点的数量，采用Hough算法计算所述显微图像中塑封器件拐角角点的角度。
进一步地，本发明提供的一个优选技术方案为：
“计算所述太赫兹辐射图像中主颜色的颜色比率”的步骤具体包括：
根据下式所示的方法计算所述太赫兹辐射图像的颜色比率Cop：
其中，所述Mc为所述太赫兹辐射图像中主颜色对应的面积，所述Tc为所述太赫兹辐射图像的面积。
在第二方面，本发明中的塑封器件真伪识别装置包括真伪识别模型和模型训练模块；所述真伪识别模型，配置为对塑封器件图像进行检测，并根据检测结果判断所述塑封器件的真伪；所述模型训练模块，配置为对所述真伪识别模型进行网络训练；
所述真伪识别模型包括基于机器学习算法构建的第一识别模型；所述模型训练模块包括第一训练子模块；所述第一训练子模块包括第一图像特征获取单元、第二图像特征获取单元和模型训练单元；
所述第一图像特征获取单元，配置为获取塑封器件样本所对应显微图像中塑封器件的纹理特征和角点特征；
所述第二图像特征获取单元，配置为获取塑封器件样本所对应太赫兹辐射图像中主颜色的颜色比率；
所述第一模型训练单元，配置为基于所述纹理特征和/或角点特征和/或颜色比率，对所述第一识别模型进行网络训练，得到优化后的识别模型。
进一步地，本发明提供的一个优选技术方案为：
所述第一模型训练单元还包括图像特征处理子单元和模型训练子单元；
所述图像特征处理子单元，配置为对所述第一图像特征获取单元所获取的纹理特征和角点特征，及所述第二图像特征获取单元所获取的颜色比率进行标准化处理；
所述模型训练子单元，配置为基于经所述图像特征处理子单元标准化处理后的所述纹理特征和/或角点特征和/或颜色比率，对多个所述第一识别模型进行网络训练，并选取识别正确率最高的识别模型作为最终优化后的第一识别模型。
进一步地，本发明提供的一个优选技术方案为：
所述真伪识别模型还包括基于机器学习算法构建的第二识别模型；所述模型训练模块包括第二训练子模块；所述第二训练子模块包括第一图像获取单元、第二图像获取单元、第三图像获取单元和第二模型训练单元；
所述第一图像获取单元，配置为获取塑封器件样本的引脚显微图像；
所述第二图像获取单元，配置为获取塑封器件样本所对应的X射线图像；
所述第三图像获取单元，配置为获取经开封处理后塑封器件样本所对应的显微图像；
所述第二模型训练单元，配置为基于所述第一图像获取单元所获取的引脚显微图像和/或所述第二图像获取单元所获取的X射线图像和/或所述第三图像获取单元所获取的显微图像，对所述第二识别模型进行网络训练，得到优化后的识别模型。
进一步地，本发明提供的一个优选技术方案为：
所述真伪识别模型还包括基于机器学习算法构建的第三识别模型；所述模型训练模块包括第三训练子模块；所述第三训练子模块包括第一检测结果获取单元、第二检测结果获取单元、第三模型训练单元和第四模型训练单元；
所述第一检测结果获取单元，配置为通过多个所述第二识别模型对所述塑封器件样本的图像进行检测得到的检测结果；
所述第二检测结果获取单元，配置为通过所述第一识别模型对图像进行检测得到的检查结果，以及通过一个或多个所述第二识别模型对所述塑封器件样本的图像进行检测得到的检测结果；
所述第三模型训练单元，配置为基于所述第一检测结果获取单元所获取的检测结果，对所述第三识别模型进行网络训练，得到优化后的识别模型；
所述第四模型训练单元，配置为基于所述第二检测结果获取单元所获取的检测结果，对所述第三识别模型进行网络训练，得到优化后的识别模型。
进一步地，本发明提供的一个优选技术方案为：
所述纹理特征包括塑封器件凹痕纹理特征和塑封器件表面纹理特征，所述角点特征包括塑封器件拐角角点的数量和角度；
所述第一图像特征获取单元，进一步配置为执行下述操作：
对塑封器件样本所对应显微图像进行分割，得到包含塑封器件凹痕的局部图像，并计算所述局部图像所对应灰度图像直方图的灰度矩阵；
获取塑封器件样本所对应显微图像的灰度共生矩阵，并计算所述灰度共生矩阵的特征向量；其中，所述塑封器件表面纹理特征包括多个所述灰度共生矩阵所对应特征向量的均值及标准差；
采用Harris角点算法检测塑封器件样本所对应显微图像中塑封器件拐角角点的数量，采用Hough算法计算所述显微图像中塑封器件拐角角点的角度。
进一步地，本发明提供的一个优选技术方案为：
所述第二图像特征获取单元，进一步配置为执行下述操作：
根据下式所示的方法计算所述太赫兹辐射图像的颜色比率Cop：
其中，所述Mc为所述太赫兹辐射图像中主颜色对应的面积，所述Tc为所述太赫兹辐射图像的面积。
在第三方面，本发明中的存储装置存储有多条程序，所述程序适于由处理器加载并执行以实现上述技术方案所述的塑封器件真伪识别方法。
在第四方面，本发明中的处理装置包括：
处理器，适于执行各条程序；
存储设备，适于存储多条程序；
所述程序适于由处理器加载并执行以实现上述技术方案所述的塑封器件真伪识别方法。
与最接近的现有技术相比，上述技术方案至少具有以下有益效果：
1、本发明中塑封器件真伪识别方法可以基于真伪识别模型对塑封器件图像进行识别和学习，判断出塑封器件的真伪。基于此，该方法无需依赖于检查人员的经验判断，并且具有较高的准确率和识别效率。
2、本发明中第一识别模型基于塑封器件图像的多种图像特征进行训练，使其能够根据这些图像特征进行综合识别，因此具有较高的识别准确性，其中，塑封器件图像可以为未开封塑封器件的显微图像和太赫兹辐射图像。
3、本发明中第二识别模型基于塑封器件不同类型的图像进行训练，使其能够根据某一种图像进行识别，在判断塑封器件真伪时采用多种图像所对应的第二识别模型依次进行识别，并根据得到的识别结果进行综合判断，因此具有较高的辨别准确性。其中，塑封器件图像可以为未开封塑封器件的显微图像和X射线图像，以及开封塑封器件的显微图像。
4、本发明中第三识别模型基于第一识别模型和第二识别模型的检测结果，或者多个第二识别模型的检测结果进行综合识别，可以在第一识别模型和第二识别模型的检测结果差异较大，或者多个第二识别模型的检测结果差异较大的情况下，对识别结果进行综合判断，因此具有较高的辨别准确性。
附图说明
图1是本发明实施例中第一识别模型训练方法的主要步骤示意图；
图2是本发明实施例中一种第一识别模型的网络结构示意图；
图3是本发明实施例中第二识别模型训练方法的主要步骤示意图；
图4是本发明实施例中一种第二识别模型的网络结构示意图；
图5是本发明实施例中一种第二识别模型全连接层的网络结构示意图；
图6是本发明实施例中一种第三识别模型训练方法的主要步骤示意图；
图7是本发明实施例中另一种第三识别模型训练方法的主要步骤；
图8是本发明实施例中一种塑封器件真伪识别装置的主要结构示意图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
本发明提供的一种塑封器件真伪识别方法，采用机器学习算法对塑封器件图像进行识别与深度学习，进而构建真伪识别模型，基于该预先构建的真伪识别模型对塑封器件图像进行检测，并根据检测结果判断塑封器件的真伪。例如，真伪识别模型的检测结果为“1”时可以判断塑封器件为真，检测结果为“0”时可以判断塑封器件为假。本实施例中可以采用机器学习算法构建多个识别模型，进而基于单个识别模型或多个识别模型组合的方式，对塑封器件图像进行检测。
在本实施例的一个优选实施方案中，真伪识别模型可以为基于机器学习算法构建的第一识别模型，塑封器件真伪识别方法可以基于该第一识别模型对塑封器件图像进行检测，并根据检测结果判断塑封器件的真伪。
在本实施例的另一个优选实施方案中，真伪识别模型可以包括基于机器学习算法构建的第一识别模型和第二识别模型，塑封器件真伪识别方法可以基于第一识别模型或第二识别模型对塑封器件图像进行检测，并根据第一识别模型或第二识别模型的检测结果判断塑封器件的真伪。
在本实施例的又一个优选实施方案中，真伪识别模型可以包括基于机器学习算法构建的第一识别模型、第二识别模型和第三识别模型，塑封器件真伪识别方法可以基于第一识别模型和第二识别模型分别对塑封器件图像进行检测，然后基于第三识别模型对第一识别模型和第二识别模型的检测结果进行识别，判断塑封器件的真伪。进一步地，塑封器件真伪识别方法还可以基于多个第二识别模型分别对塑封器件图像进行检测，然后基于第三识别模型对多个第二识别模型的检测结果进行识别，判断塑封器件的真伪。
在本实施例的再一个优选实施方案中，真伪识别模型可以包括基于机器学习算法构建的第二识别模型和第三识别模型，塑封器件真伪识别方法可以基于多个第二识别模型分别对塑封器件图像进行检测，然后基于第三识别模型对多个第二识别模型的检测结果进行识别，判断塑封器件的真伪。
下面结合附图，对本发明实施例中第一识别模型、第二识别模型和第三识别模型进行介绍。
1、第一识别模型
本实施例中第一识别模型可以为基于传统机器学习算法构建的模型。例如，基于Logistic多元回归的识别模型、基于自组织竞争神经网络的识别模型、基于概率神经网络的识别模型、基于递归神经网络的识别模型和基于支持向量机的识别模型等模型。
参阅附图1，图1示例性示出了本实施例中第一识别模型训练方法的主要步骤。如图1所示，本实施例中可以按照下述步骤对第一识别模型进行网络训练：
步骤S101：获取塑封器件样本的显微图像，并提取显微图像中塑封器件的纹理特征和角点特征。
具体地，本实施例中塑封器件样本的显微图像指的是未经开封处理的塑封器件样本的显微图像，即该显微图像为塑封器件样本的外部显微图像。本实施例中纹理指的是图像中基元或像素在局部不规则而整体上有规律的特征表现，纹理特征指的是能够量化表示图像纹理特性的图像特征，纹理特征可以包括塑封器件凹痕纹理特征和塑封器件表面纹理特征，其中，塑封器件表面纹理特征指的是塑封器件的背景图像的纹理特征。本实施例中角点特征指的是能够量化表示图像中塑封器件边角的图像特征，该角点特征包括角点数量和角点角度。
本实施例中可以通过将图像中随机纹理或几何纹理的空间结构差异转换为图像灰度差异的方式，提取显微图像中塑封器件的纹理特征。同时，还可以通过获取图像灰度突变的像素点或物体轮廓边缘线的相交点的方式，获取显微图像中塑封器件的角点，进而计算角点的数量和角度。
在本实施例的一个优选实施方案中，图1所示的方法可以按照下述步骤提取显微图像中塑封器件的纹理特征和角点特征：
步骤S1011：对显微图像进行分割，得到包含塑封器件凹痕的局部图像，并计算局部图像所对应灰度图像直方图的灰度矩阵。
本实施例中灰度图像直方图可以表示图像灰度在每个灰度级上出现的概率，其对应的灰度矩阵如下式(1)所示：
公式(1)中各参数含义为：
un为第i个灰度级ri的均值m的n阶灰度矩阵，N为可区分的灰度级数量，f(ri)为第i个灰度级ri对应的概率，其中，均值
本实施例中1阶灰度矩阵u1＝0，2阶灰度矩阵u2表示方差，描述了灰度值相对于其均值的分散程度，即灰度对比度。3阶灰度矩阵u3表示灰度图像直方图的斜度，即灰度图像直方图的不对称性程度，可以描述纹理灰度起伏分布程度。4阶灰度矩阵u4表示灰度图像直方图的灰度分布聚焦在均值的集中程度。
翻新塑封器件的凹痕粗糙不平且涂料不均匀，使得其纹理灰度起伏分布程度较大。因此，2阶灰度矩阵u2和3阶灰度矩阵u3，与正品塑封器件的2阶灰度矩阵u2和3阶灰度矩阵u3的差异较大。翻新塑封器件的纹理与其表面纹理有较大差异，因此翻新塑封器件的图像的对比度和反差较大。对翻新塑封器件涂覆时造成其凹痕较浅，因此翻新塑封器件的边界不易区分而反差较小，同时，翻新塑封器件的凹痕边缘不平滑、连续性存在缺陷。基于上述翻新塑封器件的特征表现，本实施例中利用灰度图像直方图的灰度矩阵能够较好地区分翻新塑封器件与正品塑封器件。
步骤S1012：获取显微图像的灰度共生矩阵，并计算灰度共生矩阵的特征向量；其中，塑封器件表面纹理特征包括多个灰度共生矩阵所对应特征向量的均值及标准差。
灰度共生矩阵表示图像中相距为δ＝(Δx,Δy)的两个灰度像素同时出现的联合概率分布。假设图像的灰度级为N，则共生矩阵是N×N矩阵，可表示为Pδ(i,j)，其中位于(i,j)的元素P(i,j)的值表示一个灰度为i而另一个灰度为j的两个相距为δ＝(Δx,Δy)的像素对出现的概率。本实施例中(Δx,Δy)包含如下四种情况：(Δx＝1,Δy＝0)即水平(0°)方向相邻，(Δx＝0,Δy＝1)即竖直(90°)方向相邻，(Δx＝-1,Δy＝1)即东北-西南(45°)方向相邻，(Δx＝1,Δy＝1)即西北-东南(135°)方向相邻。
不同的图像由于纹理尺度的不同其灰度共生矩阵会有很大差别。对于粗纹理图像，纹理尺度大，灰度较平滑，其像素趋于具有相同的亮度，所以灰度共生矩阵的P(i,j)值较集中于对角线附近。而对于细纹理图像，纹理尺度较小，灰度值分布不集中，其灰度共生矩阵中的P(i,j)值分散在各处。因此，度共生矩阵可以反映不同灰度像素相对位置的空间信息。
本实施例中首先将塑封器件的外部显微图像转换为灰度图像，并对灰度图像进行灰度级量化。其次，计算水平、竖直、东北-西南和西北-东南这四个方向的灰度共生矩阵。再次，计算每个灰度共生矩阵的特征向量，即对比度、相关度、熵值和角二阶矩。最后，计算每个特征向量的均值和标准差。其中，对比度指的是图像中明暗区域最亮的白和最暗的黑之间不同亮度层级的差异，差异范围越大即对比度值越大，差异范围越小即对比度值越小。因此，图像的纹理沟纹越深，其对比度值较大，翻新塑封器件的对比度值较大。角二阶矩可以度量对图像灰度分布的均匀性，其是灰度共生矩阵元素值平方和，也称为能量。当能量值较大时表示图像纹理为粗纹理，能量值较小时表示图像纹理为细纹理，翻新塑封器件的角二阶矩值较大。熵值可以表示图像所包含信息量，熵值较大表明图像中纹理比较细，熵值较小表明图像中纹理比较粗，翻新塑封器件的熵值较小。
角二阶矩T1、相关度T2和熵值T3和分别如下式(2)、(3)和(4)所示：
T1＝∑i∑jP2(i,j) (2)
公式(3)中各参数含义为：
μx为灰度平均值，μy为平滑平均，σx为灰度方差，σy为平滑方差，P(i,j)为经归一化处理后的像素值，其中，μx、μy、σx和σy如下式(5)所示：
步骤S1013：采用Harris角点算法检测显微图像中塑封器件拐角角点的数量，采用Hough算法计算显微图像中塑封器件拐角角点的角度。在本实施例的一个优选实施方案中，还可以采用Moravec算法或Susan算法等方法检测显微图像中塑封器件拐角角点的数量。
翻新塑封器件经过打磨处理后，其边缘和拐点处较为尖锐接近为直角。因此，本实施例可以根据塑封器件拐角角点的数量和角度，判断塑封器件的真伪。具体地，本实施例中首先将显微图像转换为灰度图，然后利用Harris角点算法检测显微图像中塑封器件拐角角点的数量，最后利用Hough算法计算显微图像中塑封器件拐角角点的角度。
本实施例虽然仅公开了基于灰度图像直方图的灰度矩阵，以及基于灰度共生矩阵的方法获取塑封器件的纹理特征，但是本发明的保护范围显然不局限于这一具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员还可以采用几何法、模型法、信号处理法和结构法等方法获取塑封器件的纹理特征，这些技术方案都将落入本发明的保护范围之内。其中，几何法可以为Voronio棋盘格特征法等方法，模型法可以为马尔可夫随机场模型法、Gibbs随机场模型法、分形模型法或自回归模型法等方法，信号处理法可以为Tamura纹理特征、自回归纹理模型或小波变换等方法，结构法可以为句法纹理描述算法或数学形态学方法等方法。
步骤S102：获取塑封器件样本的太赫兹辐射图像，并计算太赫兹辐射图像中主颜色的颜色比率。
翻新塑封器件经涂覆后，其组成材料与原塑封器件的组成材料存在差异，而不同材料在太赫兹光谱区域具有特定的折射率和吸收系数。因此，翻新塑封器件的太赫兹辐射图像存在不同的反射特征。本实施例中颜色比率指的是太赫兹辐射图像中主要的颜色的占有率，颜色比率越大表明塑封器件表明同一材料的使用量越多，该塑封器件为正品的可能性越大。若颜色比率大于特定阈值，则该塑封器件可以判断为翻新塑封器件。
本实施例中可以根据下式(6)所示的方法计算太赫兹辐射图像的颜色比率Cop：
公式(6)中各参数含义为：
Mc为太赫兹辐射图像中主颜色对应的面积，Tc为太赫兹辐射图像的面积。
步骤S103：基于纹理特征和/或角点特征和/或颜色比率，对第一识别模型进行网络训练，得到优化后的识别模型。
在本实施例的一个优选实施方案中，图1所示的方法可以按照下述步骤对第一识别模型进行网络训练：
步骤S1031：对纹理特征、角点特征和颜色比率进行标准化处理。本实施例中可以采用Z-Score标准化处理方法对纹理特征、角点特征和颜色比率进行标准化处理。
步骤S1032：基于经标准化处理后的纹理特征和/或角点特征和/或颜色比率，对多个第一识别模型进行网络训练，并选取识别正确率最高的识别模型作为最终优化后的第一识别模型。
本实施例中可以同时基于经标准化处理后的纹理特征、角点特征和颜色比率，对多个第一识别模型进行网络训练，并选取识别正确率最高的识别模型作为最终优化后的第一识别模型。进一步地，还可以基于经标准化处理后的纹理特征、角点特征和颜色比率中的任意一个，对多个第一识别模型进行网络训练，并选取识别正确率最高的识别模型作为最终优化后的第一识别模型。进一步地，还可以基于经标准化处理后的纹理特征、角点特征和颜色比率中的任意两个，对多个第一识别模型进行网络训练，并选取识别正确率最高的识别模型作为最终优化后的第一识别模型。
本实施例中可以分别对基于Logistic多元回归的识别模型、基于自组织竞争神经网络的识别模型、基于概率神经网络的识别模型、基于递归神经网络的识别模型和基于支持向量机的识别模型等模型进行网络训练，选取这些识别模型中识别正确率最高的模型作为最终优化后的识别模型。
参阅附图2，图2示例性示出了本实施例中第一识别模型的网络结构。如图2所示，本实施例中第一识别模型的网络结构包括输入层、模式层、求和层和输出层。x1、x2…xn为输入至第一识别模型的图像特征，即纹理特征、角点特征和颜色比率等。y1和y2为第一识别模型的输出结果，并且y1＝0表示塑封器件为假，y2＝1表示塑封器件为真。
2、第二识别模型
本实施例中第二识别模型为基于深度卷积神经网络构建的模型。
参阅附图3，图3示例性示出了本实施例中第二识别模型训练方法的主要步骤。如图3所示，本实施例中可以按照下述步骤对第二识别模型进行网络训练：
步骤S201：获取塑封器件样本的引脚显微图像。其中，本实施例中塑封器件样本的引脚显微图像指的是未经开封处理的塑封器件样本的引脚显微图像，即该引脚显微图像为塑封器件样本引脚的外部显微图像。
翻新塑封器件在经镀锡处理后，其引脚端面与引脚脚跟处均会与原塑封器件存在差异。具体地，翻新塑封器件的引脚根部的镀锡层与伪镀锡层之间存在明显分界，同时引脚表明会存在不同程度的扭曲、倾斜和凹凸不平。
步骤S202：获取塑封器件样本的X射线图像。其中，本实施例中塑封器件样本的X射线图像指的是未经开封处理的塑封器件样本的X射线图像。
翻新塑封器件的外观即使与原塑封器件完全相同，但其X射线图像所呈现的引线和芯片状态也会存在较大差异。因此，本实施例中可以通过引线框架形状、芯片形状和引线密度，判断塑封器件的真伪。
步骤S203：对塑封器件样本进行开封处理，并获取经开封处理后的塑封器件样本显微图像。其中，本实施例中塑封器件样本显微图像指的是经开封处理的塑封器件样本的显微图像，即该显微图像为塑封器件样本的内部显微图像。
采用浓硫酸腐蚀的方式对塑封器件进行开封处理时，除金键合丝以外其他金属材料应该均被腐蚀。同时，塑封器件开封后，其芯片上的标识信息应该与开封之前塑封器件外壳上记载的标识信息一致，并且翻新塑封器件的芯片版图与原塑封器件的芯片版图也存在较大差异。由于不同产品批次的塑封器件，以及相同批次不同塑封器件的芯片标识信息均可能不同，因此本实施例中芯片图像主要为芯片的版图图像。
步骤S204：基于引脚显微图像和/或塑封器件样本的X射线图像和/或塑封器件样本的内部显微图像，对第二识别模型进行网络训练，得到优化后的识别模型。
具体地，本实施例中针对每个图像分别训练一个第二识别模型。例如，图像包括引脚显微图像和X射线图像时，可以针对引脚显微图像和X射线图像分别训练一个第二识别模型，即两个第二识别模型。
参阅附图4，图4示例性示出了本实施例中第二识别模型的网络结构。如图4所示，本实施例中第二识别模型的网络结构可以包括输入层、隐藏层和输出层。具体地，第二识别模型的输入数据为由81×45的像素点构成的矩阵，第一个特征图层C1包含6个特征图，采用12×12的窗口对输入图像进行卷积操作，得到每个特征图的大小为70×34。第一个池化层P1对第一个特征图层C1进行降维操作，得到同样6个特征图，大小为35×17。第二个特征图层C2层为一个卷积层，卷积核大小为12×12，包含16个特征图。第二个特征图层C2层和第二个池化层P2层连接，第三个特征图层C3层对第二个池化层P2层进行卷积操作，并采用全连接的方式，即每个第三个特征图层C3中的卷积核均在第二个池化层P2的所有16个特征图上进行卷积操作。第三个特征图层C3包含120个大小为1×1的特征图，结束特征抽取的过程。随后在隐藏层H4的基础上，通过一个全连接的网络，最终得到0、1表示的输出结果，即输出为分别表示“假”、“真”。
需要说明的是，本实施例虽然仅公开了第二识别模型中学习速率、初始样本大小和网络参数初始权值的具体数值，但是本发明的保护范围显然不局限于这一具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对上述数值作出更改，这些更改之后的技术方案都将落入本发明的保护范围之内。
如图4所示，本实施例中第二识别模型可以为基于LeNet-5结构的深度卷积神经网络的模型，该模型主要包括依次连接的第一卷积层、第一取样层、第二卷积层、第二取样层、第三卷积层、全连接层和分类器层。其中，第一卷积层对输入数据进行卷积操作，第一取样层对经第一卷积层处理后的数据进行取样，第二卷积层对第一取样层得到的数据再次进行卷积操作，第二取样层对经第二卷积层处理后的数据进行取样，第三卷积层对第二取样层得到的数据再次进行卷积操作。
本实施例中图4所示模型与LeNet-5网络的区别主要包括：1、该模型的激活函数均采用ReLU函数，而并未采用LeNet-5网络的tanh函数，以提高网络的收敛速度，同时避免梯度消失。2、该模型的学习速率为0.002，而并未采用LeNet-5网络所限定的特殊的学习速率序列。3、该模型的P2层数据大小为12×12，初始样本大小为81×45，初始学习速率为0.002，网络参数初始权值为0.2，并基于随机训练的方法进行数据训练，且当误差小于0.001或迭代次数达到100后停止训练。4、当模型输入图像为塑封器件的边缘角点显微图像时，采用边框填充0的方法将图像大小由81×45扩充为92×56。
继续参阅附图5，图5示例性示出了本实施例中第二识别模型全连接层的网络结构。如图5所示，本实施例中第二识别模型全连接层为分类器，可以是Softmax或SVM。经池化层下采样操作后的图像特征传入至全连接层，由损失函数计算输出结果与实际期望结果的偏差，并将该误差反向传播回前向网络中，不断修正网络连接权值以达到误差允许精度范围。
3、第三识别模型
本实施例中第三识别模型可以采用基于支持向量机的识别模型。
参阅附图6，图6示例性示出了本实施例中一种第三识别模型训练方法的主要步骤。如图6所示，本实施例中可以按照下述步骤对第三识别模型进行训练：
步骤S301：通过多个第二识别模型对塑封器件样本的图像进行检测。
步骤S302：基于第二识别模型的检测结果，对第三识别模型进行网络训练，得到优化后的识别模型。
参阅附图7，图7示例性示出了本实施例中另一种第三识别模型训练方法的主要步骤。如图7所示，本实施例中可以按照下述步骤对第三识别模型进行训练：
步骤S401：通过第一识别模型对塑封器件样本的图像进行检测。
步骤S402：通过一个或多个第二识别模型对塑封器件样本的图像进行检测。
步骤S403：基于第一识别模型和第二识别模型的检测结果，对第三识别模型进行网络训练，得到优化后的识别模型。
上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。
基于与方法实施例相同的技术构思，本发明实施例还提供一种塑封器件真伪识别装置。下面结合附图对该塑封器件真伪识别装置进行具体说明。
参阅附图8，图8示例性示出了本实施例中一种塑封器件真伪识别装置的主要结构。如图8所示，本实施例中塑封器件真伪识别装置的可以包括真伪识别模型11和模型训练模块12。其中，真伪识别模型11可以配置为对塑封器件图像进行检测，并根据检测结果判断塑封器件的真伪。模型训练模块12可以配置为对真伪识别模型进行网络训练。
具体地，本实施例中真伪识别模型11可以包括基于机器学习算法构建的第一识别模型。模型训练模块12可以包括第一训练子模块，该第一训练子模块可以包括第一图像特征获取单元、第二图像特征获取单元和模型训练单元。其中，第一图像特征获取单元可以配置为获取塑封器件样本所对应显微图像中塑封器件的纹理特征和角点特征。第二图像特征获取单元可以配置为获取塑封器件样本所对应太赫兹辐射图像中主颜色的颜色比率。第一模型训练单元可以配置为基于纹理特征和/或角点特征和/或颜色比率，对第一识别模型进行网络训练，得到优化后的识别模型。
进一步地，本实施例中第一模型训练单元还可以包括图像特征处理子单元和模型训练子单元。其中，图像特征处理子单元可以配置为对第一图像特征获取单元所获取的纹理特征和角点特征，及第二图像特征获取单元所获取的颜色比率进行标准化处理。模型训练子单元可以配置为基于经图像特征处理子单元标准化处理后的纹理特征和/或角点特征和/或颜色比率，对多个第一识别模型进行网络训练，并选取识别正确率最高的识别模型作为最终优化后的第一识别模型。
进一步地，本实施例中图7所示的真伪识别模型11还可以包括基于机器学习算法构建的第二识别模型。其中，模型训练模块12可以包括第二训练子模块，该第二训练子模块可以包括第一图像获取单元、第二图像获取单元、第三图像获取单元和第二模型训练单元。其中，第一图像获取单元可以配置为获取塑封器件样本的引脚显微图像。第二图像获取单元可以配置为获取塑封器件样本所对应的X射线图像。第三图像获取单元可以配置为获取经开封处理后的塑封器件样本显微图像。第二模型训练单元可以配置为基于第一图像获取单元所获取的引脚显微图像、第二图像获取单元所获取的塑封器件样本X射线图像，及第三图像获取单元所获取的经开封处理后的塑封器件样本显微图像，对第二识别模型进行网络训练，得到优化后的识别模型。
进一步地，本实施例中图7所示的真伪识别模型11还可以包括基于机器学习算法构建的第三识别模型，模型训练模块12可以包括第三训练子模块，该第三训练子模块可以包括第一检测结果获取单元、第二检测结果获取单元、第三模型训练单元和第四模型训练单元。其中，第一检测结果获取单元可以配置为通过多个第二识别模型对塑封器件样本的图像进行检测得到的检测结果。第二检测结果获取单元可以配置为通过第一识别模型对图像进行检测得到的检查结果，以及通过一个或多个第二识别模型对塑封器件样本的图像进行检测得到的检测结果。第三模型训练单元可以配置为基于第一检测结果获取单元所获取的检测结果，对第三识别模型进行网络训练，得到优化后的识别模型。第四模型训练单元可以配置为基于第二检测结果获取单元所获取的检测结果，对第三识别模型进行网络训练，得到优化后的识别模型。
进一步地，本实施例中纹理特征包括塑封器件凹痕纹理特征和塑封器件表面纹理特征，角点特征包括塑封器件拐角角点的数量和角度；第一图像特征获取单元进一步配置为执行下述操作：
步骤1：对塑封器件样本所对应显微图像进行分割，得到包含塑封器件凹痕的局部图像，并计算局部图像所对应灰度图像直方图的灰度矩阵。步骤2：获取塑封器件样本所对应显微图像的灰度共生矩阵，并计算灰度共生矩阵的特征向量；其中，塑封器件表面纹理特征包括多个灰度共生矩阵所对应特征向量的均值及标准差。步骤3：采用Harris角点算法检测塑封器件样本所对应显微图像中塑封器件拐角角点的数量，采用Hough算法计算显微图像中塑封器件拐角角点的角度。
进一步地，本实施例中第二图像特征获取单元进一步配置为根据公式(6)所示的方法计算太赫兹辐射图像的颜色比率Cop。
本领域技术人员可以理解，上述塑封器件真伪识别装置还包括一些其他公知结构，例如处理器、控制器、存储器等，其中，存储器包括但不限于随机存储器、闪存、只读存储器、可编程只读存储器、易失性存储器、非易失性存储器、串行存储器、并行存储器或寄存器等，处理器包括但不限于CPLD/FPGA、DSP、ARM处理器、MIPS处理器等，为了不必要地模糊本公开的实施例，这些公知的结构未在图8中示出。
应该理解，图8中的各个模块的数量仅仅是示意性的。根据实际需要，各模块可以具有任意的数量。
基于上述塑封器件真伪识别方法实施例，本发明实施例还提供了一种存储装置，该存储装置存储有多条程序，并且这些程序适于由处理器加载并执行以实现上述方法实施例所述的塑封器件真伪识别方法。
进一步地，基于上述塑封器件真伪识别方法实施例，本发明实施例还提供了一种处理装置，该处理装置包括处理器和存储设备，其中，处理器可以适于执行各条程序，存储设备可以适于存储多条程序，并且这些程序可以适于由处理器加载并执行以实现上述方法实施例所述的塑封器件真伪识别方法。
本领域技术人员可以理解，可以对实施例中装置中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个装置中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在本发明的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的服务器、客户端中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，PC程序和PC程序产品)。这样的实现本发明的程序可以存储在PC可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包括”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的PC来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (12)
1.一种塑封器件真伪识别方法，其特征在于，所述方法包括：
获取预先构建的真伪识别模型，其中，所述真伪识别模型包括基于机器学习算法构建的第一识别模型、第二识别模型和第三识别模型；
基于所述预先构建的真伪识别模型对塑封器件图像进行检测，并根据检测结果判断所述塑封器件的真伪，具体包括：基于所述第一识别模型、第二识别模型和第三识别模型中的一个或多个模型对塑封器件图像进行检测，并根据检测结果判断所述塑封器件的真伪；
其中，
所述第一识别模型的训练方法包括：获取塑封器件样本的显微图像，并提取所述显微图像中塑封器件的纹理特征和角点特征；获取所述塑封器件样本的太赫兹辐射图像，并计算所述太赫兹辐射图像中主颜色的颜色比率；基于所述纹理特征和/或角点特征和/或颜色比率，对所述第一识别模型进行网络训练，得到优化后的识别模型；
所述第二识别模型的训练方法包括：获取塑封器件样本的引脚显微图像；获取塑封器件样本X射线图像；对所述塑封器件样本进行开封处理，并获取经所述开封处理后的塑封器件样本显微图像；基于所述引脚显微图像和/或塑封器件样本X射线图像和/或经开封处理后的塑封器件样本显微图像，对所述第二识别模型进行网络训练，得到优化后的识别模型；
所述第三识别模型的训练方法包括：通过多个所述第二识别模型对所述塑封器件样本的图像进行检测；基于所述第二识别模型的检测结果，对所述第三识别模型进行网络训练，得到优化后的识别模型；或者，通过所述第一识别模型对塑封器件样本的图像进行检测，通过一个或多个所述第二识别模型对所述塑封器件样本的图像进行检测；基于所述第一识别模型和第二识别模型的检测结果，对所述第三识别模型进行网络训练，得到优化后的识别模型。
2.根据权利要求1所述的塑封器件真伪识别方法，其特征在于，“基于所述纹理特征和/或角点特征和/或颜色比率，对所述第一识别模型进行网络训练，得到优化后的识别模型”的步骤具体包括：
对所述纹理特征、角点特征和颜色比率进行标准化处理；
基于经所述标准化处理后的所述纹理特征和/或角点特征和/或颜色比率，对多个所述第一识别模型进行网络训练，并选取识别正确率最高的识别模型作为最终优化后的第一识别模型。
3.根据权利要求1所述的塑封器件真伪识别方法，其特征在于，所述真伪识别模型还包括基于机器学习算法构建的第二识别模型；
“基于预先构建的真伪识别模型对塑封器件图像进行检测，并根据检测结果判断所述塑封器件的真伪”的步骤具体包括：
基于所述第一识别模型或第二识别模型对塑封器件图像进行检测，并根据所述第一识别模型或第二识别模型的检测结果判断塑封器件的真伪。
4.根据权利要求1所述的塑封器件真伪识别方法，其特征在于，所述真伪识别模型还包括基于机器学习算法构建的第二识别模型和第三识别模型；
“基于预先构建的真伪识别模型对塑封器件图像进行检测，并根据检测结果判断所述塑封器件的真伪”的步骤具体包括：
基于所述第一识别模型和第二识别模型分别对塑封器件图像进行检测，基于所述第三识别模型对所述第一识别模型和第二识别模型的检测结果进行识别，判断所述塑封器件的真伪；
或者，
基于多个所述第二识别模型分别对塑封器件图像进行检测，基于所述第三识别模型对多个所述第二识别模型的检测结果进行识别，判断所述塑封器件的真伪。
5.根据权利要求1或2所述的塑封器件真伪识别方法，其特征在于，所述纹理特征包括塑封器件凹痕纹理特征和塑封器件表面纹理特征，所述角点特征包括塑封器件拐角角点的数量和角度；
“提取所述显微图像的纹理特征和角点特征”的步骤具体包括：
对所述显微图像进行分割，得到包含塑封器件凹痕的局部图像，并计算所述局部图像所对应灰度图像直方图的灰度矩阵；
获取所述显微图像的灰度共生矩阵，并计算所述灰度共生矩阵的特征向量；其中，所述塑封器件表面纹理特征包括多个所述灰度共生矩阵所对应特征向量的均值及标准差；
采用Harris角点算法检测所述显微图像中塑封器件拐角角点的数量，采用Hough算法计算所述显微图像中塑封器件拐角角点的角度。
6.根据权利要求1或2所述的塑封器件真伪识别方法，其特征在于，“计算所述太赫兹辐射图像中主颜色的颜色比率”的步骤具体包括：
根据下式所示的方法计算所述太赫兹辐射图像的颜色比率Cop：
其中，所述Mc为所述太赫兹辐射图像中主颜色对应的面积，所述Tc为所述太赫兹辐射图像的面积。
7.一种塑封器件真伪识别装置，其特征在于，所述装置包括真伪识别模型和模型训练模块；
所述真伪识别模型包括基于机器学习算法构建的第一识别模型、第二识别模型和第三识别模型；
所述真伪识别装置，配置为基于所述第一识别模型、第二识别模型和第三识别模型中的一个或多个模型对塑封器件图像进行检测，并根据检测结果判断所述塑封器件的真伪；
所述模型训练模块，配置为对所述真伪识别模型进行网络训练；
所述模型训练模块包括第一训练子模块；所述第一训练子模块包括第一图像特征获取单元、第二图像特征获取单元和第一模型训练单元；所述第一图像特征获取单元，配置为获取塑封器件样本所对应显微图像中塑封器件的纹理特征和角点特征；所述第二图像特征获取单元，配置为获取塑封器件样本所对应太赫兹辐射图像中主颜色的颜色比率；所述第一模型训练单元，配置为基于所述纹理特征和/或角点特征和/或颜色比率，对所述第一识别模型进行网络训练，得到优化后的识别模型；
所述模型训练模块包括第二训练子模块和第三训练子模块；
所述第二训练子模块包括第一图像获取单元、第二图像获取单元、第三图像获取单元和第二模型训练单元；所述第一图像获取单元，配置为获取塑封器件样本的引脚显微图像；所述第二图像获取单元，配置为获取塑封器件样本所对应的X射线图像；所述第三图像获取单元，配置为获取经开封处理后塑封器件样本所对应的显微图像；所述第二模型训练单元，配置为基于所述第一图像特征获取单元所获取的引脚显微图像和/或所述第二图像获取单元所获取的X射线图像和/或所述第三图像获取单元所获取的显微图像，对所述第二识别模型进行网络训练，得到优化后的识别模型；
所述第三训练子模块包括第一检测结果获取单元、第二检测结果获取单元、第三模型训练单元和第四模型训练单元；所述第一检测结果获取单元，配置为通过多个所述第二识别模型对所述塑封器件样本的图像进行检测得到的检测结果；所述第二检测结果获取单元，配置为通过所述第一识别模型对图像进行检测得到的检查结果，以及通过一个或多个所述第二识别模型对所述塑封器件样本的图像进行检测得到的检测结果；所述第三模型训练单元，配置为基于所述第一检测结果获取单元所获取的检测结果，对所述第三识别模型进行网络训练，得到优化后的识别模型；所述第四模型训练单元，配置为基于所述第二检测结果获取单元所获取的检测结果，对所述第三识别模型进行网络训练，得到优化后的识别模型。
8.根据权利要求7所述的塑封器件真伪识别装置，其特征在于，所述第一模型训练单元还包括图像特征处理子单元和模型训练子单元；
所述图像特征处理子单元，配置为对所述第一图像特征获取单元所获取的纹理特征和角点特征，及所述第二图像特征获取单元所获取的颜色比率进行标准化处理；
所述模型训练子单元，配置为基于经所述图像特征处理子单元标准化处理后的所述纹理特征和/或角点特征和/或颜色比率，对多个所述第一识别模型进行网络训练，并选取识别正确率最高的识别模型作为最终优化后的第一识别模型。
9.根据权利要求7或8所述的塑封器件真伪识别装置，其特征在于，所述纹理特征包括塑封器件凹痕纹理特征和塑封器件表面纹理特征，所述角点特征包括塑封器件拐角角点的数量和角度；
所述第一图像特征获取单元，进一步配置为执行下述操作：
对塑封器件样本所对应显微图像进行分割，得到包含塑封器件凹痕的局部图像，并计算所述局部图像所对应灰度图像直方图的灰度矩阵；
获取塑封器件样本所对应显微图像的灰度共生矩阵，并计算所述灰度共生矩阵的特征向量；其中，所述塑封器件表面纹理特征包括多个所述灰度共生矩阵所对应特征向量的均值及标准差；
采用Harris角点算法检测塑封器件样本所对应显微图像中塑封器件拐角角点的数量，采用Hough算法计算所述显微图像中塑封器件拐角角点的角度。
10.根据权利要求7或8所述的塑封器件真伪识别装置，其特征在于，
所述第二图像特征获取单元，进一步配置为执行下述操作：
根据下式所示的方法计算所述太赫兹辐射图像的颜色比率Cop：
其中，所述Mc为所述太赫兹辐射图像中主颜色对应的面积，所述Tc为所述太赫兹辐射图像的面积。
11.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-6任一项所述的塑封器件真伪识别方法。
12.一种处理装置，包括：
处理器，适于执行各条程序；
存储设备，适于存储多条程序；
其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-6任一项所述的塑封器件真伪识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810163766.XA CN110197473B (zh) | 2018-02-27 | 2018-02-27 | 塑封器件真伪识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810163766.XA CN110197473B (zh) | 2018-02-27 | 2018-02-27 | 塑封器件真伪识别方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110197473A CN110197473A (zh) | 2019-09-03 |
| CN110197473B true CN110197473B (zh) | 2021-12-03 |
Family
ID=67750935
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810163766.XA Active CN110197473B (zh) | 2018-02-27 | 2018-02-27 | 塑封器件真伪识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110197473B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115359041A (zh) * | 2022-10-13 | 2022-11-18 | 南通启锦智能科技有限公司 | 一种基于机器学习的电子元器件识别方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104142571A (zh) * | 2013-05-09 | 2014-11-12 | 索尼公司 | 光学系统、太赫兹发射显微镜和用于制造器件的方法 |
| EP2869269A1 (en) * | 2013-10-17 | 2015-05-06 | Honeywell International Inc. | Apparatus and method for characterizing texture |
| US9639781B2 (en) * | 2015-04-10 | 2017-05-02 | Cognex Corporation | Systems and methods for classification and alignment of highly similar or self-similar patterns |
| CN106841240A (zh) * | 2016-12-21 | 2017-06-13 | 中国科学院微电子研究所 | 一种器件热传导无损失效分析方法及装置 |
| CN107633258A (zh) * | 2017-08-21 | 2018-01-26 | 北京精密机电控制设备研究所 | 一种基于前馈特征提取的深度学习识别系统及方法 |
-
2018
- 2018-02-27 CN CN201810163766.XA patent/CN110197473B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104142571A (zh) * | 2013-05-09 | 2014-11-12 | 索尼公司 | 光学系统、太赫兹发射显微镜和用于制造器件的方法 |
| EP2869269A1 (en) * | 2013-10-17 | 2015-05-06 | Honeywell International Inc. | Apparatus and method for characterizing texture |
| US9639781B2 (en) * | 2015-04-10 | 2017-05-02 | Cognex Corporation | Systems and methods for classification and alignment of highly similar or self-similar patterns |
| CN106841240A (zh) * | 2016-12-21 | 2017-06-13 | 中国科学院微电子研究所 | 一种器件热传导无损失效分析方法及装置 |
| CN107633258A (zh) * | 2017-08-21 | 2018-01-26 | 北京精密机电控制设备研究所 | 一种基于前馈特征提取的深度学习识别系统及方法 |
Non-Patent Citations (3)
| Title |
|---|
| Automated visual inspection in the semiconductor industry: A survey;Huang, Szu-Hao等;《Computers in Industry》;20150131;正文1-10页 * |
| 基于机器视觉的半导体芯片表面缺陷在线检测关键技术研究;巢渊;《中国博士学位论文全文数据库信息科技辑》;20180215;正文9-121页 * |
| 浅谈假冒、翻新塑封器件的识别;陈章涛;《电子测量与仪器学报》;20121231;正文23-25页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110197473A (zh) | 2019-09-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110619618B (zh) | 一种表面缺陷检测方法、装置及电子设备 | |
| CN108765412B (zh) | 一种带钢表面缺陷分类方法 | |
| CN109596634B (zh) | 电缆缺陷的检测方法及装置、存储介质、处理器 | |
| CN113592845A (zh) | 一种电池涂布的缺陷检测方法及装置、存储介质 | |
| Bendels et al. | Detecting holes in point set surfaces | |
| Xiang et al. | Moving object detection and shadow removing under changing illumination condition | |
| CN115841447A (zh) | 一种磁瓦表面缺陷的检测方法 | |
| CN113239862A (zh) | 一种基于人工智能的商品识别方法及装置 | |
| CN113221881B (zh) | 一种多层级的智能手机屏幕缺陷检测方法 | |
| CN114332026A (zh) | 一种铭牌表面划痕缺陷的视觉检测方法及装置 | |
| CN115170804B (zh) | 基于深度学习的表面缺陷检测方法、装置、系统和介质 | |
| CN110866915A (zh) | 基于度量学习的圆形砚台质量检测方法 | |
| CN109740539A (zh) | 基于超限学习机和融合卷积网络的3d物体识别方法 | |
| CN117011260A (zh) | 一种芯片外观缺陷自动检测方法、电子设备及存储介质 | |
| CN117011274A (zh) | 自动化玻璃瓶检测系统及其方法 | |
| Kozamernik et al. | Visual inspection system for anomaly detection on KTL coatings using variational autoencoders | |
| CN111144425B (zh) | 检测拍屏图片的方法、装置、电子设备及存储介质 | |
| CN110197473B (zh) | 塑封器件真伪识别方法及装置 | |
| Maestro-Watson et al. | Deep learning for deflectometric inspection of specular surfaces | |
| CN115829942A (zh) | 基于非负性约束稀疏自编码器的电子电路缺陷检测方法 | |
| Kamal et al. | Gear classification for defect detection in vision inspection system using deep convolutional neural networks | |
| Bode et al. | Bounded: Neural boundary and edge detection in 3d point clouds via local neighborhood statistics | |
| CN116051564B (zh) | 芯片封装缺陷检测方法和系统 | |
| CN117437238A (zh) | 一种封装ic表面缺陷视觉检测方法 | |
| CN116051541B (zh) | 基于频闪光源的轴承端面平缓磨伤检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |