CN114140671A - 基于多尺度融合的高分辨率芯片图像的分类方法和装置 - Google Patents

基于多尺度融合的高分辨率芯片图像的分类方法和装置 Download PDF

Info

Publication number
CN114140671A
CN114140671A CN202111284365.8A CN202111284365A CN114140671A CN 114140671 A CN114140671 A CN 114140671A CN 202111284365 A CN202111284365 A CN 202111284365A CN 114140671 A CN114140671 A CN 114140671A
Authority
CN
China
Prior art keywords
image
images
prediction
group
threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111284365.8A
Other languages
English (en)
Inventor
杨会越
陈辉
陈仕江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Zhuoxi Brain And Intelligence Research Institute
Original Assignee
Hangzhou Zhuoxi Brain And Intelligence Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Zhuoxi Brain And Intelligence Research Institute filed Critical Hangzhou Zhuoxi Brain And Intelligence Research Institute
Priority to CN202111284365.8A priority Critical patent/CN114140671A/zh
Publication of CN114140671A publication Critical patent/CN114140671A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请提出了一种基于多尺度融合的高分辨率芯片图像的分类方法和装置，该方法包括：将待分类的高分辨率芯片图像按不同的比例进行多次划分，获得多组不同尺寸的图像；对每组图像分别训练一个分类模型，并输出对应的图像组中每张图像为正例的预测得分；确定每个分类模型的正例可信度阈值和负例可信度阈值，并结合每组图像中的每张图像的预测得分，确定每组图像对应的预测结果；融合每两组图像对应的预测结果，并根据每个融合预测结果的正确率确定两组目标图像，以两组目标图像对应的融合预测结果为待分类的高分辨率芯片图像的最终分类结果。该方法显著提升了对高分辨率芯片图像进行分类的准确性，可以适用于高精度的芯片图像分类场景。

Description

基于多尺度融合的高分辨率芯片图像的分类方法和装置
技术领域
本申请涉及图像检测技术领域，尤其涉及一种基于多尺度融合的高分辨率芯片图像的分类方法和装置。
背景技术
随着电子芯片在各个行业应用的愈加频繁，人们对芯片质量的重视程度也逐渐提高，因此对生产出的芯片需要进行各种类型的测试。
相关技术中，在检测芯片是否含有表面上的缺陷时，通过是采用基于深度学习的图像分类方法，对获取的芯片表面的图像进行分类，根据图像分类任务的结果判断芯片表面是否具有缺陷。其中，由于深度学习具有强大的特征提取能力，关于芯片的图像分类任务从传统方法不断发展到基于深度学习的方法。举例而言，2012年Alex Krizhevsky等人提出的AlexNet相比于LeNet加深了网络深度，采用ReLU激活函数解决sigmoid函数在网络层数较深时的梯度消失问题，使用了dropout方法防止模型过拟合，并且用了多种数据增强方式提高了模型的泛化能力；2014年Christian Szegedy等人提出的GoogLeNet采用了Inception模块，使用三个不同大小的卷积核对输入图片进行卷积操作和最大池化操作，将四种操作的输出沿通道维度拼接，将不同尺度的信息进行融合，得到图像更好的表征；2014年Karen Simonyan等人提出的VGGNe用多个小卷积核代替大卷积核的感受野并且减少参数量，通过堆叠3*3的小型卷积核和2*2的池化核加深网络深度来提升性能；2015年KaimingHe等人提出的ResNet用残差结构解决深度模型的退化问题，并且以152层的网络架构创造了新的模型记录。
然而，申请人发现，通过相关技术中的图像分类方法对高分辨率的芯片图像进行分类时，存在以下两个主要的缺点：
第一，由于芯片的大小较小，而芯片上的缺陷面积更小，所以拍摄时需要使用高分辨率照相设备进行拍摄，使得获得的图像分辨率通常较高，比如为5472*3648，这与现有模型的数据集(比如，VOC集和COCO集)中的图片的面积比约为100：1。如果把图像尺寸缩小到VOC和COCO数据集图片的级别，则芯片表面缺陷部分几乎消失不见，如果不进行图片缩小，则目前的卷积神经网络分类效果不佳，且计算量较大。
第二，由于缺陷部分相对于整张图片的比例非常小，经过数据分析，最小的缺陷面积只有900像素(长和宽都只有30像素)，占整张图的0.0045％，目前的卷积神经网络经过多层下采样层得到最终的特征，使得缺陷信息在最终的特征中无法得到正确表达，导致模型预测的可信度较低。
因此，由于芯片图片具有分辨率高和缺陷面积小的特点，相关技术中的分类模型无法直接应用于高分辨率芯片图像的分类。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请的第一个目的在于提出一种基于多尺度融合的高分辨率芯片图像的分类方法，该方法通过将高分辨率图像分割为不同尺度的小图，然后分别对不同尺度的小图训练分类模型，获取每组小图的分类结果，最后将小图的分类结果融合得到高分辨率芯片图像的分类结果，利用小分辨率图像相对大分辨率图像分类精度较高的特点，使得融合后结果比单一尺度模型的预测结果更加准确，从而可以显著提升对高分辨率芯片图像进行分类的准确性，适用于高精度的芯片图像分类场景。
本申请的第二个目的在于提出一种基于多尺度融合的高分辨率芯片图像的分类装置。
本申请的第三个目的在于提出一种非临时性计算机可读存储介质。
为达上述目的，本申请的第一方面实施例在于提出一种基于多尺度融合的高分辨率芯片图像的分类方法，该方法包括以下步骤：
将待分类的高分辨率芯片图像按不同的比例进行多次划分，获得多组不同尺寸的图像，其中，任一组图像中的每个图像的尺寸相同；
对每组图像分别训练一个分类模型，通过所述分类模型输出对应的图像组中每张图像为正例的预测得分；
根据不同的预测阈值对应的正例和负例的可信度，确定每个所述分类模型的正例可信度阈值和负例可信度阈值，并根据每组图像中的每张图像的所述预测得分，以及所述每组图像对应的分类模型的正例可信度阈值和负例可信度阈值，确定所述每组图像对应的预测结果；
将所述多组图像中的任意两组依次进行组合，融合每两组图像对应的预测结果，并根据每个融合预测结果的正确率确定两组目标图像，以所述两组目标图像对应的融合预测结果为所述待分类的高分辨率芯片图像的最终分类结果。
可选地，在本申请的一个实施例中，将待分类的高分辨率芯片图像按不同的比例进行多次划分，包括：按照边长为所述待分类的高分辨率芯片图像的边长的预设比例，将所述待分类的高分辨率芯片图像分割为多组不同尺寸的图像；在每组图像中取相邻的两张图像的一半组成重叠图像，以使每个缺陷至少被一个划分后的图像覆盖。
可选地，在本申请的一个实施例中，根据每组图像中的每张图像的所述预测得分，以及所述每组图像对应的分类模型的正例可信度阈值和负例可信度阈值，确定所述每组图像对应的预测结果,包括:将每组图像中的每张图像的预测得分与对应的分类模型的正例可信度阈值和负例可信度阈值进行比较；如果预测得分大于所述正例可信度阈值，则确定当前组图像对应的预测结果为存在缺陷；如果预测得分小于所述负例可信度阈值，则忽略当前图像；如果预测得分小于等于所述正例可信度阈值并大于等于所述负例可信度阈值，则确定当前图像为未知图像；遍历当前组图像中每张图像后，若不存在预测得分大于所述正例可信度阈值的图像，则计算每个所述未知图像的预测得分的第一平均值，并将所述第一平均值与预设的分类阈值进行比较确定所述待分类的高分辨率芯片图像的预测结果。
可选地，在本申请的一个实施例中，融合每两组图像对应的预测结果,包括:根据每两组图像中分辨率较小的图像组的对应的预测结果更新分辨率较大的图像组中每个未知图像的预测得分；计算所述每个未知图像的更新后的预测得分的第二平均值，并将所述第二平均值与所述预设的分类阈值进行比较确定当前两组图像的融合预测结果。
可选地，在本申请的一个实施例中，根据两组图像中分辨率较小的图像组的对应的预测结果更新分辨率较大的图像组中每个未知图像的预测得分,包括:在分辨率较小的图像组中，获取与分辨率较大的图像组中任一未知图像对应的多个第一图像；将每个所述第一图像的预测得分与对应的正例可信度阈值进行比较，如果存在任一所述第一图像的预测得分大于正例可信度阈值，则确定所述分辨率较大的图像组中任一未知图像的预测结果为存在缺陷，若不存在预测得分大于正例可信度阈值的第一图像，则计算所述多个第一图像的第三平均值，将所述第三平均值与所述任一未知图像的预测得分进行融合，以更新所述任一未知图像的预测得分。
可选地，在本申请的一个实施例中，将所述第三平均值与所述任一未知图像的预测得分进行融合,包括:计算所述第三平均值与所述任一未知图像的预测得分的平均值、最大值或最小值。
为达上述目的，本申请的第二方面实施例还提出了一种基于多尺度融合的高分辨率芯片图像的分类装置，包括以下模块:
划分模块，用于将待分类的高分辨率芯片图像按不同的比例进行多次划分，获得多组不同尺寸的图像，其中，任一组图像中的每个图像的尺寸相同；
训练模块，用于对每组图像分别训练一个分类模型，通过所述分类模型输出对应的图像组中每张图像为正例的预测得分；
第一预测模块，用于根据不同的预测阈值对应的正例和负例的可信度，确定每个所述分类模型的正例可信度阈值和负例可信度阈值，并根据每组图像中的每张图像的所述预测得分，以及所述每组图像对应的分类模型的正例可信度阈值和负例可信度阈值，确定所述每组图像对应的预测结果；
第二预测模块，用于将所述多组图像中的任意两组依次进行组合，融合每两组图像对应的预测结果，并根据每个融合预测结果的正确率确定两组目标图像，以所述两组目标图像对应的融合预测结果为所述待分类的高分辨率芯片图像的最终分类结果。
可选地，在本申请的一个实施例中，划分模块，具体用于：按照边长为所述待分类的高分辨率芯片图像的边长的预设比例，将所述待分类的高分辨率芯片图像分割为多组不同尺寸的图像；在每组图像中取相邻的两张图像的一半组成重叠图像，以使每个缺陷至少被一个划分后的图像覆盖。
可选地，在本申请的一个实施例中，第一预测模块，具体用于:将每组图像中的每张图像的预测得分与对应的分类模型的正例可信度阈值和负例可信度阈值进行比较；如果预测得分大于所述正例可信度阈值，则确定当前组图像对应的预测结果为存在缺陷；如果预测得分小于所述负例可信度阈值，则忽略当前图像；如果预测得分小于等于所述正例可信度阈值并大于等于所述负例可信度阈值，则确定当前图像为未知图像；遍历当前组图像中每张图像后，若不存在预测得分大于所述正例可信度阈值的图像，则计算每个所述未知图像的预测得分的第一平均值，并将所述第一平均值与预设的分类阈值进行比较确定所述待分类的高分辨率芯片图像的预测结果。
本申请的实施例提供的技术方案至少带来以下有益效果：该方案将高分辨率图像分割为不同尺度的小图，然后分别对不同尺度的小图训练分类模型，获取每组小图的分类结果，最后将小图的分类结果融合得到高分辨率芯片图像的分类结果，利用小分辨率图像相对大分辨率图像分类精度较高的特点，使得融合后结果比单一尺度模型的预测结果更加准确，从而可以显著提升对高分辨率芯片图像进行分类的准确性，适用于高精度的芯片图像分类场景。
为了实现上述实施例，本申请第三方面实施例还提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中的基于多尺度融合的高分辨率芯片图像的分类方法。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例提出的一种基于多尺度融合的高分辨率芯片图像的分类方法的流程图；
图2为本申请实施例提出的一种具体的图像划分的示意图；
图3为本申请实施例提出的一种具体的基于多尺度融合的高分辨率芯片图像的分类方法的流程示意图；
图4为本申请实施例提出的一种基于多尺度融合的高分辨率芯片图像的分类装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例所提出的一种基于多尺度融合的高分辨率芯片图像的分类方法、装置。
图1为本申请实施例提出的一种基于多尺度融合的高分辨率芯片图像的分类的流程图，如图1所示，该方法包括以下步骤：
步骤101，将待分类的高分辨率芯片图像按不同的比例进行多次划分，获得多组不同尺寸的图像，其中，任一组图像中的每个图像的尺寸相同。
具体的，将待分类的高分辨率芯片图像按不同的比例进行多次划分，就是按划分后图像的边长是原高分辨率芯片图像边长的预设比例，比如，1/2或1/4等，先对高分辨率芯片图像按一种比例进行划分，得到一组小图后，再依次对原高分辨率芯片图像按其他的比例进行划分，得到多组不同尺度的小图。其中，需要确保划分后的每组图像中的每个图像的尺寸相同，并且，高分辨率芯片图像中每个缺陷都至少有一个划分后小图可以将缺陷完全覆盖，具体划分方式可以按照分类精度等实际需要进行设置，此处不做限制。
在本申请一个实施例中，将待分类的高分辨率芯片图像按不同的比例进行多次划分，包括：先按照边长为待分类的高分辨率芯片图像的边长的预设比例，将待分类的高分辨率芯片图像分割为多组不同尺寸的图像，然后在每组图像中取相邻的两张图像的一半组成重叠图像，以使每个缺陷至少被一个划分后的图像覆盖。其中，相邻的两张图像指的是在原图的位置中左右相邻或上下相邻的图像。
举例而言，若待分类的高分辨率芯片图像的原图大小为5472*3648像素，按照边长等于原图长宽的1/2、1/4、1/8将大图分割成三种尺度的小图，分别记为比例(ratio)＝2,4,8的三组小图，则该三组小图的长宽分别为：2736*1824、1368*912、684*456。然后，按图2所示的ratio为2的图像划分处理方式，取在原图的位置中左右相邻或上下相邻的小图各一半作为重叠小图，得到多张重叠小图，这样可以保证每个缺陷都至少有一个小图可以将它完全覆盖。由此，按照上述方法对高分辨率芯片图像进行预处理后，原图可分别生成(2×ratio-1)2张小图(即三种尺度对应的小图数量分别为9,49,225)。
步骤102，对每组图像分别训练一个分类模型，通过分类模型输出对应的图像组中每张图像为正例的预测得分。
其中，训练的分类模型可以是相关技术中的各种可执行图像分类任务的卷积神经网络模型，比如，可以选取ResNet18作为分类模型等。
其中，正例指的是图像中包含缺陷的分类，则对应的负例指的是图像中不包含缺陷的分类，正例的预测得分是训练完成的分类模型输出的当前检测的图片属于有缺陷类别的概率。
在本申请实施例中，由于只对芯片图像是否有缺陷做分类，即解决的是二分类问题，因此仅需要把相关技术中的分类模型的网络全连接层的输出维度改为2，即可满足分类需要，降低训练的复杂程度。然后，分别针对步骤101中获得的多组不同尺寸的图像，为每个图像组训练对应的分类模型，比如，继续参照上述示例，若划分出ratio＝2,4,8的三组小图，则对三个图像组依次训练一个分类模型，其中，训练分类模型的方法可以参照相关技术中的神经网络的训练方式，比如，包括通过COCO数据集中的训练集进行训练，此处不再赘述。进一步的，通过训练完成的分类模型对对应的图像组中的每张图像进行分类，分类模型的输出为图片属于有缺陷类别的概率，也就是正例的预测得分。
需要说明的是，划分后的多组不同尺寸的图像存在尺度大小间的对应关系，可以确定不同尺度小图之间的对应关系。具体的，因为选取的三种分割方式之间存在倍数关系，所以原图和ratio＝2的小图的对应关系等价于ratio＝2和ratio＝4两种尺度小图的对应关系，也等价于ratio＝4和ratio＝8小图之间的对应关系，同理可得原图和ratio＝4的对应关系等价于ratio＝2和ratio＝8的对应关系。
步骤103，根据不同的预测阈值对应的正例和负例的可信度，确定每个分类模型的正例可信度阈值和负例可信度阈值，并根据每组图像中的每张图像的预测得分，以及每组图像对应的分类模型的正例可信度阈值和负例可信度阈值，确定每组图像对应的预测结果。
具体的，对于分类模型，给定预测阈值t，则模型输出的正例和负例的可信度可分别由公式TP/(TP+FP)和TN/(TN+FN)计算得出，其中，TP、TN、FN和FP中的字母T和F分别代表正确和错误，P和N分别表示正例和负例的预测结果，则TP可以表示正确的正例，即预测是正例且预测对了。在本申请实施例中，在获取步骤102中模型输出的结果后，可以分析阈值-可信度的实验结果确定模型的正例可信度阈值和负例可信度阈值，比如，通过分类模型数据集中的验证集和测试集对输出结果进行验证的方式，确定不同阈值对于正例和负例的可信度。
举例而言，以ratio＝2的模型为例：当阈值tpositive＝0.8时，所有预测的真实结果都是正例，即模型如果一个样品预测的得分高于0.8，那么这个样品大概率是有缺陷的，本申请可以假设相信模型的预测结果；当阈值tnegative＝0.4时，预测的真实结果有98.5％的概率是负例，同理也可以相信阈值小于0.4时模型对负例的预测结果，则该模型的正例可信度阈值和负例可信度阈值可设置为tpositive＝0.8，tnegative＝0.4。由此，通过分析阈值-可信度实验结果，可以得到三种模型的正例可信度阈值tpositive和负例可信度阈值tnegative。
进一步的，根据分类模型输出的每张图像的预测得分，以及确定的每组图像对应的分类模型的正例可信度阈值和负例可信度阈值，确定每组图像对应的预测结果，由于单个模型与相应的一组图像对应，则一组图像对应的预测结果即对应的单个模型输出的预测结果。
在本申请一个实施例中，获取单个分类模型的预测结果包括：将每组图像中的每张图像的预测得分与对应的分类模型的正例可信度阈值和负例可信度阈值进行比较，如果预测得分大于正例可信度阈值，则确定当前组图像对应的预测结果为存在缺陷，如果预测得分小于所述负例可信度阈值，则忽略当前图像，如果预测得分小于等于正例可信度阈值并大于等于负例可信度阈值，则确定当前图像为未知图像，然后，遍历当前组图像中每张图像后，若不存在预测得分大于正例可信度阈值的图像，则计算每个未知图像的预测得分的第一平均值，并将第一平均值与预设的分类阈值进行比较确定待分类的高分辨率芯片图像的预测结果。
具体而言，对于一张大图，遍历它用其中一种比例分割后的所有小图，若存在小图的预测得分高于tpositive，则可以直接判定高分辨率芯片图像是有缺陷的，若小图的得分低于tnegative，则忽略这张小图，对于得分在tnegative和tpositive之间的小图，计算它们的平均得分作为该模型输出的高分辨率芯片图像的最终得分，最后选取合适的分类阈值与最终得分进行比较，判定大图的分类结果。
由此，在本实施例中输出了单个模型预测结果，预测结果中还可以包括每个小图的预测得分。
步骤104，将多组图像中的任意两组依次进行组合，融合每两组图像对应的预测结果，并根据每个融合预测结果的正确率确定两组目标图像，以两组目标图像对应的融合预测结果为待分类的高分辨率芯片图像的最终分类结果。
在本申请实施例中，为了提高图像分类的精确性，在获取单个模型的预测结果后，融合每两组图像对应的预测结果,具体过程包括根据每两组图像中分辨率较小的图像组的对应的预测结果更新分辨率较大的图像组中每个未知图像的预测得分，再计算每个未知图像的更新后的预测得分的第二平均值，并将第二平均值与预设的分类阈值进行比较确定当前两组图像的融合预测结果。
作为其中一种可能的实现方式，根据两组图像中分辨率较小的图像组的对应的预测结果更新分辨率较大的图像组中每个未知图像的预测得分,包括在分辨率较小的图像组中，获取与分辨率较大的图像组中任一未知图像对应的多个第一图像，将每个第一图像的预测得分与对应的正例可信度阈值进行比较，其中，第一图像的预测得分和其对应的可信度阈值，可以是在步骤103中按照其方式对该组分辨率较小的图像确定预测结果时得到的。进一步的，通过比较，如果确定存在任一个第一图像的预测得分大于其对应的正例可信度阈值，则确定分辨率较大的图像组中的该任一未知图像的预测结果为存在缺陷，若不存在预测得分大于正例可信度阈值的第一图像，即如果第一图像中没有大于正例阈值的，则对于该未知图像对应的多个第一图像计算第三平均值，将第三平均值与任一未知图像的预测得分进行融合，以更新任一未知图像的预测得分。
举例而言，继续参照上述图像划分的示例，将ratio＝2,4,8的三种尺度模型两两组合，则有2-4、2-8、4-8三种组合方式，通过两者中较小分辨率(即图像的尺寸较小，ratio值较大)的图像结果来辅助决定较大分辨率图像中不确定的结果，即未知图像的预测得分。
在任一种组合方式中，若分类模型输出的较大分辨率图像组中的一块未知图像的预测得分为t1，则先根据不同尺度小图之间的对应关系计算它对应的较小分辨率图像组中所有小图，即在分辨率较小的图像组中，获取与分辨率较大的图像组中任一未知图像对应的多个第一图像。然后按照步骤103中计算第一平均值的方式计算对应的多个第一图像的平均得分为t2(即第三平均值)，然后选取相应的融合方式将两个得分融合。在本示例中，可以选用三种方式：计算第三平均值与任一未知图像的预测得分的平均值、最大值或最小值，即任一未知图像的预测得分进行更新后的最终得分t＝(t1+t2)/2或t＝max(t1,t2)或t＝min(t1,t2)。在较大图像组中的所有未知图像的预测得分均通过上述方式更新后，计算所有未知图像的更新后的预测得分的平均分(即第二平均值)，并将第二平均值与预设的分类阈值进行比较确定当前两组图像的融合预测结果，比如，若第二平均值小于分类阈值，则确定高分辨率芯片图像的分类结果是负例，即不包含缺陷，具体的分类阈值的设置方式可以根据实际需要通过实验进行标定，此处不做限制。
进一步的，通过大量实验，验证不同组合方式和融合第三平均值与未知图像的预测得分的方式下，输出的预测结果的正确率，得到如下表1所示的数据，从而通过本申请进行的大量实验可以得出，模型融合选取4-8的分类效果最好，且取最小值的融合方法效果最好。由此，根据每个融合预测结果的正确率确定两组目标图像即ratio为4和8的图像组
表1
Figure BDA0003332428820000091
进而，以ratio为4和8的图像组对应的融合预测结果为待分类的高分辨率芯片图像的最终分类结果。
由此，本申请提出的多尺度融合的高分辨率芯片图像分类方法通过融合不同尺度小图的输出作为大图的最终分类结果，利用小分辨率图像相对大分辨率图像分类精度较高的特点，使得融合后结果比单一尺度模型的预测结果更加准确。
综上所述，本申请实施例的基于多尺度融合的高分辨率芯片图像的分类方法，将高分辨率图像分割为不同尺度的小图，然后分别对不同尺度的小图训练分类模型，获取每组小图的分类结果，最后将小图的分类结果融合得到高分辨率芯片图像的分类结果，利用小分辨率图像相对大分辨率图像分类精度较高的特点，使得融合后结果比单一尺度模型的预测结果更加准确，从而可以显著提升对高分辨率芯片图像进行分类的准确性，适用于高精度的芯片图像分类场景。
为了更加清楚地说明本申请实施例的基于多尺度融合的高分辨率芯片图像的分类方法，下面以一个具体的实施例进行详细说明。
首先，如图3所示，以ratio＝4和ratio＝8的模型组合为例，具体的步骤包括：对于一张待分类的高分辨率芯片的大图，遍历它在ratio＝4的所有小图：若存在小图的得分高于tpositive，则可以直接判定大图是有缺陷的；若小图的得分低于tnegative，则忽略这张小图；对于ratio＝4中得分在tnegative和tpositive之间的小图，设得分为t1，通过计算它对应哪些ratio＝8的小图，然后按单模型的方法(即步骤103中获取单个分类模型的预测结果的实施例中的计算方法)计算这些ratio＝8的小图的平均得分t2，则该ratio＝4的不确定小图的最终得分t＝min(t1,t2)，这样得到所有ratio＝4的不确定小图的得分后，将它们取平均值作为大图的得分，最后选取合适的阈值判定大图结果。
为了实现上述实施例，本申请还提出了一种基于多尺度融合的高分辨率芯片图像的分类装置，图4为本申请实施例提出的一种基于多尺度融合的高分辨率芯片图像的分类装置的结构示意图，如图4所示，该基于多尺度融合的高分辨率芯片图像的分类装置包括划分模块100、训练模块200、第一预测模块300和第二预测模块400。
其中，划分模块100，用于将待分类的高分辨率芯片图像按不同的比例进行多次划分，获得多组不同尺寸的图像，其中，任一组图像中的每个图像的尺寸相同。
训练模块200，用于对每组图像分别训练一个分类模型，通过分类模型输出对应的图像组中每张图像为正例的预测得分。
第一预测模块300，用于根据不同的预测阈值对应的正例和负例的可信度，确定每个分类模型的正例可信度阈值和负例可信度阈值，并根据每组图像中的每张图像的预测得分，以及每组图像对应的分类模型的正例可信度阈值和负例可信度阈值，确定每组图像对应的预测结果。
第二预测模块400，用于将多组图像中的任意两组依次进行组合，融合每两组图像对应的预测结果，并根据每个融合预测结果的正确率确定两组目标图像，以两组目标图像对应的融合预测结果为待分类的高分辨率芯片图像的最终分类结果。
可选地，在本申请的一个实施例中，划分模块100具体用于：按照边长为待分类的高分辨率芯片图像的边长的预设比例，将待分类的高分辨率芯片图像分割为多组不同尺寸的图像；在每组图像中取相邻的两张图像的一半组成重叠图像，以使每个缺陷至少被一个划分后的图像覆盖
可选地，在本申请的一个实施例中，第一预测模块300，还用于：将每组图像中的每张图像的预测得分与对应的分类模型的正例可信度阈值和负例可信度阈值进行比较；如果预测得分大于正例可信度阈值，则确定当前组图像对应的预测结果为存在缺陷；如果预测得分小于负例可信度阈值，则忽略当前图像；如果预测得分小于等于正例可信度阈值并大于等于负例可信度阈值，则确定当前图像为未知图像；遍历当前组图像中每张图像后，若不存在预测得分大于所述正例可信度阈值的图像，则计算每个未知图像的预测得分的第一平均值，并将第一平均值与预设的分类阈值进行比较确定待分类的高分辨率芯片图像的预测结果。
可选地，在本申请的一个实施例中，第二预测模块400具体用于：根据每两组图像中分辨率较小的图像组的对应的预测结果更新分辨率较大的图像组中每个未知图像的预测得分；计算每个未知图像的更新后的预测得分的第二平均值，并将第二平均值与预设的分类阈值进行比较确定当前两组图像的融合预测结果。
可选地，在本申请的一个实施例中，第二预测模块400还用于：在分辨率较小的图像组中，获取与分辨率较大的图像组中任一未知图像对应的多个第一图像；将每个第一图像的预测得分与对应的正例可信度阈值进行比较，如果存在任一第一图像的预测得分大于正例可信度阈值，则确定分辨率较大的图像组中任一未知图像的预测结果为存在缺陷，若不存在预测得分大于正例可信度阈值的第一图像，则计算多个第一图像的第三平均值，将第三平均值与所述任一未知图像的预测得分进行融合，以更新任一未知图像的预测得分。
可选地，在本申请的一个实施例中，第二预测模块400还用于：计算第三平均值与任一未知图像的预测得分的平均值、最大值或最小值。
需要说明的是，前述对基于多尺度融合的高分辨率芯片图像的分类方法的实施例的解释说明也适用于该实施例的装置，此处不再赘述
综上所述，本申请实施例的基于多尺度融合的高分辨率芯片图像的分类装置，将高分辨率图像分割为不同尺度的小图，然后分别对不同尺度的小图训练分类模型，获取每组小图的分类结果，最后将小图的分类结果融合得到高分辨率芯片图像的分类结果，利用小分辨率图像相对大分辨率图像分类精度较高的特点，使得融合后结果比单一尺度模型的预测结果更加准确，从而可以显著提升对高分辨率芯片图像进行分类的准确性，适用于高精度的芯片图像分类场景。
为了实现上述实施例，本申请还提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述实施例中任一所述的基于多尺度融合的高分辨率芯片图像的分类。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于多尺度融合的高分辨率芯片图像的分类方法，其特征在于，包括以下步骤：
将待分类的高分辨率芯片图像按不同的比例进行多次划分，获得多组不同尺寸的图像，其中，任一组图像中的每个图像的尺寸相同；
对每组图像分别训练一个分类模型，通过所述分类模型输出对应的图像组中每张图像为正例的预测得分；
根据不同的预测阈值对应的正例和负例的可信度，确定每个所述分类模型的正例可信度阈值和负例可信度阈值，并根据每组图像中的每张图像的所述预测得分，以及所述每组图像对应的分类模型的正例可信度阈值和负例可信度阈值，确定所述每组图像对应的预测结果；
将所述多组图像中的任意两组依次进行组合，融合每两组图像对应的预测结果，并根据每个融合预测结果的正确率确定两组目标图像，以所述两组目标图像对应的融合预测结果为所述待分类的高分辨率芯片图像的最终分类结果。
2.根据权利要求1所述的分类方法，其特征在于，所述将待分类的高分辨率芯片图像按不同的比例进行多次划分，包括：
按照边长为所述待分类的高分辨率芯片图像的边长的预设比例，将所述待分类的高分辨率芯片图像分割为多组不同尺寸的图像；
在每组图像中取相邻的两张图像的一半组成重叠图像，以使每个缺陷至少被一个划分后的图像覆盖。
3.根据权利要求1所述的分类方法，其特征在于，所述根据每组图像中的每张图像的所述预测得分，以及所述每组图像对应的分类模型的正例可信度阈值和负例可信度阈值，确定所述每组图像对应的预测结果,包括:
将每组图像中的每张图像的预测得分与对应的分类模型的正例可信度阈值和负例可信度阈值进行比较；
如果预测得分大于所述正例可信度阈值，则确定当前组图像对应的预测结果为存在缺陷；
如果预测得分小于所述负例可信度阈值，则忽略当前图像；
如果预测得分小于等于所述正例可信度阈值并大于等于所述负例可信度阈值，则确定当前图像为未知图像；
遍历当前组图像中每张图像后，若不存在预测得分大于所述正例可信度阈值的图像，则计算每个所述未知图像的预测得分的第一平均值，并将所述第一平均值与预设的分类阈值进行比较确定所述待分类的高分辨率芯片图像的预测结果。
4.根据权利要求3所述的分类方法，其特征在于，所述融合每两组图像对应的预测结果,包括:
根据每两组图像中分辨率较小的图像组的对应的预测结果更新分辨率较大的图像组中每个未知图像的预测得分；
计算所述每个未知图像的更新后的预测得分的第二平均值，并将所述第二平均值与所述预设的分类阈值进行比较确定当前两组图像的融合预测结果。
5.根据权利要求4所述的分类方法，其特征在于，所述根据两组图像中分辨率较小的图像组的对应的预测结果更新分辨率较大的图像组中每个未知图像的预测得分,包括:
在分辨率较小的图像组中，获取与分辨率较大的图像组中任一未知图像对应的多个第一图像；
将每个所述第一图像的预测得分与对应的正例可信度阈值进行比较，如果存在任一所述第一图像的预测得分大于正例可信度阈值，则确定所述分辨率较大的图像组中任一未知图像的预测结果为存在缺陷，若不存在预测得分大于正例可信度阈值的第一图像，则计算所述多个第一图像的第三平均值，将所述第三平均值与所述任一未知图像的预测得分进行融合，以更新所述任一未知图像的预测得分。
6.根据权利要求5所述的分类方法，其特征在于，所述将所述第三平均值与所述任一未知图像的预测得分进行融合,包括:
计算所述第三平均值与所述任一未知图像的预测得分的平均值、最大值或最小值。
7.一种基于多尺度融合的高分辨率芯片图像的分类装置，其特征在于，包括：
划分模块，用于将待分类的高分辨率芯片图像按不同的比例进行多次划分，获得多组不同尺寸的图像，其中，任一组图像中的每个图像的尺寸相同；
训练模块，用于对每组图像分别训练一个分类模型，通过所述分类模型输出对应的图像组中每张图像为正例的预测得分；
第一预测模块，用于根据不同的预测阈值对应的正例和负例的可信度，确定每个所述分类模型的正例可信度阈值和负例可信度阈值，并根据每组图像中的每张图像的所述预测得分，以及所述每组图像对应的分类模型的正例可信度阈值和负例可信度阈值，确定所述每组图像对应的预测结果；
第二预测模块，用于将所述多组图像中的任意两组依次进行组合，融合每两组图像对应的预测结果，并根据每个融合预测结果的正确率确定两组目标图像，以所述两组目标图像对应的融合预测结果为所述待分类的高分辨率芯片图像的最终分类结果。
8.根据权利要求7所述的分类装置，其特征在于，所述划分模块，具体用于：
按照边长为所述待分类的高分辨率芯片图像的边长的预设比例，将所述待分类的高分辨率芯片图像分割为多组不同尺寸的图像；
在每组图像中取相邻的两张图像的一半组成重叠图像，以使每个缺陷至少被一个划分后的图像覆盖。
9.根据权利要求1所述的分类装置，其特征在于，所述第一预测模块，具体用于:
将每组图像中的每张图像的预测得分与对应的分类模型的正例可信度阈值和负例可信度阈值进行比较；
如果预测得分大于所述正例可信度阈值，则确定当前组图像对应的预测结果为存在缺陷；
如果预测得分小于所述负例可信度阈值，则忽略当前图像；
如果预测得分小于等于所述正例可信度阈值并大于等于所述负例可信度阈值，则确定当前图像为未知图像；
遍历当前组图像中每张图像后，若不存在预测得分大于所述正例可信度阈值的图像，则计算每个所述未知图像的预测得分的第一平均值，并将所述第一平均值与预设的分类阈值进行比较确定所述待分类的高分辨率芯片图像的预测结果。
10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一所述的基于多尺度融合的高分辨率芯片图像的分类方法。
CN202111284365.8A 2021-11-01 2021-11-01 基于多尺度融合的高分辨率芯片图像的分类方法和装置 Pending CN114140671A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111284365.8A CN114140671A (zh) 2021-11-01 2021-11-01 基于多尺度融合的高分辨率芯片图像的分类方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111284365.8A CN114140671A (zh) 2021-11-01 2021-11-01 基于多尺度融合的高分辨率芯片图像的分类方法和装置

Publications (1)

Publication Number Publication Date
CN114140671A true CN114140671A (zh) 2022-03-04

Family

ID=80391939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111284365.8A Pending CN114140671A (zh) 2021-11-01 2021-11-01 基于多尺度融合的高分辨率芯片图像的分类方法和装置

Country Status (1)

Country Link
CN (1) CN114140671A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117314909A (zh) * 2023-11-29 2023-12-29 无棣源通电子科技有限公司 基于人工智能的电路板缺陷检测方法、装置、设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117314909A (zh) * 2023-11-29 2023-12-29 无棣源通电子科技有限公司 基于人工智能的电路板缺陷检测方法、装置、设备及介质
CN117314909B (zh) * 2023-11-29 2024-02-09 无棣源通电子科技有限公司 基于人工智能的电路板缺陷检测方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN110135307B (zh) 基于注意力机制的交通标志检测方法和装置
CN109948684B (zh) 激光雷达点云数据标注质量的质检方法、装置及设备
CN109871895B (zh) 电路板的缺陷检测方法和装置
CN112668594B (zh) 一种基于对抗性域适应的无监督图像目标检测方法
CN110516514B (zh) 一种目标检测模型的建模方法和装置
CN114067109B (zh) 谷物检测方法及检测设备、存储介质
US9330336B2 (en) Systems, methods, and media for on-line boosting of a classifier
WO2022105608A1 (zh) 一种快速人脸密度预测和人脸检测方法、装置、电子设备及存储介质
CN114399644A (zh) 一种基于小样本目标检测方法及装置
CN114708437B (zh) 目标检测模型的训练方法、目标检测方法、装置和介质
CN113240673B (zh) 缺陷检测方法、装置、电子设备及存储介质
CN115375692B (zh) 基于边界引导的工件表面缺陷分割方法、装置及设备
CN111126393A (zh) 车辆外观改装判断方法、装置、计算机设备及存储介质
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN114782412A (zh) 图像检测方法、目标检测模型的训练方法及装置
CN114820679B (zh) 图像标注方法、装置、电子设备和存储介质
CN116385380A (zh) 基于深度特征的缺陷检测方法、系统、设备及存储介质
CN115661767A (zh) 一种基于卷积神经网络的图像前方车辆目标识别方法
CN111144425B (zh) 检测拍屏图片的方法、装置、电子设备及存储介质
CN114140671A (zh) 基于多尺度融合的高分辨率芯片图像的分类方法和装置
CN114596440A (zh) 语义分割模型的生成方法、装置、电子设备及存储介质
JP2020160840A (ja) 路面標示不具合検出装置、路面標示不具合検出方法及び路面標示不具合検出プログラム
CN112287905A (zh) 车辆损伤识别方法、装置、设备及存储介质
CN116664829A (zh) 一种rgb-t语义分割方法、系统、装置及存储介质
Indrajaya et al. Object Detection to Identify Shapes of Swallow Nests Using a Deep Learning Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Yang Huiyue

Inventor before: Yang Huiyue

Inventor before: Chen Hui

Inventor before: Chen Shijiang