CN115082484B - 基于图像处理的半导体自动分区方法 - Google Patents

基于图像处理的半导体自动分区方法 Download PDF

Info

Publication number
CN115082484B
CN115082484B CN202211009436.8A CN202211009436A CN115082484B CN 115082484 B CN115082484 B CN 115082484B CN 202211009436 A CN202211009436 A CN 202211009436A CN 115082484 B CN115082484 B CN 115082484B
Authority
CN
China
Prior art keywords
value
clustering
obtaining
points
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211009436.8A
Other languages
English (en)
Other versions
CN115082484A (zh
Inventor
张琰
孙思源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Guangyue Jiuzhou Semiconductor Technology Co ltd
Original Assignee
Shandong Guangyue Jiuzhou Semiconductor Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Guangyue Jiuzhou Semiconductor Technology Co ltd filed Critical Shandong Guangyue Jiuzhou Semiconductor Technology Co ltd
Priority to CN202211009436.8A priority Critical patent/CN115082484B/zh
Publication of CN115082484A publication Critical patent/CN115082484A/zh
Application granted granted Critical
Publication of CN115082484B publication Critical patent/CN115082484B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及半导体生产检测及图像处理技术领域，具体涉及一种基于图像处理的半导体自动分区方法。该方法获得半导体电路板表面图像的灰度信息、色调信息和深度信息。利用色调信息筛除背景像素点，利用灰度信息和深度信息对元件像素点进行聚类分组。根据聚类产生的边界点对聚类结果进行评价，获得角度突变点数量和边界点邻域方差信息反馈出的整体效果评价指标。根据角度突变点和整体效果评价指标调整聚类操作的参数，获得最优聚类结果。根据相邻最优聚类区域之间的区域相似性将相邻最优聚类区域合并，获得多个元件区域。本发明通过自适应调整聚类参数，使得元件分区效果更好，分区方法的适用性更强。

Description

基于图像处理的半导体自动分区方法
技术领域
本发明涉及半导体生产检测及图像处理技术领域，具体涉及一种基于图像处理的半导体自动分区方法。
背景技术
半导体在生产制造中往往是批量性的，因此具有结构重复性的特点。这一特点也是一个很重要的先验知识，常常被各大AOI厂商应用于缺陷检测流程中。目前市面上针对半导体缺陷检测的AOI设备，大部分都是采用先分区建模，后在线检测的流程，分区流程是半导体缺陷检测建模流程中的关键一步，分区结果的优劣直接影响到后续缺陷检测的准确率。
现有的分区方法可利用神经网络识别半导体电路板中的图像特征，实现不同元件的分割与分区。但是在实际使用过程中，电路板上的元件较为复杂，不仅包含半导体芯片还包含多种元件，为了满足分区的准确性需要利用大量的训练数据对神经网络进行训练，在使用过程中也需要保证输入的图像特征清晰，硬件成本较高。并且如果生产制造时需要生产新型的半导体电路板，则需要对神经网络重新进行训练，增加检测成本的同时影响了生产效率。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于图像处理的半导体自动分区方法，所采用的技术方案具体如下：
本发明提出了一种基于图像处理的半导体自动分区方法，所述方法包括：
获得半导体电路板的表面图像；获得所述表面图像中每个像素点位置处的灰度值、色调值和深度值；
根据所述色调值筛选出所述表面图像中的背景像素点和元件像素点；根据所述灰度值和所述深度值对所述元件像素点进行DBSCAN聚类操作，获得多个聚类类别及每个聚类类别区域中的边界点；
根据每个聚类类别的所有所述边界点获得边界链码；根据所述边界链码各个节点的角度信息获得角度突变点数量；获得每个所述边界点在邻域范围内的第一灰度值方差，获得所述邻域范围内非边界点的第二灰度值方差；若所述第二灰度值方差大于所述第一灰度值方差，则获得对应的所述第二灰度值方差与所述第一灰度值方差的差值作为参考差值；根据所述第一灰度值方差对应的所述参考差值获得对应所述边界点的效果评价指标，以所有所述边界点的效果评价指标累加值作为整体效果评价指标；
根据所述整体效果评价指标和所述角度突变点数量调整所述DBSCAN聚类操作中的参数并重新聚类，获得最优聚类类别，每个最优聚类类别对应一个最优聚类区域；
根据相邻两个最优聚类区域的轮廓相似度、灰度值信息差异和深度值信息差异获得区域相似性；将所述区域相似性大于预设区域相似性阈值的两个相邻的所述最优聚类区域合并为一个区域，获得多个元件区域。
进一步地，所述获得所述表面图像中每个像素点位置处的灰度值、色调值和深度值包括：
获得所述表面图像对应的RGB图像和深度图像；根据所述深度图像获得所述表面图像中每个对应像素点的所述深度值；将所述RGB图像转换至灰度图像，根据所述灰度图像获得所述表面图像中每个对应像素点的所述灰度值；将所述RGB图像中的像素信息转换至HSV颜色空间中，获得所述表面图像中每个像素点对应的色调值。
进一步地，所述根据所述色调值筛选出所述表面图像中的背景像素点和元件像素点包括：
以绿色对应的色调值作为背景参考色调值；获得所述表面图像中每个像素点的所述色调值与所述背景参考色调值的色调值差异；若所述色调值差异小于预设色调值差异阈值，则认为对应的像素点为所述背景像素点，否则为所述元件像素点。
进一步地，获得聚类类别区域中的所述边界点包括：
在所述DBSCAN聚类操作中，根据每次搜索范围内元件像素点之间的灰度值差异和深度值差异获得搜索范围内每个像素点的有效数据概率，若所述有效数据概大于预设概率阈值，则认为对应像素点为有效数据点，获得搜索范围内的有效数据点数量；若所述有效数据点数量大于预设第一阈值，则认为对应搜索范围的中心像素点为核心数据点；若所述有效数据点数量不大于预设第一阈值且对应搜索范围的中心点在所述核心数据点的搜索范围内，则认为对应搜索范围的中心点为所述聚类类别的边界点。
进一步地，所述根据每次搜索范围内元件像素点之间的灰度值差异和深度值差异获得搜索范围内每个像素点的有效数据概率包括：
根据有效数据概率公式获得搜索范围内每个像素点的所述有效数据概率，所述有效数据概率公式包括：
Figure 230478DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE003
第
Figure 696226DEST_PATH_IMAGE004
个像素点的所述有效数据概率，
Figure DEST_PATH_IMAGE005
为搜索范围内除第
Figure 128344DEST_PATH_IMAGE004
个像素点之外的像素点数量，
Figure 566410DEST_PATH_IMAGE006
为第
Figure 832306DEST_PATH_IMAGE004
个像素点的灰度值，
Figure DEST_PATH_IMAGE007
为搜索范围内除第
Figure 769038DEST_PATH_IMAGE004
个像素点之外的第
Figure 490001DEST_PATH_IMAGE008
个像素点的灰度值，
Figure DEST_PATH_IMAGE009
为自然常数，
Figure 562999DEST_PATH_IMAGE010
为最大值选取函数，
Figure DEST_PATH_IMAGE011
为第
Figure 609583DEST_PATH_IMAGE004
个像素点的深度值，
Figure 299191DEST_PATH_IMAGE012
为搜索范围内除第
Figure 479636DEST_PATH_IMAGE004
个像素点之外的第
Figure 689032DEST_PATH_IMAGE008
个像素点的深度值。
进一步地，所述根据每个聚类类别的所有所述边界点获得边界链码；根据所述边界链码各个节点的角度信息获得角度突变点数量包括：
获得所述边界链码上每个节点与相邻的两个节点之间的第一角度差异；若两个所述第一角度差异不相等，则认为对应的节点为角度突变点。
进一步地，所述根据所述第一灰度值方差对应的所述参考差值获得对应所述边界点的效果评价指标包括：
获得所述边界点对应的所述参考差值的累加值；以所述第一灰度值方差与所述累加值的比值作为所述边界点的所述效果评价指标。
进一步地，所述根据所述整体效果评价指标和所述角度突变点数量调整所述DBSCAN聚类操作中的参数并重新聚类，获得最优聚类类别包括：
以所述DBSCAN聚类操作中搜索范围内所需的最小样本点数量作为需调整参数，根据参数调整公式调整所述需调整参数，所述参数调整公式包括：
Figure 624627DEST_PATH_IMAGE014
其中，
Figure DEST_PATH_IMAGE015
为调整后的所述需调整参数，
Figure 9386DEST_PATH_IMAGE016
为调整前的所述需调整参数，
Figure DEST_PATH_IMAGE017
为所述整体效果评价指标，
Figure 586998DEST_PATH_IMAGE018
是所有聚类类别的角度突变点数量，
Figure DEST_PATH_IMAGE019
是所有聚类类别中的边界点数量；
不断调整所述需调整参数，重新聚类获得新的聚类结果，直至所述整体效果评价指标和所述角度突变点数量不再变化或者达到预设调整次数，结束调整，获得所述最优聚类类别。
进一步地，所述根据相邻两个最优聚类区域的轮廓相似度、灰度值信息差异和深度值信息差异获得区域相似性包括：
通过形状上下文算法获得相邻两个最优聚类区域的所述轮廓相似度，利用区域相似性公式获得相邻两个最优聚类区域的所述区域相似性，所述区域相似性公式包括：
Figure DEST_PATH_IMAGE021
其中，
Figure 182058DEST_PATH_IMAGE022
为所述区域相似性，
Figure DEST_PATH_IMAGE023
为所述轮廓相似度，
Figure 570445DEST_PATH_IMAGE024
为最优聚类区域
Figure DEST_PATH_IMAGE025
内的平均灰度值，
Figure 703486DEST_PATH_IMAGE026
为最优聚类区域
Figure DEST_PATH_IMAGE027
内的平均灰度值，
Figure 773205DEST_PATH_IMAGE028
为最优聚类区域
Figure 206460DEST_PATH_IMAGE025
内的平均深度值，
Figure DEST_PATH_IMAGE029
为最优聚类区域
Figure 765748DEST_PATH_IMAGE027
内的平均深度值，
Figure 527031DEST_PATH_IMAGE010
为最大值选取函数。
本发明具有如下有益效果：
本发明实施例获取半导体电路板表面的像素信息、颜色信息和深度信息，根据三种信息对表面图像中的像素点进行筛选和聚类分区。进一步考虑到聚类算法可能导致的误差，结合半导体电路板中元件的形状较为规律的特征，对每次聚类结果产生的边界点进行分析，并利用边界点反馈到的特征对聚类算法中的参数进行调整，通过不断调整参数和更新聚类结果，获得最优聚类类别及其对应的最优聚类区域。进一步根据区域相似性将相邻的两个最优聚类区域合并为一个区域，获得元件区域，合并过程能够将相邻接的两个相同元件分为一个区域保证了元件区域的准确性。本发明实施例提供的分区方法适用性强，成本较低，流程简单，不需要预先设置分区数量、元件种类、材质类型等。并且结合深度信息能够避免因为图像质量导致的误差和分区不准确。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于图像处理的半导体自动分区方法流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于图像处理的半导体自动分区方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于图像处理的半导体自动分区方法的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种基于图像处理的半导体自动分区方法流程图，该方法包括：
步骤S1：获得半导体电路板的表面图像；获得表面图像中每个像素点位置处的灰度值、色调值和深度值。
在本发明实施例中，将生产完毕的半导体电路板放置在检测区域，检测区域上上方部署图像信息采集设备，图像信息采集设备包括高分辨率深度相机、固定光源等。其中高分辨率深度相机能够拍摄半导体电路板的表面图像，能够同时获得半导体电路板表面的图像信息和深度信息。
获得表面图像中每个像素点位置处的灰度值、色调值和深度值，具体包括：
获得表面图像对应的RGB图像和深度图像。根据深度图像获得表面图像中每个对应像素点的深度值。将RGB图像转换至灰度图像，根据灰度图像获得表面图像中每个对应像素点的灰度值。将RGB图像中的像素信息转换至HSV颜色空间中，提取H通道中的通道值，获得表面图像中每个像素点对应的色调值。
需要说明的是，RGB图像转换灰度图像和RGB图像转换HSV图像为本领域技术人员常用的技术手段，在此不做赘述。
步骤S2：根据色调值筛选出表面图像中的背景像素点和元件像素点；根据灰度值和深度值对元件像素点进行DBSCAN聚类操作，获得多个聚类类别及每个聚类类别区域中的边界点。
根据先验知识可知，半导体电路板的背景颜色往往是固定的，因此可根据色调值筛选出表面图像中的背景像素点和元件像素点，因为本发明旨在对半导体电路板上的各种器件进行分区，因此在后续分区过程中应避免背景信息的影响，仅对元件像素点进行分析。
优选的，以绿色对应的色调值作为背景参考色调值。获得表面图像中每个像素点的色调值与背景参考色调值的色调值差异。若色调值差异小于预设色调值差异阈值，则认为对应的像素点为背景像素点，否则为元件像素点。在本发明实施例中，色调值差异阈值设置为20。
忽略掉背景像素点，仅对元件像素点进行分析，元件像素点包含灰度值和深度值信息，由先验知识可知，常规的半导体电路板元件形状较为规则并且表面颜色较为统一，如半导体芯片、晶振、电容等，因此可根据灰度值和深度值对元件像素点进行DBSCAN聚类操作，将深度信息相似且灰度信息相似的元件像素点分为一个聚类簇，进而获得多个聚类类别，每个聚类类别对应一个聚类类别区域，聚类类别区域的边界点信息可作为后续评价聚类结果的参考信息。
需要说明的是，DBSCAN聚类操作为本领域技术人员数熟知的技术手段，通过设置搜索范围大小和搜索范围内满足条件的最小样本点数量控制聚类结果，具体聚类过程不再赘述。
优选的，为了进一步节省算法流程，避免获得聚类类别区域后再进行边缘检测等方法识别边界点带来的复杂流程，在DBSCAN聚类操作中通过搜索区域内反应的灰度值信息和深度信息确定所有边界点，具体包括：
在DBSCAN聚类操作中，根据每次搜索范围内元件像素点之间的灰度值差异和深度值差异获得搜索范围内每个像素点的有效数据概率，具体获取方法包括：
根据有效数据概率公式获得搜索范围内每个像素点的有效数据概率，有效数据概率公式包括：
Figure 977604DEST_PATH_IMAGE002
其中，
Figure 219361DEST_PATH_IMAGE003
第
Figure 339763DEST_PATH_IMAGE004
个像素点的有效数据概率，
Figure 978555DEST_PATH_IMAGE005
为搜索范围内除第
Figure 842606DEST_PATH_IMAGE004
个像素点之外的像素点数量，
Figure 735607DEST_PATH_IMAGE006
为第
Figure 292490DEST_PATH_IMAGE004
个像素点的灰度值，
Figure 418578DEST_PATH_IMAGE007
为搜索范围内除第
Figure 86319DEST_PATH_IMAGE004
个像素点之外的第
Figure 37089DEST_PATH_IMAGE008
个像素点的灰度值，
Figure 889507DEST_PATH_IMAGE009
为自然常数，
Figure 112678DEST_PATH_IMAGE010
为最大值选取函数，
Figure 193898DEST_PATH_IMAGE011
为第
Figure 451704DEST_PATH_IMAGE004
个像素点的深度值，
Figure 475024DEST_PATH_IMAGE012
为搜索范围内除第
Figure 919911DEST_PATH_IMAGE004
个像素点之外的第
Figure 8084DEST_PATH_IMAGE008
个像素点的深度值。
在有效数据概率公式中，目标像素点与其他像素点的灰度值差异和深度值差异越大，说明目标像素点在搜索范围内越特殊，不具有一致性，则有效数据概率越小；反之，目标像素点与其他像素点的灰度值差异和深度值差异越小，说明目标像素点在搜索范围内具有高一致性，能够有效反应出元件的表面信息，可认为是元件表面上的非边界点，则有效数据概率越大。
若有效数据概大于预设概率阈值，则认为对应像素点为有效数据点，获得搜索范围内的有效数据点数量。若有效数据点数量大于预设第一阈值，则认为对应搜索范围的中心像素点为核心数据点，即核心数据点在元件表面的内部区域。若有效数据点数量不大于预设第一阈值且对应搜索范围的中心点在核心数据点的搜索范围内，说明此时搜索范围中心点在边界处，样本点较少，则认为对应搜索范围的中心点为聚类类别的边界点。在本发明实施例中，概率阈值设置为0.9，第一阈值设置为搜索范围面积的一半所代表的像素点数量。
需要说明的是，若有效数据点数量不大于预设第一阈值且对应搜索范围的中心点不在任意核心数据点的搜索范围内，认为对应样本点为噪声点。
步骤S3：根据每个聚类类别的所有边界点获得边界链码；根据边界链码各个节点的角度信息获得角度突变点数量；获得每个边界点在邻域范围内的第一灰度值方差，获得邻域范围内非边界点的第二灰度值方差；若第二灰度值方差大于第一灰度值方差，则获得对应的第二灰度值方差与第一灰度值方差的差值作为参考差值；根据第一灰度值方差对应的参考差值获得对应边界点的效果评价指标，以所有边界点的效果评价指标累加值作为整体效果评价指标。
DBSCAN聚类操作在使用时需要预先设置搜索范围大小和搜索范围内满足条件的最小样本点数量，如果两个参数设置不当，则会导致一个元件内的元件像素点并未尽可能的完全分到一个聚类簇中，或者导致一个聚类簇中包含大量噪声点。因此为了实现半导体的自动分区，需要根据聚类效果进行评价，进而根据聚类效果自适应的调整聚类参数。
因为常规元件经过生产封装后形成的轮廓均为有规则且不复杂的形状，因此若获得的聚类类别区域的轮廓存在多处产生较大的角度突变，则说明当前聚类效果较差。
根据每个聚类类别的所有边界点获得边界链码。需要说明的是，链码法为本领域技术人员熟知的技术手段，任选一个边界点作为初始节点，以初始节点作为起点与相邻的边界点进行连接，得到封闭边缘线，根据封闭边缘线选择顺时针统计相邻节点之间的角度进行获取，每个节点均会获取到其与顺时针方向上的相邻边缘像素点之间的角度，将每个角度进行记录存储即可获得边界链码。在本发明实施例中，链码法选择8链码法。
根据边界链码上各个节点的角度信息即可判断出哪些节点为角度突变点，进而获得角度突变点数量。需要说明的是，在效果较好的聚类区域中，角度突变点的数量应保持在一个较少的范围内，因此角度突变点数量越大说明当前聚类效果越差。
进一步还需要对当前聚类结果中产生的边界点的效果进行评价，在表面图像中有效的元件区域的边界点邻域范围应包含其他非对应元件的像素点，如背景像素点或者其他元件的像素点，进而使得边界点邻域范围内的灰度值方差产生较大变化；边界点邻域范围内的其他非边界点的邻域范围内的灰度值方差应处于一个较小的范围内，因为非边界点代表了元件表面内部的像素点，元件表面的灰度信息应是均匀且不会发生较大变化的。基于这两点可对当前聚类结果中产生的边界点的效果进行评价。
获得每个边界点在邻域范围内的第一灰度值方差，获得邻域范围内非边界点的第二灰度值方差。若第二灰度值方差大于第一灰度值方差，则获得对应的第二灰度值方差与第一灰度值方差的差值作为参考差值，即参考差值越大，数量越多，说明此时聚类效果产生的边界点效果越差。因此可根据所述第一灰度值方差对应的所述参考差值获得对应所述边界点的效果评价指标具体包括：
获得边界点对应的参考差值的累加值。以第一灰度值方差与累加值的比值作为边界点的效果评价指标，即表达式为：
Figure 245031DEST_PATH_IMAGE030
，其中
Figure DEST_PATH_IMAGE031
为效果评价指标，
Figure 658826DEST_PATH_IMAGE032
为第一灰度值方差，
Figure DEST_PATH_IMAGE033
为参考差值的数量，
Figure 450064DEST_PATH_IMAGE034
为第
Figure DEST_PATH_IMAGE035
个参考差值。
效果评价指标越大，说明对应边界点的选取效果越好，将所有边界点的效果评价指标累加，获得整体效果评价指标。
步骤S4：根据整体效果评价指标和角度突变点数量调整DBSCAN聚类操作中的参数并重新聚类，获得最优聚类类别，每个最优聚类类别对应一个最优聚类区域。
整体效果评价指标和角度突变点数量反映了当前聚类结果的整体效果，整体效果评价指标越大，说明当前聚类效果越好，聚类参数越不需要调整；角度突变点数量越大，说明当前聚类效果越差，聚类参数越需要调整。
优选的，根据整体效果评价指标和角度突变点数量调整DBSCAN聚类操作中的参数并重新聚类，获得最优聚类类别具体包括：
因为DBSCAN聚类操作中，边界点往往是根据搜索范围内所需的最小样本点数量进行判定的，该参数取的太小，部分数据点会被认为是噪声点，因此以DBSCAN聚类操作中搜索范围内所需的最小样本点数量作为需调整参数，根据参数调整公式调整需调整参数，参数调整公式包括：
Figure 545190DEST_PATH_IMAGE014
其中，
Figure 636643DEST_PATH_IMAGE015
为调整后的需调整参数，
Figure 877131DEST_PATH_IMAGE016
为调整前的需调整参数，
Figure 437557DEST_PATH_IMAGE017
为整体效果评价指标，
Figure 116800DEST_PATH_IMAGE018
是所有聚类类别的角度突变点数量，
Figure 938125DEST_PATH_IMAGE019
是所有聚类类别中的边界点数量。参数调整公式通过调大需调整参数，使得更多元件像素点被分为一类，进而像最优聚类结果靠近。
不断调整需调整参数，重新聚类获得新的聚类结果，直至整体效果评价指标和角度突变点数量不再变化或者达到预设调整次数，结束调整，获得最优聚类类别。
在本发明实施例中，调整次数设置为20次。
通过自适应的调整聚类参数并不断更新聚类结果，最终获得最优聚类类别，每个最优聚类类别在表面图像中对应一个最优聚类区域。
步骤S5：根据相邻两个最优聚类区域的轮廓相似度、灰度值信息差异和深度值信息差异获得区域相似性；将区域相似性大于预设区域相似性阈值的两个相邻的最优聚类区域合并为一个区域，获得多个元件区域。
根据先验知识可知，半导体电路板表面存在多个相邻的相同元件，在后续进行检测分析时，相邻的两个相同元件应分为一个区域进行分析。并且某些元件会因为包装问题，导致一个元件形成两个相同轮廓的区域，因此根据相邻两个最优聚类区域的轮廓相似度、灰度值信息差异和深度值信息差异获得区域相似性，将区域相似性大于预设区域相似性阈值的两个相邻的最优聚类区域合并为一个区域，获得多个元件区域。具体获得区域相似性的方法包括：
通过形状上下文算法获得相邻两个最优聚类区域的轮廓相似度，利用区域相似性公式获得相邻两个最优聚类区域的区域相似性，区域相似性公式包括：
Figure 224881DEST_PATH_IMAGE021
其中，
Figure 131657DEST_PATH_IMAGE022
为区域相似性，
Figure 411329DEST_PATH_IMAGE023
为轮廓相似度，
Figure 352740DEST_PATH_IMAGE024
为最优聚类区域
Figure 544818DEST_PATH_IMAGE025
内的平均灰度值，
Figure 266787DEST_PATH_IMAGE026
为最优聚类区域
Figure 959936DEST_PATH_IMAGE027
内的平均灰度值，
Figure 896799DEST_PATH_IMAGE028
为最优聚类区域
Figure 649992DEST_PATH_IMAGE025
内的平均深度值，
Figure 655994DEST_PATH_IMAGE029
为最优聚类区域
Figure 887255DEST_PATH_IMAGE027
内的平均深度值，
Figure 628026DEST_PATH_IMAGE010
为最大值选取函数。
有区域相似性公式可知，两个相邻的最优聚类区域的轮廓相似度越大，平均灰度值差异越小，平均深度值的差异越小，则区域相似性越大。其中最大值选取函数的目的在于对数据的归一化。在本发明实施例中，将区域相似性进一步的归一化，将其值域限定在0到1之间，设置区域相似性阈值的大小为0.9。
通过聚类及合并过程，将半导体电路板的表面图像中的元件进行了分区，通过分出的元件区域可对当前半导体电路板中各个元件的连接关系、元件分布，引脚状态进行进一步的检测与分析。
综上所述，本发明实施例获得半导体电路板表面图像的灰度信息、色调信息和深度信息。利用色调信息筛除背景像素点，利用灰度信息和深度信息对元件像素点进行聚类分组。根据聚类产生的边界点对聚类结果进行评价，获得角度突变点数量和边界点邻域方差信息反馈出的整体效果评价指标。根据角度突变点和整体效果评价指标调整聚类操作的参数，获得最优聚类结果。根据相邻最优聚类区域之间的区域相似性将相邻最优聚类区域合并，获得多个元件区域。本发明实施例通过自适应调整聚类参数，使得元件分区效果更好，分区方法的适用性更强。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于图像处理的半导体自动分区方法，其特征在于，所述方法包括：
获得半导体电路板的表面图像；获得所述表面图像中每个像素点位置处的灰度值、色调值和深度值；
根据所述色调值筛选出所述表面图像中的背景像素点和元件像素点；根据所述灰度值和所述深度值对所述元件像素点进行DBSCAN聚类操作，获得多个聚类类别及每个聚类类别区域中的边界点，具体包括：在所述DBSCAN聚类操作中，根据每次搜索范围内元件像素点之间的灰度值差异和深度值差异获得搜索范围内每个像素点的有效数据概率，若所述有效数据概率大于预设概率阈值，则认为对应像素点为有效数据点，获得搜索范围内的有效数据点数量；若所述有效数据点数量大于预设第一阈值，则认为对应搜索范围的中心像素点为核心数据点；若所述有效数据点数量不大于预设第一阈值且对应搜索范围的中心点在所述核心数据点的搜索范围内，则认为对应搜索范围的中心点为所述聚类类别的边界点；
根据每个聚类类别的所有所述边界点获得边界链码；根据所述边界链码各个节点的角度信息获得角度突变点数量；获得每个所述边界点在邻域范围内的第一灰度值方差，获得所述邻域范围内非边界点的第二灰度值方差；若所述第二灰度值方差大于所述第一灰度值方差，则获得对应的所述第二灰度值方差与所述第一灰度值方差的差值作为参考差值；根据所述第一灰度值方差对应的所述参考差值获得对应所述边界点的效果评价指标，以所有所述边界点的效果评价指标累加值作为整体效果评价指标；
根据所述整体效果评价指标和所述角度突变点数量调整所述DBSCAN聚类操作中的参数并重新聚类，获得最优聚类类别，每个最优聚类类别对应一个最优聚类区域；
根据相邻两个最优聚类区域的轮廓相似度、灰度值信息差异和深度值信息差异获得区域相似性；将所述区域相似性大于预设区域相似性阈值的两个相邻的所述最优聚类区域合并为一个区域，获得多个元件区域。
2.根据权利要求1所述的一种基于图像处理的半导体自动分区方法，其特征在于，所述获得所述表面图像中每个像素点位置处的灰度值、色调值和深度值包括：
获得所述表面图像对应的RGB图像和深度图像；根据所述深度图像获得所述表面图像中每个对应像素点的所述深度值；将所述RGB图像转换至灰度图像，根据所述灰度图像获得所述表面图像中每个对应像素点的所述灰度值；将所述RGB图像中的像素信息转换至HSV颜色空间中，获得所述表面图像中每个像素点对应的色调值。
3.根据权利要求1所述的一种基于图像处理的半导体自动分区方法，其特征在于，所述根据所述色调值筛选出所述表面图像中的背景像素点和元件像素点包括：
以绿色对应的色调值作为背景参考色调值；获得所述表面图像中每个像素点的所述色调值与所述背景参考色调值的色调值差异；若所述色调值差异小于预设色调值差异阈值，则认为对应的像素点为所述背景像素点，否则为所述元件像素点。
4.根据权利要求3所述的一种基于图像处理的半导体自动分区方法，其特征在于，所述根据每次搜索范围内元件像素点之间的灰度值差异和深度值差异获得搜索范围内每个像素点的有效数据概率包括：
根据有效数据概率公式获得搜索范围内每个像素点的所述有效数据概率，所述有效数据概率公式包括：
Figure 938652DEST_PATH_IMAGE001
其中，
Figure 568348DEST_PATH_IMAGE002
第
Figure 245972DEST_PATH_IMAGE003
个像素点的所述有效数据概率，
Figure 847986DEST_PATH_IMAGE004
为搜索范围内除第
Figure 949934DEST_PATH_IMAGE003
个像素点之外的像素点数量，
Figure 129243DEST_PATH_IMAGE005
为第
Figure 279733DEST_PATH_IMAGE003
个像素点的灰度值，
Figure 592378DEST_PATH_IMAGE006
为搜索范围内除第
Figure 599648DEST_PATH_IMAGE003
个像素点之外的第
Figure 674DEST_PATH_IMAGE007
个像素点的灰度值，
Figure 486013DEST_PATH_IMAGE008
为自然常数，
Figure 452832DEST_PATH_IMAGE009
为最大值选取函数，
Figure 693320DEST_PATH_IMAGE010
为第
Figure 847221DEST_PATH_IMAGE003
个像素点的深度值，
Figure 198568DEST_PATH_IMAGE011
为搜索范围内除第
Figure 754314DEST_PATH_IMAGE003
个像素点之外的第
Figure 586877DEST_PATH_IMAGE007
个像素点的深度值。
5.根据权利要求1所述的一种基于图像处理的半导体自动分区方法，其特征在于，所述根据每个聚类类别的所有所述边界点获得边界链码；根据所述边界链码各个节点的角度信息获得角度突变点数量包括：
获得所述边界链码上每个节点与相邻的两个节点之间的第一角度差异；若两个所述第一角度差异不相等，则认为对应的节点为角度突变点。
6.根据权利要求1所述的一种基于图像处理的半导体自动分区方法，其特征在于，所述根据所述第一灰度值方差对应的所述参考差值获得对应所述边界点的效果评价指标包括：
获得所述边界点对应的所述参考差值的累加值；以所述第一灰度值方差与所述累加值的比值作为所述边界点的所述效果评价指标。
7.根据权利要求1所述的一种基于图像处理的半导体自动分区方法，其特征在于，所述根据所述整体效果评价指标和所述角度突变点数量调整所述DBSCAN聚类操作中的参数并重新聚类，获得最优聚类类别包括：
以所述DBSCAN聚类操作中搜索范围内所需的最小样本点数量作为需调整参数，根据参数调整公式调整所述需调整参数，所述参数调整公式包括：
Figure 493653DEST_PATH_IMAGE012
其中，
Figure 117532DEST_PATH_IMAGE013
为调整后的所述需调整参数，
Figure 58944DEST_PATH_IMAGE014
为调整前的所述需调整参数，
Figure 641235DEST_PATH_IMAGE015
为所述整体效果评价指标，
Figure 769728DEST_PATH_IMAGE016
是所有聚类类别的角度突变点数量，
Figure 462877DEST_PATH_IMAGE017
是所有聚类类别中的边界点数量；
不断调整所述需调整参数，重新聚类获得新的聚类结果，直至所述整体效果评价指标和所述角度突变点数量不再变化或者达到预设调整次数，结束调整，获得所述最优聚类类别。
8.根据权利要求1所述的一种基于图像处理的半导体自动分区方法，其特征在于，所述根据相邻两个最优聚类区域的轮廓相似度、灰度值信息差异和深度值信息差异获得区域相似性包括：
通过形状上下文算法获得相邻两个最优聚类区域的所述轮廓相似度，利用区域相似性公式获得相邻两个最优聚类区域的所述区域相似性，所述区域相似性公式包括：
Figure 993216DEST_PATH_IMAGE018
其中，
Figure 480829DEST_PATH_IMAGE019
为所述区域相似性，
Figure 362197DEST_PATH_IMAGE020
为所述轮廓相似度，
Figure 593458DEST_PATH_IMAGE021
为最优聚类区域
Figure 240953DEST_PATH_IMAGE022
内的平均灰度值，
Figure 633888DEST_PATH_IMAGE023
为最优聚类区域
Figure 2553DEST_PATH_IMAGE024
内的平均灰度值，
Figure 37505DEST_PATH_IMAGE025
为最优聚类区域
Figure 542435DEST_PATH_IMAGE022
内的平均深度值，
Figure 106272DEST_PATH_IMAGE026
为最优聚类区域
Figure 962232DEST_PATH_IMAGE024
内的平均深度值，
Figure 800875DEST_PATH_IMAGE009
为最大值选取函数。
CN202211009436.8A 2022-08-23 2022-08-23 基于图像处理的半导体自动分区方法 Active CN115082484B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211009436.8A CN115082484B (zh) 2022-08-23 2022-08-23 基于图像处理的半导体自动分区方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211009436.8A CN115082484B (zh) 2022-08-23 2022-08-23 基于图像处理的半导体自动分区方法

Publications (2)

Publication Number Publication Date
CN115082484A CN115082484A (zh) 2022-09-20
CN115082484B true CN115082484B (zh) 2022-11-04

Family

ID=83244941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211009436.8A Active CN115082484B (zh) 2022-08-23 2022-08-23 基于图像处理的半导体自动分区方法

Country Status (1)

Country Link
CN (1) CN115082484B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116109933B (zh) * 2023-04-13 2023-06-23 山东省土地发展集团有限公司 一种用于废弃矿山生态修复的动态识别方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114926463A (zh) * 2022-07-20 2022-08-19 深圳市尹泰明电子有限公司 一种适用于芯片电路板的生产质量检测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI698124B (zh) * 2019-06-13 2020-07-01 瑞昱半導體股份有限公司 影像調整方法以及相關的影像處理電路
CN110599404A (zh) * 2019-09-24 2019-12-20 陕西晟思智能测控有限公司 一种电路板显微图像拼接方法、装置、信息数据处理终端
CN113362326B (zh) * 2021-07-26 2023-10-03 广东奥普特科技股份有限公司 一种电池焊点缺陷的检测方法及装置
CN113689428B (zh) * 2021-10-25 2022-06-07 江苏南通元辰钢结构制造有限公司 基于图像处理的机械零件应力腐蚀检测方法及系统
CN113902765B (zh) * 2021-12-10 2022-04-12 聚时科技(江苏)有限公司 基于全景分割的半导体自动分区方法
CN114723701B (zh) * 2022-03-31 2023-04-18 厦门力和行自动化有限公司 基于计算机视觉的齿轮缺陷检测方法和系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114926463A (zh) * 2022-07-20 2022-08-19 深圳市尹泰明电子有限公司 一种适用于芯片电路板的生产质量检测方法

Also Published As

Publication number Publication date
CN115082484A (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
CN114723701B (zh) 基于计算机视觉的齿轮缺陷检测方法和系统
CN109658381B (zh) 一种基于超像素的柔性ic封装基板的铜面缺陷检测方法
US6463426B1 (en) Information search and retrieval system
US8600169B2 (en) Method and system for learning a same-material constraint in an image
US8014590B2 (en) Method of directed pattern enhancement for flexible recognition
CN111860533A (zh) 图像的识别方法及装置、存储介质和电子装置
CN116309537B (zh) 一种极耳模具表面油污的缺陷检测方法
CN115082484B (zh) 基于图像处理的半导体自动分区方法
CN115294159B (zh) 金属紧固件腐蚀区域分割方法
CN109726649B (zh) 遥感影像云检测方法、系统及电子设备
CN114782329A (zh) 一种基于图像处理的轴承缺陷损伤程度评估方法及系统
CN114926463A (zh) 一种适用于芯片电路板的生产质量检测方法
WO2023070593A1 (zh) 线宽测量方法、装置、计算处理设备、计算机程序及计算机可读介质
JP3672401B2 (ja) はんだ付け部検査方法及び検査装置
CN109190625A (zh) 一种大角度透视变形的集装箱箱号识别方法
CN115620061A (zh) 一种基于图像识别技术的五金零件缺陷检测方法及系统
CN114240943B (zh) 一种像素亮度确定方法、装置、计算机设备及可读介质
CN115908590A (zh) 基于人工智能的数据智能采集方法及系统
CN115841488A (zh) 一种基于计算机视觉的pcb板的检孔方法
CN109214413A (zh) 一种数据分布平衡的确定方法及系统
CN115033721A (zh) 基于大数据的图像检索方法
CN110390682A (zh) 一种模板自适应的图像分割方法、系统和可读存储介质
CN115862006B (zh) 一种面粉磨粉过程中麸星的检测方法
CN115272134A (zh) 一种基于pcb干扰反光识别的pcb图像去反光方法
CN113284158A (zh) 一种基于结构约束聚类的图像边缘提取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant