CN113222990A - 一种基于图像数据增强的芯片计数方法 - Google Patents

一种基于图像数据增强的芯片计数方法 Download PDF

Info

Publication number
CN113222990A
CN113222990A CN202110657901.8A CN202110657901A CN113222990A CN 113222990 A CN113222990 A CN 113222990A CN 202110657901 A CN202110657901 A CN 202110657901A CN 113222990 A CN113222990 A CN 113222990A
Authority
CN
China
Prior art keywords
chip
picture
chips
data enhancement
pictures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110657901.8A
Other languages
English (en)
Other versions
CN113222990B (zh
Inventor
南阳
樊治国
邵汉阳
张晋
马岳
张鹏程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Gaozhong Information Technology Co ltd
Original Assignee
Qingdao Gaozhong Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Gaozhong Information Technology Co ltd filed Critical Qingdao Gaozhong Information Technology Co ltd
Priority to CN202110657901.8A priority Critical patent/CN113222990B/zh
Publication of CN113222990A publication Critical patent/CN113222990A/zh
Application granted granted Critical
Publication of CN113222990B publication Critical patent/CN113222990B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于图像数据增强的芯片计数方法，包括：现场相机拍摄各类需要计数的芯片图片和承载对应芯片的托盘图片，制作图像数据增强的芯片样本数据集，拍摄装载芯片的实际托盘图片，进行标注，并和数据增强图片进行汇总，再使用Centernet关键点检测算法训练得到芯片关键点检测模型，通过检测模型过滤掉不符合要求的芯片，统计剩余芯片数量并输出芯片计数结果，在实际场景中大量减少了标注用的时间，通用性好、识别准确度高，克服了现有技术中受图片数量、芯片类别和芯片角度等影响导致芯片计数效率和精度降低的问题，提高了芯片计数的准确性、鲁棒性和环境适应性。

Description

一种基于图像数据增强的芯片计数方法
技术领域
本发明涉及机器视觉技术领域，具体为一种基于图像数据增强的芯片计数方法。
背景技术
利用计算机视觉技术对图像中的各类芯片进行检测，可以统计芯片的数量，在一些工业生产线中，需要对托盘上的芯片数量进行计数，但是由于芯片种类多样，且体积较小，传统方式：使用人眼计数，是一项非常耗费人力时间的工作，因此，在机器视觉领域通常采用图像处理算法进行计数，常用的方式有：通过模板匹配方法，对图像中的芯片进行图像匹配，从而计算统计匹配到的芯片数量；
但是，在实际应用中，模板匹配方法会存在以下问题：(1)模板匹配算法依赖于芯片模板图像的质量，对匹配精度的影响很大；(2)托盘上芯片的角度大多都是倾斜的，模板匹配算法对倾斜目标的匹配精度较差；(3)现场应用中，芯片种类多样，在模板匹配过程中需要对每个位置使用所有的种类芯片都进行一次匹配，效率较低；
为提高芯片计数效率，专利号为CN109166116A的发明专利公开了“一种用于芯片计数的图像处理算法”，该方法通过图像形态学的方式对芯片进行计数，但是对图片的要求必须是X光，而且不同的芯片需要调试不同面积阈值参数，无法对多种芯片同时进行计数，在不同场景下的芯片检测计数中泛化性较差。
所以，需要一种基于图像数据增强的芯片计数方法来解决上述问题。
发明内容
本发明的目的在于提供一种基于图像数据增强的芯片计数方法，以解决上述背景技术中提出的问题。
为了解决上述技术问题，本发明提供如下技术方案：一种基于图像数据增强的芯片计数方法，其特征在于：包括以下步骤：
S1：现场相机拍摄需要计数的芯片及承载对应芯片的托盘图片；
S2：生成芯片样本数据集和托盘背景样本数据集；
S3：生成数据增强图片并获取芯片的四个角点，对角点进行反向标注，生成JSON标注文件；
S4：现场相机拍摄若干装载芯片的托盘实际图片，对芯片的四个角点使用Labelme软件进行角点标注；
S5：汇总实拍图片数据集和数据增强图片的数据集，处理对应JSON标注文件，生成水平方向最小外接矩形信息并将其添加到JSON标注文件中；
S6：使用Centernet关键点检测算法，训练芯片关键点检测模型；
S7：检测实际图片，过滤不符合要求的芯片并对剩余芯片进行计数，得到最终的芯片数量。
进一步的，所述生成数据增强图片并获取芯片的四个角点，具体为：使用现场相机拍摄多类需要计数的芯片图片，抠取图片中的所有类别芯片小图，对其进行旋转校正，去除校正后的图片背景信息，得到芯片小图的四个边角，即为芯片的四个角点，去除背景信息有效降低了数据增强过程中背景因素的干扰。
进一步的，所述旋转校正芯片小图的具体方式为：在芯片每次粘贴前，设置随机初始化旋转角度θ，角度θ的范围在0°～180°之间，芯片小图的形状都为矩形，假设某个芯片其中一个角点的位置坐标为(x0，y0)，芯片的中心点位置坐标为(xcenter，ycenter)，将芯片角点绕中心点进行旋转，根据下列公式分别计算逆时针旋转一定角度后芯片角点的横坐标x0_new和纵坐标y0_new：
x0_new＝(x0-xcenter)*cosθ-(y0-ycenter)*sinθ+xcenter；
y0_new＝(x0-xcenter)*sinθ+(y0-ycenter)*cosθ+ycenter，
其中，θ表示逆时针旋转的角度，对四个角点都按照上述方式进行旋转后，根据旋转校正后的四个角点坐标确认芯片小图的位置。
进一步的，所述对角点进行反向标注，生成JSON标注文件，具体为：得到旋转校正后的透明芯片图片数据集，设置随机数据增强规则，在拍摄的托盘背景图片上生成数据增强图片，提取数据增强图片中各个芯片的角点，生成和图片一一对应的JSON标注文件。
进一步的，所述随机数据增强规则主要设置为：
首先，从托盘背景图片数据集中随机选择一张图片作为数据增强图片的背景图片，并从芯片样本数据集中随机选择5～10种芯片图片作为数据增强图片的前景目标，即芯片数据；
其次，设置每种芯片在背景图片上的粘贴次数，根据现场相机安装属性统计芯片的像素分布，依据实际像素分布情况设置缩放像素参数，设置每个芯片的旋转角度参数；
然后，依据芯片的尺寸和背景图片的尺寸在背景图片上随机设置芯片粘贴的位置参数，位置参数设置方式如下：采集到芯片的宽为clip_width，高为clip_height，背景图片的宽为image_width，高为image_height，芯片中心点的位置坐标为(X，Y)，将芯片中心点的横坐标X随机设置在[clip_width，image_width-clip_width]之间，纵坐标Y随机设置在[clip_height，image_height-clip_height]之间；
最后，设置芯片IOU交并比的阈值参数，根据下列公式计算随机一个待粘贴的芯片和已粘贴的芯片的IOU值：
Figure BDA0003111377660000031
其中，A表示待粘贴芯片覆盖的范围，B表示已粘贴芯片覆盖的范围，将待粘贴的芯片与所有已粘贴芯片的IOU值与阈值参数作比较：若IOU值小于等于阈值参数，说明对应待粘贴芯片正适合粘贴在背景图片的对应位置上；若IOU值大于阈值参数，说明对应待粘贴芯片不适合粘贴在背景图片的对应位置上，跳出，尝试粘贴到其他随机位置。
进一步的，所述JSON标注文件的处理方式为：将数据增强的数据集和实拍图片的数据集汇总为总数据集，在四个角点的基础上计算出水平方向最小外接矩形的位置信息：假设芯片带有旋转角度，四个角点的坐标为(x1，y1)、(x2，y2)、(x3，y3)、(x4，y4)，比较计算出四个角点在x方向的最大值xmax、最小值xmin，以及四个角点在y方向的最大值ymax、最小值ymin，得到水平方向最小外接矩形左上角点的坐标为(xmin，ymin)，右下角点的坐标为(xmax，ymax)，将位置信息添加到标注好的JSON文件中。
进一步的，所述使用Centernet关键点检测算法，训练芯片关键点检测模型需要通过热力图来训练芯片关键点，在训练时需要设置最大迭代次数，当训练数据集在网络训练过程中损失函数值不大于阈值或达到设置的最大迭代次数时停止训练，得到训练好的芯片关键点检测模型。
进一步的，所述热力图的获取方式具体为：将芯片图片缩放到512*512大小，送入Centernet框架下的DLA34主干网络中进行卷积操作，卷积后得到热力图
Figure BDA0003111377660000032
其中，
Figure BDA0003111377660000041
R表示尺寸缩放比例，C表示关键点类型数，即为输出特征图通道数，W表示缩放后图像的宽度，即512，H表示缩放后图像的高度，即512。
进一步的，所述通过热力图训练芯片关键点，具体为：假设原始图片上真实关键点位置为P，其中，P∈R2，通过DLA34网络对输入的芯片图片不断地下采样，得到下采样后的坐标
Figure BDA0003111377660000042
根据下面的高斯核函数公式，将原始图片真实关键点映射到热力图上：
Figure BDA0003111377660000043
其中，x和y分别表示热力图上关键点的横、纵坐标，
Figure BDA0003111377660000044
和
Figure BDA0003111377660000045
分别表示原始图片上关键点下采样后的两个坐标值，σp表示目标尺寸的自适应标准方差，在此基础上，训练过程中计算网络的损失函数Lk：
Figure BDA0003111377660000046
其中，α和β指的是超参数，通常设置为2和4，N表示项目中关键点的个数，
Figure BDA0003111377660000047
表示一个检测到目标的预测值，当
Figure BDA0003111377660000048
时，表示对于类别c，在当前(x，y)坐标中，检测到了类别为c的目标，而
Figure BDA0003111377660000049
则表示当前(x，y)坐标不存在类别为c的目标，类别c指的是芯片矩形的某一个角点。
进一步的，芯片关键点检测模型建立后，使用该模型对实际图片进行检测，输出每个芯片的四个角点位置和分数，分别设置四个角点的阈值分数，将检测分数与阈值分数进行比较：当某个芯片的一个角点检测分数小于阈值分数时，将对应芯片整体四个角点的检测信息都进行过滤，过滤掉检测分数低于阈值分数的芯片，对过滤后的芯片进行计数，得到最终的芯片数量，对芯片的每个角点都设置阈值参数提升了芯片图片检测的精度，有效降低了误检率。
与现有技术相比，本发明所达到的有益效果是：
1.本发明通过使用实拍的芯片透明图片和实拍的背景图片，生成数据增强数据集，并和现场实拍的少量图片数据集混合成总数据集，采用Centernet关键点检测算法对芯片图片训练以及检测，本发明的检测方式在实际场景中通用性高，识别准确度高，克服了现有技术中受图片数量、芯片类别、芯片角度等因素的影响导致计数精度低、效率慢的问题，提高了芯片计数的准确性、鲁棒性以及环境适应性。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明一种基于图像数据增强的芯片计数方法的流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
请参阅图1，本发明提供技术方案：一种基于图像数据增强的芯片计数方法，其特征在于：包括以下步骤：
S1：现场相机拍摄需要计数的芯片及承载对应芯片的托盘图片；
S2：生成芯片样本数据集和托盘背景样本数据集；
S3：生成数据增强图片并获取芯片的四个角点，对角点进行反向标注，生成JSON标注文件；
S4：现场相机拍摄若干装载芯片的托盘实际图片，对芯片的四个角点使用Labelme软件进行角点标注；
S5：汇总实拍图片数据集和数据增强图片的数据集，处理对应JSON标注文件，生成水平方向最小外接矩形信息并将其添加到JSON标注文件中；
S6：使用Centernet关键点检测算法，训练芯片关键点检测模型；
S7：检测实际图片，过滤不符合要求的芯片并对剩余芯片进行计数，得到最终的芯片数量。
生成数据增强图片并获取芯片的四个角点，具体为：使用现场相机拍摄多类需要计数的芯片图片，抠取图片中的所有类别芯片小图，对其进行旋转校正，去除校正后的图片背景信息，得到芯片小图的四个边角，即为芯片的四个角点。
旋转校正芯片小图的具体方式为：在芯片每次粘贴前，设置随机初始化旋转角度θ，角度θ的范围在0°～180°之间，芯片小图的形状都为矩形，假设某个芯片其中一个角点的位置坐标为(x0，y0)，芯片的中心点位置坐标为(xcenter，ycenter)，将芯片角点绕中心点进行旋转，根据下列公式分别计算逆时针旋转一定角度后芯片角点的横坐标x0_new和纵坐标y0_new：
x0_new＝(x0-xcenter)*cosθ-(y0-ycenter)*sinθ+xcenter；
y0_new＝(x0-xcenter)*sinθ+(y0-ycenter)*cosθ+ycenter，
其中，θ表示逆时针旋转的角度，对四个角点都按照上述方式进行旋转后，根据旋转校正后的四个角点坐标确认芯片小图的位置。
对角点进行反向标注，生成JSON标注文件，具体为：得到旋转校正后的透明芯片图片数据集，设置随机数据增强规则，在拍摄的托盘背景图片上生成数据增强图片，提取数据增强图片中各个芯片的角点，生成和图片一一对应的JSON标注文件。
随机数据增强规则主要设置为：
首先，从托盘背景图片数据集中随机选择一张图片作为数据增强图片的背景图片，并从芯片样本数据集中随机选择5～10种芯片图片作为数据增强图片的前景目标，即芯片数据；
其次，设置每种芯片在背景图片上的粘贴次数，根据现场相机安装属性统计芯片的像素分布，依据实际像素分布情况设置缩放像素参数，设置每个芯片的旋转角度参数；
然后，依据芯片的尺寸和背景图片的尺寸在背景图片上随机设置芯片粘贴的位置参数，位置参数设置方式如下：采集到芯片的宽为clip_width，高为clip_height，背景图片的宽为image_width，高为image_height，芯片中心点的位置坐标为(X，Y)，将芯片中心点的横坐标X随机设置在[clip_width，image_width-clip_width]之间，纵坐标Y随机设置在[clip_height，image_height-clip_height]之间；
最后，设置芯片IOU交并比的阈值参数，根据下列公式计算随机一个待粘贴的芯片和已粘贴的芯片的IOU值：
Figure BDA0003111377660000061
其中，A表示待粘贴芯片覆盖的范围，B表示已粘贴芯片覆盖的范围，将待粘贴的芯片与所有已粘贴芯片的IOU值与阈值参数作比较：若IOU值小于等于阈值参数，说明对应待粘贴芯片正适合粘贴在背景图片的对应位置上；若IOU值大于阈值参数，说明对应待粘贴芯片不适合粘贴在背景图片的对应位置上，跳出，尝试粘贴到其他随机位置。
JSON标注文件的处理方式为：将数据增强的数据集和实拍图片的数据集汇总为总数据集，在四个角点的基础上计算出水平方向最小外接矩形的位置信息：假设芯片带有旋转角度，四个角点的坐标为(x1，y1)、(x2，y2)、(x3，y3)、(x4，y4)，比较计算出四个角点在x方向的最大值xmax、最小值xmin，以及四个角点在y方向的最大值ymax、最小值ymin，得到水平方向最小外接矩形左上角点的坐标为(xmin，ymin)，右下角点的坐标为(xmax，ymax)，将位置信息添加到标注好的JSON文件中。
使用Centernet关键点检测算法，训练芯片关键点检测模型需要通过热力图来训练芯片关键点，在训练时需要设置最大迭代次数，当训练数据集在网络训练过程中损失函数值不大于阈值或达到设置的最大迭代次数时停止训练，得到训练好的芯片关键点检测模型。
热力图的获取方式具体为：将芯片图片缩放到512*512大小，送入Centernet框架下的DLA34主干网络中进行卷积操作，卷积后得到热力图
Figure BDA0003111377660000071
其中，
Figure BDA0003111377660000072
R表示尺寸缩放比例，c表示关键点类型数，即为输出特征图通道数，W表示缩放后图像的宽度，即512，H表示缩放后图像的高度，即512。
通过热力图训练芯片关键点，具体为：假设原始图片上真实关键点位置为P，其中，P∈R2，通过DLA34网络对输入的芯片图片不断地下采样，得到下采样后的坐标
Figure BDA0003111377660000073
根据下面的高斯核函数公式，将原始图片真实关键点映射到热力图上：
Figure BDA0003111377660000074
其中，x和y分别表示热力图上关键点的横、纵坐标，
Figure BDA0003111377660000075
和
Figure BDA0003111377660000076
分别表示原始图片上关键点下采样后的两个坐标值，σp表示目标尺寸的自适应标准方差，在此基础上，训练过程中计算网络的损失函数Lk：
Figure BDA0003111377660000077
其中，α和β指的是超参数，通常设置为2和4，N表示项目中关键点的个数，
Figure BDA0003111377660000078
表示一个检测到目标的预测值，当
Figure BDA0003111377660000079
时，表示对于类别c，在当前(x，y)坐标中，检测到了类别为c的目标，而
Figure BDA00031113776600000710
则表示当前(x，y)坐标不存在类别为c的目标，类别c指的是芯片矩形的某一个角点。
芯片关键点检测模型建立后，使用该模型对实际图片进行检测，输出每个芯片的四个角点位置和分数，分别设置四个角点的阈值分数，将检测分数与阈值分数进行比较：当芯片的一个角点检测分数小于阈值分数时，将对应芯片整体四个角点的检测信息都进行过滤，过滤掉检测分数低于阈值分数的芯片，对过滤后的芯片进行计数，得到最终的芯片数量。
实施例一：使用现场相机拍摄多类需要计数的芯片图片，抠取图片中的所有类别芯片小图，对其进行旋转校正，旋转校正芯片小图的具体方式为：在芯片每次粘贴前，设置随机初始化旋转角度θ，角度θ的范围在0°～180°之间，芯片小图的形状都为矩形，假设芯片的随机一个角点的位置坐标为(x0，y0)＝(1，3)，芯片的中心点位置坐标为(xcenter，ycenter)＝(3，2)，将芯片绕中心点进行旋转90°，即θ＝90°，根据公式x0_new＝(x0-xcenter)*cosθ-(y0-ycenter)*sinθ+xcenter计算逆时针旋转角度θ后芯片角点的横坐标x0_new＝2，根据公式y0_new＝(x0-xcenter)*sinθ+(y0-ycenter)*cosθ+ycenter计算逆时针旋转角度θ后芯片角点的纵坐标y0_new＝0，确认该角点旋转后的新坐标为(2，0)，在此基础上，对其余三个角点也进行计算，从而确认整个芯片小图的位置。
最后应说明的是：以上所述仅为本发明的优选实例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图像数据增强的芯片计数方法，其特征在于：包括以下步骤：
S1：现场相机拍摄需要计数的芯片及承载对应芯片的托盘图片；
S2：生成芯片样本数据集和托盘背景样本数据集；
S3：生成数据增强图片并获取芯片的四个角点，对角点进行反向标注，生成JSON标注文件；
S4：现场相机拍摄若干装载芯片的托盘实际图片，对芯片的四个角点使用Labelme软件进行角点标注；
S5：汇总实拍图片数据集和数据增强图片的数据集，处理对应JSON标注文件，生成水平方向最小外接矩形信息并将其添加到JSON标注文件中；
S6：使用Centernet关键点检测算法，训练芯片关键点检测模型；
S7：检测实际图片，过滤不符合要求的芯片并对剩余芯片进行计数，得到最终的芯片数量。
2.根据权利要求1所述的一种基于图像数据增强的芯片计数方法，其特征在于：所述生成数据增强图片并获取芯片的四个角点，具体为：使用现场相机拍摄多类需要计数的芯片图片，抠取图片中的所有类别芯片小图，对其进行旋转校正，去除校正后的图片背景信息，得到芯片小图的四个边角，即为芯片的四个角点。
3.根据权利要求2所述的一种基于图像数据增强的芯片计数方法，其特征在于：所述旋转校正芯片小图的具体方式为：在芯片每次粘贴前，设置随机初始化旋转角度θ，角度θ的范围在0°～180°之间，芯片小图的形状都为矩形，假设某个芯片其中一个角点的位置坐标为(x0，y0)，芯片的中心点位置坐标为(xcenter，ycenter)，将芯片角点绕中心点进行旋转，根据下列公式分别计算逆时针旋转一定角度后芯片角点的横坐标x0_new和纵坐标y0_new：
x0_new＝(x0-xcenter)*cosθ-(y0-ycenter)*sinθ+xcenter；
y0_new＝(x0-xcenter)*sinθ+(y0-ycenter)*cosθ+ycenter，
其中，θ表示逆时针旋转的角度，根据旋转校正后的四个角点坐标确认芯片小图的位置。
4.根据权利要求2所述的一种基于图像数据增强的芯片计数方法，其特征在于：所述对角点进行反向标注，生成JSON标注文件，具体为：得到旋转校正后的透明芯片图片数据集，设置随机数据增强规则，在拍摄的托盘背景图片上生成数据增强图片，提取数据增强图片中各个芯片的角点，生成和图片一一对应的JSON标注文件。
5.根据权利要求4所述的一种基于图像数据增强的芯片计数方法，其特征在于：所述随机数据增强规则主要设置为：
首先，从托盘背景图片数据集中随机选择一张图片作为数据增强图片的背景图片，并从芯片样本数据集中随机选择5～10种芯片图片作为数据增强图片的前景目标，即芯片数据；
其次，设置每种芯片在背景图片上的粘贴次数，根据现场相机安装属性统计芯片的像素分布，依据实际像素分布情况设置缩放像素参数，设置每个芯片的旋转角度参数；
然后，依据芯片的尺寸和背景图片的尺寸在背景图片上随机设置芯片粘贴的位置参数，位置参数设置方式如下：采集到芯片的宽为clip_width，高为clip_height，背景图片的宽为image_width，高为image_height，芯片中心点的位置坐标为(X，Y)，将芯片中心点的横坐标X随机设置在[clip_width，image_width-clip_width]之间，纵坐标Y随机设置在[clip_height，image_height-clip_height]之间；
最后，设置芯片IOU交并比的阈值参数，根据下列公式计算随机一个待粘贴的芯片和已粘贴的芯片的IOU值：
Figure FDA0003111377650000021
其中，A表示待粘贴芯片覆盖的范围，B表示已粘贴芯片覆盖的范围，将待粘贴的芯片与所有已粘贴芯片的IOU值与阈值参数作比较：若IOU值小于等于阈值参数，说明对应待粘贴芯片正适合粘贴在背景图片的对应位置上；若IOU值大于阈值参数，说明对应待粘贴芯片不适合粘贴在背景图片的对应位置上，跳出，尝试粘贴到其他随机位置。
6.根据权利要求1所述的一种基于图像数据增强的芯片计数方法，其特征在于：所述JSON标注文件的处理方式为：将数据增强的数据集和实拍图片的数据集汇总为总数据集，在四个角点的基础上计算出水平方向最小外接矩形的位置信息：假设芯片带有旋转角度，四个角点的坐标为(x1，y1)、(x2，y2)、(x3，y3)、(x4，y4)，比较计算出四个角点在x方向的最大值xmax、最小值xmin，以及四个角点在y方向的最大值ymax、最小值ymin，得到水平方向最小外接矩形左上角点的坐标为(xmin，ymin)，右下角点的坐标为(xmax，ymax)，将位置信息添加到标注好的JSON文件中。
7.根据权利要求1所述的一种基于图像数据增强的芯片计数方法，其特征在于：所述使用Centernet关键点检测算法，训练芯片关键点检测模型需要通过热力图来训练芯片关键点，在训练时需要设置最大迭代次数，当训练数据集在网络训练过程中损失函数值不大于阈值或达到设置的最大迭代次数时停止训练，得到训练好的芯片关键点检测模型。
8.根据权利要求7所述的一种基于图像数据增强的芯片计数方法，其特征在于：所述热力图的获取方式具体为：将芯片图片缩放到512*512大小，送入Centernet框架下的DLA34主干网络中进行卷积操作，卷积后得到热力图
Figure FDA0003111377650000031
其中，
Figure FDA0003111377650000032
R表示尺寸缩放比例，C表示关键点类型数，即为输出特征图通道数，W表示缩放后图像的宽度，即512，H表示缩放后图像的高度，即512。
9.根据权利要求8所述的一种基于图像数据增强的芯片计数方法，其特征在于：所述通过热力图训练芯片关键点，具体为：假设原始图片上真实关键点位置为P，其中，P∈R2，通过DLA34网络对输入的芯片图片不断地下采样，得到下采样后的坐标
Figure FDA0003111377650000033
根据下面的高斯核函数公式，将原始图片真实关键点映射到热力图上：
Figure FDA0003111377650000034
其中，x和y分别表示热力图上关键点的横、纵坐标，
Figure FDA0003111377650000035
和
Figure FDA0003111377650000036
分别表示原始图片上关键点下采样后的两个坐标值，σp表示目标尺寸的自适应标准方差，在此基础上，训练过程中计算网络的损失函数Lk：
Figure FDA0003111377650000037
其中，α和β指的是超参数，N表示项目中关键点的个数，
Figure FDA0003111377650000038
表示一个检测到目标的预测值，当
Figure FDA0003111377650000039
时，表示对于类别c，在当前(x，y)坐标中，检测到了类别为c的目标，而
Figure FDA00031113776500000310
则表示当前(x，y)坐标不存在类别为c的目标，类别c指的是芯片矩形的某一个角点。
10.根据权利要求1所述的一种基于图像数据增强的芯片计数方法，其特征在于：芯片关键点检测模型建立后，使用该模型对实际图片进行检测，输出每个芯片的四个角点位置和分数，分别设置四个角点的阈值分数，将检测分数与阈值分数进行比较：当芯片的一个角点检测分数小于阈值分数时，将对应芯片整体四个角点的检测信息都进行过滤，过滤掉检测分数低于阈值分数的芯片，对过滤后的芯片进行计数，得到最终的芯片数量。
CN202110657901.8A 2021-06-11 2021-06-11 一种基于图像数据增强的芯片计数方法 Active CN113222990B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110657901.8A CN113222990B (zh) 2021-06-11 2021-06-11 一种基于图像数据增强的芯片计数方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110657901.8A CN113222990B (zh) 2021-06-11 2021-06-11 一种基于图像数据增强的芯片计数方法

Publications (2)

Publication Number Publication Date
CN113222990A true CN113222990A (zh) 2021-08-06
CN113222990B CN113222990B (zh) 2023-03-14

Family

ID=77080264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110657901.8A Active CN113222990B (zh) 2021-06-11 2021-06-11 一种基于图像数据增强的芯片计数方法

Country Status (1)

Country Link
CN (1) CN113222990B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114022478A (zh) * 2022-01-05 2022-02-08 武汉琢越光电有限公司 全自动激光器Bar条芯片点数方法及其装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7768558B1 (en) * 2000-09-29 2010-08-03 Hewlett-Packard Development Company, L.P. Digital still camera with remaining picture count indication
CN111161243A (zh) * 2019-12-30 2020-05-15 华南理工大学 基于样本增强的工业产品表面缺陷检测方法
CN112070043A (zh) * 2020-09-15 2020-12-11 常熟理工学院 基于特征融合的安全帽佩戴卷积网络、训练及检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7768558B1 (en) * 2000-09-29 2010-08-03 Hewlett-Packard Development Company, L.P. Digital still camera with remaining picture count indication
CN111161243A (zh) * 2019-12-30 2020-05-15 华南理工大学 基于样本增强的工业产品表面缺陷检测方法
CN112070043A (zh) * 2020-09-15 2020-12-11 常熟理工学院 基于特征融合的安全帽佩戴卷积网络、训练及检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
金佛荣等: "基于机器视觉的芯片料管计数系统设计", 《智能物联技术》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114022478A (zh) * 2022-01-05 2022-02-08 武汉琢越光电有限公司 全自动激光器Bar条芯片点数方法及其装置

Also Published As

Publication number Publication date
CN113222990B (zh) 2023-03-14

Similar Documents

Publication Publication Date Title
CN111243032B (zh) 一种棋盘格角点全自动检测方法
CN109409366B (zh) 基于角点检测的畸变图像校正方法及装置
CN109978839B (zh) 晶圆低纹理缺陷的检测方法
CN110807448B (zh) 人脸关键点数据增强方法
CN105608671B (zh) 一种基于surf算法的图像拼接方法
CN113591795B (zh) 一种基于混合注意力特征金字塔结构的轻量化人脸检测方法和系统
CN110930411B (zh) 一种基于深度相机的人体分割方法及系统
CN105654421B (zh) 基于变换不变低秩纹理的投影变换图像匹配方法
CN105427333B (zh) 视频序列图像的实时配准方法、系统及拍摄终端
CN115131444B (zh) 一种基于单目视觉点胶平台的标定方法
WO2021139197A1 (zh) 一种图像处理方法及装置
CN106067031B (zh) 基于人工纠错机制与深度学习网络协作机器视觉识别系统
CN113191954B (zh) 一种基于双目相机的全景图像拼接方法
CN111709980A (zh) 基于深度学习的多尺度图像配准方法和装置
CN115908774B (zh) 一种基于机器视觉的变形物资的品质检测方法和装置
CN110909772B (zh) 一种高精度实时多尺度表盘指针检测方法和系统
CN112001219A (zh) 一种多角度多人脸识别考勤方法及系统
CN112364865A (zh) 一种复杂场景中运动小目标的检测方法
CN113222990B (zh) 一种基于图像数据增强的芯片计数方法
CN112364805A (zh) 一种旋转手掌图像检测方法
CN109615610B (zh) 一种基于YOLO v2-tiny的医用创可贴瑕疵检测方法
Suryawibawa et al. Herbs recognition based on android using opencv
CN107507130A (zh) 一种快速的qfn芯片引脚图像获取与放大方法
CN111553927B (zh) 棋盘格角点检测方法、检测系统、计算机装置及存储介质
CN116311219B (zh) 一种基于透视变换的地堆本品占地面积计算方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant