CN114399502A - 一种适用于led芯片的外观缺陷检测方法、系统及存储介质 - Google Patents
一种适用于led芯片的外观缺陷检测方法、系统及存储介质 Download PDFInfo
- Publication number
- CN114399502A CN114399502A CN202210294871.3A CN202210294871A CN114399502A CN 114399502 A CN114399502 A CN 114399502A CN 202210294871 A CN202210294871 A CN 202210294871A CN 114399502 A CN114399502 A CN 114399502A
- Authority
- CN
- China
- Prior art keywords
- image
- defect
- determining
- led chip
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 145
- 238000001514 detection method Methods 0.000 title claims abstract description 93
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 31
- 230000011218 segmentation Effects 0.000 claims abstract description 27
- 230000009466 transformation Effects 0.000 claims description 48
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 30
- 239000011159 matrix material Substances 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 14
- 230000000694 effects Effects 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 5
- 239000013078 crystal Substances 0.000 claims description 3
- 238000013519 translation Methods 0.000 description 11
- 238000004458 analytical method Methods 0.000 description 9
- 238000000844 transformation Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 230000002950 deficient Effects 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003711 image thresholding Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本申请实施例提出了一种适用于LED芯片的外观缺陷检测方法、系统及存储介质，该方法包括获取包含潜在外观缺陷的结构化图像，并基于特征识别方式，从结构化图像中定位到LED芯片在图像中所处的坐标位置；根据坐标位置，从结构化图像中分割得到目标检测图像；从目标检测图像中确定存在外观缺陷的前景区域；在前景区域涵盖的图像范围内，确定外观缺陷所属的几何特征，并根据几何特征确定缺陷类别，几何特征包括区域面积、圆满度、紧密度、空洞数、空洞面积、圆度、凸度、矩形度、以及长宽比中心距偏差中的至少一种。该方法的实施能够提高LED芯片的外观缺陷检测效率。
Description
技术领域
申请涉及图像处理技术领域，具体而言，涉及一种适用于LED芯片的外观缺陷检测方法、系统及存储介质。
背景技术
在工业4.0的背景下，国家正在大力推进智能制造相关产业的布局和发展，并在工业生产环境下，加快自动化、以及信息化的建设。目前，在工业生产环境中依然存在大量需要人工操作的环节，例如Led芯片的外观缺陷检测，而Led芯片外观缺陷检测是产品质量把控的关键步骤。过去，传统的依靠人眼辨别Led芯片表面是否有缺陷的方法，已经不能满足越来越严格的检测精度要求，而且人工目检存在诸多隐患，检测人员的专业程度、效率问题和成本问题已经成为各个制造企业的心病。
另一方面，虽然目前相关的研究机构也已推出了各样的Led芯片外观缺陷检测方案，如利用AI技术进行检测，但其也存在诸多的不足，例如，使用AI技术检测的方案依赖数据，其需要在收集到足够数据之后才可以达到客户要求的检测精度，但是客户的产品往往更新迭代比较快，AI检测方案无法满足快速建档的需求。
发明内容
本申请实施例的目的在于提供一种适用于LED芯片的外观缺陷检测方法、系统及存储介质，以解决现有技术中存在的检测效率不高的技术问题。
本申请实施例提供了一种适用于LED芯片的外观缺陷检测方法，包括以下步骤：
获取包含潜在外观缺陷的结构化图像，并基于特征识别方式，从所述结构化图像中定位到LED芯片在图像中所处的坐标位置；
根据所述坐标位置，从所述结构化图像中分割得到目标检测图像；
从所述目标检测图像中确定存在外观缺陷的前景区域；
在所述前景区域涵盖的图像范围内，确定外观缺陷所属的几何特征，并根据所述几何特征确定缺陷类别，所述几何特征包括区域面积、圆满度、紧密度、空洞数、空洞面积、圆度、凸度、矩形度、以及长宽比中心距偏差中的至少一种。
第二方面，本申请实施例还提供了一种适用于LED芯片的外观缺陷检测系统，所述系统包括图像获取模块、检测分割模块、缺陷定位模块以及缺陷类别识别模块，其中：
所述图像获取模块，用于获取包含潜在外观缺陷的结构化图像，并基于特征识别方式，从所述结构化图像中定位到LED芯片在图像中所处的坐标位置；
所述检测分割模块，用于根据所述坐标位置，从所述结构化图像中分割得到目标检测图像；
所述缺陷定位模块，用于从所述目标检测图像中确定存在外观缺陷的前景区域；
所述缺陷类别识别模块，用于在所述前景区域涵盖的图像范围内，确定外观缺陷所属的几何特征，并根据所述几何特征确定缺陷类别，所述几何特征包括区域面积、圆满度、紧密度、空洞数、空洞面积、圆度、凸度、矩形度、以及长宽比中心距偏差中的至少一种。
第三方面，本申请实施例还提供了一种可读存储介质，所述可读存储介质中包括适用于LED芯片的外观缺陷检测方法程序，所述适用于LED芯片的外观缺陷检测方法程序被处理器执行时，实现上述方法的步骤。
实施本发明的一种适用于LED芯片的外观缺陷检测方法、系统及存储介质，基于特征识别方式，从获取到的结构化图像中定位到LED芯片在图像中所处的坐标位置，使得能够很容易从结构化图像中辨别出LED芯片所处的坐标位置，提高图像处理效率。之后，再根据得到的坐标位置，从结构化图像中分割得到目标检测图像，以及从该目标检测图像中确定存在外观缺陷的前景区域，通过对该前景区域进行特征分析，并以此确定涵盖的缺陷类别，相比于传统机器视觉检测区域划分比较固定，扩展性较差无法自由配置，本方案能够提供一种全面、灵活的检测方案，大大提高了工厂的生产效率，节省人力检测成本且保证产品质量，减少客诉，有效的提高了检测效率。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种适用于LED芯片的外观缺陷检测方法的流程图；
图2为预设的多个精确定位模板的定位效果对比图；
图3为外观缺陷在不同光源下的成像效果示意图；
图4为本申请实施例提供的一种适用于LED芯片的外观缺陷检测系统的结构示意图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参照图1，图1是本申请一些实施例中的一种适用于LED芯片的外观缺陷检测方法的流程图。以该方法应用于计算机设备（该计算机设备具体可以是终端或服务器，终端具体可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群）为例进行说明，包括以下步骤：
步骤S100，获取包含潜在外观缺陷的结构化图像，并基于特征识别方式，从所述结构化图像中定位到LED芯片在图像中所处的坐标位置。
首先，针对结构化图得获取，计算机设备将通过本地文件或通过接收socket数据图像进行待检测图像的获取。之后，再基于计算机视觉检测技术，从获取到的待检测图像中检测出所有包含潜在外观缺陷区域的结构化图像。其次，针对LED芯片在图像中所处的坐标位置的定位，计算机设备将通过特征识别方式，基于LED芯片的识别特征构建相应的特征图像模板，再将获取到的结构化图像与该特征图像模板进行匹配，并在确定相应图像区域与该特征图像模板匹配成功时，基于该图像区域所处的坐标位置确定LED芯片在图像中所处的坐标位置。
步骤S200，根据所述坐标位置，从所述结构化图像中分割得到目标检测图像。
具体的，在进行图像分割的之前，计算机设备可以根据基于步骤S100所确定的坐标位置，从获取到的结构化图像中确定目标检测区域。之后再通过图像分割算法，例如，图像边缘分割、图像阈值分割、基于区域的分割等算法，进行目标检测图像的分割。
步骤S300，从所述目标检测图像中确定存在外观缺陷的前景区域。
具体的，计算机设备通过机器视觉中的阈值分割方法，通过对目标检测图像进行二值化处理，并基于前景图像点和背景图像点分别所取到的像素值，从处理得到的二值化图像中确定存在外观缺陷的前景区域。其中，使用到的阈值分割方法包含简单阈值分割法和动态阈值分割法中的至少一种，本申请实施例对此不作限定。需要说明的是：
（1）简单阈值分割法指的是从输入图像（当前实施例中即指的是处理得到的二值化图像）中选择灰度值g，并针对满足以下条件的多个像素点：
MinGray≤g≤ MaxGray
将其作为一个区域返回，并在超过一个灰度值间隔时，则为每个间隔返回一个单独的区域。其中，MinGray表示预设的最小灰度阈值，MaxGray预设的最大灰度阈值。
（2）动态阈值分割法指的是从输入图像中选择像素灰度满足预设阈值条件的区域。例如，设g{o} = g{OrigImage}，g{t} = g{ThresholdImage}。
当前，设所选择的亮缺陷条件是：g{o} ≥ g{t}+Offset；所选择的暗缺陷条件是：g{o} ≤ g{t}+Offset。其中，Offset表示预设的补偿函数。
步骤S400，在所述前景区域涵盖的图像范围内，确定外观缺陷所属的几何特征，并根据所述几何特征确定缺陷类别，所述几何特征包括区域面积、圆满度、紧密度、空洞数、空洞面积、圆度、凸度、矩形度、以及长宽比中心距偏差中的至少一种。
具体的，在分割出缺陷前景后，计算机设备会计算出每个缺陷区域的面积，并按照单个缺陷区域的面积、所有缺陷面积之和、所有缺陷面积之和占检测区域总面积的比例和所有缺陷区域的个数进行筛选，最终得到满足用户需求的缺陷。其中，在上述按照单个缺陷区域的面积进行缺陷筛选时，计算机设备还会计算这些缺陷的一些重要的几何特征，例如：区域的面积、圆满度、紧密度、空洞数、空洞面积、圆度、凸度、矩形度、长宽比中心距偏差等作进一步筛选。
需要说明的是：
（1）区域面积Area即为缺陷区域包含的像素点个数。
（2）圆满度即代表平均值和标准差之间的关系，其需要先计算出等高线和区域中心之间的距离，然后取平均距离（Distance）和偏离平均距离（Sigma）之间的比值进行圆满度（Roundness）的计算，平均距离（Distance）、偏离平均距离（Sigma）以及圆满度（Roundness）的计算方法如下：
其中， 为区域的中心，
是像素，F为区域的轮廓。
（3）紧密度C反应区域的紧性，其计算方法如下：
其中，为轮廓的长度，F为区域的面积。
（4）空洞数hole_num代表区域的孔数。
（5）空洞面积hole_area代表区域中孔的面积。
（6）圆度
代表区域与圆的相似性，其计算方法如下：
其中，是从中心到所有轮廓像素的最大距离。
（7）凸度C即代表缺陷区域的凸度，其计算方法如下:
其中，
是原始区域的面积，
是转换为凸状区域的面积。
（8）矩形度即为区域和矩形的相似度。
上述外观缺陷检测方法，基于特征识别方式，从获取到的结构化图像中定位到LED芯片在图像中所处的坐标位置，使得能够很容易从结构化图像中辨别出LED芯片所处的坐标位置，提高图像处理效率。之后，再根据得到的坐标位置，从结构化图像中分割得到目标检测图像，以及从该目标检测图像中确定存在外观缺陷的前景区域，通过对该前景区域进行特征分析，并以此确定涵盖的缺陷类别，相比于传统机器视觉检测区域划分比较固定，扩展性较差无法自由配置，本方案能够提供一种全面、灵活的检测方案，大大提高了工厂的生产效率，节省人力检测成本且保证产品质量，减少客诉，有效的提高了检测效率。
在其中一个实施例中，步骤S100中，所述基于特征识别方式，从所述结构化图像中定位到LED芯片在图像中所处的坐标位置，包括：
步骤S110，获取待检测的初始图像，并根据LED芯片中各晶粒的识别特征，从所述初始图像中确定芯片所在的粗略范围。
具体的，计算机设备通过预设的能代表LED芯片中各晶粒唯一特征的图像模板，粗略定位出LED芯片所在的大概位置。
在其中一个实施例中，计算机设备将基于预设的形状图像模板进行匹配，其中，形状图像模板是对原始的模板图像进行一些手工或者自动算法处理过的图片，其中，记录的是原始模板图像的结构化的关键轮廓信息，而且其对图像的大小、以及尺寸均无限制。
当然，当前实施例中，计算机设备还可以基于其他的方式进行粗略范围的匹配，例如，计算机设备还可以基于反映像素的图像模板进行匹配，即输入整副模板图像进行匹配。需要说明的是，基于形状图像模板进行匹配，比较适合高效使内存快速匹配到所有晶粒，起对图像尺寸大小无限制。而基于反映像素的图像模板进行匹配，针对的是图像尺寸在5120*5120以内的图像，该方案可减轻后续处理缺陷时的压力。
步骤S120，在所述粗略范围内，根据预设的极性图像模板进行精确定位，并根据得到的精确定位结果，确定LED芯片在图像中所处的坐标位置。
具体的，如图2所示，在定位精度方面，当前所采用的极性图像模板精度为亚像素级别，其定位精度更高，可更精确的匹配到每颗芯片，并对检测区域的仿射变换效果有较大的提升，但其要求待检测物体必须和图像模板的灰度一致。当然，当前实施例中也并不仅限于通过极性图像模板进行精准定位，计算机设备还可以采用阈值图像模板，确定LED芯片在图像中所处的坐标位置。需要说明的是，阈值图像模板为像素级别，其可适应前景与背景灰度互换的情况，其中，阈值图像模板的定位效果可参考图2，本申请实施例对此不作过多说明。
上述实施例，在定位时先利用芯片部分背板的灰度和蓝膜的灰度差异，筛选出Led芯片，之后再进行精定位确定芯片的高精度位置信息，其中，通过粗定位快速的确定出芯片的粗略位置，能够有效节省时间，且再在前一步的基础上小范围内做精定位匹配，确定芯片相对于预设图像模板的高精度位置信息，在提高效率的同时保证了定位的精准度。
在其中一个实施例中，步骤S200中，所述根据所述坐标位置，从所述结构化图像中分割得到目标检测图像，包括：
步骤S210，根据所述坐标位置生成相应的仿射变换矩阵。
具体的，仿射变换又称仿射映射，是指在几何中，一个向量空间进行一次线性变换并接上一个平移，变换为另一个向量空间。仿射变换是在几何上定义为两个向量空间之间的一个仿射变换或者仿射映射，其由一个非奇异的线性变换(运用一次函数进行的变换)接上一个平移变换组成。其中，在有限维的情况，每个仿射变换可以由一个矩阵A和一个向量b给出，它可以写作A和一个附加的列b。一个仿射变换对应于一个矩阵和一个向量的乘法，而仿射变换的复合对应于普通的矩阵乘法，只要加入一个额外的行到矩阵的底下，这一行全部是0除了最右边是一个1，而列向量的底下要加上一个1。
需要说明的是，针对没有平移或者平移量为0的所有仿射变换可以用如下变换矩阵描述：
而，由于不同变换对应的约束不同，排除了平移变换的所有仿射变换为线性变换（linear transformation），其特点是原点位置不变，多次线性变换的结果仍是线性变换。为了涵盖平移，就引入了齐次坐标，并在原有2维坐标的基础上，增广1个维度，如下所示：
所以，仿射变换的变换矩阵统一用
表示。
步骤S220，确定初始检测区域，并基于生成的仿射变换矩阵对所述初始检测区域进行仿射变换，得到目标检测区域。
具体的，图像的几何变换主要包括：平移、缩放、旋转、仿射、透视等。其中，图像变换是建立在矩阵运算基础上的，通过矩阵运算可以很快的找到不同图像的对应关系。而仿射变换是从一个二维坐标系变换到另一个二维坐标系，属于线性变换。在已知3对坐标点的情况下，即可以求得相应的变换变换矩阵。
当前实施例中，计算机设备使用的是图像集合变换中的平移和旋转，其变换公式可以参考下述公式（需要说明的是，目标检测区域可跟随LED芯片的相对平移位置和旋转角度进行对应调整）：
（1）平移变换：
其中，
、
为平移的起始坐标点，
、
分别为横向平移、纵向平移的距离。
（2）旋转变换：
其中，
为预设的旋转角度。
步骤S230，基于所述目标检测区域所对应的图像范围，从所述结构化图像中分割得到相应的目标检测图像。
上述实施例，基于得到的坐标定位信息生成一个仿射变换矩阵，并基于该仿射变换矩阵对每个检测区域进行仿射变换，然后将仿射变换之后的区域所对应的图像范围，单独切割出来，以分区域实现对不同缺陷类型的检测，提高LED芯片的外观缺陷检测效率。
在其中一个实施例中，步骤S300中，所述从所述目标检测图像中确定存在外观缺陷的前景区域，包括：
步骤S310，对所述目标检测图像进行二值化处理，得到相应的二值化图像。
具体的，对图像的二值化处理就是将图像上的点的灰度值设为0或255，也就是将整个图像呈现出明显的黑白效果。即将256个亮度等级的灰度图像，通过适当的阈值选取而获得仍然可以反映图像整体和局部特征的二值化图像。
步骤S320，通过阈值分割方法对所述二值化图像进行分割处理，得到相应的前景图像和背景图像。
具体的，阈值分割方法是一种基于区域的图像分割技术，其原理是通过设定不同的特征阈值，把图像像素点分为若干类。它特别适用于目标和背景占据不同灰度级范围的图像，它不仅可以极大的压缩数据量，而且也大大简化了分析和处理步骤，因此在很多情况下，是进行图像分析、特征提取与模式识别之前的必要的图像预处理过程。图像阈值化的目的是要按照灰度级，对像素集合进行一个划分，得到的每个子集形成一个与现实景物相对应的区域，各个区域内部具有一致的属性，而相邻区域不具有这种一致属性。这样的划分可以通过从灰度级出发选取一个或多个阈值来实现。
步骤S330，根据LED芯片的外观缺陷所对应的识别特征，从所述前景图像中确定存在外观缺陷的前景区域。
具体的，计算机设备可以基于LED芯片的外观缺陷所对应的识别特征设置相应的特征图像模板，并基于前景图像和该特征图像模板之间的匹配结果，确定存在外观缺陷的前景区域，例如，针对前景图像中匹配成功的目标图像区域，即可以将该目标图像区域归类为前景区域。当然，计算机设备还可以对前景图像进行特征检测，通过检查图像中是否存在表征外观缺陷的像素点，以确定外观缺陷的前景区域。
在其中一个实施例中，针对同一个LED芯片将存在多种缺陷类别，步骤S400中，所述根据所述几何特征确定缺陷类别，包括：确定所属同一LED芯片的多种缺陷类别；根据外观缺陷对产品质量的影响程度，确定各个缺陷类别分别对应的优先级别，并将对应优先级别最高的缺陷类别，作为最终的目标缺陷类别进行输出。
在其中一个实施例中，该方法还包括：根据同一外观缺陷在不同光源下呈现出不同成像效果的识别规则，在检测任一图像通道中存在外观缺陷的同时，确定该缺陷区域在其他的图像通道内的灰度和周围区域的灰度差异，以此滤除不存在外观缺陷的图像干扰点，避免出现误判。
具体的，除了上述去获取每个检测区域的多种特征去筛选图像中存在的缺陷区域，计算机设备还可以根据同一缺陷在不同光源下呈现出的不同特征来筛选。其中，由于芯片的缺陷种类较多，因此在同一位置，相机会拍多种光学方案的图片，而不同缺陷在不同的光学方案下成像效果不一致，如图3所示，芯片的部分缺陷如多金，就会在图像通道3背光下成像明显，但是其在其他通道下成像不明显。但是如脏污，就可能在图像通道2、以及图像通道3背光下成像明显，因此为适应此种情况，当前实施例中，计算机设备将在检测其中一个图像通道存在的缺陷的同时，会同时判断这个缺陷区域在其他通道内的灰度和周围区域灰度差异，以此滤除掉不是缺陷的干扰点，即保证缺陷可以正常被检测出，又不会造成太多误判，提高检测准确度。
请参照图4所示，本申请实施例还提供了一种适用于LED芯片的外观缺陷检测系统400，该系统400包括图像获取模块401、检测分割模块402、缺陷定位模块403以及缺陷类别识别模块404，其中：
所述图像获取模块401，用于获取包含潜在外观缺陷的结构化图像，并基于特征识别方式，从所述结构化图像中定位到LED芯片在图像中所处的坐标位置。
所述检测分割模块402，用于根据所述坐标位置，从所述结构化图像中分割得到目标检测图像。
所述缺陷定位模块403，用于从所述目标检测图像中确定存在外观缺陷的前景区域。
所述缺陷类别识别模块404，用于在所述前景区域涵盖的图像范围内，确定外观缺陷所属的几何特征，并根据所述几何特征确定缺陷类别，所述几何特征包括区域面积、圆满度、紧密度、空洞数、空洞面积、圆度、凸度、矩形度、以及长宽比中心距偏差中的至少一种。
在其中一个实施例中，所述图像获取模块401还用于获取待检测的初始图像，并根据LED芯片中各晶粒的识别特征，从所述初始图像中确定芯片所在的粗略范围；在所述粗略范围内，根据预设的极性图像模板进行精确定位，并根据得到的精确定位结果，确定LED芯片在图像中所处的坐标位置。
在其中一个实施例中，所述检测分割模块402还用于根据所述坐标位置生成相应的仿射变换矩阵；确定初始检测区域，并基于生成的仿射变换矩阵对所述初始检测区域进行仿射变换，得到目标检测区域；基于所述目标检测区域所对应的图像范围，从所述结构化图像中分割得到相应的目标检测图像。
在其中一个实施例中，所述缺陷定位模块403还用于对所述目标检测图像进行二值化处理，得到相应的二值化图像；通过阈值分割方法对所述二值化图像进行分割处理，得到相应的前景图像和背景图像；根据LED芯片的外观缺陷所对应的识别特征，从所述前景图像中确定存在外观缺陷的前景区域。
在其中一个实施例中，所述缺陷类别识别模块404还用于确定所属同一LED芯片的多种缺陷类别；根据外观缺陷对产品质量的影响程度，确定各个缺陷类别分别对应的优先级别，并将对应优先级别最高的缺陷类别，作为最终的目标缺陷类别进行输出。
在其中一个实施例中，该系统400还包括干扰消除模块，其中：干扰消除模块，用于根据同一外观缺陷在不同光源下呈现出不同成像效果的识别规则，在检测任一图像通道中存在外观缺陷的同时，确定该缺陷区域在其他的图像通道内的灰度和周围区域的灰度差异，以此滤除不存在外观缺陷的图像干扰点，避免出现误判。
上述外观缺陷检测系统，基于特征识别方式，从获取到的结构化图像中定位到LED芯片在图像中所处的坐标位置，使得能够很容易从结构化图像中辨别出LED芯片所处的坐标位置，提高图像处理效率。之后，再根据得到的坐标位置，从结构化图像中分割得到目标检测图像，以及从该目标检测图像中确定存在外观缺陷的前景区域，通过对该前景区域进行特征分析，并以此确定涵盖的缺陷类别，相比于传统机器视觉检测区域划分比较固定，扩展性较差无法自由配置，本方案能够提供一种全面、灵活的检测方案，大大提高了工厂的生产效率，节省人力检测成本且保证产品质量，减少客诉，有效的提高了检测效率。
本申请实施例提供一种存储介质，所述计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的方法。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static Random AccessMemory, 简称SRAM），电可擦除可编程只读存储器（Electrically Erasable ProgrammableRead-Only Memory, 简称EEPROM），可擦除可编程只读存储器（Erasable ProgrammableRead Only Memory, 简称EPROM），可编程只读存储器（Programmable Red-Only Memory,简称PROM），只读存储器（Read-Only Memory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。
上述存储介质，基于特征识别方式，从获取到的结构化图像中定位到LED芯片在图像中所处的坐标位置，使得能够很容易从结构化图像中辨别出LED芯片所处的坐标位置，提高图像处理效率。之后，再根据得到的坐标位置，从结构化图像中分割得到目标检测图像，以及从该目标检测图像中确定存在外观缺陷的前景区域，通过对该前景区域进行特征分析，并以此确定涵盖的缺陷类别，相比于传统机器视觉检测区域划分比较固定，扩展性较差无法自由配置，本方案能够提供一种全面、灵活的检测方案，大大提高了工厂的生产效率，节省人力检测成本且保证产品质量，减少客诉，有效的提高了检测效率。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种适用于LED芯片的外观缺陷检测方法，其特征在于，包括以下步骤：
获取包含潜在外观缺陷的结构化图像，并基于特征识别方式，从所述结构化图像中定位到LED芯片在图像中所处的坐标位置；
根据所述坐标位置，从所述结构化图像中分割得到目标检测图像；
从所述目标检测图像中确定存在外观缺陷的前景区域；
在所述前景区域涵盖的图像范围内，确定外观缺陷所属的几何特征，并根据所述几何特征确定缺陷类别，所述几何特征包括区域面积、圆满度、紧密度、空洞数、空洞面积、圆度、凸度、矩形度、以及长宽比中心距偏差中的至少一种。
2.根据权利要求1所述的方法，其特征在于，所述基于特征识别方式，从所述结构化图像中定位到LED芯片在图像中所处的坐标位置，包括：
获取待检测的初始图像，并根据LED芯片中各晶粒的识别特征，从所述初始图像中确定芯片所在的粗略范围；
在所述粗略范围内，根据预设的极性图像模板进行精确定位，并根据得到的精确定位结果，确定LED芯片在图像中所处的坐标位置。
3.根据权利要求1所述的方法，其特征在于，所述根据所述坐标位置，从所述结构化图像中分割得到目标检测图像，包括：
根据所述坐标位置生成相应的仿射变换矩阵；
确定初始检测区域，并基于生成的仿射变换矩阵对所述初始检测区域进行仿射变换，得到目标检测区域；
基于所述目标检测区域所对应的图像范围，从所述结构化图像中分割得到相应的目标检测图像。
4.根据权利要求1所述的方法，其特征在于，所述从所述目标检测图像中确定存在外观缺陷的前景区域，包括：
对所述目标检测图像进行二值化处理，得到相应的二值化图像；
通过阈值分割方法对所述二值化图像进行分割处理，得到相应的前景图像和背景图像；
根据LED芯片的外观缺陷所对应的识别特征，从所述前景图像中确定存在外观缺陷的前景区域。
5.根据权利要求1所述的方法，其特征在于，针对同一个LED芯片将存在多种缺陷类别，所述根据所述几何特征确定缺陷类别，包括：
确定所属同一LED芯片的多种缺陷类别；
根据外观缺陷对产品质量的影响程度，确定各个缺陷类别分别对应的优先级别，并将对应优先级别最高的缺陷类别，作为最终的目标缺陷类别进行输出。
6.根据权利要求1-5中任一项所述的方法，其特征在于，所述方法还包括：
根据同一外观缺陷在不同光源下呈现出不同成像效果的识别规则，在检测任一图像通道中存在外观缺陷的同时，确定该缺陷区域在其他的图像通道内的灰度和周围区域的灰度差异，以此滤除不存在外观缺陷的图像干扰点，避免出现误判。
7.一种适用于LED芯片的外观缺陷检测系统，其特征在于，所述系统包括图像获取模块、检测分割模块、缺陷定位模块以及缺陷类别识别模块，其中：
所述图像获取模块，用于获取包含潜在外观缺陷的结构化图像，并基于特征识别方式，从所述结构化图像中定位到LED芯片在图像中所处的坐标位置；
所述检测分割模块，用于根据所述坐标位置，从所述结构化图像中分割得到目标检测图像；
所述缺陷定位模块，用于从所述目标检测图像中确定存在外观缺陷的前景区域；
所述缺陷类别识别模块，用于在所述前景区域涵盖的图像范围内，确定外观缺陷所属的几何特征，并根据所述几何特征确定缺陷类别，所述几何特征包括区域面积、圆满度、紧密度、空洞数、空洞面积、圆度、凸度、矩形度、以及长宽比中心距偏差中的至少一种。
8.根据权利要求7所述的系统，其特征在于，所述图像获取模块还用于获取待检测的初始图像，并根据LED芯片中各晶粒的识别特征，从所述初始图像中确定芯片所在的粗略范围；在所述粗略范围内，根据预设的极性图像模板进行精确定位，并根据得到的精确定位结果，确定LED芯片在图像中所处的坐标位置。
9.根据权利要求7所述的系统，其特征在于，所述检测分割模块还用于根据所述坐标位置生成相应的仿射变换矩阵；确定初始检测区域，并基于生成的仿射变换矩阵对所述初始检测区域进行仿射变换，得到目标检测区域；基于所述目标检测区域所对应的图像范围，从所述结构化图像中分割得到相应的目标检测图像。
10.一种可读存储介质，其特征在于，所述可读存储介质中包括适用于LED芯片的外观缺陷检测方法程序，所述适用于LED芯片的外观缺陷检测方法程序被处理器执行时，实现如权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210294871.3A CN114399502A (zh) | 2022-03-24 | 2022-03-24 | 一种适用于led芯片的外观缺陷检测方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210294871.3A CN114399502A (zh) | 2022-03-24 | 2022-03-24 | 一种适用于led芯片的外观缺陷检测方法、系统及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114399502A true CN114399502A (zh) | 2022-04-26 |
Family
ID=81234034
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210294871.3A Pending CN114399502A (zh) | 2022-03-24 | 2022-03-24 | 一种适用于led芯片的外观缺陷检测方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114399502A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115170561A (zh) * | 2022-09-01 | 2022-10-11 | 济南鼎点数控设备有限公司 | 一种基于视觉处理的激光切割工件的圆度检测方法及系统 |
| CN115588123A (zh) * | 2022-12-12 | 2023-01-10 | 河北省科学院应用数学研究所 | 一种奶粉盖保险片异常分类方法、装置、终端及存储介质 |
| CN115619783A (zh) * | 2022-12-15 | 2023-01-17 | 中科慧远视觉技术(北京)有限公司 | 产品加工缺陷的检测方法及装置、存储介质、终端 |
| CN115661148A (zh) * | 2022-12-26 | 2023-01-31 | 视睿（杭州）信息科技有限公司 | 一种晶圆晶粒排列检测方法及系统 |
| CN116664565A (zh) * | 2023-07-28 | 2023-08-29 | 江苏森标科技有限公司 | 一种光伏太阳能电池片的隐裂检测方法及系统 |
| CN117252876A (zh) * | 2023-11-17 | 2023-12-19 | 江西斯迈得半导体有限公司 | 一种led支架缺陷检测方法及系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105513046A (zh) * | 2015-11-23 | 2016-04-20 | 广州视源电子科技股份有限公司 | 电子元件极性的识别方法和系统、标注方法和系统 |
| CN108171244A (zh) * | 2016-12-07 | 2018-06-15 | 北京深鉴科技有限公司 | 对象识别方法和系统 |
| CN109242848A (zh) * | 2018-09-21 | 2019-01-18 | 西华大学 | 基于otsu和ga-bp神经网络墙纸缺陷检测与识别方法 |
| CN109255337A (zh) * | 2018-09-29 | 2019-01-22 | 北京字节跳动网络技术有限公司 | 人脸关键点检测方法和装置 |
| CN109559518A (zh) * | 2018-12-10 | 2019-04-02 | 安徽四创电子股份有限公司 | 一种基于结构化图像识别算法的新型智能交通卡口 |
| CN109916910A (zh) * | 2019-03-27 | 2019-06-21 | 中建材凯盛机器人（上海）有限公司 | 光伏玻璃边部缺陷检测系统及相应的方法 |
| CN110261391A (zh) * | 2019-06-17 | 2019-09-20 | 武汉大学 | 一种led芯片外观检测系统及方法 |
| CN111179243A (zh) * | 2019-12-25 | 2020-05-19 | 武汉昕竺科技服务有限公司 | 一种基于计算机视觉的小尺寸芯片裂纹检测方法及系统 |
| CN112967337A (zh) * | 2021-03-23 | 2021-06-15 | 乐聚(深圳)机器人技术有限公司 | 双足机器人控制方法、装置以及双足机器人 |
| CN113160192A (zh) * | 2021-04-28 | 2021-07-23 | 北京科技大学 | 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置 |
| CN113222938A (zh) * | 2021-05-14 | 2021-08-06 | 珠海埃克斯智能科技有限公司 | 芯片缺陷检测方法及系统与计算机可读存储介质 |
| CN113628161A (zh) * | 2021-07-06 | 2021-11-09 | 深圳市格灵精睿视觉有限公司 | 缺陷检测方法、装置及计算机可读存储介质 |
-
2022
- 2022-03-24 CN CN202210294871.3A patent/CN114399502A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105513046A (zh) * | 2015-11-23 | 2016-04-20 | 广州视源电子科技股份有限公司 | 电子元件极性的识别方法和系统、标注方法和系统 |
| CN108171244A (zh) * | 2016-12-07 | 2018-06-15 | 北京深鉴科技有限公司 | 对象识别方法和系统 |
| CN109242848A (zh) * | 2018-09-21 | 2019-01-18 | 西华大学 | 基于otsu和ga-bp神经网络墙纸缺陷检测与识别方法 |
| CN109255337A (zh) * | 2018-09-29 | 2019-01-22 | 北京字节跳动网络技术有限公司 | 人脸关键点检测方法和装置 |
| CN109559518A (zh) * | 2018-12-10 | 2019-04-02 | 安徽四创电子股份有限公司 | 一种基于结构化图像识别算法的新型智能交通卡口 |
| CN109916910A (zh) * | 2019-03-27 | 2019-06-21 | 中建材凯盛机器人（上海）有限公司 | 光伏玻璃边部缺陷检测系统及相应的方法 |
| CN110261391A (zh) * | 2019-06-17 | 2019-09-20 | 武汉大学 | 一种led芯片外观检测系统及方法 |
| CN111179243A (zh) * | 2019-12-25 | 2020-05-19 | 武汉昕竺科技服务有限公司 | 一种基于计算机视觉的小尺寸芯片裂纹检测方法及系统 |
| CN112967337A (zh) * | 2021-03-23 | 2021-06-15 | 乐聚(深圳)机器人技术有限公司 | 双足机器人控制方法、装置以及双足机器人 |
| CN113160192A (zh) * | 2021-04-28 | 2021-07-23 | 北京科技大学 | 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置 |
| CN113222938A (zh) * | 2021-05-14 | 2021-08-06 | 珠海埃克斯智能科技有限公司 | 芯片缺陷检测方法及系统与计算机可读存储介质 |
| CN113628161A (zh) * | 2021-07-06 | 2021-11-09 | 深圳市格灵精睿视觉有限公司 | 缺陷检测方法、装置及计算机可读存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| 徐科，周鹏编著: "《金属表面质量在线检测技术》", 31 October 2016 * |
| 贺慧: "基于机器视觉的表贴元件缺陷检测与分类研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 陈健等: "基于改进模板匹配及像素相加法的芯片极性二级检测方法", 《仪表技术与传感器》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115170561A (zh) * | 2022-09-01 | 2022-10-11 | 济南鼎点数控设备有限公司 | 一种基于视觉处理的激光切割工件的圆度检测方法及系统 |
| CN115588123A (zh) * | 2022-12-12 | 2023-01-10 | 河北省科学院应用数学研究所 | 一种奶粉盖保险片异常分类方法、装置、终端及存储介质 |
| CN115619783A (zh) * | 2022-12-15 | 2023-01-17 | 中科慧远视觉技术(北京)有限公司 | 产品加工缺陷的检测方法及装置、存储介质、终端 |
| CN115619783B (zh) * | 2022-12-15 | 2023-04-11 | 中科慧远视觉技术(北京)有限公司 | 产品加工缺陷的检测方法及装置、存储介质、终端 |
| CN115661148A (zh) * | 2022-12-26 | 2023-01-31 | 视睿（杭州）信息科技有限公司 | 一种晶圆晶粒排列检测方法及系统 |
| CN116664565A (zh) * | 2023-07-28 | 2023-08-29 | 江苏森标科技有限公司 | 一种光伏太阳能电池片的隐裂检测方法及系统 |
| CN117252876A (zh) * | 2023-11-17 | 2023-12-19 | 江西斯迈得半导体有限公司 | 一种led支架缺陷检测方法及系统 |
| CN117252876B (zh) * | 2023-11-17 | 2024-02-09 | 江西斯迈得半导体有限公司 | 一种led支架缺陷检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114399502A (zh) | 一种适用于led芯片的外观缺陷检测方法、系统及存储介质 | |
| CN110060237B (zh) | 一种故障检测方法、装置、设备及系统 | |
| CN109829914B (zh) | 检测产品缺陷的方法和装置 | |
| Kaneko et al. | Robust image registration by increment sign correlation | |
| CN114581742B (zh) | 基于线性度的连通域聚类融合方法、装置、系统及介质 | |
| US10410087B2 (en) | Automated methods and systems for locating document subimages in images to facilitate extraction of information from the located document subimages | |
| CN111179243A (zh) | 一种基于计算机视觉的小尺寸芯片裂纹检测方法及系统 | |
| CN113570605B (zh) | 一种基于液晶显示面板的缺陷检测方法和系统 | |
| US20180253852A1 (en) | Method and device for locating image edge in natural background | |
| CN109738450B (zh) | 笔记本键盘的检测方法和装置 | |
| CN111325717B (zh) | 手机缺陷位置识别方法及设备 | |
| CN110648330B (zh) | 摄像头玻璃的缺陷检测方法 | |
| CN111259891B (zh) | 一种自然场景下身份证识别方法、装置、设备和介质 | |
| CN117152165B (zh) | 感光芯片缺陷的检测方法、装置、存储介质及电子设备 | |
| CN111784675A (zh) | 物品纹理信息处理的方法、装置、存储介质及电子设备 | |
| CN113469921A (zh) | 图像缺陷修复方法、系统、计算机设备及存储介质 | |
| CN115375629A (zh) | 一种lcd屏幕中线缺陷检测及缺陷信息提取方法 | |
| CN116152166A (zh) | 基于特征相关性的缺陷检测方法及相关装置 | |
| CN113033558A (zh) | 一种用于自然场景的文本检测方法及装置、存储介质 | |
| CN112560538A (zh) | 一种根据图像冗余信息快速定位受损qr码的方法 | |
| CN110390682B (zh) | 一种模板自适应的图像分割方法、系统和可读存储介质 | |
| CN110288040B (zh) | 一种基于拓扑验证的图像相似评判方法及设备 | |
| De Oliveira et al. | Detecting modifications in printed circuit boards from fuel pump controllers | |
| CN117132797A (zh) | 一种lcd显示屏polmark定位检测方法及系统 | |
| Zhou et al. | An adaptive clustering method detecting the surface defects on linear guide rails |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220426 |
|
| RJ01 | Rejection of invention patent application after publication |