CN110097542B - 芯片气泡的检测方法、装置及存储介质 - Google Patents
芯片气泡的检测方法、装置及存储介质 Download PDFInfo
- Publication number
- CN110097542B CN110097542B CN201910326503.0A CN201910326503A CN110097542B CN 110097542 B CN110097542 B CN 110097542B CN 201910326503 A CN201910326503 A CN 201910326503A CN 110097542 B CN110097542 B CN 110097542B
- Authority
- CN
- China
- Prior art keywords
- chip
- image
- pixel
- bubble
- bubbles
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 44
- 230000011218 segmentation Effects 0.000 claims abstract description 5
- 238000001514 detection method Methods 0.000 claims description 28
- 238000012937 correction Methods 0.000 claims description 23
- 239000010410 layer Substances 0.000 claims description 16
- 230000007547 defect Effects 0.000 claims description 2
- 239000011229 interlayer Substances 0.000 claims description 2
- 238000013461 design Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008439 repair process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
- G06T3/608—Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种芯片气泡的检测方法，包括以下步骤：根据获取待测芯片的结构信息进行多层结构建模，再获取芯片图像，基于芯片结构轮廓对图像进行多区自动分割，识别出各目标区域，对所述芯片图像进行图像二值化处理，得到二值化图像，识别所述二值化图像中各目标区域的灰度值非零的像素点，并根据所述灰度值非零的像素点确定各目标区域的气泡轮廓，对所有区域的气泡进行相应的气泡大小以及气泡位置的统计。本发明还公开了一种芯片气泡的检测装置以及计算机可读存储介质。本发明提高了芯片气泡检测的效率。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种芯片气泡的检测方法、芯片气泡的检测装置以及计算机可读存储介质。
背景技术
基于视觉检测的芯片气泡检测方法一般需要人工将待检器件放置在X射线无损检测设备的检测工装台上，然后操作设备对准待检器件，再操控X射线头对器件进行拍照，拍照后将图片传输到判断分析计算机上，通过对图像中的气泡进行检测，可以协助检测人员发现元器件是否存在气泡的质量问题。
目前使用的X射线检测设备，只具备对元器件穿透成像功能，不具备质量问题自动判读功能，只能完全由人工进行检测设备操作和对成像图像的判断分析，导致芯片气泡检测效率低下。
发明内容
本发明的主要目的在于提供一种芯片气泡的检测方法、芯片气泡的检测装置以及计算机可读存储介质，提高了芯片气泡检测的效率。
为实现上述目的，本发明提供一种芯片气泡的检测方法，所述芯片气泡的检测方法包括以下步骤：
获取芯片图像，所述芯片图像通过拍摄待检测芯片得到；
对所述芯片图像进行图像二值化处理，得到二值化图像；
根据所述二值化图像中灰度值非零的像素点，确定所述芯片图像中的气泡。
优选地，所述根据所述二值化图像中灰度值非零的像素点，确定所述芯片图像中的气泡的步骤包括：
逐行检测所述二值化图像中各个像素点的灰度值，并将灰度值非零的像素点作为目标像素点；
根据当前检测到的目标像素点与其他目标像素点之间的位置关系，确定所述当前检测到的目标像素点所在的像素集；
在检测完所述二值化图像中所有的所述像素点后，根据所述像素集确定所述芯片图像中的气泡。
优选地，所述根据当前检测到的目标像素点与其他目标像素点之间的位置关系，确定所述当前检测到的目标像素点所在的像素集的步骤包括：
判断当前检测到的目标像素点是否存在相邻的目标像素点；
若是，将所述当前检测到的目标像素点归类到与所述相邻的目标像素点对应的像素集；
若否，建立一个像素集，并将所述当前检测到的目标像素点归类到所述像素集。
优选地，所述判断当前检测到的目标像素点是否存在相邻的目标像素点的步骤之后，还包括：
在当前检测到的目标像素点存在至少两个相邻的目标像素点时，检测所述相邻的目标像素点对应的像素集是否相同；
若是，将所述当前检测到的目标像素归类到所述相邻的目标像素点对应的像素集；
若否，将所述相邻的目标像素点对应的像素集进行合并，并将所述当前检测到的目标像素点归类到合并后的所述像素集。
优选地，所述芯片气泡的检测方法还包括：
在根据所述像素集确定所述芯片图像中的气泡之前，检测各个所述像素集的端点像素点，所述端点像素点相邻的目标像素点的数量小于第一预设数量；
将所述端点像素点之间相隔的像素点的数量小于第二预设数量的不同像素集合并为同一个像素集。
优选地，所述根据所述像素集确定所述芯片图像中的气泡的步骤包括：
计算所述像素集的数量，并将所述像素集的数量作为检测得到的所述芯片图像中的气泡数量。
优选地，所述对所述芯片图像进行图像二值化处理，得到二值化图像的步骤之前，还包括：
提取所述芯片图像的预设区域图像，并将所述预设区域图像作为用于进行图像二值化处理的芯片图像。
获取所述待检测芯片的层次结构信息，并根据所述层次结构信息在所述芯片图像中识别出目标区域；
所述根据所述二值化图像中灰度值非零的像素点，确定所述芯片图像中的气泡的步骤包括：
识别所述二值化图像中各个所述目标区域的灰度值非零的像素点，并根据所述灰度值非零的像素点确定所述目标区域的气泡的气泡轮廓；
对所有所述目标区域中的气泡的所述气泡轮廓进行轮廓不良修复，并基于修复后的所述气泡轮廓确定各个目标区域中的气泡数量；
对所有所述目标区域的气泡数量进行求和运算，以得到所述芯片图像中的气泡数量。
优选地，所述获取所述待检测芯片的层次结构信息，并根据所述层次结构信息在所述芯片图像中识别出目标区域的步骤包括：
获取待测芯片的结构信息并进行多层结构建模，以得到所述待检测芯片的层次结构信息；
根据所述层次结构信息在所述芯片图像中进行多区自动分割，识别出各个目标区域。
优选地，所述芯片气泡的检测方法还包括：
在获取得到所述芯片图像时，对所述芯片图像进行旋转校正处理；
获取基准图像，根据所述基准图像对旋转校正处理后的所述芯片图像进行尺寸校正处理。
为实现上述目的，本发明还提供一种芯片气泡的检测装置，所述芯片气泡的检测装置包括：
所述芯片气泡的检测装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的芯片气泡的检测程序，所述芯片气泡的检测程序被所述处理器执行时实现如上述芯片气泡的检测方法的步骤。
为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有芯片气泡的检测程序，所述芯片气泡的检测程序被处理器执行时实现如上述芯片气泡的检测方法的步骤。
本发明提供的芯片气泡的检测方法、芯片气泡的检测装置以及计算机可读存储介质，获取芯片图像，所述芯片图像通过拍摄待检测芯片得到；对所述芯片图像进行图像二值化处理，得到二值化图像；根据所述二值化图像中灰度值非零的像素点，确定所述芯片图像中的气泡。这样，提高了芯片气泡检测的效率。
附图说明
图1为本发明实施例方案涉及的实施例终端的硬件运行环境示意图；
图2为本发明芯片气泡的检测方法第一实施例的流程示意图；
图3为本发明芯片气泡的检测方法第二实施例的流程示意图；
图4为本发明芯片气泡的检测方法第三实施例的流程示意图；
图5为本发明芯片气泡的检测方法第三实施例的又一流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种芯片气泡的检测方法，提高了芯片气泡检测的效率。
如图1所示，图1是本发明实施例方案涉及的实施例终端的硬件运行环境示意图；
本发明实施例终端可以是芯片气泡的检测装置，也可以是可对芯片气泡的检测装置进行控制的控制终端。
如图1所示，该终端可以包括：处理器1001，例如CPU中央处理器(centralprocessing unit)，存储器1002，通信总线1003。其中，通信总线1003用于实现该终端中各组成部件之间的连接通信。存储器1002可以是高速RAM随机存储器(random-accessmemory)，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1002可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的终端的结构并不构成对本发明实施例终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1002中可以包括芯片气泡的检测程序。
在图1所示的终端中，处理器1001可以用于调用存储器1002中存储的芯片气泡的检测程序，并执行以下操作：
获取芯片图像，所述芯片图像通过拍摄待检测芯片得到；
对所述芯片图像进行图像二值化处理，得到二值化图像；
根据所述二值化图像中灰度值非零的像素点，确定所述芯片图像中的气泡。
进一步地，处理器1001可以调用存储器1002中存储的芯片气泡的检测程序，还执行以下操作：
逐行检测所述二值化图像中各个像素点的灰度值，并将灰度值非零的像素点作为目标像素点；
根据当前检测到的目标像素点与其他目标像素点之间的位置关系，确定所述当前检测到的目标像素点所在的像素集；
在检测完所述二值化图像中所有的所述像素点后，根据所述像素集确定所述芯片图像中的气泡。
进一步地，处理器1001可以调用存储器1002中存储的芯片气泡的检测程序，还执行以下操作：
判断当前检测到的目标像素点是否存在相邻的目标像素点；
若是，将所述当前检测到的目标像素点归类到与所述相邻的目标像素点对应的像素集；
若否，建立一个像素集，并将所述当前检测到的目标像素点归类到所述像素集。
进一步地，处理器1001可以调用存储器1002中存储的芯片气泡的检测程序，还执行以下操作：
在当前检测到的目标像素点存在至少两个相邻的目标像素点时，检测所述相邻的目标像素点对应的像素集是否相同；
若是，将所述当前检测到的目标像素归类到所述相邻的目标像素点对应的像素集；
若否，将所述相邻的目标像素点对应的像素集进行合并，并将所述当前检测到的目标像素点归类到合并后的所述像素集。
进一步地，处理器1001可以调用存储器1002中存储的芯片气泡的检测程序，还执行以下操作：
在根据所述像素集确定所述芯片图像中的气泡之前，检测各个所述像素集的端点像素点，所述端点像素点相邻的目标像素点的数量小于第一预设数量；
将所述端点像素点之间相隔的像素点的数量小于第二预设数量的像素集合并为同一个像素集。
进一步地，处理器1001可以调用存储器1002中存储的芯片气泡的检测程序，还执行以下操作：
计算所述像素集的数量，并将所述像素集的数量作为检测得到的所述芯片图像中的气泡数量。
进一步地，处理器1001可以调用存储器1002中存储的芯片气泡的检测程序，还执行以下操作：
提取所述芯片图像的预设区域图像，并将所述预设区域图像作为用于进行图像二值化处理的芯片图像。
进一步地，处理器1001可以调用存储器1002中存储的芯片气泡的检测程序，还执行以下操作：
获取所述待检测芯片的层次结构信息，并根据所述层次结构信息在所述芯片图像中识别出目标区域；
所述根据所述二值化图像中灰度值非零的像素点，确定所述芯片图像中的气泡的步骤包括：
识别所述二值化图像中各个所述目标区域的灰度值非零的像素点，并根据所述灰度值非零的像素点确定所述目标区域的气泡的气泡轮廓；
对所有所述目标区域中的气泡的所述气泡轮廓进行轮廓不良修复，并基于修复后的所述气泡轮廓确定各个目标区域中的气泡数量；
对所有所述目标区域的气泡数量进行求和运算，以得到所述芯片图像中的气泡数量。
进一步地，处理器1001可以调用存储器1002中存储的芯片气泡的检测程序，还执行以下操作：
获取待测芯片的结构信息并进行多层结构建模，以得到所述待检测芯片的层次结构信息；
根据所述层次结构信息在所述芯片图像中进行多区自动分割，识别出各个目标区域。
进一步地，处理器1001可以调用存储器1002中存储的芯片气泡的检测程序，还执行以下操作：
在获取得到所述芯片图像时，对所述芯片图像进行旋转校正处理；
获取基准图像，根据所述基准图像对旋转校正处理后的所述芯片图像进行尺寸校正处理。
参照图2，在一实施例中，所述芯片气泡的检测方法包括：
步骤S10、获取芯片图像，所述芯片图像通过拍摄待检测芯片得到。
本实施例中，实施例终端可以是芯片气泡的检测装置，也可以是可对芯片气泡的检测装置进行控制的控制终端。以下以实施例终端为芯片气泡的检测装置为例进行说明。
可选地，所述芯片气泡的检测装置可以包括用于对待检测芯片进行拍摄芯片图像的摄像部件，如X射线头部件，通过摄像部件拍摄待检测芯片以获取得到芯片图像。
可选地，所述芯片气泡的检测装置可以通过通信传输，获取用于对待检测芯片进行拍摄芯片图像的设备(如X射线检测设备)所拍摄的芯片图像。当然，所述芯片气泡的检测装置也可以是内嵌在用于对待检测芯片进行拍摄芯片图像的设备中。
步骤S20、对所述芯片图像进行图像二值化处理，得到二值化图像。
一般地，芯片气泡多存在于芯片的内腔边缘至芯片边缘之间的外腔区域，因此，可以是在对芯片图像进行图像二值化处理前，先截取掉芯片图像的内腔区域部分对应的区域图像，即将芯片的内腔边缘至芯片边缘之间的外腔区域作为预设区域，并从芯片图像中提取出与该预设区域对应的预设区域图像；或者，在对芯片图像进行图像二值化处理后，再截取掉芯片图像的内腔区域部分对应的区域图像，以提取所述芯片图像的预设区域图像。
可选地，在对芯片图像进行图像二值化处理前，提取所述芯片图像的预设区域图像，并将所述预设区域图像作为用于进行图像二值化处理的芯片图像。通过图像分割的方式确定芯片图像中待检测芯片的对应显示图像的外边缘，获取模板图像，将模板图像的外边缘作为芯片的内腔区域的边缘(即目标图像为芯片内腔区域图像)，芯片图像和模板图像重叠时，确认得到的芯片的外边缘和芯片的内腔区域的边缘之间的区域，即可作为预设区域，同时，将芯片图像和模板图像进行图像的异或处理，即可得到芯片图像的预设区域图像。
可选地，采用canny边缘检测算子对预设区域图像进行二值化处理，以得到所述二值化图像，经过canny边缘检测算子计算得到的二值化图像中，只有灰度值为0或1的像素点。需要说明的是，也可以是采用常规阈值分割方法对预设区域图像进行二值化处理。
可选地，在对预设区域图像进行二值化处理前，先对提取得到的预设区域图像进行图像降噪处理(即滤除噪声)。可选地，通过中值滤波对预设区域图像进行降噪。
可选地，在对芯片图像二值化处理后，提取所述芯片图像的预设区域图像，并将提取得到的预设区域图像作为用于后续气泡检测的二值化图像。通过图像分割的方式确定芯片图像中待检测芯片的对应显示图像的外边缘，获取模板图像，将模板图像的外边缘作为芯片的内腔区域的边缘(即目标图像为芯片内腔区域图像)，芯片图像和模板图像重叠时，确认得到的芯片的外边缘和芯片的内腔区域的边缘之间的区域，即可作为预设区域，同时，对所述模板图像进行二值化处理，然后将二值化处理后的芯片图像和二值化处理后的模板图像进行图像的异或处理，即可得到经过二值化处理后的芯片图像的预设区域图像。
步骤S30、根据所述二值化图像中灰度值非零的像素点，确定所述芯片图像中的气泡。
经过步骤S20后得到的二值化图像中，具有灰度值为0的像素点，以及灰度值为1的像素点，其中，灰度值非零的像素点组成了二值化图像中的各个气泡图像，即每个气泡图像由至少一个灰度值非零的像素点组成。
可选地，将灰度值非零的像素点作为目标像素点，从二值化图像的第一行像素行开始，逐行检测，以及从每一像素行的第一个像素点开始，逐个检测目标像素点(灰度值非零的像素点)，并为每个目标像素点建立对应的像素集，或者归类到对应的像素集。在检测到目标像素点时，则判断当前检测到的目标像素点是否具有相邻的目标像素点，若否，说明该目标像素点当前并未存在可归类的像素集，则建立一个新的像素集，并将当前检测到的目标像素点归类到这个新建立的像素集中；若是，说明该目标像素点当前已存在可归类的像素集，则将当前检测到的目标像素点归类到与其相邻的目标像素点对应的像素集。
需要说明的是，由于是逐行逐个检测目标像素点，因此，与当前检测到的目标像素点相邻的目标像素点，可以是与其处于同一像素行的上一次刚检测完的像素点，也可以是处于上一行刚检测完的像素行中，在像素行的排列顺序与其相同的像素点。
需要说明的是，在当前检测到的目标像素点同时存在两个相邻的目标像素点时(即一个在上一像素行，另一个为当前像素行的当前像素点的上一个像素点)，可能存在两个相邻的目标像素点先前归类到了不同的像素集的情况，因此，先判定与当前目标像素点相邻的两个目标像素点是否处于同一像素集，若是，则直接将当前检测到的目标像素点归类到该像素集；若否，则将与当前目标像素点相邻的两个目标像素点分别对应的像素集进行合并，然后将当前检测到的目标像素点归类到合并后的所述像素集。
可选地，在每新建一个像素集时，对该像素集进行编号，可根据像素集的生成顺序分配对应的序号。需要说明的是，在编号后的像素集需要合并时，则合并后的像素集的编号为两个合并的像素集中编号最前的像素集的编号，并将排列在两个合并的像素集中编号最后的像素集后面的像素集的编号依次顺位。
应当理解的是，检测到二值化图像的第一个目标像素点时，则建立第一个像素集，并将第一个检测到的目标像素点归类到第一个建立的像素集中。
可选地，确定二值化图像中的像素集的方法还可以是：统一对二值化图像中的像素点进行检测，检测出目标像素点并记录其在图像中的位置(二值化图像中像素点的位置可以是对图像的像素行和像素列进行编号，则得到每个像素点的二元坐标，作为像素点在图像中的位置)，在遍历二值化图像的各个像素点并得到各个目标像素点的位置后，将所有相邻的目标像素点归类为同一个像素集，以及将并无相邻的目标像素点的目标像素点，单独归类为一个像素集，这样便可确定得到二值化图像中的像素集。需要说明的是，与当前检测到的像素点相邻的像素点，最多有4个，可以是同一行像素行中，当前像素点的上一个像素点，可以是同一行像素行中，当前像素点的下一个像素点，可以是同一列像素列中，当前像素点的上一个像素点，可以是同一列像素列中，当前像素点的下一个像素点。
可选地，与当前检测到的像素点相邻的像素点，最多有8个，即以该像素点为九宫格中心点时，九宫格其余8邻域的8个像素点。
一般地，二值化图像保留的气泡边缘中可能存在不完整轮廓，即一个气泡的轮廓不能被算法完整的提取出来，可能存在断开分成几段轮廓的情况，并且断开的边缘对应的像素均保留在不同的轮廓编号里或者轮廓存在缺口。设计识别每段不完整轮廓中收尾点，针对第一种情况，在一定的像素范围内搜索疑似同一气泡的轮廓，相互连接，使其成为完整的气泡；针对第二种情况，使用插值的方法使气泡轮廓完整。
可选地，在根据所述像素集确定所述芯片图像中的气泡之前，检测各个所述像素集的端点像素点，所述端点像素点在同一像素集中相邻的目标像素点的数量小于第一预设数量，并且满足一定条件，即可将相邻的目标像素点的数量小于第一预设数量的目标像素点看作是该像素集的突出部，由于气泡图像的轮廓边缘一般比较圆缓，因此在像素集具有端点像素点时，可认为还存在其他像素集与该像素集同属一个气泡图像。需要说明的是，与当前检测到的像素点相邻的像素点，最多有8个，即以该像素点为九宫格中心点时，九宫格其余8邻域的8个像素点(且这些像素点均同属一个像素集)，其中，所述第一预设数量为3个，即与当前目标像素点的同一像素集中，相邻的目标像素点小于3个(即小于等于2个，只有1个或2个)，且这些目标像素点之间亦需彼此相邻，则可以判定当前目标像素点为端点像素点。应当理解的是，一个像素集可包括至多2个端点像素点。应当理解的是，在某像素集中，只有一个目标像素点时，则该目标像素点即为该像素集的端点像素点。
在确定每个像素集的端点像素点后，分别检测每个像素集的端点像素点与其余像素集的端点像素集之间相隔的像素点的数量，在两个像素集的端点像素点之间相隔的像素点的数量小于第二预设数量时，则可判定两者同属一个气泡图像，因此，将这两个像素集合并为同一个像素集。需要说明的是，所述第二预设数量为预先设置的相隔像素点数量，可选为3个、5个、6个、10个等。可选地，在将这两个像素集合并为同一个像素集时，将对应的两个端点像素点之间相隔的像素点改判为目标像素点，以实现两个像素集的连接，即进行气泡的不良修复。
在确定好二值化图像中的像素集后，即可根据像素集确定芯片图像的气泡。具体地，计算像素集的数量，并将计算得到的像素集的数量作为芯片图像的气泡数量，这样，实现了对芯片的气泡检测。
当然，也可以是根据各个像素集中，记录的各个目标像素点的位置，以确定芯片图像中，各个气泡在图像中的位置。
在一实施例中，获取芯片图像，所述芯片图像通过拍摄待检测芯片得到；对所述芯片图像进行图像二值化处理，得到二值化图像；根据所述二值化图像中灰度值非零的像素点，确定所述芯片图像中的气泡。这样，通过实现自动检测芯片气泡，提高了芯片气泡检测的效率。
在第二实施例中，如图3所示，在上述图2所示的实施例基础上，所述芯片气泡的检测方法还包括：
步骤S11、在获取得到所述芯片图像时，对所述芯片图像进行旋转校正处理。
步骤S12、获取基准图像，根据所述基准图像对旋转校正处理后的所述芯片图像进行尺寸校正处理。
本实施例中，一般地，多数芯片体积极小并且是人工摆放，就存在拍摄出得芯片图像中芯片摆放位置歪斜的问题，因此需要对芯片图像进行旋转校正。同时，在人工摆放芯片时会根据需求拉近镜头，也会导致图像中的芯片显像较大，所以还需要选择图片中芯片大小较为合适的图像作为模板对其他进行尺度校正。
可选地，在芯片图像是通过X光拍摄时，获取得到的芯片图像的背景(即图像中除芯片显像区域外的其余区域)为亮色，灰度值大于200，而芯片的边缘灰度均低于一阈值(不同芯片会有所区别)。
可选地，选择图像Y轴作为基准线，并任意选择两条平行于基准线的直线，分别与图中芯片的上边缘部分(也可以是下边缘部分)交于2个点(芯片一般为方形，即一般具有上、下、左、右四条边)，以截取图中芯片的边缘线，然后选择图像X轴为校正线，根据截取得到的边缘线与校正线之间形成的夹角角度，即可得到芯片图像的倾斜角度，然后根据倾斜角度对芯片图像进行旋转校正，以使图中芯片的上下边缘与图像X轴平行、左右边缘与图像Y轴平行，或者图中芯片的上下边缘与图像Y轴垂直、左右边缘与图像X轴垂直。
可选地，选择图像X轴作为基准线，并任意选择两条平行于基准线的直线，分别与图中芯片的左边缘部分(也可以是右边缘部分)交于2个点(芯片一般为方形，即一般具有上、下、左、右四条边)，以截取图中芯片的边缘线，然后选择图像Y轴为校正线，根据截取得到的边缘线与校正线之间形成的夹角角度，即可得到芯片图像的倾斜角度，然后根据倾斜角度对芯片图像进行旋转校正，以使图中芯片的上下边缘与图像X轴平行、左右边缘与图像Y轴平行，或者图中芯片的上下边缘与图像Y轴垂直、左右边缘与图像X轴垂直。
这样，实现芯片图像的倾斜自纠正，解决了因芯片摆放位置不良导致得到的芯片图像中芯片显像倾斜的问题。
可选地，所述基准图像中显像的芯片与芯片图像中的芯片为同一种类的芯片，所述基准图像中芯片显像的尺寸满足用户的预设需求，即芯片图像中芯片显像的尺寸需校正至基准图像一样的尺寸。应当理解的是，基准图像的尺寸可是根据用户的实际需要设置的。针对旋转校正后的芯片图像，任意选择平行于图像Y轴的两条直线，每条直线分别与图中芯片的上下边缘部分交于2个点。任意选择平行于图像X轴的两条直线，每天直线分别与图中芯片的左右边缘部分交于2个点。通过这8个点确定芯片图像中芯片显像区域的上下左右4条外边缘，并计算上边缘到下边缘的距离d1，以及计算左边缘到右边缘的距离d2，同时，获取基准图像中芯片显像的上边缘到下边缘的距离d3，以及左边缘到右边缘的距离d4(由于基准图像中芯片显像的尺寸为预先设置的，因此可以直接获取边缘距离，当然也可以采用与芯片图像一样的计算方法)，并获取芯片图像当前的坐标(x0，y0)，通过以下公式计算芯片图像尺寸校正后的坐标：
其中，(x，y)即为芯片图像尺寸校正坐标，根据计算得到的(x，y)对芯片图像进行尺寸校正处理，即将芯片图像的坐标调整至(x，y)。
这样，就实现将芯片图像的芯片显像尺寸调整至基准图像一样的尺寸大小。
这样，实现了芯片图像的尺寸自动校正，解决了因拍摄芯片时调整的镜像大小不规范导致的芯片图像尺寸偏大或偏小的问题。
在第三实施例中，如图4所示，在上述图2至图3所示的实施例基础上，所述对所述芯片图像进行图像二值化处理，得到二值化图像的步骤之前，还包括：
步骤S40、获取所述待检测芯片的层次结构信息，并根据所述层次结构信息在所述芯片图像中识别出目标区域。
所述根据所述二值化图像中灰度值非零的像素点，确定所述芯片图像中的气泡的步骤包括：
步骤S31、识别所述二值化图像中各个所述目标区域的灰度值非零的像素点，并根据所述灰度值非零的像素点确定所述目标区域的气泡的气泡轮廓。
步骤S32、对所有所述目标区域中的气泡的所述气泡轮廓进行轮廓不良修复，并基于修复后的所述气泡轮廓确定各个目标区域中的气泡数量；
步骤S33、对所有所述目标区域的气泡数量进行求和运算，以得到所述芯片图像中的气泡数量。
本实施例中，在对芯片图像进行二值化处理之前，可以是获取芯片图像所显像的芯片，即待检测芯片的层次结构信息(需要说明的是，一般芯片是具有多层的物理结构，如3至4层，芯片由各个结构层叠加制备而成，所述层次结构信息即可包括芯片各个物理结构层的结构信息和层间位置。)，根据层次结构信息在芯片图像中识别出多个目标区域并保存各个目标区域在芯片图像中的位置，然后再对芯片图像进行二值化处理。
可选地，由于芯片一般均具有设计图，以及相关设计数据(芯片通过设计图及相关设计数据制备得到)，因此，通过获取芯片的设计图及设计数据，即可得到待检测芯片的结构信息(当然，待检测芯片的层次结构信息可以是芯片对应的制备人员存储在服务器，终端可向服务器发送层次结构信息获取请求，并接收服务器基于获取请求返回的层次结构信息)，根据所述结构信息进行待测芯片的多层结构建模，以得到层次结构信息。
由于芯片各个物理结构层间，层与层之间存在不同的重叠区域，而不同的重叠层数在芯片图像中有不同的灰度变化区间，一般地，重叠层数越多的部分在图像中灰度值越小，这些不同的灰度将芯片图像分割成不同的区域，这些区域会根据层的位置变化而发生相应的改变。因此，根据待检测芯片的每一层的结构特征(结构特征可由层次结构信息得知)在芯片图像中进行相应的搜索，利用计算所得的每一层的位置，对芯片图像进行多区自动分割，并将分割得到的各个区域作为目标区域。
可选地，可以是先对芯片图像进行预设区域图像提取，然后识别出预设区域图像中的目标区域；也可以是先对芯片图像进行目标区域识别，然后提取预设区域图像，并剔除各个目标区域对应不存在于预设区域图像中的部分。这样，即可实现预设区域图像的目标区域识别，并将进行目标区域识别后的预设区域图像作为用于进行二值化处理的芯片图像。
在对芯片图像二值化处理后，分别检测各个二值化图像各个目标区域的灰度值非零的像素点，并根据灰度值非零的像素点可在每个目标区域像素范围内搜索疑似同一气泡的气泡轮廓，而由于搜索到的气泡轮廓可能存在一个完整气泡断开在几个目标区域，因此对全图搜索到的所有目标区域的气泡的气泡轮廓进行轮廓不良修复，将疑似同一气泡的轮廓，相互连接，使其成为完整的气泡，或者，使用插值的方法使气泡轮廓完整。
并基于修复后的所述气泡轮廓确定各个目标区域中的气泡大小(或者气泡面积，可通过统计各个气泡中的灰度值非零的像素点)、该气泡所在图像中的位置(可通过像素坐标确定)，以及气泡数量，再对所有所述目标区域的气泡数量进行求和运算，即可以得到芯片图像的气泡数量。
可选地，对气泡的气泡轮廓的轮廓不良修复，可以是在根据所述像素集确定所述芯片图像中的气泡之前，检测各个所述像素集的端点像素点，所述端点像素点相邻的目标像素点的数量小于第一预设数量，将所述端点像素点之间相隔的像素点的数量小于第二预设数量的不同像素集合并为同一个像素集。
这样，通过将芯片图像划分为多个目标区域，有利于确定气泡在芯片图像中的轮廓(因为芯片的气泡基本都是在芯片组装的过程中产生的，因此气泡一般存在于目标区域内)，以免针对全图查询气泡(在全图查找时还需预先设定阈值，以及剔除干扰轮廓)，可提高芯片图像的气泡的识别效率。
可选地，参照图5，本实施例方案实施流程亦可以是先根据获取待测芯片的结构信息进行多层结构建模，再获取芯片图像，基于芯片结构轮廓对图像进行多区自动分割，识别出各目标区域，对所述芯片图像进行图像二值化处理，得到二值化图像，识别所述二值化图像中各目标区域的灰度值非零的像素点，并根据所述灰度值非零的像素点确定各目标区域的气泡轮廓，对所有区域的气泡进行相应的气泡大小以及气泡位置的统计。
此外，本发明还提出一种芯片气泡的检测装置，所述芯片气泡的检测装置包括存储器、处理器及存储在存储器上并可在处理器上运行的芯片气泡的检测程序，所述处理器执行所述芯片气泡的检测程序时实现如以上实施例所述的芯片气泡的检测方法的步骤。
此外，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质包括芯片气泡的检测程序，所述芯片气泡的检测程序被处理器执行时实现如以上实施例所述的芯片气泡的检测方法的步骤。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是电视机，手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种芯片气泡的检测方法，其特征在于，所述芯片气泡的检测方法包括以下步骤：
获取芯片图像，所述芯片图像通过X射线检测设备拍摄待检测芯片得到；
对所述芯片图像进行图像二值化处理，得到二值化图像；
根据所述二值化图像中灰度值非零的像素点，确定所述芯片图像中的气泡；
所述对所述芯片图像进行图像二值化处理，得到二值化图像的步骤之前，还包括：
提取所述芯片图像的预设区域图像，根据所述待检测芯片的层次结构信息在芯片图像中识别出目标区域，并将目标区域识别后的所述预设区域图像作为用于进行图像二值化处理的芯片图像，所述预设区域根据为芯片图像和模板图像重叠时，确认得到的芯片的外边缘和芯片的内腔区域的边缘之间的区域，所述模板图像为芯片内腔区域图像；所述层次结构信息包括芯片各个物理结构层的结构信息和层间位置；
所述根据所述二值化图像中灰度值非零的像素点，确定所述芯片图像中的气泡的步骤包括：
识别所述二值化图像各个目标区域的灰度值非零的像素点，并根据灰度值非零的像素点在每个目标区域像素范围内搜索疑似同一气泡的气泡轮廓，将全图搜索到的所有目标区域的气泡的气泡轮廓进行轮廓不良修复；
基于修复后的所述气泡轮廓确定各个目标区域中的气泡数量；
对所有所述目标区域的气泡数量进行求和运算，以得到所述芯片图像中的气泡数量；
所述将全图搜索到的所有目标区域的气泡的气泡轮廓进行轮廓不良修复的步骤包括：
将全图搜索到的所有气泡轮廓中疑似同一气泡的气泡轮廓相互连接，使其成为完整的气泡，或者，使用插值的方法使气泡轮廓完整。
2.如权利要求1所述的芯片气泡的检测方法，其特征在于，所述根据所述二值化图像中灰度值非零的像素点，确定所述芯片图像中的气泡的步骤包括：
逐行检测所述二值化图像中各个像素点的灰度值，并将灰度值非零的像素点作为目标像素点；
根据当前检测到的目标像素点与其他目标像素点之间的位置关系，确定所述当前检测到的目标像素点所在的像素集；
在检测完所述二值化图像中所有的所述像素点后，根据所述像素集确定所述芯片图像中的气泡。
3.如权利要求2所述的芯片气泡的检测方法，其特征在于，所述根据当前检测到的目标像素点与其他目标像素点之间的位置关系，确定所述当前检测到的目标像素点所在的像素集的步骤包括：
判断当前检测到的目标像素点是否存在相邻的目标像素点；
若是，将所述当前检测到的目标像素点归类到与所述相邻的目标像素点对应的像素集；
若否，建立一个像素集，并将所述当前检测到的目标像素点归类到所述像素集。
4.如权利要求3所述的芯片气泡的检测方法，其特征在于，所述判断当前检测到的目标像素点是否存在相邻的目标像素点的步骤之后，还包括：
在当前检测到的目标像素点存在至少两个相邻的目标像素点时，检测所述相邻的目标像素点对应的像素集是否相同；
若是，将所述当前检测到的目标像素归类到所述相邻的目标像素点对应的像素集；
若否，将所述相邻的目标像素点对应的像素集进行合并，并将所述当前检测到的目标像素点归类到合并后的所述像素集。
5.如权利要求2所述的芯片气泡的检测方法，其特征在于，所述芯片气泡的检测方法还包括：
在根据所述像素集确定所述芯片图像中的气泡之前，检测各个所述像素集的端点像素点，所述端点像素点相邻的目标像素点的数量小于第一预设数量；
将所述端点像素点之间相隔的像素点的数量小于第二预设数量的不同像素集合并为同一个像素集。
6.如权利要求2所述的芯片气泡的检测方法，其特征在于，所述根据所述像素集确定所述芯片图像中的气泡的步骤包括：
计算所述像素集的数量，并将所述像素集的数量作为检测得到的所述芯片图像中的气泡数量。
7.如权利要求1所述的芯片气泡的检测方法，其特征在于，所述获取所述待检测芯片的层次结构信息，并根据所述层次结构信息在所述芯片图像中识别出目标区域的步骤包括：
获取待检测芯片的结构信息并进行多层结构建模，以得到所述待检测芯片的层次结构信息；
根据所述层次结构信息在所述芯片图像中进行多区自动分割，识别出各个目标区域。
8.如权利要求1所述的芯片气泡的检测方法，其特征在于，所述芯片气泡的检测方法还包括：
在获取得到所述芯片图像时，对所述芯片图像进行旋转校正处理；
获取基准图像，根据所述基准图像对旋转校正处理后的所述芯片图像进行尺寸校正处理。
9.一种芯片气泡的检测装置，其特征在于，所述芯片气泡的检测装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的芯片气泡的检测程序，所述芯片气泡的检测程序被所述处理器执行时实现如权利要求1至8中任一项所述的芯片气泡的检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有芯片气泡的检测程序，所述芯片气泡的检测程序被处理器执行时实现如权利要求1至8中任一项所述的芯片气泡的检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910326503.0A CN110097542B (zh) | 2019-04-19 | 2019-04-19 | 芯片气泡的检测方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910326503.0A CN110097542B (zh) | 2019-04-19 | 2019-04-19 | 芯片气泡的检测方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110097542A CN110097542A (zh) | 2019-08-06 |
| CN110097542B true CN110097542B (zh) | 2023-09-12 |
Family
ID=67445520
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910326503.0A Active CN110097542B (zh) | 2019-04-19 | 2019-04-19 | 芯片气泡的检测方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110097542B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113112502B (zh) * | 2021-05-11 | 2023-10-20 | 上海非夕机器人科技有限公司 | 线缆检测方法、机器人和具有存储功能的装置 |
| CN113269743B (zh) * | 2021-05-20 | 2022-09-30 | 北京理工大学重庆创新中心 | 一种基于迭代平移核实的芯片数量检测方法 |
| CN113379726A (zh) * | 2021-06-30 | 2021-09-10 | 深圳中科飞测科技股份有限公司 | 线路检测方法、装置、设备及计算机可读存储介质 |
| CN113673526A (zh) * | 2021-07-23 | 2021-11-19 | 浙江大华技术股份有限公司 | 气泡检测方法、终端及计算机可读存储介质 |
| CN113792771B (zh) * | 2021-08-31 | 2024-03-08 | 青岛信芯微电子科技股份有限公司 | 用于处理图卡的tcon芯片 |
| CN113628213B (zh) * | 2021-10-12 | 2022-02-18 | 深圳市帝迈生物技术有限公司 | 样本分析装置及其液路检测方法、计算机可读存储介质 |
| TWI796822B (zh) * | 2021-11-03 | 2023-03-21 | 宏碁股份有限公司 | 圖像顯示處理方法及圖像顯示處理系統 |
| CN115601385B (zh) * | 2022-04-12 | 2023-05-05 | 北京航空航天大学 | 气泡形态处理方法、设备及介质 |
| CN114529715B (zh) * | 2022-04-22 | 2022-07-19 | 中科南京智能技术研究院 | 一种基于边缘提取的图像识别方法及系统 |
| CN117409001B (zh) * | 2023-12-14 | 2024-04-05 | 合肥晶合集成电路股份有限公司 | 一种晶圆键合的气泡分析方法及分析装置 |
| CN117409007B (zh) * | 2023-12-15 | 2024-04-12 | 深圳市什方智造科技有限公司 | 一种电池加热膜贴合度的确定方法、装置、设备及介质 |
| CN117571720B (zh) * | 2024-01-12 | 2024-03-22 | 贵州科筑创品建筑技术有限公司 | 一种混凝土外观气泡的检测方法、装置、系统及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101995223A (zh) * | 2009-08-25 | 2011-03-30 | 比亚迪股份有限公司 | 一种芯片外观检测方法及系统 |
| CN102565073A (zh) * | 2011-12-31 | 2012-07-11 | 北京航空航天大学 | 基于fpga的便携式电路板缺陷快速检测装置 |
| CN107945190A (zh) * | 2017-12-22 | 2018-04-20 | 成都华栖云科技有限公司 | 二值图像快速连通区域计算方法 |
| CN108108739A (zh) * | 2017-12-18 | 2018-06-01 | 上海联影医疗科技有限公司 | 图像目标区域的检测方法、装置、x射线系统及存储介质 |
| CN108802046A (zh) * | 2018-06-01 | 2018-11-13 | 中国电子科技集团公司第三十八研究所 | 一种混合集成电路组件缺陷光学检测装置及其检测方法 |
| CN109374635A (zh) * | 2018-11-20 | 2019-02-22 | 深圳市维图视技术有限公司 | 一种口罩缺陷检测装置及方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8607169B2 (en) * | 2011-12-28 | 2013-12-10 | Elitetech Technology Co., Ltd. | Intelligent defect diagnosis method |
| MX2017016137A (es) * | 2015-06-30 | 2018-06-18 | Pirelli | Metodo y aparato para analizar una superficie de un neumatico. |
-
2019
- 2019-04-19 CN CN201910326503.0A patent/CN110097542B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101995223A (zh) * | 2009-08-25 | 2011-03-30 | 比亚迪股份有限公司 | 一种芯片外观检测方法及系统 |
| CN102565073A (zh) * | 2011-12-31 | 2012-07-11 | 北京航空航天大学 | 基于fpga的便携式电路板缺陷快速检测装置 |
| CN108108739A (zh) * | 2017-12-18 | 2018-06-01 | 上海联影医疗科技有限公司 | 图像目标区域的检测方法、装置、x射线系统及存储介质 |
| CN107945190A (zh) * | 2017-12-22 | 2018-04-20 | 成都华栖云科技有限公司 | 二值图像快速连通区域计算方法 |
| CN108802046A (zh) * | 2018-06-01 | 2018-11-13 | 中国电子科技集团公司第三十八研究所 | 一种混合集成电路组件缺陷光学检测装置及其检测方法 |
| CN109374635A (zh) * | 2018-11-20 | 2019-02-22 | 深圳市维图视技术有限公司 | 一种口罩缺陷检测装置及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于机器视觉方法的焊缝缺陷检测及分类算法;李超 等;《计算机工程与应用》;第54卷(第6期);第264-270页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110097542A (zh) | 2019-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110097542B (zh) | 芯片气泡的检测方法、装置及存储介质 | |
| CN113688807B (zh) | 一种自适应缺陷检测方法、装置、识别系统及存储介质 | |
| CN113109368B (zh) | 玻璃裂纹检测方法、装置、设备及介质 | |
| CN109271937B (zh) | 基于图像处理的运动场地标志物识别方法及系统 | |
| CN110765992B (zh) | 印章鉴别方法、介质、设备及装置 | |
| CN111754536B (zh) | 图像标注方法、装置、电子设备及存储介质 | |
| CN109325381B (zh) | 一种qr码定位和校正方法 | |
| WO2019041516A1 (zh) | 屏幕状态自动检测机器人、方法及计算机可读存储介质 | |
| CN110619333A (zh) | 一种文本行分割方法、文本行分割装置及电子设备 | |
| CN105023265A (zh) | 鱼眼镜头下的棋盘格角点自动检测方法 | |
| WO2017071406A1 (zh) | 金针类元件的引脚检测方法和系统 | |
| CN108241859B (zh) | 车牌的校正方法及装置 | |
| US20110164129A1 (en) | Method and a system for creating a reference image using unknown quality patterns | |
| CN111368573A (zh) | 一种基于几何特征约束的定位方法 | |
| WO2017050088A1 (zh) | 一种电子元件定位方法及装置 | |
| CN114998445A (zh) | 一种图像稀疏点立体匹配方法 | |
| CN117274246B (zh) | 一种焊盘识别方法、计算机设备以及存储介质 | |
| CN113139399A (zh) | 一种图像线框识别方法及服务器 | |
| US9454808B2 (en) | Pattern processing apparatus, pattern processing method, and pattern processing program | |
| CN115375679B (zh) | 一种缺陷芯片寻边寻点定位方法及装置 | |
| CN107403429B (zh) | 一种周期序列图像模型参数的快速自动获取方法 | |
| CN115761270A (zh) | 色卡的检测方法、装置、电子设备及存储介质 | |
| CN113128247A (zh) | 一种图像定位标识验证方法及服务器 | |
| JP6734213B2 (ja) | 情報処理装置及びプログラム | |
| CN110751158A (zh) | 一种治疗床显示器中的数字识别方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |