CN117808877A - 器件边缘点位置检测方法、器件缺陷检测方法及装置 - Google Patents
器件边缘点位置检测方法、器件缺陷检测方法及装置 Download PDFInfo
- Publication number
- CN117808877A CN117808877A CN202311783844.3A CN202311783844A CN117808877A CN 117808877 A CN117808877 A CN 117808877A CN 202311783844 A CN202311783844 A CN 202311783844A CN 117808877 A CN117808877 A CN 117808877A
- Authority
- CN
- China
- Prior art keywords
- point
- edge
- target
- edge point
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 86
- 230000007547 defect Effects 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000013507 mapping Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 7
- 238000004364 calculation method Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 12
- 238000003708 edge detection Methods 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明的实施例提供了器件边缘点位置检测方法、缺陷检测方法、装置、电子设备及存储介质。方法包括:获取目标图像;基于目标图像中器件的中心位置,沿第一方向在目标图像上构建基准点组并确定基准点组中每个基准点在第一方向的位置;确定目标伸出部上的特征点的位置。基于基准点组中每个基准点在第一方向的位置和对应特征点在第二方向的位置,确定每个伸出部对应的边缘点搜索区域的中心位置;基于边缘点搜索区域的中心位置,确定边缘点搜索区域,以确定每个伸出部的边缘点位置。本发明,先确定边缘点搜索区域的中心位置,然后基于边缘点搜索区域确定边缘点的位置,无复杂的计算过程,能准确、快速地确定边缘点的位置。
Description
技术领域
本发明涉及面板缺陷检测领域,特别是涉及一种器件边缘点位置检测方法、一种器件缺陷检测方法、一种器件边缘点位置检测装置、一种器件缺陷检测装置、一种电子设备以及一种存储介质。
背景技术
当前人们对产品的质量要求越来越高,对应生产厂家而言,如何提高产品的出货质量,减少终端客诉成为一种迫切的需求。由于产品的形态千变万化,结构复杂不一,因此对产品的检测设备也有了更高标准的要求。
机器视觉是一个快速发展的朝阳行业,视觉检测设备已经在制造业各个领域各个生产环节得到广泛的应用。视觉检测设备核心一般由相机、镜头、光源、检测算法组成,由相机拍摄获取图像,给到检测算法对图像进行分析处理,进而判断产品质量。机器视觉检测具有检测速度快,精度高,准确率高,可长时间持续工作不会疲劳,非接触式不会造成接触式损伤等等优势。
例如,在半导体行业封装芯片,很多时候我们需要对一些引脚或近似引脚的部件进行检测。这些引脚或近似引脚的部件需要进行几何尺寸的测量和缺陷检测,如引脚间隔、宽度、高度、引脚(或近似引脚的部件)边缘毛刺缺陷检测等等,芯片上的引脚(或近似引脚的部件)分布众多(有的数量多达300+),如何准确、高效的提取这些引脚(或近似引脚的部件)的边缘点的位置以便定位各个引脚的位置是进行这些指标检测的前提和重点,而则这也是行业内的一个难点。目前虽然根据灰度阈值可以在图像中搜寻边缘点,但是该方法效率低,容易受图像质量的干扰,不能准确提取边缘点;因此需要提出一种准确且快速地确定边缘点位置的方法。
发明内容
为了至少部分地解决现有技术中存在的问题,根据本申请的第一个方面,提供了一种器件边缘点位置检测方法,所述器件包括主体部和从所述主体部延伸出的至少一个伸出部,所述方法用于对至少一个所述伸出部的边缘点位置进行检测,其特征在于,所述方法包括:
获取目标图像,所述目标图像中包含所述器件的主体部和从该主体部延伸出的目标伸出部;
基于所述目标图像中所述器件的中心位置,沿第一方向在所述目标图像上构建基准点组并确定所述基准点组中每个基准点在第一方向的位置,其中,所述基准点组中基准点的数量与所述器件上的伸出部的数量相同,所述基准点组中相邻两个基准点之间的间距与相邻两个伸出部的理论间距相同,所述第一方向与所述主体部对应的目标边缘的延伸方向对应;
确定所述目标伸出部上的特征点的位置,所述特征点为所述目标伸出部上沿其延伸方向的最外侧边缘上的点;
基于所述基准点组中每个基准点在第一方向的位置和对应所述特征点在第二方向的位置,确定每个所述伸出部对应的边缘点搜索区域的中心位置,其中,所述第二方向与所述伸出部的延伸方向对应,所述第二方向垂直于所述第一方向;
基于所述边缘点搜索区域的中心位置,确定所述边缘点搜索区域,以确定所述每个伸出部的边缘点位置。
示例性地,所述基于所述目标图像中所述器件的中心位置,沿第一方向在所述目标图像上构建基准点组,包括:
基于所述目标图像中所述器件的中心位置,沿第一方向构建第一组位置点,其中,所述第一组位置点中位置点的数量与所述伸出部的数量相同,所述第一组位置点中相邻两个位置点之间的间距与相邻两个伸出部的理论间距相同;
根据所述主体部对应的目标边缘的中心位置与所述器件的中心位置之间的对应关系,将所述第一组位置点映射到所述主体部对应的目标边缘处,以得到第二组位置点,并将所述第二组位置点作为所述基准点组。
示例性地,所述基于所述目标图像中所述器件的中心位置,沿第一方向构建第一组位置点,包括:
沿所述第一方向,以所述器件的中心位置或偏移位置为中心,向所述中心位置或偏移位置两侧阵列预定数量的位置点,以得到所述第一组位置点,其中,所述预定数量根据所述伸出部的数量确定,所述偏移位置根据所述器件的中心位置沿所述第二方向偏移预设像素得到。
示例性地,在所述根据所述主体部对应的目标边缘的中心位置与所述器件的中心位置之间的对应关系,将所述第一组位置点映射到所述主体部对应的目标边缘处,以得到第二组位置点之前,包括:
根据所述主体部对应的目标边缘的中心位置在所述第一方向和所述第二方向上的坐标、所述器件的中心位置在所述第一方向和所述第二方向上的坐标以及所述主体部对应的目标边缘相对于所述第一方向的偏移角度,确定所述主体部对应的目标边缘的中心位置与所述器件的中心位置之间的对应关系。
示例性地,在所述基于所述目标图像中所述器件的中心位置,沿第一方向在所述目标图像上构建基准点组之后,包括:
根据阈值分割,在所述目标图像上确定每个伸出部区域的中心位置,其中每个所述伸出部区域为覆盖对应伸出部的区域;
根据每个伸出部区域的中心位置,确定所述基准点组中的每个基准点相对于对应伸出部区域的中心位置沿第一方向的偏移量;
基于所述偏移量,校正所述所述基准点组中每个基准点在所述第一方向的位置。
示例性地,所述器件为芯片,所述伸出部为芯片上的引脚,所述引脚包括靠近所述主体部的肩部和从所述肩部延伸出的头部,所述根据权利要求1-6中确定的边缘点位置为所述引脚的头部最上侧边缘点的位置,所述方法还包括;根据所述头部最上侧边缘点的位置确定所述引脚的头部沿所述第一方向的两侧的边缘点位置和/或所述引脚的肩部沿所述第一方向的两侧的边缘点位置。
根据本申请另一方面,还提供一种器件缺陷检测方法,用于检测器件上的伸出部上的缺陷,包括:所述的方法确定目标伸出部的边缘点的位置;基于所述边缘点的位置确定所述目标伸出部的缺陷位置。
根据本申请另一方面,还提供一种器件边缘点位置检测装置,所述器件包括主体部和从所述主体部延伸出的至少一个伸出部,所述方法用于对至少一个所述伸出部进行缺陷检测,其特征在于,所述装置包括:
图像获取模块,用于获取目标图像,所述目标图像中包含所述器件的主体部和从该主体部延伸出的目标伸出部;
基准点构建模块,用于基于所述目标图像中所述器件的中心位置,沿第一方向在所述目标图像上构建基准点组并确定所述基准点组中每个基准点在第一方向的位置,其中,所述基准点组中基准点的数量与所述器件上的伸出部的数量相同,所述基准点组中相邻两个基准点之间的间距与相邻两个伸出部的理论间距相同,所述第一方向与所述主体部对应的目标边缘的延伸方向对应;
第一确定模块,用于确定所述目标伸出部上的特征点的位置,所述特征点为所述目标伸出部上沿其延伸方向的最外侧边缘上的点;
第二确定模块,用于基于所述基准点组中每个基准点在第一方向的位置和对应所述特征点在第二方向的位置,确定每个所述伸出部对应的边缘点搜索区域的中心位置,其中,所述第二方向与所述伸出部的延伸方向对应,所述第二方向垂直于所述第一方向;
搜索模块,用于基于所述边缘点搜索区域的中心位置,确定所述边缘点搜索区域,以确定所述每个伸出部的边缘点位置。
根据本申请另一方面,还提供一种器件缺陷检测装置,用于检测器件上的伸出部上的缺陷,包括:
边缘点确定模块,用于根据所述的方法确定目标伸出部的边缘点的位置;
缺陷检测模块,用于基于所述边缘点的位置确定所述目标伸出部的缺陷位置。
根据本申请另一方面,还提供一种电子设备,包括处理器和存储器,存储器中存储有计算机程序指令,计算机程序指令被处理器运行时用于执行所述的器件边缘点位置检测方法和/或用于执行所述的器件缺陷检测方法。
根据本申请另一方面,还提供一种存储介质,在存储介质上存储了程序指令,所述程序指令在运行时用于执行所述的器件边缘点位置检测方法和/或用于执行所述的器件缺陷检测方法。
本发明中通过构建基准点组,并基于基准点组在第一方向的位置和特征点在第二方向的位置,确定每个伸出部对应的边缘点搜索区域的中心位置,这样即可确定边缘点搜索区域,而边缘点搜索区域一旦确定,即可得到每个伸出部的边缘点位置;在本发明中,通过先确定边缘点搜索区域的中心位置,然后基于边缘点搜索区域确定边缘点的位置,无复杂的计算过程,而且由于是在小范围内基于边缘点搜索区域内搜索边缘点,而非在大范围内对边缘点进行直接提取,因此能快速确定边缘点的位置。
附图说明
图1是本发明的一种实施例提供的器件边缘点位置检测方法中涉及的器件的结构示意图;
图2是本发明的一种实施例提供的器件边缘点位置检测方法的流程图;
图3是本发明的一种实施例提供的器件边缘点位置检测方法中模板图像中边缘检测ROI的示意图。
图4是本发明的一种实施例提供的器件边缘点位置检测方法中模板图像中引脚检测ROI的示意图。
图5是本发明的一种实施例提供的器件边缘点位置检测方法中主体部对应的各个边缘以及器件中心的示意图。
图6是本发明的一种实施例提供的器件边缘点位置检测方法中边缘搜索区域的示意图。
图7是本发明的一种实施例提供的器件边缘点位置检测装置的示意性框图;
图8是本发明的一种实施例提供的器件缺陷检测装置的示意性框图;以及
图9是本发明的一种实施例提供的的电子设备的示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显,下面将参照附图详细描述根据本发明的示例实施例。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是本发明的全部实施例,应理解,本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例,本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
为了至少部分地解决上述问题,本发明实施例提供一种器件边缘点位置检测方法。如图1所示,本发明中的器件可以包括主体部120和从主体部120延伸出的至少一个伸出部110(图中示出的是主体部和4组伸出部),上述方法用于对至少一个伸出部的边缘点位置进行检测;在一个实施例中,这里的器件可以是芯片,在该实施例中,芯片的引脚为上文所指的伸出部110。在下文的描述中,为了便于理解,以检测芯片引脚上的边缘点位置为例进行描述。具体地,伸出部为芯片上的引脚,引脚包括靠近主体部的肩部和从肩部延伸出的头部,可以根据本发明实施例提供的器件边缘点位置检测方法确定引脚的头部最上侧边缘点的位置。
本发明实施例提供的一种器件边缘点位置检测方法,可以应用于器件边缘点位置检测装置中。图2示出了根据本发明一个实施例的器件边缘点位置检测方法100的示意性流程图。如图2所示,该方法100可以包括步骤S110、步骤S120、步骤S130、步骤S140和步骤S150。
步骤S110,获取目标图像,目标图像中包含器件的主体部和从该主体部延伸出的目标伸出部;
获取目标图像可以是由图像采集装置(例如,相机)直接采集到的原始图像,也可以是对原始图像进行预处理之后获得的图像。该预处理操作可以包括为了更清楚地进行缺陷检测的所有操作。例如,预处理操作可以包括滤波等去噪操作。该待测图像可以包含待测器件的全部图像或者包含待测器件上的主体部和从该主体部延伸出的目标伸出部的图像。在一个实施例中,待测器件为芯片,对应的,获取的目标图像中包括主体部和从主体部延申出的目标引脚的图像,该目标引脚为芯片上的待检查的引脚,目的是为了检查该引脚上的边缘点的位置。
步骤S120,基于目标图像中所述器件的中心位置,沿第一方向在目标图像上构建基准点组并确定基准点组中每个基准点在第一方向的位置,其中,基准点组中基准点的数量与器件上的伸出部的数量相同,基准点组中相邻两个基准点之间的间距与相邻两个伸出部的理论间距相同,第一方向与主体部对应的目标边缘的延伸方向对应。
在一个实施例中,可以基于获取的目标图像确定器件的中心位置,以构建基准点组,例如以图1所示的芯片为例,芯片的主体部可以看成是一个正方形,这样正方形的中心即为器件的中心位置,具体地,可以通过分别确定主体部对应的四组边缘,然后基于四组边缘确定器件的中心位置。
可以理解的是,主体部对应的边缘为沿对应伸出部的排布方向延伸并位于主体部上的一条直线或者线段,由于生产工艺的因素,该直线或线段与第一方向可能平行也可能不平行,还有可能不是一条平直的直线。为了尽可能保证主体部对应的边缘为平直的直线,为了便于计算,本发明中所称的主体部对应的边缘包括距离该直线或线段向主体部内偏移预设间隔的直线或线段。
在一个实施例中,第一方向与主体部对应的目标边缘的延伸方向对应,包括第一方向与主体部对应的目标边缘的延伸方向平行的情况,同时包括主体部对应的目标边缘的延伸方向与第一方向具有一定夹角的情况,以第一方向为横向(X向)为例,主体部对应的目标边缘的延伸方向可以是沿X方向,也可以是稍偏于第一方向。
以芯片为例,器件在生产时都已经确定了伸出部的数量和理论相邻两个伸出部的理论间距,只是由于工艺误差,相邻两个伸出部的实际间距可能与理论间距存在差异。在一个实施例中,具体的可以通过以下方式构建基准点组,对于主体部上的伸出部为偶数的情况,器件的中心位置位于处于中间位置的两个伸出部之间的中点位置,对于主体部上的伸出部为奇数的情况,器件的中心位置正好处于中间位置的伸出部的中心位置。需要注意的是,对于伸出部为偶数的情况,器件的中心位置或其对应位置不包含在基准点组内。
步骤S130,确定目标伸出部上的特征点的位置,特征点为目标伸出部上沿其延伸方向的最外侧边缘上的点。
在一个实施例中,特征点主要是为了确定一个参考点,以便于在下面的步骤以该参考点在第二方向的位置为依据确定边缘点搜索区域。器件以图1所示的为芯片为例,伸出部为芯片的一个引脚,引脚沿竖直方向延伸,则特征点为引脚的最上侧边缘上的点,也称之为TIP点。基于此,特征点为引脚的最上侧边缘上的点,例如该特征点可以是引脚的最上侧边缘(图1中引脚的最上侧边缘)的最外侧的点,当伸出部沿竖直方向延伸时,该特征点为伸出部上的最高点,之所以说是最高点,是因为由于生产工艺因素,伸出部的最上层边缘很可能不是平行于第一方向的绝对的直线,有可能是斜线,因此为了保证检测结果优选特征点为伸出部上的最高点。
以特征点为伸出部上的最高点为例,下面介绍目标伸出部上的特征点的位置确定方法。在一个实施例中,首先可以基于目标图像提取引脚区域,引脚区域可以理解为覆盖每个引脚的图像区域,然后确定每个引脚区域的最高点的位置坐标,最后对这些最高点的位置坐标求均值,从而可以得到伸出上的最高点的位置坐标,通过下文的描述可以知道该位置坐标为边缘点搜索区域的中心位置沿竖直方向(第二方向)的位置坐标。其中引脚区域的提取可以采用现有技术中的任何图像处理方法,本发明不做限定。在另一个实施例中,也可以通过现有技术中的其他方法确定特征点的位置,在此不做过多限定。
步骤S140,基于基准点组中每个基准点在第一方向的位置和对应特征点在第二方向的位置,确定每个伸出部对应的边缘点搜索区域的中心位置,第二方与伸出部的延伸方向对应,第二方向垂直于第一方向。
在步骤S120和S130中已经确定了边缘点搜索区域的中心位置在第一方向和第二方向的位置坐标,步骤S140的目的是根据步骤S120和S130的结果确定边缘点搜索区域的中心位置。具体地,步骤S120中的基准点组中的基准点沿第一方向的位置即可代表边缘点搜索区域的中心位置在第一方向的位置(在第一方向为X方向,第二方向为Y方向时,边缘点搜索区域的中心位置在第一方向的位置可以理解为边缘点搜索区域的中心位置X方向的坐标),换句话说,每个伸出部的边缘点搜索区域的中心位置在第一方向的位置对应与每个基准点沿第一方向的位置是相同的,也可以理解为每个伸出部的边缘点搜索区域的中心位置的X方向的坐标与对应基准点的X方向的坐标是相同的;如上所述,而边缘点搜索区域的中心位置沿Y方向的位置可以根据特征点沿其延伸方向的最外侧边缘上的点确定。同样可以理解为每个伸出部的边缘点搜索区域的中心位置的Y方向的坐标与对应特征点的Y方向的坐标是相同的,基于此,即可确定边缘点搜索区域的中心位置的两个坐标,从而得到边缘点搜索区域的中心位置的具体位置,而边缘点搜索区域宽度可以通过界面设定,这样即可得到步骤S150中的边缘点搜索区域。
在一个实施例中,第二方向与伸出部的延伸方向对应,包括第二方向与伸出部的延伸方向平行的情况,同时包括伸出部的延伸方向与第二方向具有一定夹角的情况,以第二方向为纵向(Y向)为例,伸出部的延伸方向可以是沿Y方向,也可以是稍偏于Y方向。
步骤S150,基于边缘点搜索区域的中心位置,确定边缘点搜索区域,以确定每个伸出部的边缘点位置。
以边缘点搜索区域覆盖的形状为矩形为例,矩形的中心点位置为边缘点搜索区域的中心位置,矩形的宽和长可以根据伸出部的长度和宽度确定,当然矩形的宽和长也可以如上文所描述的可以通过界面设备。边缘点搜索区域的主要参数是其中心位置,中心位置确定后,边缘点搜索区域的长宽可以根据实际情况设定即可。如图6所示为一个实施例的边缘点搜索区域的示意图。图中的每个伸出部上的灰色小矩形框为该伸出部的边缘点搜索区域,而灰色小矩形框内的“x”点位示意的是边缘点搜索区域的中心位置。
在一个实施例中,可以根据灰度梯度变化,在对应的边缘点搜索区域中,确定灰度梯度变化最大的位置,从而将该位置确定为对应伸出部的边缘点位置。
本发明中通过构建基准点组,并基于基准点组在第一方向的位置和特征点在第二方向的位置,确定每个伸出部对应的边缘点搜索区域的中心位置,这样即可确定边缘点搜索区域,而边缘点搜索区域一旦确定,即可得到每个伸出部的边缘点位置;在本发明中,通过先确定边缘点搜索区域的中心位置,然后基于边缘点搜索区域确定边缘点的位置,无复杂的计算过程,而且由于是在小范围内基于边缘点搜索区域内搜索边缘点,而非在大范围内对边缘点进行直接提取,因此能准确、快速地确定伸出部边缘点的位置。
示例性地,步骤S120中基于目标图像中器件的中心位置,沿第一方向在目标图像上构建基准点组,包括:
S121,基于目标图像中器件的中心位置,沿第一方向构建第一组位置点,其中,第一组位置点中基准点的数量与伸出部的数量相同,第一组位置点中相邻两个基准点之间的间距与相邻两个伸出部的理论间距相同;
基于目标图像中器件的中心位置,构建第一组位置点,可以包括:确定目标图像中器件的中心位置。在一个实施例中,可以设置如图3和图4所示的模板图像,模板图像中可以包括边缘检测ROI和引脚检测ROI,其实就是两个感兴趣区域。在获取到目标图像后,可以基于目标图像和模板图像的偏移量确定目标图像上对应的边缘检测ROI和引脚检测ROI的位置。这样可以保证当前边缘检测ROI和引脚检测ROI的方向与器件方向的相对关系保证一致,即器件转,边缘检测ROI和引脚检测ROI随之转动,器件移动,边缘检测ROI和引脚检测ROI跟随移动。这样即可保证检测结果的准确性。在确定器件的中心位置时,可以基于边缘检测ROI查找边缘点拟合直线,得到主体部对应的边缘,具体地沿主体部对应的边缘延伸方向,将边缘检测ROI切分为多个区域,在每个区域,沿器件从里向外搜索灰度值的梯度变化最大的位置,将第一个梯度变化位置作为目标点;每个区域中的目标点拟合得到主体边对应的边缘;在一个实施例中,器件主体为四边形,通过上述方法得到主体部对应的四组边缘,根据四个边缘直线首尾坐标可以计算出器件的中心位置和四个角点(各个边缘延长线的交点位置),在本实施例中,器件的中心位置也可以认为是主体部的中心位置。在一个实施例中,主体部对应的边缘可以是将拟合出的边缘沿第二方向向主体部内部偏移预设像素后的边缘,这是因为由于一些误差的存在,偏移后的边缘更加平直,这样便于中心位置的计算。
在一个实施例中,目标图像与模板图像的偏移量可以通过多种方式实现,例如方式一:以模板图像中的某个定位点以及某条边的角度为参考,计算目标图像中对应位置处的偏移量(包括X、Y以及角度),从而确定目标图像和模板图像的偏移量;方式二,通过比较模板图像中的器件轮廓和目标图像中器件轮廓对应位置,计算目标图像中对应位置处的偏移量。
基于上文确定的中心位置,具体的可以通过以下方式构建基准点组,对于主体部上的伸出部为偶数的情况,器件的中心位置位于处于中间位置的两个伸出部之间的中点位置或其附近(理想情况下二者是重合的),对于主体部上的伸出部为奇数的情况,器件的中心位置处于中间位置的伸出部的中心位置或其附近(理想情况下二者是重合的),下面以主体部上的伸出部为偶数的情况描述构建基准点组的过程:沿第一方向,以器件的中心位置为基准分别向该中心位置的两侧依次确定多个位置点,相邻两个位置点之间的间距可以通过相邻两个伸出部的标准间距进行确定,位置点的数量可以通过该主体部上的伸出部的数量进行确定;由此即可构建出第一组位置点。
S121,根据主体部对应的目标边缘的中心位置与器件的中心位置之间的对应关系,将第一组位置点映射到主体部对应的目标边缘处,以得到第二组位置点,并将第二组位置点作为基准点组。
在一个实施例中,根据主体部的目标边缘的中心位置与器件的中心位置之间的对应关系,将第一组位置点映射到主体部对应的目标边缘处,具体地,第一组位置点为沿第一方向分布的一组位置点,而因为生产误差的存在实际的主体部对应的目标边缘很可能与第一方向有一点的夹角,这样器件的中心位置与主体部的目标边缘的中心位置在第二方向上并不会位于同一直线上,而是二者具有一定的偏离,这种偏离关系可以根据上文中拟合出的主体部对应的目标边缘而确定。从而基于这种偏离关系(上文中的对应关系)可以将将第一组位置点映射到主体部的目标边缘处,以得到第二组位置点。之所以映射到目标边缘处,是因为本实施例中检测的是伸出部头部最上侧边缘上的边缘点位置。
示例性地,在步骤S121根据主体部对应的目标边缘的中心位置与器件的中心位置之间的对应关系,将第一组位置点进行映射到主体部对应的目标边缘处,以得到第二组位置点之前,包括:根据主体部对应的目标边缘的中心位置在第一方向和第二方向上的坐标、器件的中心位置在第一方向和第二方向上的坐标以及主体部对应的目标边缘相对于第一方向的偏移角度,确定主体部对应的目标边缘的中心位置与器件的中心位置之间的对应关系。
由上文可知,由于第一组位置点是根据标准参数构建,构建的这些点的连线平行于X轴(第一方向),但是实际上由于加工工艺的因素,目标图像中的伸出部上与第一组位置点对应的点的连线不一定水平,因此需要将第一组位置点根据确定的对应关系进行映射,具体地,可以通过P1(X1,Y1,0)表示器件的中心位置(如图5所示),其中“0”表示主体部对应的目标边缘与第一方向的夹角为0,通过P2(X2,Y2,a2)表示主体部对应的目标边缘的中心位置,其中,a2表示主体部对应的目标边缘与第一方向的夹角,这样即可得到一个映射关系P1(X1,Y1,0)→P2(X2,Y2,a2),于是根据坐标映射关系,可以构建从器件的中心位置P1(x1,y1,0)到主体部对应的目标边缘的中心位置P2(x2,y2,a2)的变换矩形,从而将第一组位置点变换得到第二组位置点,进而得到基准点组。
上述技术方案中,由于考虑了实际生产中带来的误差,考虑了主体部对应的目标边缘相对于第一方向的偏离问题,在此基础上确定的基准点组更加准确,从而确定的边缘点搜索区域的中心位置更加准确,在应用至缺陷检测时,能够保证缺陷检测结果的准确性。
示例性地,步骤S121中,基于目标图像中器件的中心位置,沿第一方向构建第一组位置点,包括:沿第一方向,以器件的中心位置或偏移位置为中心,向中心位置或偏移位置两侧阵列预定数量的位置点,以得到第一组位置点,其中,预定数量根据伸出部的数量确定,偏移位置根据器件的中心位置沿第二方向偏移预设像素得到。
在一个实施例中,当伸出部为奇数时,器件的中心位置也是第一组位置点中的一个位置点;而器件的当伸出部数量为偶数时,器件的中心位置由于在中间两个伸出部的中心点上,因此,器件的中心位置不属于第一组位置点中的一个位置点。
在一个实施例中,可以以器件的中心位置为中心,向中心位置两侧阵列预定数量的位置点,从而得到第一组位置点;为了进一步提高边缘点搜索区域的中心位置的准确性,在另一个实施例中,可以先以器件的中心位置为中心,向中心位置两侧阵列预定数量的位置点,而后对各个位置点分别沿对应的伸出部的延伸方向偏移预设数量的像素,例如:主体部对应有10个引脚,相邻2个引脚的间距为5个像素,预设的偏移量为5个像素,则可以先以器件的中心位置为中心,向两侧阵列,得到10个位置点,相邻两个位置的间距为5个像素,而后将这10个位置点均沿对应的伸出部的延伸方向偏移5个像素,从而得到第一组位置点。在再一个实施例中,可以先将器件的中心位置沿第二方向偏移预设像素得到偏移位置,然后向偏移位置两侧阵列预定数量的位置点,同样可以得到第一组位置点。
上述技术方案中,由于考虑了其他因素,而对器件的中心位置为中心得到的基准点进行了偏移,因此能够更加准确的得到边缘点搜索区域的中心位置。
示例性地,步骤120中,在基于目标图像中器件的中心位置,沿第一方向在目标图像上构建基准点组之后,包括:根据阈值分割,在目标图像上确定每个伸出部区域的中心位置,其中每个伸出部区域为覆盖对应伸出部的区域;根据每个伸出部区域的中心位置,确定基准点组中的基准点相对于对应伸出部区域的中心位置沿第一方向的偏移量;基于偏移量,校正基准点组中每个基准点在第一方向的位置。
由于产品存在工艺上的误差(例如引脚倾斜等),为了进一步提高检测的准确性,需要根据实际位置对基准点组进行矫正。在一个实施例中,基于目标图像,利用阈值分割提取每个伸出部区域(伸出部覆盖的图像区域),而后计算每个伸出部区域的中心位置,其中,在提取伸出部区域时可以使用一些开闭运算处理,以能够准确提取。以目标伸出部对应的主体部的目标边缘的延伸方向对应第一方向为例,在这种情况下只需要矫正第一方向的位置,因此,可以基于计算得到的每个伸出部区域的中心位置,从而确定每个伸出部区域的中心位置与基准点组中每个基准点的偏移量。在一个实施例中,偏移量的计算方式可以为两组位置的X坐标做差后取中值。以中值对基准点组的X坐标进行补偿矫正。当然也可以是现有技术中国其他方式确定这里的偏移量,在此不做限定。
可以理解的时,在另一个实施例中,目标伸出部对应的主体部的目标边缘的延伸方向对应第二方向,在这种情况下只需要矫正第二方向的位置。
上述技术方案中,进一步考虑了生产工艺带来的误差,因此能够更加准确地确定伸出部的边缘点位置。
示例性地,本发明提供的边缘点位置检测方法在应用至芯片领域时,可以检测芯片上引脚的头部的最上侧边缘点的位置,当然还可以基于此确定引脚的头部沿第一方向的两侧的边缘点位置和/或引脚的肩部沿第一方向两侧的边缘点位置。
可以理解的是,在引脚头部的最上侧边缘点位置的提取中,其重点在于边缘点搜索区域的准确。在一个实施例中,可以通过坐标为(Xt,Yt)表示引脚头部的最上侧边缘点的位置坐标,可以通过界面预设头部宽度Wt和头部向下偏移像素Y1,则可计算头部左右边缘点的边缘点搜索区域的中心位置坐标(x,y),其中x=Xt+/-Wt,y=Yt+Y1,从而可以基于(x,y)确定边缘点搜索区域,进而可以得到边缘点。对于肩部边缘点搜索区域的中心位置坐标,计算方法类似,在此不在赘述。
根据本发明的另一方面,还提供了一种器件缺陷检测方法,包括:根据上述方法确定目标伸出部边缘点的位置;基于边缘点的位置确定目标伸出部的缺陷位置。
根据本发明的再一方面,还提供了一种器件边缘点位置检测装置。图7示出了根据本发明一个实施例的器件边缘点位置检测装置700的示意性框图,如图1所示,器件包括主体部和从主体部延伸出的至少一个伸出部,该装置用于对至少一个伸出部进行缺陷检测。如图7所示,该装置700可以包括图像获取模块710、基准点构建模块720、第一确定模块730、第二确定模块740和搜索模块750。
图像获取模块710,用于获取目标图像,目标图像中包含主体部和从该主体部延伸出的目标伸出部;
基准点构建模块720,用于基于目标图像中器件的中心位置,沿第一方向在目标图像上构建基准点组并确定基准点组中每个基准点在第一方向的位置,其中,基准点组中基准点的数量与器件上的伸出部的数量相同,基准点组中相邻两个基准点之间的间距与相邻两个伸出部的理论间距相同,第一方向与主体部对应的目标边缘的延伸方向对应;
第一确定模块,用于确定所述目标伸出部上的特征点的位置,特征点为目标伸出部上沿其延伸方向的最外侧边缘上的点;
第二确定模块,用于基于基准点组中每个基准点在第一方向的位置和对应特征点在第二方向的位置,确定每个伸出部对应的边缘点搜索区域的中心位置,其中,第二方向与伸出部的延伸方向对应,第二方向垂直于所述第一方向;
搜索模块,用于基于边缘点搜索区域的中心位置,确定边缘点搜索区域,以确定每个伸出部的边缘点位置。
根据本发明的一方面,还提供了一种器件缺陷检测装置,用于检测器件上的伸出部的缺陷。图8示出了根据本发明一个实施例的器件缺陷检测装置800的示意性框图。如图8所示,该装置800可以包括边缘点确定模块810和缺陷检测模块820。
边缘点确定模块810,用于根据上述器件边缘点位置检测方法确定目标伸出部的边缘点的位置;
缺陷检测模块820,用于基于边缘点的位置确定目标伸出部的缺陷位置。
根据本发明的还一方面,还提供了一种电子设备。图9示出了根据本发明一个实施例的电子设备900的示意性框图。如图9所示,该电子设备900包括处理器910和存储器920。其中,存储器920中存储有计算机程序指令,计算机程序指令被处理器910运行时用于执行上述器件边缘点位置检测方法和/或用于执行上述器件缺陷检测方法。
根据本发明的还一方面,还提供了一种存储介质。在存储介质上存储了程序指令,程序指令在运行时用于执行器件边缘点位置检测方法和/或用于执行器件上器件缺陷检测方法。存储介质例如可以包括平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。
本领域普通技术人员通过阅读上述有关器件边缘点位置检测方法和器件缺陷检测方法的相关描述,可以理解上述器件边缘点位置检测方法装置、器件缺陷检测装置、电子设备和存储介质的具体实现方案,为了简洁,在此不再赘述。
尽管这里已经参考附图描述了示例实施例,应理解上述示例实施例仅仅是示例性的,并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改,而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个设备,或一些特征可以忽略,或不执行。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该本发明的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如相应的权利要求书所反映的那样,其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解,除了特征之间相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的面板检测装置中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述,仅为本发明的具体实施方式或对具体实施方式的说明,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。
Claims (11)
1.一种器件边缘点位置检测方法,所述器件包括主体部和从所述主体部延伸出的至少一个伸出部,所述方法用于对至少一个所述伸出部的边缘点位置进行检测,其特征在于,所述方法包括:
获取目标图像,所述目标图像中包含所述器件的主体部和从该主体部延伸出的目标伸出部;
基于所述目标图像中所述器件的中心位置,沿第一方向在所述目标图像上构建基准点组并确定所述基准点组中每个基准点在第一方向的位置,其中,所述基准点组中基准点的数量与所述器件上的伸出部的数量相同,所述基准点组中相邻两个基准点之间的间距与相邻两个伸出部的理论间距相同,所述第一方向与所述主体部对应的目标边缘的延伸方向对应;
确定所述目标伸出部上的特征点的位置,所述特征点为所述目标伸出部上沿其延伸方向的最外侧边缘上的点;
基于所述基准点组中每个基准点在第一方向的位置和对应所述特征点在第二方向的位置,确定每个所述伸出部对应的边缘点搜索区域的中心位置,其中,所述第二方向与所述伸出部的延伸方向对应,所述第二方向垂直于所述第一方向;
基于所述边缘点搜索区域的中心位置,确定所述边缘点搜索区域,以确定所述每个伸出部的边缘点位置。
2.根据权利要求1所述的器件边缘点位置检测方法,其特征在于:所述基于所述目标图像中所述器件的中心位置,沿第一方向在所述目标图像上构建基准点组,包括:
基于所述目标图像中所述器件的中心位置,沿第一方向构建第一组位置点,其中,所述第一组位置点中位置点的数量与所述伸出部的数量相同,所述第一组位置点中相邻两个位置点之间的间距与相邻两个伸出部的理论间距相同;
根据所述主体部对应的目标边缘的中心位置与所述器件的中心位置之间的对应关系,将所述第一组位置点映射到所述主体部对应的目标边缘处,以得到第二组位置点,并将所述第二组位置点作为所述基准点组。
3.根据权利要求2所述的器件边缘点位置检测方法,其特征在于:所述基于所述目标图像中所述器件的中心位置,沿第一方向构建第一组位置点,包括:
沿所述第一方向,以所述器件的中心位置或偏移位置为中心,向所述中心位置或偏移位置两侧阵列预定数量的位置点,以得到所述第一组位置点,其中,所述预定数量根据所述伸出部的数量确定,所述偏移位置根据所述器件的中心位置沿所述第二方向偏移预设像素得到。
4.根据权利要求2所述的器件边缘点位置检测方法,其特征在于:在所述根据所述主体部对应的目标边缘的中心位置与所述器件的中心位置之间的对应关系,将所述第一组位置点映射到所述主体部对应的目标边缘处,以得到第二组位置点之前,包括:
根据所述主体部对应的目标边缘的中心位置在所述第一方向和所述第二方向上的坐标、所述器件的中心位置在所述第一方向和所述第二方向上的坐标以及所述主体部对应的目标边缘相对于所述第一方向的偏移角度,确定所述主体部对应的目标边缘的中心位置与所述器件的中心位置之间的对应关系。
5.根据权利要求1所述的器件边缘点位置检测方法,其特征在于:在所述基于所述目标图像中所述器件的中心位置,沿第一方向在所述目标图像上构建基准点组之后,包括:
根据阈值分割,在所述目标图像上确定每个伸出部区域的中心位置,其中每个所述伸出部区域为覆盖对应伸出部的区域;
根据每个伸出部区域的中心位置,确定所述基准点组中的每个基准点相对于对应伸出部区域的中心位置沿第一方向的偏移量;
基于所述偏移量,校正所述所述基准点组中每个基准点在所述第一方向的位置。
6.根据权利要求1所述的器件边缘点位置检测方法,其特征在于:所述器件为芯片,所述伸出部为芯片上的引脚,所述引脚包括靠近所述主体部的肩部和从所述肩部延伸出的头部,所述根据权利要求1-5中确定的边缘点位置为所述引脚的头部最上侧边缘点的位置,所述方法还包括;根据所述头部最上侧边缘点的位置确定所述引脚的头部沿所述第一方向的两侧的边缘点位置和/或所述引脚的肩部沿所述第一方向的两侧的边缘点位置。
7.一种器件缺陷检测方法,用于检测器件上的伸出部的缺陷,其特征在于,包括:
根据权利要求1-6任意一项所述的方法确定目标伸出部的边缘点的位置;
基于所述边缘点的位置确定所述目标伸出部的缺陷位置。
8.一种器件边缘点位置检测装置,所述器件包括主体部和从所述主体部延伸出的至少一个伸出部,所述方法用于对至少一个所述伸出部进行缺陷检测,其特征在于,所述装置包括:
图像获取模块,用于获取目标图像,所述目标图像中包含所述器件的主体部和从该主体部延伸出的目标伸出部;
基准点构建模块,用于基于所述目标图像中所述器件的中心位置,沿第一方向在所述目标图像上构建基准点组并确定所述基准点组中每个基准点在第一方向的位置,其中,所述基准点组中基准点的数量与所述器件上的伸出部的数量相同,所述基准点组中相邻两个基准点之间的间距与相邻两个伸出部的理论间距相同,所述第一方向与所述主体部对应的目标边缘的延伸方向对应;
第一确定模块,用于确定所述目标伸出部上的特征点的位置,所述特征点为所述目标伸出部上沿其延伸方向的最外侧边缘上的点;
第二确定模块,用于基于所述基准点组中每个基准点在第一方向的位置和对应所述特征点在第二方向的位置,确定每个所述伸出部对应的边缘点搜索区域的中心位置,其中,所述第二方向与所述伸出部的延伸方向对应,所述第二方向垂直于所述第一方向;
搜索模块,用于基于所述边缘点搜索区域的中心位置,确定所述边缘点搜索区域,以确定所述每个伸出部的边缘点位置。
9.一种器件缺陷检测装置,用于检测器件上的伸出部的缺陷,其特征在于,包括:
边缘点确定模块,用于根据权利要求1-6任意一项所述的方法确定目标伸出部的边缘点的位置;
缺陷检测模块,用于基于所述边缘点的位置确定所述目标伸出部的缺陷位置。
10.一种电子设备,包括处理器和存储器,其中,所述存储器中存储有计算机程序指令,所述计算机程序指令被所述处理器运行时用于执行如权利要求1至6任一项所述的器件边缘点位置检测方法和/或用于执行如权利要求7所述的器件缺陷检测方法。
11.一种存储介质,在所述存储介质上存储了程序指令,所述程序指令在运行时用于执行如权利要求1至6任一项所述的器件边缘点位置检测方法和/或用于执行如权利要求7所述的器件缺陷检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311783844.3A CN117808877A (zh) | 2023-12-22 | 2023-12-22 | 器件边缘点位置检测方法、器件缺陷检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311783844.3A CN117808877A (zh) | 2023-12-22 | 2023-12-22 | 器件边缘点位置检测方法、器件缺陷检测方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117808877A true CN117808877A (zh) | 2024-04-02 |
Family
ID=90430860
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311783844.3A Pending CN117808877A (zh) | 2023-12-22 | 2023-12-22 | 器件边缘点位置检测方法、器件缺陷检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117808877A (zh) |
-
2023
- 2023-12-22 CN CN202311783844.3A patent/CN117808877A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109003258B (zh) | 一种高精度亚像素圆形零件测量方法 | |
US10704900B2 (en) | Detection device and detection method | |
US9704232B2 (en) | Stereo vision measurement system and method | |
CN108369650B (zh) | 标识校准图案的可能特征点的方法 | |
CN102589435B (zh) | 噪声环境下激光束中心高效精确检测方法 | |
JP5953842B2 (ja) | 画像検査方法および検査領域設定方法 | |
US20150228063A1 (en) | Pattern Inspecting and Measuring Device and Program | |
US8103376B2 (en) | System and method for the on-machine 2-D contour measurement | |
CN106017313B (zh) | 边缘检测偏差校正值计算、边缘检测偏差校正方法及设备 | |
CN107945155B (zh) | 一种基于Gabor滤波器的牙膏管肩缺陷检测方法 | |
EP0883857A2 (en) | Machine vision calibration targets and methods of determining their location and orientation in an image | |
CN105095822B (zh) | 一种汉信码特征图形检测方法及系统 | |
CN110838097A (zh) | 一种基于机器视觉的输送带偏移测量方法 | |
CN107356213B (zh) | 滤光片同心度测量方法及终端设备 | |
US20150254830A1 (en) | Shape Inspecting Device And Shape Inspecting Method | |
CN113393447B (zh) | 基于深度学习的针尖正位度检测方法及系统 | |
CN109509165B (zh) | 图像定位区域选取方法及装置 | |
CN117808877A (zh) | 器件边缘点位置检测方法、器件缺陷检测方法及装置 | |
CN116071304A (zh) | 一种物品边缘线定位方法、装置及电子设备 | |
CN110490865A (zh) | 基于螺柱高反光特性的螺柱点云分割方法 | |
CN103151287B (zh) | 一种根据晶圆缺陷聚集位置判定问题制程范围的方法 | |
JP2012198069A (ja) | 平坦度検出装置、および平坦度検出方法 | |
CN117853427A (zh) | 器件外观缺陷检测方法、装置、电子设备及存储介质 | |
CN117808754A (zh) | 目标对象的检测方法、系统、电子设备及存储介质 | |
CN117808752A (zh) | 缺陷检测方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |