CN111861980B - 一种成像检测方法、电子设备及计算机可读存储介质 - Google Patents
一种成像检测方法、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111861980B CN111861980B CN202010474001.5A CN202010474001A CN111861980B CN 111861980 B CN111861980 B CN 111861980B CN 202010474001 A CN202010474001 A CN 202010474001A CN 111861980 B CN111861980 B CN 111861980B
- Authority
- CN
- China
- Prior art keywords
- image
- calibration
- binarization
- connected domain
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
Abstract
本发明公开了一种成像检测方法、电子设备及计算机可读存储介质,所述方法包括:通过图像采集装置采集与标定对象对应的标定图像;基于形态学判断规则对所述标定图像进行二值化处理,得到二值化图像集;对所述二值化图像集进行形态学判断,以确定所述图像采集装置是否存在成像缺陷,应用本发明实施例提供的方法具有客观、准确地确定成像缺陷的效果。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种成像检测方法、电子设备及计算机可读存储介质。
背景技术
目前市场上的大多数电子设备如笔记本电脑、手机、摄像机都有摄像头模块,电子设备组装完成后,需要对摄像头模块进行检测以保证摄像头模块能够正常使用。如何检测电子设备的摄像头是生产过程中的重要步骤之一。目前电子设备的摄像头模块检测均采用人工完成,需要人工通过专有摄像头软件,打开摄像头,在笔记本电脑屏幕上显示摄像头拍摄内容,然后人为观察拍摄内容是否存在缺陷,存在人为主观判断,对于成像模糊等缺陷有时难以界定,不能保证客观准确性。
发明内容
本发明实施例提供了一种成像检测方法、电子设备及计算机可读存储介质,具有客观、准确地确定成像缺陷的效果。
本发明一方面提供一种成像检测方法,应用于电子设备,所述方法包括:通过图像采集装置采集与标定对象对应的标定图像;基于形态学判断规则对所述标定图像进行二值化处理,得到二值化图像集;对所述二值化图像集进行形态学判断,以确定所述图像采集装置是否存在成像缺陷。
在一可实施方式中,所述形态学判断规则为基于数量的形态学判断规则;相应的,所述基于形态学判断规则对所述标定图像进行二值化处理,得到二值化图像集,包括:基于特定阈值步进对所述标定图像进行全局二值化处理,得到第一二值化图像集;所述第一二值化图像集包含多个对应特定阈值步进的二值化图像。
在一可实施方式中,所述对所述二值化图像集进行形态学判断,以确定所述图像采集装置是否存在成像缺陷,包括:对所述第一二值化图像集进行筛选计算,获得中心点集,所述中心点集包含对应每一步进二值化图像的中心点;判断所述中心点集的中心点数量是否满足预设中心点数量;当判断为所述中心点集的中心点数量不满足预设中心点数量时,确定所述图像采集装置存在成像缺陷。
在一可实施方式中,所述对所述第一二值化图像集进行筛选计算,获得中心点集,包括:对所述第一二值化图像集进行形态学筛选,获得第一连通域区域集,所述第一连通域区域集包含多个对应每一步进二值化图像的第一连通域区域;基于特定规则对所述第一连通域区域集进行特征点处理,获得特征点集,所述特征点集包含多个对应每一步进二值化图像的特征点类,所述特征点类包含对应每一个第一连通域区域的多个特征点;基于每一特征点类进行中心点处理,获得对应每一个第一连通域区域的中心点集,所述中心点集用于判断所述中心点集的中心点数量是否满足预设中心点数量。
在一可实施方式中,所述形态学判断规则为基于尺寸的形态学判断规则;相应的,基于形态学判断规则对所述标定图像进行二值化处理,得到二值化图像集,包括:基于预设区域对所述标定图像进行二值化处理,得到第二二值化图像集;所述第二二值化图像集包含多个对应特定区域的二值化图像。
在一可实施方式中,所述对所述二值化图像集进行形态学判断,以确定所述图像采集装置是否存在成像缺陷,包括:对所述第二二值化图像集进行膨胀处理,获得第二连通域区域集,所述第二连通域区域集包括多个对应每一特定区域二值化图像的连通域区域;判断所述第二连通域区域集的连通域区域尺寸是否满足对应所述标定对象的特定条件;当判断为第二连通域区域集的连通域区域尺寸满足对应所述标定对象的特定条件时,确定所述图像采集装置存在成像缺陷。
本发明另一方面提供一种电子设备,包括:采集模块,用于通过图像采集装置采集与标定对象对应的标定图像;处理模块,用于基于形态学判断规则对所述标定图像进行二值化处理,得到二值化图像集;判断模块,用于对所述二值化图像集进行形态学判断,以确定所述图像采集装置是否存在成像缺陷。
在一可实施方式中,所述形态学判断规则为基于数量的形态学判断规则;相应的,所述处理模块,包括:基于特定阈值步进对所述标定图像进行全局二值化处理,得到第一二值化图像集;所述第一二值化图像集包含多个对应特定阈值步进的二值化图像。
在一可实施方式中,所述判断模块,包括:筛选子模块,用于对所述第一二值化图像集进行筛选计算,获得中心点集,所述中心点集包含对应每一步进二值化图像的中心点;判断子模块,用于判断所述中心点集的中心点数量是否满足预设中心点数量;确定子模块,用于当判断为所述中心点集的中心点数量不满足预设中心点数量时,确定所述图像采集装置存在成像缺陷。
在一可实施方式中,所述筛选子模块,包括:筛选单元,用于对所述第一二值化图像集进行形态学筛选,获得第一连通域区域集,所述第一连通域区域集包含多个对应每一步进二值化图像的第一连通域区域;处理单元,用于基于特定规则对所述第一连通域区域集进行特征点处理,获得特征点集,所述特征点集包含多个对应每一步进二值化图像的特征点类,所述特征点类包含对应每一个第一连通域区域的多个特征点;获得单元,用于基于每一特征点类进行中心点处理,获得对应每一个第一连通域区域的中心点集,所述中心点集用于判断所述中心点集的中心点数量是否满足预设中心点数量。
在一可实施方式中,所述形态学判断规则为基于尺寸的形态学判断规则;相应的,所述处理模块,包括:基于预设区域对所述标定图像进行二值化处理,得到第二二值化图像集;所述第二二值化图像集包含多个对应特定区域的二值化图像。
在一可实施方式中,所述判断模块,包括:膨胀子模块,用于对所述第二二值化图像集进行膨胀处理,获得第二连通域区域集,所述第二连通域区域集包括多个对应每一特定区域二值化图像的连通域区域;所述判断子模块,还用于判断所述第二连通域区域集的连通域区域尺寸是否满足对应所述标定对象的特定条件;所述确定子模块,还用于当判断为第二连通域区域集的连通域区域尺寸满足对应所述标定对象的特定条件时,确定所述图像采集装置存在成像缺陷。
本发明另一方面提供一种计算机可读存储介质,所述存储介质包括一组计算机可执行指令,当所述指令被执行时用于执行上述任一项所述的成像检测方法。
本发明实施例提供的一种成像检测方法、电子设备及计算机可读存储介质,通过设备进行形态学判断,达到自动检测判断图像采集装置是否存在成像缺陷的目的,无需人为参与,减少由于主观判断造成的不客观情况,提高成像检测效率和客观性,提高检测精度。
附图说明
通过参考附图阅读下文的详细描述,本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本发明的若干实施方式,其中:
在附图中,相同或对应的标号表示相同或对应的部分。
图1为本发明实施例一种成像检测方法的实现流程示意图;
图2为本发明实施例一种成像检测方法成像缺陷判断的实现流程示意图;
图3为本发明实施例一种成像检测方法中心点筛选的实现流程示意图;
图4为本发明实施例中白底黑圆的圆心错位标定板的示意图;
图5为本发明实施例中应用成像检测方法获得的检测结果图一;
图6为本发明实施例中应用成像检测方法获得的检测结果图二;
图7为本发明实施例中应用成像检测方法获得的检测结果图三;
图8为本发明实施例中应用成像检测方法获得的检测结果图四;
图9为本发明实施例中应用成像检测方法获得的检测结果图五;
图10为本发明实施例一种电子设备的实现模块示意图。
具体实施方式
为使本发明的目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而非全部实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例一种成像检测方法的实现流程示意图。
参见图1,本发明实施例一方面提供一种成像检测方法,应用于电子设备,方法包括:操作101,通过图像采集装置采集与标定对象对应的标定图像;操作102,基于形态学判断规则对标定图像进行二值化处理,得到二值化图像集;操作103,对二值化图像集进行形态学判断,以确定图像采集装置是否存在成像缺陷。
本发明实施例提供的成像检测方法采用通过设备进行形态学判断,达到自动检测判断图像采集装置是否存在成像缺陷的目的,无需人为参与,减少由于主观判断造成的不客观情况,提高成像检测效率和客观性,提高检测精度。
本方法应用的电子设备可以为具有图像采集功能性电子设备,如:手机、笔记本、显示器、台式电脑、平板电脑、摄像装置等。本方法的电子设备也可以为专门用于检测图像采集装置是否存在成像缺陷的检测设备,当本方法的电子设备为用于检测图像采集装置是否存在成像缺陷的检测设备时,图像采集装置可拆卸连接在检测设备上。电子设备还可以为不具备摄像功能的检测设备,该检测设备与装设有图像采集装置的待检测设备通信连接,通过待检测设备将标定图像发送至检测设备,后检测设备对该标定图像进行检测,以确定是否具有成像缺陷。图像采集装置用于指代能够进行图片、录像、或相关性记录资料采集的装置,包括但不限于摄像头、摄像机、相机、扫描仪。
在操作101中,标定对象为在机器视觉、图像测量、摄影测量、三维重建等应用中,为校正镜头畸变;确定物理尺寸和像素间的换算关系;以及确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系,需要建立相机成像的几何模型。具体的,标定对象可以为标定板,标定板上形成有若干标定图案。标定板包括但不限于国际棋盘格标定板,实心图案阵列标定板,网格标定板,陶瓷标定板等。实心图案阵列标定板可以为相同实心图案阵列标定板,也可以为不同实心图案阵列标定板。在一实心图案阵列标定板中,标定图案的阵列方式可以为错位阵列、均匀阵列、随机阵列、同行阵列等任意一种或多种阵列方式。在一实心图案阵列标定板中,标定图案的形状可以为圆形、多边形中的一种或多种组合。进一步的,本方法可以不限定标定板中图案的具体数量,在一种实施情况中,标定对象为错位阵列的圆形标定板,标定板上包含11*11个圆点错位圆,采用A4纸打印。
在通过图像采集装置采集标定对象以获得标定图像的过程中,本方法的采集范围可以为整个标定板,从而获得对应整个板定板的标定图像;也可以采集标定板的局部位置,从而获得对应标定板局部位置的标定图像。当图像采集装置采集标定板的局部位置时,可以预设采集阈值范围,通过判断标定对象是否满足阈值范围,以确定该标定图像是否可用于执行步骤102。采集阈值范围可以为标定板中图案的数量范围,例如,当图像采集装置采集与包含11*11个圆点错位圆的标定板对应的标定图像时,可以预设采集阈值范围为标定图像中至少包含56个圆,至多72个圆。当标定图像中的圆在56-72个范围内时,确定该标定图像是否可用于执行步骤102。
在操作102中,对标定图像进行二值化处理,以得到二值化图像集。通过对标定图像进行二值化处理能够使标定图像中数据量大为减少,将整个图像呈现出明显的黑白效果,从而能凸显出目标的轮廓,以利于进行形态学判断。二值化处理首先对图像进行灰度化,将彩色图像转化成为灰度图像,灰度化的方式有分量法、最大值法、平均值法,加权平均法等。在灰度化以后,把获取到的灰度图像进行二值化处理,灰度图像二值化最常用的方法是阈值法,利用图像中目标与背景的差异,把图像分别设置为两个不同的级别,选取一个合适的阈值,以确定某像素是目标还是背景,从而获得二值化的图像。本方法阈值的选取方法包括但不限于有双峰法、p参数法、最大类间方差法、最大熵阈值法、迭代法等。可以理解的是,基于不同的形态学判断规则,二值化处理的具体方式不同。本方法对标定图像采用不同方式进行二值化处理,以获得对应标定图像的二值化图像集,二值化图像集包含多个二值化图像。
在步骤103中,通过对二值化图像集进行形态学操作以确定图像采集装置是否存在成像缺陷。形态学操作包括但不限于膨胀操作、腐蚀操作等。通过对二值化进行形态学操作以获得用于进行缺陷判断的参数信息,通过对参数信息进行判断,即可确定图像采集装置是否存在成像缺陷。在一种情况下,可以通过对二值化图像集进行形态学操作以确定标定图像中与图案对应的中心点的数量,基于中心点数量判断图像采集装置是否存在成像缺陷;在另一种情况下,可以通过对二值化图像进行形态学操作,以确定标定图像中与图案对应的尺寸信息,基于尺寸信息判断图像采集装置是否存在成像缺陷。进一步补充的是,本方法中,与形态学判断对应的条件可以为一个或多个,例如,当本方法即基于中心点数量判断图像采集装置是否存在成像缺陷,又基于尺寸信息判断图像采集装置是否存在成像缺陷时,可以当两者其中一个判断结果为存在成像缺陷时,判断为图像采集装置存在成像缺陷,也可以是两者中的两个判断结果均为存在成像缺陷时,判断为图像采集装置存在成像缺陷。
在本发明实施例中,形态学判断规则为基于数量的形态学判断规则;相应的,操作102,基于形态学判断规则对标定图像进行二值化处理,得到二值化图像集,包括:基于特定阈值步进对标定图像进行全局二值化处理,得到第一二值化图像集;第一二值化图像集包含多个对应特定阈值步进的二值化图像。
当形态学判断规则为基于数量的形态学判断规则时,对图像的二值化处理方法包括,基于特定阈值步进对标定图像进行全局二值化处理,得到第一二值化图像集。即基于采用阈值法进行标定图像的二值化处理,在阈值的选取上,本方法采用特定阈值步进进行选取,其中,特定阈值步进包括预设的最大阈值、最小阈值以及阈值步进,电子设备基于最大阈值、最小阈值和阈值步进对标定图像进行全局二值化处理,以获得对应每一个阈值的二值化图像,每一个二值化图像的集合即为第一二值化图像集。例如,电子设备预先设置最低阈值为T1、最高阈值为T2、阈值步进为T,在从最低阈值T1和最高阈值T2的阈值范围内,按阈值步进T进行取值,获得位于阈值范围内的多个设定阈值,利用多个设定阈值对标定图像进行全局二值化处理,即可获得对应每一个设定阈值的二值化图像,上述每一个二值化图像的集合即为第一二值化图像集。可以理解的是,根据需要,在从最低阈值T1和最高阈值T2的阈值范围内,该范围可以包括最低阈值T1和最高阈值T2中的其中一个或两个,也可以不包括最低阈值T1和最高阈值T2。即根据需要,设定阈值的取值范围可以为[T1,T2]区间、[T1,T2)区间、(T1,T2)区间、(T1,T2]区间中的任一个。
图2为本发明实施例一种成像检测方法成像缺陷判断的实现流程示意图。
参见图2,在本发明实施例中,操作103,对二值化图像集进行形态学判断,以确定图像采集装置是否存在成像缺陷,包括:操作1031,对第一二值化图像集进行筛选计算,获得中心点集,中心点集包含对应每一步进二值化图像的中心点;操作1032,判断中心点集的中心点数量是否满足预设中心点数量;操作1033,当判断为所述中心点集的中心点数量不满足预设中心点数量时,确定图像采集装置存在成像缺陷。
当形态学判断规则为基于数量的形态学判断规则时,对二值化图像集的形态学处理方法包括操作1031。在操作1031中,用于筛选中心点集的筛选条件根据标定对象和图像采集装置的先验信息确定。先验信息包括但不限于标定图案的形状、大小、数量等,图像采集装置的图像分辨率等,标定板与图像采集装置之间的距离等。中心点为根据二值化图像集获得的、对应标定图像中每一个标定图案的中心点位置。基于先验信息,还可以计算获得满足预设中心点数量,例如,当标定板为包含11*11个圆点错位圆的标定板;图像采集装置采集成像的图像分辨率为1280*720,颜色为彩色,每个圆形标定图案大小为80*80像素时,根据标定板与图像采集装置之间的距离差异,预设中心点数量可以设置在56-72之间。具体的,当预设中心点数量为56时,当中心点集的中心点数量不满足56时,即可理解为图像采集装置采集的图像可能存在黑屏、闪屏、严重模糊等缺陷问题。需要补充的是,在仅通过基于数量的形态学判断规则进行判断时,当判断为所述中心点集的中心点数量满足预设中心点数量时,可以确定图像采集装置不存在成像缺陷。
图3为本发明实施例一种成像检测方法中心点筛选的实现流程示意图。
参见图3,在本发明实施例中,操作1031,对第一二值化图像集进行筛选计算,获得中心点集,包括:操作10311,对第一二值化图像集进行形态学筛选,获得第一连通域区域集,第一连通域区域集包含多个对应每一步进二值化图像的第一连通域区域;操作10312,基于特定规则对第一连通域区域集进行特征点处理,获得特征点集,特征点集包含多个对应每一步进二值化图像的特征点类,特征点类包含对应每一个第一连通域区域的多个特征点;操作10313,基于每一特征点类进行中心点处理,获得对应每一个第一连通域区域的中心点集,中心点集用于判断中心点集的中心点数量与标定对象的中心点数量是否一致。
具体的,在进行中心点集的筛选过程中,需要根据标定图案的实际情况确定筛选条件,以获得满足筛选条件的第一连通域区域,使满足筛选条件的第一连通域区域与标定图案相对应。例如,已知标定板为包含11*11个圆点错位圆的标定板;同时,已知图像采集装置采集成像的图像分辨率为1280*720,颜色为彩色,每个圆形标定图案大小为80*80像素。在形态学方法筛选以获得第一连通域区域时,筛选条件包括以下至少之一,用于表征区域面积范围大小的第一条件,例如,第一条件为区域面积的大小范围满足[6000,7000];用于表征高宽的第二条件,例如,第二条件为宽高均满足[70,90];用于表征圆度的第三条件,例如,第三条件为圆度满足0.8f。其中,圆度定义:4πS/C2,其中,S为面积,C为周长。可以理解的是,由于标定板上具有多个标定图案,每一张二值化图像上可获得多个对应标定图案的第一连通域区域。
在筛选获得满足筛选条件的第一连通域区域后,通过计算获得每张二值化图像上每个第一连通域区域的特征点。可以理解的是,由于本方法获得第一二值化图像集中每一个二值化图像的阈值步进不同,不同二值化图像中对应同一标定图案的第一连通域区域所获得的特征点的位置存在差异,因此将每一张二值化图像的特征点在同一坐标系或图像中重叠,可在同一坐标系或图像上获得对应每一个标定图像的特征点集。特征点为连通域区域的中心。
对由第一连通域区域集获得的特征点集通过特定规则进行特征点归类。此处的特定规则可以是基于设定距离的规则,也可以是基于设定范围内的规则,即,将满足该设定距离或设定范围内的特征点确定为特征点类,可以理解的是,特征点集包含多个特征点类,每一个特征点类均与同一个标定图案关联。对特征点类进行中心点计算,即可获得对应每一个第一连通域区域的中心点,所有中心点的集合即为中心点集,基于中心点集可获得中心点集的中心点数量。中心点数量用于进行是否满足预设中心点数量的判断。需要补充的是,中心点的计算可以是平均值计算,也可以采用权重计算,本方法不对中心点的计算方式进行限定。
为方便上述实施方式的理解,以下提供一种具体实施场景进行说明。
在场景中,电子设备为检测设备,待检测设备为笔记本电脑,本方法用于进行笔记本电脑的摄像头成像检测。在该成像检测中,采用了圆点错位的圆点标定板,标定板上包含11*11个黑圆白底的圆点错位圆,采用A4纸打印。检测过程中,摄像头对准圆点标定板采集图像,获得图像分辨率为1280*720的彩色图像,其中,每个圆大小为80*80像素。基于先验信息可知,当摄像头无缺陷时,可采集到56个圆,即预设中心点数量为56。
首先,通过笔记本电脑的摄像头采集到对应标定板的标定图像,将标定图像发送至检测设备,检测设备将图像取反,即获得黑底白圆的图像,然后根据设定的低阈值T1、高阈值T2和阈值步进T,在[T1,T2)区间内按照阈值步进T确定一系列的设定阈值,根据每一个设定阈值对取反图像进行全局二值化处理,得到一系列二值化图像。
然后,对每一张二值化图像,根据筛选条件筛选连通域区域,筛选条件为区域面积大小范围满足[6000,7000]区间,高宽均满足[70,90]的区间,圆度满足0.8f,获得每一张二值化图像中满足筛选条件的连通域区域。
之后,计算每一张二值化图像中每一个连通域区域的特征点,特征点为每一个连通域区域的中心。
再后,将每一张二值化图像的特征点重叠至同一预设图像上。定义距离区域为D,在距离区域D内的特征点被归为同一个类,得到中心点类。
最后,根据每一个特征点类计算该类的中心点,获得中心点集。根据中心点集可以获得中心点数量,将中心点数量与预设中心点数量进行比较,当中心点数量与预设中心点数量不一致时,可确定为笔记本摄像头采集的图像有成像缺陷,即认为笔记本摄像头存在成像缺陷。
在本发明实施例中,形态学判断规则为基于尺寸的形态学判断规则;相应的,步骤102,基于形态学判断规则对标定图像进行二值化处理,得到二值化图像集,包括:基于预设区域对标定图像进行二值化处理,得到第二二值化图像集;第二二值化图像集包含多个对应特定区域的二值化图像。
当形态学判断规则为基于尺寸的形态学判断规则时,设定区域包括全局区域和局部区域,对图像的二值化处理方法包括,根据自适应阈值二值化对标定图像进行全局二值化处理,获得全局区域的二值化图像,并采用最大类间方差法二值化对标定图像进行局部二值化处理,获得局部区域的二值化图像。需要补充的是,局部区域的数量、形状可以根据实际情况进行选择,例如,当图像采集装置采集到的标定图像为矩形时,局部区域可以为矩形图像的四个边角图像;当图像采集装置采集到的标定图像为六边形时,局部区域可以为矩形图像的六个边角图像;当图像采集装置采集到的标定图像为圆形时,局部区域可以为矩形图像的多个扇形图像。进一步的,局部区域的二值化图像的尺寸比例可根据全局区域进行设定,例如,当标定图像为矩形时,全局区域图像的宽高分别为全局区域图像三分之一。
图2为本发明实施例一种成像检测方法成像缺陷判断的实现流程示意图。
参见图2,在本发明实施例中,操作103,对二值化图像集进行形态学判断,以确定图像采集装置是否存在成像缺陷,包括:操作1034,对第二二值化图像集进行膨胀处理,获得第二连通域区域集,第二连通域区域集包括多个对应每一特定区域二值化图像的连通域区域;操作1035,判断第二连通域区域集的连通域区域尺寸是否满足对应标定对象的特定条件;操作1036,当判断为第二连通域区域集的连通域区域尺寸满足对应标定对象的特定条件时,确定图像采集装置存在成像缺陷。
当形态学判断规则为基于尺寸的形态学判断规则时,在操作1034中,形态学膨胀处理的膨胀参数可根据图像采集装置和标定对象的先验信息进行确定,例如对二值化后图像分别进行3*3大小的形态学膨胀,查找连通域区域,以获得第二连通域区域集,可以理解的是,第二连通域区域集包括对应全局区域的第二连通域区域、对应局部区域的第二连通域区域。
在操作1035中,特定条件可根据图像采集装置和标定对象的先验信息进行确定,特定条件可以是基于连通域尺寸的特定条件,具体的,当第二连通域区域为矩形时,特定条件可以是基于连通域宽或高的像素参数的特定条件,例如,判断第二连通域区域的宽或高是否大于90个像素;当判断为第二连通域区域集的连通域区域尺寸宽或高大于90个像素,确定图像采集装置存在成像缺陷。由此获得成像缺陷包括但不限于黑角、角落模糊等局部缺陷和黑屏、整体模糊等全局缺陷。可以理解的是,当采用仅通过基于尺寸的形态学判断规则进行判断时,当判断为第二连通域区域集的连通域区域尺寸不满足对应标定对象的特定条件时,确定图像采集装置不存在成像缺陷。
为方便上述实施方式的理解,以下提供另一种具体实施场景进行说明。
在场景中,电子设备为笔记本电脑,本方法用于进行笔记本电脑的摄像头成像检测。在该成像检测中,采用了黑圆白底的圆点错位的圆点标定板,标定板上包含11*11个圆点错位圆,采用A4纸打印。检测过程中,摄像头对准圆点标定板采集图像,获得图像分辨率为1280*720的彩色图像,其中,每个圆大小为80*80像素。基于先验信息可知,如果膨胀后查找到的连通域区域的宽或高大于90个像素,则认为该区域有缺陷。
首先,通过笔记本电脑的摄像头采集到对应标定板的标定图像,笔记本电脑将图像取反,获得黑底白圆的图像。
然后对整个取反图像采用自适应阈值二值化整体处理,获得全局二值化图像;对取反图像采用最大类间方差法二值化局部处理,获得对应取反图像的4个边角的局部二值化图像,局部二值化图像的宽高分别为整个图像三分之一。
再后,对全局二值化图像和局部二值化图像分别进行3*3大小的形态学膨胀,查找连通域区域,获得第二连通域区域。
最后,计算第二连通域的宽高尺寸,判断第二连通域区域的宽或高是否大于90个像素,当判断为第二连通域区域的宽或高大于90个像素时,认为第二连通域区域有成像缺陷,即认为笔记本摄像头存在成像缺陷。
需要说明的是,操作1031-操作1033和操作1034-操作1036之间,只用于操作上进行区分,无先后顺序,也无关联性。例如,可以先执行操作1034-操作1036、再执行操作1031-操作1033;也可以先执行操作1031-操作1033,再执行1034-操作1036;还可以只执行操作1031-操作1033,或只执行操作1034-操作1036;还可以,操作1031-操作1033、操作1034-操作1036同时执行。
进一步需要说明的是,操作1031-操作1033和操作1034-操作1036均被执行时,根据操作1031-操作1033可以获得是否存在成像缺陷的第一缺陷结果,根据操作1034-操作1036可以获得是否存在成像缺陷的第二缺陷结果。本方法还包括,当第一缺陷结果和第二缺陷结果均确定为存在成像缺陷时,确定图像采集装置存在成像缺陷的方式。或,本方法还包括,当第一缺陷结果和第二缺陷结果至少一个确定为存在成像缺陷时,确定图像采集装置存在成像缺陷。当第一缺陷结果和第二缺陷结果均确定为不存在成像缺陷时,确定图像采集装置不存在成像缺陷。
为进一步说明上述实施方式,以下提供一种整合的具体实施场景。
在场景中,电子设备为笔记本电脑,本方法用于进行笔记本电脑的摄像头成像检测。在该成像检测中,采用了黑圆白底的圆点错位的圆点标定板,电子设备根据基于尺寸的形态学判断规则对成像进行判断,获得尺寸判断结果;电子设备根据基于数量的形态学判断规则对成像进行判断,获得数量判断结果;当数量判断结果或尺寸判断结果任一判断为存在成像缺陷时,确定图像采集装置存在成像缺陷。
图4为本发明实施例中白底黑圆的圆心错位标定板的示意图。
本方法应用如图4所示的标定板作为标定对象,可以理解的是,图4为该标定板的预设标定图像,该预设标定图像含60个圆,该标定板未在图像内的部分的图案以同样规则进行排列。
图5为本发明实施例中应用成像检测方法获得的检测结果图一。
在一种情况下,当待检测设备1利用该标定板根据基于数量的形态学判断规则、基于尺寸的形态学判断规则进行成像检测时,获得的判断结果如图5所示,检测为标定图像包括60个圆心,与预设标定图像一致,且标定图像的连通域尺寸与预设标定图像一致。即可认为待检测设备1在基于数量的形态学判断规则和基于尺寸的形态学判断规则中判断为对应该待检测设备1的图像采集装置不存在成像缺陷。
图6为本发明实施例中应用成像检测方法获得的检测结果图二。
在又一种情况下,当待检测设备2利用该标定板根据基于尺寸的形态学判断规则进行成像检测时,获得的判断结果如图6所示,在图6中,位于图像下方的连通域区域尺寸的宽或高大于预设连通域区域尺寸,即可认为待检测设备2在基于尺寸的形态学判断规则中判断为对应该待检测设备2的图像采集装置存在成像缺陷。
图7为本发明实施例中应用成像检测方法获得的检测结果图三。
在另一种情况下,当待检测设备3利用该标定板根据基于数量的形态学判断规则、基于尺寸的形态学判断规则进行成像检测时,获得的判断结果如图7所示,检测为标定图像包括32个圆心,且位于图像下方的连通域区域尺寸的宽或高大于预设连通域区域尺寸,即可认为待检测设备3在基于数量的形态学判断规则和基于尺寸的形态学判断规则中均判断为对应该待检测设备3的图像采集装置存在成像缺陷,确定待检测设备3的图像采集装置存在成像缺陷。
图8为本发明实施例中应用成像检测方法获得的检测结果图四。
在再一种情况下,当待检测设备4利用该标定板根据基于数量的形态学判断规则、基于尺寸的形态学判断规则进行成像检测时,获得的判断结果如图8所示,检测为标定图像包括61个圆心,且位于图像左上角的连通域区域尺寸的宽或高大于预设连通域区域尺寸,即可认为待检测设备4在基于数量的形态学判断规则和基于尺寸的形态学判断规则中均判断为对应该待检测设备3的图像采集装置存在成像缺陷,确定待检测设备4的图像采集装置存在成像缺陷。
图9为本发明实施例中应用成像检测方法获得的检测结果图五。
在再一种情况下,当待检测设备5利用该标定板根据基于数量的形态学判断规则、基于尺寸的形态学判断规则进行成像检测时,获得的判断结果如图9所示,检测为标定图像包括28个圆心,且位于图像有多处的连通域区域尺寸的宽或高大于预设连通域区域尺寸,即可认为待检测设备5在基于数量的形态学判断规则和基于尺寸的形态学判断规则中均判断为对应该待检测设备3的图像采集装置存在成像缺陷,确定待检测设备5的图像采集装置存在成像缺陷。
图10为本发明实施例一种电子设备的实现模块示意图。
参见图10,本发明实施例另一方面提供一种电子设备,包括:采集模块401,用于通过图像采集装置采集与标定对象对应的标定图像;处理模块402,用于基于形态学判断规则对标定图像进行二值化处理,得到二值化图像集;判断模块403,用于对二值化图像集进行形态学判断,以确定图像采集装置是否存在成像缺陷。
在本发明实施例中,形态学判断规则为基于数量的形态学判断规则;相应的,处理模块402,包括:基于特定阈值步进对标定图像进行全局二值化处理,得到第一二值化图像集;第一二值化图像集包含多个对应特定阈值步进的二值化图像。
在本发明实施例中,判断模块403,包括:筛选子模块4031,用于对第一二值化图像集进行筛选计算,获得中心点集,中心点集包含对应每一步进二值化图像的中心点;判断子模块4032,用于判断中心点集的中心点数量与标定对象的中心点数量是否一致;确定子模块4033,用于当判断为中心点集的中心点数量与标定对象的中心点数量不一致时,确定图像采集装置存在成像缺陷。
在本发明实施例中,筛选子模块4031,包括:筛选单元40311,用于对第一二值化图像集进行形态学筛选,获得第一连通域区域集,第一连通域区域集包含多个对应每一步进二值化图像的第一连通域区域;处理单元40312,用于基于特定规则对第一连通域区域集进行特征点处理,获得特征点集,特征点集包含多个对应每一步进二值化图像的特征点类,特征点类包含对应每一个第一连通域区域的多个特征点;获得单元40313,用于基于每一特征点类进行中心点处理,获得对应每一个第一连通域区域的中心点集,中心点集用于判断中心点集的中心点数量与标定对象的中心点数量是否一致。
在本发明实施例中,形态学判断规则为基于尺寸的形态学判断规则;相应的,处理模块402,包括:基于预设区域对标定图像进行二值化处理,得到第二二值化图像集;第二二值化图像集包含多个对应特定区域的二值化图像。
在本发明实施例中,判断模块403,包括:膨胀子模块4034,用于对第二二值化图像集进行膨胀处理,获得第二连通域区域集,第二连通域区域集包括多个对应每一特定区域二值化图像的连通域区域;判断子模块4032,还用于判断第二连通域区域集的连通域区域尺寸是否满足对应标定对象的特定条件;确定子模块4033,还用于当判断为第二连通域区域集的连通域区域尺寸满足对应标定对象的特定条件时,确定图像采集装置存在成像缺陷。
本发明实施例另一方面提供一种计算机可读存储介质,存储介质包括一组计算机可执行指令,当指令被执行时用于执行上述任一项的成像检测方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
以上,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (6)
1.一种成像检测方法,其特征在于,应用于电子设备,所述方法包括:
通过图像采集装置采集与标定对象对应的标定图像;
基于形态学判断规则对所述标定图像进行二值化处理,得到二值化图像集;
对所述二值化图像集进行形态学判断,以确定所述图像采集装置是否存在成像缺陷;
所述形态学判断规则为基于数量的形态学判断规则;
相应的,所述基于形态学判断规则对所述标定图像进行二值化处理,得到二值化图像集,包括:
基于特定阈值步进对所述标定图像进行全局二值化处理,得到第一二值化图像集;所述第一二值化图像集包含多个对应特定阈值步进的二值化图像;
所述对所述二值化图像集进行形态学判断,以确定所述图像采集装置是否存在成像缺陷,包括:
对所述第一二值化图像集进行筛选计算,获得中心点集,所述中心点集包含对应每一步进二值化图像的中心点;
判断所述中心点集的中心点数量是否满足预设中心点数量;
当判断为所述中心点集的中心点数量不满足预设中心点数量时,确定所述图像采集装置存在成像缺陷。
2.根据权利要求1所述的方法,其特征在于,所述对所述第一二值化图像集进行筛选计算,获得中心点集,包括:
对所述第一二值化图像集进行形态学筛选,获得第一连通域区域集,所述第一连通域区域集包含多个对应每一步进二值化图像的第一连通域区域;
基于特定规则对所述第一连通域区域集进行特征点处理,获得特征点集,所述特征点集包含多个对应每一步进二值化图像的特征点类,所述特征点类包含对应每一个第一连通域区域的多个特征点;
基于每一特征点类进行中心点处理,获得对应每一个第一连通域区域的中心点集,所述中心点集用于判断所述中心点集的中心点数量是否满足预设中心点数量。
3.根据权利要求1所述的方法,其特征在于,所述形态学判断规则还为基于尺寸的形态学判断规则;
相应的,基于形态学判断规则对所述标定图像进行二值化处理,得到二值化图像集,包括:
基于预设区域对所述标定图像进行二值化处理,得到第二二值化图像集;所述第二二值化图像集包含多个对应特定区域的二值化图像。
4.根据权利要求3所述的方法,其特征在于,所述对所述二值化图像集进行形态学判断,以确定所述图像采集装置是否存在成像缺陷,包括:
对所述第二二值化图像集进行膨胀处理,获得第二连通域区域集,所述第二连通域区域集包括多个对应每一特定区域二值化图像的连通域区域;
判断所述第二连通域区域集的连通域区域尺寸是否满足对应所述标定对象的特定条件;
当判断为第二连通域区域集的连通域区域尺寸满足对应所述标定对象的特定条件时,确定所述图像采集装置存在成像缺陷。
5.一种电子设备,其特征在于,包括:
采集模块,用于通过图像采集装置采集与标定对象对应的标定图像;
处理模块,用于基于形态学判断规则对所述标定图像进行二值化处理,得到二值化图像集;
判断模块,用于对所述二值化图像集进行形态学判断,以确定所述图像采集装置是否存在成像缺陷;
所述形态学判断规则为基于数量的形态学判断规则;相应的,所述处理模块,包括:基于特定阈值步进对所述标定图像进行全局二值化处理,得到第一二值化图像集;所述第一二值化图像集包含多个对应特定阈值步进的二值化图像;
所述判断模块,包括:
筛选子模块,用于对所述第一二值化图像集进行筛选计算,获得中心点集,所述中心点集包含对应每一步进二值化图像的中心点;
判断子模块,用于判断所述中心点集的中心点数量是否满足预设中心点数量;
确定子模块,用于当判断为所述中心点集的中心点数量不满足预设中心点数量时,确定所述图像采集装置存在成像缺陷。
6.一种计算机可读存储介质,其特征在于,所述存储介质包括一组计算机可执行指令,当所述指令被执行时用于执行权利要求1-4任一项所述的成像检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010474001.5A CN111861980B (zh) | 2020-05-29 | 2020-05-29 | 一种成像检测方法、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010474001.5A CN111861980B (zh) | 2020-05-29 | 2020-05-29 | 一种成像检测方法、电子设备及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111861980A CN111861980A (zh) | 2020-10-30 |
CN111861980B true CN111861980B (zh) | 2022-02-01 |
Family
ID=72985339
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010474001.5A Active CN111861980B (zh) | 2020-05-29 | 2020-05-29 | 一种成像检测方法、电子设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111861980B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112581546A (zh) * | 2020-12-30 | 2021-03-30 | 深圳市杉川机器人有限公司 | 摄像头标定方法、装置、计算机设备和存储介质 |
CN112950723B (zh) * | 2021-03-05 | 2022-08-02 | 湖南大学 | 基于边缘尺度自适应散焦模糊估计的机器人相机标定方法 |
CN113379780B (zh) * | 2021-05-19 | 2024-04-16 | 昆山丘钛微电子科技股份有限公司 | 一种抓框图像的优化方法及装置 |
CN115314634A (zh) * | 2022-06-28 | 2022-11-08 | 上海艾为电子技术股份有限公司 | 防抖检测方法、装置、终端设备和可读存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102735695A (zh) * | 2012-06-04 | 2012-10-17 | 华中科技大学 | 一种镜片瑕疵快速检测方法及装置 |
CN104331695A (zh) * | 2014-09-01 | 2015-02-04 | 西北工业大学 | 一种鲁棒的圆形标志符形状质量检测方法 |
CN104463827A (zh) * | 2013-09-17 | 2015-03-25 | 联想(北京)有限公司 | 一种图像采集模块的自动检测方法及相应的电子设备 |
CN104867159A (zh) * | 2015-06-05 | 2015-08-26 | 北京大恒图像视觉有限公司 | 一种数字相机传感器污点检测及分级方法与装置 |
CN107113421A (zh) * | 2016-08-09 | 2017-08-29 | 深圳市瑞立视多媒体科技有限公司 | 一种光学系统成像质量的检测方法和装置 |
CN107525652A (zh) * | 2016-06-22 | 2017-12-29 | 北京疯景科技有限公司 | 镜头畸变测试方法、装置及系统 |
CN108548654A (zh) * | 2018-02-07 | 2018-09-18 | 深圳市锐光科技有限公司 | 基于机器视觉的摄像头缺陷检测方法 |
CN110493595A (zh) * | 2019-09-30 | 2019-11-22 | 腾讯科技(深圳)有限公司 | 摄像头的检测方法和装置、存储介质及电子装置 |
CN110567968A (zh) * | 2019-09-04 | 2019-12-13 | 中国科学院长春光学精密机械与物理研究所 | 一种零件缺陷检测方法及装置 |
CN110648330A (zh) * | 2019-11-28 | 2020-01-03 | 征图新视(江苏)科技股份有限公司 | 摄像头玻璃的缺陷检测方法 |
CN110879131A (zh) * | 2018-09-06 | 2020-03-13 | 舜宇光学(浙江)研究院有限公司 | 目视光学系统的成像质量测试方法、成像质量测试装置和电子设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10778967B2 (en) * | 2017-08-24 | 2020-09-15 | Qualcomm Incorporated | Systems and methods for improving performance of a robotic vehicle by managing on-board camera defects |
-
2020
- 2020-05-29 CN CN202010474001.5A patent/CN111861980B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102735695A (zh) * | 2012-06-04 | 2012-10-17 | 华中科技大学 | 一种镜片瑕疵快速检测方法及装置 |
CN104463827A (zh) * | 2013-09-17 | 2015-03-25 | 联想(北京)有限公司 | 一种图像采集模块的自动检测方法及相应的电子设备 |
CN104331695A (zh) * | 2014-09-01 | 2015-02-04 | 西北工业大学 | 一种鲁棒的圆形标志符形状质量检测方法 |
CN104867159A (zh) * | 2015-06-05 | 2015-08-26 | 北京大恒图像视觉有限公司 | 一种数字相机传感器污点检测及分级方法与装置 |
CN107525652A (zh) * | 2016-06-22 | 2017-12-29 | 北京疯景科技有限公司 | 镜头畸变测试方法、装置及系统 |
CN107113421A (zh) * | 2016-08-09 | 2017-08-29 | 深圳市瑞立视多媒体科技有限公司 | 一种光学系统成像质量的检测方法和装置 |
CN108548654A (zh) * | 2018-02-07 | 2018-09-18 | 深圳市锐光科技有限公司 | 基于机器视觉的摄像头缺陷检测方法 |
CN110879131A (zh) * | 2018-09-06 | 2020-03-13 | 舜宇光学(浙江)研究院有限公司 | 目视光学系统的成像质量测试方法、成像质量测试装置和电子设备 |
CN110567968A (zh) * | 2019-09-04 | 2019-12-13 | 中国科学院长春光学精密机械与物理研究所 | 一种零件缺陷检测方法及装置 |
CN110493595A (zh) * | 2019-09-30 | 2019-11-22 | 腾讯科技(深圳)有限公司 | 摄像头的检测方法和装置、存储介质及电子装置 |
CN110648330A (zh) * | 2019-11-28 | 2020-01-03 | 征图新视(江苏)科技股份有限公司 | 摄像头玻璃的缺陷检测方法 |
Non-Patent Citations (2)
Title |
---|
An on‑line optical bench tester machine for evaluating lens quality;Paul C.‑P. Chao et al.;《Microsystem Technologies (2014) 》;20140327;第1387-1395页 * |
基于机器视觉的摄像头模组缺陷检测系统研究;梁雄;《中国优秀硕士学位论文全文数据库 信息科技辑》;20151215;第2015年卷(第12期);第I138-643页 * |
Also Published As
Publication number | Publication date |
---|---|
CN111861980A (zh) | 2020-10-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111861980B (zh) | 一种成像检测方法、电子设备及计算机可读存储介质 | |
CN110136120B (zh) | 一种基于机器视觉的丝网印刷样板尺寸测量方法 | |
CN107315011B (zh) | 图像处理装置、图像处理方法及存储介质 | |
CN103581660B (zh) | 基于线对的全场清晰度测试方法和系统 | |
KR20100020903A (ko) | 화상 식별 방법 및 촬상장치 | |
CN109920003B (zh) | 相机标定检测方法、装置以及设备 | |
US20210131979A1 (en) | Break Analysis Apparatus and Method | |
JP2005331929A (ja) | 画像解析方法、画像解析プログラム、及びそれらを有する画素評価システム | |
CN108616726A (zh) | 基于结构光的曝光控制方法及曝光控制装置 | |
CN106937109B (zh) | 低成本判断摄像头分辨率水平的方法 | |
KR20140058373A (ko) | 테스트 차트 및 그 사용 방법 | |
JP3560473B2 (ja) | プリント基板の検査装置およびプリント基板の検査方法 | |
CN114187363A (zh) | 一种获取径向畸变参数值的方法、装置以及移动终端 | |
CN100584044C (zh) | 数码图像分辨率测试图制作方法 | |
CN117274258A (zh) | 主板图像的缺陷检测方法、系统、设备及存储介质 | |
CN112017163A (zh) | 图像模糊度检测的方法、装置、电子设备及存储介质 | |
JP4550559B2 (ja) | 外観検査装置、外観検査方法およびコンピュータを外観検査装置として機能させるためのプログラム | |
CN110896469B (zh) | 用于三摄的解像力测试方法及其应用 | |
CN113128499B (zh) | 视觉成像设备的震动测试方法、计算机设备及存储介质 | |
JP4423347B2 (ja) | 複眼測距装置の検査方法及び検査装置並びにそれに用いるチャート | |
CN116993654A (zh) | 摄像头模组缺陷检测方法、装置、设备、存储介质及产品 | |
JP2019120644A (ja) | 表面検査装置、及び表面検査方法 | |
CN113469171A (zh) | 识别sfr测试卡图像中感兴趣区域的方法及装置、介质 | |
JP2004134861A (ja) | 解像度評価方法、解像度評価プログラム、および光学機器 | |
CN112017218A (zh) | 一种图像配准方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |