CN116433701B - 一种工件孔洞轮廓的提取方法、装置、设备及存储介质 - Google Patents

一种工件孔洞轮廓的提取方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116433701B
CN116433701B CN202310705618.7A CN202310705618A CN116433701B CN 116433701 B CN116433701 B CN 116433701B CN 202310705618 A CN202310705618 A CN 202310705618A CN 116433701 B CN116433701 B CN 116433701B
Authority
CN
China
Prior art keywords
hole
image
pixel
preset
workpiece
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310705618.7A
Other languages
English (en)
Other versions
CN116433701A (zh
Inventor
何源
王辰
孙繁
周阳
邰森
高俊辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Zhongguan Automation Technology Co ltd
Original Assignee
Wuhan Zhongguan Automation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Zhongguan Automation Technology Co ltd filed Critical Wuhan Zhongguan Automation Technology Co ltd
Priority to CN202310705618.7A priority Critical patent/CN116433701B/zh
Publication of CN116433701A publication Critical patent/CN116433701A/zh
Application granted granted Critical
Publication of CN116433701B publication Critical patent/CN116433701B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/28Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种工件孔洞轮廓的提取方法、装置、设备及存储介质,该方法包括:对工件孔洞图像进行二值化处理得到孔洞二值化图像,确定所有孔洞的像素位置;为所述所有孔洞的像素位置设置预设孔洞边界,基于所述预设孔洞边界和所述孔洞二值化图像进行图像分割,确定初始孔洞轮廓;对所述初始孔洞轮廓的像素点进行曲线拟合确定孔洞轮廓亚像素边缘点,得到目标孔洞轮廓。本发明提供的一种工件孔洞轮廓的提取方法、装置、设备及存储介质,将工件孔洞图像进行二值化处理,通过孔洞二值化图像确定孔洞轮廓,避免了工件孔洞图像因受到光照、材质的影响而使得拍摄的孔洞图像存在变形、阴影的问题,实现了成功提取出工件中的准确孔洞轮廓。

Description

一种工件孔洞轮廓的提取方法、装置、设备及存储介质
技术领域
本发明涉及孔洞识别技术领域,尤其涉及一种工件孔洞轮廓的提取方法、装置、设备及存储介质。
背景技术
工业生产中对各种工件上孔洞加工的精度和速度越来越受到人们重视,对工件上孔洞测量的精度要求越来越高。常见的孔洞测量方法主要有卡尺、三坐标测量机、关节臂等接触式测量方法,这种测量方式测量时间长、效率低,越来越难以满足生产效率的需求。
基于计算机视觉技术的图像处理方法是目前应用最广泛的一种非接触式测量方式,主要是采用Canny边缘的孔洞检测方法实现孔洞轮廓的提取,该方法受光照及材质影响较大,能实现边缘的提取而较难获取完整的孔洞轮廓。
但是,基于Canny边缘的孔洞检测方法易受光照、材质影响导致测量效果不佳,需要在光照环境良好的条件下对特定类型材质的工件进行拍摄得到孔洞图像照片,当拍摄的孔洞图像存在变形、阴影等,常常会导致孔洞轮廓提取失败。
发明内容
在有鉴于此,有必要提供一种工件孔洞轮廓的提取方法、装置、设备及存储介质,用以解决现有技术中因受到光照、材质影响,拍摄的孔洞图像存在变形、阴影时,会导致孔洞轮廓提取失败的问题。
为达到上述技术目的,本发明采取了以下技术方案:
第一方面,本发明提供了一种工件孔洞轮廓的提取方法,包括:
对工件孔洞图像进行二值化处理得到孔洞二值化图像,确定所有孔洞的像素位置;
为所有孔洞的像素位置设置预设孔洞边界,基于预设孔洞边界和孔洞二值化图像进行图像分割,确定初始孔洞轮廓;
对初始孔洞轮廓的像素点进行曲线拟合确定孔洞轮廓亚像素边缘点,得到目标孔洞轮廓。
在一些可能的实现方式中,对工件孔洞图像进行二值化处理得到孔洞二值化图像,确定所有孔洞的像素位置,包括:
对工件孔洞图像进行预处理;
通过预设阈值算法确定二值化阈值;
根据二值化阈值对预处理后的工件孔洞图像进行二值化处理,得到孔洞二值图像;
根据孔洞二值图像确定所有孔洞的像素位置。
在一些可能的实现方式中,对工件孔洞图像进行预处理,包括:
对工件孔洞图像进行去畸变和核线纠正,得到核线图像;
对核线图像进行中值滤波处理,得到中值滤波图像。
在一些可能的实现方式中,根据孔洞二值图像确定所有孔洞的像素位置,包括:
根据孔洞二值图像确定所有连通域的范围;
计算所有连通域的面积,并求所有连通域的凸包轮廓;
根据连通域的面积和凸包轮廓确定所有孔洞的像素位置。
在一些可能的实现方式中,为所有孔洞的像素位置设置预设孔洞边界,基于预设孔洞边界和孔洞二值化图像进行图像分割,确定初始孔洞轮廓,包括:
根据孔洞的像素位置外扩预设距离得到预设孔洞边界;
通过预设阈值算法确定背景阈值和前景阈值;
根据背景阈值和前景阈值分别对预设孔洞边界内外的像素点进行图像分割,得到分割孔洞图像;
根据孔洞二值化图像和分割孔洞图像确定初始孔洞轮廓。
在一些可能的实现方式中,根据背景阈值和前景阈值分别对预设孔洞边界内外的像素点进行图像分割,得到分割孔洞图像,包括:
将预设孔洞边界内像素值大于前景均值的像素点设置为前景;
将预设孔洞边界内像素值大于背景阈值且小于前景均值的像素点设置为疑似前景;
将预设孔洞边界内像素值小于背景阈值的像素点设置为疑似背景;
将预设孔洞边界外像素值大于前景均值的像素点设置为前景;
将预设孔洞边界外像素值大于背景阈值且小于前景均值的像素点设置为疑似背景;
将预设孔洞边界外像素值背景阈值的像素点设置为背景。
在一些可能的实现方式中,根据孔洞二值化图像和分割孔洞图像确定初始孔洞轮廓,包括:
将孔洞二值化图像和分割孔洞图像进行并运算得到目标孔洞二值化定位图像;
对目标孔洞二值化定位图像进行邻域分析,生成边界轮廓得到初始孔洞轮廓。
第二方面,本发明还提供了一种工件孔洞轮廓的提取装置,包括:
像素定位模块,用于对工件孔洞图像进行二值化处理得到孔洞二值化图像,确定所有孔洞的像素位置;
图像分割模块,用于为所有孔洞的像素位置设置预设孔洞边界,基于预设孔洞边界和孔洞二值化图像进行图像分割,确定初始孔洞轮廓;
轮廓提取模块,用于对初始孔洞轮廓的像素点进行曲线拟合确定孔洞轮廓亚像素边缘点,得到目标孔洞轮廓。
第三方面,本发明还提供了一种电子设备,包括存储器和处理器,其中,
存储器,用于存储程序;
处理器,与存储器耦合,用于执行存储器中存储的程序,以实现上述任一种实现方式中的工件孔洞轮廓的提取方法中的步骤。
第四方面,本发明还提供了一种计算机可读存储介质,用于存储计算机可读取的程序或指令,程序或指令被处理器执行时,能够实现上述任一种实现方式中的工件孔洞轮廓的提取方法中的步骤。
采用上述实施例的有益效果是:本发明涉及一种工件孔洞轮廓的提取方法、装置、设备及存储介质,该方法包括:对工件孔洞图像进行二值化处理得到孔洞二值化图像,确定所有孔洞的像素位置;为所述所有孔洞的像素位置设置预设孔洞边界,基于所述预设孔洞边界和所述孔洞二值化图像进行图像分割,确定初始孔洞轮廓;对所述初始孔洞轮廓的像素点进行曲线拟合确定孔洞轮廓亚像素边缘点,得到目标孔洞轮廓。本发明提供的一种工件孔洞轮廓的提取方法、装置、设备及存储介质,将工件孔洞图像进行二值化处理得到孔洞二值化图像,通过孔洞二值化图像确定孔洞轮廓,避免了工件孔洞图像因受到光照、材质的影响而使得拍摄的孔洞图像存在变形、阴影的问题,再通过将孔洞二值化图像进行图像分割,提高孔洞识别精度,能解决由于阴影的存在导致孔洞边缘提取错误问题,最后进行曲线拟合确定孔洞轮廓亚像素边缘点,规避了孔边缘高亮噪声导致沿梯度值方向拟合偏差较大的问题,从而实现了成功提取出工件中的准确孔洞轮廓。
附图说明
图1为本发明提供的工件孔洞轮廓的提取方法的一实施例的流程示意图;
图2为本发明提供的图1中步骤S101的一实施例的流程示意图;
图3为本发明提供的孔洞二值图像的一实施例的效果示意图;
图4为本发明提供的图2中步骤S204的一实施例的流程示意图;
图5为本发明提供的图1中步骤S102的一实施例的流程示意图;
图6为本发明提供的工件孔洞轮廓的提取装置的一实施例的结构示意图;
图7为本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例,其中,附图构成本申请一部分,并与本发明的实施例一起用于阐释本发明的原理,并非用于限定本发明的范围。
在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本发明提供了一种工件孔洞轮廓的提取方法、装置、设备及存储介质,以下分别进行说明。
请参阅图1,图1为本发明提供的工件孔洞轮廓的提取方法的一实施例的流程示意图,本发明的一个具体实施例,公开了一种工件孔洞轮廓的提取方法,包括:
S101、对工件孔洞图像进行二值化处理得到孔洞二值化图像,确定所有孔洞的像素位置;
S102、为所有孔洞的像素位置设置预设孔洞边界,基于预设孔洞边界和孔洞二值化图像进行图像分割,确定初始孔洞轮廓;
S103、对初始孔洞轮廓的像素点进行曲线拟合确定孔洞轮廓亚像素边缘点,得到目标孔洞轮廓。
在上述实施例中,通过左右相机同时对工件进行拍摄,得到工件孔洞图像,将工件孔洞图像进行二值化处理,可以突出孔洞处图像的变化,该方法不受光照及物体材质影响,不需设置参数,能适用于任何场景。
在确定的孔洞的像素位置上外扩一定的距离,得到了预设孔洞边界,以孔洞边界为基础,对其中的像素值进行图像分割,对孔洞边缘处像素值进行前景和背景分类,提高孔洞识别精度,能解决由于阴影的存在导致孔洞边缘提取错误问题。
对初始孔洞轮廓中的每一点,在以该点为中心的局部窗口内沿着轮廓法向方向使用曲线拟合其梯度值,拟合曲线极大值点作为孔洞轮廓亚像素边缘点,规避了孔边缘高亮噪声导致沿梯度值方向拟合偏差较大的问题。
与现有技术相比,本实施例提供的一种工件孔洞轮廓的提取方法,该方法包括:对工件孔洞图像进行二值化处理得到孔洞二值化图像,确定所有孔洞的像素位置;为所述所有孔洞的像素位置设置预设孔洞边界,基于所述预设孔洞边界和所述孔洞二值化图像进行图像分割,确定初始孔洞轮廓;对所述初始孔洞轮廓的像素点进行曲线拟合确定孔洞轮廓亚像素边缘点,得到目标孔洞轮廓。本发明提供的一种工件孔洞轮廓的提取方法、装置、设备及存储介质,将工件孔洞图像进行二值化处理得到孔洞二值化图像,通过孔洞二值化图像确定孔洞轮廓,避免了工件孔洞图像因受到光照、材质的影响而使得拍摄的孔洞图像存在变形、阴影的问题,再通过将孔洞二值化图像进行图像分割,提高孔洞识别精度,能解决由于阴影的存在导致孔洞边缘提取错误问题,最后进行曲线拟合确定孔洞轮廓亚像素边缘点,规避了孔边缘高亮噪声导致沿梯度值方向拟合偏差较大的问题,从而实现了成功提取出工件中的准确孔洞轮廓。
请参阅图2,图2为本发明提供的图1中步骤S101的一实施例的流程示意图,在本发明的一些实施例中,对工件孔洞图像进行二值化处理得到孔洞二值化图像,确定所有孔洞的像素位置,包括:
S201、对工件孔洞图像进行预处理;
S202、通过预设阈值算法确定二值化阈值;
S203、根据二值化阈值对预处理后的工件孔洞图像进行二值化处理,得到孔洞二值图像;
S204、根据孔洞二值图像确定所有孔洞的像素位置。
在上述实施例中,工件孔洞图像是左右相机同时拍摄工件得到的,对工件孔洞图像进行去畸变和核线纠正,得到一对核线影像。核线影像的特点是,影像对上的同名点位于左右影像的同一行。分别对左右图像进行中值滤波后比例差分,以削弱图像相似部分,突出孔洞处图像的变化。
预设阈值算法为大津法(OTSU,最大类间方差法),是一种确定图像二值化分割阈值的算法,日本学者大津于1979年提出。按照该方法求得的阈值进行图像二值化分割后,前景与背景图像的类间方差最大。
OTSU算法的假设是存在阈值Th将图像所有像素分为两类C1(小于Th)和C2(大于Th),记小于Th和大于Th的像素灰度个数分别为N1和N2,同时图像像素个数记为N0(N0 = N1+ N2),这两类像素各自的均值记为m1、m2,图像全局均值为mg,图像灰度级记为k,像素被分为C1和C2类的概率分别为p1、p2。
其中,,/>,/>
;(1)
;(2)
;(3)
;(4)
其中,为灰度值为/>时的灰度个数。
类间方差表达式为:
;(5)
(4)代入(5)有:
;(6)
通过遍历0-k(通常k为255)个灰度级,求出使(6)最大的k即为大津法的阈值。记方差最大时的灰度级k为D1,灰度级为D1时的为V1,灰度级为D1时的/>为V2,(通常/>小于背景灰度值小于前景灰度值)。
根据二值化阈值对预处理后的工件孔洞图像进行二值化处理,设定一个阈值T,将图像中大于阈值T的设为255(白色),将图像中小于阈值T的设为0(黑色)。这个阈值T即由上述大津法计算得到的方差最大时的灰度级k。
阈值分割可表示为:
其中,表示为源图像x,y处的像素值,/>表示阈值分割操作后图像x,y处的像素值。
根据孔洞二值图像对其中的像素点的像素值来确定孔洞的位置,请参阅图3,图3为本发明提供的孔洞二值图像的一实施例的效果示意图。
在本发明的一些实施例中,对工件孔洞图像进行预处理,包括:
对工件孔洞图像进行去畸变和核线纠正,得到核线图像;
对核线图像进行中值滤波处理,得到中值滤波图像。
在上述实施例中,通过畸变和核线纠正得到了一对核线影像,影像对上的同名点位于左右影像的同一行,方便后续对该对核线图像进行进一步处理。
分别对左右图像进行中值滤波后比例差分,以削弱图像相似部分,突出孔洞处图像的变化,有利于在后续对中值滤波图像进行二值化处理,得到准确的孔洞二值图像。
请参阅图4,图4为本发明提供的图2中步骤S204的一实施例的流程示意图,在本发明的一些实施例中,根据孔洞二值图像确定所有孔洞的像素位置,包括:
S401、根据孔洞二值图像确定所有连通域的范围;
S402、计算所有连通域的面积,并求所有连通域的凸包轮廓;
S403、根据连通域的面积和凸包轮廓确定所有孔洞的像素位置。
在上述实施例中,通域分析是指:连通区域一般是指图像中具有相同像素值且位置相邻的前景像素点组成的图像区域。连通区域分析是指将图像中的各个连通区域找出并标记,通常连通区域分析处理的对象是一张二值化后的图像。
连通域分析能定位图像中每一处可能的孔洞位置,连通域分析获得的可能孔洞区域存在缺失等问题,通过求区域的凸包轮廓,即可得到孔洞完整初始位置。
连通域条件筛选,如连通域面积小于一定阈值或大于一定阈值可认为该连通域不为可能的孔洞;连通域的面积与连通域求凸包后的面积比值,若比值小于一定阈值则认为缺失过多,不予考虑。通过连通域分析、条件筛选和求凸包,获得所有孔洞占据的像素位置。
请参阅图5,图5为本发明提供的图1中步骤S102的一实施例的流程示意图,在本发明的一些实施例中,为所有孔洞的像素位置设置预设孔洞边界,基于预设孔洞边界和孔洞二值化图像进行图像分割,确定初始孔洞轮廓,包括:
S501、根据孔洞的像素位置外扩预设距离得到预设孔洞边界;
S502、通过预设阈值算法确定背景阈值和前景阈值;
S503、根据背景阈值和前景阈值分别对预设孔洞边界内外的像素点进行图像分割,得到分割孔洞图像;
S504、根据孔洞二值化图像和分割孔洞图像确定初始孔洞轮廓。
在上述实施例中,预设距离可以根据实际情况进行选择,本发明对此不做进一步限制。本发明中的预设孔洞边界可以为矩形也可以为圆形,本发明对此不做进一步限制。
通过大津法确定背景阈值和前景阈值,从而进一步确定背景和前景的先验信息,然后再进行图像分割,本发明采用的图像分割方法是Grabcut算法,Grabcut算法是基于图割实现的图像分割算法,一般方法是通过输入一个包围盒区域作为分割目标位置,包围盒外的区域被自动认为是背景,但是在本发明中孔洞的形状是不规则的,若通过孔洞初定位的包围盒作为分割目标位置,势必是不准确的,孔洞初定位结果未包含孔洞边缘阴影处,而孔洞边缘的阴影应该是属于前景。
本发明通过孔洞初定位及边缘阴影处像素设置分割算法中需要用到的背景和前景先验信息,实现孔洞阴影处前景和背景的判别。
Grabcut算法步骤可简述如下:
(1)结合前景背景先验信息,分别训练前景和背景的GMM(高斯混合模型),
(2)用训练好的两个GMM来计算每一个像素属于背景和属于前景的概率,进而计算出能量函数
(3)通过最优化能量函数得到图像的一个分割。
(4)用(3)中的分割结果中的前景Pixels和背景Pixels去训练前景GMM和背景GMM.
(5)重复2,3,4,直到分割结果收敛(不再有大的变化)。
最终得到了分割孔洞图像。
在本发明的一些实施例中,根据背景阈值和前景阈值分别对预设孔洞边界内外的像素点进行图像分割,得到分割孔洞图像,包括:
将预设孔洞边界内像素值大于前景均值的像素点设置为前景;
将预设孔洞边界内像素值大于背景阈值且小于前景均值的像素点设置为疑似前景;
将预设孔洞边界内像素值小于背景阈值的像素点设置为疑似背景;
将预设孔洞边界外像素值大于前景均值的像素点设置为前景;
将预设孔洞边界外像素值大于背景阈值且小于前景均值的像素点设置为疑似背景;
将预设孔洞边界外像素值背景阈值的像素点设置为背景。
在上述实施例中,通过大津法计算环形区域前景和背景阈值D1及前景均值V1,对内环部分像素值大于大津法前景均值V1设为前景,对内环部分像素值大于大津法阈值D1且小于前景均值V1设为可能前景,对内环部分像素值小于大津法阈值D1设为可能背景;对外环部分像素值大于大津法前景均值V1视为噪声设为前景,对外环部分像素值大于大津法阈值D1且小于前景均值V1设为可能背景,对外环部分像素值小于大津法阈值D1设为背景。
在本发明的一些实施例中,根据孔洞二值化图像和分割孔洞图像确定初始孔洞轮廓,包括:
将孔洞二值化图像和分割孔洞图像进行并运算得到目标孔洞二值化定位图像;
对目标孔洞二值化定位图像进行邻域分析,生成边界轮廓得到初始孔洞轮廓。
在上述实施例中,图像分割算法的结果(即分割孔洞图像)与对工件孔洞图像二值化的结果(即孔洞二值化图像)并运算,得到目标孔洞二值化定位图像,对目标孔洞二值化定位图像进行邻域分析和生成边界轮廓,得到目标孔洞轮廓。这样获取到的孔洞轮廓是完整的、闭合的、均匀的。
对轮廓中的每一点,在以该点为中心的局部窗口内沿着轮廓法向方向使用曲线拟合其梯度值,拟合曲线极大值点作为孔洞轮廓亚像素边缘点。
亚像素边缘计算方法为:对于边缘上的一点p(x,y),其轮廓法向方向d(dx,dy),dx=I(x+1,y)-I(x,y),dy=I (x,y+1)-I(x,y), 然后对d做归一化d= d/||d||。计算p+td,t∈[-n,-n+1,…,n],处的梯度值大小绝对值g(t),使用(t,g(t))拟合曲线,以高斯函数为例,高斯函数模型为:
式中 A为梯度幅值,σ为标准差,μ为均值。
两边取对数:
,/>,/>,得关于a,b,c的线性方程:
每一对(t,g(t))可以列一个方程,n≥1时可以得:
记M=,/>,/>,得/>,/>,/>,亚像素边缘点位为 p+μd。
为了更好实施本发明实施例中的工件孔洞轮廓的提取方法,在工件孔洞轮廓的提取方法基础之上,对应的,请参阅图6,图6为本发明提供的工件孔洞轮廓的提取装置的一实施例的结构示意图,本发明实施例提供了一种工件孔洞轮廓的提取装置600,包括:
像素定位模块610,用于对工件孔洞图像进行二值化处理得到孔洞二值化图像,确定所有孔洞的像素位置;
图像分割模块620,用于为所有孔洞的像素位置设置预设孔洞边界,基于预设孔洞边界和孔洞二值化图像进行图像分割,确定初始孔洞轮廓;
轮廓提取模块630,用于对初始孔洞轮廓的像素点进行曲线拟合确定孔洞轮廓亚像素边缘点,得到目标孔洞轮廓。
这里需要说明的是:上述实施例提供的装置600可实现上述各方法实施例中描述的技术方案,上述各模块或单元具体实现的原理可参见上述方法实施例中的相应内容,此处不再赘述。
请参阅图7,图7为本发明实施例提供的电子设备的结构示意图。基于上述工件孔洞轮廓的提取方法,本发明还相应提供了一种工件孔洞轮廓的提取设备,工件孔洞轮廓的提取设备可以是移动终端、桌上型计算机、笔记本、掌上电脑及服务器等计算设备。该工件孔洞轮廓的提取设备包括处理器710、存储器720及显示器730。图7仅示出了电子设备的部分组件,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。
存储器720在一些实施例中可以是工件孔洞轮廓的提取设备的内部存储单元,例如工件孔洞轮廓的提取设备的硬盘或内存。存储器720在另一些实施例中也可以是工件孔洞轮廓的提取设备的外部存储设备,例如工件孔洞轮廓的提取设备上配备的插接式硬盘,智能存储卡(Smart Media Card, SMC),安全数字(Secure Digital, SD)卡,闪存卡(FlashCard)等。进一步地,存储器720还可以既包括工件孔洞轮廓的提取设备的内部存储单元也包括外部存储设备。存储器720用于存储安装于工件孔洞轮廓的提取设备的应用软件及各类数据,例如安装工件孔洞轮廓的提取设备的程序代码等。存储器720还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中,存储器720上存储有工件孔洞轮廓的提取程序740,该工件孔洞轮廓的提取程序740可被处理器710所执行,从而实现本申请各实施例的工件孔洞轮廓的提取方法。
处理器710在一些实施例中可以是一中央处理器(Central Processing Unit,CPU),微处理器或其他数据处理芯片,用于运行存储器720中存储的程序代码或处理数据,例如执行工件孔洞轮廓的提取方法等。
显示器730在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。显示器730用于显示在工件孔洞轮廓的提取设备的信息以及用于显示可视化的用户界面。工件孔洞轮廓的提取设备的部件710-730通过系统总线相互通信。
在一实施例中,当处理器710执行存储器720中工件孔洞轮廓的提取程序740时实现如上的工件孔洞轮廓的提取方法中的步骤。
本实施例还提供了一种计算机可读存储介质,其上存储有工件孔洞轮廓的提取程序,该工件孔洞轮廓的提取程序被处理器执行时实现以下步骤:
对工件孔洞图像进行二值化处理得到孔洞二值化图像,确定所有孔洞的像素位置;
为所有孔洞的像素位置设置预设孔洞边界,基于预设孔洞边界和孔洞二值化图像进行图像分割,确定初始孔洞轮廓;
对初始孔洞轮廓的像素点进行曲线拟合确定孔洞轮廓亚像素边缘点,得到目标孔洞轮廓。
综上,本实施例提供的一种工件孔洞轮廓的提取方法、装置、设备及存储介质,该方法包括:对工件孔洞图像进行二值化处理得到孔洞二值化图像,确定所有孔洞的像素位置;为所有所述孔洞的像素位置设置预设孔洞边界,基于所述预设孔洞边界和所述孔洞二值化图像进行图像分割,确定初始孔洞轮廓;对所述初始孔洞轮廓的像素点进行曲线拟合确定孔洞轮廓亚像素边缘点,得到目标孔洞轮廓。本发明提供的一种工件孔洞轮廓的提取方法、装置、设备及存储介质,将工件孔洞图像进行二值化处理得到孔洞二值化图像,通过孔洞二值化图像确定孔洞轮廓,避免了工件孔洞图像因受到光照、材质的影响而使得拍摄的孔洞图像存在变形、阴影的问题,再通过将孔洞二值化图像进行图像分割,提高孔洞识别精度,能解决由于阴影的存在导致孔洞边缘提取错误问题,最后进行曲线拟合确定孔洞轮廓亚像素边缘点,规避了孔边缘高亮噪声导致沿梯度值方向拟合偏差较大的问题,从而实现了成功提取出工件中的准确孔洞轮廓。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种工件孔洞轮廓的提取方法,其特征在于,包括:
对工件孔洞图像进行二值化处理得到孔洞二值化图像,确定所有孔洞的像素位置;
为所述所有孔洞的像素位置设置预设孔洞边界,基于所述预设孔洞边界和所述孔洞二值化图像进行图像分割,确定初始孔洞轮廓;
对所述初始孔洞轮廓的像素点进行曲线拟合确定孔洞轮廓亚像素边缘点,得到目标孔洞轮廓;
其中,所述对工件孔洞图像进行二值化处理得到孔洞二值化图像,确定所有孔洞的像素位置,包括:
对所述工件孔洞图像进行预处理;
通过预设阈值算法确定二值化阈值;
根据所述二值化阈值对预处理后的工件孔洞图像进行二值化处理,得到孔洞二值图像;
根据所述孔洞二值图像确定所有孔洞的像素位置;
其中,所述为所述所有孔洞的像素位置设置预设孔洞边界,基于所述预设孔洞边界和所述孔洞二值化图像进行图像分割,确定初始孔洞轮廓,包括:
根据所述孔洞的像素位置外扩预设距离得到预设孔洞边界;
通过所述预设阈值算法确定背景阈值和前景阈值;
根据所述背景阈值和所述前景阈值分别对所述预设孔洞边界内外的像素点进行图像分割,得到分割孔洞图像;
根据所述孔洞二值化图像和所述分割孔洞图像确定初始孔洞轮廓;
其中,所述根据所述背景阈值和所述前景阈值分别对所述预设孔洞边界内外的像素点进行图像分割,得到分割孔洞图像,包括:
将所述预设孔洞边界内像素值大于所述前景均值的像素点设置为前景;
将所述预设孔洞边界内像素值大于所述背景阈值且小于所述前景均值的像素点设置为疑似前景;
将所述预设孔洞边界内像素值小于所述背景阈值的像素点设置为疑似背景;
将所述预设孔洞边界外像素值大于所述前景均值的像素点设置为前景;
将所述预设孔洞边界外像素值大于所述背景阈值且小于所述前景均值的像素点设置为疑似背景;
将所述预设孔洞边界外像素值所述背景阈值的像素点设置为背景。
2.根据权利要求1所述的工件孔洞轮廓的提取方法,其特征在于,所述对所述工件孔洞图像进行预处理,包括:
对所述工件孔洞图像进行去畸变和核线纠正,得到核线图像;
对所述核线图像进行中值滤波处理,得到中值滤波图像。
3.根据权利要求1所述的工件孔洞轮廓的提取方法,其特征在于,所述根据所述孔洞二值图像确定所有孔洞的像素位置,包括:
根据所述孔洞二值图像确定所有连通域的范围;
计算所述所有连通域的面积,并求所述所有连通域的凸包轮廓;
根据所述连通域的面积和所述凸包轮廓确定所有孔洞的像素位置。
4.根据权利要求1所述的工件孔洞轮廓的提取方法,其特征在于,所述根据所述孔洞二值化图像和所述分割孔洞图像确定初始孔洞轮廓,包括:
将所述孔洞二值化图像和所述分割孔洞图像进行并运算得到目标孔洞二值化定位图像;
对所述目标孔洞二值化定位图像进行邻域分析,生成边界轮廓得到初始孔洞轮廓。
5.一种工件孔洞轮廓的提取装置,其特征在于,包括:
像素定位模块,用于对工件孔洞图像进行二值化处理得到孔洞二值化图像,确定所有孔洞的像素位置;
图像分割模块,用于为所述所有孔洞的像素位置设置预设孔洞边界,基于所述预设孔洞边界和所述孔洞二值化图像进行图像分割,确定初始孔洞轮廓;
轮廓提取模块,用于对所述初始孔洞轮廓的像素点进行曲线拟合确定孔洞轮廓亚像素边缘点,得到目标孔洞轮廓;
其中,所述对工件孔洞图像进行二值化处理得到孔洞二值化图像,确定所有孔洞的像素位置,包括:
对所述工件孔洞图像进行预处理;
通过预设阈值算法确定二值化阈值;
根据所述二值化阈值对预处理后的工件孔洞图像进行二值化处理,得到孔洞二值图像;
根据所述孔洞二值图像确定所有孔洞的像素位置;
其中,所述为所述所有孔洞的像素位置设置预设孔洞边界,基于所述预设孔洞边界和所述孔洞二值化图像进行图像分割,确定初始孔洞轮廓,包括:
根据所述孔洞的像素位置外扩预设距离得到预设孔洞边界;
通过所述预设阈值算法确定背景阈值和前景阈值;
根据所述背景阈值和所述前景阈值分别对所述预设孔洞边界内外的像素点进行图像分割,得到分割孔洞图像;
根据所述孔洞二值化图像和所述分割孔洞图像确定初始孔洞轮廓;
其中,所述根据所述背景阈值和所述前景阈值分别对所述预设孔洞边界内外的像素点进行图像分割,得到分割孔洞图像,包括:
将所述预设孔洞边界内像素值大于所述前景均值的像素点设置为前景;
将所述预设孔洞边界内像素值大于所述背景阈值且小于所述前景均值的像素点设置为疑似前景;
将所述预设孔洞边界内像素值小于所述背景阈值的像素点设置为疑似背景;
将所述预设孔洞边界外像素值大于所述前景均值的像素点设置为前景;
将所述预设孔洞边界外像素值大于所述背景阈值且小于所述前景均值的像素点设置为疑似背景;
将所述预设孔洞边界外像素值所述背景阈值的像素点设置为背景。
6.一种电子设备,其特征在于,包括存储器和处理器,其中,
所述存储器,用于存储程序;
所述处理器,与所述存储器耦合,用于执行所述存储器中存储的所述程序,以实现上述权利要求1至4中任一项所述工件孔洞轮廓的提取方法中的步骤。
7.一种计算机可读存储介质,其特征在于,用于存储计算机可读取的程序或指令,所述程序或指令被处理器执行时,能够实现上述权利要求1至4中任一项所述工件孔洞轮廓的提取方法中的步骤。
CN202310705618.7A 2023-06-15 2023-06-15 一种工件孔洞轮廓的提取方法、装置、设备及存储介质 Active CN116433701B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310705618.7A CN116433701B (zh) 2023-06-15 2023-06-15 一种工件孔洞轮廓的提取方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310705618.7A CN116433701B (zh) 2023-06-15 2023-06-15 一种工件孔洞轮廓的提取方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN116433701A CN116433701A (zh) 2023-07-14
CN116433701B true CN116433701B (zh) 2023-10-10

Family

ID=87092995

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310705618.7A Active CN116433701B (zh) 2023-06-15 2023-06-15 一种工件孔洞轮廓的提取方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116433701B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116958515B (zh) * 2023-09-20 2023-12-22 苏州凌云光工业智能技术有限公司 工件轮廓的拟合定位方法、装置及存储介质
CN117635608B (zh) * 2024-01-24 2024-04-02 深存科技(无锡)有限公司 一种孔偏缺陷检测方法、装置、设备及存储介质

Citations (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001012923A (ja) * 1999-06-30 2001-01-19 Toshiba Corp パターン抽出方法、パターン抽出装置、微小異物形状測定方法、微小異物形状測定装置、ホール中央部の穴径測定方法、ホール中央部の穴径測定装置、ホール段差測定方法及びホール段差測定装置
GB201004130D0 (en) * 2010-03-12 2010-04-28 Institue For Medical Informati Optimising the initialization and convergence of active contours for segmentation of cell nuclei in histological sections
CN102270338A (zh) * 2011-06-27 2011-12-07 西安交通大学 基于改进图表示的重复物体有效分割方法
CN102324092A (zh) * 2011-09-09 2012-01-18 华南理工大学 一种数字图像中颗粒状对象的自动分割方法
CN102999901A (zh) * 2012-10-17 2013-03-27 中国科学院计算技术研究所 基于深度传感器的在线视频分割后的处理方法及系统
CN103559719A (zh) * 2013-11-20 2014-02-05 电子科技大学 一种交互式图像分割方法
CN106991683A (zh) * 2017-03-27 2017-07-28 西安电子科技大学 基于中介真值程度度量的局部主动轮廓图像分割方法
CN108564528A (zh) * 2018-04-17 2018-09-21 福州大学 一种基于显著性检测的肖像照片自动背景虚化方法
CN108844471A (zh) * 2018-08-02 2018-11-20 成都天衡智造科技有限公司 一种对圆形工件边缘凹陷区域向圆心延伸长度的测量方法及装置
CN108876850A (zh) * 2018-06-29 2018-11-23 闽江学院 一种pcb板打孔定位方法
CN109544571A (zh) * 2018-10-31 2019-03-29 南京理工大学 一种基于数学形态学的金相图像边缘检测方法
CN109671052A (zh) * 2018-11-16 2019-04-23 华南理工大学 一种基于圆形轮廓提取的柔性ic封装基板的过孔检测方法
CN109900711A (zh) * 2019-04-02 2019-06-18 天津工业大学 基于机器视觉的工件缺陷检测方法
CN110738676A (zh) * 2019-09-17 2020-01-31 湖南大学 一种结合RGBD数据的GrabCut自动分割算法
WO2020169802A1 (fr) * 2019-02-21 2020-08-27 Dental Monitoring Procede de correction d'un contour
CN111754526A (zh) * 2020-06-23 2020-10-09 广东博智林机器人有限公司 户型图分割方法、分类方法、分割装置、设备和存储介质
WO2020253062A1 (zh) * 2019-06-20 2020-12-24 平安科技(深圳)有限公司 一种图像边界的检测方法及装置
WO2021051604A1 (zh) * 2019-09-19 2021-03-25 平安科技(深圳)有限公司 Osd的文字区域的识别方法、装置及存储介质
CN113112496A (zh) * 2021-04-30 2021-07-13 哈尔滨工业大学 一种基于自适应阈值的亚像素轴类零件尺寸测量方法
CN113160162A (zh) * 2021-04-14 2021-07-23 深圳远荣智能制造股份有限公司 应用于工件的孔识别方法、孔识别装置和孔处理设备
CN113570628A (zh) * 2021-07-30 2021-10-29 西安科技大学 一种基于活动轮廓模型的白细胞分割方法
CN113781508A (zh) * 2021-09-09 2021-12-10 中国航发南方工业有限公司 叶型孔图像的轮廓型线提取与分割方法及系统、设备、存储介质
CN113920038A (zh) * 2021-09-13 2022-01-11 环盛智能(深圳)有限公司 一种割轮廓提取方法、装置系统及介质
CN114119425A (zh) * 2021-12-10 2022-03-01 李宗磊 一种矿用低照度高粉尘环境下的影像取景方法
CN114255202A (zh) * 2020-09-21 2022-03-29 华晨宝马汽车有限公司 用于检测工件上的孔洞的方法、设备、系统及存储介质
EP4016058A1 (en) * 2020-12-16 2022-06-22 Zhejiang University Automatic machine of vision on detection device for workpiece with complex curved surface
CN115423870A (zh) * 2022-08-29 2022-12-02 中汽创智科技有限公司 一种瞳孔中心定位方法和装置
CN115457063A (zh) * 2022-08-23 2022-12-09 武汉海微科技有限公司 Pcb板圆孔的边缘提取方法、装置、设备及存储介质
CN115861408A (zh) * 2022-12-09 2023-03-28 城云科技(中国)有限公司 基于激光点跟踪的无人机巡检路面坑洞方法及其应用

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7352901B2 (en) * 2000-10-23 2008-04-01 Omron Corporation Contour inspection method and apparatus
JP2007108835A (ja) * 2005-10-11 2007-04-26 Keyence Corp 画像処理装置
US20190014982A1 (en) * 2017-07-12 2019-01-17 iHealthScreen Inc. Automated blood vessel feature detection and quantification for retinal image grading and disease screening

Patent Citations (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001012923A (ja) * 1999-06-30 2001-01-19 Toshiba Corp パターン抽出方法、パターン抽出装置、微小異物形状測定方法、微小異物形状測定装置、ホール中央部の穴径測定方法、ホール中央部の穴径測定装置、ホール段差測定方法及びホール段差測定装置
GB201004130D0 (en) * 2010-03-12 2010-04-28 Institue For Medical Informati Optimising the initialization and convergence of active contours for segmentation of cell nuclei in histological sections
CN102270338A (zh) * 2011-06-27 2011-12-07 西安交通大学 基于改进图表示的重复物体有效分割方法
CN102324092A (zh) * 2011-09-09 2012-01-18 华南理工大学 一种数字图像中颗粒状对象的自动分割方法
CN102999901A (zh) * 2012-10-17 2013-03-27 中国科学院计算技术研究所 基于深度传感器的在线视频分割后的处理方法及系统
CN103559719A (zh) * 2013-11-20 2014-02-05 电子科技大学 一种交互式图像分割方法
CN106991683A (zh) * 2017-03-27 2017-07-28 西安电子科技大学 基于中介真值程度度量的局部主动轮廓图像分割方法
CN108564528A (zh) * 2018-04-17 2018-09-21 福州大学 一种基于显著性检测的肖像照片自动背景虚化方法
CN108876850A (zh) * 2018-06-29 2018-11-23 闽江学院 一种pcb板打孔定位方法
CN108844471A (zh) * 2018-08-02 2018-11-20 成都天衡智造科技有限公司 一种对圆形工件边缘凹陷区域向圆心延伸长度的测量方法及装置
CN109544571A (zh) * 2018-10-31 2019-03-29 南京理工大学 一种基于数学形态学的金相图像边缘检测方法
CN109671052A (zh) * 2018-11-16 2019-04-23 华南理工大学 一种基于圆形轮廓提取的柔性ic封装基板的过孔检测方法
WO2020169802A1 (fr) * 2019-02-21 2020-08-27 Dental Monitoring Procede de correction d'un contour
CN109900711A (zh) * 2019-04-02 2019-06-18 天津工业大学 基于机器视觉的工件缺陷检测方法
WO2020253062A1 (zh) * 2019-06-20 2020-12-24 平安科技(深圳)有限公司 一种图像边界的检测方法及装置
CN110738676A (zh) * 2019-09-17 2020-01-31 湖南大学 一种结合RGBD数据的GrabCut自动分割算法
WO2021051604A1 (zh) * 2019-09-19 2021-03-25 平安科技(深圳)有限公司 Osd的文字区域的识别方法、装置及存储介质
CN111754526A (zh) * 2020-06-23 2020-10-09 广东博智林机器人有限公司 户型图分割方法、分类方法、分割装置、设备和存储介质
CN114255202A (zh) * 2020-09-21 2022-03-29 华晨宝马汽车有限公司 用于检测工件上的孔洞的方法、设备、系统及存储介质
EP4016058A1 (en) * 2020-12-16 2022-06-22 Zhejiang University Automatic machine of vision on detection device for workpiece with complex curved surface
CN113160162A (zh) * 2021-04-14 2021-07-23 深圳远荣智能制造股份有限公司 应用于工件的孔识别方法、孔识别装置和孔处理设备
CN113112496A (zh) * 2021-04-30 2021-07-13 哈尔滨工业大学 一种基于自适应阈值的亚像素轴类零件尺寸测量方法
CN113570628A (zh) * 2021-07-30 2021-10-29 西安科技大学 一种基于活动轮廓模型的白细胞分割方法
CN113781508A (zh) * 2021-09-09 2021-12-10 中国航发南方工业有限公司 叶型孔图像的轮廓型线提取与分割方法及系统、设备、存储介质
CN113920038A (zh) * 2021-09-13 2022-01-11 环盛智能(深圳)有限公司 一种割轮廓提取方法、装置系统及介质
CN114119425A (zh) * 2021-12-10 2022-03-01 李宗磊 一种矿用低照度高粉尘环境下的影像取景方法
CN115457063A (zh) * 2022-08-23 2022-12-09 武汉海微科技有限公司 Pcb板圆孔的边缘提取方法、装置、设备及存储介质
CN115423870A (zh) * 2022-08-29 2022-12-02 中汽创智科技有限公司 一种瞳孔中心定位方法和装置
CN115861408A (zh) * 2022-12-09 2023-03-28 城云科技(中国)有限公司 基于激光点跟踪的无人机巡检路面坑洞方法及其应用

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于机器视觉的大尺寸工件圆孔测量系统的研究与设计;黄南海;《中国优秀硕士学位论文全文数据库工程科技Ⅰ辑》(第2期);41-51 *

Also Published As

Publication number Publication date
CN116433701A (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
CN116433701B (zh) 一种工件孔洞轮廓的提取方法、装置、设备及存储介质
US10817741B2 (en) Word segmentation system, method and device
US8873835B2 (en) Methods and apparatus for correcting disparity maps using statistical analysis on local neighborhoods
CN111179243A (zh) 一种基于计算机视觉的小尺寸芯片裂纹检测方法及系统
WO2017016445A1 (zh) 二维码分块解码方法及系统
US9460357B2 (en) Processing text images with shadows
CN113486828B (zh) 图像处理方法、装置、设备和存储介质
US20140219569A1 (en) Image recognition system and method for identifying similarities in different images
US20180253852A1 (en) Method and device for locating image edge in natural background
CN109948521B (zh) 图像纠偏方法和装置、设备及存储介质
CN104700092A (zh) 一种基于模板和特征匹配相结合的小字符数字识别方法
US11042986B2 (en) Method for thinning and connection in linear object extraction from an image
CN108734161B (zh) 冠字号区域的识别方法、装置、设备及存储介质
CN109738450A (zh) 笔记本键盘的检测方法和装置
CN112115921A (zh) 一种真伪鉴别方法、装置以及电子设备
CN113557520A (zh) 字符处理及字符识别方法、存储介质和终端设备
CN113705564B (zh) 一种指针式仪表识别读数方法
CN117372415A (zh) 喉镜图像识别方法、装置、计算机设备及存储介质
CN114445318A (zh) 一种缺陷检测方法、装置、电子设备和存储介质
JP2011107878A (ja) 位置検出装置、位置検出方法
CN116894849A (zh) 图像分割方法和装置
WO2020237481A1 (zh) 反色区域的确定方法、指纹芯片及电子设备
CN108255298B (zh) 一种投影交互系统中的红外手势识别方法及设备
CN116309780A (zh) 一种基于目标检测的水尺水位识别方法
CN107239776B (zh) 倾斜图像校正的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant