CN107710229B - 图像中的形状识别方法、装置、设备及计算机存储介质 - Google Patents

图像中的形状识别方法、装置、设备及计算机存储介质 Download PDF

Info

Publication number
CN107710229B
CN107710229B CN201680026894.9A CN201680026894A CN107710229B CN 107710229 B CN107710229 B CN 107710229B CN 201680026894 A CN201680026894 A CN 201680026894A CN 107710229 B CN107710229 B CN 107710229B
Authority
CN
China
Prior art keywords
point
image
shape
candidate
gradient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680026894.9A
Other languages
English (en)
Other versions
CN107710229A (zh
Inventor
郭涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen A&E Intelligent Technology Institute Co Ltd
Original Assignee
Shenzhen A&E Intelligent Technology Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen A&E Intelligent Technology Institute Co Ltd filed Critical Shenzhen A&E Intelligent Technology Institute Co Ltd
Publication of CN107710229A publication Critical patent/CN107710229A/zh
Application granted granted Critical
Publication of CN107710229B publication Critical patent/CN107710229B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/48Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

一种图像中的形状识别方法和装置,其中识别方法包括进行待识别形状的识别,从候选形状中选出待识别形状,具体包括步骤:获取原始图像(S1);基于与待识别形状对应的霍夫变换公式,对原始图像进行霍夫变换,得到函数图像(S2);计算函数图像中各点的一阶梯度的模,得到梯度图像(S3);确定梯度图像中各点的灰度值的局部最大值,得到局部最大值对应的局部最大点(S4);基于与待识别形状对应的霍夫变换公式,对局部最大点进行霍夫反变换得到局部最大点对应的候选形状,并将此作为待识别形状的识别结果(S5)。该识别方法对于图像中形状的识别有较高的精确度。

Description

图像中的形状识别方法、装置、设备及计算机存储介质
技术领域
本发明涉及图像处理领域,尤其是涉及一种图像中的形状识别方法、装置、设备及计算机存储介质。
背景技术
图像处理和识别是人工智能的重要领域,属于高级的计算机视觉技术,现已被广泛应用在地图与地形的匹配、指纹和印章的识别、历史文字及图片文档的修复、各种工业及探测机器人等各个领域。
在现代半导体行业中,各技术都已经向智能化转换,其中设备中基于图像识别算法的视觉系统是行业中的关键技术,其为设备提供了视觉能力,在工艺过程中识别出具有特定形状的工件,以针对不同形状的工件进行不同的操作,而工件一般具有直线、圆等几何形状的关键特征,因此视觉系统一般是通过对这些几何形状的识别实现对工件整体的识别。
在现有的图像识别技术中,几何形状的识别通常采用霍夫变换的算法,然而该方法具有一定的缺陷,一是待识别几何形状附近的候选形状容易造成干扰;二是算法中采用局部峰值进行搜索时,局部峰值的定义过大,容易造成多个相邻较近的待识别几何形状被忽略,若局部峰值的定义过小,则容易造成在一个待识别几何形状附近被识别出多个几何形状,两个方面都影响了几何形状识别的精度。
发明内容
本发明主要解决现有技术中基于霍夫变换的图像识别方法识别精度较差的问题。
为解决上述技术问题,本发明提供一种图像中的形状识别方法,该识别方法包括进行待识别形状的识别,从候选形状中选出待识别形状,具体包括步骤:获取原始图像,其中原始图像包括多个前景像素点;基于与待识别形状对应的霍夫变换公式,对原始图像进行霍夫变换,得到函数图像,函数图像中各点的坐标值分别表示原始图像上的候选形状的函数参数,灰度值分别表示候选形状上的前景像素点的数量;计算函数图像中各点的一阶梯度的模,得到梯度图像,其中梯度图像中各点的灰度值正比于函数图像中各点的一阶梯度的模;确定梯度图像中各点的灰度值的局部最大值,得到局部最大值所对应的局部最大点;基于与待识别形状对应的霍夫变换公式,对局部最大点进行霍夫反变换得到局部最大点所对应的候选形状,并作为待识别形状的识别结果。
其中,基于与待识别形状对应的霍夫变换公式,对原始图像进行霍夫变换的步骤包括:根据霍夫变换公式确认函数图像中各点坐标在原始图像上对应的候选形状;统计候选形状上的前景像素点的数量;根据前景像素点的数量对函数图像上各点的灰度值进行设置。
其中,识别方法包括进行直线的识别;根据霍夫变换公式确认函数图像中各点坐标在原始图像上对应的候选形状的步骤包括:在原始图像上建立直角坐标系;以相对于直角坐标系的坐标轴的倾斜角度θ以及到直角坐标系的原点的距离ρ划分步长,并根据霍夫变换公式ρ=xcosθ+ysinθ获取原始图像中的多个候选直线;统计候选形状上的前景像素点的数量的步骤包括:统计得到候选直线上的前景像素点的数量N;根据所述前景像素点的数量对函数图像上各点的灰度值进行设置的步骤包括:根据前景像素点的数量N设置函数图像中对应于坐标值θ,ρ的点的灰度值。
其中,计算函数图像中各点的一阶梯度的模,得到梯度图像的步骤包括:分别计算函数图像中各点的坐标值变化时其灰度值的变化量,得到函数图像中各点的一阶梯度;对各点的一阶梯度进行取模运算,进而得到梯度图像。
其中,识别方法包括进行直线和圆形的识别。
为解决上述技术问题,本发明还提供一种图像中的形状识别装置,该识别装置用于进行待识别形状的识别,包括:获取模块,用作获取原始图像,其中原始图像包括多个前景像素点;变换模块,用作基于与待识别形状对应的霍夫变换公式,对原始图像进行霍夫变换,得到函数图像,函数图像中各点的坐标值分别表示原始图像上的候选形状的函数参数,灰度值分别表示候选形状上的前景像素点的数量;计算模块,用作计算函数图像中各点的一阶梯度的模,得到梯度图像,其中梯度图像中各点的灰度值正比于函数图像中各点的一阶梯度的模;检测模块,用作确定梯度图像中各点的灰度值的局部最大值,得到局部最大值所对应的局部最大点;变换模块进一步用作基于与待识别形状对应的霍夫变换公式,对局部最大点进行霍夫反变换得到局部最大点所对应的候选形状,并作为待识别形状的识别结果。
其中,变换模块进一步包括:形状确认单元,用作根据霍夫变换公式确认函数图像中各点坐标在原始图像上对应的候选形状;数量统计单元,用作统计候选形状上的前景像素点的数量;灰度设置单元,用作根据前景像素点的数量对函数图像上各点的灰度值进行设置。
其中,识别装置用于进行直线的识别,形状确认单元进一步用作在原始图像上建立直角坐标系;并以相对于直角坐标系的坐标轴的倾斜角度θ以及到直角坐标系的原点的距离ρ划分步长,并根据霍夫变换公式ρ=xcosθ+ysinθ获取原始图像中的多个候选直线;数量统计单元进一步用作统计得到候选直线上的所述前景像素点的数量N;灰度设置单元进一步用作根据前景像素点的数量N设置函数图像中对应于坐标值θ,ρ的点的灰度值。
其中,计算模块进一步包括:梯度计算单元,用作分别计算函数图像中各点的坐标值变化时其灰度值的变化量,得到函数图像中各点的一阶梯度;求模计算单元,用作对各点的一阶梯度进行取模运算,进而得到梯度图像。
其中,识别装置进行直线和圆形的识别。
为解决上述技术问题,本发明提供一种计算机设备,包括处理器和存储器,处理器用于执行以下步骤:获取原始图像,其中原始图像包括多个前景像素点;基于与待识别形状对应的霍夫变换公式,对原始图像进行霍夫变换,得到函数图像,函数图像中各点的坐标值分别表示原始图像上的候选形状的函数参数,灰度值分别表示候选形状上的前景像素点的数量;计算函数图像中各点的一阶梯度的模,得到梯度图像,其中梯度图像中各点的灰度值正比于函数图像中各点的一阶梯度的模;确定梯度图像中各点的灰度值的局部最大值,得到局部最大值所对应的局部最大点;基于与待识别形状对应的霍夫变换公式,对局部最大点进行霍夫反变换得到局部最大点所对应的候选形状,并作为待识别形状的识别结果。
其中,处理器执行基于与待识别形状对应的霍夫变换公式,对原始图像进行霍夫变换的步骤包括:根据霍夫变换公式确认函数图像中各点坐标在原始图像上对应的候选形状;统计候选形状上的前景像素点的数量;根据前景像素点的数量对函数图像上各点的灰度值进行设置。
其中,计算机设备用于进行直线的识别,处理器执行根据霍夫变换公式确认函数图像中各点坐标在原始图像上对应的候选形状的步骤包括:在原始图像上建立直角坐标系;以相对于直角坐标系的坐标轴的倾斜角度θ以及到直角坐标系的原点的距离ρ划分步长,并根据霍夫变换公式ρ=xcosθ+ysinθ获取原始图像中的多个候选直线;处理器执行统计候选形状上的前景像素点的数量的步骤包括:统计得到候选直线上的前景像素点的数量N;处理器执行根据前景像素点的数量对函数图像上各点的灰度值进行设置的步骤包括:根据前景像素点的数量N设置函数图像中对应于坐标值θ,ρ的点的灰度值。
其中,处理器执行计算函数图像中各点的一阶梯度的模,得到梯度图像的步骤包括:分别计算函数图像中各点的坐标值变化时其灰度值的变化量,得到函数图像中各点的一阶梯度;对各点的一阶梯度进行取模运算,进而得到梯度图像。
其中,计算机设备用于进行直线和圆形的识别。
为解决上述技术问题,本发明提供一种计算机存储介质,其存储有可执行程序,程序执行时包括如下步骤:获取原始图像,其中原始图像包括多个前景像素点;基于与待识别形状对应的霍夫变换公式,对原始图像进行霍夫变换,得到函数图像,函数图像中各点的坐标值分别表示原始图像上的候选形状的函数参数,灰度值分别表示候选形状上的前景像素点的数量;计算函数图像中各点的一阶梯度的模,得到梯度图像,其中梯度图像中各点的灰度值正比于函数图像中各点的一阶梯度的模;确定梯度图像中各点的灰度值的局部最大值,得到局部最大值所对应的局部最大点;基于与待识别形状对应的霍夫变换公式,对局部最大点进行霍夫反变换得到局部最大点所对应的候选形状,并作为待识别形状的识别结果。
其中,基于与待识别形状对应的霍夫变换公式,对原始图像进行霍夫变换的步骤包括:根据霍夫变换公式确认函数图像中各点坐标在原始图像上对应的所述候选形状;统计候选形状上的前景像素点的数量;根据前景像素点的数量对函数图像上各点的灰度值进行设置。
其中,程序用于进行直线的识别,根据霍夫变换公式确认函数图像中各点坐标在原始图像上对应的候选形状的步骤包括:在原始图像上建立直角坐标系;以相对于直角坐标系的坐标轴的倾斜角度θ以及到直角坐标系的原点的距离ρ划分步长,并根据霍夫变换公式ρ=xcosθ+ysinθ获取原始图像中的多个候选直线;统计候选形状上的前景像素点的数量的步骤包括:统计得到候选直线上的前景像素点的数量N;根据前景像素点的数量对函数图像上各点的灰度值进行设置的步骤包括:根据前景像素点的数量N设置函数图像中对应于坐标值θ,ρ的点的灰度值。
其中,计算函数图像中各点的一阶梯度的模,得到梯度图像的步骤包括:分别计算函数图像中各点的坐标值变化时其灰度值的变化量,得到函数图像中各点的一阶梯度;对各点的一阶梯度进行取模运算,进而得到梯度图像。
其中,程序用于进行直线或圆形的识别。
本发明的有益效果是,区别于现有技术的情况,本发明图像中的形状识别方法包括步骤:第1步先获取原始图像,在此原始图像中具有多个前景像素点;第2步再基于与待识别形状对应的霍夫变换公式,对原始图像进行霍夫变换,得到函数图像,函数图像中点的坐标值表示原始图像上候选形状的函数参数,其灰度值则表示候选形状上前景像素点的数量;第3步中计算函数图像中各点一阶梯度的模,得到梯度图像,梯度图像中各点的灰度值则正比于函数图像中各点一阶梯度的模;一阶梯度的模表示函数参数变化时,该点所对应的候选形状上前景像素点数量的变化率,而对于待识别形状,其变化率是较大的,因此在第4步中确定梯度图像中各点的灰度值的局部最大值,得到局部最大值所对应的局部最大点;第5步则基于与待识别形状对应的霍夫变换公式,对局部最大点进行霍夫反变换得到局部最大点对应的候选形状,并作为待识别形状的识别结果。在第3步中计算函数图像中各点一阶梯度的模能够更进一步的增强局部最大点的信号,降低其他点的信号,因此在进行局部最大值的检测时,受到的干扰较小,相应的图像中形状识别的准确度较高。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图:
图1是本发明形状识别方法一实施方式的流程示意图;
图2是图1所示形状识别方法一实施方式进行直线识别的流程示意图;
图3是图2所示进行直线识别的流程中原始图像的示意图;
图4是图2所示进行直线识别的流程中函数图像的示意图;
图5是图2所示进行直线识别的流程中梯度图像的示意图;
图6是图2所示进行直线识别的流程中识别结果的示意图;
图7是本发明形状识别装置一实施方式的结构示意图;
图8是本发明形状计算机设备一实施方式的结构示意图;
图9是本发明计算机存储介质一实施方式的结构示意图。
具体实施方式
下面将结合本发明实施例的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,图1是本发明形状识别方法一实施方式的流程示意图,其中的形状识别方法用于对图像中的待识别形状进行识别,从候选形状中选出待识别形状,具体包括以下步骤:
S1:获取原始图像,其中原始图像包括多个前景像素点。
本步骤中,将原始图像处理为二值图像,每个像素点只有两个可能的数值0或1,且这两个数值分别对应关闭和打开,而关闭表示该像素处于背景,打开表示该像素处于前景,因此所有像素点中前景像素点用于定义待识别形状。一般来说,前景像素点数值为1,且呈现为白色;背景像素点数值为0,且呈现为黑色,其他实施例中也可相对的作其他设置,例如前景像素点呈现黑色、背景像素点呈现白色。
原始图像中所有像素点都有其确定的数值0或1,并且在原始图像中的相对位置确定。在定义原始图像中的像素点时,一般首先以原始图像的中心为原点建立直角坐标系(X,Y),然后用坐标值及数值来表示像素点,即(x, y, 0)或(x, y, 1),由此计算机即可判断像素点所在的位置以及该像素点是否为前景像素点。可以理解,在建立直接坐标系时,也可使用原始图像中的其他点作为坐标系原点。
S2:基于与待识别形状对应的霍夫变换公式,对原始图像进行霍夫变换,得到函数图像,其中原始图像上的一个候选形状对应于函数图像中的一个点,函数图像中各点的坐标值分别表示原始图像上的候选形状的函数参数,灰度值分别表示候选形状上前景像素点的数量。
霍夫变换的核心思想是将原始图像中构成某个形状的前景像素点集映射到函数图像的一个点上,且这个点记录了前景像素点集中前景像素点的数量,再通过前景像素点数量局部峰值的搜索,找到函数图像中的记录了局部最多前景像素点数量的点,而该点对应着前景像素点数量最多的点集,该点集则构成原始图像中待识别形状。
在本步骤中,在确认待识别形状时,需要对原始图像中的所有与待识别形状相似的候选形状进行识别,以从所有候选形状中找到待识别形状,确定待识别形状的位置。具体的识别过程中,首先需要对原始图像进行霍夫变换,即对候选形状进行霍夫变换,将其转化为一个点,而所有候选形状所转化成的点构成函数图像,在此霍夫变换的过程中,所依据的公式是与候选形状对应的,即与待识别形状所对应的;通过依据此公式的变换,一个点在函数图像中的坐标能够唯一表示原始图像中的某个候选形状,即点在函数图像中的坐标为原始图像中候选形状的函数参数;并且点的灰度值表示该候选形状上前景像素点的数量。
当待识别形状为直线时,霍夫变换公式为ρ=xcosθ+ysinθ;本步骤则是将原始图像中所有的候选直线分别映射到(ρ,θ)空间的点上,且每个点通过(ρ,θ)空间的坐标以及灰度值H来定义,即(ρ,θ,H),其中灰度值H表示其对应的候选直线上前景像素点(x, y, 1)的数量N,即映射得到的点用(ρ,θ,N)表示,而所有点共同构成函数图像。
当待识别形状为圆形时,霍夫变换公式为(x-x0)2+(y-y0)2=R2;本步骤则是将原始图像中所有的候选圆形分别映射到(x0, y0, R)空间的点上,每个点通过(x0, y0, R)空间的坐标及灰度值H来表示,即(x0, y0, R,H),点的灰度值H表示其对应的候选圆形上前景像素点(x, y, 1)的数量N,映射得到的点用(x0, y0, R,N)表示,且所有点共同构成函数图像。
本步骤中得到函数图像的具体过程如下:
S21:根据霍夫变换公式确认函数图像中各点坐标在原始图像上对应的候选形状;
S22:统计候选形状上前景像素点的数量;
S23:根据前景像素点的数量对函数图像上各点的灰度值进行设置。
通常通过计算机程序来实现上述步骤,当待识别形状为直线时,对于步骤S21和S22使用计算机逻辑语言表示如下:
for 遍历ρ
for 遍历θ
N(ρ,θ) = 0;
for 遍历原始图像中所有前置像素点
if (ρ== xcosθ + ysinθ)
N(ρ,θ) = N(ρ,θ) + 1;
end
end
end
end
以上计算机逻辑语言中,“for 遍历ρ”以及“for 遍历θ”表示首先设定函数图像中点的坐标(ρ,θ);
“for遍历原始图像中所有前置像素点”,“if(ρ== xcosθ + ysinθ)”以及“N(ρ,θ)= N(ρ,θ) + 1;”表示通过ρ== xcosθ + ysinθ来判断原始图像中的前置像素点是否在(ρ,θ)所对应的候选形状上。对每个像素点进行判断,若在该候选形状上,则数量N累加1,完成所有前置像素点的遍历后即实现了步骤S2:统计候选形状上前景像素点的数量。
得到数量N后,再将其设置为函数图像中各点的灰度值,在对函数图像进行显示时,其中各点将呈现不同的明暗度,原始图像中待识别形状所包括的前景像素点的数量最多,反应到函数图像上,其对应的点灰度值最大,呈现出来是函数图像上最亮的点。
S3:计算函数图像中各点的一阶梯度的模,得到梯度图像,其中梯度图像中各点的灰度值正比于函数图像中各点的一阶梯度的模。
梯度是一个向量,表示其标量数据变化最大的方向,而梯度的模即向量的长度则表示标量数据变化的大小。本步骤中计算得到函数图像中各点一阶梯度的模后,将此一阶梯度的模转化为各点的灰度值,得到梯度图像,并使得梯度图像中各点灰度值正比于一阶梯度的模。
函数图像中各点的一阶梯度表示各点坐标值变化时灰度值的变化量,一阶梯度的模则表示变化量的大小,对应到原始图像中,则表示候选形状的位置发生微小变化时,前景像素点数量的变化率。对于待识别形状,其发生微小变化时,前景像素点数量的变化会很大,而对于候选形状中的非待识别形状,其发生微小变化时,前景像素点数量的变化会很小;然后将此变化率作为各点的灰度值,则能够将待识别形状对应的点的灰度值进一步增强,而将非待识别形状对应的点的灰度值进一步减弱。
此步骤主要分为求一阶梯度和求模两个步骤,具体如下:
S31:分别计算函数图像中各点的坐标值变化时其灰度值的变化量,得到函数图像中各点的一阶梯度;
由步骤S2可知,对于函数图像,我们得到的是每个点的坐标及灰度值,为一组离散的数值,而并不是连续的函数表达式,因此需要用数值微分的方法来求一阶梯度。当待识别形状为直线时,求得的一阶梯度为T(N’(Δρ, θ), N’(ρ, Δθ));当待识别形状为圆形时,求得的一阶梯度为T(N’(Δx0,y0,R), N’(x0,Δy0,R), N’(x0,y0,ΔR))。
S32:对各点的一阶梯度进行取模运算,得到梯度图像。
对S31中求得的一阶梯度进行取模,即对向量求模,得到模值|T|,然后将此模值|T|正比转化为梯度图像中各点的灰度值H,即H=k|T|,即梯度图像中各点通过坐标(ρ,θ)及灰度值H来定义,即(ρ,θ,k|T|),相应的梯度图像则是由点(ρ,θ, k|T|)构成。
S4:确定梯度图像中各点的灰度值的局部最大值,得到与局部最大值对应的局部最大点。
由以上分析可知,原始图像中待识别形状对应梯度图像中的灰度值较大的点,因此从梯度图像中求出灰度值的局部最大值,得到相应的局部最大点,则能够得到原始图像中的待识别形状。
在寻找梯度图像中灰度值的局部最大值时,首先需要定义局部最大值的范围,即设定阈值,当灰度值超过该阈值时则认为其为局部最大值,对应的点为局部最大点。
在步骤S3中对函数图像中的点求一阶梯度的模,并得到梯度图像,在所得到的梯度图像中,待识别形状所对应点的灰度值相较于函数图像进一步增强,而候选形状中非待识别形状所对应点的灰度值相较于函数图像进一步减弱,即在梯度图像中,局部最大点的信号增强,且其他点的信号减弱。更加利于本步骤中局部最大值的搜索。
若是在步骤S2后就对函数图像进行局部最大值的搜索,则容易出现以下问题:一是待识别形状附近的候选形状,其通过的前景像素点也较多,对应到函数图像中则容易造成局部最大点的误判,影响到待识别形状的识别精度;二是局部最大值的范围不容易定义,当定义得较大时,则容易造成相邻较近的多个待识别形状被忽略,当定义得较小时,则容易造成某个待识别形状附近识别出多个待识别形状,也导致识别误差。
而完成步骤S3,在本步骤S4中再进行局部最大值的搜索,则相应的有以下优点:一是通过局部最大点信号的增强和其他点信号的减弱,能够增加局部最大点判断的精确度;二是可以设定较小的局部最大值范围,从而将相邻较近的待识别形状都识别出来,并且由于其他点的信号已减弱,因此较小的局部最大值范围的定义不易造成多个待识别形状的误判。
S5:基于与待识别形状对应的霍夫变换公式,对局部最大点进行霍夫反变换得到局部最大点对应的候选形状,并作为待识别形状的识别结果。
在步骤S4中确定局部最大点后,将局部最大点再进行霍夫变换得到在原始图像中所对应的候选形状,并将其作为待识别形状的识别结果。本步骤中的霍夫反变换与步骤S2中的霍夫变换是相反的过程。
通过以上步骤S1-S5,可对原始图像中直线和圆形或曲线进行识别,当原始图像中同时出现直线和圆形时,可分别识别,也可同时识别。当然进行同时识别时,步骤S2中基于直线和圆形两个霍夫变换公式,对原始图像进行霍夫变换,得到两个函数图像;步骤S3中得到两个梯度图像;步骤S4中分别对两个梯度图像进行局部最大点的搜索;在步骤S5中同时确定局部最大点分别对应的待识别直线和待识别圆形;由以上步骤可看出同时进行识别对设备的计算能力及存储能力的要求更大。因此可根据设备的能力选择分别进行先后识别或同时识别。
以图像中直线的识别为例,具体的识别过程请参阅图2,图2是图1所示形状识别方法一实施方式进行直线识别的流程示意图。该实施例直线识别方法包括步骤:
S101:获取原始图像。
原始图像如图3所示,本方法需要对原始图像中的直线进行识别。其中表示直线的前景像素点呈现为黑色,背景像素点呈现为白色。
S102:在原始图像上建立直角坐标系。
建立直角坐标系,原始图像上像素点可通过坐标(x, y)以及数值0或1表示。
S103:以相对于直角坐标系的坐标轴的倾斜角度θ以及到直角坐标系的原点的距离ρ划分步长,并根据霍夫变换公式ρ=xcosθ+ysinθ获取原始图像中的多个候选直线。
S104:统计得到候选直线上前景像素点的数量N。
以上两步骤S103和S104可通过上述步骤S23中所述的计算机程序实现。
S105:根据前景像素点的数量设置函数图像中对应于坐标值θ,ρ的点的灰度值。
在本步骤完成后,呈现出如图4所示的函数图像,需要说明的是图4为示意图,并未体现灰度值不同时的明暗区别。
步骤S102~S105为霍夫变换过程,类似于上述步骤S2,步骤中的详细过程不再赘述。
S106:分别计算函数图像中各点的坐标值变化时其灰度值的变化量,得到函数图像中各点的一阶梯度。
S107:对各点的一阶梯度进行取模运算,进而得到梯度图像,梯度图像中各点的灰度值正比于函数图像中各点的一阶梯度的模。
在本步骤完成后得到图5所示的梯度图像,图5也仅为示意图,并未体现灰度值不同时的明暗区别。
步骤S106~S107类似于上述步骤S3,详细过程也不再赘述。
S108:确定梯度图像中各点的灰度值的局部最大值,得到局部最大值对应的局部最大点。
在梯度图像图5中确认局部最大点A,B,C,D,E,F,G。
S109:基于与待识别形状对应的霍夫变换公式,对局部最大点进行霍夫反变换得到局部最大点对应的候选形状,并作为待识别形状的识别结果。
将局部最大点A,B,C,D,E,F,G对应的直线a,b,c,d,e,f,g还原到原始图像中,得到的识别结果如图6所示。由图6可知,采用本方法能够识别出相邻很近的直线a与f,b与g,以及d与e。
请再次参阅图7,图7是本发明形状识别装置一实施方式的结构示意图。本实施例中形状识别装置100包括获取模块11、变换模块12、计算模块13以及检测模块14。
本实施例的形状识别装置100能够实现前述形状识别方法中的所有步骤。其中获取模块11用作获取原始图像,原始图像中包括用于定义待识别形状的前景像素点,获取模块11能够确定原始图像中各个像素点的坐标位置。
变换单元12用作基于与待识别形状对应的霍夫变换公式,对原始图像进行霍夫变换,得到函数图像,其中原始图像上的一个候选图像对应于函数图像中的一个点,函数图像中各点的坐标值分别表示原始图像上候选形状的函数参数,灰度值分别表示候选形状上的前景像素点的数量。
变换模块12为实现霍夫变换,进一步包括形状确认单元121、数量统计单元122以及灰度设置单元123。其中,形状确认单元121用作根据霍夫变换公式确认函数图像中各点坐标在原始图像上对应的候选形状;数量统计单元122用作统计候选形状上的前景像素点的数量;灰度设置单元123用作根据前景像素点的数量对函数图像上各点的灰度值进行设置。
变换模块12在实现功能的过程中,需要连接获取模块11得到原始图像中各个像素点的位置信息,然后结合位置信息进行霍夫变换得到函数图像。
计算模块13则针对变换模块12得到的函数图像,求其中各点的一阶梯度的模,得到梯度图像。求一阶梯度的模分为两个步骤,因此计算模块13进一步包括梯度计算单元131和求模计算单元132。
其中梯度计算单元131用作分别计算函数图像中各点的坐标值变化时灰度值的变化量,得到函数图像中各点的一阶梯度。求模计算单元132用作对各点的一阶梯度进行取模运算,进而得到梯度图像。
检测模块14对计算模块13得到的梯度图像进行检测,求各点灰度值的局部最大值,得到局部最大值对应的局部最大点。
然后变换模块12再对检测模块14求得的局部最大点进行霍夫变换,得到其所对应的候选形状,并作为待识别形状的识别结果。本实施例形状识别装置100可同时识别直线和圆形,或曲线。
请参阅图8,图8是本发明计算机设备一实施方式的结构示意图,本实施方式计算机设备200包括存储器21和处理器22。上述形状识别装置100是从软件构架的角度来描述实现形状识别方法的装置。而本实施方式的计算机设备200则是从硬件的角度来说明实现形状识别方法的设备。
其中,处理器22进行处理计算,以对图像中待识别的形状进行识别,存储器21则用于在处理器22进行处理计算时对数据进行保存。具体来说,处理器22用于执行以下步骤:
1、获取原始图像,其中原始图像包括多个前景像素点。
2、基于与待识别形状对应的霍夫变换公式,对原始图像进行霍夫变换,得到函数图像,函数图像中各点的坐标值分别表示原始图像上的候选形状的函数参数,灰度值分别表示候选形状上的前景像素点的数量。
3、计算函数图像中各点的一阶梯度的模,得到梯度图像,其中梯度图像中各点的灰度值正比于函数图像中各点的一阶梯度的模。
4、确定梯度图像中各点的灰度值的局部最大值,得到局部最大值所对应的局部最大点。
5、基于与待识别形状对应的霍夫变换公式,对局部最大点进行霍夫反变换得到局部最大点所对应的候选形状,并作为待识别形状的识别结果。
上述处理器22所执行的步骤与图1所示的形状识别方法的步骤S1-S5类似,具体不再赘述。即本实施方式中处理器22的计算处理过程能够实现图1中所示的形状识别方法,且能够进行直线和圆形的识别。
当上述实现形状识别方法以软件程序的方式呈现时,可将其作为一段可执行的程序存储于一计算机存储介质中,请参阅图9,图9是本发明计算机存储介质一实施方式的结构示意图。计算机存储介质300中存储的可执行程序在被计算机处理器执行时,包括以下步骤。
1、获取原始图像,其中原始图像包括多个前景像素点。
2、基于与待识别形状对应的霍夫变换公式,对原始图像进行霍夫变换,得到函数图像,函数图像中各点的坐标值分别表示原始图像上的候选形状的函数参数,灰度值分别表示候选形状上的前景像素点的数量。
3、计算函数图像中各点的一阶梯度的模,得到梯度图像,其中梯度图像中各点的灰度值正比于函数图像中各点的一阶梯度的模。
4、确定梯度图像中各点的灰度值的局部最大值,得到局部最大值所对应的局部最大点。
5、基于与待识别形状对应的霍夫变换公式,对局部最大点进行霍夫反变换得到局部最大点所对应的候选形状,并作为待识别形状的识别结果。
即本实施方式计算机存储介质所存储的程序在执行时能够实现了图1所示的形状识别方法,具体不再赘述。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (20)

1.一种图像中的形状识别方法,其中,所述识别方法包括进行待识别形状的识别,从候选形状中选出待识别形状;
具体包括步骤:
获取原始图像,其中所述原始图像包括多个前景像素点;
基于与所述待识别形状对应的霍夫变换公式,对所述原始图像进行霍夫变换,得到函数图像,所述函数图像中各点的坐标值分别表示所述原始图像上的所述候选形状的函数参数,灰度值分别表示所述候选形状上的所述前景像素点的数量;
计算所述函数图像中各点的一阶梯度的模,得到梯度图像,其中所述梯度图像中各点的灰度值正比于所述函数图像中各点的一阶梯度的模;
确定所述梯度图像中各点的灰度值的局部最大值,得到所述局部最大值所对应的局部最大点;
基于与所述待识别形状对应的霍夫变换公式,对所述局部最大点进行霍夫反变换得到所述局部最大点所对应的所述候选形状,并作为所述待识别形状的识别结果。
2.根据权利要求1所述的识别方法,其中,所述基于与所述待识别形状对应的霍夫变换公式,对所述原始图像进行霍夫变换的步骤包括:
根据所述霍夫变换公式确认所述函数图像中各点坐标在所述原始图像上对应的所述候选形状;
统计所述候选形状上的所述前景像素点的数量;
根据所述前景像素点的数量对所述函数图像上各点的灰度值进行设置。
3.根据权利要求2所述的识别方法,其中,所述识别方法包括进行直线的识别,
所述根据所述霍夫变换公式确认所述函数图像中各点坐标在所述原始图像上对应的所述候选形状的步骤包括:
在所述原始图像上建立直角坐标系;
以相对于所述直角坐标系的坐标轴的倾斜角度θ以及到所述直角坐标系的原点的距离ρ划分步长,并根据霍夫变换公式ρ=xcosθ+ysinθ获取所述原始图像中的多个候选直线;
所述统计所述候选形状上的所述前景像素点的数量的步骤包括:
统计得到所述候选直线上的所述前景像素点的数量N;
所述根据所述前景像素点的数量对所述函数图像上各点的灰度值进行设置的步骤包括:
根据所述前景像素点的数量N设置所述函数图像中对应于坐标值θ,ρ的点的灰度值。
4.根据权利要求1所述的识别方法,其中,所述计算所述函数图像中各点的一阶梯度的模,得到梯度图像的步骤包括:
分别计算所述函数图像中各点的坐标值变化时其灰度值的变化量,得到所述函数图像中各点的一阶梯度;
对所述各点的一阶梯度进行取模运算,进而得到梯度图像。
5.根据权利要求1所述的识别方法,其中,所述识别方法包括进行直线或圆形的识别。
6.一种图像中的形状识别装置,其中,所述识别装置用于进行待识别形状的识别,所述识别装置包括:
获取模块,用作获取原始图像,其中所述原始图像包括多个前景像素点;
变换模块,用作基于与所述待识别形状对应的霍夫变换公式,对所述原始图像进行霍夫变换,得到函数图像,所述函数图像中各点的坐标值分别表示所述原始图像上的候选形状的函数参数,灰度值分别表示所述候选形状上的所述前景像素点的数量;
计算模块,用作计算所述函数图像中各点的一阶梯度的模,得到梯度图像,其中所述梯度图像中各点的灰度值正比于所述函数图像中各点的一阶梯度的模;
检测模块,用作确定所述梯度图像中各点的灰度值的局部最大值,得到所述局部最大值所对应的局部最大点;
所述变换模块进一步用作基于与所述待识别形状对应的霍夫变换公式,对所述局部最大点进行霍夫反变换得到所述局部最大点所对应的所述候选形状,并作为所述待识别形状的识别结果。
7.根据权利要求6所述的识别装置,其中,所述变换模块进一步包括:
形状确认单元,用作根据所述霍夫变换公式确认所述函数图像中各点坐标在所述原始图像上对应的所述候选形状;
数量统计单元,用作统计所述候选形状上的所述前景像素点的数量;
灰度设置单元,用作根据所述前景像素点的数量对所述函数图像上各点的灰度值进行设置。
8.根据权利要求7所述的识别装置,其中,所述识别装置用于进行直线的识别,
所述形状确认单元进一步用作在所述原始图像上建立直角坐标系;并以相对于所述直角坐标系的坐标轴的倾斜角度θ以及到所述直角坐标系的原点的距离ρ划分步长,并根据霍夫变换公式ρ=xcosθ+ysinθ获取所述原始图像中的多个候选直线;
所述数量统计单元进一步用作统计得到所述候选直线上的所述前景像素点的数量N;
所述灰度设置单元进一步用作根据所述前景像素点的数量N设置所述函数图像中对应于坐标值θ,ρ的点的灰度值。
9.根据权利要求6所述的识别装置,其中,所述计算模块进一步包括:
梯度计算单元,用作分别计算所述函数图像中各点的坐标值变化时其灰度值的变化量,得到所述函数图像中各点的一阶梯度;
求模计算单元,用作对所述各点的一阶梯度进行取模运算,进而得到梯度图像。
10.根据权利要求6所述的识别装置,其中,所述识别装置用于进行直线和圆形的识别。
11.一种计算机设备,其中,所述计算机设备包括处理器和存储器,处理器用于执行以下步骤:
获取原始图像,其中所述原始图像包括多个前景像素点;
基于与待识别形状对应的霍夫变换公式,对所述原始图像进行霍夫变换,得到函数图像,所述函数图像中各点的坐标值分别表示所述原始图像上的候选形状的函数参数,灰度值分别表示所述候选形状上的所述前景像素点的数量;
计算所述函数图像中各点的一阶梯度的模,得到梯度图像,其中所述梯度图像中各点的灰度值正比于所述函数图像中各点的一阶梯度的模;
确定所述梯度图像中各点的灰度值的局部最大值,得到所述局部最大值所对应的局部最大点;
基于与所述待识别形状对应的霍夫变换公式,对所述局部最大点进行霍夫反变换得到所述局部最大点所对应的所述候选形状,并作为所述待识别形状的识别结果。
12.根据权利要求11所述的计算机设备,其中,
所述处理器执行所述基于与所述待识别形状对应的霍夫变换公式,对所述原始图像进行霍夫变换的步骤包括:
根据所述霍夫变换公式确认所述函数图像中各点坐标在所述原始图像上对应的所述候选形状;
统计所述候选形状上的所述前景像素点的数量;
根据所述前景像素点的数量对所述函数图像上各点的灰度值进行设置。
13.根据权利要求12所述的计算机设备,其中,所述计算机设备用于进行直线的识别,
所述处理器执行所述根据所述霍夫变换公式确认所述函数图像中各点坐标在所述原始图像上对应的所述候选形状的步骤包括:
在所述原始图像上建立直角坐标系;
以相对于所述直角坐标系的坐标轴的倾斜角度θ以及到所述直角坐标系的原点的距离ρ划分步长,并根据霍夫变换公式ρ=xcosθ+ysinθ获取所述原始图像中的多个候选直线;
所述处理器执行所述统计所述候选形状上的所述前景像素点的数量的步骤包括:
统计得到所述候选直线上的所述前景像素点的数量N;
所述处理器执行所述根据所述前景像素点的数量对所述函数图像上各点的灰度值进行设置的步骤包括:
根据所述前景像素点的数量N设置所述函数图像中对应于坐标值θ,ρ的点的灰度值。
14.根据权利要求11所述的计算机设备,其中,
所述处理器执行所述计算所述函数图像中各点的一阶梯度的模,得到梯度图像的步骤包括:
分别计算所述函数图像中各点的坐标值变化时其灰度值的变化量,得到所述函数图像中各点的一阶梯度;
对所述各点的一阶梯度进行取模运算,进而得到梯度图像。
15.根据权利要求11所述的计算机设备,其中,所述计算机设备用于进行直线和圆形的识别。
16.一种计算机存储介质,其中,所述计算机存储介质存储有可执行程序,所述程序执行时包括如下步骤:
获取原始图像,其中所述原始图像包括多个前景像素点;
基于与待识别形状对应的霍夫变换公式,对所述原始图像进行霍夫变换,得到函数图像,所述函数图像中各点的坐标值分别表示所述原始图像上的候选形状的函数参数,灰度值分别表示所述候选形状上的所述前景像素点的数量;
计算所述函数图像中各点的一阶梯度的模,得到梯度图像,其中所述梯度图像中各点的灰度值正比于所述函数图像中各点的一阶梯度的模;
确定所述梯度图像中各点的灰度值的局部最大值,得到所述局部最大值所对应的局部最大点;
基于与所述待识别形状对应的霍夫变换公式,对所述局部最大点进行霍夫反变换得到所述局部最大点所对应的所述候选形状,并作为所述待识别形状的识别结果。
17.根据权利要求16所述的计算机存储介质,其中,所述基于与所述待识别形状对应的霍夫变换公式,对所述原始图像进行霍夫变换的步骤包括:
根据所述霍夫变换公式确认所述函数图像中各点坐标在所述原始图像上对应的所述候选形状;
统计所述候选形状上的所述前景像素点的数量;
根据所述前景像素点的数量对所述函数图像上各点的灰度值进行设置。
18.根据权利要求17所述的计算机存储介质,其中,所述程序用于进行直线的识别,
所述根据所述霍夫变换公式确认所述函数图像中各点坐标在所述原始图像上对应的所述候选形状的步骤包括:
在所述原始图像上建立直角坐标系;
以相对于所述直角坐标系的坐标轴的倾斜角度θ以及到所述直角坐标系的原点的距离ρ划分步长,并根据霍夫变换公式ρ=xcosθ+ysinθ获取所述原始图像中的多个候选直线;
所述统计所述候选形状上的所述前景像素点的数量的步骤包括:
统计得到所述候选直线上的所述前景像素点的数量N;
所述根据所述前景像素点的数量对所述函数图像上各点的灰度值进行设置的步骤包括:
根据所述前景像素点的数量N设置所述函数图像中对应于坐标值θ,ρ的点的灰度值。
19.根据权利要求16所述的计算机存储介质,其中,所述计算所述函数图像中各点的一阶梯度的模,得到梯度图像的步骤包括:
分别计算所述函数图像中各点的坐标值变化时其灰度值的变化量,得到所述函数图像中各点的一阶梯度;
对所述各点的一阶梯度进行取模运算,进而得到梯度图像。
20.根据权利要求16所述的计算机存储介质,其中,所述程序用于进行直线或圆形的识别。
CN201680026894.9A 2016-10-20 2016-10-20 图像中的形状识别方法、装置、设备及计算机存储介质 Active CN107710229B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/102699 WO2018072172A1 (zh) 2016-10-20 2016-10-20 图像中的形状识别方法、装置、设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN107710229A CN107710229A (zh) 2018-02-16
CN107710229B true CN107710229B (zh) 2021-02-26

Family

ID=61168984

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680026894.9A Active CN107710229B (zh) 2016-10-20 2016-10-20 图像中的形状识别方法、装置、设备及计算机存储介质

Country Status (2)

Country Link
CN (1) CN107710229B (zh)
WO (1) WO2018072172A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447068A (zh) * 2018-10-26 2019-03-08 信雅达系统工程股份有限公司 一种从图像中分离印章并校准印章的方法
CN109242807B (zh) * 2018-11-07 2020-07-28 厦门欢乐逛科技股份有限公司 渲染参数自适应的边缘软化方法、介质及计算机设备
CN113807325B (zh) * 2021-11-17 2022-02-22 南京三叶虫创新科技有限公司 一种基于图像处理的线型识别方法及系统
CN114913089B (zh) * 2022-05-13 2024-09-20 华设设计集团股份有限公司 一种基于多尺度霍夫变换的印章提取方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509017A (zh) * 2011-11-10 2012-06-20 浙江大学 一种用计算机预测刨花板强度的方法
US8229222B1 (en) * 1998-07-13 2012-07-24 Cognex Corporation Method for fast, robust, multi-dimensional pattern recognition
DE102014109063A1 (de) * 2014-06-27 2015-12-31 Connaught Electronics Ltd. Verfahren zur Detektion eines Objekts mit einer vorbestimmten geometrischen Form in einem Umgebungsbereich eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
CN105760812A (zh) * 2016-01-15 2016-07-13 北京工业大学 一种基于Hough变换的车道线检测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4637618B2 (ja) * 2005-03-18 2011-02-23 株式会社ホンダエレシス 車線認識装置
CN101625723B (zh) * 2009-07-02 2012-03-28 浙江省电力公司 电力线轮廓的快速图像识别方法
CN103605979A (zh) * 2013-12-03 2014-02-26 苏州大学张家港工业技术研究院 一种基于形状片段的物体识别方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8229222B1 (en) * 1998-07-13 2012-07-24 Cognex Corporation Method for fast, robust, multi-dimensional pattern recognition
CN102509017A (zh) * 2011-11-10 2012-06-20 浙江大学 一种用计算机预测刨花板强度的方法
DE102014109063A1 (de) * 2014-06-27 2015-12-31 Connaught Electronics Ltd. Verfahren zur Detektion eines Objekts mit einer vorbestimmten geometrischen Form in einem Umgebungsbereich eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
CN105760812A (zh) * 2016-01-15 2016-07-13 北京工业大学 一种基于Hough变换的车道线检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
online rebar section center recognition based on gradient orientation-based fuzzy convolution kernel;Fang Hong-ping et al;《computer engineering and design》;20141231;第3249-3253页 *
改进的Hough变换检测圆方法;陈小艳 等;《计算机系统应用》;20151231;第197-201页 *

Also Published As

Publication number Publication date
CN107710229A (zh) 2018-02-16
WO2018072172A1 (zh) 2018-04-26

Similar Documents

Publication Publication Date Title
CN107710229B (zh) 图像中的形状识别方法、装置、设备及计算机存储介质
CN104200495B (zh) 一种视频监控中的多目标跟踪方法
CN112336342A (zh) 手部关键点检测方法、装置及终端设备
CN105740872B (zh) 图像特征提取方法及其装置
CN112085709B (zh) 一种图像对比方法及设备
TW201516969A (zh) 視訊物件追蹤方法
CN102682428A (zh) 一种基于方向场的指纹图像计算机自动化修补方法
CN107564006B (zh) 一种利用Hough变换的圆形目标检测方法
CN104123554A (zh) 基于mmtd的sift图像特征提取方法
CN114898335A (zh) 基于霍夫变换的车道线识别方法及系统
CN111199558A (zh) 一种基于深度学习的图像匹配方法
Liu et al. Enhancement of contour smoothness by substitution of interpolated sub-pixel points for edge pixels
CN117557565B (zh) 一种锂电池极片的检测方法及其装置
CN113313725B (zh) 含能材料药桶的桶口识别方法及系统
Dai et al. An Improved ORB Feature Extraction Algorithm Based on Enhanced Image and Truncated Adaptive Threshold
CN113469195A (zh) 一种基于自适应颜色快速点特征直方图的目标识别方法
CN110287786B (zh) 基于人工智能防干扰的车辆信息识别方法及装置
Singh et al. ViDAQ: A computer vision based remote data acquisition system for reading multi-dial gauges
Singh et al. Vidaq: A framework for monitoring human machine interfaces
KR101391667B1 (ko) 크기 변화에 강건한 범주 물체 인식을 위한 모델 학습 및 인식 방법
CN110188601B (zh) 一种基于学习的机场遥感图像检测方法
Lopez-Molina et al. Edge detection on interval-valued images
CN113409344A (zh) 模板信息获取方法、设备及计算机可读存储介质
CN113033578A (zh) 基于多尺度特征匹配的图像校准方法、系统、终端及介质
CN113221914A (zh) 一种基于杰卡德距离的图像特征点匹配和误匹配剔除方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant