CN114359190B - 一种基于图像处理的塑料制品成型控制方法 - Google Patents

一种基于图像处理的塑料制品成型控制方法 Download PDF

Info

Publication number
CN114359190B
CN114359190B CN202111587840.9A CN202111587840A CN114359190B CN 114359190 B CN114359190 B CN 114359190B CN 202111587840 A CN202111587840 A CN 202111587840A CN 114359190 B CN114359190 B CN 114359190B
Authority
CN
China
Prior art keywords
pit
gradient
center
pixel
sliding window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111587840.9A
Other languages
English (en)
Other versions
CN114359190A (zh
Inventor
吴修桥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Jinfeng Plastic Industry Co ltd
Original Assignee
Wuhan Jinfeng Plastic Industry Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Jinfeng Plastic Industry Co ltd filed Critical Wuhan Jinfeng Plastic Industry Co ltd
Priority to CN202111587840.9A priority Critical patent/CN114359190B/zh
Publication of CN114359190A publication Critical patent/CN114359190A/zh
Application granted granted Critical
Publication of CN114359190B publication Critical patent/CN114359190B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Injection Moulding Of Plastics Or The Like (AREA)

Abstract

本发明公开了一种基于图像处理的塑料制品成型控制方法,涉及人工智能领域,主要用于目标凹坑检测去除。包括:获取目标灰度图像;对灰度图像进行滑窗,获取每个滑窗区域灰度共生矩阵,对每个滑窗区域的对比度值进行聚类,得到可能凹坑像素;计算其向心率;获取大于第一阈值所有像素点坐标;以同一凹坑像素点坐标均值做圆,计算梯度符合率;改变设定半径,获取所有最大梯度符合率进行高斯平滑,得到对应角度的边界圆,进行拟合得到凹坑边界。计算梯度变化率,计算凹坑区域破损程度调整对应注塑工艺。根据本发明提出的技术手段,能够准确确定凹坑边界,根据破损程度进行相应工艺调整,解决了生产异常,显著提高了生产效率。

Description

一种基于图像处理的塑料制品成型控制方法
技术领域
本发明涉及人工智能领域,具体涉及一种基于图像处理的塑料制品成型控制方法。
背景技术
在注塑件成型工艺中由于注射压力小,模具设计不合理等原因导致注塑件存在凹坑,而凹坑的存在影响注塑件的外观和使用寿命,本发明设计一种凹坑检测方法,获取凹坑的凹陷程度和面积,辅助调整注塑件的设备参数减少凹坑异常的存在。
常规的阈值分割方法虽然能够获取凹陷的位置,但无法获取凹陷的准确边界,同时会收到其他纹理和光照干扰,使得现有方法检测凹坑更不精确,甚至存在漏检现象,不利于通过工艺控制调整来解决凹坑异常问题。
本发明提出一种能够检测不明显凹坑的检测和边缘确定方法,可以排除光线与注塑件本身纹理的干扰,获得不明显凹坑的准确轮廓和凹陷程度,从而调整注塑工艺解决生产异常。
发明内容
本发明提供一种基于图像处理的塑料制品成型控制方法,以解决现有的问题。获取目标灰度图像;对灰度图像进行滑窗,获取每个滑窗区域灰度共生矩阵,对每个滑窗区域的对比度值进行聚类,得到可能凹坑像素;计算其向心率;获取大于第一阈值所有像素点坐标;以同一凹坑像素点坐标均值做圆,计算梯度符合率;改变设定半径,获取所有最大梯度符合率进行高斯平滑,得到对应角度的边界圆,进行拟合得到凹坑边界。计算梯度变化率,计算凹坑区域破损程度调整对应注塑工艺。
根据本发明提出的技术手段,通过灰度和纹理特征筛选出可能凹陷的像素,可以排除光线与目标本身纹理的干扰,然后通过凹陷的近圆特征并通过梯度进行筛选,能够准确的得到凹陷的清晰边界和破损程度,从而根据凹坑的破损程度进行对应工艺的处理,有效的去除了目标生产过程中的凹坑缺陷,显著提升了生产效率。
本发明采用如下技术方案,一种基于图像处理的塑料制品成型控制方法,包括:
采集目标图像,并进行灰度化处理,得到目标灰度图像;
以设定窗口对所述灰度图像进行滑窗,得到多个滑窗区域,获取每个滑窗区域的灰度共生矩阵,根据所述灰度共生矩阵计算每个滑窗区域的对比度值;
对每个滑窗区域中所有像素点的对比度值进行聚类,得到每个滑窗区域中所有疑似凹坑像素点;
利用K-means聚类对滑窗集合求得的对比度值进行聚类处理,聚类处理的所需的类别数为3;
计算各类别的对比度均值,选择对比度均值处于中间的类别集合,该类别集合所对应的滑窗内的像素即为可能凹坑像素;
获取每个滑窗区域内每个疑似凹坑像素的梯度方向向量,根据所述梯度方向向量计算每个滑窗区域内每个疑似凹坑像素点的向心率;
根据所述梯度方向向量计算每个滑窗区域内每个凹坑像素点的向心率的方法为:
以滑窗内第j个可能凹坑像素为凹坑中心,从水平方向出发,将滑窗划分为8个方向;
获取第j个凹坑中心的梯度方向向量,根据该凹坑中心的梯度方向向量计算该像素8个方向上的平均向心率L,表达式为:
Figure 100002_DEST_PATH_IMAGE002
其中,
Figure 100002_DEST_PATH_IMAGE004
表示第j个像素的平均向心率,
Figure 100002_DEST_PATH_IMAGE006
表示第j个像素在第q个方向上的梯度方向向量,
Figure 100002_DEST_PATH_IMAGE008
表示第j个像素在第q个方向上的标准向心向量,
Figure 100002_DEST_PATH_IMAGE010
表示第j个像素在第q个方向的像素点个数;
将所述每个滑窗区域内每个疑似凹坑像素点的最大向心率作为凹坑概率,获取所述凹坑概率大于第一阈值的所有滑窗,对所述凹坑概率大于第一阈值的所有滑窗进行密度聚类,得到属于同一凹坑的滑窗集合;
获取同一凹坑的滑窗集合,将所有滑窗的中心点作为对应凹坑的中心点,计算所述每个中心点在不同角度的梯度符合率;
计算所述每个凹坑中心点在不同半径圆的边界上每个角度的梯度符合率的方法为:
通过计算同一凹坑中心坐标均值得到每个凹坑中心坐标均值,从坐标均值为射线起点,以水平方向增加角度,计算所述每个凹坑中心点在每个方向的梯度符合率
Figure 100002_DEST_PATH_IMAGE012
,表达式为:
Figure 100002_DEST_PATH_IMAGE014
其中,
Figure 100002_DEST_PATH_IMAGE012A
表示第r个凹坑中心点在第
Figure 100002_DEST_PATH_IMAGE016
个方向的梯度符合率,
Figure 100002_DEST_PATH_IMAGE018
表示第
Figure 100002_DEST_PATH_IMAGE020
个凹坑中心在第
Figure 100002_DEST_PATH_IMAGE022
方向的第
Figure 100002_DEST_PATH_IMAGE024
个像素的梯度值,
Figure 100002_DEST_PATH_IMAGE026
表示以第
Figure 100002_DEST_PATH_IMAGE020A
个凹坑中心在第
Figure 100002_DEST_PATH_IMAGE022A
方向的与第
Figure 100002_DEST_PATH_IMAGE024A
个像素距离为半径的边界圆上像素的梯度均值,
Figure 100002_DEST_PATH_IMAGE028
表示以第r个凹坑中心点在第
Figure 100002_DEST_PATH_IMAGE016A
个方向上第h个像素的梯度方向角度,
Figure 100002_DEST_PATH_IMAGE030
表示在第
Figure 100002_DEST_PATH_IMAGE022AA
方向的第
Figure 100002_DEST_PATH_IMAGE032
个像素基于第
Figure 100002_DEST_PATH_IMAGE034
个凹坑中心的标准方向角度,g表示第r个凹坑中心在第
Figure 100002_DEST_PATH_IMAGE016AA
个方向上的像素点个数;
所述角度为与以第r个凹坑中心为圆心以该圆心与该像素构成的半径向量同线,方向为指向该圆心方向的角度,
Figure 100002_DEST_PATH_IMAGE036
表示该像素的角度偏差影响值,该值越大说明梯度方向角度与标准方向角度偏差越大,
Figure 100002_DEST_PATH_IMAGE038
表示以第
Figure 100002_DEST_PATH_IMAGE022AAA
个角度上所有像素的综合的梯度偏差值,该值越大,表明圆上像素梯度值与标准梯度值相似性越差,越不能满足凹坑的像素梯度分布规律,造成该现象的原因有,以该凹坑中心拟合的圆不能精确描述第
Figure 100002_DEST_PATH_IMAGE022AAAA
角度范围内的凹坑弧线,
Figure 100002_DEST_PATH_IMAGE012AA
为第
Figure 100002_DEST_PATH_IMAGE020AA
个凹坑中心拟合的圆对第
Figure 100002_DEST_PATH_IMAGE022_5A
角度方向上像素的弧线描述符合率,此处取名为梯度符合率,该值越大,表明第
Figure 100002_DEST_PATH_IMAGE020AAA
个凹坑中心为圆心拟合的圆弧对
Figure 100002_DEST_PATH_IMAGE022_6A
方向上像素的描述符合率越大;
类比该方式得到以所有凹坑中心为圆心的所拟合圆第
Figure 100002_DEST_PATH_IMAGE016AAA
方向上像素的描述符合率;
类比该方式得到以r个凹坑中心为圆心的所拟合圆在所有方向上的描述符合率;
获取所述每个凹坑的所有中心点最大梯度符合率对应角度的边界圆,对所有凹坑中心点对应角度的边界圆进行拟合得到凹坑边界;
获取同一凹坑的凹坑中心集合,通过计算凹坑中心集合坐标均值得到凹坑中心坐标均值坐标
Figure 100002_DEST_PATH_IMAGE040
以均值凹坑中心坐标为中心像素,做半径为R的圆,从圆心为射线起点,以水平方向为0度方向,逆时针密集增加角度,遍历所有像素;
选取第
Figure 100002_DEST_PATH_IMAGE042
方向上最大的梯度符合率
Figure 100002_DEST_PATH_IMAGE044
所对应的凹坑中心
Figure 100002_DEST_PATH_IMAGE046
,类比该方式得到其它方向上的最大梯度符合率所对应的凹坑中心
Figure 100002_DEST_PATH_IMAGE048
获取以凹坑中心
Figure 100002_DEST_PATH_IMAGE046A
为圆心在
Figure 100002_DEST_PATH_IMAGE042A
方向所有圆的符合率,组成符合率序列,类比该方式得到其他方向上最大符合率所对凹坑中心的各圆上的符合率序列;
将第
Figure 100002_DEST_PATH_IMAGE016AAAA
个方向上的每个凹坑中心点在不同半径的圆的所有最大梯度符合率进行高斯平滑,计算梯度符合率方差,将符合率方差趋于零的方向上半径构成的圆作为边界圆;将每个方向上凹坑中心点对应的边界圆进行拟合,得到凹坑的边界;
根据所述每个凹坑中心点的最大梯度符合率计算凹坑区域的梯度变化率,根据所述凹坑区域的面积和所述梯度变化率计算凹坑区域破损程度;根据所述凹坑区域破损程度调整对应注塑工艺。
进一步的,一种基于图像处理的塑料制品成型控制方法,根据所述每个凹坑中心点的最大梯度符合率计算凹坑区域的梯度变化率,根据所述凹坑区域的面积和所述梯度变化率计算凹坑区域破损程度的方法如下:
计算所述凹坑区域的梯度变化率,表达式为:
Figure 100002_DEST_PATH_IMAGE050
其中,
Figure 100002_DEST_PATH_IMAGE026A
表示第
Figure 100002_DEST_PATH_IMAGE020AAAA
个凹坑中心在第
Figure 100002_DEST_PATH_IMAGE022_7A
方向的与第
Figure 100002_DEST_PATH_IMAGE024AA
个像素距离为半径的边界圆上像素的梯度均值,g表示第r个凹坑中心在第
Figure 100002_DEST_PATH_IMAGE016_5A
个方向上的像素点个数,
Figure 100002_DEST_PATH_IMAGE012AAA
表示第r个凹坑中心在第
Figure 100002_DEST_PATH_IMAGE016_6A
个方向上的最大梯度符合率,
Figure 100002_DEST_PATH_IMAGE052
表示所述凹坑区域的梯度变化率,
Figure 100002_DEST_PATH_IMAGE054
表示第
Figure 100002_DEST_PATH_IMAGE016_7A
个方向上边界圆的半径;
根据所述凹坑区域的面积和所述梯度变化率的乘积计算得到凹坑区域破损程度
Figure 100002_DEST_PATH_IMAGE056
进一步的,一种基于图像处理的塑料制品成型控制方法,将所述每个滑窗区域内每个疑似凹坑像素点的最大向心率作为凹坑概率,获取所述凹坑概率大于第一阈值的所有滑窗的方法为:
当所述最大向心率
Figure 100002_DEST_PATH_IMAGE058
时,该滑窗内存在凹坑,保留该滑窗内的像素;
Figure 100002_DEST_PATH_IMAGE060
为第一阈值。
进一步的,一种基于图像处理的塑料制品成型控制方法,根据所述凹坑区域破损程度调整对应注塑工艺:
当破损程度
Figure 100002_DEST_PATH_IMAGE062
时,将每个注射压力间隔增加
Figure 100002_DEST_PATH_IMAGE064
,持续增加压力观测后续目标的破损程度变化情况,直至凹坑消失;
当破损程度
Figure 100002_DEST_PATH_IMAGE066
时,将每个注射压力间隔增加
Figure 100002_DEST_PATH_IMAGE068
,持续增加压力观测后续目标的破损程度变化情况,直至凹坑消失;
其中,
Figure 100002_DEST_PATH_IMAGE070
Figure 100002_DEST_PATH_IMAGE072
Figure 100002_DEST_PATH_IMAGE074
为破损阈值。
本发明的有益效果是:根据本发明提出的技术手段,通过灰度和纹理特征筛选出可能凹陷的像素,可以排除光线与目标本身纹理的干扰,然后通过凹陷的近圆特征并通过梯度进行筛选,能够准确的得到凹陷的清晰边界和破损程度,从而根据凹坑的破损程度进行对应工艺的处理,有效的去除了目标生产过程中的凹坑缺陷,显著提升了生产效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例的一种基于图像处理的塑料制品成型控制方法结构示意图;
图2为本发明实施例的另一种基于图像处理的塑料制品成型控制方法结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
如图1所示,给出了本发明实施例的一种基于图像处理的塑料制品成型控制方法结构示意图,包括:
101.采集目标图像,并进行灰度化处理,得到目标灰度图像。
在本实施例中,目标选择为注塑件,在目标生产线正上方设置一组平行光源和相机,当目标移动至相机正下方时拍摄一张目标图片。
将目标图片从RGB颜色空间转化为灰度图。
102.以设定窗口对所述灰度图像进行滑窗,得到多个滑窗区域,获取每个滑窗区域的灰度共生矩阵,根据所述灰度共生矩阵计算每个滑窗区域的对比度值。
以目标灰度图上的第i行第j列像素为中心,设置一个滑窗,获取滑窗所在位置的图像,并统计生成滑窗内图像的灰度共生矩阵并计算灰度共生矩阵的对比度值。
103.对每个滑窗区域中所有像素点的对比度值进行聚类,得到每个滑窗区域中所有疑似凹坑像素点。
由于目标纹理分为对比度较大的设计结构纹理,该类型纹理有明显的边缘。
对比度处于中间水平的缺陷纹理,该类型的纹理边界不清晰。
对比度较小的小纹理,该类型的纹理长度较小,因而可以通过聚类方式粗略分割出疑似的凹坑像素。
利用K-means聚类对滑窗集合求得的对比度值进行聚类处理,计算各类别的对比度均值,选择对比度均值处于中间的类别集合,该类别集合所对应的滑窗内的像素即为疑似凹坑像素。
104.获取每个滑窗区域内每个疑似凹坑像素的梯度方向向量,根据所述梯度方向向量计算每个滑窗区域内每个疑似凹坑像素点的向心率。
本实施例中分析的是生产过程中的目标凹坑,该凹坑多由于目标在冷却时,发生体积收缩,发生向中心的拉拽力所得到,由于材料的各项同性,该方式所造成的凹坑多成圆形凹坑。同时由于光线处于目标的正上方,因而在该光照条件下,目标凹坑多呈现中间量,四侧暗的一个区域,因而即会出现梯度向心性。
以滑窗内第j个像素为中心,从水平方向出发,每间隔45度,将滑窗划分为8个方向。
获取第k个滑窗第j个像素为中心第q方向直线所通过的第i个像素的梯度方向向量
Figure DEST_PATH_IMAGE076
,并将该梯度方向向量进行单位化处理,所述梯度方向向量计算每个滑窗区域内每个凹坑像素点的向心率。
105.将所述每个滑窗区域内每个疑似凹坑像素点的最大向心率作为凹坑概率,获取所述凹坑概率大于第一阈值的所有滑窗,对所述凹坑概率大于第一阈值的所有滑窗进行密度聚类,得到属于同一凹坑的滑窗集合。
当滑窗内存在凹坑的概率
Figure DEST_PATH_IMAGE078
时则认为该滑窗内高概率存在凹坑,保留该滑窗的像素。
判定可能属于同一凹坑的滑窗集合:基于高概率凹坑中心进行分析,通过密度聚类得聚类结果,因而一个类别内的高概率凹坑中心像素点属于同一凹坑。
106.获取同一凹坑的滑窗集合中每个凹坑的所有中心点,计算所述每个中心点在不同角度的梯度符合率。
获取同一凹坑的凹坑中心集合,通过计算凹坑中心集合坐标均值得到凹坑中心坐标均值坐标
Figure DEST_PATH_IMAGE040A
以均值凹坑中心坐标为中心像素做半径为R的圆,从圆心为射线起点,以水平方向为0度方向,逆时针密集增加角度,遍历所有像素,计算第r个凹坑中心像素点在第
Figure DEST_PATH_IMAGE016_8A
个角度上的综合梯度符合率。
107.获取所述每个凹坑的所有中心点最大梯度符合率对应角度的边界圆,对所有凹坑中心点对应角度的边界圆进行拟合得到凹坑边界。
改变半径R,将第
Figure DEST_PATH_IMAGE080
个凹坑中心拟合的圆对第
Figure DEST_PATH_IMAGE082
角度方向上像素的弧线描述符合率作为第
Figure DEST_PATH_IMAGE080A
个凹坑中心拟合的圆对第
Figure DEST_PATH_IMAGE082A
角度方向上像素的弧线描述符合率,此处取名为梯度符合率,该值越大,表明第
Figure DEST_PATH_IMAGE080AA
个凹坑中心为圆心拟合的圆弧对
Figure DEST_PATH_IMAGE082AA
方向上像素的描述符合率越大。
类比该方式得到以所有凹坑中心为圆心的所有拟合圆第
Figure DEST_PATH_IMAGE016_9A
方向上像素的描述符合率。
选取第
Figure DEST_PATH_IMAGE042AA
方向上最大的梯度符合率
Figure DEST_PATH_IMAGE044A
所对应的凹坑中心
Figure DEST_PATH_IMAGE046AA
,类比该方式得到其它方向上的最大梯度符合率所对应的凹坑中心
Figure DEST_PATH_IMAGE048A
获取以凹坑中心
Figure DEST_PATH_IMAGE046AAA
为圆心在
Figure DEST_PATH_IMAGE042AAA
方向所有圆的符合率,组成符合率序列
Figure DEST_PATH_IMAGE084
,类比该方式得到其他方向上最大符合率所对凹坑中心的各圆上的符合率序列。
将第
Figure DEST_PATH_IMAGE086
个方向上的各圆的符合序列进行高斯平滑,计算各圆梯度符合率最外侧圆的梯度符合率方差,判断符合率方差趋于零的开始位置,该处圆即为边界圆。
类比该方式得到个方向上的边界圆。利用这些边界圆拟合出凹坑边界。
108.根据所述每个凹坑中心点的最大梯度符合率计算凹坑区域的梯度变化率,根据所述凹坑区域的面积和所述梯度变化率计算凹坑区域破损程度;根据所述凹坑区域破损程度调整对应注塑工艺。
根据凹坑面积和凹坑梯度变化率计算破损度。
凹坑面积为的上述圆拟合出的边界面积S,单位长度内综合梯度变化率
Figure DEST_PATH_IMAGE088
越大,说明该凹坑的凹陷程度越大。
通过破损程度来调整注射压力。
根据本发明提出的技术手段,通过灰度和纹理特征筛选出可能凹陷的像素,可以排除光线与目标本身纹理的干扰,然后通过凹陷的近圆特征并通过梯度进行筛选,能够准确的得到凹陷的清晰边界和破损程度,从而根据凹坑的破损程度进行对应工艺的处理,有效的去除了目标生产过程中的凹坑缺陷,显著提升了生产效率。
实施例2
如图2所述,给出了本发明实施例另一种基于图像处理的塑料制品成型控制方法,包括:
201.采集目标图像,并进行灰度化处理,得到目标灰度图像。
本实施例所针对的情景为:在目标生产线正上方设置一组平行光源和相机,当目标移动至相机正下方时拍摄一张目标图片,通过处理拍摄到的目标图片实现凹坑检测,并计算出破损程度,从而针对性的调整注塑机参数,实现智能控制。
为了减少复杂光线的干扰在目标生产流水线正上方设置一组平行光源;
为了防止出现拍摄到的图片存在较大的透视形变,在流水线正上方设置相机。
当目标随着流水线移动至相机正下方时,相机拍摄一张目标图片,将目标图片从RGB颜色空间转化为灰度图。
202.以设定窗口对所述灰度图像进行滑窗,得到多个滑窗区域,获取每个滑窗区域的灰度共生矩阵,根据所述灰度共生矩阵计算每个滑窗区域的对比度值。
由于需要通过灰度共生矩阵的对比度来分割可能凹坑像素,所以需先获得图像中纹理的主要方向,便于下面获取该方向上的灰度共生矩阵。
利用PCA获得目标灰度图的特征值最大的主成分方向
Figure DEST_PATH_IMAGE090
,该方向为该图像的出现频率最大的纹理方向。
以目标灰度图上的第i行第j列像素为中心,设置一个滑窗,本实施例中,滑窗的大小为11*11,获取滑窗所在位置的图像,并统计生成滑窗内图像的灰度共生矩阵,该灰度共生矩阵基于步长为1,方向为
Figure DEST_PATH_IMAGE090A
方向的点对分析生成。计算灰度共生矩阵的对比度值。
2031.对每个滑窗区域中所有像素点的对比度值进行聚类,得到每个滑窗区域中所有疑似凹坑像素点。
由于目标纹理分为对比度较大的设计结构纹理,该类型纹理有明显的边缘,还有对比度处于中间水平的缺陷纹理,该类型的纹理边界不清晰,以及对比度较小的小纹理,该类型的纹理长度较小,因而可以通过聚类方式粗略分割出可能的凹坑像素。
利用K-means聚类对滑窗集合求得的对比度值进行聚类处理,聚类处理的所需的类别数为3。
计算各类别的对比度均值,选择对比度均值处于中间的类别集合,该类别集合所对应的滑窗内的像素即为可能凹坑像素。
2032.获取每个滑窗区域内每个疑似凹坑像素的梯度方向向量,根据所述梯度方向向量计算每个滑窗区域内每个疑似凹坑像素点的向心率。
本实施例分析的是生产过程中的目标凹坑,该凹坑多由于目标在冷却时,发生体积收缩,发生向中心的拉拽力所得到,由于材料的各项同性,该方式所造成的凹坑多成圆形凹坑。同时由于光线处于目标的正上方,因而在该光照条件下,目标凹坑多呈现中间量,四侧暗的一个区域,因而即会出现梯度向心性。
获取每个滑窗区域内每个凹坑像素点的梯度方向向量,根据所述梯度方向向量计算每个滑窗区域内每个凹坑像素点的向心率,包括:
以滑窗内第j个可能凹坑像素为凹坑中心,从水平方向出发,将滑窗划分为8个方向;
获取第j个凹坑中心的梯度方向向量,根据该凹坑中心的梯度方向向量计算该像素8个方向上的平均向心率L,表达式为:
Figure DEST_PATH_IMAGE002A
其中,
Figure DEST_PATH_IMAGE004A
表示第j个像素的平均向心率,
Figure DEST_PATH_IMAGE006A
表示第j个像素在第q个方向上的梯度方向向量,
Figure DEST_PATH_IMAGE008A
表示第j个像素在第q个方向上的标准向心向量,
Figure DEST_PATH_IMAGE010A
表示第j个像素在第q个方向的像素点个数。
Figure DEST_PATH_IMAGE092
表示一个凹坑中心像素点的一个梯度向量与标准向心向量的点积,该值越趋近于1,说明该向量与标准向心向量越同向,即表明梯度向量的向心性越高。
Figure DEST_PATH_IMAGE094
表示每个滑窗区域内每个凹坑像素点的平均向心率。
2033.将所述每个滑窗区域内每个疑似凹坑像素点的最大向心率作为凹坑概率,获取所述凹坑概率大于第一阈值的所有滑窗,对所述凹坑概率大于第一阈值的所有滑窗进行密度聚类,得到属于同一凹坑的滑窗集合。
当所述向心率
Figure DEST_PATH_IMAGE058A
时,将每个滑窗区域中向心率大于第一阈值对应的像素点作为凹坑中心点,通过对所有凹坑中心点进行密度聚类,得到同一类的像素点属于同一个凹坑,获取每个凹坑中所有凹坑中心点的坐标;
Figure DEST_PATH_IMAGE060A
为所述第一阈值。
当每个滑窗区域中所有所述向心率
Figure DEST_PATH_IMAGE058AA
认为该滑窗内存在凹坑,本实施例中
Figure DEST_PATH_IMAGE096
取0.8。
获取该滑窗中大于第一阈值的像素,通过进行密度聚类得聚类结果,得到一个类别内的大于第一阈值的像素点属于同一凹坑的滑窗集合。
204.获取同一凹坑的滑窗集合中每个凹坑的所有中心点,计算所述每个中心点在不同角度的梯度符合率。
获取同一凹坑的凹坑中心集合,通过计算凹坑中心集合坐标均值得到凹坑中心坐标均值坐标
Figure DEST_PATH_IMAGE040AA
以均值凹坑中心坐标为中心像素,做半径为R的圆,从圆心为射线起点,以水平方向为0度方向,逆时针密集增加角度,遍历所有像素。
通过计算同一凹坑中心坐标均值得到每个凹坑中心坐标均值,从坐标均值为射线起点,以水平方向增加角度,计算所述每个凹坑中心点在每个方向的梯度符合率
Figure DEST_PATH_IMAGE012AAAA
,表达式为:
Figure DEST_PATH_IMAGE014A
其中,
Figure DEST_PATH_IMAGE012_5A
表示第r个凹坑中心点在第
Figure DEST_PATH_IMAGE016_10A
个方向的梯度符合率,
Figure DEST_PATH_IMAGE018A
表示第
Figure DEST_PATH_IMAGE020_5A
个凹坑中心在第
Figure DEST_PATH_IMAGE022_8A
方向的第
Figure DEST_PATH_IMAGE024AAA
个像素的梯度值,
Figure DEST_PATH_IMAGE026AA
表示以第
Figure DEST_PATH_IMAGE020_6A
个凹坑中心在第
Figure DEST_PATH_IMAGE022_9A
方向的与第
Figure DEST_PATH_IMAGE024AAAA
个像素距离为半径的边界圆上像素的梯度均值,
Figure DEST_PATH_IMAGE028A
表示以第r个凹坑中心点在第
Figure DEST_PATH_IMAGE016_11A
个方向上第h个像素的梯度方向角度,
Figure DEST_PATH_IMAGE030A
表示在第
Figure DEST_PATH_IMAGE022_10A
方向的第
Figure DEST_PATH_IMAGE032A
个像素基于第
Figure DEST_PATH_IMAGE034A
个凹坑中心的标准方向角度,g表示第r个凹坑中心在第
Figure DEST_PATH_IMAGE016_12A
个方向上的像素点个数。
所述角度为与以第r个凹坑中心为圆心以该圆心与该像素构成的半径向量同线,方向为指向该圆心方向的角度,
Figure DEST_PATH_IMAGE036A
表示该像素的角度偏差影响值,该值越大说明梯度方向角度与标准方向角度偏差越大,
Figure DEST_PATH_IMAGE038A
表示以第
Figure DEST_PATH_IMAGE022_11A
个角度上所有像素的综合的梯度偏差值,该值越大,表明圆上像素梯度值与标准梯度值相似性越差,越不能满足凹坑的像素梯度分布规律,造成该现象的原因有,以该凹坑中心拟合的圆不能精确描述第
Figure DEST_PATH_IMAGE022_12A
角度范围内的凹坑弧线,
Figure DEST_PATH_IMAGE012_6A
为第
Figure DEST_PATH_IMAGE020_7A
个凹坑中心拟合的圆对第
Figure DEST_PATH_IMAGE022_13A
角度方向上像素的弧线描述符合率,此处取名为梯度符合率,该值越大,表明第
Figure DEST_PATH_IMAGE020_8A
个凹坑中心为圆心拟合的圆弧对
Figure DEST_PATH_IMAGE022_14A
方向上像素的描述符合率越大。
类比该方式得到以所有凹坑中心为圆心的所拟合圆第
Figure DEST_PATH_IMAGE016_13A
方向上像素的描述符合率。
类比该方式得到以r个凹坑中心为圆心的所拟合圆在所有方向上的描述符合率。
205.获取所述每个凹坑的所有中心点最大梯度符合率对应角度的边界圆,对所有凹坑中心点对应角度的边界圆进行拟合得到凹坑边界。
选取第
Figure DEST_PATH_IMAGE042AAAA
方向上最大的梯度符合率
Figure DEST_PATH_IMAGE044AA
所对应的凹坑中心
Figure DEST_PATH_IMAGE046AAAA
,类比该方式得到其它方向上的最大梯度符合率所对应的凹坑中心
Figure DEST_PATH_IMAGE048AA
获取以凹坑中心
Figure DEST_PATH_IMAGE046_5A
为圆心在
Figure DEST_PATH_IMAGE042_5A
方向所有圆的符合率,组成符合率序列,类比该方式得到其他方向上最大符合率所对凹坑中心的各圆上的符合率序列。
将第
Figure DEST_PATH_IMAGE016_14A
个方向上的每个凹坑中心点在不同半径的圆的所有最大梯度符合率进行高斯平滑,计算梯度符合率方差,将符合率方差趋于零的方向上半径构成的圆作为边界圆;将每个方向上凹坑中心点对应的边界圆进行拟合,得到凹坑的边界。
206.根据所述每个凹坑中心点的最大梯度符合率计算凹坑区域的梯度变化率,根据所述凹坑区域的面积和所述梯度变化率计算凹坑区域破损程度;根据所述凹坑区域破损程度调整对应注塑工艺。
计算凹坑区域的梯度变化率,根据所述凹坑区域的面积和所述梯度变化率计算凹坑区域破损程度,包括:
所述凹坑区域的面积为拟合圆构成的凹坑边界面积S;
计算所述凹坑区域的梯度变化率,表达式为:
Figure DEST_PATH_IMAGE050A
其中,
Figure DEST_PATH_IMAGE026AAA
表示以第
Figure DEST_PATH_IMAGE020_9A
个凹坑中心在第
Figure DEST_PATH_IMAGE022_15A
方向的与第
Figure DEST_PATH_IMAGE024_5A
个像素距离为半径的边界圆上像素的梯度均值,g表示第r个凹坑中心在第
Figure DEST_PATH_IMAGE016_15A
个方向上的像素点个数,
Figure DEST_PATH_IMAGE012_7A
表示以第r个凹坑中心在第
Figure DEST_PATH_IMAGE016_16A
个方向上的最大梯度符合率,
Figure DEST_PATH_IMAGE052A
表示所述凹坑区域的梯度变化率,
Figure DEST_PATH_IMAGE054A
表示第
Figure DEST_PATH_IMAGE016_17A
个方向上边界圆的半径。
根据所述凹坑区域的面积和所述梯度变化率计算得到凹坑区域破损程度
Figure DEST_PATH_IMAGE056A
根据所述凹坑区域破损程度调整对应注塑工艺,包括:
当破损程度
Figure DEST_PATH_IMAGE062A
时,将每个注射压力间隔增加
Figure DEST_PATH_IMAGE064A
,持续增加压力观测后续目标的破损程度变化情况,直至凹坑消失;
当破损程度
Figure DEST_PATH_IMAGE066A
时,将每个注射压力间隔增加
Figure DEST_PATH_IMAGE068A
,持续增加压力观测后续目标的破损程度变化情况,直至凹坑消失;
其中,
Figure DEST_PATH_IMAGE070A
Figure DEST_PATH_IMAGE072A
Figure DEST_PATH_IMAGE074A
为破损阈值,本实施例中,
Figure DEST_PATH_IMAGE070AA
取值为0,
Figure DEST_PATH_IMAGE072AA
取值为5,
Figure DEST_PATH_IMAGE074AA
取值为10。
根据本发明提出的技术手段,通过灰度和纹理特征筛选出可能凹陷的像素,可以排除光线与目标本身纹理的干扰,然后通过凹陷的近圆特征并通过梯度进行筛选,能够准确的得到凹陷的清晰边界和破损程度,从而根据凹坑的破损程度进行对应工艺的处理,有效的去除了目标生产过程中的凹坑缺陷,显著提升了生产效率。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于图像处理的塑料制品成型控制方法,其特征在于,包括:
采集目标图像,并进行灰度化处理,得到目标灰度图像;
以设定窗口对所述灰度图像进行滑窗,得到多个滑窗区域,获取每个滑窗区域的灰度共生矩阵,根据所述灰度共生矩阵计算每个滑窗区域的对比度值;
对每个滑窗区域中所有像素点的对比度值进行聚类,得到每个滑窗区域中所有疑似凹坑像素点;
利用K-means聚类对滑窗集合求得的对比度值进行聚类处理,聚类处理的所需的类别数为3;
计算各类别的对比度均值,选择对比度均值处于中间的类别集合,该类别集合所对应的滑窗内的像素即为可能凹坑像素;
获取每个滑窗区域内每个疑似凹坑像素的梯度方向向量,根据所述梯度方向向量计算每个滑窗区域内每个疑似凹坑像素点的向心率;
根据所述梯度方向向量计算每个滑窗区域内每个凹坑像素点的向心率的方法为:
以滑窗内第j个可能凹坑像素为凹坑中心,从水平方向出发,将滑窗划分为8个方向;
获取第j个凹坑中心的梯度方向向量,根据该凹坑中心的梯度方向向量计算该像素8个方向上的平均向心率L,表达式为:
Figure DEST_PATH_IMAGE002
其中,
Figure DEST_PATH_IMAGE004
表示第j个像素的平均向心率,
Figure DEST_PATH_IMAGE006
表示第j个像素在第q个方向上的梯度方向向量,
Figure DEST_PATH_IMAGE008
表示第j个像素在第q个方向上的标准向心向量,
Figure DEST_PATH_IMAGE010
表示第j个像素在第q个方向的像素点个数;
将所述每个滑窗区域内每个疑似凹坑像素点的最大向心率作为凹坑概率,获取所述凹坑概率大于第一阈值的所有滑窗,对所述凹坑概率大于第一阈值的所有滑窗进行密度聚类,得到属于同一凹坑的滑窗集合;
获取同一凹坑的滑窗集合,将所有滑窗的中心点作为对应凹坑的中心点,计算每个中心点在不同角度的梯度符合率;
计算每个凹坑中心点在不同半径圆的边界上每个角度的梯度符合率的方法为:
通过计算同一凹坑中心坐标均值得到每个凹坑中心坐标均值,从坐标均值为射线起点,以水平方向增加角度,计算所述每个凹坑中心点在每个方向的梯度符合率
Figure DEST_PATH_IMAGE012
,表达式为:
Figure DEST_PATH_IMAGE014
其中,
Figure DEST_PATH_IMAGE012A
表示第r个凹坑中心点在第
Figure DEST_PATH_IMAGE016
个方向的梯度符合率,
Figure DEST_PATH_IMAGE018
表示第
Figure DEST_PATH_IMAGE020
个凹坑中心在第
Figure DEST_PATH_IMAGE022
方向的第
Figure DEST_PATH_IMAGE024
个像素的梯度值,
Figure DEST_PATH_IMAGE026
表示以第
Figure DEST_PATH_IMAGE020A
个凹坑中心在第
Figure DEST_PATH_IMAGE022A
方向的与第
Figure DEST_PATH_IMAGE024A
个像素距离为半径的边界圆上像素的梯度均值,
Figure DEST_PATH_IMAGE028
表示以第r个凹坑中心点在第
Figure DEST_PATH_IMAGE016A
个方向上第h个像素的梯度方向角度,
Figure DEST_PATH_IMAGE030
表示在第
Figure DEST_PATH_IMAGE022AA
方向的第
Figure DEST_PATH_IMAGE032
个像素基于第
Figure DEST_PATH_IMAGE034
个凹坑中心的标准方向角度,g表示第r个凹坑中心在第
Figure DEST_PATH_IMAGE016AA
个方向上的像素点个数;
所述角度为与以第r个凹坑中心为圆心以该圆心与该像素构成的半径向量同线,方向为指向该圆心方向的角度,
Figure DEST_PATH_IMAGE036
表示该像素的角度偏差影响值,该值越大说明梯度方向角度与标准方向角度偏差越大,
Figure DEST_PATH_IMAGE038
表示以第
Figure DEST_PATH_IMAGE022AAA
个角度上所有像素的综合的梯度偏差值,该值越大,表明圆上像素梯度值与标准梯度值相似性越差,越不能满足凹坑的像素梯度分布规律,造成该现象的原因有,以该凹坑中心拟合的圆不能精确描述第
Figure DEST_PATH_IMAGE022AAAA
角度范围内的凹坑弧线,
Figure DEST_PATH_IMAGE012AA
为第
Figure DEST_PATH_IMAGE020AA
个凹坑中心拟合的圆对第
Figure DEST_PATH_IMAGE022_5A
角度方向上像素的弧线描述符合率,此处取名为梯度符合率,该值越大,表明第
Figure DEST_PATH_IMAGE020AAA
个凹坑中心为圆心拟合的圆弧对
Figure DEST_PATH_IMAGE022_6A
方向上像素的描述符合率越大;
同理得到以所有凹坑中心为圆心的所拟合圆第
Figure DEST_PATH_IMAGE016AAA
方向上像素的描述符合率;
同理得到以r个凹坑中心为圆心的所拟合圆在所有方向上的描述符合率;
获取所述每个凹坑的所有中心点最大梯度符合率对应角度的边界圆,对所有凹坑中心点对应角度的边界圆进行拟合得到凹坑边界;
获取同一凹坑的凹坑中心集合,通过计算凹坑中心集合坐标均值得到凹坑中心坐标均值坐标
Figure DEST_PATH_IMAGE040
以均值凹坑中心坐标为中心像素,做半径为R的圆,从圆心为射线起点,以水平方向为0度方向,逆时针密集增加角度,遍历所有像素;
选取第
Figure DEST_PATH_IMAGE042
方向上最大的梯度符合率
Figure DEST_PATH_IMAGE044
所对应的凹坑中心
Figure DEST_PATH_IMAGE046
,同理得到其它方向上的最大梯度符合率所对应的凹坑中心
Figure DEST_PATH_IMAGE048
获取以凹坑中心
Figure DEST_PATH_IMAGE046A
为圆心在
Figure DEST_PATH_IMAGE042A
方向所有圆的符合率,组成符合率序列,同理得到其他方向上最大符合率所对凹坑中心的各圆上的符合率序列;
将第
Figure DEST_PATH_IMAGE016AAAA
个方向上的每个凹坑中心点在不同半径的圆的所有最大梯度符合率进行高斯平滑,计算梯度符合率方差,将符合率方差趋于零的方向上半径构成的圆作为边界圆;将每个方向上凹坑中心点对应的边界圆进行拟合,得到凹坑的边界;
根据所述每个凹坑中心点的最大梯度符合率计算凹坑区域的梯度变化率,根据所述凹坑区域的面积和所述梯度变化率计算凹坑区域破损程度;根据所述凹坑区域破损程度调整对应注塑工艺。
2.根据权利要求1所述的一种基于图像处理的塑料制品成型控制方法,其特征在于,根据所述每个凹坑中心点的最大梯度符合率计算凹坑区域的梯度变化率,根据所述凹坑区域的面积和所述梯度变化率计算凹坑区域破损程度的方法如下:
计算所述凹坑区域的梯度变化率,表达式为:
Figure DEST_PATH_IMAGE050
其中,
Figure DEST_PATH_IMAGE026A
表示第
Figure DEST_PATH_IMAGE020AAAA
个凹坑中心在第
Figure DEST_PATH_IMAGE022_7A
方向的与第
Figure DEST_PATH_IMAGE024AA
个像素距离为半径的边界圆上像素的梯度均值,g表示第r个凹坑中心在第
Figure DEST_PATH_IMAGE016_5A
个方向上的像素点个数,
Figure DEST_PATH_IMAGE012AAA
表示第r个凹坑中心在第
Figure DEST_PATH_IMAGE016_6A
个方向上的最大梯度符合率,
Figure DEST_PATH_IMAGE052
表示所述凹坑区域的梯度变化率,
Figure DEST_PATH_IMAGE054
表示第
Figure DEST_PATH_IMAGE016_7A
个方向上边界圆的半径;
根据所述凹坑区域的面积和所述梯度变化率的乘积计算得到凹坑区域破损程度
Figure DEST_PATH_IMAGE056
3.根据权利要求1所述的一种基于图像处理的塑料制品成型控制方法,其特征在于,将所述每个滑窗区域内每个疑似凹坑像素点的最大向心率作为凹坑概率,获取所述凹坑概率大于第一阈值的所有滑窗的方法为:
当所述最大向心率
Figure DEST_PATH_IMAGE058
时,该滑窗内存在凹坑,保留该滑窗内的像素;
Figure DEST_PATH_IMAGE060
为第一阈值。
4.根据权利要求1所述的一种基于图像处理的塑料制品成型控制方法,其特征在于,根据所述凹坑区域破损程度调整对应注塑工艺:
当破损程度
Figure DEST_PATH_IMAGE062
时,将每个注射压力间隔增加
Figure DEST_PATH_IMAGE064
,持续增加压力观测后续目标的破损程度变化情况,直至凹坑消失;
当破损程度
Figure DEST_PATH_IMAGE066
时,将每个注射压力间隔增加
Figure DEST_PATH_IMAGE068
,持续增加压力观测后续目标的破损程度变化情况,直至凹坑消失;
其中,
Figure DEST_PATH_IMAGE070
Figure DEST_PATH_IMAGE072
Figure DEST_PATH_IMAGE074
为破损阈值。
CN202111587840.9A 2021-12-23 2021-12-23 一种基于图像处理的塑料制品成型控制方法 Active CN114359190B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111587840.9A CN114359190B (zh) 2021-12-23 2021-12-23 一种基于图像处理的塑料制品成型控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111587840.9A CN114359190B (zh) 2021-12-23 2021-12-23 一种基于图像处理的塑料制品成型控制方法

Publications (2)

Publication Number Publication Date
CN114359190A CN114359190A (zh) 2022-04-15
CN114359190B true CN114359190B (zh) 2022-06-14

Family

ID=81101789

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111587840.9A Active CN114359190B (zh) 2021-12-23 2021-12-23 一种基于图像处理的塑料制品成型控制方法

Country Status (1)

Country Link
CN (1) CN114359190B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913365A (zh) * 2022-04-22 2022-08-16 海门王巢家具制造有限公司 基于机器视觉的人造板质量分类方法及系统
CN114998346B (zh) * 2022-08-04 2022-10-25 启东市固德防水布有限公司 一种防水布质量数据处理、识别方法
CN115294102B (zh) * 2022-09-26 2022-12-30 如东延峰钢结构有限公司 基于机器视觉的不锈钢制品异常识别方法
CN116091499B (zh) * 2023-04-07 2023-06-20 山东中胜涂料有限公司 一种涂料生产异常识别系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102324032B (zh) * 2011-09-08 2013-04-17 北京林业大学 一种基于极坐标系下灰度共生矩阵的纹理特征提取方法
JP7059297B2 (ja) * 2017-10-20 2022-04-25 富士フイルム株式会社 医療画像処理装置
CN109191421B (zh) * 2018-07-04 2022-02-22 沈阳工业大学 柱形锂电池圆周面凹坑视觉检测方法
CN110111297B (zh) * 2019-03-15 2021-03-30 浙江大学 一种基于迁移学习的注塑制品表面图像缺陷识别方法
US20210118136A1 (en) * 2019-10-22 2021-04-22 Novateur Research Solutions LLC Artificial intelligence for personalized oncology
CN112233116B (zh) * 2020-12-11 2021-08-03 常州微亿智造科技有限公司 基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法
CN113706534B (zh) * 2021-10-28 2022-01-25 南通欣斯特机械制造有限公司 一种基于多光线分析的注塑产品缺陷检测方法

Also Published As

Publication number Publication date
CN114359190A (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
CN114359190B (zh) 一种基于图像处理的塑料制品成型控制方法
CN115082467B (zh) 基于计算机视觉的建材焊接表面缺陷检测方法
CN115345885B (zh) 一种金属健身器材外观质量检测方法
CN109166095B (zh) 一种基于生成对抗机制的眼底影像杯盘分割方法
CN115100171A (zh) 一种基于机器视觉的钢模焊接缺陷检测方法及系统
CN110717896B (zh) 基于显著性标签信息传播模型的板带钢表面缺陷检测方法
CN107437243B (zh) 基于x光图像的轮胎杂质检测方法及装置
CN114170228B (zh) 一种计算机图像边缘检测方法
CN113592845A (zh) 一种电池涂布的缺陷检测方法及装置、存储介质
CN114219805B (zh) 一种玻璃缺陷智能检测方法
CN115082683A (zh) 一种基于图像处理的注塑缺陷检测方法
CN115249246B (zh) 一种光学玻璃表面缺陷检测方法
CN104647893B (zh) 一种基于十字线的印刷套印误差检测方法
CN111539330B (zh) 一种基于双svm多分类器的变电站数显仪表识别方法
CN113570628B (zh) 一种基于活动轮廓模型的白细胞分割方法
CN114863492B (zh) 一种低质量指纹图像的修复方法及修复装置
CN114972356A (zh) 塑料制品表面缺陷检测识别方法及系统
CN116309577B (zh) 一种高强传送带物料智能检测方法及系统
CN113256624A (zh) 连铸圆坯缺陷检测方法、装置、电子设备及可读存储介质
CN117689655B (zh) 基于计算机视觉的金属钮扣表面缺陷检测方法
CN114119603A (zh) 基于图像处理的快餐盒短射缺陷检测方法
CN116188468A (zh) 一种hdmi线缆传输分拣智能控制系统
CN114881965A (zh) 一种基于人工智能和图像处理的木板节子检测方法
CN115131356A (zh) 一种基于丰富度的钢板缺陷分类方法
CN116823820B (zh) 一种铝碳质整体塞棒轮廓弯曲检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant