CN116703922A - 一种锯木缺陷位置智能定位方法及系统 - Google Patents

一种锯木缺陷位置智能定位方法及系统 Download PDF

Info

Publication number
CN116703922A
CN116703922A CN202310986555.7A CN202310986555A CN116703922A CN 116703922 A CN116703922 A CN 116703922A CN 202310986555 A CN202310986555 A CN 202310986555A CN 116703922 A CN116703922 A CN 116703922A
Authority
CN
China
Prior art keywords
wood grain
point
correlation
points
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310986555.7A
Other languages
English (en)
Other versions
CN116703922B (zh
Inventor
朱子辰
杨凯
陈兵
陈禹同
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Huabaowei Cnc Technology Co ltd
Original Assignee
Qingdao Huabaowei Cnc Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Huabaowei Cnc Technology Co ltd filed Critical Qingdao Huabaowei Cnc Technology Co ltd
Priority to CN202310986555.7A priority Critical patent/CN116703922B/zh
Publication of CN116703922A publication Critical patent/CN116703922A/zh
Application granted granted Critical
Publication of CN116703922B publication Critical patent/CN116703922B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Image Processing (AREA)

Abstract

本申请涉及计算机视觉领域,特别涉及一种锯木缺陷位置智能定位方法及系统,方法包括:通过图像识别,识别出边缘特征,并基于边缘特征计算闭合边缘的外木纹相关性,基于外木纹相关度确定闭合区域对应的缺陷类型。进一步,再通过闭合区域内的边缘检测,计算闭合区域内的木纹回归度,综合外木纹相关度和木纹回归度得到木纹综合相关度,根据木纹综合相关度来确定缺陷类型。通过图像识别,并基于缺陷外部的木纹特征,来识别节子和虫眼,提高了锯木缺陷的识别确认精度和准确度。

Description

一种锯木缺陷位置智能定位方法及系统
技术领域
本申请涉及计算机视觉技术领域,特别是涉及一种锯木缺陷位置智能定位方法及系统。
背景技术
木材作为世界上最重要的建材之一,其外观、结构以及强度等都是评价木材是否优良的重要指标,如果木材成品上出现较多缺陷则会严重影响该木材的使用。目前判断锯木成品缺陷的方法有很多,如依赖人工的目测检测、依赖机器的声波检测和红外线检测等,但无一例外地存在精度不准确、消耗资源大等问题,极大影响了锯木的生产效率。随着算机视觉技术的发展,通过图像处理技术对锯木的检测成为锯木缺陷检测重要手段,而实际上锯木的缺陷种类不同,对锯木的实际生产应用有较大差距,在锯木成品中,虫眼的存在则代表了该木材受虫害侵入,可能会存在内部结构隐患问题;而节子的存在则表示该木材可能在结构上存在强度受损的情况,如果不将两者区分,可能会造成在应用过程出现结构不完整或强度不足导致的问题。由于虫眼和节子在图像上有着一定的相似性,现有的图像处理技术中,通过图像处理的阈值分割技术检测锯木缺陷,存在虫眼和节子检测错误的问题。
发明内容
基于此,有必要针对现有的图像处理技术中,通过图像处理的阈值分割技术检测锯木缺陷,存在虫眼和节子检测错误的问题,提供一种锯木缺陷位置智能定位方法及系统。
本申请第一方面提供一种锯木缺陷位置智能定位方法,应用于锯木缺陷位置智能定位系统,包括:
获取初始锯木图像,并对图像进行预设处理,得到第一图像;
对第一图像进行边缘检测后,根据识别的边缘线确定若干闭合区域和非闭合区域,基于闭合区域上的预设三点作曲线拟合,得到第一拟合曲线;
以预设三点中位于第一拟合曲线中间的点为初始点,基于初始点和非闭合区域的相对位置关系,计算外木纹相关度;
基于外木纹相关度确定闭合区域对应的缺陷类型。
在其中一个实施例中,基于闭合区域上的预设三点作曲线拟合,得到第一拟合曲线,具体为:
对闭合区域作最小外接矩形,基于闭合区域边缘上的预设三点,在闭合区域边缘上截取一段曲线,对该曲线作曲线拟合,得到第一拟合曲线;其中,预设三点为闭合区域边缘与外接矩形的四个切点中的任意三点。
在其中一个实施例中,基于初始点和非闭合区域的相对位置关系,计算外木纹相关度,具体为:
基于第一拟合曲线在初始点处的曲率、以及与初始点距离最近的非闭合区域边缘上的、与初始点距离最小的非闭合区域边缘点计算外木纹相关度。
在其中一个实施例中,基于初始点和非闭合区域的相对位置关系,计算外木纹相关度,具体包括:
基于初始点,在预设寻找区域内,寻找预设三方向上的目标点,目标点为预设三方向上与初始点距离最近的非闭合区域边缘点;
确定目标点与初始点的直线距离,对目标点所在的非闭合区域边缘作曲线拟合,得到第二拟合曲线,并计算第二拟合曲线在目标点处的曲率;
以目标点为第二初始点,基于第二初始点寻找第二目标点,并基于第二目标点所在非闭合区域边缘得到新的第二拟合曲线,确定第二目标点与第二初始点的直线距离,计算新的第二拟合曲线在第二目标点处的曲率;
基于第一拟合曲线在初始点处的曲率、各第二拟合曲线在目标点处的曲率、以及各目标点与初始点的直线距离计算外木纹相关度。
在其中一个实施例中,基于第一拟合曲线在初始点处的曲率、各第二拟合曲线在目标点处的曲率、以及各目标点与初始点的直线距离计算外木纹相关度,具体包括:
计算各第二拟合曲线在目标点处的曲率以及第一拟合曲线在初始点处的曲率,并基于这个曲率差值求和得到曲率差之和;
基于各目标点与初始点的直线距离计算相邻两个直线距离的计算距离比值;
将曲率差之和和距离比值的乘积的倒数作为外木纹相关度。
在其中一个实施例中,还包括:
基于初始点以及最小外接区域的四个切点中除去预设三点外的点确定第一直线;
对闭合区域内进行边缘检测,得到多个第二边缘,取第二边缘与第一直线的交点;
基于每条第二边缘与第一直线的交点个数,计算内部木纹回归度;
基于木纹回归度确定闭合区域对应的缺陷类型。
在其中一个实施例中,基于每条第二边缘与第一直线的交点个数,计算内部木纹回归度,具体包括:
基于第二边缘与第一直线的交点个数是否为2个,得到多个第二边缘对应的交点二维值,交点二维值只取0或1两个值;
对闭合区域内所有第二边缘的交点二维值进行回归,计算内部木纹回归度HD。
在其中一个实施例中,基于每条第二边缘与第一直线的交点个数,计算内部木纹回归度,具体包括:
基于第二边缘与第一直线的交点个数是否为2个,得到多个第二边缘对应的交点二维值,交点二维值只取0或1两个值;
对闭合区域内所有第二边缘的交点二维值进行回归,计算内部木纹回归度HD。
在其中一个实施例中,根据木纹综合相关度确定木纹缺陷类型,具体为:
当木纹综合相关度MC小于等于0.3,该闭合区域对应的缺陷类型为虫眼;
当木纹综合相关度 MC大于等于0.7时,该闭合区域对应的缺陷类型为节子;
当木纹综合相关度MC值处于范围大于0.3但小于0.7时,该闭合区域对应的缺陷类型为第三缺陷。
本申请第二方面提供一种锯木缺陷位置智能定位系统,包括:图像获取部件、检测拟合部件、外木纹相关度计算部件、缺陷确定部件、直线辅助部件、交点确定部件、木纹回归度计算部件和第二缺陷确定部件,其中
图像获取部件,用于获取初始锯木图像,并对图像进行预设处理,得到第一图像;
检测拟合部件,用于对第一图像进行边缘检测后,根据识别的边缘线确定若干闭合区域和非闭合区域,基于闭合区域上的预设三点作曲线拟合,得到第一拟合曲线;
外木纹相关度计算部件,用于以预设三点中位于第一拟合曲线中间的点为初始点,基于初始点和非闭合区域的相对位置关系,计算外木纹相关度;
第一缺陷确定部件,用于基于外木纹相关度确定闭合区域对应的缺陷类型;
直线辅助部件,用于基于初始点以及最小外接区域的四个切点中除去预设三点外的点确定第一直线;
交点确定部件,用于对闭合区域内进行边缘检测,得到多个第二边缘,取第二边缘与第一直线的交点;
木纹回归度计算部件,用于基于每条第二边缘与第一直线的交点个数,计算内部木纹回归度;
第二缺陷确定部件,用于基于木纹回归度确定闭合区域对应的缺陷类型。
根据本申请实施例的锯木缺陷位置智能定位方法和锯木缺陷位置智能定位系统,可通过图像识别,识别出边缘特征,并基于边缘特征计算闭合边缘的外木纹相关性,以此来识别节子和虫眼,相比于现有的方法,能够较好的区分出节子和虫眼,提高了锯木缺陷的识别确认精度和准确度。
进一步,还可以通过对闭合区域内的木纹回归度来分析闭合区域对应的缺陷类型,以及结合外木纹相关度、木纹回归度来综合确定闭合区域对应的缺陷类型。相比于现有技术,多次中识别路径大大提高了识别的精度和准确度。
附图说明
图1为本申请一实施例的锯木缺陷位置智能定位方法的流程示意图;
图2为木材上的节子和虫眼的示意图;
图3为本申请一实施例的锯木缺陷位置智能定位方法中外木纹相关度的计算方法流程示意图;
图4为本申请另一实施例的锯木缺陷位置智能定位方法的流程示意图;
图5为本申请一实施例的锯木缺陷位置智能定位系统的框架结构示意图;
图6为本申请一实施例的锯木缺陷位置智能定位系统的外木纹相关度计算部件的框架结构示意图;
图7为本申请一实施例的锯木缺陷位置智能定位系统的计算执行组件的框架结构示意图;
图8为本申请另一实施例的锯木缺陷位置智能定位系统的框架结构示意图。
具体实施方式
为了便于理解本申请,下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的较佳实施方式。但是,本申请可以以许多不同的形式来实现,并不限于本文所描述的实施方式。相反地,提供这些实施方式的目的是使对本申请的公开内容理解的更加透彻全面。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施方式的目的,不是旨在于限制本申请。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
参阅图1,示例性的示出了本申请一实施例的锯木缺陷位置智能定位方法的流程示意图,根据本申请实施例的锯木缺陷位置智能定位方法由锯木缺陷位置智能定位系统执行,锯木缺陷位置智能定位系统能够根据采集到的图像,通过图像的识别处理,智能识别出节子和虫眼。其中,该锯木缺陷位置智能定位系统可以是一个集成化的系统,还可以是控制该锯木缺陷位置智能定位系统运行的芯片。因此,在下文中,当提到锯木缺陷位置智能定位系统进行的操作时,也可以理解为控制锯木缺陷位置智能定位系统运行的芯片进行的操作。
如图1所示的锯木缺陷位置智能定位方法可以包括步骤101~104,以下对这些步骤进行详细的介绍。
101:获取初始锯木图像,并对图像进行预设处理,得到第一图像;
在对锯木进行缺陷检测时,将前一工序加工得到锯木通过传送带输送到下一工位。在输送过程中,锯木位于传送带上,可以在传送带上方设置CCD相机拍摄传送带上的锯木,得到初始锯木图像,初始锯木图像为RGB图像。
得到初始锯木图像后,先对初始锯木图像进行一些预处理,以便于后期的特征提取。具体的,将初始锯木图像进行采用权重公式进行灰度图像转换,转换为灰度图像,得到灰度锯木图像。然后,对灰度锯木图像使用中值滤波进行去噪处理,取出图像噪声,以减少噪声对图像后续分析的干扰,防止环境因素造成对后续的特征分析造成影响。最后,再用拉普拉斯算子对图像进行锐化,增强图像中的边缘和细节,得到第一图像。
102:对第一图像进行边缘检测后,根据识别的边缘线确定若干闭合区域和非闭合区域,基于闭合区域上的预设三点作曲线拟合,得到第一拟合曲线;
锯木的缺陷主要有以下几种:裂纹、斜纹、虫眼和节子。裂纹和斜纹本质上都是一种木材上的裂纹,呈条状、长度不一、分叉的形状出现,常规的阈值分割图像处理手段很容易能够分辨出裂纹所在区域。但是虫眼和节子在图像中均为深棕色,形状偏向圆形,通过常规的阈值分割手段难以确认该区域是虫眼缺陷还是节子缺陷。根据本申请实施例的锯木缺陷位置智能定位方法,着重于区分节子和虫眼这两种缺陷。
首先,参考图2,分析节子和虫眼的物理区别:节子实际上是树木在自然生长过程中产生的木材缺陷,节子周围区域的木纹会因为节子的存在而“变形”,绕开节子的生长区域,呈“波纹扩散”状分布,在锯木过程中通常成品木材上的节子都会被切成平整的平面,并能观察到波纹状木纹。虫眼则是木材外部有虫害侵入导致的,对木材本身的纹理走向并不影响,木纹依然呈直线状分布,但在所在区域会由外而内地形成一个凹陷坑。
基于上述区别点,可以通过边缘检测来识别出节子和虫眼的边缘,并通过对边缘附近的木纹特征进行分析,来区分节子和虫眼。
故,在得到第一图像后,对第一图像进行边缘检测处理,得到若干边缘线,在对边缘线进行闭合区域检测,来得到若干闭合区域和非闭合区域。这样,能够将所有节子和虫眼的边缘都识别出来,其中闭合区域对应节子或虫眼,非闭合区域对应木纹。
根据本申请的实施例,采用轮廓追踪法来对边缘线进行闭合区域检测。先找到边缘上的一点记录为初始点a(x,y),然后在该点的8邻域方向寻找该边缘上的点,找到后与初始点连接,然后以该点为初始点,排除与初始点连接的方向,继续在该点邻域内寻找下一个点,如果最后连接的点为初始点,则证明该边缘闭合。边缘检测算法可以使用Canny边缘检测算子。Canny边缘检测算子和轮廓追踪法均为公知技术不多做赘述。
将得到的闭合区域初始点的集合记录为点集S,即点集S为闭合区域边缘上的所有边缘点的集合;每个闭合区域内的点记录为点集Kn(n=1,2,…,m),其中,m为点集S的数量,也即闭合区域的个数;如果最后的点为离散的点,即不能连接到初始点,则检测到非闭合区域,将非闭合区域边缘上的边缘点(下文也称为非闭合区域边缘点)的集合记录为点集P。
在识别出闭合区域和非闭合区域后,分别对各闭合区域进行分析。对闭合区域作最小外接矩形,然后以该最小外接矩形为检测窗口,对闭合区域进行检测,基于闭合区域边缘上的预设三点,在闭合区域边缘上截取一段曲线,对该曲线作曲线拟合,得到第一拟合曲线。根据本申请的实施例,预设三点为闭合区域边缘与外接矩形的四个切点中的任意三点。
在具体的实施例中,预设三点为检测窗口内的闭合区域边缘上在预设坐标系上横坐标最小的点、横坐标最大的点和纵坐标最大的点。预设坐标系的x轴和y轴分别平行于闭合区域的最小外接矩形的两条垂直边。
根据本申请的实施例,将横坐标最小的点记为点,横坐标最大的点记点,纵坐标最小的点记为/>。可以理解,将坐标系的(正负)方向调转后,点q、p、b三点也会对应发生变化。
在确定预设三点q、p、b后,基于预设三点所在的闭合区域边缘,来得到点q、p、b三个点截取的不规则曲线,然后对该不规则曲线进行曲线拟合,得到第一拟合曲线。
103:以预设三点中位于第一拟合曲线中间的点为初始点,基于初始点和非闭合区域的相对位置关系,计算外木纹相关度;
在得到第一拟合曲线后,对应的拟合曲线方程也确定,因而可以计算出第一拟合曲线在预设三点的曲率。根据本申请的实施例,基于初始点和非闭合区域的相对位置关系,计算外木纹相关度,具体为:
基于第一拟合曲线在初始点处的曲率、以及与初始点距离最近的非闭合区域边缘上的、与初始点距离最小的非闭合区域边缘点计算外木纹相关度。
请参阅图3,图3示出了外木纹相关度的计算方法。根据本申请的实施例,基于初始点和非闭合区域的相对位置关系,计算外木纹相关度,具体包括:
310:基于初始点,在预设寻找区域内,寻找预设三方向上的目标点,目标点为预设三方向上与初始点距离最近的非闭合区域边缘点;
根据本申请的实施例,预设三方向可以是平行于坐标系的三个方向。例如可以是y轴正方向、y轴负方向、x轴正方向、x轴负方向中的任意三个方向。
目标点仅有一个,即使在三个方向上均存在了非闭合区域边缘点,但只取与初始点的距离最小的那一个非闭合区域边缘点为目标点。因此,当任意一个方向找到非闭合区域的边缘点后,如果其他方向还未找到非闭合区域的边缘点,即未找到点集P中的点,则可以停止寻找。
举例来说,可以以纵坐标最小的点为初始点,沿着y轴正方向、x轴正方向、x轴负方向,按照预设的步长,寻找最近的非闭合区域的边缘点,即找到点集P中的任意一点。如果在y轴正方向未找到非闭合区域的边缘点,x轴正方向和x轴负方向均找到了非闭合区域的边缘点,但x轴正方向经历5个步长,而x轴负方向经历了8个步长,则x轴正方向找到的非闭合区域的边缘点为目标点。
根据本申请的实施例,由于节子对木纹的影响是有范围的,在影响范围外的木纹则不需要纳入计算范围内,因此,在寻找目标点时,可以在预设范围内寻找目标点。例如定义以初始点为出发点,以预设步长向三个方向寻找预设个步长,以此确定一个寻找区域,在寻找区域内查找到与初始点距离最近的非闭合区域边缘点。如果预设个步长定义的寻找区域内,为找到非闭合区域边缘点,则认为不存在目标点。根据本申请的实施例,预设步长设置为10个像素点。
320:确定目标点与初始点的直线距离,对目标点所在的非闭合区域边缘作曲线拟合,得到第二拟合曲线,并计算第二拟合曲线在目标点处的曲率。
当在其中一个方向找到非闭合区域的边缘点后,则目标点即已确定,对应地,目标点与初始点的直线距离也确定,同时可以确定一目标点所在的非闭合区域的边缘线。对该非闭合区域的边缘线作曲线拟合,得到第二拟合曲线,并基于第二拟合曲线在目标点处的曲率/>
330:以目标点为第二初始点,基于第二初始点寻找第二目标点,并基于第二目标点所在非闭合区域边缘得到新的第二拟合曲线,确定第二目标点与第二初始点的直线距离,计算新的第二拟合曲线在第二目标点处的曲率;
重复执行上述过程,直至三个方向均不能找到目标点或者超出寻找区域的范围,就结束寻找。这样,可以找到多个第二目标点,并得到多个第二拟合曲线,计算多个第二拟合曲线在第二目标点处的曲率、以及多个第二目标点与第二初始点的直线距离d。
340:基于第一拟合曲线在初始点处的曲率、各第二拟合曲线在目标点处的曲率、以及各目标点与初始点的直线距离计算外木纹相关度。
上述目标点包括首个目标点以及第二目标点,初始点包括首个初始点和第二初始点;在第二个目标点之后,各目标点与初始点的直线距离为第二目标点与上一个目标点的直线距离。
在计算外木纹相关度时,首先,计算各第二拟合曲线在目标点处的曲率以及第一拟合曲线在初始点处的曲率,并基于这个曲率差值求和得到曲率差之和。根据本申请的实施例,曲率差之和KC的计算公式如下:
式中,p为找到的目标点的数量;为找到的第i个目标点所在非闭合区域边缘对应的第二拟合曲线在第i个目标点处的曲率;/>为第一拟合曲线在初始点处的曲率。
然后,基于各目标点与初始点的直线距离计算相邻两个直线距离的计算距离比值。根据本申请的实施例,距离比值的计算公式如下:
式中,p为找到的目标点的数量;为第i个目标点与第i-1个目标点的距离。结合前文,第i-1个目标点即为第i个目标点的初始点。
最后,基于曲率差之和和距离比值计算外木纹相关度。
根据本申请的实施例,将曲率差之和和距离比值的乘积的倒数作为外木纹相关度。即外木纹相关度C的计算公式为:
104:基于外木纹相关度确定闭合区域对应的缺陷类型。
在确定外木纹相关度后,就可以根据外木纹相关度来确定当前分析的闭合区域对应的是虫眼还是节子,外木纹相关度越大,说明闭合区域与周围木纹的相关性越大,木纹受到闭合区域的影响也越大,越可能是节子区域;当外木纹相关度越小,说明闭合区域与周围木纹的相关性越小,木纹受到闭合区域的影响越小,越可能是虫眼区域。
具体来说,可以定义一个第一预设阈值,当外木纹相关度大于该第一预设阈值,则闭合区域对应的缺陷为节子,小于该第一预设阈值,则认为闭合区域对应的缺陷为虫眼。
基于上述方法,可通过图像识别,并基于缺陷外部的木纹特征,来识别节子和虫眼,相比于现有的方法,能够较好的区分出节子和虫眼,提高了锯木缺陷的识别确认精度和准确度。
然而,由于虫眼存在随机分布的特征,并且木纹的生长除了受到节子的影响外,还可能会受到锯木过程中的压力影响或是木材原本的生长方向影响,导致虫眼所在区域的木纹也可能存在“波纹”状木纹,因而,如果只基于外木纹相关度进行判断,仍然可能存在错误判断的风险。
请参阅图4,为了避免这种风险,根据本申请的实施例,锯木缺陷位置智能定位方法还包括步骤105-107。
105:基于初始点以及最小外接区域的四个切点中除去预设三点外的点确定第一直线;
如前所述,预设三点为四个切点中的任意三点,初始点为任意三点截取的非闭合曲线中位于中间的点,则四个切点中除去预设三点外,还有一个点,基于该点与初始点,可以确定一直线,得到第一直线。
根据本申请实施例,初始点为预设坐标系中纵坐标最小的点,则四个切点中除去预设三点为预设坐标系中纵坐标最大的点。
106:对闭合区域内进行边缘检测,得到多个第二边缘,取第二边缘与第一直线的交点;
外木纹相关度主要对闭合区域外进行分析,本步骤主要基于闭合区域内的木纹特征来区分节子和虫眼。因此,需要对闭合区域内进行边缘检测,以检测出木纹和其他外部因素导致的类似木纹的线条/边缘。
检测出第二边缘以后,第二边缘上的像素点即已确定,记为点集Z,第一直线上的点的集合记为点集A,则可以得到多个点集Z与点集A的交集
式中,表示第i条第二边缘与第一直线的交点集合;/>表示第i条第二边缘上的点集。
107:基于每条第二边缘与第一直线的交点个数,计算内部木纹回归度;
因为节子内部木纹为类同心圆,虫眼内部木纹为杂乱啃咬状木纹,所以在第一直线上,如果闭合区域对应为节子缺陷,则闭合区域内部的多个第二边缘中,同一边缘与第一直线的交点数量为2个的边缘更多,而如果闭合区域对应为虫眼缺陷,则闭合区域内部的多个第二边缘中,与第一直线的交点数量为2个的第二边缘更少。
基于此,可以先基于第二边缘与第一直线的交点个数是否为2个,得到多个第二边缘对应的交点二维值。交点二维值U只取0或1两个值,当交点个数为2,交点二维值/>的取值为1,当交点个数不为2,交点二维值/>的取值为0。
根据本申请的实施例,先确定各第二边缘的交点二维值U,公式如下:
式中,为第i条第二边缘的交点二维值;/>为第i条第二边缘与第一直线的交点集合中的元素个数;/>为第i条第二边缘与第一直线的交点集合;g为闭合边缘内部边缘数量;
可以理解,一个交点可以对应多个像素点,当多个像素点组成的像素点簇对应一个交点。
然后,对闭合区域内所有第二边缘的交点二维值进行回归度计算,计算内部木纹回归度HD。具体来说,木纹回归度计算公式如下:
其中,HD为木纹回归度;为第i条第二边缘的交点二维值。
108:基于木纹回归度确定闭合区域对应的缺陷类型。
得到木纹回归度后,就可以基于木纹回归度确定闭合区域对应的缺陷类型,木纹回归度越大,说明闭合区域内与第一直线交点个数为2的木纹越多,说明该闭合区域对应的缺陷为节子的可能性越大,木纹回归度越小,说明闭合区域内与第一直线交点个数为2的木纹越少,说明该闭合区域为虫眼的可能性越大。
根据本申请的实施例,还可以综合闭合区域外的外木纹相关度和闭合区域内的木纹回归度来判断闭合区域的缺陷类型。
根据本申请的实施例,基于木纹回归度确定闭合区域对应的缺陷类型,具体为:
基于外木纹相关度和木纹回归度来计算木纹综合相关度,根据木纹综合相关度确定木纹缺陷类型。
外木纹相关度和木纹回归度分别从闭合区域的内侧与外侧进行了木纹比较,木纹回归度(HD)对闭合区域内的木纹分析,外木纹相关度(C)对闭合区域外的木纹分析。根据本申请的实施例,木纹综合相关度的计算公式为:
其中,MC为闭合区域的木纹综合相关度;C为闭合区域的外木纹相关度;HD为闭合区域内部的木纹回归度。
当木纹相关度越大,说明闭合区域内外的木纹与闭合区域的关系越紧密,越可能是节子区域,当木纹相关度越小,说明闭合区域内外的木纹与闭合区域的关心越不紧密,越可能是外来的虫眼。
具体在根据木纹综合相关度确定木纹缺陷类型时,对木纹综合相关度MC进行归一化处理,得到归一值,根据归一值的大小来确定木纹缺陷的类型。
归一化处理之后,木纹相关度MC的值域为[0,1],当木纹综合相关度MC小于等于0.3,该闭合区域对应的缺陷类型为虫眼,当木纹综合相关度 MC大于等于0.7时,该闭合区域对应的缺陷类型为节子;当木纹综合相关度MC值处于范围大于0.3但小于0.7时,该闭合区域对应的缺陷类型为第三缺陷,此时可以通过提供告警等方式提醒人工介入处理。
根据本申请实施例的锯木缺陷位置智能定位方法,通过图像识别出多个闭合区域,对对闭合区域外的外木纹相关度来分析闭合区域对应的缺陷类型。进一步,还可以通过对闭合区域内的木纹回归度来分析闭合区域对应的缺陷类型,以及结合外木纹相关度、木纹回归度来综合确定闭合区域对应的缺陷类型。相比于现有技术,多轮识别的方式大大提高了识别的精度和准确度。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
请参阅图5,本申请还提供一种锯木缺陷位置智能定位系统50,锯木缺陷位置智能定位系统50包括图像获取部件510、检测拟合部件520、外木纹相关度计算部件530和第一缺陷确定部件540,其中:
图像获取部件510,用于获取初始锯木图像,并对图像进行预设处理,得到第一图像;
检测拟合部件520,用于对第一图像进行边缘检测后,根据识别的边缘线确定若干闭合区域和非闭合区域,基于闭合区域上的预设三点作曲线拟合,得到第一拟合曲线;
外木纹相关度计算部件530,用于以预设三点中位于第一拟合曲线中间的点为初始点,基于初始点和非闭合区域的相对位置关系,计算外木纹相关度;
第一缺陷确定部件540,用于基于外木纹相关度确定闭合区域对应的缺陷类型。
在一些实施例中,外木纹相关度计算部件530具体用于对闭合区域作最小外接矩形,基于闭合区域边缘上的预设三点,在闭合区域边缘上截取一段曲线,对该曲线作曲线拟合,得到第一拟合曲线;其中,预设三点为闭合区域边缘与外接矩形的四个切点中的任意三点。
请参阅图6,在一些实施例中,外木纹相关度计算部件530包括目标点寻找组件610、曲率计算组件620和计算执行组件630,其中:
目标点寻找组件610,用于基于初始点,在预设寻找区域内,寻找预设三方向上的目标点,目标点为预设三方向上与初始点距离最近的非闭合区域边缘点;
曲率计算组件620,用于确定目标点与初始点的直线距离,对目标点所在的非闭合区域边缘作曲线拟合,得到第二拟合曲线,并计算第二拟合曲线在目标点处的曲率;以及:
以目标点为第二初始点,基于第二初始点寻找第二目标点,并基于第二目标点所在非闭合区域边缘得到新的第二拟合曲线,确定第二目标点与第二初始点的直线距离,计算新的第二拟合曲线在第二目标点处的曲率;
计算执行组件630,用于基于第一拟合曲线在初始点处的曲率、各第二拟合曲线在目标点处的曲率、以及各目标点与初始点的直线距离计算外木纹相关度。
请参阅图7,在一些实施例中,计算执行组件630包括:
第一计算模块710,用于计算各第二拟合曲线在目标点处的曲率以及第一拟合曲线在初始点处的曲率,并基于这个曲率差值求和得到曲率差之和;
第二计算模块720,用于基于各目标点与初始点的直线距离计算相邻两个直线距离的计算距离比值;
第三计算模块730,用于将曲率差之和和距离比值的乘积的倒数作为外木纹相关度。
请参阅图8,在一个或多个实施例中,锯木缺陷位置智能定位系统50还包括直线辅助部件550、交点确定部件560、木纹回归度计算部件570和第二缺陷确定部件580,其中:
直线辅助部件550,用于基于初始点以及最小外接区域的四个切点中除去预设三点外的点确定第一直线;
交点确定部件560,用于对闭合区域内进行边缘检测,得到多个第二边缘,取第二边缘与第一直线的交点,得到第一点集;
木纹回归度计算部件570,用于基于每条第二边缘与第一直线的交点个数,计算内部木纹回归度;
第二缺陷确定部件580,用于基于木纹回归度确定闭合区域对应的缺陷类型。
在一个或多个实施例中,第二缺陷确定部件580,用于基于外木纹相关度和木纹回归度来计算木纹综合相关度,根据木纹综合相关度确定木纹缺陷类型。
本申请一实施例还提供一种机器可读存储介质,其上存储有计算机程序,其中所述计算机程序在由处理器执行时实现上述任一实施例所述的方法。
所述系统/计算机装置集成的部件/模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施方式方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,所述计算机程序在被处理器执行时,可实现上述各个方法实施方式的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
本申请还提供一种计算机设备,包括:处理器;存储器,用于存储所述处理器的可执行指令;其中,所述处理器被配置为经由执行所述可执行指令来执行上述任一实施例所述的方法。
在本申请所提供的几个具体实施方式中,应该理解到,所揭露的系统和方法,可以通过其它的方式实现。例如,以上所描述的系统实施方式仅仅是示意性的,例如,所述部件的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
另外,在本申请各个实施例中的各功能模块/部件可以集成在相同处理模块/部件中,也可以是各个模块/部件单独物理存在,也可以两个或两个以上模块/部件集成在相同模块/部件中。上述集成的模块/部件既可以采用硬件的形式实现,也可以采用硬件加软件功能模块/部件的形式实现。
对于本领域技术人员而言,显然本申请实施例不限于上述示范性实施例的细节,而且在不背离本申请实施例的精神或基本特征的情况下,能够以其他的具体形式实现本申请实施例。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请实施例的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请实施例内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统、装置或终端权利要求中陈述的多个单元、模块或装置也可以由同一个单元、模块或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种锯木缺陷位置智能定位方法,应用于锯木缺陷位置智能定位系统,其特征在于,包括:
获取初始锯木图像,并对图像进行预设处理,得到第一图像;
对第一图像进行边缘检测后,根据识别的边缘线确定若干闭合区域和非闭合区域,基于闭合区域上的预设三点作曲线拟合,得到第一拟合曲线;
以预设三点中位于第一拟合曲线中间的点为初始点,基于初始点和非闭合区域的相对位置关系,计算外木纹相关度;
基于外木纹相关度确定闭合区域对应的缺陷类型。
2.根据权利要求1所述的一种锯木缺陷位置智能定位方法,其特征在于,所述基于闭合区域上的预设三点作曲线拟合,得到第一拟合曲线,具体为:
对闭合区域作最小外接矩形,基于闭合区域边缘上的预设三点,在闭合区域边缘上截取一段曲线,对该曲线作曲线拟合,得到第一拟合曲线;其中,预设三点为闭合区域边缘与外接矩形的四个切点中的任意三点。
3.根据权利要求2所述的一种锯木缺陷位置智能定位方法,其特征在于,所述基于初始点和非闭合区域的相对位置关系,计算外木纹相关度,具体为:
基于第一拟合曲线在初始点处的曲率、以及与初始点距离最近的非闭合区域边缘上的、与初始点距离最小的非闭合区域边缘点计算外木纹相关度。
4.根据权利要求2所述的一种锯木缺陷位置智能定位方法,其特征在于,所述基于初始点和非闭合区域的相对位置关系,计算外木纹相关度,具体包括:
基于初始点,在预设寻找区域内,寻找预设三方向上的目标点,目标点为预设三方向上与初始点距离最近的非闭合区域边缘点;
确定目标点与初始点的直线距离,对目标点所在的非闭合区域边缘作曲线拟合,得到第二拟合曲线,并计算第二拟合曲线在目标点处的曲率;
以目标点为第二初始点,基于第二初始点寻找第二目标点,并基于第二目标点所在非闭合区域边缘得到新的第二拟合曲线,确定第二目标点与第二初始点的直线距离,计算新的第二拟合曲线在第二目标点处的曲率;
基于第一拟合曲线在初始点处的曲率、各第二拟合曲线在目标点处的曲率、以及各目标点与初始点的直线距离计算外木纹相关度。
5.根据权利要求4所述的一种锯木缺陷位置智能定位方法,其特征在于,所述基于第一拟合曲线在初始点处的曲率、各第二拟合曲线在目标点处的曲率、以及各目标点与初始点的直线距离计算外木纹相关度,具体包括:
计算各第二拟合曲线在目标点处的曲率以及第一拟合曲线在初始点处的曲率,并基于这个曲率差值求和得到曲率差之和;
基于各目标点与初始点的直线距离计算相邻两个直线距离的计算距离比值;
将曲率差之和和距离比值的乘积的倒数作为外木纹相关度。
6.根据权利要求1-5任一项所述的一种锯木缺陷位置智能定位方法,其特征在于,还包括:
基于初始点以及最小外接区域的四个切点中除去预设三点外的点确定第一直线;
对闭合区域内进行边缘检测,得到多个第二边缘,取第二边缘与第一直线的交点;
基于每条第二边缘与第一直线的交点个数,计算内部木纹回归度;
基于木纹回归度确定闭合区域对应的缺陷类型。
7.根据权利要求6所述的一种锯木缺陷位置智能定位方法,其特征在于,所述基于每条第二边缘与第一直线的交点个数,计算内部木纹回归度,具体包括:
基于第二边缘与第一直线的交点个数是否为2个,得到多个第二边缘对应的交点二维值,交点二维值只取0或1两个值;
对闭合区域内所有第二边缘的交点二维值进行回归,计算内部木纹回归度HD。
8.根据权利要求6所述的一种锯木缺陷位置智能定位方法,其特征在于,所述基于木纹回归度确定闭合区域对应的缺陷类型,具体为:
基于外木纹相关度和木纹回归度来计算木纹综合相关度,根据木纹综合相关度确定木纹缺陷类型。
9.根据权利要求8所述的一种锯木缺陷位置智能定位方法,其特征在于,所述根据木纹综合相关度确定木纹缺陷类型,具体为:
当木纹综合相关度MC小于等于0.3,该闭合区域对应的缺陷类型为虫眼;
当木纹综合相关度 MC大于等于0.7时,该闭合区域对应的缺陷类型为节子;
当木纹综合相关度MC值处于范围大于0.3但小于0.7时,该闭合区域对应的缺陷类型为第三缺陷。
10.一种锯木缺陷位置智能定位系统,其特征在于,包括:图像获取部件、检测拟合部件、外木纹相关度计算部件、缺陷确定部件、直线辅助部件、交点确定部件、木纹回归度计算部件和第二缺陷确定部件,其中:
图像获取部件,用于获取初始锯木图像,并对图像进行预设处理,得到第一图像;
检测拟合部件,用于对第一图像进行边缘检测后,根据识别的边缘线确定若干闭合区域和非闭合区域,基于闭合区域上的预设三点作曲线拟合,得到第一拟合曲线;
外木纹相关度计算部件,用于以预设三点中位于第一拟合曲线中间的点为初始点,基于初始点和非闭合区域的相对位置关系,计算外木纹相关度;
第一缺陷确定部件,用于基于外木纹相关度确定闭合区域对应的缺陷类型;
直线辅助部件,用于基于初始点以及最小外接区域的四个切点中除去预设三点外的点确定第一直线;
交点确定部件,用于对闭合区域内进行边缘检测,得到多个第二边缘,取第二边缘与第一直线的交点,得到第一点集;
木纹回归度计算部件,用于基于每条第二边缘与第一直线的交点个数,计算内部木纹回归度;
第二缺陷确定部件,用于基于木纹回归度确定闭合区域对应的缺陷类型。
CN202310986555.7A 2023-08-08 2023-08-08 一种锯木缺陷位置智能定位方法及系统 Active CN116703922B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310986555.7A CN116703922B (zh) 2023-08-08 2023-08-08 一种锯木缺陷位置智能定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310986555.7A CN116703922B (zh) 2023-08-08 2023-08-08 一种锯木缺陷位置智能定位方法及系统

Publications (2)

Publication Number Publication Date
CN116703922A true CN116703922A (zh) 2023-09-05
CN116703922B CN116703922B (zh) 2023-10-13

Family

ID=87837898

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310986555.7A Active CN116703922B (zh) 2023-08-08 2023-08-08 一种锯木缺陷位置智能定位方法及系统

Country Status (1)

Country Link
CN (1) CN116703922B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004272734A (ja) * 2003-03-11 2004-09-30 Mitsubishi Electric Corp 画像処理方法
KR20080060851A (ko) * 2006-12-27 2008-07-02 이형우 목재표면의 결함검출방법
CN108496203A (zh) * 2017-07-17 2018-09-04 深圳市大疆创新科技有限公司 一种对图像的处理方法及装置、智能终端
CN108537153A (zh) * 2018-03-27 2018-09-14 华南农业大学 一种基于椭圆拟合的原木板材孔洞缺陷检测与定位方法
CN109658381A (zh) * 2018-11-16 2019-04-19 华南理工大学 一种基于超像素的柔性ic封装基板的铜面缺陷检测方法
US20190227049A1 (en) * 2017-03-13 2019-07-25 Lucidyne Technologies, Inc. Method of board lumber grading using deep learning techniques
CN110163853A (zh) * 2019-05-14 2019-08-23 广东奥普特科技股份有限公司 一种边缘缺陷的检测方法
CN113592854A (zh) * 2021-08-16 2021-11-02 沭阳县飞凡木制品厂 基于深度学习的木材优选锯视觉检测方法
CN113658133A (zh) * 2021-08-16 2021-11-16 江苏鑫丰源机电有限公司 一种基于图像处理的齿轮表面缺陷检测方法及系统
CN113689429A (zh) * 2021-10-26 2021-11-23 南通恒祥木业有限公司 一种基于计算机视觉的木板缺陷检测方法
WO2022027949A1 (zh) * 2020-08-04 2022-02-10 湖南大学 一种基于机器视觉的玻璃瓶底缺陷检测方法及系统
CN216941078U (zh) * 2021-06-25 2022-07-12 青岛华宝伟数控科技有限公司 一种木工带锯机门体延时机构
WO2022199472A1 (zh) * 2021-03-23 2022-09-29 长沙智能驾驶研究院有限公司 障碍物检测方法、车辆、设备及计算机存储介质
CN115294144A (zh) * 2022-10-10 2022-11-04 雷戈锘智能家居(南通)有限公司 一种家具复合板表面缺陷识别方法
EP4195142A1 (en) * 2021-12-08 2023-06-14 Fordaq International S.r.l. System for detecting the defects of the wooden boards and their classification into quality classes

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004272734A (ja) * 2003-03-11 2004-09-30 Mitsubishi Electric Corp 画像処理方法
KR20080060851A (ko) * 2006-12-27 2008-07-02 이형우 목재표면의 결함검출방법
US20190227049A1 (en) * 2017-03-13 2019-07-25 Lucidyne Technologies, Inc. Method of board lumber grading using deep learning techniques
CN108496203A (zh) * 2017-07-17 2018-09-04 深圳市大疆创新科技有限公司 一种对图像的处理方法及装置、智能终端
CN108537153A (zh) * 2018-03-27 2018-09-14 华南农业大学 一种基于椭圆拟合的原木板材孔洞缺陷检测与定位方法
CN109658381A (zh) * 2018-11-16 2019-04-19 华南理工大学 一种基于超像素的柔性ic封装基板的铜面缺陷检测方法
CN110163853A (zh) * 2019-05-14 2019-08-23 广东奥普特科技股份有限公司 一种边缘缺陷的检测方法
WO2022027949A1 (zh) * 2020-08-04 2022-02-10 湖南大学 一种基于机器视觉的玻璃瓶底缺陷检测方法及系统
WO2022199472A1 (zh) * 2021-03-23 2022-09-29 长沙智能驾驶研究院有限公司 障碍物检测方法、车辆、设备及计算机存储介质
CN216941078U (zh) * 2021-06-25 2022-07-12 青岛华宝伟数控科技有限公司 一种木工带锯机门体延时机构
CN113592854A (zh) * 2021-08-16 2021-11-02 沭阳县飞凡木制品厂 基于深度学习的木材优选锯视觉检测方法
CN113658133A (zh) * 2021-08-16 2021-11-16 江苏鑫丰源机电有限公司 一种基于图像处理的齿轮表面缺陷检测方法及系统
CN113689429A (zh) * 2021-10-26 2021-11-23 南通恒祥木业有限公司 一种基于计算机视觉的木板缺陷检测方法
EP4195142A1 (en) * 2021-12-08 2023-06-14 Fordaq International S.r.l. System for detecting the defects of the wooden boards and their classification into quality classes
CN115294144A (zh) * 2022-10-10 2022-11-04 雷戈锘智能家居(南通)有限公司 一种家具复合板表面缺陷识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
宋小燕;白福忠;武建新;陈晓东;张铁英;: "应用灰度直方图特征识别木材表面节子缺陷", 激光与光电子学进展, no. 03, pages 205 - 210 *
白雪冰;李润佳;许景涛;宋恩来;: "基于图割算法的木材表面缺陷图像分割", 林业工程学报, no. 02, pages 122 - 128 *
白雪冰;王林;: "基于空频变换的木材缺陷图像分割", 东北林业大学学报, no. 08, pages 73 - 76 *

Also Published As

Publication number Publication date
CN116703922B (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
CN111815630B (zh) 一种用于lcd屏幕的缺陷检测方法、装置
US11580647B1 (en) Global and local binary pattern image crack segmentation method based on robot vision
CN110148130B (zh) 用于检测零件缺陷的方法和装置
CN115239704B (zh) 一种木材表面缺陷的精准检测修复方法
EP1678659B1 (en) Method and image processing device for analyzing an object contour image, method and image processing device for detecting an object, industrial vision apparatus, smart camera, image display, security system, and computer program product
CN115063409B (zh) 一种机械刀具表面材质检测方法及系统
CN111598827A (zh) 外观瑕疵检测方法、电子装置及存储介质
CN111275659B (zh) 一种焊缝图像处理方法、装置、终端设备及存储介质
CN117689655B (zh) 基于计算机视觉的金属钮扣表面缺陷检测方法
CN110807354B (zh) 一种工业流水线产品计数方法
CN117314901B (zh) 一种尺度自适应的芯片检测神经网络系统
CN110992323A (zh) 一种基于图像处理的钢带检测方法、装置及卡钢检测方法
CN116703922B (zh) 一种锯木缺陷位置智能定位方法及系统
CN116309561B (zh) 一种基于防漏电绝缘材料的表面缺陷识别方法
CN111369497B (zh) 一种行走式树上果实连续计数方法及装置
CN112749735A (zh) 基于深度学习的转炉出钢钢流识别方法、系统、介质及终端
TW201601119A (zh) 物件辨識與定位方法
CN112991327B (zh) 基于机器视觉的钢格网焊接系统、方法和终端设备
CN116258703A (zh) 缺陷检测方法、装置、电子设备及计算机可读存储介质
CN112541471B (zh) 一种基于多特征融合的遮挡目标识别方法
CN115587993A (zh) 一种基于ai与机器视觉算法的口罩焊点缺陷检测方法
CN113379639A (zh) 一种复杂环境中红外目标抗干扰检测跟踪方法
CN116740057B (zh) 一种圆柱形工件毛刺在线检测方法及系统
CN117437237B (zh) U型管的缺陷检测方法、装置、电子设备及存储介质
CN117611589B (zh) 一种平板电脑质量检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant