CN104867146A - 玉米育种切片特征区的定位切片方法 - Google Patents
玉米育种切片特征区的定位切片方法 Download PDFInfo
- Publication number
- CN104867146A CN104867146A CN201510252360.5A CN201510252360A CN104867146A CN 104867146 A CN104867146 A CN 104867146A CN 201510252360 A CN201510252360 A CN 201510252360A CN 104867146 A CN104867146 A CN 104867146A
- Authority
- CN
- China
- Prior art keywords
- iblet
- large end
- point
- cluster
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07B—SEPARATING SOLIDS FROM SOLIDS BY SIEVING, SCREENING, SIFTING OR BY USING GAS CURRENTS; SEPARATING BY OTHER DRY METHODS APPLICABLE TO BULK MATERIAL, e.g. LOOSE ARTICLES FIT TO BE HANDLED LIKE BULK MATERIAL
- B07B1/00—Sieving, screening, sifting, or sorting solid materials using networks, gratings, grids, or the like
- B07B1/28—Moving screens not otherwise provided for, e.g. swinging, reciprocating, rocking, tilting or wobbling screens
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B26—HAND CUTTING TOOLS; CUTTING; SEVERING
- B26D—CUTTING; DETAILS COMMON TO MACHINES FOR PERFORATING, PUNCHING, CUTTING-OUT, STAMPING-OUT OR SEVERING
- B26D7/00—Details of apparatus for cutting, cutting-out, stamping-out, punching, perforating, or severing by means other than cutting
- B26D7/01—Means for holding or positioning work
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Forests & Forestry (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
玉米育种切片特征区的定位切片方法,主要包括以下几个过程:1、利用震动给料器将玉米粒单粒分开,采集单粒玉米种子正上方向像,进行图像分割处理。2、确定玉米粒形心位置。3、计算玉米粒正上方向图像尖端、大端外凸角标记点位置。4、计算玉米粒的长轴方向。5、计算玉米粒大端外凸圆角部分的切割线位置。本发明与现有技术相比,采用较简单设备,依据直观的计算原理,快速准确地定位玉米粒尖端顶点的位置,确定玉米粒的长轴方向、大端的2个外凸圆角切割线位置,定位速度快,精度高。
Description
技术领域
本发明属于农业育种技术领域,尤其涉及一种定位精度要求较高的自动切片、分拣玉米种子的视觉定位方法。
背景技术
现代玉米育种常常采用分子标记辅助育种技术,该技术需要从每粒种子的大端外角切取少许胚乳,剩余部分含有完整的胚芽,将这二部分一一对应,分别用于育种分析和种植。在实际操作中大多采用人工方法获得切片,为实现自动化切取玉米胚乳薄片,使机械手准确操作不同形状、尺寸、位置的玉米粒,需要精确定位玉米粒的尖端和大端外凸角的位置。研究基于计算机视觉的玉米粒特征区定位方法,具有较高的应用价值。
玉米粒的尖端部分是它显著的特征,找到玉米的尖端有助于迅速地进行玉米粒的定位。以往有研究玉米的尖端角点定位。宁纪锋等(2004)利用图像处理技术对玉米籽粒的胚部尖端进行识别,其原理是利用胚部具有尖顶的特性,然后通过求取种子一周上曲率最大的点来进行判断的。杨蜀秦等(2011)采用Harris算子对玉米粒等多种作物的种子的尖端进行了检测,综合识别率为95.6%。从20世纪70年代至今,许多学者对图像的角点检测进行了大量的研究,这些方法主要分为两类:基于图像边缘的检测方法和基于图像灰度的检测方法。前者往往需要对图像边缘进行编码,这在很大程度上依赖于图像的分割和边缘提取,具有较大的计算量,且一旦待检测目标局部发生变化,很可能导致操作失败。基于图像灰度的方法通过计算点的曲率及梯度来检测角点,避免了第一类方法的缺陷,是目前研究的重点。此类方法主要有Moravec算子、Harris算子、SUSAN算子等。但第二类方法在求取角点的曲率及梯度时,会耗费大量的计算工作量,运算时间相对较长,不适应生产自动化实时性的需要。用角点检测方法检测单粒玉米种子,常常会得到很多不必要的角点。对于找到玉米粒大端外凸圆角位置,角点检测方法往往无能为力。
发明内容
本发明的目的,是提供一种玉米育种切片特征区的定位切片方法,定位速度快、定位精度高。
采用的技术方案是:
玉米育种切片特征区的定位切片方法,主要包括以下过程:
选用的设备包括螺旋振动给料筛选装置,玉米粒切片机,摄像机和计算机。
通过螺旋给料筛选装置的振动筛将玉米粒定向、单粒分开,同时筛除大端粗、圆的玉米粒。通过震动盘滑道输送的玉米粒,能以尖端向前或者向后的姿态到达待切割料平台中,但玉米种子个体形状、大小存在差异,玉米粒特征区的精确定位,还需要借助计算机视觉手段。
玉米粒尖端和大端外角比其它部位曲率大,特征显著,饱满的玉米种子大端部分的外轮廓往往是外凸曲线,而在尖端与大端连接的曲线,存在一小段轮廓线是内凹曲线,玉米种子外轮廓曲线形状是近似轴对称的,如图1所示。本发明通过测量面积、以较小面积对应的像素坐标域作为操作对象,确定玉米种子的长轴方向和激光刀在玉米粒大端外凸圆角切割线的位置。
定义圆形掩模模板,通过遍历玉米种子区域内的所有像素点,找到玉米粒区域在掩模内面积较小(一般为圆形掩模面积的0.35~0.5之间)的掩模中心所在位置,构成K-均值聚类的操作域。通过两次调用2-均值聚类方法,确定玉米粒的尖端和大端的聚类中心,记为粗略标记位置。由聚类操作域生成待贴标签的标签矩阵,然后对待贴标签矩阵进行贴标签操作。分别计算与粗略标记最近的标签域分区内像素点位置的均值,作为标记精确值,得到尖端标记和大端2个凸角的标记。通过形心计算公式,找到玉米粒的形心位置,连接尖端标记和形心的连线,从而确定玉米粒的长轴方向以及机械手夹持玉米粒方向。依据尖端标记、大端2个凸角标记这3点位置,生成大端外凸圆角的切割线位置。本发明为玉米粒切片自动化设备提供一种快速自动定位方法。
本发明的玉米育种切片特征区定位切片方法,包括下述具体步骤:
1)、选用的设备,包括一台螺旋振动给料筛选装置、玉米粒切片机和计算机,均为已知设备;
在切片机的待切割料平台的正上方安装摄像机;
2)、通过上述振动筛将玉米粒定向、单粒分开,同时筛除大端粗、圆的玉米粒;
通过设置在待切割料平台的正上方的摄像机,采集单粒玉米种子图像,输入计算机进行图像处理,将RGB图像变换为二值图像,分割为目标区域和背景区域;
3)、通过计算机计算正上方图像目标区域面积,采用的公式为:
,其中,为像素灰度值,(x,y)为图像像素坐标,s为目标区域像素集合。计算目标区域面积内的形心位置坐标, ,;
设定圆形掩模尺寸为,其中,其取值为自然数,d为调整系数且,int( )是取整函数;
4)、使掩模中心与待检测目标像素点重合,用掩模覆盖图像目标区域内像素,计算掩模内覆盖目标区域面积大小;
5)、遍历单个玉米粒图像目标区域内的所有像素,重复步骤四;
6)、在图像目标区域中,选择不超过圆模板面积倍的较小面积所对应的像素作为目标,其中,构成待聚类操作的数据区域,其中掩模覆盖面积最小的所对应的像素点位置,即为玉米粒的尖端顶点,将该点作为第一次2-均值聚类的一个初始聚类中心,该点也是玉米粒长度方向的最外顶点,作为机械手夹持玉米粒的定位参考点;同时,依据“待聚类区域内的点置1,非待聚类区域内的点置0”的原则生成待贴标签矩阵;
7)、以玉米粒尖端顶点和聚类操作域中距离尖端顶点最远的点,作为第一次2-均值聚类的两个初始聚类中心,进行2-均值聚类,将玉米目标区域分为大端和尖端两类。其中聚类中心接近尖端顶点位置的一类为尖端类,另一个类为大端类,得到的2个类内中心,分别记为尖端和大端的粗定位标记;
8)、在大端类中,随机选择大端类数据中距离较远的2个点,作为2个初始聚类中心,进行第二次2-均值聚类,得到大端外凸圆角的两个类及其相应的聚类中心,该聚类中心记为大端外凸圆角粗定位标记;
9)、对待贴标签矩阵进行贴标签,找到距离尖端和大端外凸圆角的3个粗定位标记最近的标签,标签内像素坐标位置求均值,得到三个聚类中心,则分别记为尖端精定位标记O1、大端的2个外凸圆角的精定位标记O2和O3;
10)、连接尖端精定位标记O1与形心位置的连线,即为玉米粒的长轴方向;
11)、由三个精定位标记点O1、O2和O3可组成三角形,在O2点和O3点附近,求其邻边上的插值点Pij,,由此可确定两对插值点。其中,i={2,3},j={1,2,3}且,是边的向量,比例系数,其取值大小决定切割线距离边缘的宽度,值越小则距离边缘越近。同一标记附近的两插值点进行连线,分别连接,连接就得到相应的2条切割线;
12)、玉米切片机的机械手对单粒玉米粒按其中任一切割线定位,如,或,并进行激光切片,即得。
本发明的优点:
采用较简单设备,依据直观的计算原理,快速准确地定位玉米粒尖端顶点的位置,确定玉米粒的长轴方向、大端的2个外凸圆角切割线位置,运算结果可以精确到亚像素级别,且定位速度快、精度高,值越小则距离边缘越近。同一标记位置附近的两插值点进行连线,分别连接,连接就得到相应的切割线,从而提高了玉米种子切片速度和质量,提高育种效率。
附图说明
图1是玉米粒的几何参数示意图。
玉米粒形状、大小特征包括尖端位置、长轴、短轴、周长、面积、形心、轮廓、大端、大端的外凸圆角等。
图2是普通相机采集的单个玉米粒的正上方向RGB图像。
图3是玉米粒图像的切割线位置和长轴方向定位。
图4是技术方案流程图。
图5是螺旋振动给料器。
具体实施方式
一种玉米育种切片特征区的定位切片方法,包括下述步骤:
一、选用的设备,包括一台螺旋振动给料筛选装置、玉米粒切片机和计算机,均为已知设备;
在切片机的待切割料平台的正上方安装摄像机;
二、通过上述振动筛将玉米粒定向、单粒分开,同时筛除大端粗、圆的玉米粒;
通过设置在待切割料平台的正上方的摄像机,采集单粒玉米种子图像,输入计算机进行图像处理,将RGB图像变换为二值图像,分割为目标区域和背景区域;
三、通过计算机计算上方图像目标区域面积,采用的公式为:
,其中,为像素灰度值,(x,y)为图像像素坐标,s为目标区域像素集合。计算目标区域面积内的形心位置坐标, ,;
设定圆形掩模尺寸为,其中,其取值为自然数,d为调整系数且,int( )是取整函数;
四、使掩模中心与待检测目标像素点重合,用掩模覆盖图像目标区域内像素,计算掩模内覆盖目标区域面积大小;
五、遍历单个玉米粒图像目标区域内的所有像素,重复步骤四;
六、在图像目标区域中,选择不超过圆模板面积倍的较小面积所对应的像素作为目标,其中,构成待聚类操作的数据区域,其中掩模覆盖面积最小的所对应的像素点位置,即为玉米粒的尖端顶点,将该点作为第一次2-均值聚类的一个初始聚类中心,该点也是玉米粒长度方向的最外顶点,作为机械手夹持玉米粒的定位参考点;同时,依据“待聚类区域内的点置1,非待聚类区域内的点置0”的原则生成待贴标签矩阵;
七、以玉米粒尖端顶点和聚类操作域中距离尖端顶点最远的点,作为第一次2-均值聚类的两个初始聚类中心,进行2-均值聚类,将玉米目标区域分为大端和尖端两类。其中聚类中心接近尖端顶点位置的一类为尖端类,另一个类为大端类,得到的2个类内中心,分别记为尖端和大端的粗定位标记;
八、在大端类中,随机选择大端类数据中距离较远的2个点,作为2个初始聚类中心,进行第二次2-均值聚类,得到大端外凸圆角的两个类及其相应的聚类中心,该聚类中心记为大端外凸圆角粗定位标记;
九、对待贴标签矩阵进行贴标签,找到距离尖端和大端外凸圆角的3个粗定位标记最近的标签,标签内像素坐标位置求均值,得到三个聚类中心,则分别记为尖端精定位标记O1、大端的2个外凸圆角的精定位标记O2和O3;
十、连接尖端精定位标记O1与形心位置的连线,即为玉米粒的长轴方向;
十一、由三个精定位标记点O1、O2和O3可组成三角形,在O2点和O3点附近,求其邻边上的插值点Pij,,由此可确定两对插值点。其中,i={2,3},j={1,2,3}且,是边的向量,比例系数,其取值大小决定切割线距离边缘的宽度,值越小则距离边缘越近。同一标记附近的两插值点进行连线,分别连接,连接就得到相应的2条切割线;
十二、玉米切片机的机械手对单粒玉米粒按其中任一切割线定位,如,或,并进行激光切片,即得。
Claims (1)
1.一种玉米育种切片特征区的定位切片方法,其特征在于包括下述步骤:
一、选用的设备,包括一台螺旋振动给料筛选装置、玉米粒切片机和计算机,均为已知设备;
在切片机的待切割料平台的正上方安装摄像机;
二、通过上述振动筛将玉米粒定向、单粒分开,同时筛除大端粗、圆的玉米粒;
通过设置在待切割料平台的正上方的摄像机,采集单粒玉米种子图像,输入计算机进行图像处理,将RGB图像变换为二值图像,分割为目标区域和背景区域;
三、通过计算机计算上方图像目标区域面积,采用的公式为:
,其中,为像素灰度值,(x,y)为图像像素坐标,s为目标区域像素集合,计算目标区域面积内的形心位置坐标, ,;
设定圆形掩模尺寸为,其中,其取值为自然数,d为调整系数且,int( )是取整函数;
四、使掩模中心与待检测目标像素点重合,用掩模覆盖图像目标区域内像素,计算掩模内覆盖目标区域面积大小;
五、遍历单个玉米粒图像目标区域内的所有像素,重复步骤四;
六、在图像目标区域中,选择不超过圆模板面积倍的较小面积所对应的像素作为目标,其中,构成待聚类操作的数据区域,其中掩模覆盖面积最小的所对应的像素点位置,即为玉米粒的尖端顶点,将该点作为第一次2-均值聚类的一个初始聚类中心,该点也是玉米粒长度方向的最外顶点,作为机械手夹持玉米粒的定位参考点;同时,依据“待聚类区域内的点置1,非待聚类区域内的点置0”的原则生成待贴标签矩阵;
七、以玉米粒尖端顶点和聚类操作域中距离尖端顶点最远的点,作为第一次2-均值聚类的两个初始聚类中心,进行2-均值聚类,将玉米目标区域分为大端和尖端两类,其中聚类中心接近尖端顶点位置的一类为尖端类,另一个类为大端类,得到的2个类内中心,分别记为尖端和大端的粗定位标记;
八、在大端类中,随机选择大端类数据中距离较远的2个点,作为2个初始聚类中心,进行第二次2-均值聚类,得到大端外凸圆角的两个类及其相应的聚类中心,该聚类中心记为大端外凸圆角粗定位标记;
九、对待贴标签矩阵进行贴标签,找到距离尖端和大端外凸圆角的3个粗定位标记最近的标签,标签内像素坐标位置求均值,得到三个聚类中心,则分别记为尖端精定位标记O1、大端的2个外凸圆角的精定位标记O2和O3;
十、连接尖端精定位标记O1与形心位置的连线,即为玉米粒的长轴方向;
十一、由三个精定位标记点O1、O2和O3可组成三角形,在O2点和O3点附近,求其邻边上的插值点Pij,,由此可确定两对插值点,其中,i={2,3},j={1,2,3}且,是边的向量,比例系数,其取值大小决定切割线距离边缘的宽度,值越小则距离边缘越近,同一标记附近的两插值点进行连线,分别连接,连接就得到相应的2条切割线;
十二、玉米切片机的机械手对单粒玉米粒按其中任一切割线定位,如,或,并进行激光切片,即得。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510252360.5A CN104867146B (zh) | 2015-05-19 | 2015-05-19 | 玉米育种切片特征区的定位切片方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510252360.5A CN104867146B (zh) | 2015-05-19 | 2015-05-19 | 玉米育种切片特征区的定位切片方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104867146A true CN104867146A (zh) | 2015-08-26 |
CN104867146B CN104867146B (zh) | 2017-05-10 |
Family
ID=53912961
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510252360.5A Expired - Fee Related CN104867146B (zh) | 2015-05-19 | 2015-05-19 | 玉米育种切片特征区的定位切片方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104867146B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107993244A (zh) * | 2017-12-27 | 2018-05-04 | 合肥市雅视智能科技有限公司 | 一种玉米自动检测方法 |
CN108596939A (zh) * | 2018-03-23 | 2018-09-28 | 沈阳理工大学 | 一种玉米种子特征区切割定位方法 |
CN114937077A (zh) * | 2022-04-22 | 2022-08-23 | 南通荣华包装材料有限公司 | 一种花生种子筛选方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101701916A (zh) * | 2009-12-01 | 2010-05-05 | 中国农业大学 | 一种玉米品种快速鉴定、鉴别方法 |
CN103914853A (zh) * | 2014-03-19 | 2014-07-09 | 华南理工大学 | 多车辆跟踪时目标粘连和分裂情况的处理方法 |
-
2015
- 2015-05-19 CN CN201510252360.5A patent/CN104867146B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101701916A (zh) * | 2009-12-01 | 2010-05-05 | 中国农业大学 | 一种玉米品种快速鉴定、鉴别方法 |
CN103914853A (zh) * | 2014-03-19 | 2014-07-09 | 华南理工大学 | 多车辆跟踪时目标粘连和分裂情况的处理方法 |
Non-Patent Citations (6)
Title |
---|
B. NI等: "《CORN KERNEL CROWN SHAPE IDENTIFICATION USING IMAGE PROCESSING》", 《TRANSACTIONS OF ASAE》 * |
史中辉等: "《基于图像处理的玉米种子特征参数提取系统》", 《农机化研究》 * |
宁纪锋等: "《玉米籽粒的尖端和胚部的计算机视觉识别》", 《农业工程学报》 * |
宋韬等: "《基于人工神经网络的玉米籽粒形态识别方法的研究》", 《农业工程学报》 * |
张俊雄等: "《基于形态特征的玉米种子表面裂纹检测方法》", 《光学精密工程》 * |
王玉亮等: "《多对象特征提取和优化神经网络的玉米种子品种识别》", 《农业工程学报》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107993244A (zh) * | 2017-12-27 | 2018-05-04 | 合肥市雅视智能科技有限公司 | 一种玉米自动检测方法 |
CN108596939A (zh) * | 2018-03-23 | 2018-09-28 | 沈阳理工大学 | 一种玉米种子特征区切割定位方法 |
CN108596939B (zh) * | 2018-03-23 | 2021-09-14 | 沈阳理工大学 | 一种玉米种子特征区切割定位方法 |
CN114937077A (zh) * | 2022-04-22 | 2022-08-23 | 南通荣华包装材料有限公司 | 一种花生种子筛选方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104867146B (zh) | 2017-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111062915B (zh) | 一种基于改进YOLOv3模型的实时钢管缺陷检测方法 | |
US10747999B2 (en) | Methods and systems for pattern characteristic detection | |
CN105069799B (zh) | 一种角点定位方法及装置 | |
CN104658015B (zh) | 玉米育种激光自动切片的视觉定位方法 | |
CN103913131B (zh) | 一种基于双目视觉的自由曲面法矢量测量方法 | |
CN113012150A (zh) | 一种特征融合的高密度稻田无人机图像稻穗计数方法 | |
CN103093456B (zh) | 基于图像的玉米果穗性状指标计算方法 | |
CN107239780A (zh) | 一种多特征融合的图像匹配方法 | |
CN104867146A (zh) | 玉米育种切片特征区的定位切片方法 | |
CN105225225B (zh) | 一种基于机器视觉的皮革自动划线方法和装置 | |
CN114066842A (zh) | 穗头数统计方法、系统、装置及存储介质 | |
RU2019114132A (ru) | Прогнозирование урожайности зернового поля | |
CN117115196B (zh) | 一种切割机刀具磨损视觉检测方法及系统 | |
CN110969654A (zh) | 基于收割机的玉米高通量表型测量的方法及装置、收割机 | |
CN104819690B (zh) | 一种表面贴装元件的双相机机器视觉定位方法 | |
CN108876903B (zh) | 一种基于玉米雄穗三维表型的玉米品种区分方法及系统 | |
Montes et al. | Real-time detection of broccoli crops in 3D point clouds for autonomous robotic harvesting | |
CN106446306A (zh) | 一种基于高斯球聚类的机械零件逆向工程建模方法 | |
CN108682000B (zh) | 基于Kinect视频的猪体长体宽检测方法 | |
CN112991327B (zh) | 基于机器视觉的钢格网焊接系统、方法和终端设备 | |
CN111369497B (zh) | 一种行走式树上果实连续计数方法及装置 | |
CN113807128B (zh) | 一种缺苗标记方法、装置、计算机设备和存储介质 | |
CN106023235A (zh) | 一种农作物有效籽粒个数测量的方法 | |
CN108734054B (zh) | 无遮挡的柑橘果实图像识别方法 | |
CN109377482A (zh) | 一种基于点云数据的轮胎胎角性质检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170510 Termination date: 20200519 |
|
CF01 | Termination of patent right due to non-payment of annual fee |