CN105717133B - 基于线性插值法矫正图像的自动验布机 - Google Patents

基于线性插值法矫正图像的自动验布机 Download PDF

Info

Publication number
CN105717133B
CN105717133B CN201610080741.4A CN201610080741A CN105717133B CN 105717133 B CN105717133 B CN 105717133B CN 201610080741 A CN201610080741 A CN 201610080741A CN 105717133 B CN105717133 B CN 105717133B
Authority
CN
China
Prior art keywords
image
row
inspecting machine
line
speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610080741.4A
Other languages
English (en)
Other versions
CN105717133A (zh
Inventor
万贤福
陈俊琰
汪军
李立轻
孔祖坚
李兵
崔桂新
许增慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Textile Academy Shaoxing Jiangnan Branch China Textile Academy Co Ltd
ZHEJIANG YUEJIAN MACHINERY MANUFACTURE CO Ltd
Donghua University
Original Assignee
China Textile Academy Shaoxing Jiangnan Branch China Textile Academy Co Ltd
ZHEJIANG YUEJIAN MACHINERY MANUFACTURE CO Ltd
Donghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Textile Academy Shaoxing Jiangnan Branch China Textile Academy Co Ltd, ZHEJIANG YUEJIAN MACHINERY MANUFACTURE CO Ltd, Donghua University filed Critical China Textile Academy Shaoxing Jiangnan Branch China Textile Academy Co Ltd
Priority to CN201610080741.4A priority Critical patent/CN105717133B/zh
Publication of CN105717133A publication Critical patent/CN105717133A/zh
Application granted granted Critical
Publication of CN105717133B publication Critical patent/CN105717133B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/89Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • G01N21/898Irregularities in textured or patterned surfaces, e.g. textiles, wood
    • G01N21/8983Irregularities in textured or patterned surfaces, e.g. textiles, wood for testing textile webs, i.e. woven material
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Textile Engineering (AREA)
  • Biochemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Wood Science & Technology (AREA)
  • Treatment Of Fiber Materials (AREA)

Abstract

本发明涉及一种自动验布机,尤其涉及一种具有疵点自动检测和识别系统的自动验布机,特别是一种基于线性插值法矫正图像畸变的自动验布机,能够矫正自动验布机由于走布速度不匀造成的图像畸变,是由系统设定的走布速度重新在图像所对应的织物平面上沿经向等间距划分行采样线,作为矫正图像的行采样线,根据织物平面上矫正采样点与原采样点之间的空间关系进行线性插值,获得矫正图像上各像素的灰度值。方法所需运算负荷低,内存消耗小,可以应用于实时处理,以供自动验布机后续的疵点识别与处理。

Description

基于线性插值法矫正图像的自动验布机
技术领域
本发明属自动验布技术领域,涉及一种自动验布机,尤其涉及一种具有疵点自动检测和识别系统的自动验布机,特别是一种自动验布机走布不匀造成图像畸变的矫正方法的自动验布机。
背景技术
当前,关于织物疵点的检测大多是由传统的人工检测方式完成,受到检测人员的主观因素和一些客观因素的限制,这种方式检测结果波动性大,漏检率和误检率高,而且检测效率低下。随着用工成本的不断攀升,自动验布设备的需求日益增长。国外的比列时BARCO公司、瑞士Uster等公司推出了商业化的自动验布机,但因价格昂贵以及品种适应性问题,在国内的应用较小。国内在此领域的研究进展多年,但尚无成熟的商业化产品出现。
自动验布设备通常基于机器视觉技术,由织物传动系统、光源和成像系统、图像采集处理与传输系统,以及人机交互系统等组成。其主要的工作原理为由相机采集织物表面图像,然后通过图像处理算法,最终识别出织物瑕疵。为了检测整卷织物,织物由织物传动系统以某一均匀的走布速度传动,经过相机扫描位置以便相机连续不断地采集图像。配合此走布速度,相机在采集图像前需设定某一相应的扫描频率,以获取到正常的织物图像。
通常相机扫描频率设置之后固定不变,但走布速度不匀的情况却时有发生。例如,卷装检验开始时,走布启动并加速;卷装检验结束时,走布减速至停机;或者当导布系统出现扰动因素时,走布速度也可能发生不匀。走布速度不匀而相机扫描频率却固定,造成在布面上的图像扫描位置的经向间隔发生变化;采样间距大的部分在图像上表现为相对其他部分沿着经向缩短,而采用间距小的部分在图像上表现为相对伸长。
织物表面图像的伸缩畸变不仅改变织物的正常纹理形态,同时也改变了疵点的外形特征,给疵点的识别与分类造成了困难,从而增加了误检率和漏检率。为了提高后续的疵点检测效果,针对自动验布机走布速度不匀造成图像畸变进行相应的图像矫正非常必要。由于自动验布机采集的图像信息量巨大,图像处理负荷繁重,内存消耗大,为了做到实时处理,图像矫正方法需具有运算负荷低,速度快和内存消耗小等特点。
发明内容
本发明所要解决的技术问题是提供一种自动验布机,尤其涉及一种具有疵点自动检测和识别系统的自动验布机,特别是一种自动矫正自动验布机走布速度不匀造成图像畸变的方法的自动验布机,本发明克服了由于走布速度不匀引起的图像畸变,提高自动验布机的检测性能。本发明的矫正方法结合测速技术,通过实时探测走布的速度,据此在软件上对图像进行矫正。
本发明的一种自动验布机,包括织物传动系统、光源和成像系统、图像采集系统、图像处理系统,以及人机交互系统,其特征是:还包括测速仪和走布速度不匀图像矫正系统;所述走布速度不匀图像矫正系统的具体步骤如下:
(1)线扫描获得织物扫描图像,每条扫描线获取图像中的一行,行与织物的纬向相对应,列与走布方向即织物的经向相对应;在线扫描的同时,定时测量走布速度,其频率为f2,将测得的速度依次排成序列v(t),其中t为测速的采样时间序号t=0,1,2,…,T;
(2)若当前走布速度v大于或小于设定的走布速度vset时,进行矫正:
a)计算扫描图像中相邻两行在织物平面上的间距lk→k+1
lk→k+1=0.5×(v(tnb)+v(tnb+1))/f1
其中,下标中k和k+1为扫描图像中相邻两行的行号;tnb和tnb+1为与相机采集获得行k和k+1的时刻相临近的测速采样的时间序号,tnb∈t,tnb+1∈t;f1为线扫描的扫描频率;
设定图像扫描与测速采样同时启动,则第一根图像扫描线(k=0)与第一个测速采样点(t=0)同时产生,其它的扫描线和测速采样点产生的时刻分别为k/f1以及t/f2。通过产生时刻的前后比较,找到扫描线相邻的速度采样点tnb与tnb+1。
扫描图像中相邻的两行在布面上的间距由扫描时刻的走布速度与扫描间隔时间的乘积计算而来,扫描时刻的走布速度由相邻的两个速度采样值的均值进行估计。
b)计算扫描图像中各行在织物平面内的采样位置;依照行号的次序,按上步计算所得各相邻行在织物平面上的间距li,依次计算出扫描图像中各行在织物平面内的采样位置xi;具体为:以织物经向为横坐标,以织物纬向为纵坐标,第一行所在的位置为横坐标的原点,则有:
其中,i为扫描图像中的行号;
由于布面走布速度不匀,扫描图像中各行的采样位置平行地依次分布在织物平面内的经向上。通过累加间距lk→k+1,即得各行在织物平面内的采样位置。
c)计算矫正图像在织物平面内的行采样线的间距d:
d=vset/f1
矫正图像在织物平面内的行采样线的间距通过设定的走布速度与扫描间隔时间的乘积计算而来。
d)按所述间距在织物平面内划分矫正图像的行采样线,所述矫正图像的行采样线上的各像素灰度值g'(i,j)用线性插值法获得:
g'(i,j)=g(il,j)+dil→i/dil→il+1×(g(il+1,j)-g(il,j));
其中,g(i,j)表示织物图像上像素点(i,j)的灰度值,j为扫描图像中的列号;点(il,j)和点(il+1,j)为织物平面内与矫正图像点(i,j)的采样点相邻的两个扫描图像的采样点,dil→i为扫描图像点(il,j)与矫正图像点(i,j)在织物平面上的距离,dil→i=xil-i×d,dil→il+1为扫描图像点(il,j)与(il+1,j)在织物平面上的距离,dil→il+1=xil+1-xil
在织物平面的经向上,采用间距d划分矫正图像的行采样线,矫正图像的列采样位置与扫描图像相同,矫正图像的各像素的灰度值通过经向上相邻的扫描图像的采样点的灰度值线性插值获得。
e)将所得矫正图像上各点的灰度值,纬向为行,经向为列,依次排列,形成矩阵,即得矫正图像。
作为优选的技术方案:
如上所述的一种自动验布机,所述线扫描获得织物图像按帧处理。
如上所述的一种自动验布机,所述线扫描采用相机线扫描。
如上所述的一种自动验布机,所述线扫描的扫描频率f1为1~100000。
如上所述的一种自动验布机,所述测距的采样频率f2为0.1~1000。
如上所述的一种自动验布机,所述走布速度v为0.01~1000米/分钟。
如上所述的一种自动验布机,f1/f2=1~10000。
有益效果
本发明的一种自动验布机,所需计算机运算负荷低,内存消耗量小,可以实时矫正自动验布机走布速度不匀造成的图像畸变,以供自动验布机后续的疵点识别与处理。
附图说明
图1为本发明的自动验布机。
图2为自动验布机图像线扫描与测速示意图。
图3为织物平面上图像扫描、测速和图像矫正的采样点阵示意图。
其中,1为线扫描相机,2为测速传感器,x为织物经向,y为织物纬向,z为与织物平面垂直方向。●为织物图像采样点,*为矫正图像采样点,×为测速采样点。
具体实施方式
下面结合具体实施方式,进一步阐述本发明。应理解,这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解,在阅读了本发明讲授的内容之后,本领域技术人员可以对本发明作各种改动或修改,这些等价形式同样落于本申请所附权利要求书所限定的范围。
如图1所示,为本发明的一种自动验布机,包括织物传动系统、光源和成像系统、图像采集系统、图像处理系统,以及人机交互系统,还包括测速仪和走布速度不匀图像矫正系统;所述走布速度不匀图像矫正系统的具体步骤如下:
(1)如图2所示,线扫描相机1扫描织物获得图像,每条扫描线获取图像中的一行,行与织物的纬向相对应,列与走布方向即织物的经向相对应;在线扫描的同时,测速传感器2定时测量走布速度,其频率为f2,将测得的速度依次排成序列v(t),其中t为测速的采样时间序号t=0,1,2,…,T;
(2)若当前走布速度v大于或小于设定的走布速度vset时,进行矫正:
a)计算扫描图像中相邻两行在织物平面上的间距lk→k+1
lk→k+1=0.5×(v(tnb)+v(tnb+1))/f1
其中,下标中k和k+1为扫描图像中相邻两行的行号;tnb和tnb+1为与相机采集获得行k和k+1的时刻相临近的测速采样的时间序号,tnb∈t,tnb+1∈t;f1为线扫描的扫描频率;
b)计算扫描图像中各行在织物平面内的采样位置;依照行号的次序,按上步计算所得各相邻行在织物平面上的间距li,依次计算出扫描图像中各行在织物平面内的采样位置xi;具体(见图2)为:以织物经向为横坐标x,以织物纬向为纵坐标y,以垂直织物平面的方向为坐标z,第一行所在的位置为横坐标的原点,则有:
其中,i为扫描图像中的行号;
c)计算矫正图像在织物平面内的行采样线的间距d:
d=vset/f1
d)按所述间距在织物平面内划分矫正图像的行采样线,如图3所示,其中,●为织物图像采样点,*为矫正图像采样点,×为测速采样点。所述矫正图像的行采样线上的各像素灰度值g'(i,j)用线性插值法获得:
g'(i,j)=g(il,j)+dil→i/dil→il+1×(g(il+1,j)-g(il,j));
其中,g(i,j)表示织物图像上像素点(i,j)的灰度值,j为扫描图像中的列号;点(il,j)和点(il+1,j)为织物平面内与矫正图像点(i,j)的采样点相邻的两个扫描图像的采样点,dil→i为扫描图像点(il,j)与矫正图像点(i,j)在织物平面上的距离,dil→i=xil-i×d,dil→il+1为扫描图像点(il,j)与(il+1,j)在织物平面上的距离,dil→il+1=xil+1-xil
e)将所得矫正图像上各点的灰度值,纬向为行,经向为列,依次排列,形成矩阵,即得矫正图像。
如上所述的一种自动验布机,所述线扫描获得织物图像按帧处理。
如上所述的一种自动验布机,所述线扫描采用相机线扫描。
如上所述的一种自动验布机,所述线扫描的扫描频率f1为1~100000。
如上所述的一种自动验布机,所述测距的采样频率f2为0.1~1000。
如上所述的一种自动验布机,所述走布速度v为0.01~1000米/分钟。
如上所述的一种自动验布机,f1/f2=1~10000。

Claims (7)

1.一种自动验布机,包括织物传动系统、光源和成像系统、图像采集系统、图像处理系统,以及人机交互系统,其特征是:还包括测速仪和走布速度不匀图像矫正系统;所述走布速度不匀图像矫正系统的具体步骤如下:
(1)线扫描获得织物扫描图像,每条扫描线获取图像中的一行,行与织物的纬向相对应,列与走布方向即织物的经向相对应;在线扫描的同时,定时测量走布速度,其频率为f2,将测得的速度依次排成序列v(t),其中t为测速的采样时间序号t=0,1,2,…,T;
(2)若当前走布速度v大于或小于设定的走布速度vset时,进行矫正:
a)计算扫描图像中相邻两行在织物平面上的间距lk→k+1
lk→k+1=0.5×(v(tnb)+v(tnb+1))/f1
其中,下标中k和k+1为扫描图像中相邻两行的行号;tnb和tnb+1为与相机采集获得行k和k+1的时刻相临近的测速采样的时间序号,tnb∈t,tnb+1∈t;f1为线扫描的扫描频率;
b)计算扫描图像中各行在织物平面内的采样位置;依照行号的次序,按上步计算所得各相邻行在织物平面上的间距li,依次计算出扫描图像中各行在织物平面内的采样位置xi;具体为:以织物经向为横坐标,以织物纬向为纵坐标,第一行所在的位置为横坐标的原点,则有:
<mrow> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>=</mo> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>k</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>i</mi> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <msub> <mi>l</mi> <mrow> <mi>k</mi> <mo>&amp;RightArrow;</mo> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>;</mo> </mrow>
其中,i为扫描图像中的行号;
c)计算矫正图像在织物平面内的行采样线的间距d:
d=vset/f1
d)按所述间距在织物平面内划分矫正图像的行采样线,所述矫正图像的行采样线上的各像素灰度值g'(i,j)用线性插值法获得:
g'(i,j)=g(il,j)+dil→i/dil→il+1×(g(il+1,j)-g(il,j));
其中,g(i,j)表示织物图像上像素点(i,j)的灰度值,j为扫描图像中的列号;点(il,j)和点(il+1,j)为织物平面内与矫正图像点(i,j)的采样点相邻的两个扫描图像的采样点,dil→i为扫描图像点(il,j)与矫正图像点(i,j)在织物平面上的距离,dil→i=xil-i×d,dil→il+1为扫描图像点(il,j)与(il+1,j)在织物平面上的距离,dil→il+1=xil+1-xil
e)将所得矫正图像上各点的灰度值,纬向为行,经向为列,依次排列,形成矩阵,即得矫正图像。
2.根据权利要求1所述的一种自动验布机,其特征在于,所述线扫描获得织物图像按帧处理。
3.根据权利要求1所述的一种自动验布机,其特征在于,所述线扫描采用相机线扫描。
4.根据权利要求1所述的一种自动验布机,其特征在于,所述线扫描的扫描频率f1为1~100000。
5.根据权利要求1所述的一种自动验布机,其特征在于,采样频率f2为0.1~1000。
6.根据权利要求1所述的一种自动验布机,其特征在于,所述走布速度v为0.01~1000米/分钟。
7.根据权利要求1所述的一种自动验布机,其特征在于,f1/f2=1~10000。
CN201610080741.4A 2016-02-04 2016-02-04 基于线性插值法矫正图像的自动验布机 Expired - Fee Related CN105717133B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610080741.4A CN105717133B (zh) 2016-02-04 2016-02-04 基于线性插值法矫正图像的自动验布机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610080741.4A CN105717133B (zh) 2016-02-04 2016-02-04 基于线性插值法矫正图像的自动验布机

Publications (2)

Publication Number Publication Date
CN105717133A CN105717133A (zh) 2016-06-29
CN105717133B true CN105717133B (zh) 2018-05-25

Family

ID=56156647

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610080741.4A Expired - Fee Related CN105717133B (zh) 2016-02-04 2016-02-04 基于线性插值法矫正图像的自动验布机

Country Status (1)

Country Link
CN (1) CN105717133B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110187140B (zh) * 2019-05-10 2021-06-25 北京理工大学 一种图像获取装置及图像获取方法
CN110217636B (zh) * 2019-05-24 2021-08-20 北京创新古道清洁科技有限公司 传送布草的方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104458759A (zh) * 2014-10-30 2015-03-25 东华大学 一种灰度不匀自矫正系统的自动验布机
CN105277560A (zh) * 2015-10-23 2016-01-27 温州大学 一种织物起球等级评价分析方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5418378B2 (ja) * 2010-04-09 2014-02-19 新日鐵住金株式会社 表面欠陥検査装置、表面欠陥検査方法及びプログラム
JP2010270431A (ja) * 2010-08-04 2010-12-02 Tsudakoma Corp 織機の緯糸密度むら防止方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104458759A (zh) * 2014-10-30 2015-03-25 东华大学 一种灰度不匀自矫正系统的自动验布机
CN105277560A (zh) * 2015-10-23 2016-01-27 温州大学 一种织物起球等级评价分析方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Real-Time Vision-Based System for Textile Fabric Inspection;Radovan Stojanovic et al.;《Real-Time Imaging》;20011231;第7卷;507-518 *
基于机器视觉的坯布疵点实时自动检测平台;李冠志 等;《东华大学学报(自然科学版)》;20140228;第40卷(第1期);11-16 *

Also Published As

Publication number Publication date
CN105717133A (zh) 2016-06-29

Similar Documents

Publication Publication Date Title
US11091858B2 (en) On-loom fabric inspection system and method
CN104268505A (zh) 基于机器视觉的布匹疵点自动检测识别装置及方法
CN107132235B (zh) 在线织物疵点检测方法
CN105444891A (zh) 一种基于机器视觉的纱线印染色差检测系统
CN112767384B (zh) 一种弹力布克重在线检测系统的补偿方法和装置
CN113838038B (zh) 一种碳纤维布面疵点检测方法、装置、电子设备和存储介质
CN105717133B (zh) 基于线性插值法矫正图像的自动验布机
CN115861310B (zh) 一种床单表面纺织缺陷检测方法
CN105741250B (zh) 基于二次插值法的自动验布机走布速度不匀的图像矫正方法
Javed et al. Comparative analysis of different fabric defects detection techniques
CN116805312A (zh) 一种基于图像处理的针织式面料质量检测方法
CN101096819A (zh) 织物的组织判别方法
CN105741301B (zh) 基于拉格朗日插值法的自动验布机走布速度不匀的图像矫正方法
CN105761221B (zh) 基于自然样条插值法的自动验布机走布速度不匀的图像矫正方法
CN110458809A (zh) 一种基于亚像素边缘检测的纱线条干均匀度检测方法
CN105761220B (zh) 基于线性插值法的自动验布机走布速度不匀的图像矫正方法
CN105761222B (zh) 基于牛顿插值法的自动验布机走布速度不匀的图像矫正方法
Han et al. Identification and measurement of convolutions in cotton fiber using image analysis
CN110095474B (zh) 一种基于机器视觉及瑕疵筛选的绷带绕卷装置及绷带绕卷方法
CN110672209A (zh) 一种经编布匹色差在线检测方法
CN104778709A (zh) 一种基于纱线序列图像的电子黑板的构建方法
CN112365452B (zh) 一种基于双侧图像的网络丝网络点的检测方法
Xiao et al. A visual distortion detection method for textile cloth
CN112070723B (zh) 一种素色机织物密度的自动识别方法
Wang et al. Yarn break detection using an optical method in real time

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180525

Termination date: 20210204

CF01 Termination of patent right due to non-payment of annual fee