CN105761221B - 基于自然样条插值法的自动验布机走布速度不匀的图像矫正方法 - Google Patents

基于自然样条插值法的自动验布机走布速度不匀的图像矫正方法 Download PDF

Info

Publication number
CN105761221B
CN105761221B CN201610080744.8A CN201610080744A CN105761221B CN 105761221 B CN105761221 B CN 105761221B CN 201610080744 A CN201610080744 A CN 201610080744A CN 105761221 B CN105761221 B CN 105761221B
Authority
CN
China
Prior art keywords
image
line
row
inspecting machine
sampled point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610080744.8A
Other languages
English (en)
Other versions
CN105761221A (zh
Inventor
万贤福
陈俊琰
汪军
李立轻
陈霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Donghua University
Original Assignee
Donghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Donghua University filed Critical Donghua University
Priority to CN201610080744.8A priority Critical patent/CN105761221B/zh
Publication of CN105761221A publication Critical patent/CN105761221A/zh
Application granted granted Critical
Publication of CN105761221B publication Critical patent/CN105761221B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/89Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/89Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/8914Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the material examined
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/89Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N2021/8909Scan signal processing specially adapted for inspection of running sheets

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Textile Engineering (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Treatment Of Fiber Materials (AREA)

Abstract

本发明涉及基于自然样条插值法的自动验布机走布速度不匀的矫正方法,用来矫正自动验布机由于走步速度不匀造成的图像畸变,根据系统设定的走布速度重新在图像所对应的织物平面上沿经向等间距划分行采样线,作为矫正图像的行采样线,根据织物平面上矫正采样点与原采样点之间的空间关系,采用自然样条插值法,获得矫正图像上各像素的灰度值。方法所需运算负荷低,内存消耗小,可以应用于实时处理,以供自动验布机后续的疵点识别与处理。

Description

基于自然样条插值法的自动验布机走布速度不匀的图像矫正 方法
技术领域
本发明属自动验布技术领域,涉及一种自动验布机走布不匀造成图像畸变的矫正方法,特别是涉及基于自然样条插值法的自动验布机走布速度不匀的图像矫正方法,矫正自动验布机走布不匀造成的图像畸变。
背景技术
当前,关于织物疵点的检测大多是由传统的人工检测方式完成,受到检测人员的主观因素和一些客观因素的限制,这种方式检测结果波动性大,漏检率和误检率高,而且检测效率低下。随着用工成本的不断攀升,自动验布设备的需求日益增长。国外的比列时BARCO公司、瑞士Uster等公司推出了商业化的自动验布机,但因价格昂贵以及品种适应性问题,在国内的应用较小。国内在此领域的研究进展多年,但尚无成熟的商业化产品出现。
自动验布设备通常基于机器视觉技术,由织物传动系统、光源和成像系统、图像采集处理与传输系统,以及人机交互系统等组成。其主要的工作原理为由相机采集织物表面图像,然后通过图像处理算法,最终识别出织物瑕疵。为了检测整卷织物,织物由织物传动系统以某一均匀的走布速度传动,经过相机扫描位置以便相机连续不断地采集图像。配合此走布速度,相机在采集图像前需设定某一相应的扫描频率,以获取到正常的织物图像。
通常相机扫描频率设置之后固定不变,但走布速度不匀的情况却时有发生。例如,卷装检验开始时,走布启动并加速;卷装检验结束时,走布减速至停机;或者当导布系统出现扰动因素时,走布速度也可能发生不匀。走布速度不匀而相机扫描频率却固定,造成在布面上的图像扫描位置的经向间隔发生变化;采样间距大的部分在图像上表现为相对其他部分沿着经向缩短,而采用间距小的部分在图像上表现为相对伸长。
织物表面图像的伸缩畸变不仅改变织物的正常纹理形态,同时也改变了疵点的外形特征,给疵点的识别与分类造成了困难,从而增加了误检率和漏检率。为了提高后续的疵点检测效果,针对自动验布机走布速度不匀造成图像畸变进行相应的图像矫正非常必要。由于自动验布机采集的图像信息量巨大,图像处理负荷繁重,内存消耗大,为了做到实时处理,图像矫正方法需具有运算负荷低,速度快和内存消耗小等特点。
发明内容
本发明所要解决的技术问题是提供一种自动矫正自动验布机走布速度不匀造成图像畸变的方法,特别是提供了基于自然样条插值法的自动验布机走布速度不匀的图像矫正方法,本发明克服了由于走布速度不匀引起的图像畸变,提高自动验布机的检测性能。本发明的矫正方法结合测速技术,通过实时探测走布的速度,据此在软件上对图像进行矫正。
本发明的基于自然样条插值法的自动验布机走布速度不匀的图像矫正方法,在验布时,相机线扫描获得织物图像并转化为灰度图像,具体步骤如下:
(1)线扫描获得织物扫描图像,每条扫描线获取图像中的一行,行与织物的纬向相对应,列与走布方向即织物的经向相对应;在线扫描的同时,定时测量走布速度,其频率为f2,将测得的速度依次排成序列v(t),其中t为测速的采样时间序号t=0,1,2,…,T;
(2)若当前走布速度v大于或小于设定的走布速度vset时,进行矫正:
a)计算扫描图像中相邻两行在织物平面上的间距lk→k+1
lk→k+1=0.5×(v(tnb)+v(tnb+1))/f1
其中,下标中k和k+1为扫描图像中相邻两行的行号;tnb和tnb+1为与相机采集获得行k和k+1的时刻相临近的测速采样的时间序号,tnb∈t,tnb+1∈t;f1为线扫描的扫描频率;
设定图像扫描与测速采样同时启动,则第一根图像扫描线(k=0)与第一个测速采样点(t=0)同时产生,其它的扫描线和测速采样点产生的时刻分别为k/f1以及t/f2。通过产生时刻的前后比较,找到扫描线相邻的速度采样点tnb与tnb+1
扫描图像中相邻的两行在布面上的间距由扫描时刻的走布速度与扫描间隔时间的乘积计算而来,扫描时刻的走布速度由相邻的两个速度采样值的均值进行估计。
b)计算扫描图像中各行在织物平面内的采样位置;依照行号的次序,按上步计算所得各相邻行在织物平面上的间距li,依次计算出扫描图像中各行在织物平面内的采样位置xi;具体为:以织物经向为横坐标,以织物纬向为纵坐标,第一行所在的位置为横坐标的原点,则有:
其中,i为扫描图像中的行号;
由于布面走布速度不匀,扫描图像中各行的采样位置平行地依次分布在织物平面内的经向上。通过累加间距lk→k+1,即得各行在织物平面内的采样位置。
c)计算矫正图像在织物平面内的行采样线的间距d:
d=vset/f1
矫正图像在织物平面内的行采样线的间距通过设定的走布速度与扫描间隔时间的乘积计算而来。
d)按所述间距在织物平面内划分矫正图像的行采样线,计算矫正图像中各行在织物平面内的采样位置x'm
x'm=md;
其中,m为矫正图像中的行号;
e)在织物平面内,找出与矫正图像的采样点P'(m,n)在经向上最邻近的N个扫描图像的采样点P(il,j),P(il+1,j),P(il+2,j)…P(il+N-1,j)。P'(m,n)表示矫正图像中像素点(m,n)在织物平面上的采样点,P(i,j)表示扫描图像中像素点(i,j)在织物平面上的采样点,il为经向上最邻近的N个采样点的最小行号值。由于上述采样点在同一条列采样线上,此处j=n;在织物平面内以上述采样点所连接而成的线段的颜色灰度为连续分布,此线段的灰度分布g为横坐标值x的函数,记为g(x);
f)由以上步骤,已知P(il,j),P(il+1,j),P(il+2,j)…P(il+N-1,j)的横坐标值和灰度值,以及P'(m,n)的横坐标值,通过自然样条插值法获得所述矫正图像的采样点P'(m,n)的灰度值g(x'm);
在织物平面的经向上,采用间距d划分矫正图像的行采样线,矫正图像的列采样位置与扫描图像相同,矫正图像的各像素的灰度值通过经向上最相邻的扫描图像的N个采样点的自然样条插值获得。
g)重复执行步骤e)和f),直至获得所有矫正图像的采样点的灰度值;
h)将所得矫正图像上各点的灰度值,纬向为行,经向为列,依次排列,形成矩阵,即得矫正图像。
作为优选的技术方案:
如上所述的基于自然样条插值法的自动验布机走布速度不匀的图像矫正方法,所述线扫描获得织物图像按帧处理。
如上所述的基于自然样条插值法的自动验布机走布速度不匀的图像矫正方法,所述线扫描采用相机线扫描。
如上所述的基于自然样条插值法的自动验布机走布速度不匀的图像矫正方法,所述走布速度v为0.01~1000米/分钟。
如上所述的基于自然样条插值法的自动验布机走布速度不匀的图像矫正方法,f1/f2=1~10000。
如上所述的基于自然样条插值法的自动验布机走布速度不匀的图像矫正方法,N=3~100。
有益效果
本发明的基于自然样条插值法的自动验布机走布速度不匀的图像矫正方法,所需计算机运算负荷低,内存消耗量小,可以实时矫正自动验布机走布速度不匀造成的图像畸变,以供自动验布机后续的疵点识别与处理。
附图说明
图1为自动验布机图像线扫描与测速示意图。
图2为织物平面上图像扫描、测速和图像矫正的采样点阵示意图。
其中,1为线扫描相机,2为测速传感器,x为织物经向,y为织物纬向,z为与织物平面垂直方向。●为织物图像采样点,*为矫正图像采样点,×为测速采样点。
具体实施方式
下面结合具体实施方式,进一步阐述本发明。应理解,这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解,在阅读了本发明讲授的内容之后,本领域技术人员可以对本发明作各种改动或修改,这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明的基于自然样条插值法的自动验布机走布速度不匀的图像矫正方法,在验布时,相机线扫描获得织物图像并转化为灰度图像,具体步骤如下:
(1)如图1所示,线扫描相机1扫描织物获得图像,,每条扫描线获取图像中的一行,行与织物的纬向相对应,列与走布方向即织物的经向相对应;在线扫描的同时,测速传感器2定时测量走布速度,其频率为f2,将测得的速度依次排成序列v(t),其中t为测速的采样时间序号t=0,1,2,…,T;
(2)若当前走布速度v大于或小于设定的走布速度vset时,进行矫正:
a)计算扫描图像中相邻两行在织物平面上的间距lk→k+1
lk→k+1=0.5×(v(tnb)+v(tnb+1))/f1
其中,下标中k和k+1为扫描图像中相邻两行的行号;tnb和tnb+1为与相机采集获得行k和k+1的时刻相临近的测速采样的时间序号,tnb∈t,tnb+1∈t;f1为线扫描的扫描频率;
b)计算扫描图像中各行在织物平面内的采样位置;依照行号的次序,按上步计算所得各相邻行在织物平面上的间距li,依次计算出扫描图像中各行在织物平面内的采样位置xi;具体(见图1)为:以织物经向为横坐标x,以织物纬向为纵坐标y,以垂直织物平面的方向为坐标z,第一行所在的位置为横坐标的原点,则有:
其中,i为扫描图像中的行号;
c)计算矫正图像在织物平面内的行采样线的间距d:
d=vset/f1
d)按所述间距在织物平面内划分矫正图像的行采样线,如图2所示,其中,
●为织物图像采样点,*为矫正图像采样点,×为测速采样点。计算矫正图像中各行在织物平面内的采样位置x'm
x'm=md;
其中,m为矫正图像中的行号;
e)如图2所示,在织物平面内,找出与矫正图像的采样点P'(m,n)在经向上最邻近的N个扫描图像的采样点P(il,j),P(il+1,j),P(il+2,j)…P(il+N-1,j)。P'(m,n)表示矫正图像中像素点(m,n)在织物平面上的采样点,P(i,j)表示扫描图像中像素点(i,j)在织物平面上的采样点,il为经向上最邻近的N个采样点的最小行号值。由于上述采样点在同一条列采样线上,此处j=n;在织物平面内以上述采样点所连接而成的线段的颜色灰度为连续分布,此线段的灰度分布g为横坐标值x的函数,记为g(x);
f)由以上步骤,已知P(il,j),P(il+1,j),P(il+2,j)…P(il+N-1,j)的横坐标值和灰度值,以及P'(m,n)的横坐标值,通过自然样条插值法获得所述矫正图像的采样点P'(m,n)的灰度值g(x'm);
g)重复执行步骤e)和f),直至获得所有矫正图像的采样点的灰度值;
h)将所得矫正图像上各点的灰度值,纬向为行,经向为列,依次排列,形成矩阵,即得矫正图像。
如上所述的基于自然样条插值法的自动验布机走布速度不匀的图像矫正方法,所述线扫描获得织物图像按帧处理。
如上所述的基于自然样条插值法的自动验布机走布速度不匀的图像矫正方法,所述线扫描采用相机线扫描。
如上所述的基于自然样条插值法的自动验布机走布速度不匀的图像矫正方法,所述走布速度v为0.01~1000米/分钟。
如上所述的基于自然样条插值法的自动验布机走布速度不匀的图像矫正方法,f1/f2=1~10000。
如上所述的基于自然样条插值法的自动验布机走布速度不匀的图像矫正方法,N=3~100。

Claims (6)

1.基于自然样条插值法的自动验布机走布速度不匀的图像矫正方法,在验布时,相机线扫描获得织物图像并转化为灰度图像,其特征是具体步骤如下:
(1)线扫描获得织物图像,每条扫描线获取图像中的一行,行与织物的纬向相对应,列与走布方向即织物的经向相对应;在线扫描的同时,定时测量走布速度,其频率为f2,将测得的速度依次排成序列v(t),其中t为测速的采样时间序号t=0,1,2,…,T;
(2)若当前走布速度v大于或小于设定的走布速度vset时,进行矫正:
a)计算扫描图像中相邻两行在织物平面上的间距lk→k+1
lk→k+1=0.5×(v(tnb)+v(tnb+1))/f1
其中,下标中k和k+1为扫描图像中相邻两行的行号;tnb和tnb+1为与相机采集获得行k和k+1的时刻相临近的测速采样的时间序号,tnb∈t,tnb+1∈t;f1为线扫描的扫描频率;
b)计算扫描图像中各行在织物平面内的采样位置;依照行号的次序,按上步计算所得各相邻行在织物平面上的间距li,依次计算出扫描图像中各行在织物平面内的采样位置xi;具体为:以织物经向为横坐标,以织物纬向为纵坐标,第一行所在的位置为横坐标的原点,则有:
其中,i为扫描图像中的行号;
c)计算矫正图像在织物平面内的行采样线的间距d:
d=vset/f1
d)按所述间距在织物平面内划分矫正图像的行采样线,计算矫正图像中各行在织物平面内的采样位置x'm
x'm=md;
其中,m为矫正图像中的行号;
e)在织物平面内,找出与矫正图像的采样点P'(m,n)在经向上最邻近的N个扫描图像的采样点P(il,j),P(il+1,j),P(il+2,j)…P(il+N-1,j);P'(m,n)表示矫正图像中像素点(m,n)在织物平面上的采样点,P(i,j)表示扫描图像中像素点(i,j)在织物平面上的采样点,il为经向上最邻近的N个采样点的最小行号值;由于上述采样点在同一条列采样线上,此处j=n;在织物平面内以上述采样点所连接而成的线段的颜色灰度为连续分布,此线段的灰度分布g为横坐标值x的函数,记为g(x);
f)由以上步骤,已知P(il,j),P(il+1,j),P(il+2,j)…P(il+N-1,j)的横坐标值和灰度值,以及P'(m,n)的横坐标值,通过自然样条插值法获得所述矫正图像的采样点P'(m,n)的灰度值g(x'm);
g)重复执行步骤e)和f),直至获得所有矫正图像的采样点的灰度值;
h)将所得矫正图像上各点的灰度值,纬向为行,经向为列,依次排列,形成矩阵,即得矫正图像。
2.根据权利要求1所述的基于自然样条插值法的自动验布机走布速度不匀的图像矫正方法,其特征在于,所述线扫描获得织物图像按帧处理。
3.根据权利要求1所述的基于自然样条插值法的自动验布机走布速度不匀的图像矫正方法,其特征在于,所述线扫描采用相机线扫描。
4.根据权利要求1所述的基于自然样条插值法的自动验布机走布速度不匀的图像矫正方法,其特征在于,所述走布速度v为0.01~1000米/分钟。
5.根据权利要求1所述的基于自然样条插值法的自动验布机走布速度不匀的图像矫正方法,其特征在于,f1/f2=1~10000。
6.根据权利要求1所述的基于自然样条插值法的自动验布机走布速度不匀的图像矫正方法,其特征在于,N=3~100。
CN201610080744.8A 2016-02-04 2016-02-04 基于自然样条插值法的自动验布机走布速度不匀的图像矫正方法 Active CN105761221B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610080744.8A CN105761221B (zh) 2016-02-04 2016-02-04 基于自然样条插值法的自动验布机走布速度不匀的图像矫正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610080744.8A CN105761221B (zh) 2016-02-04 2016-02-04 基于自然样条插值法的自动验布机走布速度不匀的图像矫正方法

Publications (2)

Publication Number Publication Date
CN105761221A CN105761221A (zh) 2016-07-13
CN105761221B true CN105761221B (zh) 2018-10-23

Family

ID=56330671

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610080744.8A Active CN105761221B (zh) 2016-02-04 2016-02-04 基于自然样条插值法的自动验布机走布速度不匀的图像矫正方法

Country Status (1)

Country Link
CN (1) CN105761221B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110095474B (zh) * 2019-04-12 2021-11-16 浙江大学台州研究院 一种基于机器视觉及瑕疵筛选的绷带绕卷装置及绷带绕卷方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009063295A1 (en) * 2007-11-12 2009-05-22 Micronic Laser Systems Ab Methods and apparatuses for detecting pattern errors
CN104408709A (zh) * 2014-10-30 2015-03-11 东华大学 一种线阵ccd相机图像灰度不匀快速矫正方法
CN104766327A (zh) * 2015-04-15 2015-07-08 华侨大学 基于图像的织物偏移检测方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009063295A1 (en) * 2007-11-12 2009-05-22 Micronic Laser Systems Ab Methods and apparatuses for detecting pattern errors
CN104408709A (zh) * 2014-10-30 2015-03-11 东华大学 一种线阵ccd相机图像灰度不匀快速矫正方法
CN104766327A (zh) * 2015-04-15 2015-07-08 华侨大学 基于图像的织物偏移检测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种自动验布机系统的设计与实现;陈德裕等;《制造业自动化》;20141125;全文 *
一维非线性插值在重建B型超声图像中的应用;周健等;《一维非线性插值在重建B超声图像中的应用》;20030430;第19卷(第2期);全文 *

Also Published As

Publication number Publication date
CN105761221A (zh) 2016-07-13

Similar Documents

Publication Publication Date Title
US9499926B2 (en) On-loom fabric inspection system and method
CN103456021B (zh) 一种基于形态学分析的布匹瑕疵检测方法
CN104268505A (zh) 基于机器视觉的布匹疵点自动检测识别装置及方法
CN109211918B (zh) 一种基于纬纱走向的织物弓纬检测方法
CN103759662A (zh) 一种纺织纱线直径动态快速测量装置与方法
CN113838038B (zh) 一种碳纤维布面疵点检测方法、装置、电子设备和存储介质
CN118196068B (zh) 一种基于人工智能的纺织品印染质量监控系统
CN115861310B (zh) 一种床单表面纺织缺陷检测方法
CN105741250B (zh) 基于二次插值法的自动验布机走布速度不匀的图像矫正方法
CN112330673B (zh) 一种基于图像处理的机织物密度检测方法
CN115100206A (zh) 用于具有周期图案纺织物的印花缺陷识别方法
CN105717133B (zh) 基于线性插值法矫正图像的自动验布机
CN105761221B (zh) 基于自然样条插值法的自动验布机走布速度不匀的图像矫正方法
CN116805312A (zh) 一种基于图像处理的针织式面料质量检测方法
CN105741301B (zh) 基于拉格朗日插值法的自动验布机走布速度不匀的图像矫正方法
CN110458809B (zh) 一种基于亚像素边缘检测的纱线条干均匀度检测方法
CN115330763A (zh) 一种医用纱布缺陷检测方法
CN113281017B (zh) 一种显示屏的质量检测方法、终端及存储介质
CN105761222B (zh) 基于牛顿插值法的自动验布机走布速度不匀的图像矫正方法
CN105761220B (zh) 基于线性插值法的自动验布机走布速度不匀的图像矫正方法
CN112070723B (zh) 一种素色机织物密度的自动识别方法
Li et al. A direct measurement method of yarn evenness based on machine vision
CN112365452B (zh) 一种基于双侧图像的网络丝网络点的检测方法
CN105631808B (zh) 一种矫正自动验布机中布面抖动造成的图像畸变的方法
CN115205295A (zh) 一种服装面料拉伸强度检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant