CN107144570B - 一种基于机器视觉的簇绒机排纱错误检测方法 - Google Patents

一种基于机器视觉的簇绒机排纱错误检测方法 Download PDF

Info

Publication number
CN107144570B
CN107144570B CN201710295477.0A CN201710295477A CN107144570B CN 107144570 B CN107144570 B CN 107144570B CN 201710295477 A CN201710295477 A CN 201710295477A CN 107144570 B CN107144570 B CN 107144570B
Authority
CN
China
Prior art keywords
yarn
image
visual
arrangement
yarn arrangement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710295477.0A
Other languages
English (en)
Other versions
CN107144570A (zh
Inventor
陈广锋
席伟
王琳霞
於文欣
陈革
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Donghua University
Original Assignee
Donghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Donghua University filed Critical Donghua University
Priority to CN201710295477.0A priority Critical patent/CN107144570B/zh
Publication of CN107144570A publication Critical patent/CN107144570A/zh
Application granted granted Critical
Publication of CN107144570B publication Critical patent/CN107144570B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • DTEXTILES; PAPER
    • D05SEWING; EMBROIDERING; TUFTING
    • D05CEMBROIDERING; TUFTING
    • D05C15/00Making pile fabrics or articles having similar surface features by inserting loops into a base material
    • D05C15/04Tufting
    • D05C15/08Tufting machines
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Materials Engineering (AREA)
  • Textile Engineering (AREA)
  • Treatment Of Fiber Materials (AREA)
  • Sewing Machines And Sewing (AREA)

Abstract

本发明涉及一种基于机器视觉的簇绒机排纱错误检测方法,在出毯位置设有视觉检测系统,具体包括以下步骤:视觉检测系统的相机沿导轨往复采集毯背纱线视觉图像;定位第一条纱线的中心线,按照织针的间距对图像进行纵向分割,把视觉图像分割成多个细长图像;对各个分割得到图像进一步处理,识别出是否有纱线及纱线的颜色,判定每根纱线类型及粗细变化规律。本发明能够实现检测排纱,保证当前排纱与工艺设定要求一致,防止由于排纱错误导致的花型错乱。

Description

一种基于机器视觉的簇绒机排纱错误检测方法
技术领域
本发明涉及排纱错误检测技术领域,特别是涉及一种基于机器视觉的簇绒机排纱错误检测方法。
背景技术
现有簇绒装备不具备纱线排列自动检测的功能,在现场生产过程中,工人穿完纱线,通过人工对比工艺文件反复巡视来发现穿纱线错误问题。这样的操作流程效率低下,使人眼产生疲劳,容易出错,导致生产出的毯面花型不准确,影响毯面质量,降低生产效率,出错后没有历史记录,不利于质量追溯。
发明内容
本发明所要解决的技术问题是提供一种基于机器视觉的簇绒机排纱错误检测方法,降低劳动强度,提高生产工艺准备效率和产品的合格率。
本发明解决其技术问题所采用的技术方案是:提供一种基于机器视觉的簇绒机排纱错误检测方法,在出毯位置设有视觉检测系统,具体包括以下步骤:
(1)视觉检测系统的相机沿导轨往复采集毯背纱线视觉图像;
(2)视觉检测系统对获取的视觉图像进行分析处理,判定每根纱线的颜色及类型;
(3)将每根纱线的颜色和类型与工艺参数排纱文件进行对比,判断实际排纱是否与工艺要求一致。
所述步骤(1)中相机采集的毯背纱线视觉图像有重叠区,所述重叠区左右各占整幅视觉图像的5%,且不小于一根纱线平均宽度。
所述步骤(2)包括以下子步骤:
(21)对视觉图像进行滤波去噪,并进行畸形校正;
(22)定位第一条纱线的中心线,按照织针的间距对图像进行纵向分割,把视觉图像分割成多个细长图像;
(23)对各个分割得到图像进一步处理,识别出是否有纱线及纱线的颜色,判定每根纱线类型。
所述步骤(2)中还包括通过图像处理分析筛选出重叠区的步骤,根据重叠区将视觉图像拼接组成一张图片以保证场景的连续性。
所述步骤(23)后还包括识别分割后图像中每根纱线粗细变化规律的步骤。
所述步骤(3)中,当实际排纱与工艺要求一致时,则根据每根纱线的粗细变化来验证花型变化是否与测试花型一致;当实际排纱与工艺要求不一致时,则定位出错纱线位置。
有益效果
由于采用了上述的技术方案,本发明与现有技术相比,具有以下的优点和积极效果:
本发明可以在线准确实时检测排纱纱线状态,及时发现排纱异常并通知操作人员进行维护。而且能准确发现排纱时人工检查不容易发现的错误,有助于保证地毯花型质量,并提高生产效率,能实时记录排纱异常位置出现频次,方便进一步分析判断问题产生原因,以改进生产设备及操作工艺。
本发明能够实现检测排纱,保证当前排纱与工艺设定要求一致,防止由于排纱错误导致的花型错乱,并记录检测数据,这些数据可用于后续质量追踪和工人工作绩效评价;在保证排纱正确无误的情况下,可以用来验证喂纱机构是否工作正常。
附图说明
图1为最小排纱规律循环构成完整排纱示意图。
图2为本发明的纱线排纱检测装置的系统示意图。
图3机器视觉系统局部放大图。
图4为本发明中单幅拍摄图像示意图。
图5经过拼接之后得到的一幅图示意图。
图6为本发明的排纱检测工作流程图。
图7为本发明的图像处理流程图。
图8为检测用花型图。
具体实施方式
下面结合具体实施例,进一步阐述本发明。应理解,这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解,在阅读了本发明讲授的内容之后,本领域技术人员可以对本发明作各种改动或修改,这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明的实施方式涉及一种基于机器视觉的簇绒机排纱错误检测方法,在出毯位置设有视觉检测系统,具体包括以下步骤:视觉检测系统的相机沿导轨往复采集毯背纱线视觉图像;定位第一条纱线的中心线,按照织针的间距对图像进行纵向分割,把视觉图像分割成多个细长图像;对各个分割得到图像进一步处理,识别出是否有纱线及纱线的颜色,判定每根纱线类型。
现有簇绒地毯有方块毯和满幅毯两种,在排纱上基本类似。排纱工艺的设定:簇绒地毯排纱由最小的单元排纱顺序循环得到。在工艺设计过程中纱线根据颜色、种类等被分类并分别以字母A、B、C、D等来命名,工艺文件中保存每种纱线的具体型号或特征,包括纱线名称、种类、颜色。比如排纱基本循环为AB,那么以总的针数是12的话,总的排纱循环为ABABABABABAB。工艺文件中还提供了地毯生产的控制用的花型图。
假设最小循环单元中纱线排序是AADCB,通过反复重复最小单元循环得到整个地毯的排纱顺序,并将这排纱顺序保存到排纱的工艺参数文件中。实际工艺排纱如图1所示,图中字母下面的数字为该字母对应纱线应当穿在针的序号。
穿纱错误可能出现几种情况,假设排纱顺序为AADCB,实际穿纱可能出现如下几种情况,(1)漏穿某根针出现空针,比如A_DCB少穿了一根A;(2)不同类型纱线交叉穿错,比如把AADCB穿成ADACB;(3)同色纱线穿错,比如AADCB,本来第一个A是喂纱机构x送出来纱线,第二个A是喂纱机构x+1送出来纱线,结果第一个A位置可能穿成了喂纱机构x+1送出来纱线。现场生产过程中第三种穿纱线错误不容易发现。因此识别纱线排纱是否符合预设规律,首先要判断纱线类型是对应纱线否一致,其次判断纱线是否穿错位置(即没有穿在本来对应的针上)。
本发明通过在簇绒地毯机出毯位置设有视觉检测系统,结合工艺上采用特殊花型文件进行控制,通过相机沿导轨往复采集毯背纱线视觉图像,对图像处理进一步分析,判定每根纱线颜色及类型。然后和工艺参数排纱文件进行对比,进而判断实际排纱是否与工艺要求一致,如果发现排纱异常,可及时记录排纱错误信息,并发出报警信号,通知操作人员进行维护更正。
纱线排纱检测装置的结构示意图如图2所示,所述的纱线排纱检测装置的包括支撑台、导轨组件、光源组件及控制平台。具体包括喂纱机构1、滑动导轨2、安装在滑动导轨组件上用于定位织针所在区间的led灯组21、步履传输线3、织针4、针梁41、导纱板42、毯背5、相机6、相机安装座7、光源组件8、控制器9、罗拉10、纱线11。图3为机器视觉系统局部放大图。
滑动导轨组件2固定于机架12上,在纱线11所经过路径外侧,相机6通过安装支座固定在导轨组件2上,可以通过控制沿着导轨精确移动,位于输出纱线下端。光源组件8跟随相机安装座一同移动,光源为相机对纱线获取图像提供照明,为了避免环境光的干扰,光源强度远大于环境光,此时可以近似忽略环境光对图片的影响,保证获取被测纱线的清晰图像。相机装设于导轨组件上以获取相关被测图像信息,相机6在织出地毯出口处采集毯背图像,通过步履传输线缆3连接控制器9,控制器装设于机架12上,对获取的图像信息分析处理并控制相应的执行机构运动。控制器9控制相机在滑动导轨上精确的位置移动。由于普通传输缆线弯曲次数比较少,作为优选,选择步履线作传输线,延长视觉系统使用时间。LED灯组21安装在滑动导轨组件上,对应织针的位置,每隔几个织针模块安装一个LED,当系统报错时候,对应出错的织针所在的区间两端的LED灯点亮。LED灯组的安装方便后续人工对织错织针的排查。
系统启动后,光源提供照明,相机由控制模块控制,以一定的速度沿着滑动导轨移动,对毯背图像进行连续捕捉,再反馈到控制器中。得到的图像有一定的重叠区(重叠区域左右各占5%,且不小于一根纱线平均宽度),用来后期拼合照片时保证场景的连续。相机拍摄的一组图像如果图4所示,由于拍摄时,相机倾斜拍靠近织针出的图像,图片会变形,对于拍摄到的图片需要进行畸形校正,再经由图像处理分析筛选重叠区,保证场景的连续性,拼接组成一张图片。经由图像处理分析重叠区,拼接整张图片,得到图5。对拼接后图像进行处理识别出纱线类型、纱线序号、是否符合工艺设定,出错则报警。
实施例:检测方法工作流程如图6所示,具体如下:
(1)控制器读入工艺文件,计算完整排纱信息和每根纱线花型变化规律。
(2)加载测试花型图8或实际生产花型,设置工艺参数,保证花型图案织造过程无需拉伸。
(3)开机织造一定长度地毯,至少一个花型长度循环,然后停机。
(4)检测系统启动,光源提供照明。
(5)利用相机采集毯背图像:相机由控制器控制,以一定的速度沿着滑动导轨移动,每隔预定距离对所要测量的毯背进行拍照,再反馈到控制器。
(6)对采集到图像分析确定纱线类型,以及单根纱线粗细变化规律进行分析进而得到花型变化规律,具体如图7所示。
(7)判断图像处理后获得排纱信息是否与工艺文件排纱信息一致,若是则执行步骤(8);若否,则定位出错纱线位置,系统发出警报信息并记录此次错误信息,织针对应区间的LED灯亮,记录异常信息,执行(9)。
(8)分析每根纱线的粗细变化验证其花型变化是否与测试花型一致,以图8为例,该图控制生产地毯应该有两种绒高,黑色代表高绒高,白色代表低绒高,可以近似理解纵向每列每个像素为黑色为1、白色为0,与步骤(6)分析得来粗细变化对比,若不一致,则记录此次错误信息,并用LED灯指示定位出错纱线位置,执行步骤(9);对结果一致则执行步骤(10)。
(9)调整后跳到步骤(3)继续执行。
(10)检测结束。
其中步骤(6)图像分析处理流程如图7所示,具体步骤如下:
(1)图像拼接:经由图像处理分析筛选重叠区,保证场景的连续性,拼接组成一张图片。由控制器判断相机是否是沿着正向运动获取图像,如果正向则第一幅图像右侧拼接后续图像,如果反向运动则在第一副图像左侧拼接图像;
(2)拼接图像预处理:对拼接图像滤波去噪并畸形校正;
(3)拼接图像纵向分割:定位第一条纱线中心线,按照织针的间距对图像进行纵向分割,把拼接后图像分割成多个细长图像;
(4)纱线类型识别:对各个分割得到图像进一步处理,识别出是否有纱线及纱线的颜色,判定每根纱线类型(即对应的排纱规律中的字母);
(5)对采集到的图片中的花型进行识别:识别分割后图像中每根纱线粗细变化规律。高绒圈相对低绒圈成圈时纱线张力要小,毯背的纱线粗细要粗。按照出毯方向每针以粗为1,细为0代表记录花型的粗细变化。
本发明,在保证穿纱正确无误的情况下,可以用来验证喂纱机构是否工作异常。排纱没有问题,如果在实例步骤(6)分析得到每根纱线的粗细变化规律与测试花型不一致,则喂纱必定存在问题。该方法可用于新机调试验证。

Claims (3)

1.一种基于机器视觉的簇绒机排纱错误检测方法,其特征在于,在出毯位置设有视觉检测系统,具体包括以下步骤:
(1)视觉检测系统的相机沿导轨往复采集毯背纱线视觉图像;
(2)视觉检测系统对获取的视觉图像进行分析处理,判定每根纱线的颜色及类型;其中,具体包括以下子步骤:
(21)对视觉图像进行滤波去噪,并进行畸形校正;
(22)定位第一条纱线的中心线,按照织针的间距对图像进行纵向分割,把视觉图像分割成多个细长图像;
(23)对各个分割得到图像进一步处理,识别出是否有纱线及纱线的颜色,判定每根纱线类型,同时还识别分割后图像中每根纱线粗细变化规律;
(3)将每根纱线的颜色和类型与工艺参数排纱文件进行对比,判断实际排纱是否与工艺要求一致;当实际排纱与工艺要求一致时,则根据每根纱线的粗细变化来验证花型变化是否与测试花型一致;当实际排纱与工艺要求不一致时,则定位出错纱线位置。
2.根据权利要求1所述的基于机器视觉的簇绒机排纱错误检测方法,其特征在于,所述步骤(1)中相机采集的毯背纱线视觉图像有重叠区,所述重叠区左右各占整幅视觉图像的5%,且不小于一根纱线平均宽度。
3.根据权利要求2所述的基于机器视觉的簇绒机排纱错误检测方法,其特征在于,所述步骤(2)中还包括通过图像处理分析筛选出重叠区的步骤,根据重叠区将视觉图像拼接组成一张图片以保证场景的连续性。
CN201710295477.0A 2017-04-28 2017-04-28 一种基于机器视觉的簇绒机排纱错误检测方法 Expired - Fee Related CN107144570B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710295477.0A CN107144570B (zh) 2017-04-28 2017-04-28 一种基于机器视觉的簇绒机排纱错误检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710295477.0A CN107144570B (zh) 2017-04-28 2017-04-28 一种基于机器视觉的簇绒机排纱错误检测方法

Publications (2)

Publication Number Publication Date
CN107144570A CN107144570A (zh) 2017-09-08
CN107144570B true CN107144570B (zh) 2020-03-10

Family

ID=59775261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710295477.0A Expired - Fee Related CN107144570B (zh) 2017-04-28 2017-04-28 一种基于机器视觉的簇绒机排纱错误检测方法

Country Status (1)

Country Link
CN (1) CN107144570B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201720794D0 (en) * 2017-12-13 2018-01-24 Michel Van De Wiele An individual needle control tufting machine
CN108004673B (zh) * 2017-12-14 2020-11-03 苏州国盛云信息科技有限公司 用于电脑横机的自动化漏针检测报警装置
JP6748139B2 (ja) * 2018-04-02 2020-08-26 ファナック株式会社 ビジュアルガイダンス装置、ビジュアルガイダンスシステム、及びビジュアルガイダンス方法
CN109490303A (zh) * 2018-11-27 2019-03-19 福建伟易泰智能科技有限公司 综丝检测与处理方法、装置和纺织机

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1648321A (zh) * 2005-02-01 2005-08-03 西安工程科技学院 织物纹理检测方法及装置
CN102103090A (zh) * 2010-12-07 2011-06-22 东华大学 基于计算机视觉的梳棉机棉网质量在线检测装置与方法
CN202175829U (zh) * 2010-12-27 2012-03-28 中国船舶重工集团公司第七一五研究所 基于机器视觉的坯布疵点在线实时检测系统
CN103451846A (zh) * 2013-09-13 2013-12-18 福州大学 一种基于计算机视觉的坯布断纱在线检测方法与系统
CN105444891A (zh) * 2015-12-23 2016-03-30 常州大学 一种基于机器视觉的纱线印染色差检测系统
CN106048865A (zh) * 2016-08-03 2016-10-26 江苏宋和宋智能科技有限公司 一种织造经纬视觉监控智能系统
CN106596568A (zh) * 2016-12-13 2017-04-26 青岛大学 一种基于线激光的实时非接触纱线断头检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1648321A (zh) * 2005-02-01 2005-08-03 西安工程科技学院 织物纹理检测方法及装置
CN102103090A (zh) * 2010-12-07 2011-06-22 东华大学 基于计算机视觉的梳棉机棉网质量在线检测装置与方法
CN202175829U (zh) * 2010-12-27 2012-03-28 中国船舶重工集团公司第七一五研究所 基于机器视觉的坯布疵点在线实时检测系统
CN103451846A (zh) * 2013-09-13 2013-12-18 福州大学 一种基于计算机视觉的坯布断纱在线检测方法与系统
CN105444891A (zh) * 2015-12-23 2016-03-30 常州大学 一种基于机器视觉的纱线印染色差检测系统
CN106048865A (zh) * 2016-08-03 2016-10-26 江苏宋和宋智能科技有限公司 一种织造经纬视觉监控智能系统
CN106596568A (zh) * 2016-12-13 2017-04-26 青岛大学 一种基于线激光的实时非接触纱线断头检测方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
印花质量自动检测系统的新技术应用;刘钟燕等;《纺织科技进展》;20061025;第78-79页 *
基于图像处理分析的机织物构成要素的综合识别方法与装置;谢莉青;《中国博士学位论文全文数据库信息科技辑》;20110815;正文第40页 *
基于数字图像处理的机织物结构参数识别;潘如如;《中国博士学位论文全文数据库信息科技辑》;20110715;正文第1,6-7,11,28-30,65-72,75,82-89,96-106页 *
基于数字图像处理的织物结构参数自动识别的研究;李晓慧;《中国优秀硕士学位论文全文数据库信息科技辑》;20070815;正文全文 *
基于机器视觉与最大熵的地毯断纱类疵点检测;陈广锋等;《计算机工程与设计》;20150430;第36卷(第4期);第991-994页 *
基于机器视觉的簇绒地毯疵点检测算法研究;翟琳琳;《中国优秀硕士学位论文全文数据库信息科技辑》;20140515;正文第8-11,19,31页 *
基于计算机图像处理技术的纱线质量检测的研究;刘丽杰;《中国优秀硕士学位论文全文数据库信息科技辑》;20070815;正文全文 *

Also Published As

Publication number Publication date
CN107144570A (zh) 2017-09-08

Similar Documents

Publication Publication Date Title
CN107144570B (zh) 一种基于机器视觉的簇绒机排纱错误检测方法
CN105518195B (zh) 用于织布机的监控装置、织布机及监控方法
JP6150248B2 (ja) 布地の欠陥検査方法と装置
JP2008539338A (ja) 織機における縦糸の読み取りと制御のための装置と方法
KR102445162B1 (ko) 비전센서를 활용한 데이터 추출 및 딥러닝과 머신러닝 알고리즘에 기반한 제직 원단의 결점 검출 자동화시스템
CN110927161B (zh) 一种适用于飘丝飘杂的视检方法
US20220170189A1 (en) A device and a method for real-time identification of defects in fabrics, during weaving
KR20210156781A (ko) 편성기 및 불량검출시스템
CN110184659B (zh) 一种化纤纺丝工艺丝路的检测装置
CN110308147B (zh) 一种化纤纺丝工艺丝路的智能检查方法
CN104422694A (zh) 测量数据的处理装置及处理方法、光学测量系统
CN210796704U (zh) 一种化纤纺丝工艺丝路的检测装置
CN105910534B (zh) 橡塑制品几何量测量系统
US7375806B2 (en) Method for inspecting the quality criteria of flat textile structures embodied in a multi-layer form according to a contour
CN115508282B (zh) 一种在线智能验布检测系统
CN116579672A (zh) 一种布匹质量管控方法、系统、电子设备和存储介质
JP2003138468A (ja) 織物検査装置
CN109825944B (zh) 一种基于线激光的织物织造在线疵点检测方法
EP0495984A1 (en) Device for confirming state of adjustment and setting of weaving conditions of loom
CN110658214A (zh) 织机的织疵检查方法和织机的织疵检查装置
US20220259778A1 (en) Reed monitoring assembly, drawing-in machine incorporating such a reed monitoring assembly and process for monitoring a reed with such a reed monitoring assembly
KR102569694B1 (ko) 직물의 피복 표면 상태를 바탕으로 즉시 편직기 상태를 알리기 위한 원형 편 직기
CN115128090A (zh) 基于织物布面状态实时提示针织机状态的圆针织机
US11787169B2 (en) Apparatus for inspecting printed images and method for validating inspection algorithms
CN115697873A (zh) 用于自动地检验织物用线轴的质量的装置和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200310

CF01 Termination of patent right due to non-payment of annual fee