CN108460325A - 一种基于elm的双路融合的人群人数统计方法 - Google Patents

一种基于elm的双路融合的人群人数统计方法 Download PDF

Info

Publication number
CN108460325A
CN108460325A CN201810022606.3A CN201810022606A CN108460325A CN 108460325 A CN108460325 A CN 108460325A CN 201810022606 A CN201810022606 A CN 201810022606A CN 108460325 A CN108460325 A CN 108460325A
Authority
CN
China
Prior art keywords
crowd
elm1
elm2
image
elm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810022606.3A
Other languages
English (en)
Other versions
CN108460325B (zh
Inventor
张二虎
刘梦琨
段敬红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN201810022606.3A priority Critical patent/CN108460325B/zh
Publication of CN108460325A publication Critical patent/CN108460325A/zh
Application granted granted Critical
Publication of CN108460325B publication Critical patent/CN108460325B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于ELM的双路融合的人群人数统计方法，具体为：设计两路超限学习机ELM1和ELM1分别捕获人群人数的像素特征和纹理特征与人群人数的关系，并通过第三个超限学习机ELM3实现人群人数的融合，从而了建立基于ELM的双路融合的人群统计模型；然后利用训练集图像分别训练建立的人群统计模型；最后采用经训练的人群统计模型对视频图像中的人群人数进行统计。采用本发明方法，可以实现人群的像素特征和纹理特征的有机融合，具有特征互补性强、融合自适应的特点，从而可以大大提高人群人数统计模型的准确性。

Description

一种基于ELM的双路融合的人群人数统计方法
技术领域
本发明属于视频监控技术领域，涉及一种基于ELM的双路融合的人群人数统计方法。
背景技术
由于人群拥挤导致的群体性事件屡屡发生，于是人们提出了通过视频监控的方法对公共场所的人群人数进行智能化的统计与管理，以预防由人群拥挤带来的安全问题。
近年来关于人群人数统计方法的研究取得了一定的进展，然而在实际的大型场景下，存在着人群活动场景复杂、采集的视频图像光照变化影响等问题，造成人群人数的统计还存在着较大的误差。传统的人群人数估计方法在初期特征提取中主要考虑像素或纹理特征问题，没有充分考虑特征之间及特征本身的特性，从而没有充分的挖掘特征信息；在人群人数统计模型方面，现有的多元线性回归、支持向量回归、脊回归等模型，存在着模型预测准确性还不够高、训练时间较长等问题。本发明针对这些问题，发明了利用较少的人群特征和双路融合的ELM模型，达到准确、快速地统计出视频图像中的人群人数。
发明内容
本发明的目的是提供一种基于ELM的双路融合的人群人数统计方法，解决了现有人群人数统计特征难以融合、人群人数统计模型精度不够高的问题。
本发明所采用的技术方案是，一种基于ELM的双路融合的人群人数统计方法，具体按以下步骤实施：
步骤1，建立基于ELM的双路融合的人群统计模型：
设计两路超限学习机ELM1和ELM2分别捕获人群人数的像素特征和纹理特征与人群人数的关系，并通过第三个超限学习机ELM3实现人群人数的融合；
步骤2，利用训练集图像分别训练步骤1建立的人群统计模型；
步骤3，采用经步骤2训练的人群统计模型对视频图像中的人群人数进行统计。
本发明的特点还在于，
步骤1中ELM1，有两个输入，分别为人群前景目标的周长和面积；一个输出，为由ELM1估计出的人群人数；一个隐层，节点数为50；
ELM2，有47个输入，包括32个韦伯特征WLD和15个灰度共生矩阵特征GLCM；一个输出，为由ELM2估计出的人群人数；一个隐层，节点数为4000；
ELM3，有两个输入，分别连接ELM1的输出和ELM2的输出；一个隐层，节点数为45；一个输出作为最后融合后统计出的人群人数。
步骤2中训练集图像，包括已采集的人群视频图像和视频图像中对应的人群人数。
步骤2具体为：
2.1对训练集图像，采用基于ViBe方法建立背景模型图像，运用背景减除法获得初步的人群前景目标；
2.2提取每幅图像的人群前景目标的像素特征，作为ELM1的输入，图像中的人群人数作为ELM1的输出，训练ELM1；提取每幅图像的纹理特征，作为ELM2的输入，图像中的人群人数作为ELM2的输出，训练ELM2；
2.3分别将训练集图像中人群前景目标的像素特征和纹理特征输入训练好的ELM1和ELM2中，将ELM1和ELM2的输出作为ELM3的输入，将图像中的人群人数作为ELM3的输出，训练ELM3。
步骤2.1中，初步获得人群前景目标需进行后处理，消除孔洞不完整和噪音干扰。
后处理具体为：采用形态学中的闭运算对初步获得的人群前景目标进行后处理，其中膨胀采用椭圆形结构元素，椭圆的短轴在水平方向、半径为2个像素；椭圆的长轴在垂直方向、半径为5个像素；腐蚀采用长方形的结构元素，其宽和高分别为2个像素和6个像素。
像素特征包括周长和面积；纹理特征，包括韦伯特征WLD和灰度共生矩阵特征GLCM。
统计过程具体为：获取需要估计人群人数的视频图像的人群前景目标，提取人群人数的像素特征和纹理特征，分别作为ELM1和ELM2的输入，并将ELM1和ELM2的输出作为ELM3的输入，经ELM3的融合输出，即可得到需要估计人群人数的视频图像中包含的人群人数。
本发明的有益效果是，本发明一种基于ELM的双路融合的人群人数统计方法，所设计的两路超限学习机模型可以分别捕获人群的像素特征和纹理特征与人群人数的关系，并通过第三个超限学习机模型实现人群人数的融合。采用本发明方法，可以实现人群的像素特征和纹理特征的有机融合，具有特征互补性强、融合自适应的特点，从而可以大大提高人群人数统计模型的准确性。
附图说明
图1是本发明一种基于ELM的双路融合的人群人数统计方法的流程图；
图2是本发明方法中基于ELM的双路融合的人群人数统计模型。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明提供了一种基于ELM的双路融合的人群人数统计方法，其流程如图1所示，具体按照以下步骤实施：
步骤1，建立训练集图像，具体包括采集人群视频图像，人工标定每幅图像中的人群人数，将所得到人群视频图像及其对应的人群人数作为训练集图像。
步骤2，建立基于ELM的双路融合的人群统计模型，如图2所示，由三部分组成：其中一路为ELM1，它有两个输入，分别为人群前景目标的周长和面积，一个输出，为由ELM1估计出的人群人数，一个隐层，节点数为50；另一路为ELM2，它有47个输入，包括32个韦伯特征WLD和15个灰度共生矩阵特征GLCM，一个输出，为由ELM2估计出的人群人数，一个隐层，节点数为4000；最后一部分为起融合作用的ELM3，它有两个输入，分别连接ELM1的输出和ELM2的输出，一个隐层，节点数为45，一个输出作为最后融合后统计出的人群人数。
步骤3，利用步骤1得到的训练集图像，训练步骤2所建立的基于ELM的双路融合的人群统计模型，具体步骤如下：
步骤3.1，对步骤1得到的训练集图像，采用基于ViBe方法建立背景模型图像，运用背景减除法获得初步的人群前景目标。
为消除初步获得的人群前景目标中存在的孔洞不完整和噪音干扰问题，本发明针对人体对象设计了两个独特的形态学结构元素，采用形态学中的闭运算对初步获得的人群前景目标进行后处理，其中膨胀采用椭圆形结构元素，椭圆的短轴在水平方向、半径为2个像素；椭圆的长轴在垂直方向、半径为5个像素。腐蚀采用长方形的结构元素，其宽和高分别为2个像素和6个像素；
步骤3.2，首先对步骤3.1中获得的训练集图像中每幅图像的人群前景目标，提取像素特征，包括周长和面积；然后将提取到的每幅图像人群前景目标的周长和面积作为第一个超限学习机ELM1的输入，每幅图像中标定的人群人数作为ELM1的输出，训练ELM1；
步骤3.3，首先提取训练集图像中每幅图像的纹理特征，包括韦伯特征WLD(WeberLocal Descriptor)和灰度共生矩阵特征GLCM；然后将提取到的每幅图像的韦伯特征WLD(Weber Local Descriptor)和灰度共生矩阵特征GLCM作为第二个超限学习机ELM2的输入，每幅图像中标定的人群人数作为ELM2的输出，训练ELM2；
步骤3.4，使用训练集中的所有图像，训练第三个超限学习机ELM3，具体为：
首先提取训练集图像中所有图像的周长、面积、韦伯特征WLD和灰度共生矩阵特征GLCM；然后将周长、面积输入训练好的ELM1，求ELM1的输出，将其作为ELM3的第一个输入；再将韦伯特征WLD和灰度共生矩阵特征GLCM输入训练好的ELM2，求ELM2的输出，将其作为ELM3的第二个输入；最后，将各图像中标定的人群人数作为ELM3的输出，训练ELM3；
步骤4，对于需要估计人群人数的视频图像，首先利用步骤3.1中的方法获取人群前景目标，并求人群前景目标的周长、面积特征作为训练好的ELM1的输入；然后提取要估计人群人数的视频图像的韦伯特征WLD和灰度共生矩阵特征GLCM，作为ELM2的输入；最后利用步骤3训练好的基于ELM的双路融合的人群统计模型，即可求得需要估计人群人数的视频图像中包含的人群人数，即ELM3的输出。
现有的人群人数统计方法不能较好的融合人群的像素特征和纹理特征，人群人数统计不够精准，本发明一种基于ELM的双路融合的人群人数统计方法，所设计的两路超限学习机模型可以分别捕获人群的像素特征和纹理特征，并通过第三个超限学习机模型实现人群人数的融合。采用本发明方法，可以实现人群的像素特征和纹理特征的有机融合，具有特征互补性强、融合自适应的特点，从而可以大大提高人群人数统计模型的准确性。

Claims (8)

1.一种基于ELM的双路融合的人群人数统计方法，其特征在于，具体按以下步骤实施：
步骤1，建立基于ELM的双路融合的人群统计模型：
设计两路超限学习机ELM1和ELM2分别捕获人群人数的像素特征和纹理特征与人群人数的关系，并通过第三个超限学习机ELM3实现人群人数的融合；
步骤2，利用训练集图像分别训练步骤1建立的人群统计模型；
步骤3，采用经步骤2训练的人群统计模型对视频图像中的人群人数进行统计。
2.根据权利要求1所述的一种基于ELM的双路融合的人群人数统计方法，其特征在于，所述步骤1中ELM1，有两个输入，分别为人群前景目标的周长和面积；一个输出，为由ELM1估计出的人群人数；一个隐层，节点数为50；
ELM2，有47个输入，包括32个韦伯特征WLD和15个灰度共生矩阵特征GLCM；一个输出，为由ELM2估计出的人群人数；一个隐层，节点数为4000；
ELM3，有两个输入，分别连接ELM1的输出和ELM2的输出；一个隐层，节点数为45；一个输出作为最后融合后统计出的人群人数。
3.根据权利要求1所述的一种基于ELM的双路融合的人群人数统计方法，其特征在于，所述步骤2中训练集图像，包括已采集的人群视频图像和视频图像中对应的人群人数。
4.根据权利要求1或3所述的一种基于ELM的双路融合的人群人数统计方法，其特征在于，所述步骤2具体为：
2.1对训练集图像，采用基于ViBe方法建立背景模型图像，运用背景减除法获得初步的人群前景目标；
2.2提取每幅图像的人群前景目标的像素特征，作为ELM1的输入，图像中的人群人数作为ELM1的输出，训练ELM1；提取每幅图像的纹理特征，作为ELM2的输入，图像中的人群人数作为ELM2的输出，训练ELM2；
2.3分别将训练集图像中人群前景目标的像素特征和纹理特征输入训练好的ELM1和ELM2中，将ELM1和ELM2的输出作为ELM3的输入，将图像中的人群人数作为ELM3的输出，训练ELM3。
5.根据权利要求4所述的一种基于ELM的双路融合的人群人数统计方法，其特征在于，所述步骤2.1中，初步获得人群前景目标需进行后处理，消除孔洞不完整和噪音干扰。
6.根据权利要求5所述的一种基于ELM的双路融合的人群人数统计方法，其特征在于，所述后处理具体为：采用形态学中的闭运算对初步获得的人群前景目标进行后处理，其中膨胀采用椭圆形结构元素，椭圆的短轴在水平方向、半径为2个像素；椭圆的长轴在垂直方向、半径为5个像素；腐蚀采用长方形的结构元素，其宽和高分别为2个像素和6个像素。
7.根据权利要求1所述的一种基于ELM的双路融合的人群人数统计方法，其特征在于，所述像素特征包括周长和面积；纹理特征，包括韦伯特征WLD和灰度共生矩阵特征GLCM。
8.根据权利要求1所述的一种基于ELM的双路融合的人群人数统计方法，其特征在于，所述统计过程具体为：获取需要估计人群人数的视频图像的人群前景目标，提取人群人数的像素特征和纹理特征，分别作为ELM1和ELM2的输入，并将ELM1和ELM2的输出作为ELM3的输入，经ELM3的融合输出，即可得到需要估计人群人数的视频图像中包含的人群人数。
CN201810022606.3A 2018-01-10 2018-01-10 一种基于elm的双路融合的人群人数统计方法 Expired - Fee Related CN108460325B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810022606.3A CN108460325B (zh) 2018-01-10 2018-01-10 一种基于elm的双路融合的人群人数统计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810022606.3A CN108460325B (zh) 2018-01-10 2018-01-10 一种基于elm的双路融合的人群人数统计方法

Publications (2)

Publication Number Publication Date
CN108460325A true CN108460325A (zh) 2018-08-28
CN108460325B CN108460325B (zh) 2021-07-20

Family

ID=63220546

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810022606.3A Expired - Fee Related CN108460325B (zh) 2018-01-10 2018-01-10 一种基于elm的双路融合的人群人数统计方法

Country Status (1)

Country Link
CN (1) CN108460325B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080106599A1 (en) * 2005-11-23 2008-05-08 Object Video, Inc. Object density estimation in video
CN103996018A (zh) * 2014-03-03 2014-08-20 天津科技大学 基于4dlbp的人脸识别方法
CN104504394A (zh) * 2014-12-10 2015-04-08 哈尔滨工业大学深圳研究生院 一种基于多特征融合的密集人数估计方法和系统
CN104933418A (zh) * 2015-06-25 2015-09-23 西安理工大学 一种双像机的人群人数统计方法
CN105303193A (zh) * 2015-09-21 2016-02-03 重庆邮电大学 一种基于单帧图像处理的人数统计系统
US20160133025A1 (en) * 2014-11-12 2016-05-12 Ricoh Company, Ltd. Method for detecting crowd density, and method and apparatus for detecting interest degree of crowd in target position
CN105678268A (zh) * 2016-01-11 2016-06-15 华东理工大学 一种基于双区域学习的地铁站场景行人计数实现方法
WO2017122258A1 (ja) * 2016-01-12 2017-07-20 株式会社日立国際電気 混雑状況監視システム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080106599A1 (en) * 2005-11-23 2008-05-08 Object Video, Inc. Object density estimation in video
CN103996018A (zh) * 2014-03-03 2014-08-20 天津科技大学 基于4dlbp的人脸识别方法
US20160133025A1 (en) * 2014-11-12 2016-05-12 Ricoh Company, Ltd. Method for detecting crowd density, and method and apparatus for detecting interest degree of crowd in target position
CN104504394A (zh) * 2014-12-10 2015-04-08 哈尔滨工业大学深圳研究生院 一种基于多特征融合的密集人数估计方法和系统
CN104933418A (zh) * 2015-06-25 2015-09-23 西安理工大学 一种双像机的人群人数统计方法
CN105303193A (zh) * 2015-09-21 2016-02-03 重庆邮电大学 一种基于单帧图像处理的人数统计系统
CN105678268A (zh) * 2016-01-11 2016-06-15 华东理工大学 一种基于双区域学习的地铁站场景行人计数实现方法
WO2017122258A1 (ja) * 2016-01-12 2017-07-20 株式会社日立国際電気 混雑状況監視システム

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
MACHINE-LEARNER: "多特征结合方法总结", 《HTTPS://BLOG.CSDN.NET/LEMONRAIN7/ARTICLE/DETAILS/21953061》 *
SHAN YANG: "Crowd Density Estimation Based on ELM Learning Algorithm", 《JOURNAL OF SOFTWARE》 *
周成博 等: "基于景区场景下的人群计数", 《现代计算机》 *
徐麦平等: "融合像素与纹理特征的人群人数统计方法研究", 《西安理工大学学报》 *

Also Published As

Publication number Publication date
CN108460325B (zh) 2021-07-20

Similar Documents

Publication Publication Date Title
CN102307274B (zh) 基于边缘检测和帧差法的运动检测方法
CN106709511A (zh) 基于深度学习的城市轨道交通全景监控视频故障检测方法
CN104063686B (zh) 作物叶部病害图像交互式诊断系统与方法
CN110659659A (zh) 一种智能识别和预警害虫的方法及系统
CN107133969A (zh) 一种基于背景反投影的移动平台运动目标检测方法
CN111768336A (zh) 人脸图像处理方法、装置、计算机设备和存储介质
CN105574896B (zh) 一种面向高分辨率视频的高效背景建模方法
CN111368911B (zh) 一种图像分类方法、装置和计算机可读存储介质
CN104700405B (zh) 一种前景检测方法和系统
CN109242796A (zh) 文字图像处理方法、装置、电子设备和计算机存储介质
CN102314591B (zh) 静止前景物体的检测方法和设备
CN111582654B (zh) 基于深度循环神经网络的服务质量评价方法及其装置
CN109740527B (zh) 一种视频帧中图像处理方法
Liu et al. 3d action recognition using data visualization and convolutional neural networks
Zhu et al. Ultra-high temporal resolution visual reconstruction from a fovea-like spike camera via spiking neuron model
CN113887519A (zh) 基于人工智能的垃圾投放识别方法、装置、介质及服务器
CN108717522A (zh) 一种基于深度学习和相关滤波的人体目标跟踪方法
CN104732555A (zh) 基于Sobel算子的图像边缘检测方法
CN112488165A (zh) 一种基于深度学习模型的红外行人识别方法及系统
WO2023001110A1 (zh) 神经网络训练方法、装置及电子设备
CN111967406A (zh) 人体关键点检测模型生成方法、系统、设备和存储介质
CN116612355A (zh) 人脸伪造识别模型训练方法和装置、人脸识别方法和装置
CN108460325A (zh) 一种基于elm的双路融合的人群人数统计方法
CN112766481B (zh) 神经网络模型的训练方法、装置及图像检测的方法
CN106446764B (zh) 基于改进的模糊颜色聚合向量的视频目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210720

CF01 Termination of patent right due to non-payment of annual fee