CN110852305A - 一种人体步态特征提取方法 - Google Patents

一种人体步态特征提取方法 Download PDF

Info

Publication number
CN110852305A
CN110852305A CN201911155048.9A CN201911155048A CN110852305A CN 110852305 A CN110852305 A CN 110852305A CN 201911155048 A CN201911155048 A CN 201911155048A CN 110852305 A CN110852305 A CN 110852305A
Authority
CN
China
Prior art keywords
gait
human
human body
image
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911155048.9A
Other languages
English (en)
Inventor
蔡成涛
周悦媛
王峰
乔人杰
蔺孟群
侯立东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN201911155048.9A priority Critical patent/CN110852305A/zh
Publication of CN110852305A publication Critical patent/CN110852305A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像处理技术领域，具体涉及的是一种人体步态特征提取方法，包括以下步骤：对人体步态序列中的每帧图像进行预处理；对分割后的图像分别进行卷积操作以获得步态特征；对步态特征在纵向进行随机消除，消除部分特征用零填充以得到尺寸不变的最终步态特征。本发明应用于基于步态的人体生物识别中通过特征级数据扩增原理来提高人在多变的行走状态下的识别正确率，降低背包、换衣等噪声的影响，使步态识别技术能够应用在更多复杂场景中。

Description

一种人体步态特征提取方法
技术领域
本发明属于人工智能计算机视觉技术领域，具体涉及一种人体步态特征提取方法，特别是一种基于随机消除的人体步态特征提取算法。
背景技术
步态识别(Gait Recognition)是前沿的生物特征识别技术，通过人的身体体型(身高、腿骨、肌肉、关节等生理特征)和走路姿态进行身份识别。人通过换装(如换鞋、戴帽、穿大衣等)或变换走路姿势，并不能逃离步态识别技术的捕捉。因此，步态识别是一项非常重要并且基本稳定的生物特征识别技术。步态识别技术的可行性来源于人类行走姿态的不同，英国南安普敦大学电子与计算机系的马克·尼克松教授的研究显示，人人都有截然不同的走路姿势，因为人们在肌肉的力量、肌腱和骨骼长度、骨骼密度、视觉的灵敏程度、协调能力、经历、体重、重心、肌肉或骨骼受损的程度、生理条件以及个人走路的“风格”上都存在细微差异。在智能视频监控领域，步态识别技术比一般图像识别更具优势。
特征选择是指去掉无关特征，保留相关特征的过程，也可以认为是从所有的特征中选择一个最好的特征子集。特征选择本质上可以认为是降维的过程。在计算机视觉中，主要提取图像特征。图像特征主要有图像的颜色特征、纹理特征、形状特征和空间关系特征。颜色特征是一种全局特征，描述了图像或图像区域所对应的景物的表面性质。纹理特征也是一种全局特征，它也描述了图像或图像区域所对应景物的表面性质。但由于纹理只是一种物体表面的特性，并不能完全反映出物体的本质属性，所以仅仅利用纹理特征是无法获得高层次图像内容的。与颜色特征不同，纹理特征不是基于像素点的特征，它需要在包含多个像素点的区域中进行统计计算。形状特征有两类表示方法，一类是轮廓特征，另一类是区域特征。图像的轮廓特征主要针对物体的外边界，而图像的区域特征则关系到整个形状区域。所谓空间关系，是指图像中分割出来的多个目标之间的相互的空间位置或相对方向关系，这些关系也可分为连接/邻接关系、交叠/重叠关系和包含/包容关系等。通常空间位置信息可以分为两类：相对空间位置信息和绝对空间位置信息。前一种关系强调的是目标之间的相对情况，如上下左右关系等，后一种关系强调的是目标之间的距离大小以及方位。常见的图像特征提取方式有：SIFT、HOG、SURF、ORB、LBP、HAAR和卷积神经网络等。
基于人体步态特征的识别技术目前还不够成熟，主要原因是受试者步态视频被采集的视角不同、衣着不同和故意伪装情况下识别正确率会大幅度降低。本发明旨在提高受试者更换衣着后的识别正确率，防止受试者故意伪装以达到识别身份不正确的目的，真正地让基于步态特征的身份识别技术做到远距离、不侵入、非主动和不易伪装的对人体身份进行重识别。
发明内容
针对上述现有技术，本发明要解决的技术问题是提供一种有效增强人体步态识别领域中卷积神经网络泛化能力的基于随机消除的人体步态特征提取算法，通过对卷积特征合理的变换扩增得到更好的识别效果。
为解决上述技术问题，本发明的一种人体步态特征提取方法，包括以下步骤：
S1：将人体步态序列中全部帧组成人体步态帧图像序列，对人体步态帧图像序列逐帧进行预处理，得到人体轮廓帧图像序列；
S2：对人体轮廓帧图像序列进行逐帧卷积操作提取人体步态特征，人体步态特征的高度记为h’；
S3：选取合适的消除值D；
S4：随机选取人体步态特征的D行进行零填充得到最终步态特征。
本发明还包括：
1.S1所述对人体步态帧图像序列逐帧进行预处理包括：提取人体轮廓前景构成人体轮廓前景图像序列，并从人体轮廓前景图像序列中提取人体轮廓帧图像；
所述提取人体轮廓采取背景减除法，具体为：
背景减除后的前景图像即人体轮廓D(x,y)满足：
Figure BDA0002284576300000021
其中，I(t)为t时刻图像，Ibak为背景图像，T为背景减除阈值；
对所有的人体轮廓前景图像D(x,y)进行裁剪：首先找到图像中前景部分，即人体轮廓的最高点和最低点作为边界进行水平裁剪得到纵向裁剪图像，再对纵向裁剪图像进行尺度变换，使得图像的高度为S2中卷积操作的神经网络所需输入图像的高度h，然后计算全部前景像素横坐标均值xcenter作为中心坐标，在中心坐标左右两侧各w/2处进行裁剪得到人体轮廓帧图像，其中w是卷积网络输入图像的宽度。
2.S2所述卷积操作采用FCNN网络。
3.S2所述卷积操作采用AlexNet网络。
4.S2所述卷积操作采用ResNet网络。
5.S2所述卷积操作采用GaitSet网络。
6.S3所述D的选取可使D＝0,1,2,…,h’-1分别进行实验，最后选用实验效果最好的D值。
7.S4所述随机选取人体步态特征的D行进行零填充得到最终步态特征具体为：在[0,h’]范围内随机生成D个随机数Rd，其中d＝1,2,...,D，用0值填充步骤S2中产生的人体步态特征Rd行的全部原有数据，得到一个尺度不变的最终步态特征。
本发明的有益效果：本发明在完成了对人体轮廓卷积特征提取后，采用了随机消除的方法使得特征有效扩增，有效提高人体步态识别正确率。本发明旨在提高受试者更换衣着后的识别正确率，防止受试者故意伪装以达到识别身份不正确的目的，真正地让基于步态特征的身份识别技术做到远距离、不侵入、非主动和不易伪装地对人体身份进行重识别。
在人体步态生物识别技术中，针对衣着改变较大情况的身份重识别任务提出了随机消除的人体步态特征提取算法。该算法可以在保证同样行走状态正确率几乎不下降的前提下有效提高人体步态识别多种行走状态下的正确率，即提高神经网络的泛化能力。这使得步态识别进一步的贴切其使用场景，加快步态识别技术的落地应用。
附图说明
图1为人体步态帧图像序列；
图2为人体轮廓前景图像序列；
图3为人体步态轮廓裁剪流程图；
图4为人体轮廓帧图像序列；
图5为在GaitSet网络上应用本发明时D值选取举例。
具体实施方式
下面结合附图对本发明做进一步说明。
本发明属于图像处理技术领域，具体涉及的是一种基于随机消除的人体步态特征提取扩增算法，该算法包括以下步骤：对人体步态序列中的每帧图像做运动分割；对分割后的图像分别进行卷积操作以获得各帧的空间特征；对各帧的空间特征在纵向进行随机消除，消除部分特征用零填充以得到尺寸不变的随机消除特征。本发明应用于基于步态的人体生物识别中通过对逐帧扩增特征的原理来提高人在多变的行走状态下的识别正确率，降低背包、换衣等噪声的影响，使步态识别技术能够应用在更多复杂场景中。
本发明公开了一种随机消除的人体步态特征算法，该方法包括以下步骤：
S1、将人体步态序列中全部帧作为帧图像序列，对帧图像序列逐帧进行预处理；
S2、对人体轮廓帧图像序列进行卷积操作提取人体步态特征；
S3、选取合适的消除值D；
S4、随机选取人体步态特征的D行进行零填充得到最终步态特征。
在步骤S1中，将人体步态序列中全部帧作为帧图像序列，对帧图像序列逐帧进行预处理，预处理的过程可以包含前景提取、图像裁剪和图像尺度变换等操作。如步骤S1所述，将一个人体步态序列中的各帧组成人体步态帧图像序列，如图1所示为一个步态帧图像序列，并逐帧进行预处理，这里举例的预处理过程包括提取人体轮廓前景构成人体轮廓前景图像序列，并对人体轮廓前景图像序列逐帧裁剪后得到人体轮廓帧图像。对步态帧图像序列逐帧提取图像前景即人体轮廓得到人体轮廓前景图像，一个序列的全部人体轮廓前景图像构成人体轮廓前景图像序列如图2所示。提取人体轮廓方法有很多，如光流法、背景减除法和实力分割法等，这里以背景减除法举例，具体数学描述如下:
Figure BDA0002284576300000041
其中，D(x,y)为背景减除后的前景图像即人体轮廓，I(t)为t时刻图像，Ibak为背景图像，T为背景减除阈值。再对所有的人体轮廓前景图像D(x,y)进行裁剪，裁剪流程如图3，首先找到图像中前景(白色像素)部分的最高点和最低点作为边界进行水平裁剪得到图3中纵向裁剪图像，再对纵向裁剪图像进行尺度变换，使得图像的高度为后续卷积神经网络所需输入图像的高度h，接下来计算全部前景像素横坐标均值xcenter作为中心坐标，在中心坐标左右两侧各w/2处进行裁剪得到图3中的人体轮廓帧图像，其中w是卷积网络输入图像的宽度。由图3中人体轮廓帧图像构成的序列如图4所示。
如步骤S2所述，对人体轮廓帧图像序列进行卷积操作。卷积操作可以为通用的骨架网络如FCNN、AlexNet和ResNet等的逐帧卷积，也可以是专用网络如GaitSet等的全序列卷积。经过卷积操作得到的图像特征称为人体步态特征，其中人体步态特征的高度记为h’。
如步骤S3所述，选取合适的消除值D，可以给定特征行数的百分数或直接给定需要消除的特征行数，D的选取一般由实验或经验获得，首次使用可使D＝0,1,2,…,h’-1分别进行实验，最后选用实验效果最好的D值即可。通常情况下可优先实验D＝h’/2至D＝h’-1参数，少数情况D＝0至D＝h’/2能够获得更好的效果。例如用去掉HPM的GaitSet网络作为骨架网络时，不同D值下的实验数据如图5所示，NM为正常步态，BG为背包状态，CL为穿大衣状态，选取实验中正确率最高时的D值可得D＝3。
在步骤S4中，对S2中生成的轮廓帧特征进行消除，消除行数为S3中指定行数D，消除行为随机D行或随机连续D行。
如步骤S4所示，在[0,h’]范围内随机生成D个随机数Rd(d＝1,2,...D)。用0值填充步骤S2中产生的人体步态特征Rd(d＝1,2,...D)行的全部原有数据，得到一个尺度完全不变的最终步态特征完成人体步态特征提取的全部过程。

Claims (8)

1.一种人体步态特征提取方法，其特征在于，包括以下步骤：
S1：将人体步态序列中全部帧组成人体步态帧图像序列，对人体步态帧图像序列逐帧进行预处理，得到人体轮廓帧图像序列；
S2：对人体轮廓帧图像序列进行逐帧卷积操作提取人体步态特征，人体步态特征的高度记为h’；
S3：选取合适的消除值D；
S4：随机选取人体步态特征的D行进行零填充得到最终步态特征。
2.根据权利要求1所述的一种人体步态特征提取方法，其特征在于：S1所述对人体步态帧图像序列逐帧进行预处理包括：提取人体轮廓前景构成人体轮廓前景图像序列，并从人体轮廓前景图像序列中提取人体轮廓帧图像；
所述提取人体轮廓采取背景减除法，具体为：
背景减除后的前景图像即人体轮廓D(x,y)满足：
其中，I(t)为t时刻图像，Ibak为背景图像，T为背景减除阈值；
对所有的人体轮廓前景图像D(x,y)进行裁剪：首先找到图像中前景部分，即人体轮廓的最高点和最低点作为边界进行水平裁剪得到纵向裁剪图像，再对纵向裁剪图像进行尺度变换，使得图像的高度为S2中卷积操作的神经网络所需输入图像的高度h，然后计算全部前景像素横坐标均值xcenter作为中心坐标，在中心坐标左右两侧各w/2处进行裁剪得到人体轮廓帧图像，其中w是卷积网络输入图像的宽度。
3.根据权利要求1所述的一种人体步态特征提取方法，其特征在于：S2所述卷积操作采用FCNN网络。
4.根据权利要求1所述的一种人体步态特征提取方法，其特征在于：S2所述卷积操作采用AlexNet网络。
5.根据权利要求1所述的一种人体步态特征提取方法，其特征在于：S2所述卷积操作采用ResNet网络。
6.根据权利要求1所述的一种人体步态特征提取方法，其特征在于：S2所述卷积操作采用GaitSet网络。
7.根据权利要求1所述的一种人体步态特征提取方法，其特征在于：S3所述D的选取可使D＝0,1,2,…,h’-1分别进行实验，最后选用实验效果最好的D值。
8.根据权利要求1所述的一种人体步态特征提取方法，其特征在于：S4所述随机选取人体步态特征的D行进行零填充得到最终步态特征具体为：在[0,h’]范围内随机生成D个随机数Rd，其中d＝1,2,...,D，用0值填充步骤S2中产生的人体步态特征Rd行的全部原有数据，得到一个尺度不变的最终步态特征。
CN201911155048.9A 2019-11-18 2019-11-18 一种人体步态特征提取方法 Pending CN110852305A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911155048.9A CN110852305A (zh) 2019-11-18 2019-11-18 一种人体步态特征提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911155048.9A CN110852305A (zh) 2019-11-18 2019-11-18 一种人体步态特征提取方法

Publications (1)

Publication Number Publication Date
CN110852305A true CN110852305A (zh) 2020-02-28

Family

ID=69603497

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911155048.9A Pending CN110852305A (zh) 2019-11-18 2019-11-18 一种人体步态特征提取方法

Country Status (1)

Country Link
CN (1) CN110852305A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401305A (zh) * 2020-04-08 2020-07-10 北京精准沟通传媒科技股份有限公司 一种4s店顾客统计方法、装置及电子设备
CN111931714A (zh) * 2020-09-21 2020-11-13 德鲁动力科技(海南)有限公司 视觉感知方法及系统
CN117132948A (zh) * 2023-10-27 2023-11-28 南昌理工学院 景区游客流量监控方法、系统、可读存储介质及计算机

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766819A (zh) * 2017-10-18 2018-03-06 陕西国际商贸学院 一种视频监控系统及其实时步态识别方法
CN108520216A (zh) * 2018-03-28 2018-09-11 电子科技大学 一种基于步态图像的身份识别方法
CN110084156A (zh) * 2019-04-12 2019-08-02 中南大学 一种步态特征提取方法及基于步态特征的行人身份识别方法
CN110222665A (zh) * 2019-06-14 2019-09-10 电子科技大学 一种基于深度学习和姿态估计的监控中人体动作识别方法
CN110390290A (zh) * 2019-07-17 2019-10-29 北京天正聚合科技有限公司 一种识别目标对象的方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766819A (zh) * 2017-10-18 2018-03-06 陕西国际商贸学院 一种视频监控系统及其实时步态识别方法
CN108520216A (zh) * 2018-03-28 2018-09-11 电子科技大学 一种基于步态图像的身份识别方法
CN110084156A (zh) * 2019-04-12 2019-08-02 中南大学 一种步态特征提取方法及基于步态特征的行人身份识别方法
CN110222665A (zh) * 2019-06-14 2019-09-10 电子科技大学 一种基于深度学习和姿态估计的监控中人体动作识别方法
CN110390290A (zh) * 2019-07-17 2019-10-29 北京天正聚合科技有限公司 一种识别目标对象的方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHENGTAO CAI等: "CHD: Consecutive Horizontal Dropout for Human Gait Feature Extraction", 《2019 INTERNATIONAL CONFERENCE ON COMPUTING AND PATTERN RECOGNITION》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401305A (zh) * 2020-04-08 2020-07-10 北京精准沟通传媒科技股份有限公司 一种4s店顾客统计方法、装置及电子设备
CN111931714A (zh) * 2020-09-21 2020-11-13 德鲁动力科技(海南)有限公司 视觉感知方法及系统
CN117132948A (zh) * 2023-10-27 2023-11-28 南昌理工学院 景区游客流量监控方法、系统、可读存储介质及计算机
CN117132948B (zh) * 2023-10-27 2024-01-30 南昌理工学院 景区游客流量监控方法、系统、可读存储介质及计算机

Similar Documents

Publication Publication Date Title
Jalal et al. Human body parts estimation and detection for physical sports movements
CN110852305A (zh) 一种人体步态特征提取方法
WO2020000096A1 (en) Human pose analysis system and method
CN108197533A (zh) 一种基于用户表情的人机交互方法、电子设备及存储介质
CN109902565B (zh) 多特征融合的人体行为识别方法
CN108805140B (zh) 一种基于lbp的特征快速提取方法及人脸识别系统
Aydogdu et al. Comparison of three different CNN architectures for age classification
CN109919137B (zh) 一种行人结构化特征表达方法
CN103870808A (zh) 一种手指静脉识别方法
CN108510500A (zh) 一种基于人脸肤色检测的虚拟人物形象的头发图层处理方法及系统
Mancas et al. A rarity-based visual attention map-application to texture description
JP2023082065A (ja) ユーザのバイオメトリック特性を有する画像中の物体を識別して、画像のうちバイオメトリック特性を含む部分を他の部分から分離することにより当該ユーザのｉｄを検証するための方法
CN107895154B (zh) 面部表情强度计算模型的形成方法及系统
CN106709480B (zh) 基于加权强度pcnn模型的分块人脸识别方法
CN109815786B (zh) 一种基于区域熵特征的步态识别方法
CN112883758B (zh) 一种活体检测方法、装置
Chen et al. Illumination processing in face recognition
CN112613430B (zh) 一种基于深度迁移学习的步态识别方法
Babalola et al. Wrist vein recognition by fusion of multiple handcrafted methods
CN112749713A (zh) 一种基于人工智能的大数据图像识别系统及方法
Devi et al. Active facial tracking
CN111444374A (zh) 人体检索系统和方法
CN110807414B (zh) 一种基于三维人形分割的步态识别分析方法
KR102629393B1 (ko) 병렬 서브샘플링 구조를 가지는 cnn 기반 지정맥 인식 기법
Hajri et al. Finger-knuckle-print image enhancement with histogram equalization methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200228

RJ01 Rejection of invention patent application after publication