CN110210439A - 基于轻量化三维卷积网络的行为识别方法 - Google Patents

基于轻量化三维卷积网络的行为识别方法 Download PDF

Info

Publication number
CN110210439A
CN110210439A CN201910498020.9A CN201910498020A CN110210439A CN 110210439 A CN110210439 A CN 110210439A CN 201910498020 A CN201910498020 A CN 201910498020A CN 110210439 A CN110210439 A CN 110210439A
Authority
CN
China
Prior art keywords
video
lightweight
network
layer
width
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910498020.9A
Other languages
English (en)
Inventor
李映
王校男
张号逵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN201910498020.9A priority Critical patent/CN110210439A/zh
Publication of CN110210439A publication Critical patent/CN110210439A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明利用洗牌层、空间卷积和时间卷积分解，分组卷积等，设计构建一个轻量化的三维卷积神经网络来处理行为识别问题。该轻量化三维卷积网络能够，在保证识别精度的同时，显著的减少网络参数量、运算量及计算开销，提升网络执行速度。

Description

基于轻量化三维卷积网络的行为识别方法
技术领域
本发明涉及一种基于轻量化网络对视频中的行为进行识别的方法，属于视频信息分析理解领域。
背景技术
行为识别的具体任务是，识别出一段视频中的行为动作。行为识别是在计算机视觉中最活跃的研究领域之一，被广泛应用在机器人、视频监控和医疗护理领域。
近年来，随着深度学习技术的发展，基于深度学习的行为识别方法层出不穷，且极大的提升了行为识别的精度。基于深度学习的行为识别方法主要包括五类：基于二维卷积的方法，基于二维三维混合卷积的方法，基于二维卷积和循环神经网络的方法，基于三维卷积网络的方法，基于图网络模型的方法。其中，基于三维卷积网络的方法，识别精度最高。
但是，三维卷积网络本身存在参数量大，运算量大的缺点。基于三维卷积网络的行为识别方法虽然识别精度高，但是运算量大，需要的计算资源多，且计算时间长等问题。然而，行为识别的在实际应用中，通常需要尽可能在计算开销较少的情况下，实时的实现高精度的行为识别。因此，针对行为识别问题，设计轻量化的三维卷积神经网络，在保证精度的同时，减少网络参数量，运算量，减少计算资源需求量，提升执行速度是一项非常具有挑战性，但又亟待解决的问题。
发明内容
要解决的技术问题
为了避免现有技术的不足之处，针对行为识别问题，设计构建轻量化的三维卷积神经网络。在保证识别精度的同时，减少网络参数量、运算量及计算开销，提升网络模型的执行速度。
技术方案
一种基于轻量化三维卷积网络的行为识别方法，其特征在于步骤如下：
步骤1：数据预处理
沿着时间维对待识别的视频段，进行裁剪，得到时间长度一致的短视频；
步骤2：划分训练集验证集
从标注了行为类别的视频集合中提取少量视频作为验证集，其余视频作为训练集；
步骤3：构建轻量化三维卷积网络网络模型
所述的轻量化三维卷积网络的结构依次是：(1)一个BN层；(2)一个宽度为64，卷积核尺寸为1×7×7的三维卷积层，一个宽度为64，卷积核尺寸为7×1×1的，步长为(2,1,1)的卷积层；(3)窗口尺寸为1×3×3，步长为(1,2,2)的最大池化层；(4)宽度为64的pointwise卷积层；(5)宽度64，卷积核尺寸1×3×3的卷积层,宽度192卷积核尺寸3×1×1的卷积层；(6)窗口尺寸为1×3×3，步长为(1,2,2)的最大池化层；(7)宽度依次为256和480的轻量化模块3b和3c；(8)窗口尺寸为3×3×3，步长为(2,2,2)的最大池化层；(9)宽度依次为512、512、512、528和832的轻量化模块4b、4c、4d、4e和4f；(10)窗口尺寸为2×2×2，步长为(2,2,2)的最大池化层；(11)宽度依次为832和1024的轻量化模块5b和5c；(12)窗口尺寸为2×7×7，步长为(2,2,2)的平均池化层，宽度为64的pointwise卷积层；
所述的轻量化模块包含四个分支通道，第一条通道由一个pointwise分组卷积层构成，第二条通道及第三条通道均由一层point wise卷积层、一层卷积核为1×3×3的分组卷积层、及卷积核为3×1×1的分组卷积层构成；第四条通道由一个最大池化层及一个pointwise分组卷积层构成；该模块在正向运算过程中，先将输入数据平均分为16组，然后通过洗牌操作让各组信息互相混合，再将16组信息按照比例分配为四组，依次输入给四个分支通道，最后将各分支通道的结果按通道合并，得到轻量化模块的输出；
步骤4：数据导入
定义视频数据具体导入方式，为网络训练做准备；
步骤5：训练网络模型
依照定义的数据导入方式，并行的从不同时间长度的多个视频里提取相同时间长度的视频片段作为训练数据；将训练数据批量的输入到构建好的轻量化三维卷积网络中，以视频片段的标注的类别为指导信号，利用梯度下降算法对网络参数进行训练，直至网络收敛；在验证集上评估训练的网络模型，并防止过拟合；
步骤6：实用
将步骤1中处理好的待处理数据输入到训练好的模型中，进行识别，给出最终的识别结果。
步骤1具体如下：将待处理视频无重叠的截成32帧的视频片段，对于长度不足32帧的视频，进行补充，在末尾依次补充第一帧、第二帧直到视频达到32帧。
步骤2中的少量为5％-10％。
步骤4具体操作：对于训练数据Si＝(Xi,Yi)，从Xi中随机的抽取连续的32帧形成一个短视频片段xi作为该视频的输入数据，Yi作为xi的标签。
有益效果
针对行为识别问题，提出了一种基于轻量化三维卷积网络的行为识别方法，该模型参数量少，运算量小，计算开销低，且精度较高，运算速度快。该模型的提出极大的促进了行为识别向实时化及实用化方向的发展。
附图说明
图1轻量化三维卷积网络示意图
图2轻量化模块示意图
图3算法流程图
具体实施方式
现结合实施例、附图对本发明作进一步描述：
本发明的技术方案是，利用洗牌层(shuffle layer)，空间卷积和时间卷积分解，分组卷积等，设计构建一个轻量化的三维卷积神经网络来处理行为识别问题。该轻量化三维卷积网络能够，在保证识别精度的同时，显著的减少网络参数量、运算量及计算开销，提升网络执行速度。
本技术方案的具体措施如下：
步骤1：数据预处理。沿着时间维对待识别的视频段，进行裁剪，得到时间长度一致的短视频。
步骤2：划分训练集验证集。从标注了行为类别的视频集合中提取少量视频作为验证集，其余视频作为训练集。
步骤3：构建网络模型。利用本发明中提出的轻量化模块构建，轻量化三维卷积网络用于行为识别。
步骤4：数据导入。定义视频数据具体导入方式，为网络训练做准备。
步骤5：训练网络模型。依照定义的数据导入方式，并行的从不同时间长度的多个视频里提取相同时间长度的视频片段作为训练数据。将训练数据批量的输入到构建好的轻量化三维卷积网络中，以视频片段的标注的类别为指导信号，利用梯度下降算法对网络参数进行训练，直至网络收敛。在验证集上评估训练的网络模型，并防止过拟合。
步骤6：实用。将步骤1中处理好的待处理数据输入到训练好的模型中，进行识别，给出最终的识别结果。
具体如下：
步骤1：数据预处理。将待处理的视频表示为V＝{V1,V2,…,Vn}。n表示待处理视频的数量。数据预处理中，将待处理视频无重叠的截成32帧的视频片段。对于长度不足32帧的视频，进行补充，在末尾依次补充第一帧，第二帧直到视频达到32帧。以vij表示从第i个待处理视频中截取的第j段视频片段。
步骤2：划分训练集验证集。以S＝{S1,S2,…,Sm}表示标注了行为类别的视频数据集，其中m表示视频集中视频的数量，Si＝(Xi,Yi)Xi表示一段视频，Yi表示该段视频对应的标签。假设视频集一共包含C种不同的动作，例如骑车，跌倒，攀岩等。则Yi的取值范围为1到C，每个数值对应一种动作。从m个视频样本中，抽取5％-10％作为验证集datav,剩余的数据作为训练集datat。
步骤3：构建网络模型。初始化本发明中所提出的轻量化三维卷积网络，具体结构参照图1。该网络可以接受RGB视频，深度图视频，光流场视频等作为输入。图中BN表示batchnormalization层，Conv表示卷积层。网络的结构依次是：(1)一个BN层；(2)一个宽度为64，卷积核尺寸为1×7×7的三维卷积层，一个宽度为64，卷积核尺寸为7×1×1的，步长为(2,1,1)的卷积层；(3)窗口尺寸为1×3×3，步长为(1,2,2)的最大池化层；(4)宽度为64的pointwise卷积层；(5)宽度64，卷积核尺寸1×3×3的卷积层,宽度192卷积核尺寸3×1×1的卷积层；(6)窗口尺寸为1×3×3，步长为(1,2,2)的最大池化层；(7)宽度依次为256和480的轻量化模块3b和3c；(8)窗口尺寸为3×3×3，步长为(2,2,2)的最大池化层；(9)宽度依次为512、512、512、528和832的轻量化模块4b、4c、4d、4e和4f；(10)窗口尺寸为2×2×2，步长为(2,2,2)的最大池化层；(11)宽度依次为832和1024的轻量化模块5b和5c；(12)窗口尺寸为2×7×7，步长为(2,2,2)的平均池化层，宽度为64的pointwise卷积层。
本发明中，参照图2，以宽度为512的轻量化模块的具体结构为例，说明本发明所设计的结构。图中，Gconv表示分组数为2的分组卷积层，Max-pool表示最大池化层。轻量化模块从左到右包含了四条不同的路径。以480通道的输入尺寸为8×14×14的输入数据为例。480通道的数据，首先被平均分为16组，然后通过洗牌操作让各组信息互相混合，最后重新合并数据形成480通道的数据。从左到右，将480通道中前192通道的数据输入给第一条路径。依次的96，16，96通道的数据输入给第二条、第三条及第四条路径。第一条路径包含了一个宽度为192的point wise分组卷积层。第二条路径包含两部分，第一部分是宽度为96的pointwise分组卷积，第二部分是卷积核为1×3×3，宽度为96，及卷积核为3×1×1宽度为208的分组卷积。第三条路径与第二条路径结构类似，分组卷积的宽度依次为16，16，48。最后一条路径包含一个窗口尺寸为3×3×3的最大池化层，宽度为96的pointwise分组卷积层。四条路径的输出，最后按照通道合并，得到该轻量化模块的输出。其余各模块(3b，3c，4c，4d，4e，4f，5b，5c)结构与模块4b类似。结构概括如下，每个轻量化模块都包含四个分支通道，第一条通道由一个pointwise分组卷积层构成，第二条通道及第三条通道均由一层point wise卷积层，一层卷积核为1×3×3的分组卷积层，及卷积核为3×1×1的分组卷积层构成。第四条通道由一个最大池化层及一个pointwise分组卷积层构成。该模块在正向运算过程中，先将输入数据平均分为16组，然后通过洗牌操作让各组信息互相混合，再将16组信息按照比例192:96:16:9(不同模块由于输入数据的通道数不同，该比例需要适当调整)的比例分配为四组，依次输入给四个分支通道，最后将各分支通道的结果按通道合并，得到轻量化模块的输出。
步骤4：数据导入。对于训练数据Si＝(Xi,Yi)，从Xi中随机的抽取连续的32帧形成一个短视频片段xi作为该视频的输入数据。Yi作为xi的标签。
步骤5：训练网络模型。依照定义的数据导入方式，并行的导入10-60个样本作为输入。以其对应的标签为指导信号，利用梯度下降算法对网络参数进行训练，直至网络收敛。在验证集上评估训练的网络模型，并防止过拟合。梯度下降算法的初始学习率设为0.01，动量项为0.9。每训练一轮就将训练好的模型应用到验证集datav上进行评估。当验证集上的精度达到饱和则将学习率衰减为原先的十分之一，继续训练，直到下一次验证集上达到饱和。当在验证集上第2次或第3次达到饱和即可停止训练。得到训练好的模型。
步骤6：实用。将步骤1中处理好的待处理数据输入到训练好的模型中，进行识别，给出最终的识别结果。对属于第i个视频的所有视频片段的识别结果进行合并。具体做法是，网络的输出为每个视频片段的行为属于各个动作的概率，对概率进行平均即可得到第i个视频属于各个动作的概率。取概率最大的动作即为该段视频最终识别结果。

Claims (4)

1.一种基于轻量化三维卷积网络的行为识别方法，其特征在于步骤如下：
步骤1：数据预处理
沿着时间维对待识别的视频段，进行裁剪，得到时间长度一致的短视频；
步骤2：划分训练集验证集
从标注了行为类别的视频集合中提取少量视频作为验证集，其余视频作为训练集；
步骤3：构建轻量化三维卷积网络网络模型
所述的轻量化三维卷积网络的结构依次是：(1)一个BN层；(2)一个宽度为64，卷积核尺寸为1×7×7的三维卷积层，一个宽度为64，卷积核尺寸为7×1×1的，步长为(2,1,1)的卷积层；(3)窗口尺寸为1×3×3，步长为(1,2,2)的最大池化层；(4)宽度为64的pointwise卷积层；(5)宽度64，卷积核尺寸1×3×3的卷积层,宽度192卷积核尺寸3×1×1的卷积层；(6)窗口尺寸为1×3×3，步长为(1,2,2)的最大池化层；(7)宽度依次为256和480的轻量化模块3b和3c；(8)窗口尺寸为3×3×3，步长为(2,2,2)的最大池化层；(9)宽度依次为512、512、512、528和832的轻量化模块4b、4c、4d、4e和4f；(10)窗口尺寸为2×2×2，步长为(2,2,2)的最大池化层；(11)宽度依次为832和1024的轻量化模块5b和5c；(12)窗口尺寸为2×7×7，步长为(2,2,2)的平均池化层，宽度为64的pointwise卷积层；
所述的轻量化模块包含四个分支通道，第一条通道由一个pointwise分组卷积层构成，第二条通道及第三条通道均由一层point wise卷积层、一层卷积核为1×3×3的分组卷积层、及卷积核为3×1×1的分组卷积层构成；第四条通道由一个最大池化层及一个pointwise分组卷积层构成；该模块在正向运算过程中，先将输入数据平均分为16组，然后通过洗牌操作让各组信息互相混合，再将16组信息按照比例分配为四组，依次输入给四个分支通道，最后将各分支通道的结果按通道合并，得到轻量化模块的输出；
步骤4：数据导入
定义视频数据具体导入方式，为网络训练做准备；
步骤5：训练网络模型
依照定义的数据导入方式，并行的从不同时间长度的多个视频里提取相同时间长度的视频片段作为训练数据；将训练数据批量的输入到构建好的轻量化三维卷积网络中，以视频片段的标注的类别为指导信号，利用梯度下降算法对网络参数进行训练，直至网络收敛；在验证集上评估训练的网络模型，并防止过拟合；
步骤6：实用
将步骤1中处理好的待处理数据输入到训练好的模型中，进行识别，给出最终的识别结果。
2.根据权利要求1所述的一种基于轻量化三维卷积网络的行为识别方法，其特征在于步骤1具体如下：将待处理视频无重叠的截成32帧的视频片段，对于长度不足32帧的视频，进行补充，在末尾依次补充第一帧、第二帧直到视频达到32帧。
3.根据权利要求1所述的一种基于轻量化三维卷积网络的行为识别方法，其特征在于步骤2中的少量为5％-10％。
4.根据权利要求1所述的一种基于轻量化三维卷积网络的行为识别方法，其特征在于步骤4具体操作：对于训练数据Si＝(Xi,Yi)，从Xi中随机的抽取连续的32帧形成一个短视频片段xi作为该视频的输入数据，Yi作为xi的标签。
CN201910498020.9A 2019-06-10 2019-06-10 基于轻量化三维卷积网络的行为识别方法 Pending CN110210439A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910498020.9A CN110210439A (zh) 2019-06-10 2019-06-10 基于轻量化三维卷积网络的行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910498020.9A CN110210439A (zh) 2019-06-10 2019-06-10 基于轻量化三维卷积网络的行为识别方法

Publications (1)

Publication Number Publication Date
CN110210439A true CN110210439A (zh) 2019-09-06

Family

ID=67791665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910498020.9A Pending CN110210439A (zh) 2019-06-10 2019-06-10 基于轻量化三维卷积网络的行为识别方法

Country Status (1)

Country Link
CN (1) CN110210439A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991219A (zh) * 2019-10-11 2020-04-10 东南大学 一种基于双路3d卷积网络的行为识别方法
CN111028160A (zh) * 2019-11-21 2020-04-17 西北工业大学 一种基于卷积神经网络的遥感图像噪声抑制方法
CN111881794A (zh) * 2020-07-20 2020-11-03 元神科技(杭州)有限公司 一种视频行为识别方法及系统
CN114241376A (zh) * 2021-12-15 2022-03-25 深圳先进技术研究院 行为识别模型训练和行为识别方法、装置、系统及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104217214A (zh) * 2014-08-21 2014-12-17 广东顺德中山大学卡内基梅隆大学国际联合研究院 基于可配置卷积神经网络的rgb-d人物行为识别方法
CN108154194A (zh) * 2018-01-18 2018-06-12 北京工业大学 一种用基于张量的卷积网络提取高维特征的方法
CN109753996A (zh) * 2018-12-17 2019-05-14 西北工业大学 基于三维轻量化深度网络的高光谱图像分类方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104217214A (zh) * 2014-08-21 2014-12-17 广东顺德中山大学卡内基梅隆大学国际联合研究院 基于可配置卷积神经网络的rgb-d人物行为识别方法
CN108154194A (zh) * 2018-01-18 2018-06-12 北京工业大学 一种用基于张量的卷积网络提取高维特征的方法
CN109753996A (zh) * 2018-12-17 2019-05-14 西北工业大学 基于三维轻量化深度网络的高光谱图像分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HAOKUI ZHANG ET AL: "RGB-D Based Action Recognition with Light-weight 3D Convolutional Networks", 《ARXIV:1811.09908V1》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991219A (zh) * 2019-10-11 2020-04-10 东南大学 一种基于双路3d卷积网络的行为识别方法
CN110991219B (zh) * 2019-10-11 2024-02-06 东南大学 一种基于双路3d卷积网络的行为识别方法
CN111028160A (zh) * 2019-11-21 2020-04-17 西北工业大学 一种基于卷积神经网络的遥感图像噪声抑制方法
CN111881794A (zh) * 2020-07-20 2020-11-03 元神科技(杭州)有限公司 一种视频行为识别方法及系统
CN111881794B (zh) * 2020-07-20 2023-10-10 元神科技(杭州)有限公司 一种视频行为识别方法及系统
CN114241376A (zh) * 2021-12-15 2022-03-25 深圳先进技术研究院 行为识别模型训练和行为识别方法、装置、系统及介质

Similar Documents

Publication Publication Date Title
CN110210439A (zh) 基于轻量化三维卷积网络的行为识别方法
CN107563381B (zh) 基于全卷积网络的多特征融合的目标检测方法
CN108549873B (zh) 三维人脸识别方法和三维人脸识别系统
CN109222972A (zh) 一种基于深度学习的fMRI全脑数据分类方法
CN102360494B (zh) 一种多前景目标交互式图像分割方法
CN109101930A (zh) 一种人群计数方法及系统
CN110414349A (zh) 引入感知模型的孪生卷积神经网络人脸识别算法
CN108876774A (zh) 一种基于卷积神经网络的人群计数方法
CN108288035A (zh) 基于深度学习的多通道图像特征融合的人体动作识别方法
Lyu et al. Green citrus detection and counting in orchards based on YOLOv5-CS and AI edge system
CN104035954B (zh) 一种基于Hadoop的套牌车识别方法
CN108416327A (zh) 一种目标检测方法、装置、计算机设备及可读存储介质
CN108764072A (zh) 一种基于多尺度融合的血细胞亚型图像分类方法
CN106874688A (zh) 基于卷积神经网络的智能化先导化合物发现方法
CN109919930A (zh) 基于卷积神经网络yolo v3的树上果实数量的统计方法
CN108288269A (zh) 基于无人机与卷积神经网络的桥梁支座病害自动识别方法
CN109753996A (zh) 基于三维轻量化深度网络的高光谱图像分类方法
US20230222768A1 (en) Multiscale point cloud classification method and system
CN113902901A (zh) 一种基于轻量化检测的物体分离方法与系统
WO2023134142A1 (zh) 一种多尺度点云分类方法及系统
CN107578448A (zh) 基于cnn的无标定曲面所包含拼接曲面个数识别方法
Zhang et al. Real-time recognition and localization based on improved YOLOv5s for robot’s picking clustered fruits of chilies
CN110287938A (zh) 基于关键片段检测的事件识别方法、系统、设备及介质
CN116797910A (zh) 一种基于分组快速空间金字塔池化的轻量化yolo模型方法
Zhang et al. Improved YOLOv4 recognition algorithm for pitaya based on coordinate attention and combinational convolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190906

WD01 Invention patent application deemed withdrawn after publication