CN107808131B - 基于双通路深度卷积神经网络的动态手势识别方法 - Google Patents

基于双通路深度卷积神经网络的动态手势识别方法 Download PDF

Info

Publication number
CN107808131B
CN107808131B CN201710990519.2A CN201710990519A CN107808131B CN 107808131 B CN107808131 B CN 107808131B CN 201710990519 A CN201710990519 A CN 201710990519A CN 107808131 B CN107808131 B CN 107808131B
Authority
CN
China
Prior art keywords
depth
image sequence
neural network
dual
dynamic gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710990519.2A
Other languages
English (en)
Other versions
CN107808131A (zh
Inventor
罗阳星
徐向民
邢晓芬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201710990519.2A priority Critical patent/CN107808131B/zh
Publication of CN107808131A publication Critical patent/CN107808131A/zh
Application granted granted Critical
Publication of CN107808131B publication Critical patent/CN107808131B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于双通路深度卷积神经网络的动态手势识别方法，首先从深度摄像头中采集动态手势的深度图像序列和彩色图像序列，并进行预处理操作，得到动态手势的深度前景图像序列和彩色前景图像序列；设计双通路深度卷积神经网络，将深度前景图像序列和彩色前景图像序列输入双通路深度卷积神经网络，通过多级的深度卷积层和深度池化层，分别提取动态手势在深度空间和彩色空间上的时域特征和空间特征，并把时域特征和空间特征融合后再输入到softmax分类器；根据softmax分类器输出的结果得到最终的手势识别结果。本发明采用双通路深度卷积神经网络模型，提取并融合动态手势彩色和深度空间上的特征，对动态手势识别率有较大的提升。

Description

基于双通路深度卷积神经网络的动态手势识别方法
技术领域
本发明属于计算机视觉与机器学习的技术领域，具体涉及一种基于双通路深度卷积神经网络的动态手势识别方法。
背景技术
手势识别分为静态手势识别和动态手势识别，相对于静态手势识别，动态手势识别可以带给我们更加丰富的交互方式和交互体验。目前，动态手势识别已经是计算机视觉领域的一个重要研究热点，因为该技术可以应用到很多现实领域，如机器人导航、视频监控、游戏等。尽管过去几十年，业界在视觉动态手势识别上投入大量的时间和精力，视觉动态手势识别依然是一个充满挑战的研究方向。因为视觉动态手势识别存在类目众多，类别间差异性不明显，手势背景复杂以及手势视觉上的差异(手势动作、手势操作时间、身体姿势)等难点。目前视觉动态手势识别的准确率还是比较低。
随着Kinect、Real Sense等深度摄像头的推出，越来越多的学者关注基于多种数据融合的视觉动态手势识别，例如彩色(RGB)图像序列和深度(depth)图像序列，彩色(RGB)图像序列和人体骨骼(Skeleton)数据。为了提取动态手势在多种数据空间(例如RGB、Depth、Skeleton)上的特征信息，学者主要采用深度学习模型或者人工提取三维特征信息的方法。其中，深度学习模型有CNN+LSTM,3-D CNN+RNN,two-stream CNN等；人工提取三维特征方法有3-D Sparse Motion SIFT,3-D HOG,3-D enhanced motion SIFT(3D EMoSIFT)等。
人工提取三维特征的方法有很大的局限性，通常需要先验知识、经验和大量的手工调整，而且算法模型的识别率容易因为动态手势操作速度、方向、手形大小的差异产生很大的影响。随着各种深度学习模型(CNN,RNN,LSTM,3-D CNN等)的发展，深度学习模型的方法已经成为视觉动态手势识别的主要工具。
发明内容
为了解决现有技术所存在的技术问题，本发明提出基于双通路深度卷积神经网络的动态手势识别方法，通过双通路深度卷积神经网络提取动态手势的深度和彩色时空特征，提高了视觉动态手势识别的准确率。
本发明采用如下技术方案：基于双通路深度卷积神经网络的动态手势识别方法，包括以下步骤：
S1、从深度摄像头中采集动态手势的图像序列，包括深度图像序列和彩色图像序列；
S2、对深度图像序列和彩色图像序列进行预处理操作，得到动态手势的深度前景图像序列和彩色前景图像序列；
S3、设计一个双通路深度卷积神经网络，其包括两个深度卷积神经网络；将深度前景图像序列和彩色前景图像序列输入双通路深度卷积神经网络，通过多级的深度卷积层和深度池化层，分别提取动态手势在深度空间和彩色空间上的时域特征和空间特征，并把时域特征和空间特征融合后再输入到softmax分类器；
S4、根据softmax分类器输出的结果得到最终的手势识别结果。
优选地，步骤S2所述预处理操作包括：通过前后帧图像像素相减的方法，得到前景图像序列，代表动态手势图像序列中的运动信息；前景图像序列通过中值滤波和先腐蚀后膨胀的形态学开操作处理，过滤前景图像序列中的虚假运动像素点，从而得到真实稳定的前景图像序列；然后通过等间距下采样操作生成深度前景图像序列和彩色前景图像序列。
优选地，步骤S3所设计的双通路深度卷积神经网络中，每个深度卷积神经网络都分别包括5个深度卷积层、5个深度池化层和2个全连接层；其中，深度卷积层的核大小为3*3*3，深度池化层采用2*2*2的最大值池化。
优选地，所述深度前景图像序列和彩色前景图像序列均为16帧，所述每个深度卷积神经网络的5层深度卷积层的特征图数量分别为32、64、128、256、512。
优选地，所述双通路深度卷积神经网络把时域特征和空间特征在最后一个全连接层进行列拼接融合后再输入到softmax分类器。
从以上技术方案可知，与现有技术相比，本发明的有益效果包括：
1、通过对动态手势图像序列的预处理操作，可以过滤对动态手势识别造成干扰的复杂背景成分；预处理后得到数量固定的16帧前景图像序列，不仅可以消除动态手势不同操作时间周期的差异，还可以满足深度卷积神经网络对输入序列数量一致性的要求。
2、在特征提取方面，通过双通路深度卷积神经网络提取动态手势的时空特征，相比传统的卷积神经网络，深度的卷积层和池化层可以帮助提取动态手势更丰富的时域特征；在数据使用方面，双通路深度卷积神经网络的输入是动态手势的彩色(RGB)图像序列和深度(depth)图像序列，增加了动态手势在深度(depth)空间上的特征信息，比只输入彩色(RGB)图像序列的单通路卷积神经网络有较高的识别率。
附图说明
图1为本发明基于双通路深度卷积神经网络的动态手势识别方法的流程图；
图2为本发明中双通路深度卷积神经网络的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明的技术方案进行清楚、完整地描述，但本发明的实施方式不限于此。
实施例
如图1所示，本实施例基于双通路深度卷积神经网络的动态手势识别方法，包括如下步骤：
S1、从深度摄像头中采集动态手势的图像序列，包括深度(depth)图像序列和彩色(RGB)图像序列；
深度摄像头输出的数据包括深度(depth)和彩色(RGB)图像序列，分辨率可以是640*480像素或者320*240像素。
S2、然后对深度图像序列和彩色图像序列进行预处理操作，得到动态手势16帧的深度前景图像序列和16帧的彩色前景图像序列；
图像序列的预处理操作包括：通过前后帧图像像素相减的方法，得到前景图像序列(计算公式如下列式(1))，代表动态手势图像序列中的运动信息；前景图像序列通过窗口大小为3*3的中值滤波和先腐蚀后膨胀的形态学开操作处理，过滤前景图像序列中的虚假运动像素点，从而得到真实稳定的前景图像序列；然后通过等间距下采样操作生成16帧的深度前景图像序列和16帧的彩色前景图像序列。下采样操作可以消除同一个动态手势不同操作时间周期的差异，还可以处理双通路深度卷积神经网络中输入图像序列数量一致性的难点。
Foregroundi＝max(Imagei-Imagei-1,0) (1)
公式中，Foregroundi为第i帧预处理后的前景图像，max为按像素求最大值操作，Imagei为第i帧输入的彩色或深度图像，Imagei-1为第i-1帧输入的彩色或深度图像。
S3、设计一个双通路深度卷积神经网络，其包括两个深度卷积神经网络；其中每个深度卷积神经网络都是包括多级的深度卷积层(3D Conv)、深度池化层(3D Pool)和2层全连接层(FC)；利用所设计的双通路深度卷积神经网络提取动态手势在彩色空间和深度空间上的时空特征，并把两种特征在最后一个全连接层进行列拼接融合后再输入到softmax分类器。
所设计的双通路深度卷积神经网络的结构如图2所示，每个深度卷积神经网络都分别包括5个深度卷积层、5个深度池化层和2个全连接层；每个深度卷积神经网络的输入都是16*3*112*112像素；全连接层的神经元数量分别是4096和2048个；深度卷积层的核大小都是3*3*3，深度池化层都是采用2*2*2的最大值池化；两个深度卷积神经网络共有10个深度卷积层，10个深度卷积层的特征图数量分别为：32、32、64、64、128、128、256、256、512、512，即每个深度卷积神经网络的5层深度卷积层的特征图数量分别为32、64、128、256、512。传统卷积神经网络具有转换不变的特性，可以用来提取动态手势序列中每张手势图像的手掌形状和方向特征等具有尺度不变特性的空间特征。本发明所采用的深度卷积神经网络在传统的基础上增加了一个时间维度，不仅可以提取动态手势序列的空间特征，还可以提取动态手势序列的时域特征。时域特征在动态手势识别任务中是十分重要的，因为动态手势的运动信息基本包含在时域特征中。
双通路深度卷积神经网络的输入是16帧的深度前景图像序列和16帧的彩色前景图像序列，通过多级的深度卷积层和深度池化层，分别提取动态手势在深度空间和彩色空间上的时空特征(时域特征和空间特征)。深度卷积神经网络相比于二维卷积神经网络的优势是，可以提取时间跨度更长的时域特征，该时域特征有利于识别操作时间周期较大的动态手势。本发明设计的双通路神经网络结构，可以融合动态手势在彩色空间(RGB)和深度空间(depth)上的两种特征，使得识别率比单独使用彩色空间特征的方法有较大的提升。
S4、识别动态手势时，将步骤S2得到的图像序列输入到步骤S3所设计的网络模型，提取动态手势的时空特征后，输入到softmax分类器(设有n个softmax单元，其中n为动态手势的类别数)，根据softmax分类器输出的结果可以得到最终的手势识别结果。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.基于双通路深度卷积神经网络的动态手势识别方法，其特征在于，包括以下步骤：
S1、从深度摄像头中采集动态手势的图像序列，包括深度图像序列和彩色图像序列；
S2、对深度图像序列和彩色图像序列进行预处理操作，得到动态手势的深度前景图像序列和彩色前景图像序列；
S3、设计一个双通路深度卷积神经网络，其包括两个深度卷积神经网络；将深度前景图像序列和彩色前景图像序列输入双通路深度卷积神经网络，通过多级的深度卷积层和深度池化层，分别提取动态手势在深度空间和彩色空间上的时域特征以及动态手势在深度空间和彩色空间上的空间特征，并把时域特征和空间特征融合后再输入到softmax分类器；
S4、根据softmax分类器输出的结果得到最终的手势识别结果。
2.根据权利要求1所述的基于双通路深度卷积神经网络的动态手势识别方法，其特征在于，步骤S2所述预处理操作包括：通过前后帧图像像素相减的方法，得到前景图像序列，代表动态手势图像序列中的运动信息；前景图像序列通过中值滤波和先腐蚀后膨胀的形态学开操作处理，过滤前景图像序列中的虚假运动像素点，从而得到真实稳定的前景图像序列；然后通过等间距下采样操作生成深度前景图像序列和彩色前景图像序列。
3.根据权利要求2所述的基于双通路深度卷积神经网络的动态手势识别方法，其特征在于，所述通过前后帧图像像素相减的方法得到前景图像序列的计算公式如下：
Foregroundi＝max(Imagei-Imagei-1，0)
公式中，Foregroundi为第i帧预处理后的前景图像，max为按像素求最大值操作，Imagei为第i帧输入的彩色或深度图像，Imagei-1为第i-1帧输入的彩色或深度图像。
4.根据权利要求2所述的基于双通路深度卷积神经网络的动态手势识别方法，其特征在于，所述中值滤波的窗口大小为3*3。
5.根据权利要求1所述的基于双通路深度卷积神经网络的动态手势识别方法，其特征在于，步骤S3所设计的双通路深度卷积神经网络中，每个深度卷积神经网络都分别包括5个深度卷积层、5个深度池化层和2个全连接层；其中，深度卷积层的核大小为3*3*3，深度池化层采用2*2*2的最大值池化。
6.根据权利要求5所述的基于双通路深度卷积神经网络的动态手势识别方法，其特征在于，所述深度前景图像序列和彩色前景图像序列均为16帧，所述每个深度卷积神经网络的5层深度卷积层的特征图数量分别为32、64、128、256、512。
7.根据权利要求5所述的基于双通路深度卷积神经网络的动态手势识别方法，其特征在于，所述双通路深度卷积神经网络把时域特征和空间特征在最后一个全连接层进行列拼接融合后再输入到softmax分类器。
8.根据权利要求1所述的基于双通路深度卷积神经网络的动态手势识别方法，其特征在于，所述softmax分类器设有n个softmax单元，其中n为动态手势的类别数。
CN201710990519.2A 2017-10-23 2017-10-23 基于双通路深度卷积神经网络的动态手势识别方法 Active CN107808131B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710990519.2A CN107808131B (zh) 2017-10-23 2017-10-23 基于双通路深度卷积神经网络的动态手势识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710990519.2A CN107808131B (zh) 2017-10-23 2017-10-23 基于双通路深度卷积神经网络的动态手势识别方法

Publications (2)

Publication Number Publication Date
CN107808131A CN107808131A (zh) 2018-03-16
CN107808131B true CN107808131B (zh) 2019-12-10

Family

ID=61585091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710990519.2A Active CN107808131B (zh) 2017-10-23 2017-10-23 基于双通路深度卷积神经网络的动态手势识别方法

Country Status (1)

Country Link
CN (1) CN107808131B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765333B (zh) * 2018-05-24 2021-08-10 华南理工大学 一种基于深度卷积神经网络的深度图完善方法
CN108830185B (zh) * 2018-05-28 2020-11-10 四川瞳知科技有限公司 基于多任务联合学习的行为识别及定位方法
CN108830252B (zh) * 2018-06-26 2021-09-10 哈尔滨工业大学 一种融合全局时空特征的卷积神经网络人体动作识别方法
CN109086664B (zh) * 2018-06-27 2023-04-28 济南大学 一种动静态融合的多态手势识别方法
CN109034012A (zh) * 2018-07-09 2018-12-18 四川大学 基于动态图像和视频子序列的第一人称视角手势识别方法
CN109255296A (zh) * 2018-08-06 2019-01-22 广东工业大学 一种基于深度卷积神经网络的日常人体行为识别方法
CN108965723A (zh) * 2018-09-30 2018-12-07 易诚高科（大连）科技有限公司 一种原始图像处理方法、图像处理器及图像成像传感器
CN109614922B (zh) * 2018-12-07 2023-05-02 南京富士通南大软件技术有限公司 一种动静态手势识别方法和系统
CN109886070A (zh) * 2018-12-24 2019-06-14 珠海格力电器股份有限公司 一种设备控制方法、装置、存储介质及设备
CN109919057B (zh) * 2019-02-26 2020-11-03 北京理工大学 一种基于高效卷积神经网络的多模态融合手势识别方法
CN110309761A (zh) * 2019-06-26 2019-10-08 深圳市微纳集成电路与系统应用研究院 基于具有门限循环单元的三维卷积神经网络的连续性手势识别方法
CN110502981A (zh) * 2019-07-11 2019-11-26 武汉科技大学 一种基于彩色信息和深度信息融合的手势识别方法
CN110619288A (zh) * 2019-08-30 2019-12-27 武汉科技大学 一种手势识别方法、控制装置及可读存储介质
CN110796018B (zh) * 2019-09-30 2023-04-28 武汉科技大学 一种基于深度图像和彩色图像的手部运动识别方法
CN110930315B (zh) * 2019-10-23 2022-02-11 西北工业大学 基于双通路卷积网络和层次clstm的多光谱图像全色锐化方法
CN113449573A (zh) * 2020-03-27 2021-09-28 华为技术有限公司 一种动态手势识别方法及设备
CN111461001A (zh) * 2020-03-31 2020-07-28 桂林电子科技大学 一种计算机视觉自动开车门方法及其系统
CN112613384B (zh) * 2020-12-18 2023-09-19 安徽鸿程光电有限公司 手势识别方法、手势识别装置及交互显示设备的控制方法
CN113569905B (zh) * 2021-06-10 2024-03-26 西安电子科技大学 基于多尺度特征提取和全变分的异源图像融合方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105224942A (zh) * 2015-07-09 2016-01-06 华南农业大学 一种rgb-d图像分类方法及系统
CN106709568A (zh) * 2016-12-16 2017-05-24 北京工业大学 基于深层卷积网络的rgb‑d图像的物体检测和语义分割方法
CN106778810A (zh) * 2016-11-23 2017-05-31 北京联合大学 基于rgb特征与深度特征的原始图像层融合方法及系统
CN107066916A (zh) * 2016-10-26 2017-08-18 中国科学院自动化研究所 基于反卷积神经网络的场景语义分割方法
CN107194893A (zh) * 2017-05-22 2017-09-22 西安电子科技大学 基于卷积神经网络的深度图像超分辨方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105224942A (zh) * 2015-07-09 2016-01-06 华南农业大学 一种rgb-d图像分类方法及系统
CN107066916A (zh) * 2016-10-26 2017-08-18 中国科学院自动化研究所 基于反卷积神经网络的场景语义分割方法
CN106778810A (zh) * 2016-11-23 2017-05-31 北京联合大学 基于rgb特征与深度特征的原始图像层融合方法及系统
CN106709568A (zh) * 2016-12-16 2017-05-24 北京工业大学 基于深层卷积网络的rgb‑d图像的物体检测和语义分割方法
CN107194893A (zh) * 2017-05-22 2017-09-22 西安电子科技大学 基于卷积神经网络的深度图像超分辨方法

Also Published As

Publication number Publication date
CN107808131A (zh) 2018-03-16

Similar Documents

Publication Publication Date Title
CN107808131B (zh) 基于双通路深度卷积神经网络的动态手势识别方法
CN108764065B (zh) 一种行人重识别特征融合辅助学习的方法
Zhang et al. Deep hierarchical guidance and regularization learning for end-to-end depth estimation
CN103530619B (zh) 基于rgb-d数据构成的少量训练样本的手势识别方法
CN108734194B (zh) 一种面向虚拟现实的基于单深度图的人体关节点识别方法
CN110555412B (zh) 基于rgb和点云相结合的端到端人体姿态识别方法
CN105160310A (zh) 基于3d卷积神经网络的人体行为识别方法
CN112131908A (zh) 基于双流网络的动作识别方法、装置、存储介质及设备
CN110728183A (zh) 一种基于注意力机制的神经网络的人体动作识别方法
CN108830170B (zh) 一种基于分层特征表示的端到端目标跟踪方法
Liu et al. Using unsupervised deep learning technique for monocular visual odometry
Vieriu et al. On HMM static hand gesture recognition
CN111723687A (zh) 基于神经网路的人体动作识别方法和装置
CN111080670A (zh) 图像提取方法、装置、设备及存储介质
CN110942037A (zh) 一种用于视频分析中的动作识别方法
CN112906520A (zh) 一种基于姿态编码的动作识别方法及装置
Amrutha et al. Human Body Pose Estimation and Applications
CN111274901B (zh) 一种基于深度门控递归单元的手势深度图像连续检测方法
CN110348395B (zh) 一种基于时空关系的骨架行为识别方法
CN112749671A (zh) 一种基于视频的人体行为识别方法
Xu et al. 3D joints estimation of the human body in single-frame point cloud
CN112967317B (zh) 一种动态环境下基于卷积神经网络架构的视觉里程计方法
CN113255514B (zh) 基于局部场景感知图卷积网络的行为识别方法
Musallam et al. Temporal 3d human pose estimation for action recognition from arbitrary viewpoints
Zhang et al. Short-term temporal convolutional networks for dynamic hand gesture recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant