CN107292250A - 一种基于深度神经网络的步态识别方法 - Google Patents
一种基于深度神经网络的步态识别方法 Download PDFInfo
- Publication number
- CN107292250A CN107292250A CN201710430063.4A CN201710430063A CN107292250A CN 107292250 A CN107292250 A CN 107292250A CN 201710430063 A CN201710430063 A CN 201710430063A CN 107292250 A CN107292250 A CN 107292250A
- Authority
- CN
- China
- Prior art keywords
- model
- gait
- training
- neural network
- gait recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度神经网络的步态识别方法，对原始的步态视频图像进行预处理后，提取其步态高斯图，按照设计的规则以5∶1的比例将样本数据集划分为训练集和测试集。建立与AlexNet结构相一致的八层卷积神经网络模型，并对模型最后一层的神经元的个数修改使其适应于步态识别的分类任务。该模型的前七层用已经训练好的AlexNet模型的参数对进行初始化，模型的最后一层进行随机初始化。使用训练集训练该卷积神经网络使其可以有效地完成步态识别。本发明鲁棒性较高，在多种协变量存在的情况下可以更有效的识人的身份，可以显著的减少训练模型所需的计算资源和时间。
Description
技术领域
本发明涉及计算机视觉和模式识别，具体涉及一种基于深度神经网络的步态识别方法。
背景技术
在现有的步态识别技术中，步态能量图作为一种步态特征描述子识别效果比较理想而且计算简单，在步态能量图中做了部分改进对其添加一个高斯系数得到步态高斯图，其识别效果明显优于步态能量图，应用步态高斯图作为步态特征选择合适的分类器可以有效识别人的身份。但是这种识别在视角跨度较大(36度以上)或者衣着携带情况显著改变时识别率很难达到理想的效果。
卷积神经网络是为识别二维形状而特殊设计的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者其他形式的变形具有高度不变性。深度神经网络由于可以自主的提取图像的特征并进行逐层抽象而在图像分类领域应用比较广泛，特别是其激活函数具备的非线性特性使其适应能力更强并具有很好的分类特性，同时每一个卷积核共享权重有效减少了训练参数及训练时间。
由于深度学习是以数据为驱动，利用反向传播算法对其参数更新，因此要训练一个新的性能优越的网络往往需要大量的数据和较长的时间，而现有的数据库所提供的数据往往很难去训练一个新的网络。为了克服该缺陷，可以对原始的图像数据进行相关处理(旋转，缩放，尺度变化)以对有线的数据扩增，或者在已有相应模型中进行继续训练使其适合于你的实验任务。
发明内容
为了解决现有步态识别技术中识别性能受较多协变量的影响较大，本发明提出了一种基于深度神经网络的步态识别方法，该方法对跨视角，不同的携带状况，衣着，复杂的背景情况都表现出较好的鲁棒性，在复杂场景及多协变量的影响下显著提高了识别率；采用微调已训练好的网络，有效的解决了数据量不足问题并节省了计算量及运行时间。
为实现上述目的，本发明采取的技术方案为：
一种基于深度神经网络的步态识别方法，包括如下步骤：
S1、从原始的步态视频图像中减除运动背景得到人体运动轮廓图，对轮廓图进行形态学处理使其噪声减小，并填充图像中的空洞，然后提取步态周期，进一步对轮廓图进行归一化使其大小相等，在一个步态周期内计算步态高斯图；
S2、将所得的将步态高斯图按照设计的规则以5∶1的比例将样本数据集划分为训练集和测试集；
S3、建立与AlexNet结构相一致的八层卷积神经网络模型，并对模型最后一层的神经元的个数修改使其适应于步态识别的分类任务；该模型的前七层用已经训练好的AlexNet模型的参数对进行初始化，模型的最后一层进行随机初始化；修改配置文件中的部分参数，使模型可以更加快速收敛；部分参数包括基础学习率、权重衰减、学习率变化比率、最大迭代次数等。
S4、将已标记好的训练样本集输入到上述神经网络模型，然后根据正向传播和反向传播对神经网络的参数进行更新，直到模型收敛，保存训练好的模型；
S5、应用训练好的模型和标记好的测试数据对模型进行预测，根据模型的训练日志和预测日志对模型进行分析，绘制训练和测试Accracy及loss曲线，判断该模型是否可以有效地进行步态识别。
本发明具有以下有益效果：
相比于传统的步态识别方法，该方法的鲁棒性较高，在多种协变量存在的情况下可以更有效的识人的身份。由于AlexNet是一种用于图像分类的卷积神经网络模型，使用该模型对建立的用于步态识别的卷积神经网络进行初始化可以显著提高模型的收敛速度，避免了由于样本较少而使得模型的分类性能较差的缺点，同时显著减少了模型训练所需的资源和时间。
附图说明
图1为本发明实施例基于深度神经网络的步态识别方法的框架示意图。
图2为本发明实施例中深度神经网络的训练和测试流程图。
图3为本发明实施例中步态高斯图的提取过程示意图。
具体实施方式
为了使本发明的目的及优点更加清楚明白，以下结合实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1-图2所示，本发明实施例提供了一种基于深度神经网络的步态识别方法，包括如下步骤：
S1、如图3所示，从视频序列中减除运动背景得到人体运动轮廓图，对轮廓图进行形态学处理使其噪声减小，并填充图像中的空洞，然后提取步态周期，进一步对轮廓图进行归一化使其大小相等，在一个步态周期内计算步态高斯图，建立步态高斯图的样本数据集。按照设计的规则对数据集以5∶1的比例划分训练集和测试集；
S2、建立与AlexNet结构相一致的八层卷积神经网络模型，并对模型最后一层的神经元的个数修改使其适应于步态识别的分类任务；该模型的前七层用已经训练好的AlexNet模型的参数对进行初始化，模型的最后一层进行随机初始化；修改配置文件中的部分参数，使模型可以更加快速收敛；部分参数包括基础学习率、权重衰减、学习率变化比率、最大迭代次数等；
S3、根据发明内容的不同本实验进行了三组实验，分别为：
A：选取相同携带状态的训练样本和测试样本(均为nm或者bg或者cl)，选取72、90、108三个视角下的步态序列作为训练集，任意角度的视频序列作为测试集。
B：选取nm状态下的72，、90、108视角作为训练样本集同视角下的bg和cl状态的视频作为测试序列。
C：选取nm、bg、cl状态下72、90、108视角下的序列作为训练样本集，任意角度与状态下的序列作为测试集；
S4、将已标记好的训练样本集输入到上述神经网络模型，然后根据正向传播和反向传播对神经网络的参数进行更新，直到模型收敛，保存训练好的模型；
S5、应用训练好的模型和标记好的测试数据对模型进行预测，根据模型的训练日志和预测日志对模型进行分析；测试过程是对于每一张标记好的测试样本我们遍历整个样本集对比测试样本与样本集的相似度并根据一定的判决规则判定测试样本所属的类别。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (2)
1.一种基于深度神经网络的步态识别方法，其特征在于，包括如下步骤：
S1、从原始的步态视频图像中减除运动背景得到人体运动轮廓图，对轮廓图进行形态学处理使其噪声减小，并填充图像中的空洞，然后提取步态周期，进一步对轮廓图进行归一化使其大小相等，在一个步态周期内计算步态高斯图；
S2、将所得的将步态高斯图按照设计的规则以5∶1的比例将样本数据集划分为训练集和测试集；
S3、建立与AlexNet结构相一致的八层卷积神经网络模型，并对模型最后一层的神经元的个数修改使其适应于步态识别的分类任务；该模型的前七层用已经训练好的AlexNet模型的参数对进行初始化，模型的最后一层进行随机初始化；修改配置文件中的部分参数，使模型可以更加快速收敛；
S4、将已标记好的训练样本集输入到上述神经网络模型，然后根据正向传播和反向传播对神经网络的参数进行更新，直到模型收敛，保存训练好的模型；
S5、应用训练好的模型和标记好的测试数据对模型进行预测，根据模型的训练日志和预测日志对模型进行分析，绘制训练和测试Accracy及loss曲线，判断该模型是否可以有效地进行步态识别。
2.如权利要求1所述的一种基于深度神经网络的步态识别方法，其特征在于，所述步骤S3中的部分参数至少包括基础学习率、权重衰减、学习率变化比率、最大迭代次数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710430063.4A CN107292250A (zh) | 2017-05-31 | 2017-05-31 | 一种基于深度神经网络的步态识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710430063.4A CN107292250A (zh) | 2017-05-31 | 2017-05-31 | 一种基于深度神经网络的步态识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107292250A true CN107292250A (zh) | 2017-10-24 |
Family
ID=60096141
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710430063.4A Pending CN107292250A (zh) | 2017-05-31 | 2017-05-31 | 一种基于深度神经网络的步态识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107292250A (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107730686A (zh) * | 2017-11-01 | 2018-02-23 | 桐乡守敬应用技术研究院有限公司 | 一种生物特征解锁方法 |
| CN108460340A (zh) * | 2018-02-05 | 2018-08-28 | 北京工业大学 | 一种基于3d稠密卷积神经网络的步态识别方法 |
| CN108520216A (zh) * | 2018-03-28 | 2018-09-11 | 电子科技大学 | 一种基于步态图像的身份识别方法 |
| CN108830236A (zh) * | 2018-06-21 | 2018-11-16 | 电子科技大学 | 一种基于深度特征的行人重识别方法 |
| CN109325428A (zh) * | 2018-09-05 | 2019-02-12 | 周军 | 基于多层次端到端神经网络的人类活动姿态识别方法 |
| CN109583298A (zh) * | 2018-10-26 | 2019-04-05 | 复旦大学 | 基于集合的跨视角步态识别方法 |
| CN109858351A (zh) * | 2018-12-26 | 2019-06-07 | 中南大学 | 一种基于层级实时记忆的步态识别方法 |
| CN109902605A (zh) * | 2019-02-20 | 2019-06-18 | 哈尔滨工程大学 | 一种基于单能量图自适应分割的步态识别方法 |
| CN110070029A (zh) * | 2019-04-17 | 2019-07-30 | 北京易达图灵科技有限公司 | 一种步态识别方法及装置 |
| CN110096941A (zh) * | 2018-01-29 | 2019-08-06 | 西安科技大学 | 一种基于siamese网络的步态识别系统 |
| CN110110668A (zh) * | 2019-05-08 | 2019-08-09 | 湘潭大学 | 一种基于反馈权重卷积神经网络和胶囊神经网络的步态识别方法 |
| CN110956111A (zh) * | 2019-11-22 | 2020-04-03 | 苏州闪驰数控系统集成有限公司 | 人工智能cnn、lstm神经网络步态识别系统 |
| CN111160294A (zh) * | 2019-12-31 | 2020-05-15 | 西安理工大学 | 基于图卷积网络的步态识别方法 |
| CN111965620A (zh) * | 2020-08-31 | 2020-11-20 | 中国科学院空天信息创新研究院 | 基于时频分析和深度神经网络的步态特征提取与识别方法 |
| CN112035811A (zh) * | 2020-08-28 | 2020-12-04 | 西安科技大学 | 一种基于鞋垫的身份认证方法 |
| CN112862546A (zh) * | 2021-04-25 | 2021-05-28 | 平安科技（深圳）有限公司 | 用户流失预测方法、装置、计算机设备及存储介质 |
| CN113887315A (zh) * | 2021-09-06 | 2022-01-04 | 广东工业大学 | 一种基于多分类器协同的步态识别方法及系统 |
| US11735017B2 (en) | 2021-06-23 | 2023-08-22 | Bank Of America Corporation | Artificial intelligence (AI)-based security systems for monitoring and securing physical locations |
| US11954990B2 (en) | 2021-06-23 | 2024-04-09 | Bank Of America Corporation | Artificial intelligence (AI)-based security systems for monitoring and securing physical locations |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104299012A (zh) * | 2014-10-28 | 2015-01-21 | 中国科学院自动化研究所 | 一种基于深度学习的步态识别方法 |
| CN105760835A (zh) * | 2016-02-17 | 2016-07-13 | 天津中科智能识别产业技术研究院有限公司 | 一种基于深度学习的步态分割与步态识别一体化方法 |
| KR101643690B1 (ko) * | 2015-04-21 | 2016-08-10 | 한국과학기술원 | 휴대 단말 기반의 보행 자세 복원 장치 및 방법 |
| CN106372648A (zh) * | 2016-10-20 | 2017-02-01 | 中国海洋大学 | 基于多特征融合卷积神经网络的浮游生物图像分类方法 |
| US20170132527A1 (en) * | 2015-11-05 | 2017-05-11 | Samsung Electronics Co., Ltd. | Walking assistance apparatus and method of controlling same |
-
2017
- 2017-05-31 CN CN201710430063.4A patent/CN107292250A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104299012A (zh) * | 2014-10-28 | 2015-01-21 | 中国科学院自动化研究所 | 一种基于深度学习的步态识别方法 |
| KR101643690B1 (ko) * | 2015-04-21 | 2016-08-10 | 한국과학기술원 | 휴대 단말 기반의 보행 자세 복원 장치 및 방법 |
| US20170132527A1 (en) * | 2015-11-05 | 2017-05-11 | Samsung Electronics Co., Ltd. | Walking assistance apparatus and method of controlling same |
| CN105760835A (zh) * | 2016-02-17 | 2016-07-13 | 天津中科智能识别产业技术研究院有限公司 | 一种基于深度学习的步态分割与步态识别一体化方法 |
| CN106372648A (zh) * | 2016-10-20 | 2017-02-01 | 中国海洋大学 | 基于多特征融合卷积神经网络的浮游生物图像分类方法 |
Non-Patent Citations (2)
| Title |
|---|
| PARUL ARORA: "Gait recognition using gait Gaussian image", 《2015 2ND INTERNATIONAL CONFERENCE ON SIGNAL PROCESSING AND INTEGRATED NETWORKS (SPIN)》 * |
| 李占利: "基于步态高斯图及稀疏表示的步态识别", 《科学技术与工程》 * |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107730686A (zh) * | 2017-11-01 | 2018-02-23 | 桐乡守敬应用技术研究院有限公司 | 一种生物特征解锁方法 |
| CN110096941A (zh) * | 2018-01-29 | 2019-08-06 | 西安科技大学 | 一种基于siamese网络的步态识别系统 |
| CN108460340A (zh) * | 2018-02-05 | 2018-08-28 | 北京工业大学 | 一种基于3d稠密卷积神经网络的步态识别方法 |
| CN108520216A (zh) * | 2018-03-28 | 2018-09-11 | 电子科技大学 | 一种基于步态图像的身份识别方法 |
| CN108520216B (zh) * | 2018-03-28 | 2022-05-03 | 电子科技大学 | 一种基于步态图像的身份识别方法 |
| CN108830236A (zh) * | 2018-06-21 | 2018-11-16 | 电子科技大学 | 一种基于深度特征的行人重识别方法 |
| CN109325428B (zh) * | 2018-09-05 | 2020-11-27 | 周军 | 基于多层次端到端神经网络的人类活动姿态识别方法 |
| CN109325428A (zh) * | 2018-09-05 | 2019-02-12 | 周军 | 基于多层次端到端神经网络的人类活动姿态识别方法 |
| CN109583298A (zh) * | 2018-10-26 | 2019-04-05 | 复旦大学 | 基于集合的跨视角步态识别方法 |
| CN109583298B (zh) * | 2018-10-26 | 2023-05-02 | 复旦大学 | 基于集合的跨视角步态识别方法 |
| CN109858351A (zh) * | 2018-12-26 | 2019-06-07 | 中南大学 | 一种基于层级实时记忆的步态识别方法 |
| CN109858351B (zh) * | 2018-12-26 | 2021-05-14 | 中南大学 | 一种基于层级实时记忆的步态识别方法 |
| CN109902605A (zh) * | 2019-02-20 | 2019-06-18 | 哈尔滨工程大学 | 一种基于单能量图自适应分割的步态识别方法 |
| CN109902605B (zh) * | 2019-02-20 | 2023-04-07 | 哈尔滨工程大学 | 一种基于单能量图自适应分割的步态识别方法 |
| CN110070029B (zh) * | 2019-04-17 | 2021-07-16 | 北京易达图灵科技有限公司 | 一种步态识别方法及装置 |
| CN110070029A (zh) * | 2019-04-17 | 2019-07-30 | 北京易达图灵科技有限公司 | 一种步态识别方法及装置 |
| CN110110668A (zh) * | 2019-05-08 | 2019-08-09 | 湘潭大学 | 一种基于反馈权重卷积神经网络和胶囊神经网络的步态识别方法 |
| CN110956111A (zh) * | 2019-11-22 | 2020-04-03 | 苏州闪驰数控系统集成有限公司 | 人工智能cnn、lstm神经网络步态识别系统 |
| CN111160294B (zh) * | 2019-12-31 | 2022-03-04 | 西安理工大学 | 基于图卷积网络的步态识别方法 |
| CN111160294A (zh) * | 2019-12-31 | 2020-05-15 | 西安理工大学 | 基于图卷积网络的步态识别方法 |
| CN112035811A (zh) * | 2020-08-28 | 2020-12-04 | 西安科技大学 | 一种基于鞋垫的身份认证方法 |
| CN111965620A (zh) * | 2020-08-31 | 2020-11-20 | 中国科学院空天信息创新研究院 | 基于时频分析和深度神经网络的步态特征提取与识别方法 |
| CN111965620B (zh) * | 2020-08-31 | 2023-05-02 | 中国科学院空天信息创新研究院 | 基于时频分析和深度神经网络的步态特征提取与识别方法 |
| CN112862546A (zh) * | 2021-04-25 | 2021-05-28 | 平安科技（深圳）有限公司 | 用户流失预测方法、装置、计算机设备及存储介质 |
| CN112862546B (zh) * | 2021-04-25 | 2021-08-13 | 平安科技（深圳）有限公司 | 用户流失预测方法、装置、计算机设备及存储介质 |
| US11735017B2 (en) | 2021-06-23 | 2023-08-22 | Bank Of America Corporation | Artificial intelligence (AI)-based security systems for monitoring and securing physical locations |
| US11954990B2 (en) | 2021-06-23 | 2024-04-09 | Bank Of America Corporation | Artificial intelligence (AI)-based security systems for monitoring and securing physical locations |
| CN113887315A (zh) * | 2021-09-06 | 2022-01-04 | 广东工业大学 | 一种基于多分类器协同的步态识别方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107292250A (zh) | 一种基于深度神经网络的步态识别方法 | |
| CN106096535B (zh) | 一种基于双线性联合cnn的人脸验证方法 | |
| Yan et al. | Multi-attributes gait identification by convolutional neural networks | |
| Liu et al. | Learning discriminative representations from RGB-D video data | |
| CN107886064A (zh) | 一种基于卷积神经网络的人脸识别场景适应的方法 | |
| CN107808132A (zh) | 一种融合主题模型的场景图像分类方法 | |
| CN106548159A (zh) | 基于全卷积神经网络的网纹人脸图像识别方法与装置 | |
| Woźniak et al. | Object detection and recognition via clustered features | |
| CN107729872A (zh) | 基于深度学习的人脸表情识别方法及装置 | |
| CN107194371B (zh) | 基于层次化卷积神经网络的用户专注度识别方法及系统 | |
| CN107341452A (zh) | 基于四元数时空卷积神经网络的人体行为识别方法 | |
| CN106485214A (zh) | 一种基于卷积神经网络的眼睛和嘴部状态识别方法 | |
| CN107945153A (zh) | 一种基于深度学习的路面裂缝检测方法 | |
| CN106504064A (zh) | 基于深度卷积神经网络的服装分类与搭配推荐方法及系统 | |
| CN105139039A (zh) | 视频序列中人脸微表情的识别方法 | |
| CN107085704A (zh) | 基于elm自编码算法的快速人脸表情识别方法 | |
| CN109902565B (zh) | 多特征融合的人体行为识别方法 | |
| CN105718889A (zh) | 基于GB(2D)2PCANet深度卷积模型的人脸身份识别方法 | |
| CN107729820A (zh) | 一种基于多尺度hog的手指静脉识别方法 | |
| CN105512681A (zh) | 一种目标类别图片的获取方法及系统 | |
| CN109635811A (zh) | 空间植物的图像分析方法 | |
| CN106909938A (zh) | 基于深度学习网络的视角无关性行为识别方法 | |
| CN107729890A (zh) | 基于lbp和深度学习的人脸识别方法 | |
| CN112464844A (zh) | 一种基于深度学习与运动目标检测的人体行为动作识别方法 | |
| CN110163175A (zh) | 一种基于改进vgg-16网络的步态识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171024 |