CN107122711A - 一种基于角度径向变换和质心的夜视视频步态识别方法 - Google Patents

一种基于角度径向变换和质心的夜视视频步态识别方法 Download PDF

Info

Publication number
CN107122711A
CN107122711A CN201710167560.XA CN201710167560A CN107122711A CN 107122711 A CN107122711 A CN 107122711A CN 201710167560 A CN201710167560 A CN 201710167560A CN 107122711 A CN107122711 A CN 107122711A
Authority
CN
China
Prior art keywords
gait
mrow
image
night vision
barycenter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710167560.XA
Other languages
English (en)
Inventor
徐传铎
方建安
叶国林
陈博洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Donghua University
National Dong Hwa University
Original Assignee
Donghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Donghua University filed Critical Donghua University
Priority to CN201710167560.XA priority Critical patent/CN107122711A/zh
Publication of CN107122711A publication Critical patent/CN107122711A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于角度径向变换和质心的夜视视频步态识别方法，首先采集红外视频图像；从所采集的红外视频图像中提取人体步态轮廓，并对所提取的人体步态轮廓序列进行预处理；基于预处理后的人体步态轮廓序列构建人体的步态能量图；提取步态能量图的特征向量，将步态能量图的角度径向变换系数和质心向量作为特征向量；通过主成分分析方法降低特征向量的维数；把降维后的特征向量和样本训练集进行识别匹配，实现红外夜视图像的步态识别。本发明提供的方法可以更加合理有效的提取到夜视视频图像步态能量图的有效信息，既提高了步态识别的效率，又提高了步态识别的正确率。

Description

一种基于角度径向变换和质心的夜视视频步态识别方法
技术领域
本发明涉及一种基于角度径向变换和质心的夜视视频步态识别方法，该方法属于红外夜视视频图像处理技术领域，通过该方法可以实现夜间的行人监测。
背景技术
在过去几年中，红外成像技术得到了迅速的发展，红外视频图像的应用也越来越广泛。例如，夜间的视频监控，通过自动识别家人和闯入者来达到保护居民的生命财产安全。但是红外摄像机得到的是灰度图像，具有纹理细节少、信噪比低等特点。由于步态识别可根据人的整体特征，对视频质量要求不高。所以，步态识别在红外视频识别研究中非常活跃。
早期的医学研究表明，步态是人体的特有特征。人体的行走的过程中，步态是一个随时间变化的时空信号，具有周期性。所以，在研究步态运动时，只需要提取到一个周期的步态特征。通常情况下，认为一个步态周期是由两步组成的，它可以认为是从一条退向前跨出某一个(最远的)位置，到下一次这条腿跨到同样的位置。
人体步态由许多因素决定，包括体格、体重、鞋子高度、地面状态、衣着和精神状态等。但是由于人们经常改变衣着、行走速度，以及摄像机拍摄角度的差异，使得步态识别成为一个具有挑战性的课题，其目标是无论背景、光照、衣着、速度等如何变化，都能正确识别身份。
步态识别通常包括3个过程：步态运动检测、步态特征提取和特征识别。其中，步态特征提取是步态识别技术的关键，主要分为两类：一类是基于模型的方法，如Cunado等将大腿建模为钟摆，从其倾斜角度信号的频率分量获取步态特征；Yoo等根据解剖学的知识，构建2D人体杆状模型，将步态序列中的所有杆状模型连接起来构成步态模式。基于模型的方法通常要求获取到清晰的步态序列，并经过复杂的计算构建模型方可取得良好的识别性能，而且当身体出现自遮挡现象时识别率明显下降。第二类是基于非模型的方法，如Han等提出步态能量图(GEI)来反映侧影形状的变化，该算法对噪声更具鲁棒性，但是不足以反映连续帧之间的动态变化，丢失了一部分步态信息；王亮等提出一种基于轮廓的解卷绕步态识别算法，用轮廓组成点到人体质心之间的连线来表达步态特征，这种方法依赖于人体整体轮廓形状随时间的变化，在衣着或是摆臂姿态发生变化时，对识别率有一定的影响。陈欣等提出的基于质心的步态识别算法，将质心的波动作为步态特征，利用频谱分析质心运动轨迹识别个体，取得了较高的识别率且计算代价小，但是质心作为唯一特征容易受到噪声的干扰，且在样本数量增加的情况下容易出现质心波动的相似性，导致识别难度的增加。
发明内容
本发明要解决的技术问题是提供一种能够更为准确地表示红外条件下运动人体目标特征的方法，并以此为基础进行步态识别，以提高步态识别的正确率。
为了解决上述技术问题，本发明的技术方案是提供一种基于角度径向变换和质心的夜视视频步态识别方法，其特征在于，包括如下步骤：
步骤1：采集红外视频图像；
步骤2：从所采集的红外视频图像中提取人体步态轮廓，并对所提取的人体步态轮廓序列进行预处理；
步骤3：基于预处理后的人体步态轮廓序列构建人体的步态能量图；
步骤4：提取步态能量图的特征向量，将步态能量图的角度径向变换系数和质心向量作为特征向量；
步骤5：通过主成分分析方法降低特征向量的维数；
步骤6：把降维后的特征向量和样本训练集进行识别匹配，实现红外夜视图像的步态识别。
优选地，所述步骤1中，通过红外热像机采集红外视频图像。
优选地，所述步骤2中，提取步态轮廓所用的方法是背景减除法。
更优选地，所述背景减除法是采用当前帧图像与背景帧图像的差分来检测运动目标，通过减除掉背景对象不变因素来分离运动目标；具体计算公式如下：
其中，f(a，b)是人体轮廓图像；a(x，y)与b(x，y)分别是当前图像与背景图像在像素(x，y)处的灰度值；0≤f(a，b)＜1，0≤a(x，y)，b(x，y)＜255；
利用下式求出间接背景减除后的二值化图像；
其中，Dxy是间接背景减除后的二值化图像；T为阈值。
优选地，所述步骤2中，预处理包括大小标准化和水平对齐；大小标准化是按比例调整每个轮廓图像的大小，使得所有轮廓具有相同的高度；水平对齐是相对于其水平中心定位上半轮廓部分实现。
优选地，所述步骤3中，步态能量图的定义如下：
其中，G(x，y)是步态能量图，N是轮廓序列的完整周期中的帧数，t是序列中的帧编号，Bt(x，y)是二值化运动图像序列；x和y是图像坐标中的值。
所述步骤6中，使用动态时间规整进行步态模板的匹配。
本发明提供的方法克服了现有技术的不足，通过使用角度径向变换和质心的特征提取方法，可以更加合理有效的提取到夜视视频图像步态能量图的有效信息，既提高了步态识别的效率，又提高了步态识别的正确率。采用本发明提供的步态识别方法，可以对一些需要昼夜监控的场所进行人员的身份认证，为使用者带来更为安全的生活环境。
附图说明
图1为基于角度径向变换和质心的夜视视频步态识别方法的系统框图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
图1为基于角度径向变换和质心的夜视视频步态识别方法的系统框图，所述的基于角度径向变换和质心的夜视视频步态识别方法包括如下步骤：
步骤1：采集红外视频图像。采用实验室的红外热像机采集红外视频图像。
步骤2：从红外视频图像中提取人体步态轮廓，对所提取的轮廓序列进行预处理。提取步态轮廓所用的方法是背景减除法，它是采用当前帧图像与背景帧图像的差分来检测运动目标的，它通过减除掉背景对象等不变因素来分离运动目标，是当前图像分割、动目标检测中最常用的一种方法。计算公式如下：
其中，f(a，b)是人体轮廓图像；a(x，y)与b(x，y)分别是当前图像与背景图像在像素(x，y)处的灰度值；0≤f(a，b)＜1，0≤a(x，y)，b(x，y)＜255。
利用下式求出间接背景减除后的二值化图像。
其中，Dxy是间接背景减除后的二值化图像；T为阈值，当人体区域和背景差别不大时，阈值就可以小一些，反之就可以大一些。
然后，对所提取到的轮廓进行预处理，它包括大小标准化(按比例调整每个轮廓图像的大小，使得所有轮廓具有相同的高度)和水平对齐(相对于其水平中心定位上半轮廓部分)。
步骤3：构建人体的步态能量图；步态能量图能把人整个的行走运动展现在一张图上，这样，步态能量图不仅可以包含人行走时的所有特征，而且减少了存储空间和计算时间，同时它还降低了对每一帧图像噪声的敏感性。步态能量图的定义如下：
其中，G(x，y)是步态能量图，N是轮廓序列的完整周期中的帧数，t是序列中的帧编号，Bt(x，y)是二值化运动图像序列；x和y是图像坐标中的值。
步骤4：将步态能量图的角度径向变换系数和质心向量作为特征向量。人体质心是指人体各部分合重力的作用点，研究表明根据人体质心可以判断人的步态，但是紧靠质心识别个体步态不够完善。角度径向变换(ART)是一种二维对象区域内的像素分步矩算子，源于MPEG-7标准，利用ART进行特征提取，可以描述由多个断开区域以及具有或不具有孔的简单对象组成的复杂对象，具有较好的尺度和旋转变化的不变性。
设f(p，θ)为输入图像在极坐标下的灰度函数，将f(p，θ)函数投影到ART基函数Vnm(p，θ)上，即得到极坐标下的ART系数Fnm，计算公式如下所示：
基函数可沿着角度和径向方向分离，并且定义如下：
其中，p和θ为极坐标参数，n为径向参数，m为角向参数，j为虚数单位。
当所选的阶数n和m的值取得越大时，图像的细节描述越好。但当阶数过高时，特征维数过高，计算量也越大，耗时也就越长。
步骤5：通过主成分分析方法降低特征向量的维数；主要成分分析(PCA)是以通信理论中的K-L变换为基础，其中心思想就是降维，主要原理是提取原始数据高维空间中的主要特征构成一个低维子空间，它包含了尽可能多的有用信息，能较好的表示原始数据。所有数据都可以向这个低维的特征子空间投影进行处理，从而减少数据冗余，达到降维的效果，处理数据维数过高的这一难题。
步骤6：使用动态时间规整进行步态模板的匹配，把提取到的特征和样本训练集进行识别匹配，实现红外夜视图像的步态识别。在步态识别中，由于样本行走速率的不确定性，一个周期内步态图像帧数不完全相同，这使得提取出的特征参数长度不一，为了能够对存在全局或局部扩展、压缩或变形的模式进行匹配，解决动态模式的相似性度量和分类问题，选择柔性模式匹配算法——动态时间规整来进行步态模式的匹配。
试验表明，本发明的识别方法的正确率高，且识别速度快，效率高。本发明的识别方法可以应用于别墅楼宇的安防监控中，对房屋进行隐蔽性远距离全天候无间断监控。从而使被监控区域达到更高的安全级别，创造更为安全的居住生活环境。

Claims (7)

1.一种基于角度径向变换和质心的夜视视频步态识别方法，其特征在于，包括如下步骤：
步骤1：采集红外视频图像；
步骤2：从所采集的红外视频图像中提取人体步态轮廓，并对所提取的人体步态轮廓序列进行预处理；
步骤3：基于预处理后的人体步态轮廓序列构建人体的步态能量图；
步骤4：提取步态能量图的特征向量，将步态能量图的角度径向变换系数和质心向量作为特征向量；
步骤5：通过主成分分析方法降低特征向量的维数；
步骤6：把降维后的特征向量和样本训练集进行识别匹配，实现红外夜视图像的步态识别。
2.如权利要求1所述的一种基于角度径向变换和质心的夜视视频步态识别方法，其特征在于：所述步骤1中，通过红外热像机采集红外视频图像。
3.如权利要求1所述的一种基于角度径向变换和质心的夜视视频步态识别方法，其特征在于：所述步骤2中，提取步态轮廓所用的方法是背景减除法。
4.如权利要求3所述的一种基于角度径向变换和质心的夜视视频步态识别方法，其特征在于：所述背景减除法是采用当前帧图像与背景帧图像的差分来检测运动目标，通过减除掉背景对象不变因素来分离运动目标；具体计算公式如下：
<mrow> <mi>f</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>)</mo> </mrow> <mo>=</mo> <mn>1</mn> <mo>-</mo> <mfrac> <mrow> <mn>2</mn> <msqrt> <mrow> <mo>(</mo> <mi>a</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> <mo>(</mo> <mi>b</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> </msqrt> </mrow> <mrow> <mo>(</mo> <mi>a</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> <mo>(</mo> <mi>b</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> </mfrac> <mo>.</mo> <mfrac> <mrow> <mn>2</mn> <msqrt> <mrow> <mo>(</mo> <mn>256</mn> <mo>-</mo> <mi>a</mi> <mo>)</mo> <mo>(</mo> <mn>256</mn> <mo>-</mo> <mi>b</mi> <mo>)</mo> </mrow> </msqrt> </mrow> <mrow> <mo>(</mo> <mn>256</mn> <mo>-</mo> <mi>a</mi> <mo>)</mo> <mo>(</mo> <mn>256</mn> <mo>-</mo> <mi>b</mi> <mo>)</mo> </mrow> </mfrac> </mrow>
其中，f(a，b)是人体轮廓图像；a(x，y)与b(x，y)分别是当前图像与背景图像在像素(x，y)处的灰度值；0≤f(a，b)＜1，0≤a(x，y)，b(x，y)＜255；
利用下式求出间接背景减除后的二值化图像；
其中，Dxy是间接背景减除后的二值化图像；T为阈值。
5.如权利要求1所述的一种基于角度径向变换和质心的夜视视频步态识别方法，其特征在于：所述步骤2中，预处理包括大小标准化和水平对齐；大小标准化是按比例调整每个轮廓图像的大小，使得所有轮廓具有相同的高度；水平对齐是相对于其水平中心定位上半轮廓部分实现。
6.如权利要求1所述的一种基于角度径向变换和质心的夜视视频步态识别方法，其特征在于：所述步骤3中，步态能量图的定义如下：
<mrow> <mi>G</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>t</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </msubsup> <msub> <mi>B</mi> <mi>t</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow>
其中，G(x，y)是步态能量图，N是轮廓序列的完整周期中的帧数，t是序列中的帧编号，Bt(x，y)是二值化运动图像序列；x和y是图像坐标中的值。
7.如权利要求1所述的一种基于角度径向变换和质心的夜视视频步态识别方法，其特征在于：所述步骤6中，使用动态时间规整进行步态模板的匹配。
CN201710167560.XA 2017-03-20 2017-03-20 一种基于角度径向变换和质心的夜视视频步态识别方法 Pending CN107122711A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710167560.XA CN107122711A (zh) 2017-03-20 2017-03-20 一种基于角度径向变换和质心的夜视视频步态识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710167560.XA CN107122711A (zh) 2017-03-20 2017-03-20 一种基于角度径向变换和质心的夜视视频步态识别方法

Publications (1)

Publication Number Publication Date
CN107122711A true CN107122711A (zh) 2017-09-01

Family

ID=59718258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710167560.XA Pending CN107122711A (zh) 2017-03-20 2017-03-20 一种基于角度径向变换和质心的夜视视频步态识别方法

Country Status (1)

Country Link
CN (1) CN107122711A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107818304A (zh) * 2017-10-27 2018-03-20 佛山科学技术学院 一种智能安防系统身份识别方法
CN108830259A (zh) * 2018-06-30 2018-11-16 天津大学 基于平均差分图像的步态识别方法
CN109567812A (zh) * 2017-09-29 2019-04-05 大连恒锐科技股份有限公司 基于智能鞋垫的步态分析系统
CN110472622A (zh) * 2018-04-12 2019-11-19 腾讯科技（深圳）有限公司 视频处理方法及相关装置，图像处理方法及相关装置
CN110991398A (zh) * 2019-12-18 2020-04-10 长沙融创智胜电子科技有限公司 一种基于改进步态能量图的步态识别方法及系统
CN111241990A (zh) * 2020-01-08 2020-06-05 浙江每日互动网络科技股份有限公司 图像处理方法及装置、计算机设备、计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101587541A (zh) * 2009-06-18 2009-11-25 上海交通大学 基于人体轮廓的人物识别方法
CN102289672A (zh) * 2011-06-03 2011-12-21 天津大学 红外步态双信道特征融合识别方法
CN103593651A (zh) * 2013-10-28 2014-02-19 西京学院 基于步态和二维判别分析的煤矿井下人员身份鉴别方法
CN104794449A (zh) * 2015-04-27 2015-07-22 青岛科技大学 基于人体hog特征的步态能量图获取及身份识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101587541A (zh) * 2009-06-18 2009-11-25 上海交通大学 基于人体轮廓的人物识别方法
CN102289672A (zh) * 2011-06-03 2011-12-21 天津大学 红外步态双信道特征融合识别方法
CN103593651A (zh) * 2013-10-28 2014-02-19 西京学院 基于步态和二维判别分析的煤矿井下人员身份鉴别方法
CN104794449A (zh) * 2015-04-27 2015-07-22 青岛科技大学 基于人体hog特征的步态能量图获取及身份识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杜刚等: "相似度距离耦合角度径向变换的图像配准算法", 《包装工程》 *
蒋加伏等: "基于混合不变矩的步态识别", 《计算机工程与设计》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109567812A (zh) * 2017-09-29 2019-04-05 大连恒锐科技股份有限公司 基于智能鞋垫的步态分析系统
CN107818304A (zh) * 2017-10-27 2018-03-20 佛山科学技术学院 一种智能安防系统身份识别方法
CN110472622A (zh) * 2018-04-12 2019-11-19 腾讯科技（深圳）有限公司 视频处理方法及相关装置，图像处理方法及相关装置
CN110472622B (zh) * 2018-04-12 2022-04-22 腾讯科技（深圳）有限公司 视频处理方法及相关装置，图像处理方法及相关装置
CN108830259A (zh) * 2018-06-30 2018-11-16 天津大学 基于平均差分图像的步态识别方法
CN110991398A (zh) * 2019-12-18 2020-04-10 长沙融创智胜电子科技有限公司 一种基于改进步态能量图的步态识别方法及系统
CN111241990A (zh) * 2020-01-08 2020-06-05 浙江每日互动网络科技股份有限公司 图像处理方法及装置、计算机设备、计算机可读存储介质
CN111241990B (zh) * 2020-01-08 2023-06-06 每日互动股份有限公司 图像处理方法及装置、计算机设备、计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN107122711A (zh) 一种基于角度径向变换和质心的夜视视频步态识别方法
Kwolek et al. Improving fall detection by the use of depth sensor and accelerometer
CN103942577B (zh) 视频监控中基于自建立样本库及混合特征的身份识别方法
CN109522793A (zh) 基于机器视觉的多人异常行为检测与识别方法
CN102682302B (zh) 一种基于关键帧的多特征融合的人体姿态识别方法
CN105069434B (zh) 一种视频中人体动作行为识别方法
CN105160310A (zh) 基于3d卷积神经网络的人体行为识别方法
Jeong et al. Human-skeleton based fall-detection method using LSTM for manufacturing industries
WO2001073680A1 (en) Methods and systems for distinguishing individuals utilizing anatomy and gait parameters
CN105022982A (zh) 手部运动识别方法和装置
CN114067358A (zh) 一种基于关键点检测技术的人体姿态识别方法及系统
CN102289672A (zh) 红外步态双信道特征融合识别方法
CN111027432B (zh) 基于步态特征的视觉跟随机器人方法
Singh et al. Human activity recognition based on silhouette directionality
CN105469050B (zh) 基于局部时空特征描述与金字塔词汇树的视频行为识别方法
CN108898108B (zh) 一种基于扫地机器人的用户异常行为监测系统及方法
CN111505632A (zh) 基于功率谱和多普勒特征的超宽带雷达动作姿态识别方法
CN104200200A (zh) 融合深度信息和灰度信息实现步态识别的系统及方法
CN108537181A (zh) 一种基于大间距深度度量学习的步态识别方法
CN104794449A (zh) 基于人体hog特征的步态能量图获取及身份识别方法
CN113378649A (zh) 身份、位置和动作识别方法、系统、电子设备及存储介质
Glandon et al. 3d skeleton estimation and human identity recognition using lidar full motion video
EP3039600B1 (en) Pose and sub-pose clustering-based identification of individuals
KR20120089948A (ko) Ｍｈｉ의 형태 정보를 이용한 실시간 동작 인식시스템 및 실시간 동작 인식 방법
CN104217211A (zh) 基于最优判别耦合投影的多视角步态识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170901

WD01 Invention patent application deemed withdrawn after publication