CN107037878A - 一种基于手势的人机交互方法 - Google Patents

一种基于手势的人机交互方法 Download PDF

Info

Publication number
CN107037878A
CN107037878A CN201611150781.8A CN201611150781A CN107037878A CN 107037878 A CN107037878 A CN 107037878A CN 201611150781 A CN201611150781 A CN 201611150781A CN 107037878 A CN107037878 A CN 107037878A
Authority
CN
China
Prior art keywords
gesture
data
man
template
machine interaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611150781.8A
Other languages
English (en)
Inventor
刘金国
王志恒
赵梓淇
曹江涛
高庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Institute of Automation of CAS
Original Assignee
Shenyang Institute of Automation of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Institute of Automation of CAS filed Critical Shenyang Institute of Automation of CAS
Priority to CN201611150781.8A priority Critical patent/CN107037878A/zh
Publication of CN107037878A publication Critical patent/CN107037878A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Feedback Control In General (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种基于手势的人机交互方法,构建手势初始模板,并对手势初始模板数据进行归一化处理;采用改进的PSO算法对SVM支持向量机分类器进行参数寻优;将寻优后的参数结果导入SVM支持向量机分类器预测函数中,对手势训练集模板进行训练,用测试集进行预测,得到SVM支持向量机分类预测模板;实时采集手势数据,并进行归一化处理,将数据在SVM支持向量机分类器中进行分类;进行手势匹配,得到匹配结果。本发明提供的基于手势识别的人机交互方式,极大的提高了整个机器人控制系统的实时性,同时使得整套人机交互系统在对采样机器人实时控制更加便利和高效,从而有效地减少了误操作次数,提高了控制的准确度。

Description

一种基于手势的人机交互方法
技术领域
本发明涉及一种人机交互方法,具体地说是一种采用手势识别的方法通过上位机来对机器人的运动进行相关控制。
背景技术
近年来,研究人员对地外星体的探测逐步深入,星体表层采样研究成为探测星体的重要环节。目前,研究人员对地外星体的探测与采样主要集中在月球和火星上,并使用空间探测机器人对星体资源进行了原位分析和土壤采样。
在对地外星体表层进行采样研究时存在着空间作业环境复杂、未知等问题;而人类操作者比空间探测机器人有更好的判断力、洞察力,因此使用人机交互技术通过操作人员对空间探测机器人进行实时控制,以确保探测机器人能顺利完成任务。在过去的几十年里,人机交互技术受到了研究人员的广泛关注而且得到了迅速的发展,出现了多种成熟的人机交互方式。语音识别和手势识别是其中的两大主要发展方向。由于手势识别相比语音识别具有信息量丰富、易于实现等优点,因此广泛应用于人机交互系统中,是人机交互系统的重要技术环节之一。
在人机交互系统的研究发展过程之中,手势识别系统主要可以分为两类:数据手套系统和徒手系统。在本发明中使用数据手套系统,将数据手套的手势作为人机交互系统的输入,从而实现对机器人的运动控制。
发明内容
针对现有技术的不足,本发明提供一种基于手势的人机交互方法,经过对操作者手势数据的采集和归一化处理构建了手势模板,为了使得手势模板能够进行准确分类,提出的改进PSO-SVM分类算法,克服了传统分类算法不能对数据进行准确分类以及传统PSO算法容易陷入局部最优的问题。
本发明为实现上述目的所采用的技术方案是:
一种基于手势的人机交互方法,包括:
步骤1:根据数据手套的弯曲度值,构建手势初始模板,并对手势初始模板数据进行归一化处理,得到手势训练集模板;
步骤2:采用改进的PSO算法对SVM支持向量机分类器进行参数寻优,得到惩罚参数和核参数最优值;
步骤3:将寻优后的参数结果导入SVM支持向量机分类器预测函数中,对手势训练集模板进行训练,对训练后的手势训练集模板用测试集进行预测,得到SVM支持向量机分类预测模板;
步骤4:实时采集手势数据,并对实时手势数据进行归一化处理,将归一化处理后的数据在SVM支持向量机分类器中进行分类;
步骤5:将分类后的数据进行手势匹配,得到匹配结果,通过控制器控制采样机器人。
构建手势初始模板的过程为:
对每一种手势,采集其数据手套的对应弯曲度值若干次,得到N*5的矩阵,从而建立手势初始模板。
所述归一化处理过程为:
其中,x表示要归一化的初始数据,y表示归一化的结果,xmax初始数据最大值,xmin表示初始数据最小值,ymax表示归一化结果数据最大值,ymin表示归一化结果最小值。
所述改进的PSO算法为:
其中,搜索空间为D维;总粒子数为N;第i个粒子的位置表示为Pi=(Pi1,Pi2,…PiD);Vi为第i个粒子飞行位置变化率,Vi=(Vi1,Vi2,...ViD);pBesti为第i个粒子在飞行的历史中去过的最优位置(即该粒子的个体最优值),pBesti=(Pi1,Pi2,…PiD);当前种群在飞行中全部粒子的最优位置,即全局最优值表示为gBest(该值为所有pBesti中的最优值)。ω表示改进的惯性权重,c1,c2是加速因子,是两个正实数,分别称为认知学习率和社会学习率,通常取值为c1=c2=2,rand()为[0,1]范围内相互独立的随机数。Tmax和T分别代表种群的最大迭代次数和当前迭代次数;ωstart和ωend分别代表初始迭代权重和终止迭代权重,其中ωstart=0.9,ωend=0.4。对于学习因子的取值过大或过小都不利于粒子群寻优,一般情况下c1和c2的关系是c1+c2>4,c1和c2取值范围为[1,2.5]。学习因子改进策略按c1由大变小,c2由小变大改进。
将对每一种手势采集其数据手套的对应弯曲度值次数的一部分用于对手势训练集模板进行训练。
所述对手势训练集模板进行训练为:
根据数据手套的对应弯曲度值,将手势训练集模板划分为若干区间,作为分类区间。
所述用测试集进行预测过程为:
将测试集的手势数据输入到手势训练集模板中,进行分类,判断分类值是否满足分类区间;
如果满足分类区间,则得到SVM支持向量机分类预测模板;否则返回步骤3。
所述手势匹配过程为:
将分类后的数据根据分类进行编号,得到的编号与已有的控制编号进行匹配;
如果匹配成功,则根据对应的控制编号的控制状态对采样机器人进行控制;否则返回步骤3。
所述数据手套包括在每根手指弯曲处设置弯曲传感器,连接ARM控制器,采集弯曲度值发送到ARM控制器;分压电路连接ARM控制器,通过串联电阻分压控制电流大小。
本发明具有以下有益效果及优点:
本发明通过人机交互方法,使用正确识别和匹配后的手势数据,对机器人进行了实时的控制,从实验效果可以看出改进PSO-SVM分类算法在识别的正确率有了显著的提高,使得整套人机交互系统在对采样机器人实时控制更加便利和高效,从而有效地减少了误操作次数,提高了控制的准确度。
附图说明
图1是本发明的方法流程图;
图2是本发明的改进的PSO算法寻优流程图;
图3是本发明的人机交互系统结构图;
图4是本发明的数据手套结构图。
具体实施方式
下面结合附图及实施例对本发明做进一步的详细说明。
如图1所示为本发明的方法流程图。
首先,通过数据手套对操作者的手势进行采集,每个手势的活动值可以唯一确定。同一种手势采集20次,这样每个手势就会有20个不同的样本描述。样本集一共包含了11种手势样本,每种样本由5个数据组成,从而构成了220×5的特征样本矩阵。建立手势初始模板。然后对手势模板中的数据进行归一化处理使得原始数据被规整到[0,1]范围内。在归一化数据里把训练集和测试集提取出来,并对每组样本数据标注类别标签。其中1-20个样本属于第一类(类别标签为1),第21-40个样本为属于第二类(类别标签为2);依次类推,每20个样本为一类,一共将样本分成11类,然后用改进的PSO算法对数据进行训练并SVM支持向量机进行参数寻优。训练后的手势训练集模板划分为若干区间,作为分类区间。将测试集的手势数据输入到手势训练集模板中,进行分类,判断分类值是否满足分类区间。如果满足分类区间,则得到SVM支持向量机分类预测模板。将分类后的数据根据分类进行编号,得到的编号与已有的控制编号进行匹配;如果匹配成功,则根据对应的控制编号的控制状态对采样机器人进行控制。
如图2所示为本发明的改进的PSO算法寻优流程图。
其中,搜索空间为D维,总粒子数为N。第i个粒子的位置表示为Pi=(Pi1,Pi2,…PiD);第i个粒子飞行位置变化率(即“速度”)表示为Vi=(Vi1,Vi2,...ViD);第i个粒子在飞行的历史中去过的最优位置(即该粒子的个体最优值)表示为pBesti=(Pi1,Pi2,…PiD);当前种群在飞行中全部粒子的最优位置,即全局最优值表示为gBest(该值为所有pBesti中的最优值)。ω表示改进的惯性权重,c1,c2是加速因子,是两个正实数,分别称为认知学习率和社会学习率,通常取值为c1=c2=2,rand()为[0,1]范围内相互独立的随机数。Tmax和T分别代表种群的最大迭代次数和当前迭代次数;ωstart和ωend分别代表初始迭代权重和终止迭代权重,其中ωstart=0.9,ωend=0.4。对于学习因子的取值过大或过小都不利于粒子群寻优,一般情况下c1和c2的关系是c1+c2>4,c1和c2取值范围为[1,2.5]。学习因子改进策略按c1由大变小,c2由小变大改进。
如图3所示为本发明的人机交互系统结构图。
用数据手套采集操作人员的相关手势的弯曲度数据,通过无线传输模块发送给上位机系统,在MATLAB数学节点中进行相关的数据、指令处理,处理后的结果形成控制指令,通过无线传输模块发送给采样机器人从而进行相关的运动控制。为了满足对手势进行实时匹配,需要设计上位机系统对数据进行处理。LabVIEW是美国NI公司研发的一种工业标准图形化编程工具,主要用于研发测试、测量和控制系统,它是专门为工程师和科学家而设计的直观图形化编程语言。为了使操作人员能够简明、直观地看到手势识别与控制机器人的全部过程。上位机操作界面主要包括三个部分:手势数据采集区,手势匹配与机器人控制区,用来显示手势数据对应的控制指令是否,无线监控区主要作用是实时显示机器人上摄像机的图像采集结果,方便操作者实时掌握机器人运动作业环境。
如图4所示为本发明的数据手套结构图。
数据手套由手套部分和外围分压电路两部分组成。其中手套的手指部位由5个Flex2.2弯曲传感器制成,传感器实质上是一个可变电阻,通过对传感器进行弯曲来改变表面导电粒子的分布,从而改变电阻。弯曲程度越大,传感器的电阻值就越大。为了保护好ARM控制器和弯曲传感器不在通电过程中因为电压过大而损坏,因此设计由N个电阻组成的外围分压电路,从而使得ARM控制器和弯曲传感器满足额定工作电压。经过实验证明,数据手套的使用,不仅在输入端对操作人员的手势进行了实时数据采集,同时还能提高操作者对采样机器人控制的灵活度和自由度。
以上所述仅是本发明的优选实施方式,应当指出:对于本技术领域的普
通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进的润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种基于手势的人机交互方法,其特征在于,包括:
步骤1:根据数据手套的弯曲度值,构建手势初始模板,并对手势初始模板数据进行归一化处理,得到手势训练集模板;
步骤2:采用改进的PSO算法对SVM支持向量机分类器进行参数寻优,得到惩罚参数和核参数最优值;
步骤3:将寻优后的参数结果导入SVM支持向量机分类器预测函数中,对手势训练集模板进行训练,对训练后的手势训练集模板用测试集进行预测,得到SVM支持向量机分类预测模板;
步骤4:实时采集手势数据,并对实时手势数据进行归一化处理,将归一化处理后的数据在SVM支持向量机分类器中进行分类;
步骤5:将分类后的数据进行手势匹配,得到匹配结果,通过控制器控制采样机器人。
2.根据权利要求1所述的基于手势的人机交互方法,其特征在于:构建手势初始模板的过程为:
对每一种手势,采集其数据手套的对应弯曲度值若干次,得到N*5的矩阵,从而建立手势初始模板。
3.根据权利要求1所述的基于手势的人机交互方法,其特征在于:所述归一化处理过程为:
其中,x表示要归一化的初始数据,y表示归一化的结果,xmax初始数据最大值,xmin表示初始数据最小值,ymax表示归一化结果数据最大值,ymin表示归一化结果最小值。
4.根据权利要求1所述的基于手势的人机交互方法,其特征在于:所述改进的PSO算法为:
其中,搜索空间为D维;总粒子数为N;第i个粒子的位置表示为Pi=(Pi1,Pi2,…PiD);Vi为第i个粒子飞行位置变化率,Vi=(Vi1,Vi2,...ViD);pBesti为个体最优值,表示第i个粒子在飞行的历史中去过的最优位置,pBesti=(Pi1,Pi2,…PiD);gBest为全局最优值,表示当前种群在飞行中全部粒子的最优位置;ω为改进的惯性权重;c1、c2是加速因子,是两个正实数,分别称为认知学习率和社会学习率,c1和c2取值范围为[1,2.5]且c1+c2>4;rand()为[0,1]范围内相互独立的随机数;Tmax和T分别代表种群的最大迭代次数和当前迭代次数;ωstart和ωend分别代表初始迭代权重和终止迭代权重,其中ωstart=0.9,ωend=0.4。
5.根据权利要求2所述的基于手势的人机交互方法,其特征在于:将对每一种手势采集其数据手套的对应弯曲度值次数的一部分用于对手势训练集模板进行训练。
6.根据权利要求1或5所述的基于手势的人机交互方法,其特征在于:所述对手势训练集模板进行训练为:
根据数据手套的对应弯曲度值,将手势训练集模板划分为若干区间,作为分类区间。
7.根据权利要求1所述的基于手势的人机交互方法,其特征在于:所述用测试集进行预测过程为:
将测试集的手势数据输入到手势训练集模板中,进行分类,判断分类值是否满足分类区间;
如果满足分类区间,则得到SVM支持向量机分类预测模板;否则返回步骤3。
8.根据权利要求1所述的基于手势的人机交互方法,其特征在于:所述手势匹配过程为:
将分类后的数据根据分类进行编号,得到的编号与已有的控制编号进行匹配;
如果匹配成功,则根据对应的控制编号的控制状态对采样机器人进行控制;否则返回步骤3。
9.根据权利要求1所述的基于手势的人机交互方法,其特征在于:所述数据手套包括在每根手指弯曲处设置弯曲传感器,连接ARM控制器,采集弯曲度值发送到ARM控制器;分压电路连接ARM控制器,通过串联电阻分压控制电流大小。
CN201611150781.8A 2016-12-14 2016-12-14 一种基于手势的人机交互方法 Pending CN107037878A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611150781.8A CN107037878A (zh) 2016-12-14 2016-12-14 一种基于手势的人机交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611150781.8A CN107037878A (zh) 2016-12-14 2016-12-14 一种基于手势的人机交互方法

Publications (1)

Publication Number Publication Date
CN107037878A true CN107037878A (zh) 2017-08-11

Family

ID=59531195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611150781.8A Pending CN107037878A (zh) 2016-12-14 2016-12-14 一种基于手势的人机交互方法

Country Status (1)

Country Link
CN (1) CN107037878A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107592422A (zh) * 2017-09-20 2018-01-16 上海交通大学 一种基于手势特征的身份认证方法及系统
CN107831791A (zh) * 2017-11-17 2018-03-23 南方科技大学 一种无人机的操控方法、装置、操控设备及存储介质
CN109213322A (zh) * 2018-08-23 2019-01-15 深圳大学 一种虚拟现实中手势识别的方法及系统
CN109871857A (zh) * 2017-12-05 2019-06-11 博世汽车部件(苏州)有限公司 用于识别手势的方法和装置
CN111309151A (zh) * 2020-02-28 2020-06-19 桂林电子科技大学 一种学校监控设备的控制方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101882000A (zh) * 2010-06-18 2010-11-10 华南理工大学 一种基于加速度传感器的手势识别方法
CN103595538A (zh) * 2013-11-25 2014-02-19 中南大学 基于手机加速度传感器的身份认证方法
CN103914149A (zh) * 2014-04-01 2014-07-09 复旦大学 一种面向互动电视的手势交互方法和系统
CN104834941A (zh) * 2015-05-19 2015-08-12 重庆大学 基于计算机输入下的稀疏自编码的脱机手写体识别方法
CN105138953A (zh) * 2015-07-09 2015-12-09 浙江大学 一种基于连续的多实例学习的视频中动作识别的方法
CN105205449A (zh) * 2015-08-24 2015-12-30 西安电子科技大学 基于深度学习的手语识别方法
CN105426842A (zh) * 2015-11-19 2016-03-23 浙江大学 基于支持向量机的表面肌电信号多类手部动作识别方法
CN105446484A (zh) * 2015-11-19 2016-03-30 浙江大学 一种基于隐马尔科夫模型的肌电信号手势识别方法
CN105893951A (zh) * 2016-03-29 2016-08-24 华东师范大学 一种面向无人驾驶车的多维非穿戴式交警手势识别方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101882000A (zh) * 2010-06-18 2010-11-10 华南理工大学 一种基于加速度传感器的手势识别方法
CN103595538A (zh) * 2013-11-25 2014-02-19 中南大学 基于手机加速度传感器的身份认证方法
CN103914149A (zh) * 2014-04-01 2014-07-09 复旦大学 一种面向互动电视的手势交互方法和系统
CN104834941A (zh) * 2015-05-19 2015-08-12 重庆大学 基于计算机输入下的稀疏自编码的脱机手写体识别方法
CN105138953A (zh) * 2015-07-09 2015-12-09 浙江大学 一种基于连续的多实例学习的视频中动作识别的方法
CN105205449A (zh) * 2015-08-24 2015-12-30 西安电子科技大学 基于深度学习的手语识别方法
CN105426842A (zh) * 2015-11-19 2016-03-23 浙江大学 基于支持向量机的表面肌电信号多类手部动作识别方法
CN105446484A (zh) * 2015-11-19 2016-03-30 浙江大学 一种基于隐马尔科夫模型的肌电信号手势识别方法
CN105893951A (zh) * 2016-03-29 2016-08-24 华东师范大学 一种面向无人驾驶车的多维非穿戴式交警手势识别方法及系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
刘洞波: "《移动机器人粒子滤波定位与地图创建》", 30 September 2016 *
巴雷特: "《Arduino高级开发权威指南》", 31 March 2014 *
张毅: "《移动机器人技术基础与制作》", 31 January 2013 *
李丽: "《粒子群优化算法》", 31 October 2009 *
杨石焕: "基于支持向量机的手势识别研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
黄海: "《虚拟现实技术》", 31 January 2014 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107592422A (zh) * 2017-09-20 2018-01-16 上海交通大学 一种基于手势特征的身份认证方法及系统
CN107592422B (zh) * 2017-09-20 2019-07-02 上海交通大学 一种基于手势特征的身份认证方法及系统
CN107831791A (zh) * 2017-11-17 2018-03-23 南方科技大学 一种无人机的操控方法、装置、操控设备及存储介质
CN107831791B (zh) * 2017-11-17 2020-12-15 深圳意动航空科技有限公司 一种无人机的操控方法、装置、操控设备及存储介质
CN109871857A (zh) * 2017-12-05 2019-06-11 博世汽车部件(苏州)有限公司 用于识别手势的方法和装置
CN109213322A (zh) * 2018-08-23 2019-01-15 深圳大学 一种虚拟现实中手势识别的方法及系统
CN109213322B (zh) * 2018-08-23 2021-05-04 深圳大学 一种虚拟现实中手势识别的方法及系统
CN111309151A (zh) * 2020-02-28 2020-06-19 桂林电子科技大学 一种学校监控设备的控制方法

Similar Documents

Publication Publication Date Title
CN107037878A (zh) 一种基于手势的人机交互方法
CN101344816B (zh) 基于视线跟踪和手势识别的人机交互方法及装置
Fang et al. Detecting non-hardhat-use by a deep learning method from far-field surveillance videos
Peng et al. Wear particle classification considering particle overlapping
CN109086706B (zh) 应用于人机协作中的基于分割人体模型的动作识别方法
CN103926999B (zh) 手掌开合手势识别方法和装置、人机交互方法和设备
CN105975934B (zh) 一种用于增强现实辅助维修的动态手势识别方法及系统
CN109597485B (zh) 一种基于双指角域特征的手势交互系统及其工作方法
Elforaici et al. Posture recognition using an RGB-D camera: exploring 3D body modeling and deep learning approaches
CN108491077A (zh) 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法
CN108171184A (zh) 基于Siamese网络的用于行人重识别的方法
CN106504233A (zh) 基于Faster R‑CNN的无人机巡检图像电力小部件识别方法及系统
CN107742095A (zh) 基于卷积神经网络的汉语手语识别方法
CN105956351A (zh) 一种基于机器学习的触觉信息分类计算建模方法
CN102760228B (zh) 基于标本图像的鳞翅目昆虫种类自动鉴别方法
CN101853071A (zh) 基于视觉的手势识别方法及系统
CN104156690B (zh) 一种基于图像空间金字塔特征包的手势识别方法
Wachs et al. Real-time hand gesture telerobotic system using fuzzy c-means clustering
Angona et al. Automated Bangla sign language translation system for alphabets by means of MobileNet
CN110414446A (zh) 机器人的操作指令序列生成方法及装置
CN108762503A (zh) 一种基于多模态数据采集的人机交互系统
CN107229921A (zh) 基于Hausdorff距离的动态手势识别方法
CN111368762A (zh) 基于改进的K-means聚类算法的机器人手势识别方法
CN105447506A (zh) 一种基于区间分布概率特征的手势识别方法
Tavakoli Seq2image: Sequence analysis using visualization and deep convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170811

RJ01 Rejection of invention patent application after publication