CN109144272A - 一种基于数据手套手势识别的四旋翼无人机控制方法 - Google Patents
一种基于数据手套手势识别的四旋翼无人机控制方法 Download PDFInfo
- Publication number
- CN109144272A CN109144272A CN201811052951.8A CN201811052951A CN109144272A CN 109144272 A CN109144272 A CN 109144272A CN 201811052951 A CN201811052951 A CN 201811052951A CN 109144272 A CN109144272 A CN 109144272A
- Authority
- CN
- China
- Prior art keywords
- neural network
- data
- layer
- neuron
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000013528 artificial neural network Methods 0.000 claims abstract description 139
- 238000005259 measurement Methods 0.000 claims abstract description 50
- 230000008569 process Effects 0.000 claims abstract description 16
- 210000002569 neuron Anatomy 0.000 claims description 66
- 230000033001 locomotion Effects 0.000 claims description 56
- 238000012549 training Methods 0.000 claims description 35
- 230000006870 function Effects 0.000 claims description 21
- 230000004913 activation Effects 0.000 claims description 19
- 230000009471 action Effects 0.000 claims description 16
- 238000005096 rolling process Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 10
- 238000003062 neural network model Methods 0.000 claims description 9
- 238000007667 floating Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000001174 ascending effect Effects 0.000 claims description 2
- 201000009482 yaws Diseases 0.000 claims description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims 1
- 238000009825 accumulation Methods 0.000 claims 1
- 230000001186 cumulative effect Effects 0.000 claims 1
- 210000004218 nerve net Anatomy 0.000 claims 1
- 238000009434 installation Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 12
- 230000035945 sensitivity Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 210000005036 nerve Anatomy 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000000575 pesticide Substances 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Health & Medical Sciences (AREA)
- Feedback Control In General (AREA)
Abstract
一种基于数据手套手势识别的四旋翼无人机控制方法,本发明涉及基于数据手套手势识别的四旋翼无人机控制方法。本发明的目的是为了解决现有复杂环境中需要借助复杂设备完成对四旋翼无人机远程智能控制,四旋翼无人机远程智能控制准确率低问题。具体过程为:一、在手套上安装位姿测量设备,采用手套上的位姿测量设备采集人手手势数据,将采集的人手手势数据传给地面站计算机;二、地面站计算机将接收到的人手手势数据输入BP神经网络,BP神经网络对人手手势数据进行分类,得到每个手势对应的指令;三、地面站计算机将指令发送给四旋翼无人机上的飞行控制器,飞行控制器控制四旋翼无人机飞行。本发明用于四旋翼无人机控制领域。
Description
技术领域
本发明涉及基于数据手套手势识别的四旋翼无人机控制方法。
背景技术
随着无人机技术的不断发展和进步,四旋翼无人机的应用领域越来越广泛,无论是在军用还是在民用,都发挥着重要的作用,扮演者无可替代的角色。已经有越来越多的行业引入了四旋翼无人机:警用巡逻无人机、灾后救援无人机、地理测绘无人机、电力巡检无人机、森林火险无人机、农药喷洒无人机、航拍无人机等。随着四旋翼无人机在各行业的普及为人们带来了极大的便利,同时也对四旋翼无人机控制方面提出了更高的要求。
现有技术存在的问题:现有复杂环境中需要借助复杂设备完成对四旋翼无人机远程智能控制,四旋翼无人机远程智能控制准确率低。
发明内容
本发明的目的是为了解决现有复杂环境中需要借助复杂设备完成对四旋翼无人机远程智能控制的问题和四旋翼无人机远程智能控制准确率低问题,而提出一种基于数据手套手势识别的四旋翼无人机控制方法。
一种基于数据手套手势识别的四旋翼无人机控制方法具体过程为:
步骤一、在手套上安装位姿测量设备,采用手套上的位姿测量设备采集人手手势数据,将采集的人手手势数据传给地面站计算机;
步骤二、地面站计算机将接收到的人手手势数据输入BP神经网络,BP神经网络对人手手势数据进行分类,得到每个手势对应的指令;
步骤三、地面站计算机将指令发送给四旋翼无人机上的飞行控制器,飞行控制器控制四旋翼无人机飞行。
本发明的有益效果为:
本发明首先定义了五种人体肢体动作,基于位姿数据采集手套,建立了人体字体动作数据库,然后基于BP神经网络对人体肢体动作进行了分类学习,动作分类数据的验证集误差小于0.01,实现了人体肢体动作的准确识别,提高了四旋翼无人机远程智能控制准确率,结合四旋翼无人机控制方法,实现基于可穿戴设备的四旋翼无人机远程智能控制,解决了现有复杂环境中需要借助复杂设备完成对四旋翼无人机远程智能控制的问题。
附图说明
图1为BP神经网络拓扑结构图,x1为输入层神经元的第1个输入数据,xi为输入层神经元的第i个输入数据,为输入层神经元的第S1个输入数据,L1为第一层网络,L2为第二层网络,L3为第三层网络,W(1)为第二层网络和第一层网络的连接权重矩阵,W(2)为第三层网络和第二层网络的连接权重矩阵,h1为输出层神经元的第一个输出数据,hj为输出层神经元的第j个输出数据,为输出层神经元的第S3个输出数据;
图2为本发明BP算法训练网络流程图;
图3a表示150个测试样本中只有一个样本未被准确分类的BP网络分类误差示意图;
图3b表示150个测试样本中只有一个样本未被准确分类的实际动作类别和预测动作类比对比示意图;
图4a表示150个测试样本有四个样本未被正确分类的BP网络分类误差示意图;
图4b表示150个测试样本有四个样本未被正确分类的实际动作类别和预测动作类比对比示意图;
图5a表示150个样本中只有一个未被正确分类BP网络分类误差示意图;
图5b表示150个样本中只有一个未被正确分类实际动作类别和预测动作类比对比图;
图6为本发明飞控软件的程序流程图;
图7a为本发明四个旋翼垂直运动示意图,1为四旋翼无人机的第一个旋翼,2为四旋翼无人机的第二个旋翼,3为四旋翼无人机的第三个旋翼,4为四旋翼无人机的第四个旋翼,X为四旋翼机体坐标系X轴,Y为四旋翼机体坐标系Y轴,Z为四旋翼机体坐标系Z轴;
图7b为本发明四个旋翼俯仰运动示意图;
图7c为本发明四旋个翼滚转运动示意图;
图7d为本发明四个旋翼偏航运动示意图;
图8为本发明姿态控制结构图;在大地坐标系中,θ',φ',ψ'是期望的横滚角、偏航角、俯仰角三个角度值;θ,φ,ψ是通过IMU测量获得的横滚角、偏航角、俯仰角三个角度值;通过PID控制获得期望的横滚角、偏航角、俯仰角三个角速度值通过坐标系转换,获得机体坐标系中期望的横滚角、偏航角、俯仰角三个角速度值p',q',r',p,q,r为IMU测量获得的横滚角、偏航角、俯仰角三个角速度值,通过P(比例)控制获得旋翼四个轴上的电机转速u1,u2,u3,u4。
图9为本发明实施例四旋翼无人机仿真图。
具体实施方式
具体实施方式一:本实施方式的一种基于数据手套手势识别的四旋翼无人机控制方法具体过程为:
步骤一、在手套上安装位姿测量设备,采用手套上的位姿测量设备采集人手手势数据,将采集的人手手势数据传给地面站计算机;
步骤二、地面站计算机将接收到的人手手势数据输入BP神经网络,BP神经网络对人手手势数据进行分类,得到每个手势对应的指令;
步骤三、地面站计算机将指令发送给四旋翼无人机上的飞行控制器,飞行控制器控制四旋翼无人机飞行。
具体实施方式二:本实施方式与具体实施方式一不同的是:所述步骤二中地面站计算机将接收到的人手手势数据输入BP神经网络,BP神经网络对人手手势数据进行分类,得到每个手势对应的指令;具体过程为:
一、通过BP神经网络实现训练数据的分类
地面站计算机将接收到的人手手势数据样本集
{(x(1),y(1)),(x(2),y(2)),…,(x(i),y(i)),…,(x(m),y(m))}输入BP神经网络,BP神经网络拓扑结构如图1;
其中x(i)为数据手套位姿测量设备采集的人手手势第i个数据,i=1,…,m,y(i)为x(i)对应的标签,S1是BP神经网络输入层神经元个数,是BP神经网络输出层神经元个数,nl为神经网络层数,m为数据手套位姿测量设备采集的人手手势数据总数,R为实数域,为S1维实数域,为维实数域;
对于任意一个人手手势数据样本(x(i),y(i)),定义(x(i),y(i))代价函数为:
其中,W为BP神经网络权值,b为BP神经网络域值,J(·)为代价函数,hW,b为BP神经网络输出;
对于数据手套位姿测量设备采集的人手手势数据总数m,定义整体代价函数为:
基于BP神经网络求取使整体代价函数J(W,b)最小时对应的权值和域值,生成训练好的BP神经网络模型;
练好的BP神经网络模型对人手手势数据进行分类,得到每个手势对应的指令。
网络训练的目标是取合适的参数W和b获得本发明拟采用梯度下降方法求解参数W和b。BP算法训练网络流程如图2所示。
其它步骤及参数与具体实施方式一相同。
具体实施方式三:本实施方式与具体实施方式一或二不同的是:所述基于BP神经网络求取使整体代价函数J(W,b)最小时对应的权值和域值,生成训练好的BP神经网络模型;具体过程为:
(1)数据预处理
提取人手手势数据样本集{(x(1),y(1)),(x(2),y(2)),…,(x(i),y(i)),…,(x(m),y(m))}中的输入数据集X={x(1),x(2),…,x(i),…,x(m)};
其中,i=1,…,m,共m个输入数据,每个样本x(i)∈Rd,Rd为d维实数域(表明每个数据是d维的,d等于神经网络的输入层神经元个数S1);
由于原始样本中各个数据量纲不同、数值差异较大,为了消除这些问题带来的影响,根据式(3)归一化输入数据集X={x(1),x(2),…,x(i),…,x(m)}:
式中,a、b为常数,文中取a=0,b=1,min(Xk)是数据集X中所有的第k维的最小值,max(Xk)数据集X中所有的第k维的最大值,是第i个样本中的第k维,是第i个样本中的第k维归一化后的样本数据,d为第i个样本x(i)的维数,k为BP神经网络第k个神经元;
对归一化后的样本数据做零均值处理:
式中是第i个零均值处理后的样本,是归一化样本集的均值;
零均值处理完成后,令即用处理后的数据覆盖原始数据。(这样下面的1-5公式保持原来的不变就行。);
(2)对零均值处理后的数据进行前馈传导;
对零均值处理后的任意一个人手手势数据样本(x(i),y(i))进行前馈传导,计算出BP神经网络每层的输入值和激活值;具体过程为:
使用三层网络进行训练,前馈传导如下式:
式中,a(1)为BP神经网络第一层神经元的激活值,W(1)为连接BP神经网络第一层和第二层的权值,b(1)为连接BP神经网络第一层和第二层的阈值,a(2)为BP神经网络第二层神经元的激活值,W(2)为连接BP神经网络第二层和第三层的权值,b(2)为连接BP神经网络第二层和第三层的阈值,sigmod(·)为sigmod函数,a(3)为BP神经网络第三层神经元的激活值,h为BP神经网络输出;z(1)为BP神经网络第一层神经元的输入值(即零均值处理后的样本数据中的x(i)),z(2)为BP神经网络第二层神经元的输入值,z(3)为BP神经网络第三层神经元的输入值;x(i)为零均值处理后的数据手套位姿测量设备采集的人手手势第i个数据;y(i)为零均值处理后的数据手套位姿测量设备采集的人手手势第i个数据x(i)对应的标签;
激活值是a,输入值是z,这里的a和z是指每层神经元都有输入值和输出值,输出值又称为激活值。是训练数据,作为整个网络的输入。
x(i)是第i个样本输入,是一个向量,是第i个样本的第k维数据,是一个数;
(3)基于前馈传导式计算BP神经网络每层的残差;
残差公式为:
式中,为BP神经网络第l层网络第j个神经元的输入值,为BP神经网络第l层网络第j个神经元的残差,j为BP神经网络第j个神经元,l为BP神经网络第l层网络;x(i)为零均值处理后的数据手套位姿测量设备采集的人手手势第i个数据;y(i)为零均值处理后的数据手套位姿测量设备采集的人手手势第i个数据x(i)对应的标签;
残差公式(6)具体计算过程为:
式中,为BP神经网络第nl层网络第j个神经元的残差,为BP神经网络第nl层网络第j个神经元的输入值,为BP神经网络第nl层网络第j个神经元的输出值,yj为标签y中的第j个元素,为BP神经网络第nl层网络的激活函数f的一阶导数;为BP神经网络第nl-1层网络第j个神经元的残差,为BP神经网络连接第nl层网络中第k个神经元和第nl-1层网络中第j个神经元的权值,为BP神经网络第nl层网络第k个神经元的残差,为BP神经网络第nl-1层网络的激活函数f的一阶导数;为BP神经网络输出层神经元个数,nl为神经网络层数,k为BP神经网络第k个神经元;l为BP神经网络第l层;x(i)为零均值处理后的数据手套位姿测量设备采集的人手手势第i个数据;y(i)为零均值处理后的数据手套位姿测量设备采集的人手手势第i个数据x(i)对应的标签;
故对于BP神经网络任意层的残差有:
(公式1-6是残差的定义,这块是具体表达式)
式中,为BP神经网络连接第l+1层网络中第k个神经元和第l层网络中第j个神经元的权值,为BP神经网络第l+1层网络的第k个神经元的残差,为BP神经网络第l层网络的激活函数f的一阶导数,Sl+1为BP神经网络第l+1层网络的神经元个数;为BP神经网络第l层网络第j个神经元的残差;
(4)通过残差描述代价函数的偏导数,计算偏导数:
式中,为BP神经网络连接第l+1层网络中第k个神经元和第l层网络中第j个神经元的权值,为BP神经网络第l层网络第j个神经元的激活值,为BP神经网络第l+1层网络第k个神经元的残差,为BP神经网络第l+1层网络中第j个神经元的阈值;为BP神经网络第l+1层网络第j个神经元的残差;x(i)为零均值处理后的数据手套位姿测量设备采集的人手手势第i个数据;y(i)为零均值处理后的数据手套位姿测量设备采集的人手手势第i个数据x(i)对应的标签;
(5)基于偏导数更新BP神经网络权值和阈值;
式中,α为学习率;为更新后BP神经网络连接第l+1层网络中第k个神经元和第l层网络中第j个神经元的权值,为更新后BP神经网络第l+1层网络中第j个神经元的阈值;
(6)代价函数计算
根据更新后的BP神经网络权值和阈值按式(2)计算BP神经网络训练的代价函数,判断代价函数是否达到设定的训练目标值或者是否到达最大训练次数,若不满足停止条件重新执行(1)-(6)继续训练BP神经网络直到满足停止条件,生成训练好的BP神经网络模型;
训练好的BP神经网络模型对人手手势数据进行分类,得到每个手势对应的指令。
训练过程采用了5层神经网络即包括输入层、输出层和3个隐层,
输入:经过数据处理后的动作数据
输出:对动作的定义,如第一类动作,定义为00001,第二类动作,定义为00010。
经过:通过输入层输入训练数据,经过前馈神经网络计算每一层的输入值和激活值,基于梯度下降法更新网络的权值和阈值,计算网络的代价函数,判断是否满足退出条件,是则退出训练,生成训练模型,否则回到前馈网络,继续训练。
根据上述步骤进行matlab编程,取训练次数为10次,学习率α=0.1。绘制分类误差,图3a、3b表示150个测试样本中只有一个样本未被准确分类,图4a、4b表示150个测试样本有四个样本未被正确分类,其原因在于初始化参数不同获得的值不同,训练完成后得到的网络不同。
取训练次数为25次,学习率α=0.1。绘制分类误差,图5a、5b表示150个样本中只有一个未被正确分类。
从图3a至图5b可知,BP网络能够对动作数据进行正确的分类,为数据手套控制无人机奠定了基础。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四:本实施方式与具体实施方式一至三之一不同的是:所述步骤三中地面站计算机将指令发送给四旋翼无人机上的飞行控制器,飞行控制器控制四旋翼无人机飞行;具体过程为:
(一)飞控软件设计
四旋翼无人机在飞行的时候,需要完成多重任务,包括读取传感器数值、对传感器数值进行滤波并完成对无人机飞行信息的估计、读取控制指令、根据控制指令与无人机飞行信息完成控制量的计算、完成对电机的控制、处理与地面站间的通讯、对无人机飞行情况进行诊断并作出相应的动作。因此,需要比较好的安排好各项工作的优先顺序,并保证各项任务的完成。下面介绍飞控软件的设计。
1.飞控软件功能设计
无人机的飞控软件运行于STM32F407硬件电路,基于ST标准外设库开发。主要实现下列功能:
(1)读取传感器信息:通过串口读取姿态传感器(MTI)信息;通过串口读取光流传感器与超声波传感器信息;通过I2C读取气压计信息。
(2)接收机信号收取:遥控机接收机采用高电平的时间长度来承载信息,根据接收机品牌不同,更新频率从50Hz到80Hz不等,高电平时间长度通常为1ms~2ms。利用外部中断对高电平时间进行测量,从而获取接收机信息。
(3)控制电机调速器与云台控制器:电机调速器与云台控制器均接受与接收机相类似的数字信号,用高电平时间长短来判断控制量的大小。采用内部定时器产生4路PWM波形用于控制六个电机转速,通过2路PWM波形实现对于云台俯仰、横滚的角度控制。
(4)与地面站通讯:通过串口与Xbee通讯模块通讯,而Xbee模块之间通过2.4GHz无线链路通讯。打包机上的飞行信息发送给地面站,接收地面站传来的指令并正确执行。
(5)数据滤波:运用数字滤波方法对传感器测得的数据进行处理,主要目的是降低信号中的噪声水平,排除震动等因素对于传感器造成的影响。
(6)控制量解算:根据反馈与给定之间的偏差,计算位置、速度、高度、爬升速度、姿态角、姿态角速度等控制量。
(7)故障诊断:对于传感器信息的不正常表现,判断无人机是否出现故障,并根据故障发生的原因进行适当的处理并报告。为程序正常运行提供保障。
(8)参数存储:对于重要参数,如控制PID参数,通过EEPROM进行存储,在系统启动时读取。
2.飞控软件总体架构
飞控软件的程序流程图如图6。
首先,系统上电之后,进行系统初始化,其中包括对于GPIO的初始化,系统时钟的初始化等;然后对定时器进行设置,机上中断为100Hz,在每次中断内,依次完成获取传感器信息、获取接收机信息、解算控制量、处理通讯数据等任务。
四旋翼无人机的三种运动模式
1.垂直运动,如图7a;
四个旋翼转速保持时刻相同。
(1)当旋翼推力大于自身重力时:垂直向上运动
(2)当旋翼推力等于自身重力时:悬停
(3)当旋翼推力小于自身重力时:垂直向下运动
2.俯仰与滚转运动,如图7b、7c;
四个旋翼中一对角转速保持不变,另一对角产生转速差。
(1)2、4不变,3减小、1增大:前俯
(2)2、4不变,1减小、3增大:后仰
(3)1、3不变,2减小、4增大:右滚
(3)1、3不变,4减小、2增大:左滚
3.偏航运动,如图7d;
四个旋翼中,一对角转速同时增大,另一对角转速同时减小。
(1)1、3增大,2、4减小:左偏航
(2)1、3减小,2、4增大:右偏航
姿态控制系统
姿态控制器的总体结构如图8所示。
姿态控制器分为两个闭环,内环为角速度环,采用P控制,外环为角度环,采用PID控制。两个控制器基于不同的坐标系:外环采用大地坐标系,其姿态角采用欧拉角定义;内环采用机体坐标系,其反馈信息为陀螺仪角速度输出p、q、r。
(四)四旋翼无人机运动状态定义
1)前飞运动状态:向前推手的动作使数据手套位姿测量设备上的IMU对应的敏感轴累积数据,多组该类数据通过步骤二的BP神经网络学习和训练,达到较高识别程度,并将向前推手的动作定义为状态A,当地面站计算机读取状态A时,地面站计算机改变四旋翼无人机姿态角输入,通过飞行控制器控制输出u1,u2,u3,u4,根据u1,u2,u3,u4飞行控制器改变四旋翼各翼处电机的电压值,让四旋翼无人机进行垂直、俯仰和滚转运动,共同协调完成实现匀速前飞;
所述u1,u2,u3,u4分别为四旋翼无人机四个电机的转速;
所述IMU为惯性测量单元;
2).后飞运动状态:向后推手的动作使数据手套位姿测量设备上的IMU对应的敏感轴累积数据,多组该类数据通过步骤二的BP神经网络学习和训练,达到较高识别程度,并将向后推手动作定义为状态B,当地面站计算机读取状态B时,地面站计算机改变四旋翼无人机姿态角输入,通过飞行控制器控制输出u1,u2,u3,u4,根据u1,u2,u3,u4飞行控制器改变四旋翼各翼处电机的电压值,让四旋翼无人机进行垂直、俯仰和滚转运动,共同协调完成实现匀速后飞。
3)上升运动状态:向上推手的动作使数据手套位姿测量设备上的IMU对应的敏感轴累积数据,多组该类数据通过神经网络的学习和训练,达到较高识别程度,并将向上推手动作定义为状态C,当地面站计算机读取状态C时,地面站计算机改变四旋翼无人机姿态角输入,通过飞行控制器控制输出u1,u2,u3,u4,根据u1,u2,u3,u4飞行控制器改变四旋翼各翼处电机的电压值,让四旋翼无人机只进行垂直运动,完成实现匀速上升。
4)下降运动状态:向下推手的动作使数据手套位姿测量设备上的IMU对应的敏感轴累积数据,多组该类数据通过神经网络的学习和训练,达到较高识别程度,并将向下推手动作定义为状态D,当地面站计算机读取状态D时,地面站计算机改变四旋翼无人机姿态角输入,通过飞行控制器控制输出u1,u2,u3,u4,根据u1,u2,u3,u4飞行控制器改变四旋翼各翼处电机的电压值,让四旋翼无人机只进行垂直运动,完成实现匀速下降。
5)左飞运动状态:向左推手的动作使数据手套位姿测量设备上的IMU对应的敏感轴累积数据,多组该类数据通过神经网络的学习和训练,达到较高识别程度,并将向左推手动作定义为状态E,当地面站计算机读取状态E时,地面站计算机改变四旋翼无人机姿态角输入,通过飞行控制器控制输出u1,u2,u3,u4,根据u1,u2,u3,u4飞行控制器改变四旋翼各翼处电机的电压值,让四旋翼无人机进行垂直、俯仰和滚转运动,共同协调完成实现匀速左飞。
6)右飞运动状态:向右推手的动作使数据手套位姿测量设备上的IMU对应的敏感轴累积数据,多组该类数据通过神经网络的学习和训练,达到较高识别程度,并将向右推手动作定义为状态F,当地面站计算机读取状态F时,地面站计算机改变四旋翼无人机姿态角输入,通过飞行控制器控制输出u1,u2,u3,u4,根据u1,u2,u3,u4飞行控制器改变四旋翼各翼处电机的电压值,让四旋翼无人机进行垂直、俯仰和滚转运动,共同协调完成实现匀速右飞;
7)偏航运动状态:画圈圈的动作使数据手套位姿测量设备上的IMU对应的敏感轴累积数据,多组该类数据通过神经网络的学习和训练,达到较高识别程度,并将画圈圈的动作定义为状态G,当地面站计算机读取状态G时,地面站计算机改变四旋翼无人机姿态角输入,通过飞行控制器控制输出u1,u2,u3,u4,根据u1,u2,u3,u4飞行控制器改变四旋翼各翼处电机的电压值,让四旋翼无人机进行偏航运动,完成实现匀角速度(5度/秒)逆时针偏航旋转;
8)悬停状态:画三角形的动作使数据手套位姿测量设备上的IMU对应的敏感轴累积数据,多组该类数据通过神经网络的学习和训练,达到较高识别程度,并将画三角形动作定义为状态H,当地面站计算机读取状态H时,地面站计算机改变四旋翼无人机姿态角输入,通过飞行控制器控制输出u1,u2,u3,u4,根据u1,u2,u3,u4飞行控制器改变四旋翼各翼处电机的电压值,协调完成悬停状态。
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五:本实施方式与具体实施方式一至四之一不同的是:所述数据手套位姿测量设备上设置开关,当按下开关,位姿测量设备通过SPI和蓝牙向地面站计算机传输数据,地面站计算机读取位姿数据,四旋翼无人机按照数据执行指令,当关闭开关,地面站计算机停止读取位姿数据,四旋翼无人机继续执行指令,当关闭开关,地面站计算机停止读取位姿数据,四旋翼无人机继续执行指令,当需要更换飞行状态,重新按下数据手套位姿测量设备上的开关,位姿测量设备通过SPI和蓝牙向地面站计算机传输数据,地面站计算机读取数据,四旋翼无人机按照数据执行指令。
当我们想控制四旋翼无人机完成上升到指定高度的行为时,我们需要先按下手部位姿测量设备的开关,然后向上推手,随后关闭手部位姿测量设备的开关,四旋翼无人机匀速上升,当到达指定高度时,我们按下手部位姿测量设备的开关,然后做出画三角形的行为,随后关闭手部位姿测量设备的开关,此时四旋翼无人机开始在指定位置进行悬停行为,完成我们一开始的期望行为。
其它步骤及参数与具体实施方式一至四之一相同。
采用以下实施例验证本发明的有益效果:
实施例一:
本实施例具体是按照以下步骤制备的:
选择自制I型无人机,如图9;
最大飞行速度:54km/h;
最大飞行高度:1000m;
最大数据传输距离:2km;
姿态测量精度:1deg;
定位精度:水平方向1m,垂直方向1.5m;
抗风能力:5级风;
最大尾舵角速度:150°/秒;
最大倾斜角度:35°;
最大升降速度:5m/s;
最大起飞重量:4kg;
空载重量:2.9kg;
续航时间:20分钟(空载),12分钟(满载);
对角电机轴距:650mm。
本发明还可有其它多种实施例,在不背离本发明精神及其实质的情况下,本领域技术人员当可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (5)
1.一种基于数据手套手势识别的四旋翼无人机控制方法,其特征在于:所述方法具体过程为:
步骤一、在手套上安装位姿测量设备,采用手套上的位姿测量设备采集人手手势数据,将采集的人手手势数据传给地面站计算机;
步骤二、地面站计算机将接收到的人手手势数据输入BP神经网络,BP神经网络对人手手势数据进行分类,得到每个手势对应的指令;
步骤三、地面站计算机将指令发送给四旋翼无人机上的飞行控制器,飞行控制器控制四旋翼无人机飞行。
2.根据权利要求1所述一种基于数据手套手势识别的四旋翼无人机控制方法,其特征在于:所述步骤二中地面站计算机将接收到的人手手势数据输入BP神经网络,BP神经网络对人手手势数据进行分类,得到每个手势对应的指令;具体过程为:
地面站计算机将接收到的人手手势数据样本集{(x(1),y(1)),(x(2),y(2)),…,(x(i),y(i)),…,(x(m),y(m))}输入BP神经网络;
其中x(i)为数据手套位姿测量设备采集的人手手势第i个数据,i=1,…,m, y(i)为x(i)对应的标签,S1是BP神经网络输入层神经元个数,是BP神经网络输出层神经元个数,nl为神经网络层数,m为数据手套位姿测量设备采集的人手手势数据总数,R为实数域,为S1维实数域,为维实数域;
对于任意一个人手手势数据样本(x(i),y(i)),定义(x(i),y(i))代价函数为:
其中,W为BP神经网络权值,b为BP神经网络域值,J(·)为代价函数,hW,b为BP神经网络输出;
对于数据手套位姿测量设备采集的人手手势数据总数m,定义整体代价函数为:
基于BP神经网络求取使整体代价函数J(W,b)最小时对应的权值和域值,生成训练好的BP神经网络模型;
练好的BP神经网络模型对人手手势数据进行分类,得到每个手势对应的指令。
3.根据权利要求2所述一种基于数据手套手势识别的四旋翼无人机控制方法,其特征在于:所述基于BP神经网络求取使整体代价函数J(W,b)最小时对应的权值和域值,生成训练好的BP神经网络模型;具体过程为:
(1)数据预处理
提取人手手势数据样本集{(x(1),y(1)),(x(2),y(2)),…,(x(i),y(i)),…,(x(m),y(m))}中的输入数据集X={x(1),x(2),…,x(i),…,x(m)};
其中,i=1,…,m,共m个输入数据,每个样本x(i)∈Rd,Rd为d维实数域;
根据式(3)归一化输入数据集X={x(1),x(2),…,x(i),…,x(m)}:
式中,a、b为常数,min(Xk)是数据集X中所有的第k维的最小值,max(Xk)数据集X中所有的第k维的最大值,是第i个样本中的第k维,是第i个样本中的第k维归一化后的样本数据,d为第i个样本x(i)的维数,k为BP神经网络第k个神经元;
对归一化后的样本数据做零均值处理:
式中是第i个零均值处理后的样本,是归一化样本集的均值;
零均值处理完成后,令
(2)对零均值处理后的数据进行前馈传导;
对零均值处理后的任意一个人手手势数据样本(x(i),y(i))进行前馈传导,计算出BP神经网络每层的输入值和激活值;具体过程为:
前馈传导如下式:
式中,a(1)为BP神经网络第一层神经元的激活值,W(1)为连接BP神经网络第一层和第二层的权值,b(1)为连接BP神经网络第一层和第二层的阈值,a(2)为BP神经网络第二层神经元的激活值,W(2)为连接BP神经网络第二层和第三层的权值,b(2)为连接BP神经网络第二层和第三层的阈值,sigmod(·)为sigmod函数,a(3)为BP神经网络第三层神经元的激活值,h为BP神经网络输出;z(1)为BP神经网络第一层神经元的输入值,z(2)为BP神经网络第二层神经元的输入值,z(3)为BP神经网络第三层神经元的输入值;
(3)基于前馈传导式计算BP神经网络每层的残差;
残差公式为:
式中,为BP神经网络第l层网络第j个神经元的输入值,为BP神经网络第l层网络第j个神经元的残差,j为BP神经网络第j个神经元,l为BP神经网络第l层网络;
残差公式(6)具体计算过程为:
式中,为BP神经网络第nl层网络第j个神经元的残差,为BP神经网络第nl层网络第j个神经元的输入值,为BP神经网络第nl层网络第j个神经元的输出值,yj为标签y中的第j个元素,为BP神经网络第nl层网络的激活函数f的一阶导数;为BP神经网络第nl-1层网络第j个神经元的残差,为BP神经网络连接第nl层网络中第k个神经元和第nl-1层网络中第j个神经元的权值,为BP神经网络第nl层网络第k个神经元的残差,为BP神经网络第nl-1层网络的激活函数f的一阶导数;为BP神经网络输出层神经元个数,nl为神经网络层数,k为BP神经网络第k个神经元;l为BP神经网络第l层;
故对于BP神经网络任意层的残差有:
式中,为BP神经网络连接第l+1层网络中第k个神经元和第l层网络中第j个神经元的权值,为BP神经网络第l+1层网络的第k个神经元的残差,为BP神经网络第l层网络的激活函数f的一阶导数,Sl+1为BP神经网络第l+1层网络的神经元个数;为BP神经网络第l层网络第j个神经元的残差;
(4)通过残差描述代价函数的偏导数,计算偏导数:
式中,为BP神经网络连接第l+1层网络中第k个神经元和第l层网络中第j个神经元的权值,为BP神经网络第l层网络第j个神经元的激活值,为BP神经网络第l+1层网络第k个神经元的残差,为BP神经网络第l+1层网络中第j个神经元的阈值;为BP神经网络第l+1层网络第j个神经元的残差;
(5)基于偏导数更新BP神经网络权值和阈值;
式中,α为学习率;为更新后BP神经网络连接第l+1层网络中第k个神经元和第l层网络中第j个神经元的权值,为更新后BP神经网络第l+1层网络中第j个神经元的阈值;
(6)根据更新后的BP神经网络权值和阈值按式(2)计算BP神经网络训练的代价函数,判断代价函数是否达到设定的训练目标值或者是否到达最大训练次数,若不满足停止条件重新执行(1)-(6)继续训练BP神经网络直到满足停止条件,生成训练好的BP神经网络模型;
训练好的BP神经网络模型对人手手势数据进行分类,得到每个手势对应的指令。
4.根据权利要求3所述一种基于数据手套手势识别的四旋翼无人机控制方法,其特征在于:所述步骤三中地面站计算机将指令发送给四旋翼无人机上的飞行控制器,飞行控制器控制四旋翼无人机飞行;具体过程为:
1)前飞运动状态:向前推手的动作使数据手套位姿测量设备上的IMU对应的敏感轴累积数据,数据通过步骤二的BP神经网络学习和训练,并将向前推手的动作定义为状态A,当地面站计算机读取状态A时,地面站计算机改变四旋翼无人机姿态角输入,通过飞行控制器控制输出u1,u2,u3,u4,根据u1,u2,u3,u4飞行控制器改变四旋翼各翼处电机的电压值,让四旋翼无人机进行垂直、俯仰和滚转运动,完成匀速前飞;
所述u1,u2,u3,u4分别为四旋翼无人机四个电机的转速;
所述IMU为惯性测量单元;
2)后飞运动状态:向后推手的动作使数据手套位姿测量设备上的IMU对应的敏感轴累积数据,数据通过步骤二的BP神经网络学习和训练,并将向后推手动作定义为状态B,当地面站计算机读取状态B时,地面站计算机改变四旋翼无人机姿态角输入,通过飞行控制器控制输出u1,u2,u3,u4,根据u1,u2,u3,u4飞行控制器改变四旋翼各翼处电机的电压值,让四旋翼无人机进行垂直、俯仰和滚转运动,完成匀速后飞;
3)上升运动状态:向上推手的动作使数据手套位姿测量设备上的IMU对应的敏感轴累积数据,数据通过神经网络的学习和训练,并将向上推手动作定义为状态C,当地面站计算机读取状态C时,地面站计算机改变四旋翼无人机姿态角输入,通过飞行控制器控制输出u1,u2,u3,u4,根据u1,u2,u3,u4飞行控制器改变四旋翼各翼处电机的电压值,让四旋翼无人机只进行垂直运动,完成匀速上升;
4)下降运动状态:向下推手的动作使数据手套位姿测量设备上的IMU对应的敏感轴累积数据,数据通过神经网络的学习和训练,并将向下推手动作定义为状态D,当地面站计算机读取状态D时,地面站计算机改变四旋翼无人机姿态角输入,通过飞行控制器控制输出u1,u2,u3,u4,根据u1,u2,u3,u4飞行控制器改变四旋翼各翼处电机的电压值,让四旋翼无人机只进行垂直运动,完成匀速下降;
5)左飞运动状态:向左推手的动作使数据手套位姿测量设备上的IMU对应的敏感轴累积数据,数据通过神经网络的学习和训练,并将向左推手动作定义为状态E,当地面站计算机读取状态E时,地面站计算机改变四旋翼无人机姿态角输入,通过飞行控制器控制输出u1,u2,u3,u4,根据u1,u2,u3,u4飞行控制器改变四旋翼各翼处电机的电压值,让四旋翼无人机只进行垂直、俯仰和滚转运动,完成匀速左飞;
6)右飞运动状态:向右推手的动作使数据手套位姿测量设备上的IMU对应的敏感轴累积数据,数据通过神经网络的学习和训练,并将向右推手动作定义为状态F,当地面站计算机读取状态F时,地面站计算机改变四旋翼无人机姿态角输入,通过飞行控制器控制输出u1,u2,u3,u4,根据u1,u2,u3,u4飞行控制器改变四旋翼各翼处电机的电压值,让四旋翼无人机只进行垂直、俯仰和滚转运动,完成匀速右飞;
7)偏航运动状态:画圈圈的动作使数据手套位姿测量设备上的IMU对应的敏感轴累积数据,数据通过神经网络的学习和训练,并将画圈圈的动作定义为状态G,当地面站计算机读取状态G时,地面站计算机改变四旋翼无人机姿态角输入,通过飞行控制器控制输出u1,u2,u3,u4,根据u1,u2,u3,u4飞行控制器改变四旋翼各翼处电机的电压值,让四旋翼无人机只进行偏航运动,完成匀角速度逆时针偏航旋转;
8)悬停状态:画三角形的动作使数据手套位姿测量设备上的IMU对应的敏感轴累积数据,数据通过神经网络的学习和训练,并将画三角形动作定义为状态H,当地面站计算机读取状态H时,地面站计算机改变四旋翼无人机姿态角输入,通过飞行控制器控制输出u1,u2,u3,u4,根据u1,u2,u3,u4飞行控制器改变四旋翼各翼处电机的电压值,完成悬停状态。
5.根据权利要求4所述一种基于数据手套手势识别的四旋翼无人机控制方法,其特征在于:所述数据手套位姿测量设备上设置开关,当按下开关,位姿测量设备通过SPI和蓝牙向地面站计算机传输数据,地面站计算机读取数据,四旋翼无人机按照数据执行指令,当关闭开关,地面站计算机停止读取位姿数据,四旋翼无人机继续执行指令,当需要更换飞行状态,重新按下数据手套位姿测量设备上的开关,位姿测量设备通过SPI和蓝牙向地面站计算机传输数据,地面站计算机读取数据,四旋翼无人机按照数据执行指令。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811052951.8A CN109144272B (zh) | 2018-09-10 | 2018-09-10 | 一种基于数据手套手势识别的四旋翼无人机控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811052951.8A CN109144272B (zh) | 2018-09-10 | 2018-09-10 | 一种基于数据手套手势识别的四旋翼无人机控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109144272A true CN109144272A (zh) | 2019-01-04 |
CN109144272B CN109144272B (zh) | 2021-07-13 |
Family
ID=64824420
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811052951.8A Active CN109144272B (zh) | 2018-09-10 | 2018-09-10 | 一种基于数据手套手势识别的四旋翼无人机控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109144272B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110514228A (zh) * | 2019-09-02 | 2019-11-29 | 哈尔滨工业大学 | 微小型无人机航姿测量系统动态综合性能测试装置及方法 |
CN112434575A (zh) * | 2020-11-12 | 2021-03-02 | 广东电网有限责任公司 | 一种基于姿态识别的电力物联网设备远程控制方法及系统 |
CN117031924A (zh) * | 2023-08-01 | 2023-11-10 | 之江实验室 | 一种多旋翼无人机pid控制参数手势调节系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080085048A1 (en) * | 2006-10-05 | 2008-04-10 | Department Of The Navy | Robotic gesture recognition system |
CN105807926A (zh) * | 2016-03-08 | 2016-07-27 | 中山大学 | 一种基于三维连续动态手势识别的无人机人机交互方法 |
CN106127146A (zh) * | 2016-06-22 | 2016-11-16 | 电子科技大学 | 一种基于手势识别的无人机航迹指引方法 |
CN106990846A (zh) * | 2017-04-06 | 2017-07-28 | 哈尔滨理工大学 | 基于lvq‑ga‑bp的数据手套手势识别算法 |
-
2018
- 2018-09-10 CN CN201811052951.8A patent/CN109144272B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080085048A1 (en) * | 2006-10-05 | 2008-04-10 | Department Of The Navy | Robotic gesture recognition system |
CN105807926A (zh) * | 2016-03-08 | 2016-07-27 | 中山大学 | 一种基于三维连续动态手势识别的无人机人机交互方法 |
CN106127146A (zh) * | 2016-06-22 | 2016-11-16 | 电子科技大学 | 一种基于手势识别的无人机航迹指引方法 |
CN106990846A (zh) * | 2017-04-06 | 2017-07-28 | 哈尔滨理工大学 | 基于lvq‑ga‑bp的数据手套手势识别算法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110514228A (zh) * | 2019-09-02 | 2019-11-29 | 哈尔滨工业大学 | 微小型无人机航姿测量系统动态综合性能测试装置及方法 |
CN112434575A (zh) * | 2020-11-12 | 2021-03-02 | 广东电网有限责任公司 | 一种基于姿态识别的电力物联网设备远程控制方法及系统 |
CN112434575B (zh) * | 2020-11-12 | 2023-09-01 | 广东电网有限责任公司 | 一种基于姿态识别的电力物联网设备远程控制方法及系统 |
CN117031924A (zh) * | 2023-08-01 | 2023-11-10 | 之江实验室 | 一种多旋翼无人机pid控制参数手势调节系统 |
Also Published As
Publication number | Publication date |
---|---|
CN109144272B (zh) | 2021-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109901574A (zh) | 自动驾驶方法及装置 | |
CN106155076B (zh) | 一种多旋翼无人飞行器的稳定飞行控制方法 | |
CN109791414A (zh) | 基于视觉着陆的方法和系统 | |
CN109144272A (zh) | 一种基于数据手套手势识别的四旋翼无人机控制方法 | |
CN104199462B (zh) | 一种基于海浪传感的水上无人机自主起降控制系统 | |
CN106444800A (zh) | 多旋翼无人机飞行用外置式安全控制装置、方法及系统 | |
CN101460735A (zh) | 用来对动力翼翼型的飞行进行自动控制的方法和系统 | |
CN111824406A (zh) | 一种基于机器视觉的公共安全自主巡查四旋翼无人机 | |
CN107101636B (zh) | 一种使用卡尔曼滤波器辨识多旋翼动力学模型参数的方法 | |
CN205899386U (zh) | 多旋翼无人机飞行用外置式安全控制装置及系统 | |
CN107102565A (zh) | 无人机集群软件在环仿真系统 | |
CN106406340A (zh) | 四旋翼无人飞行器及其控制方法 | |
CN111176263A (zh) | 一种基于bp神经网络的飞行器推力故障在线辨识方法 | |
CN111638654A (zh) | 一种故障自适应的运载火箭智能控制半实物仿真方法 | |
Giernacki et al. | DJI tello quadrotor as a platform for research and education in mobile robotics and control engineering | |
CN110104167A (zh) | 一种采用红外热成像传感器的自动化搜救无人机系统和控制方法 | |
CN113204191A (zh) | 一种无人直升机自抗扰容错控制方法 | |
Parfiryev et al. | Algorithm for controlling the trajectory of an unmanned aerial vehicle with the possibility of flying around obstacles | |
Silva et al. | Landing area recognition by image applied to an autonomous control landing of VTOL aircraft | |
Sai et al. | A comprehensive survey on artificial intelligence for unmanned aerial vehicles | |
CN114637220A (zh) | 一种机器人操作系统应用验证的半实物测试系统与方法 | |
CN116954264B (zh) | 分布式高亚音速无人机集群控制系统及其方法 | |
CN108279562A (zh) | 一种基于滑模pid控制的飞行机械臂 | |
CN109375642A (zh) | 一种无人机节能控制方法 | |
CN114355959A (zh) | 空中机器人的姿态输出反馈控制方法、装置、介质和设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |