CN111401527B - 基于ga-bp网络的机器人行为校验识别方法 - Google Patents
基于ga-bp网络的机器人行为校验识别方法 Download PDFInfo
- Publication number
- CN111401527B CN111401527B CN202010214583.3A CN202010214583A CN111401527B CN 111401527 B CN111401527 B CN 111401527B CN 202010214583 A CN202010214583 A CN 202010214583A CN 111401527 B CN111401527 B CN 111401527B
- Authority
- CN
- China
- Prior art keywords
- action
- network
- data
- radian
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/12—Computing arrangements based on biological models using genetic models
- G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Physiology (AREA)
- Genetics & Genomics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Feedback Control In General (AREA)
- Image Analysis (AREA)
Abstract
本发明提出基于GA‑BP网络的机器人行为校验识别方法,并利用遗传算法全局搜索最优的特性对BP网络进行优化,避免BP算法在学习中陷入局部最优的弊端,使模型具有良好的收敛性和适应性,该网络具有良好的识别效果。本发明提出的方法解决了机器人模仿学习的行为校验问题,在人体做出动作时,完成精确识别,如果匹配库内包含该动作,即调用该动作完成后续执行步骤,若不存在则进行学习,可以提高机器人的动作模仿效率。
Description
技术领域
本发明涉及机器人行为校验识别领域,特别涉及基于GA-BP网络的机器人行为校验识别方法。
背景技术
机器人的动作模仿学习主要包括模仿、学习、复制和再现智能四个步骤,通过学习的方式机器人能够将模仿所需求的动作保存到机器人动作库,在使用时机器人调用内部的动作库来完成相应的动作。目前较为广泛的机器人动作模仿学习应用是基于Kinect的方法,该方法使用Kinect平台采集人体数据,并将数据传达给机器人进行学习,但机器人在模仿学习的过程中,对于一个具体的动作不可能每次学习的关节角度完全一致,通过机器人对动作的识别,能够识别出相似的动作,因此可以提高机器人对动作的认知能力,当机器人识别到重复的动作时,如果能及时识别校验,如果匹配度较大,即可调用内部的动作库。
针对上述问题,本发明提出一种运用基于GA-BP网络的机器人行为校验识别方法,并利用遗传算法全局搜索最优的特性对BP网络进行优化,避免BP算法在学习中陷入局部最优的弊端,使模型具有良好的收敛性和适应性,该网络具有良好的识别效果。本发明提出的方法解决了机器人模仿学习的行为校验问题,在人体做出动作时,完成精确识别,如果匹配库内包含该动作,即调用该动作完成后续执行步骤,若不存在则进行学习,可以提高机器人的动作模仿效率。
发明内容
为了解决以上问题,本发明提供基于GA-BP网络的机器人行为校验识别方法,实现行为精确识别,可以提高机器人的动作模仿效率。为达此目的:
本发明提供基于GA-BP网络的机器人行为校验识别方法,具体步骤如下;
Step1:采集数据;
针对于机器人动作库储存的动作{action_1、action_2、...、action_N},其中N为动作库中储存的动作数,分别做每种动作的数据100次,采用Kinect平台采集每次动作中人体的 27关节点的弧度数据{radian_1、radian_2、...、radian_27},采样时间为3s,其中采集步长为0.2s;
Step2:使用最小二乘法对关节点弧度数据进行滤波;
建立关节点弧度数据radian_1与采集时步t的三次项关系式;
y=a0+a1x+a2x2+a3x3
其中a0、a1、a2、a3为多项式各系数,y对应关节点弧度数据radian_1,x对应采集时步t,设定动态时窗为1s,每个时窗内包含5个点,五个点分别为;
(x-2,y-2),(x-1,y-1),(x0,y0),(x1,y1),(x2,y2),将五个点的坐标一一代入,即有方程组
基于最小二乘法,方程组可转为;
上列方程组可用矩阵表示为Y5×1=X5×4·A4×1+E5×1;
Step3:建立BP神经网络行为校验识别模型;
所使用的神经网络为三层BP神经网络,分别为输入层、隐含层和输出层,使用滤完波的 27关节点弧度数据,为缩小BP网络输入层节点数,每3个时步取平均数,则动作序列变短为5个时步的序列,每组动作共有5*27=135,分别对应输入向量元素x1,x2,...,x135。由于各数据参数单位不同,数量级相差也比较大,为了网络的收敛性更佳,需将输入数据进行归一化处理,即所有的输入向量取值都在0-1之间,网络的输入向量为 分别表示6个特征向量归一化处理后的值,即
其中,为归一化后的特征值;xi为第i个特征值,xmax,xmin分别为xi中的最大值和最小值,针对输出层,对样本“ONE-HOT”处理,即输出动作匹配的得分向量Yi为元素数为N的向量,当该动作序列为action_1时,则对应的第一个向量元素为100,作为匹配得分,则其他元素为0,其他动作序列类别以此类似;
其中μjk表示隐含层神经元j与输出层神经元k之间的连接权值,bk表示输出层神经元j 的偏置值。
下面对上述BP网络进行训练学习:任取层与层之间的连接权值和隐层、输出层节点的偏置为(-1,1)之间随机小量,学习率η一般在[0.3~0.5]之间,选取η=0.34;
Step4:使用遗传算法改进BP神经网络行为校验识别模型;
为进一步提升BP网络的收敛速度和校验识别精度,使用遗传算法对上述BP神经网络行为校验识别模型进行优化;
并采用步骤1中采集后的行为动作样本序列数据,并经过步骤2滤波后,最终获得最优连接权重和阈值;
Step5:机器人行为实时校验识别;
实时通过Kinect采集人体的关节点弧度数据,经过滤波处理后,使用上述训练好的GA-BP 神经网络模型进行计算获得动作序列的得分向量做阈值判断,当得分向量中元素的最大值大于阈值point时,则判定动作库包含该动作,机器人提示用户,并告知元素的最大值对应的动作,调用该动作完成控制,若最大值小于等于阈值point,则进行机器人的模仿学习。
作为进一步改进,步骤4具体步骤如下:
由于BP神经网络的权值和阈值均需要搜索,为便于计算采用实数编码,每个个体均为一个实数串,包含输入层与隐含层连接的权值及隐含层阈值、隐含层与输出层连接的权值及输出层阈值,选取0.6为交叉概率,迭代次数为100,种群大小为50;
建立适应度函数为
本申请基于GA-BP网络的机器人行为校验识别方法,具体优点如下:
1)本发明通过建立神经网络模型,对机器人行为校验识别,可以提高机器人的模仿学习效率;
2)本发明利用遗传算法全局搜索最优的特性对BP网络进行改进优化,避免BP算法在学习中陷入局部最优的弊端,使模型具有良好的收敛性和适应性,泛化性较好,针对动作库的不同动作都可以建立识别模型;
3)本发明使用最小二乘法对弧度数据进行滤波,增强了关节点数据的有效性,使得识别算法的鲁棒性较好。
附图说明
图1本发明基于GA-BP网络的机器人行为校验识别方法框架示意图;
图2本发明GA-BP网络训练方法示意图;
图3本发明Kinect的关节点示意图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述:
本发明提供基于GA-BP网络的机器人行为校验识别方法,实现行为精确识别,可以提高机器人的动作模仿效率。
作为本发明一种实施例,本发明提供基于GA-BP网络的机器人行为校验识别方法,基于GA-BP网络的机器人行为校验识别方法框架示意图如图1所述,GA-BP网络训练方法示意图如图2所示,Kinect的关节点示意图如图3所述,具体步骤如下;
Step1:采集数据;
针对于机器人动作库储存的动作{action_1、action_2、...、action_N},其中N为动作库中储存的动作数。分别做每种动作的数据100次,采用Kinect平台采集每次动作中人体的27 关节点的弧度数据{radian_1、radian_2、...、radian_27},采样时间为3s,其中采集步长为 0.2s。
Step2:使用最小二乘法对关节点弧度数据进行滤波;
建立关节点弧度数据radian_1与采集时步t的三次项关系式
y=a0+a1x+a2x2+a3x3
其中a0、a1、a2、a3为多项式各系数,y对应关节点弧度数据radian_1,x对应采集时步t。设定动态时窗为1s(每个时窗内包含5个点),五个点分别为 (x-2,y-2),(x-1,y-1),(x0,y0),(x1,y1),(x2,y2),将五个点的坐标一一代入,即有方程组
基于最小二乘法,方程组可转为
上列方程组可用矩阵表示为Y5×1=X5×4·A4×1+E5×1。
Step3:建立BP神经网络行为校验识别模型;
所使用的神经网络为三层BP神经网络,分别为输入层、隐含层和输出层。使用滤完波的 27关节点弧度数据,为缩小BP网络输入层节点数,每3个时步取平均数,则动作序列变短为5个时步的序列,每组动作共有5*27=135,分别对应输入向量元素x1,x2,...,x135。由于各数据参数单位不同,数量级相差也比较大,为了网络的收敛性更佳,需将输入数据进行归一化处理,即所有的输入向量取值都在0-1之间,网络的输入向量为 分别表示6个特征向量归一化处理后的值,即
其中,为归一化后的特征值;xi为第i个特征值,xmax,xmin分别为xi中的最大值和最小值。针对输出层,对样本“ONE-HOT”处理,即输出动作匹配的得分向量Yi为元素数为N的向量,当该动作序列为action_1时,则对应的第一个向量元素为100,作为匹配得分,则其他元素为0,其他动作序列类别以此类似。根据单层隐含层的神经网络经验函数式和确定隐含层节点数s,其中f为1至10之间的整数。假设动作库内有25种动作,根据经验,设定隐含层节点数s为15。则该BP神经网络结构n-s-m为135-15-25。
其中μjk表示隐含层神经元j与输出层神经元k之间的连接权值,bk表示输出层神经元j 的偏置值。
下面对上述BP网络进行训练学习:任取层与层之间的连接权值和隐层、输出层节点的偏置为(-1,1)之间随机小量。学习率η一般在[0.3~0.5]之间,选取η=0.34。
Step4:使用遗传算法改进BP神经网络行为校验识别模型
所述遗传算法(genetic algorithm,GA)是模拟达尔文生物进化论的自然选择和遗传学机理的生物进化过程的计算模型,是一种通过模拟自然进化过程搜索最优解的方法。为进一步提升BP网络的收敛速度和校验识别精度,使用遗传算法对上述BP神经网络行为校验识别模型进行优化。具体步骤如下:
由于BP神经网络的权值和阈值均需要搜索,为便于计算采用实数编码。每个个体均为一个实数串,包含输入层与隐含层连接的权值及隐含层阈值、隐含层与输出层连接的权值及输出层阈值。选取0.6为交叉概率,迭代次数为100,种群大小为50。
适应度函数用于评价群体中每一个染色体的优劣,遗传算法的主要目的是找到最优秀的染色体,用以优化BP网络的权值和阈值,使得BP神经网络的误差平方和达到最小值。建立适应度函数为
采用步骤1中采集后的行为动作样本序列数据,并经过步骤2滤波后,最终获得最优连接权重和阈值。
Step5:机器人行为实时校验识别;
实时通过Kinect采集人体的关节点弧度数据,经过滤波处理后,使用上述训练好的GA-BP 神经网络模型进行计算获得动作序列的得分向量做阈值判断。当得分向量中元素的最大值大于阈值point时,则判定动作库包含该动作,机器人提示用户,并告知元素的最大值对应的动作,调用该动作完成控制,若最大值小于等于阈值point,则进行机器人的模仿学习。
以上所述,仅是本发明的较佳实施例而已,并非是对本发明作任何其他形式的限制,而依据本发明的技术实质所作的任何修改或等同变化,仍属于本发明所要求保护的范围。
Claims (1)
1.基于GA-BP网络的机器人行为校验识别方法,具体步骤如下,其特征在于;
Step1:采集数据;
针对于机器人动作库储存的动作{action_1、action_2、...、action_N},其中N为动作库中储存的动作数,分别做每种动作的数据100次,采用Kinect平台采集每次动作中人体的27关节点的弧度数据{radian_1、radian_2、...、radian_27},采样时间为3s,其中采集步长为0.2s;
Step2:使用最小二乘法对关节点弧度数据进行滤波;
建立关节点弧度数据radian_1与采集时步t的三次项关系式;
y=a0+a1x+a2x2+a3x3
其中a0、a1、a2、a3为多项式各系数,y对应关节点弧度数据radian_1,x对应采集时步t,设定动态时窗为1s,每个时窗内包含5个点,五个点分别为;
(x-2,y-2),(x-1,y-1),(x0,y0),(x1,y1),(x2,y2),将五个点的坐标一一代入,即有方程组
基于最小二乘法,方程组可转为;
上列方程组可用矩阵表示为Y5×1=X5×4·A4×1+E5×1;
Step3:建立BP神经网络行为校验识别模型;
所使用的神经网络为三层BP神经网络,分别为输入层、隐含层和输出层,使用滤完波的27关节点弧度数据,为缩小BP网络输入层节点数,每3个时步取平均数,则动作序列变短为5个时步的序列,每组动作共有5*27=135,分别对应输入向量元素x1,x2,…,x135; 由于各数据参数单位不同,数量级相差也比较大,为了网络的收敛性更佳,需将输入数据进行归一化处理,即所有的输入向量取值都在0-1之间,网络的输入向量为 分别表示6个特征向量归一化处理后的值,即
其中,为归一化后的特征值;xi为第i个特征值,xmax,xmin分别为xi中的最大值和最小值,针对输出层,对样本“ONE-HOT”处理,即输出动作匹配的得分向量Yi为元素数为N的向量,当该动作序列为action_1时,则对应的第一个向量元素为100,作为匹配得分,则其他元素为0,其他动作序列类别以此类似;
其中μjk表示隐含层神经元j与输出层神经元k之间的连接权值,bk表示输出层神经元j的偏置值;
下面对上述BP网络进行训练学习:任取层与层之间的连接权值和隐层、输出层节点的偏置为(-1,1)之间随机小量,学习率η一般在[0.3~0.5]之间,选取η=0.34;
Step4:使用遗传算法改进BP神经网络行为校验识别模型;
为进一步提升BP网络的收敛速度和校验识别精度,使用遗传算法对上述BP神经网络行为校验识别模型进行优化;
并采用步骤1中采集后的行为动作样本序列数据,并经过步骤2滤波后,最终获得最优连接权重和阈值;
步骤Step4具体步骤如下:
由于BP神经网络的权值和阈值均需要搜索,为便于计算采用实数编码,每个个体均为一个实数串,包含输入层与隐含层连接的权值及隐含层阈值、隐含层与输出层连接的权值及输出层阈值,选取0.6为交叉概率,迭代次数为100,种群大小为50;
建立适应度函数为
Step5:机器人行为实时校验识别;
实时通过Kinect采集人体的关节点弧度数据,经过滤波处理后,使用上述训练好的GA-BP神经网络模型进行计算获得动作序列的得分向量做阈值判断,当得分向量中元素的最大值大于阈值point时,则判定动作库包含该动作,机器人提示用户,并告知元素的最大值对应的动作,调用该动作完成控制,若最大值小于等于阈值point,则进行机器人的模仿学习。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010214583.3A CN111401527B (zh) | 2020-03-24 | 2020-03-24 | 基于ga-bp网络的机器人行为校验识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010214583.3A CN111401527B (zh) | 2020-03-24 | 2020-03-24 | 基于ga-bp网络的机器人行为校验识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111401527A CN111401527A (zh) | 2020-07-10 |
CN111401527B true CN111401527B (zh) | 2022-05-13 |
Family
ID=71429058
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010214583.3A Active CN111401527B (zh) | 2020-03-24 | 2020-03-24 | 基于ga-bp网络的机器人行为校验识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111401527B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114161417A (zh) * | 2021-12-07 | 2022-03-11 | 东莞市易联交互信息科技有限责任公司 | 一种机器人的动作控制方法和系统 |
CN114734443B (zh) * | 2022-04-27 | 2023-08-04 | 东南大学 | 基于生成对抗模仿学习的人机协作机器人技能识别方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104899561A (zh) * | 2015-05-27 | 2015-09-09 | 华南理工大学 | 一种并行化的人体行为识别方法 |
CN105677039A (zh) * | 2016-02-16 | 2016-06-15 | 北京博研智通科技有限公司 | 一种基于手势检测驾驶状态的方法、装置及可穿戴设备 |
CN106503802A (zh) * | 2016-10-20 | 2017-03-15 | 上海电机学院 | 一种利用遗传算法优化bp神经网络系统的方法 |
CN108304767A (zh) * | 2017-12-12 | 2018-07-20 | 中国科学院自动化研究所 | 基于多脑区协同计算的人类动作意图识别训练方法 |
CN108673501A (zh) * | 2018-05-17 | 2018-10-19 | 中国科学院深圳先进技术研究院 | 一种机器人的目标跟随方法及装置 |
CN109522793A (zh) * | 2018-10-10 | 2019-03-26 | 华南理工大学 | 基于机器视觉的多人异常行为检测与识别方法 |
CN110375983A (zh) * | 2019-07-30 | 2019-10-25 | 中国石化销售有限公司华南分公司 | 基于时间序列分析的阀门故障实时诊断系统及诊断方法 |
-
2020
- 2020-03-24 CN CN202010214583.3A patent/CN111401527B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104899561A (zh) * | 2015-05-27 | 2015-09-09 | 华南理工大学 | 一种并行化的人体行为识别方法 |
CN105677039A (zh) * | 2016-02-16 | 2016-06-15 | 北京博研智通科技有限公司 | 一种基于手势检测驾驶状态的方法、装置及可穿戴设备 |
CN106503802A (zh) * | 2016-10-20 | 2017-03-15 | 上海电机学院 | 一种利用遗传算法优化bp神经网络系统的方法 |
CN108304767A (zh) * | 2017-12-12 | 2018-07-20 | 中国科学院自动化研究所 | 基于多脑区协同计算的人类动作意图识别训练方法 |
CN108673501A (zh) * | 2018-05-17 | 2018-10-19 | 中国科学院深圳先进技术研究院 | 一种机器人的目标跟随方法及装置 |
CN109522793A (zh) * | 2018-10-10 | 2019-03-26 | 华南理工大学 | 基于机器视觉的多人异常行为检测与识别方法 |
CN110375983A (zh) * | 2019-07-30 | 2019-10-25 | 中国石化销售有限公司华南分公司 | 基于时间序列分析的阀门故障实时诊断系统及诊断方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111401527A (zh) | 2020-07-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111079561B (zh) | 一种基于虚拟训练的机器人智能抓取方法 | |
Han et al. | A survey on metaheuristic optimization for random single-hidden layer feedforward neural network | |
CN111639240B (zh) | 一种基于注意力感知机制的跨模态哈希检索方法及系统 | |
CN105488528B (zh) | 基于改进自适应遗传算法的神经网络图像分类方法 | |
WO2020108474A1 (zh) | 图片分类、分类识别模型的生成方法、装置、设备及介质 | |
CN108549658B (zh) | 一种基于语法分析树上注意力机制的深度学习视频问答方法及系统 | |
CN111401527B (zh) | 基于ga-bp网络的机器人行为校验识别方法 | |
CN113343974B (zh) | 考虑模态间语义距离度量的多模态融合分类优化方法 | |
CN113901327A (zh) | 一种目标推荐模型训练方法、推荐方法、装置及电子设备 | |
TWI690862B (zh) | 人工智慧裝置的本地學習系統 | |
CN106897744A (zh) | 一种自适应设置深度置信网络参数的方法及系统 | |
CN113343901A (zh) | 基于多尺度注意力图卷积网络的人体行为识别方法 | |
CN112686376A (zh) | 一种基于时序图神经网络的节点表示方法及增量学习方法 | |
CN111724370A (zh) | 一种基于不确定性和概率的多任务无参考图像质量评估方法及系统 | |
CN113705596A (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
CN115796358A (zh) | 一种碳排放预测的方法及终端 | |
CN113987236A (zh) | 基于图卷积网络的视觉检索模型的无监督训练方法和装置 | |
CN111125539A (zh) | 一种基于人工智能的cdn有害信息阻断方法及系统 | |
CN116208399A (zh) | 一种基于元图的网络恶意行为检测方法及设备 | |
CN112132059B (zh) | 一种基于深度条件随机场的行人重识别方法和系统 | |
CN112200208B (zh) | 基于多维度特征融合的云工作流任务执行时间预测方法 | |
CN114863508A (zh) | 自适应注意力机制的表情识别模型生成方法、介质及设备 | |
CN113408602A (zh) | 一种树突神经网络初始化方法 | |
CN114139937A (zh) | 一种室内热舒适数据生成方法、系统、设备及介质 | |
CN110728292A (zh) | 一种多任务联合优化下的自适应特征选择算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |