CN104898421A - 基于支持向量回归机学习的无标定手眼协调模糊控制方法 - Google Patents
基于支持向量回归机学习的无标定手眼协调模糊控制方法 Download PDFInfo
- Publication number
- CN104898421A CN104898421A CN201510225550.8A CN201510225550A CN104898421A CN 104898421 A CN104898421 A CN 104898421A CN 201510225550 A CN201510225550 A CN 201510225550A CN 104898421 A CN104898421 A CN 104898421A
- Authority
- CN
- China
- Prior art keywords
- image
- paw
- target
- fuzzy
- support vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Manipulator (AREA)
- Feedback Control In General (AREA)
Abstract
本发明涉及一种基于支持向量回归机学习的无标定手眼协调模糊控制方法。先通过摄像机记录下机器人手爪和目标物体的运动情况并将运动情况投影到图像平面中,采用图像处理和目标识别的方法标识出手爪与目标在图像平面中的投影位置,将手爪与目标的位置差值作为输入量输入到本发明设计的基于SVR的模糊控制器中,该控制器输出机器人手臂关节改变的量从而控制手爪的运动到达跟踪目标物体的目的。本发明大大减少了样本数量,控制中的步骤更少效果更佳,同时还具有良好的自学习和泛化能力,以及语言可解释性的特点。基于模糊基核函数的模糊控制器设计不仅为分析函数近似特性提供了方便,还为合并专家知识和数据信息产生的模糊规则提供有效的途径。
Description
技术领域
本发明涉及一种机器人手眼协调控制方法,特别是一种基于支持向量回归机学习的无标定手眼协调模糊控制方法。
背景技术
支持向量回归机(Support Vector Regression,SVR)是Vapnik等人于20世纪90年代中期在统计学理论基础上发展并提出的一种新的机器学习算法。作为统计学习理论的核心内容,SVR能够较好的解决小样本学习问题,支持向量回归机已经成为机器学习建模和优化的研究热点。
由于机器人本身是一个非线性、强耦合的系统,往往存在各种参数未知情况,而且摄像机获取的末端执行器图像信息和各个关节角度之间是一种复杂的非线性关系,精确的数学模型并不容易获取,即使存在这样的模型也常对应着难以实施的复杂控制器。这些原因导致了一些基于模型的控制方法往往无法较好地发挥作用,因此不需要精确模型的控制方法如模糊控制和神经网络等智能学习方法成为新的选择。以神经网络为代表的一些智能算法已经广泛用于机器人无标定视觉伺服控制中视觉映射模型,比如拟合图像雅可比矩阵或者逆图像雅可比矩阵,这些机器学习算法有着共同的理论基础之一是统计学,传统的统计学是研究样本数目趋于无穷大时的渐近理论,现有的许多算法都是基于此假设。对于机器人视觉伺服中的视觉映射模型而言,若采用传统智能算法建模,需要离线训练大量的机器人运动空间的大量样本,但是样本数量往往是有限的,特别对高自由度的复杂运动,同时由于维数的增加训练样本将成几何级数增长,实际可以获得样本就变得非常有限了,因此无穷大样本数量在实际中是难以保证的,理论上很优秀的学习方法在实际中的表现可能就不尽人意了。如何利用较少的样本建立机器人视觉映射模型无疑具有重要的实际意义。
发明内容
针对上述问题,本发明的目的是提供一种基于支持向量回归机学习的无标定手眼协调模糊控制方法,利用机器学习算法支持向量回归机与模糊思想相结合来建立视觉伺服的视觉映射模型,并设计成基于SVR的模糊控制器对机器人的手眼协调运动实时控制。
为实现上述目的,本发明采用如下技术方案:
一种基于支持向量回归机学习的无标定手眼协调模糊控制方法,利用机器学习算法支持向量回归机结合模糊思想设计成控制器,包括以下步骤:
1)目标物体与机器人手爪运动记录及图像投影记录:目标物体在工作平面上做随机运动,同时机器人手爪在工作平面上也以不同的速度做随机运动,通过摄像机记录下目标物体和机器人手爪的运动,并投影到图像平面中;将机器人手爪在图像平面上的投影位置(xg,yg)和目标物体在图像平面上的投影位置(xo,yo)作为重要的输入量;
2)图像处理与目标标识:通过图像特征提取和目标识别获取手爪图像坐标和目标图像坐标,具体方法为:在图像处理中计算图像平面上相应色块的中心坐标作为目标与手爪的图像位置,即其中N为像素矩阵中值为“1”的像素点个数,xi、yi为相应色块在图像中的第i个像素点坐标;整个过程分为图像采集、HSI转换、颜色分割,然后手爪图像和目标图像经过图像预处理及目标识别后分别得到手爪图像坐标和目标图像坐标;
3)运动估计:经过图像特征提取和目标识别后得到目标物体在图像平面中的位置,然后通过运动估计的方法估计出目标物体下个时刻的位置,将手爪的图像位置与目标的估计位置作对比,进行跟踪;运动估计如下,设fo(k+1)为估计的k+1时刻的目标的图像特征,则通过一阶估计获得:fo(k+1)=fo(k)+(fo(k)-fo(k-1))=2·fo(k)-fo(k-1),其中fo(k-1)、fo(k)分别是k-1和k时刻的目标图像特征。同时,考虑到手爪关节增量需要转换到机器人的关节速度接口,受到机器人的最大关节速度的限制,同时保证手爪快速达到目标位置,将输出关节控制量做如下修正:ureal(k)=min(u(k),umax),其中u(k)为k时刻输出的关节控制量,umax为机器人的关节最大控制值,ureal(k)为k时刻实际输出的关节控制量;
4)基于SVR的模糊控制器设计:模糊控制器的输入为机器手爪与目标物体在图像平面的位置误差e,该位置误差值通过图像平面中的手爪位置坐标与目标位置坐标差值得到;模糊控制器一方面是基于规则库的控制器,它由一系列语言规则构造而成;另一方面,它又是非线性映射,由准确而严密的数学公式表达;对于一个具有s个输入、单个输出的多输入单输出模型,即MISO,采用乘积推理机、高斯型隶属度函数、“linear”解模糊器和模糊单值型隶属度,得到该模糊模型输出为:
其中模糊基函数为 ul∈U(U表示集合论域)为激发规则Rl(即第l条规则)的后件集的质心;ci为高斯隶属度函数的中心;σi代表高斯隶属函数的宽度;由核函数的性质可知,核函数的乘积也是核函数,即高斯隶函数的乘积是Mercer核,其中x,x′∈Rs,x在式子中表示的是输入向量,x′在式子中表示的是支持向量;当核函数时,得到SVR决策函数为:
式中x代表输入向量,xj代表支持向量机,x,xj∈Rs,n为支持向量机的个数,为支持向量机对应的权重系数,常数C控制模型复杂度和训练误差的折衷关系称为惩罚因子;一个支持向量机相当于一个条模糊规则,且为高斯隶属度函数的中心,模糊规则数即支持向量机的个数,而模糊控制后件输出综上所述,基于模糊基核函数的SVR得到的模糊控制器的第l条模糊规则可表示如下:
其中x代表输入向量,xj代表支持向量机,x,xj∈Rs,u为控制输出量。
5)输出为机器手爪达到期望位置需要的增量机器人根据控制器输出的值进行控制手爪的运动,逐渐逼近运动的目标物体从而达到跟踪目标物体的目的。
与现有技术相比,本发明具有以下优点:
1、本发明方法使回归模型充分利用历史训练结果,能够显著减少后续训练时间,同时相对于其他方法需要的样本数量更少而且控制效果好。
2、本发明方法具有良好的自学习和泛化能力,以及语言可解释性的特点。
3、本发明方法中的模糊控制器基于模糊基函数,这不仅为分析函数近似特性提供了方便,还为合并专家知识和数据信息产生的模糊规则提供了一种有效的途径。
4、本发明方法采用图像雅克比矩阵方法建立实际运动空间中跟踪物体位移量到图像空间跟踪位移量的映射关系,并采用SVR对图像雅克比矩阵在线辨识,避免了现有摄像机标定环节及由此引入的测量误差。
5、本发明方法基于视觉反馈进行自动跟踪控制,通过图像上的标记与试样标记间的距离差来设计实际控制律,驱动被控对象机械臂以不同速度旋转,实现机械臂对试样标记的实时精密跟踪,克服环境干扰能力强,跟踪精度高。
附图说明
图1为基于SVR的模糊控制的无标定手眼协调控制组成图。
图2为图像处理与目标识别过程。
图3为基于SVR的模糊控制器结构。
图4为模糊控制器的三层网络结构图。
具体实施方式
下面结合附图,对本发明的具体实施例做进一步的说明。
如图1所示,一种基于支持向量回归机学习的无标定手眼协调模糊控制方法,利用机器学习算法支持向量回归机结合模糊思想设计成控制器,包括以下步骤:
1)目标物体与机器人手爪运动记录及图像投影记录:目标物体在工作平面上做随机运动,同时机器人手爪在工作平面上也以不同的速度做随机运动,通过摄像机记录下目标物体和机器人手爪的运动,并投影到图像平面中;在图像平面上将机器人手爪的投影位置(xg(k),yg(k))和目标物体的投影位置(xo(k),yo(k))作为重要的输入量;
2)图像处理与目标标识:通过图像特征提取和目标识别获取手爪图像坐标和目标图像坐标,具体方法为:在图像处理中计算图像平面上相应色块的中心坐标作为目标与手爪的图像位置,即其中N为像素矩阵中值为“1”的像素点个数,xi、yi为相应色块在图像中的第i个像素点坐标;整个过程分为图像采集、HSI转换、颜色分割,然后手爪图像和目标图像经过图像预处理及目标识别后分别得到手爪图像坐标和目标图像坐标;图像特征提取与目标识别的过程如图2所示。
3)运动估计:经过图像特征提取和目标识别后得到目标物体在图像平面中的位置,然后通过运动估计的方法估计出目标物体下个时刻的位置,将手爪的图像位置与目标的估计位置作对比,进行跟踪;运动估计如下,设fo(k+1)为估计的k+1时刻的目标的图像特征,则通过一阶估计获得:fo(k+1)=fo(k)+(fo(k)-fo(k-1))=2·fo(k)-fo(k-1),其中fo(k-1)、fo(k)分别是k-1和k时刻的目标图像特征。同时,考虑到手爪关节增量需要转换到机器人的关节速度接口,受到机器人的最大关节速度的限制,同时保证手爪快速达到目标位置,将输出关节控制量做如下修正:ureal(k)=min(u(k),umax),其中u(k)为k时刻输出的关节控制量,umax为机器人的关节最大控制值,ureal(k)为k时刻实际输出的关节控制量;
4)基于SVR的模糊控制器设计,其基本结构如图3所示:模糊控制器的输入为机器手爪与目标物体在图像平面的位置误差e,该位置误差值通过图像平面中的手爪位置坐标与目标位置坐标差值得到;模糊控制器一方面是基于规则库的控制器,它由一系列语言规则构造而成;另一方面,它又是非线性映射,由准确而严密的数学公式表达;对于一个具有s个输入、单个输出的多输入单输出模型,即MISO,采用乘积推理机、高斯型隶属度函数、“linear”解模糊器和模糊单值型隶属度,得到该模糊模型输出为:
其中模糊基函数为 ul∈U(U表示集合论域)为激发规则Rl(即第l条规则)的后件集的质心;ci为高斯隶属度函数的中心;σi代表高斯隶属函数的宽度。该模糊控制器的三层网络结构如图4所示。
由核函数的性质可知,核函数的乘积也是核函数,即高斯隶函数的乘积是Mercer核,其中x,x′∈Rs,x在式子中表示的是输入向量,x′在式子中表示的是支持向量;当核函数时,得到SVR决策函数为:
式中x代表输入向量,xj代表支持向量机,x,xj∈Rs,n为支持向量机的个数,为支持向量机对应的权重系数,常数C控制模型复杂度和训练误差的折衷关系称为惩罚因子;一个支持向量机相当于一个条模糊规则,且为高斯隶属度函数的中心,模糊规则数即支持向量机的个数,而模糊控制后件输出综上所述,基于模糊基核函数的SVR得到的模糊控制器的第l条模糊规则可表示如下:
其中x代表输入向量,xj代表支持向量机,x,xj∈Rs,u为控制输出量。
5)输出为机器手爪达到期望位置需要的增量机器人根据控制器输出的值进行控制手爪的运动,逐渐逼近运动的目标物体从而达到跟踪目标物体的目的。
Claims (1)
1.一种基于支持向量回归机学习的无标定手眼协调模糊控制方法,利用机器学习算法支持向量回归机结合模糊思想设计成控制器,包括以下步骤:
1)目标物体与机器人手爪运动记录及图像投影记录:目标物体在工作平面上做随机运动,同时机器人手爪在工作平面上也以不同的速度做随机运动,通过摄像机记录下目标物体和机器人手爪的运动,并投影到图像平面中;将机器人手爪在图像平面上的投影位置(xg,yg)和目标物体在图像平面上的投影位置(xo,yo)作为重要的输入量;
2)图像处理与目标标识:通过图像特征提取和目标识别获取手爪图像坐标和目标图像坐标,具体方法为:在图像处理中计算图像平面上相应色块的中心坐标作为目标与手爪的图像位置,即其中N为像素矩阵中值为“1”的像素点个数,xi、yi为相应色块在图像中的第i个像素点坐标;整个过程分为图像采集、HSI转换、颜色分割,然后手爪图像和目标图像经过图像预处理及目标识别后分别得到手爪图像坐标和目标图像坐标;
3)运动估计:经过图像特征提取和目标识别后得到目标物体在图像平面中的位置,然后通过运动估计的方法估计出目标物体下个时刻的位置,将手爪的图像位置与目标的估计位置作对比,进行跟踪;运动估计如下,设fo(k+1)为估计的k+1时刻的目标的图像特征,则通过一阶估计获得:fo(k+1)=fo(k)+(fo(k)-fo(k-1))=2·fo(k)-fo(k-1),其中fo(k-1)、fo(k)分别是k-1和k时刻的目标图像特征;同时,考虑到手爪关节增量需要转换到机器人的关节速度接口,受到机器人的最大关节速度的限制,同时保证手爪快速达到目标位置,将输出关节控制量做如下修正:ureal(k)=min(u(k),umax),其中u(k)为k时刻输出的关节控制量,umax为机器人的关节最大控制值,ureal(k)为k时刻实际输出的关节控制量;
4)基于SVR的模糊控制器设计:模糊控制器的输入为机器手爪与目标物体在图像平面的位置误差e,该位置误差值通过图像平面中的手爪位置坐标与目标位置坐标差值得到;模糊控制器一方面是基于规则库的控制器,它由一系列语言规则构造而成;另一方面,它又是非线性映射,由准确而严密的数学公式表达;对于一个具有s个输入、单个输出的多输入单输出模型,即MISO,采用乘积推理机、高斯型隶属度函数、“linear”解模糊器和模糊单值型隶属度,得到该模糊模型输出为:
其中模糊基函数为 ul∈U,U表示集合论域,为激发规则Rl,即第l条规则的后件集的质心,ci为高斯隶属度函数的中心;σi代表高斯隶属函数的宽度;由核函数的性质可知,核函数的乘积也是核函数,即高斯隶函数的乘积是Mercer核,其中x,x′∈Rs,x在式子中表示的是输入向量,x′在式子中表示的是支持向量;当核函数时,得到SVR决策函数为:
式中x代表输入向量,xj代表支持向量机,x,xj∈Rs,n为支持向量机的个数,为支持向量机对应的权重系数,常数C控制模型复杂度和训练误差的折衷关系称为惩罚因子;一个支持向量机相当于一个条模糊规则,且为高斯隶属度函数的中心,模糊规则数即支持向量机的个数,而模糊控制后件输出综上所述,基于模糊基核函数的SVR得到的模糊控制器的第l条模糊规则可表示如下:
其中x代表输入向量,xj代表支持向量机,x,xj∈Rs,u为控制输出量;
5)输出为机器手爪达到期望位置需要的增量机器人根据控制器输出的值进行控制手爪的运动,逐渐逼近运动的目标物体从而达到跟踪目标物体的目的。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510225550.8A CN104898421A (zh) | 2015-05-05 | 2015-05-05 | 基于支持向量回归机学习的无标定手眼协调模糊控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510225550.8A CN104898421A (zh) | 2015-05-05 | 2015-05-05 | 基于支持向量回归机学习的无标定手眼协调模糊控制方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104898421A true CN104898421A (zh) | 2015-09-09 |
Family
ID=54031140
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510225550.8A Pending CN104898421A (zh) | 2015-05-05 | 2015-05-05 | 基于支持向量回归机学习的无标定手眼协调模糊控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104898421A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106485746A (zh) * | 2016-10-17 | 2017-03-08 | 广东技术师范学院 | 基于图像无标定的视觉伺服机械手及其控制方法 |
CN107367966A (zh) * | 2017-07-14 | 2017-11-21 | 深圳凌触科技有限公司 | 人机交互方法以及装置 |
CN107894711A (zh) * | 2017-10-16 | 2018-04-10 | 淮阴工学院 | 一种基于模糊支持向量机智能线缆自动制作机 |
CN107901041A (zh) * | 2017-12-15 | 2018-04-13 | 中南大学 | 一种基于图像混合矩的机器人视觉伺服控制方法 |
CN109848984A (zh) * | 2018-12-29 | 2019-06-07 | 芜湖哈特机器人产业技术研究院有限公司 | 一种基于svm和比例控制的视觉伺服方法 |
CN111844047A (zh) * | 2020-08-04 | 2020-10-30 | 河北省科学院应用数学研究所 | 灵巧手控制方法、装置及终端设备 |
CN112329498A (zh) * | 2019-08-05 | 2021-02-05 | 四川大学 | 一种基于机器学习的街道空间品质量化方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06141612A (ja) * | 1992-10-30 | 1994-05-24 | Iseki & Co Ltd | コンバインにおける走行方向制御装置 |
JPH07239712A (ja) * | 1994-02-25 | 1995-09-12 | Mitsubishi Heavy Ind Ltd | 自動航行制御方法 |
CN1897015A (zh) * | 2006-05-18 | 2007-01-17 | 王海燕 | 基于机器视觉的车辆检测和跟踪方法及系统 |
CN101794515A (zh) * | 2010-03-29 | 2010-08-04 | 河海大学 | 基于协方差和二叉树支持向量机的目标检测系统及方法 |
CN102339379A (zh) * | 2011-04-28 | 2012-02-01 | 重庆邮电大学 | 手势识别方法及基于手势识别控制的智能轮椅人机系统 |
-
2015
- 2015-05-05 CN CN201510225550.8A patent/CN104898421A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06141612A (ja) * | 1992-10-30 | 1994-05-24 | Iseki & Co Ltd | コンバインにおける走行方向制御装置 |
JPH07239712A (ja) * | 1994-02-25 | 1995-09-12 | Mitsubishi Heavy Ind Ltd | 自動航行制御方法 |
CN1897015A (zh) * | 2006-05-18 | 2007-01-17 | 王海燕 | 基于机器视觉的车辆检测和跟踪方法及系统 |
CN101794515A (zh) * | 2010-03-29 | 2010-08-04 | 河海大学 | 基于协方差和二叉树支持向量机的目标检测系统及方法 |
CN102339379A (zh) * | 2011-04-28 | 2012-02-01 | 重庆邮电大学 | 手势识别方法及基于手势识别控制的智能轮椅人机系统 |
Non-Patent Citations (1)
Title |
---|
戚俊达: "基于支持向量回归机的无标定视觉伺服研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106485746A (zh) * | 2016-10-17 | 2017-03-08 | 广东技术师范学院 | 基于图像无标定的视觉伺服机械手及其控制方法 |
CN107367966A (zh) * | 2017-07-14 | 2017-11-21 | 深圳凌触科技有限公司 | 人机交互方法以及装置 |
CN107894711A (zh) * | 2017-10-16 | 2018-04-10 | 淮阴工学院 | 一种基于模糊支持向量机智能线缆自动制作机 |
CN107894711B (zh) * | 2017-10-16 | 2020-07-24 | 淮阴工学院 | 一种基于模糊支持向量机智能线缆自动制作机 |
CN107901041A (zh) * | 2017-12-15 | 2018-04-13 | 中南大学 | 一种基于图像混合矩的机器人视觉伺服控制方法 |
CN109848984A (zh) * | 2018-12-29 | 2019-06-07 | 芜湖哈特机器人产业技术研究院有限公司 | 一种基于svm和比例控制的视觉伺服方法 |
CN112329498A (zh) * | 2019-08-05 | 2021-02-05 | 四川大学 | 一种基于机器学习的街道空间品质量化方法 |
CN112329498B (zh) * | 2019-08-05 | 2022-06-07 | 四川大学 | 一种基于机器学习的街道空间品质量化方法 |
CN111844047A (zh) * | 2020-08-04 | 2020-10-30 | 河北省科学院应用数学研究所 | 灵巧手控制方法、装置及终端设备 |
CN111844047B (zh) * | 2020-08-04 | 2021-06-11 | 河北省科学院应用数学研究所 | 灵巧手控制方法、装置及终端设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104898421A (zh) | 基于支持向量回归机学习的无标定手眼协调模糊控制方法 | |
Levine et al. | End-to-end training of deep visuomotor policies | |
CN111695562B (zh) | 一种基于卷积神经网络的机器人自主抓取方法 | |
CN108196453B (zh) | 一种机械臂运动规划群体智能计算方法 | |
Zhang et al. | Robotic grasp detection based on image processing and random forest | |
Wang et al. | Collision-free trajectory planning in human-robot interaction through hand movement prediction from vision | |
CN109108942A (zh) | 基于视觉实时示教与自适应dmps的机械臂运动控制方法和系统 | |
CN106204638A (zh) | 一种基于尺度自适应和遮挡处理的航拍目标跟踪方法 | |
CN114117926B (zh) | 一种基于联邦学习的机器人协同控制算法 | |
Srivastava et al. | Least square policy iteration for ibvs based dynamic target tracking | |
CN107220601A (zh) | 一种基于在线置信度判别的目标抓捕点预测方法 | |
Chen et al. | Combining reinforcement learning and rule-based method to manipulate objects in clutter | |
Zhang et al. | A neural network based framework for variable impedance skills learning from demonstrations | |
Curran et al. | Dimensionality reduced reinforcement learning for assistive robots | |
Devgon et al. | Orienting novel 3D objects using self-supervised learning of rotation transforms | |
Liu et al. | Understanding multi-modal perception using behavioral cloning for peg-in-a-hole insertion tasks | |
Guan et al. | Vinet: Visual and inertial-based terrain classification and adaptive navigation over unknown terrain | |
Ren et al. | Image-based visual servoing control of robot manipulators using hybrid algorithm with feature constraints | |
Ito et al. | Integrated learning of robot motion and sentences: Real-time prediction of grasping motion and attention based on language instructions | |
Kratzer et al. | Towards combining motion optimization and data driven dynamical models for human motion prediction | |
Duffhauss et al. | PillarFlowNet: A real-time deep multitask network for LiDAR-based 3D object detection and scene flow estimation | |
CN116423520A (zh) | 一种基于视觉和动态运动基元的机械臂轨迹规划方法 | |
Yu et al. | Robot hand-eye cooperation based on improved inverse reinforcement learning | |
Gu et al. | Attention grasping network: A real-time approach to generating grasp synthesis | |
Zhang et al. | Grasping novel objects with real-time obstacle avoidance |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150909 |