CN116079748B - 一种基于误差状态概率的离心机柔顺操作系统与方法 - Google Patents

一种基于误差状态概率的离心机柔顺操作系统与方法 Download PDF

Info

Publication number
CN116079748B
CN116079748B CN202310364489.XA CN202310364489A CN116079748B CN 116079748 B CN116079748 B CN 116079748B CN 202310364489 A CN202310364489 A CN 202310364489A CN 116079748 B CN116079748 B CN 116079748B
Authority
CN
China
Prior art keywords
centrifugal
force
container
axis
moment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310364489.XA
Other languages
English (en)
Other versions
CN116079748A (zh
Inventor
尚伟伟
汤新胜
胡佳豪
张飞
江俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202310364489.XA priority Critical patent/CN116079748B/zh
Publication of CN116079748A publication Critical patent/CN116079748A/zh
Application granted granted Critical
Publication of CN116079748B publication Critical patent/CN116079748B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/163Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/1653Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Centrifugal Separators (AREA)

Abstract

本发明公开一种基于误差状态概率的离心机柔顺操作系统与方法,属机器人控制领域。方法包括:预先训练好高斯混合模型为误差状态分类器;步骤1,获取离心孔位姿,规划轨迹并开始离心机柔顺操作;步骤2,测量待离心容器与离心孔接触产生的力和力矩经动态补偿后,输入误差状态分类器计算出不同误差状态概率;步骤3,根据不同误差状态概率对力和力矩修正,根据修正后力和力矩计算出控制指令发给操作臂,使操作臂根据控制指令调整待离心容器位姿;步骤4,判断待离心容器与离心孔接触z方向产生的力是否大于预设阈值,若是执行步骤5,若否执行步骤2;步骤5,确认完成操作。该方法能降低稳态时残余力和力矩,提升离心机自动化操作稳定性和质量。

Description

一种基于误差状态概率的离心机柔顺操作系统与方法
技术领域
本发明涉及机器人控制领域,尤其涉及一种基于误差状态概率的离心机柔顺操作系统与方法。
背景技术
在智能实验室条件下,需要实现机器人对离心机的自动化操作,主要是将待离心容器放入离心机转子上的离心孔,并在离心完成后取出。由于离心机转子的定位误差,机器人对离心机的自动化操作极具挑战性,往往会因为误差过大而导致操作失败。因此需要对离心机进行柔顺操作,以提高可容忍的定位误差。离心机柔顺操作可以视为一种轴孔装配操作,目前,轴孔装配操作主要采用视觉伺服和力控两种方法。视觉伺服通过视觉来实时获取轴与孔之间的位姿误差从而控制装配操作的进行,但该方法无法获得装配操作中的具体受力,容易造成装配失败甚至是装配对象受损。力控方法根据装配操作中的力和力矩来修正位姿误差从而完成装配操作,但需要在已知轴孔的精确几何模型甚至摩擦系数等较难获取参数的基础上进行复杂的几何推导,实现过程繁琐。
因此,如何使机器人对离心机进行柔顺操作,来实现准确、安全的将待离心的容器放入离心机转子上的离心孔内是需要解决的问题。
有鉴于此,特提出本发明。
发明内容
本发明的目的是提供一种基于误差状态概率的离心机柔顺操作系统与方法,能使机器人在离心机操作过程中保持较小的力和力矩,提高操作成功率和质量,实现准确、安全的将待离心的容器放入离心机转子上的离心孔内,进而解决现有技术中存在的上述技术问题。
本发明的目的是通过以下技术方案实现的:
一种基于误差状态概率的离心机柔顺操作系统,包括:
操作臂、六轴力传感器、相机和控制设备;其中,
所述六轴力传感器,设置在操作臂的末端,能测量离心机柔顺操作过程中待离心容器与离心孔接触产生的力和力矩;
所述操作臂,能接收所述控制设备的控制指令,根据控制指令调整待离心容器的位姿,完成离心机柔顺操作;
所述相机,设置在所述操作臂上,能拍摄离心孔图片,发送给控制设备;
所述控制设备,分别与所述操作臂、相机和六轴力传感器通信连接,通过所述相机拍摄的离心孔图片对离心孔位姿进行定位,并控制所述操作臂调整待离心容器的位姿前往离心孔位姿进行离心机柔顺操作,以及利用预先训练好基于高斯混合模型的误差状态分类器对所述六轴力传感器测量得到并经动态补偿后的力和力矩计算得出不同误差状态的概率,并根据得出的不同误差状态的概率对操作臂的力和力矩进行修正,根据修正后的力和力矩计算出控制指令发送给操作臂,使所述操作臂根据控制指令进行运动调整待离心容器的位姿,直至将待离心容器放入离心机上离心孔内的操作完成。
一种基于误差状态概率的离心机柔顺操作方法,用于控制本发明所述的系统进行离心机柔顺操作,预先训练好高斯混合模型作为误差状态分类器,包括以下步骤:
步骤1,获取待操作离心机的离心孔位姿,操作臂根据离心孔位姿进行轨迹规划并开始离心机柔顺操作;
步骤2,操作过程中待离心容器与离心孔接触产生的力和力矩经过动态补偿后,输入预先训练好的基于高斯混合模型的误差状态分类器计算得出不同误差状态的概率;
步骤3,根据步骤2得出的不同误差状态的概率对所述系统的操作臂的力和力矩进行修正,根据修正后的力和力矩计算出控制指令发送给所述系统的操作臂,使所述操作臂根据控制指令进行运动调整待离心容器的位姿;
步骤4,判断待离心容器与离心孔接触产生的z方向的力的绝对值|Fz|是否大于预设阈值,若是,则执行步骤5,若否则执行步骤2;
步骤5,确认完成将待离心容器放入离心机上离心孔内的操作,结束本次操作。
与现有技术相比,本发明所提供的基于误差状态概率的离心机柔顺操作系统与方法,其有益效果包括:
通过利用高斯混合模型作为误差状态分类器对误差状态进行分类,相比单纯获得误差状态的分类结果,还能够获得属于不同误差状态的概率,进而能够根据不同误差状态的概率对力和力矩进行修正,从而快速精准地对操作过程中的待离心容器与离心孔之间的位姿误差进行消除,大大降低了稳态时的残余力和力矩,提升离心机自动化操作的稳定性和质量。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图。
图1是本发明实施例提供的用于证明力与力矩和误差状态映射关系的示意图。
图2是本发明实施例提供的基于误差状态概率的离心机柔顺操作系统构成示意图。
图3是本发明实施例提供的基于误差状态概率的离心机柔顺操作方法的流程图。
具体实施方式
下面结合本发明的具体内容,对本发明实施例中的技术方案进行清楚、完整地描述;显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例,这并不构成对本发明的限制。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明的保护范围。
首先对本文中可能使用的术语进行如下说明:
术语“和/或”是表示两者任一或两者同时均可实现,例如,X和/或Y表示既包括“X”或“Y”的情况也包括“X和Y”的三种情况。
术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述,应被解释为非排它性的包括。例如:包括某技术特征要素(如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等),应被解释为不仅包括明确列出的某技术特征要素,还可以包括未明确列出的本领域公知的其它技术特征要素。
术语“由……组成”表示排除任何未明确列出的技术特征要素。若将该术语用于权利要求中,则该术语将使权利要求成为封闭式,使其不包含除明确列出的技术特征要素以外的技术特征要素,但与其相关的常规杂质除外。如果该术语只是出现在权利要求的某子句中,那么其仅限定在该子句中明确列出的要素,其他子句中所记载的要素并不被排除在整体权利要求之外。
除另有明确的规定或限定外,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如:可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本文中的具体含义。
术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述和简化描述,而不是明示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本文的限制。
下面对本发明所提供的基于误差状态概率的离心机柔顺操作系统与方法进行详细描述。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。本发明实施例中未注明具体条件者,按照本领域常规条件或制造商建议的条件进行。本发明实施例中所用试剂或仪器未注明生产厂商者,均为可以通过市售购买获得的常规产品。
如图2所示,本发明实施例提供一种基于误差状态概率的离心机柔顺操作系统,包括:
操作臂1、六轴力传感器2、相机3和控制设备4;其中,
所述六轴力传感器,设置在操作臂的末端,能测量离心机柔顺操作过程中待离心容器与离心孔接触产生的力和力矩;
所述操作臂,能接收所述控制设备的控制指令,根据控制指令调整待离心容器的位姿,完成离心机柔顺操作;
所述相机,设置在所述操作臂上,能拍摄离心孔图片,发送给控制设备;
所述控制设备,分别与所述操作臂、相机和六轴力传感器通信连接,通过所述相机拍摄的离心孔图片对离心孔5位姿进行定位,并控制所述操作臂调整待离心容器的位姿前往离心孔位姿进行离心机柔顺操作,以及利用预先训练好基于高斯混合模型的误差状态分类器对所述六轴力传感器测量得到并经动态补偿后的力和力矩计算得出不同误差状态的概率,并根据得出的不同误差状态的概率对操作臂的力和力矩进行修正,根据修正后的力和力矩计算出控制指令发送给操作臂,使所述操作臂根据控制指令进行运动调整待离心容器的位姿,直至将待离心容器放入离心机上离心孔内的操作完成。
上述的操作臂是一种多自由度的操作臂式机器人。
优选的,上述系统的控制设备包括:基于高斯混合模型的误差状态分类器和柔顺控制器;其中,
基于高斯混合模型的误差状态分类器和柔顺控制器;其中,
所述基于高斯混合模型的误差状态分类器,能对所述六轴力传感器测量得到并经动态补偿后的力和力矩进行计算得出不同误差状态的概率;
所述柔顺控制器,分别与所述基于高斯混合模型的误差状态分类器和操作臂通信连接,能利用所述基于高斯混合模型的误差状态分类器计算得出的不同误差状态的概率对操作臂的力和力矩进行修正,根据修正后的力和力矩计算出控制指令发送给操作臂,使所述操作臂根据控制指令进行运动调整待离心容器的位姿。
如图3所示,本发明实施例还提供一种基于误差状态概率的离心机柔顺操作方法,用于控制上述的系统进行离心机柔顺操作,预先训练好高斯混合模型作为误差状态分类器,包括以下步骤:
步骤1,获取待操作离心机的离心孔位姿,操作臂根据离心孔位姿进行轨迹规划并开始离心机柔顺操作;
步骤2,操作过程中待离心容器与离心孔接触产生的力和力矩经过动态补偿后,输入预先训练好的基于高斯混合模型的误差状态分类器计算得出不同误差状态的概率;
步骤3,根据步骤2得出的不同误差状态的概率对所述系统的操作臂的力和力矩进行修正,根据修正后的力和力矩计算出控制指令发送给所述系统的操作臂,使所述操作臂根据控制指令进行运动调整待离心容器的位姿;
步骤4,判断待离心容器与离心孔接触产生的z方向的力的绝对值|Fz|是否大于预设阈值,若是,则执行步骤5,若否则执行步骤2;
步骤5,确认完成将待离心容器放入离心机上离心孔内的操作,结束本次操作。
优选的,上述方法中,按以下方式预先训练好高斯混合模型作为误差状态分类器,包括:
步骤A1,采集并构建训练数据集;
步骤A2,采用步骤1构建的数据集训练基于高斯混合模型的误差状态分类器。
优选的,上述方法的步骤A1中,按以下方式采集并构建训练数据集,包括:
步骤A11,将待离心容器移动到待操作离心机的离心孔的某个装配深度,采集和保存所述六轴力传感器测量得到且经过动态补偿后的力和力矩以及对应的误差状态;
步骤A12,按预定的增加量增大装配深度,重复步骤A11,直至到达最大装配深度;
步骤A13,对采集的力和力矩进行归一化处理作为构建的训练数据集。
优选的,上述方法的步骤A11中,按以下方式采集和保存所述六轴力传感器测量得到且经过动态补偿后的力和力矩以及对应的误差状态,包括:
在离心孔的上表面中心建立固连在离心孔上的离心孔坐标系,离心孔坐标系的Z轴方向为垂直于离心孔的上表面向上;
将待离心容器上的离心容器坐标系建立在装配深度的1/2处,离心容器坐标系的X-Y平面和待离心容器的下表面平行且X轴与离心孔坐标系的X轴位于同一平面,Y轴和离心孔坐标系的Y轴方向相同,Z轴与待离心容器轴线重合且正方向向上;
将六轴力传感器的参考坐标系定义为力传感器坐标系,该力传感器坐标系原点位于六轴力传感器中心,X轴、Y轴和离心容器坐标系的X轴、Y轴方向相同,Z轴方向相反;
将误差状态定义为V={(dx,dy,α,β)|dx,dy∈i;α,β∈[-π,π]},其中,dx和dy分别为离心容器坐标系和离心孔坐标系在X轴、Y轴方向上的距离;α和β分别为离心容器坐标系绕离心孔坐标系的X轴、Y轴旋转的角度;
将误差状态(ESα,ESβ)定义为姿态误差(α,β)的正状态、零状态和负状态,分别记为P、Z和N。
优选的,上述方法的步骤A2中,按以下方式采用步骤1构建的数据集训练基于高斯混合模型的误差状态分类器,包括:
步骤A21,依次调整高斯混合模型的高斯组件数量为2-10;
步骤A22,采用步骤A1所构建的数据集,利用EM算法对步骤A21调整高斯组件数量的高斯混合模型进行训练;
步骤A23,重复步骤A21和步骤A22,从训练后的不同高斯组件数量的高斯混合模型中选择误差状态分类准确率最高且高斯组件数量最少的两个高斯混合模型GMMα和GMMβ作为误差状态分类器。
优选的,上述方法的步骤1中,按以下方式获取待操作离心机的离心孔位姿,操作臂根据离心孔位姿进行轨迹规划并开始离心机柔顺操作,包括:
步骤11,对所述系统的相机拍摄的离心孔图片的中间圆形区域进行裁剪得到保留离心孔位置的裁剪图片;
步骤12,使用Canny算子检测裁剪图片边缘,并对裁剪图片边缘进行轮廓提取,筛除连续长度小于第一阈值的边缘,保留连续长度大于第一阈值的边缘作为离心孔轮廓;优选的,该第一阈值为10;
步骤13,对长度大于第一阈值的每个轮廓进行椭圆拟合,并剔除半短轴与半长轴之比小于第二阈值的椭圆,保留半短轴与半长轴之比大于等于第二阈值的椭圆,优选的,该第二阈值为0.8,之后,对每个椭圆进行不匹配度计算,剔除不匹配度大于第三阈值的椭圆,优选的,该第三阈值为0.025,不匹配度计算方式为:
Figure SMS_1
其中,i表示第i个椭圆,k为该椭圆的点向量个数,j表示该椭圆的第j个点向量,xj与yj写为:
Figure SMS_2
其中,xi0、yi0、wi、hi、δ分别为第i个椭圆的最小外接矩形的中心X坐标、中心Y坐标、宽度、高度、旋转角度;x ij y ij 是第i个椭圆的第j个点向量的X坐标和Y坐标;
步骤14,计算所述步骤13保留椭圆之间的IoU并进行非极大值抑制,得到离心孔在裁剪图片中的像素坐标,利用离心孔在裁剪图片中的像素坐标根据所述相机的内外参获得离心孔位姿;
步骤15,所述系统的控制设备根据步骤14得出的离心孔位姿进行轨迹规划,控制所述系统的操作臂移动到步骤14获得的离心孔位姿,开始进行离心机柔顺操作。
优选的,上述方法的步骤2中,按以下方式在操作过程中待离心容器和离心孔接触产生的力和力矩经过动态补偿后,输入所述误差状态分类器计算得出不同误差状态的概率,包括:
将动态补偿后的力和力矩w分别输入到预先训练好的基于高斯混合模型的误差状态分类器GMMα和GMMβ中,分别计算误差状态ESα=P的概率GMMα(w)及误差状态ESβ=P的概率GMMβ(w)。
优选的,上述方法的步骤3中,按以下方式根据步骤2得出的不同误差状态的概率以及动态补偿后的力和力矩计算出控制指令发送给所述系统的操作臂,使所述操作臂根据控制指令进行运动调整待离心容器的位姿,包括:
步骤31,按以下计算方式根据不同误差状态的概率计算出修正矩阵A,计算方式为:
Figure SMS_3
其中,sign()为符号函数,
Figure SMS_4
和/>
Figure SMS_5
的表达式分别为:
Figure SMS_6
其中,GMMα(w)与GMMβ(w)分别为所述步骤2计算得到的不同误差状态的概率;
步骤32,根据步骤31计算得到的修正矩阵A和以下柔顺控制的表达式计算得出控制指令xc,将计算得出的控制指令xc发送给操作臂,使所述操作臂根据控制指令进行运动调整待离心容器的位姿;
柔顺控制的表达式为:
Figure SMS_7
其中,M、D、K分别为离心容器的质量、离心容器的阻尼和离心容器的刚度矩阵,一般选为对角阵;A是步骤31计算得到的与不同误差状态的概率相关的修正矩阵;
Figure SMS_8
为力和力矩的绝对值,其中,Fx,Fy,Fz,Tx,Ty,Tz分别是所述六轴力传感器测量得到且经过动态补偿后的力和力矩,Fx,Fy,Fz 分别为力传感器坐标系的X,Y,Z方向的力,Tx,Ty,Tz分别为力传感器坐标系的绕X,Y,Z方向旋转的力矩;xd为未受力时的离心容器期望位姿,xc为受力时的离心容器期望位姿;xe=xd-x为未受力时的离心容器期望位姿和离心容器实际位姿的误差,/>
Figure SMS_9
和/>
Figure SMS_10
分别是位姿误差xe的速度和加速度。
为了更加清晰地展现出本发明所提供的技术方案及所产生的技术效果,下面以具体实施例对本发明实施例所提供的基于误差状态概率的离心机柔顺操作系统与方法进行详细描述。
实施例1
如图2所示,本发明实施例提供一种基于误差状态概率的离心机柔顺操作系统,用于进行离心机柔顺操作,包括:
操作臂,六轴力传感器,相机和控制设备;其中,
所述六轴力传感器,设置在操作臂的末端,能够测量离心机柔顺操作过程中待离心容器与离心孔接触产生的力和力矩;
所述操作臂,能够接受所述控制设备的控制指令,调整待离心容器的位姿,完成离心机柔顺操作;
所述相机,能够拍摄离心孔图片,发送给控制设备;
所述控制设备,分别与所述操作臂、相机和六轴力传感器通信连接,通过所述相机拍摄的图片对离心孔位姿进行定位,并控制所述操作臂前往离心孔位姿进行离心机柔顺操作,之后根据预先训练好的基于高斯混合模型的误差状态分类器对所述六轴力传感器测量得到且经过动态补偿后的力和力矩进行计算得到不同误差状态的概率,利用计算得到的不同误差状态的概率和动态补偿后的力和力矩计算得出控制指令并发送给操作臂,对操作臂的操作进行柔顺控制。
实施例2
如图3所示,本发明实施例提供一种基于误差状态概率的离心机柔顺操作方法,用于控制所述系统进行离心机柔顺操作,包括:
预先训练好高斯混合模型作为误差状态分类器,此处理预先执行一次即可,包括以下步骤:
步骤A1,采集并构建训练数据集,包含以下步骤:
步骤A11,将待离心容器移动到离心孔的某个装配深度,采集和保存所述六轴力传感器测量得到的力和力矩
Figure SMS_11
以及对应的误差状态(ESα,ESβ)。
具体地,在步骤A11中,首先在离心孔的上表面中心建立固连在离心孔上的离心孔坐标系{H},Z轴方向为垂直于离心孔的上表面向上。将待离心容器上的离心容器坐标系{S}建立在装配深度l的1/2处,即待离心容器的下表面到离心孔上表面的轴线距离的1/2处,离心容器坐标系{S}的X-Y平面和Z轴的下表面平行且X轴与离心孔坐标系{H}的X轴位于同一平面,Y轴和离心孔坐标系{H}的Y轴方向相同,Z轴与待离心容器轴线重合且正方向向上。此外,由于力和力矩
Figure SMS_12
是通过六轴力传感器测量得到的,其参考坐标系定义为力传感器坐标系{K},原点位于六轴力传感器中心,X轴、Y轴和离心容器坐标系{S}的X轴、Y轴方向相同,Z轴方向相反。误差状态定义为V={(dx,dy,α,β)|dx,dy∈i;α,β∈[-π,π]},其中,dx和dy分别为离心容器坐标系{S}和离心孔坐标系{H}在X轴、Y轴方向上的距离,α和β分别为离心容器坐标系{S}绕离心孔坐标系{H}的X轴、Y轴旋转的角度。误差状态(ESα,ESβ)定义为姿态误差(α,β)的正状态P、零状态Z和负状态N。
步骤A12,增大装配深度,可选地,装配深度的增加量为5mm,重复步骤A11,直至到达最大装配深度。之后对采集的力和力矩进行归一化处理。
步骤A2,采用步骤1得到的数据集训练基于高斯混合模型的误差状态分类器,包含以下步骤:
步骤A21,依次调整高斯混合模型的高斯组件数量为2-10;
步骤A22,采用步骤A1所采集的数据集,利用EM算法对步骤A21调整高斯组件数量后的高斯混合模型进行训练;
步骤A23,重复步骤A21和步骤A22,从训练后的不同高斯组件数量的高斯混合模型中选择误差状态分类准确率最高且高斯组件数量最少的两个高斯混合模型GMMα和GMMβ作为误差状态分类器。
上述步骤A2中,误差状态分类器能够根据力与力矩判断误差状态的原因在于力与力矩和误差状态之间存在映射关系但具体形式无法确定,证明如下:
为了分析作为轴的待离心容器和作为孔的离心孔之间接触时所产生的压力,将轴孔沿着力传感器坐标系{K}的Z轴切分为无穷多切面,并在切面上逐点分析所受的压强。如图1所示,以力传感器坐标系{K}下方某一切面为例,其中点B和点C分别是切面上位于孔和轴的接触点,Ok是力传感器坐标系{K}的Z轴与切面的交点,L是力传感器坐标系{K}和轴下表面的距离,L是力传感器坐标系{K}和轴孔刚开始接触时的切面的距离,s是切面与力传感器坐标系{K}的距离,θ是OkB与力传感器坐标系{K}的X轴的夹角,2ri是轴的直径,2ro是孔的外径,长度OkB是关于s和θ的函数,OkC是关于θ的函数,取值为0或ri。以待离心容器上的点C为例,根据拉姆方程可得压强为:
Figure SMS_13
其中E为弹性模量。
一般α和β较小,故
Figure SMS_14
。对每一点的压强进行积分,并投影到对应的方向上,可以得到最终的接触力和力矩表达式为:
Figure SMS_15
Figure SMS_16
Figure SMS_17
Figure SMS_18
其中μ为摩擦系数。
以误差β为例,当dx为零时,力和力矩表示为:
Figure SMS_19
Figure SMS_20
其中C1与C2均为常数,定义如下:
Figure SMS_21
Figure SMS_22
Ty与Fx相除就得到了力和力矩与ESβ的关系表达式为:
Figure SMS_23
Figure SMS_24
时ESβ = P,/>
Figure SMS_25
时ESβ = Z,/>
Figure SMS_26
时ESβ = N。同理可得力与力矩和误差状态ESα的关系。
上述步骤A2中,使用高斯混合模型构建误差状态分类器的原因如下:
由于上述推导得到的力与力矩和误差状态的关系式中存在未知常数,故无法直接构建力与力矩和误差状态的关系式。
以ESβ为例,由于误差状态为Z的概率为零,故根据贝叶斯分类算法,当力与力矩为w时误差状态ESβ= P需要满足:q(ESβ=P|w)≥q(ESβ=N|w)
其中,q(ESβ=P|w)表示当力与力矩为w时ESβ= P的概率。由于装配任务中误差状态是随机等概率的,故q(ESβ=P)=q(ESβ=N)。根据贝叶斯共识,上式等价于:
q(w|ESβ=P)=q(w|ESβ=N) ;
其中q(w|ESβ=P)表示当ESβ= P时力与力矩为w的概率,此外q(w|ESβ=P)与q(w|ESβ=N)互斥,因此,本发明使用一个高斯混合模型GMMβ来拟合q(w|ESβ=P)的分布,误差状态ESβ与高斯混合模型GMMβ的关系为:
Figure SMS_27
同理可得,ESα的判断需要另一个高斯混合模型GMMα。因此误差状态分类器是由两个高斯混合模型GMMα和GMMβ组成的。
按上述方式预先训练好两个高斯混合模型的误差状态分类器后,按以下步骤进行离心机柔顺操作,包括:
步骤1,获取离心孔的位姿,操作臂根据离心孔位姿进行轨迹规划并开始离心机柔顺操作,包含以下步骤:
优选的,离心孔位姿的获取可以采用所述相机拍摄离心孔图片并发送给控制设备,控制设备使用基于Canny算子的边缘提取与椭圆拟合的视觉定位算法获取离心孔的位姿,具体步骤包括:
步骤11,对所述系统的相机拍摄的离心孔图片的中间圆形区域进行裁剪得到保留离心孔位置的裁剪图片;提取出感兴趣的部分,以避免其他部分的干扰;
步骤12,使用Canny算子检测裁剪图片边缘,并对裁剪图片边缘进行轮廓提取,筛除连续长度小于第一阈值的边缘,保留连续长度大于第一阈值的边缘作为离心孔轮廓;优选的,该第一阈值为10;
步骤13,对长度大于第一阈值的每个轮廓进行椭圆拟合,并剔除半短轴与半长轴之比小于第二阈值的椭圆,保留半短轴与半长轴之比大于等于第二阈值的椭圆,优选的,该第二阈值为0.8,之后,对每个椭圆进行不匹配度计算,剔除不匹配度大于第三阈值的椭圆,优选的,该第三阈值为0.025,不匹配度计算方式为:
Figure SMS_28
其中,i表示第i个椭圆,k为该椭圆的点向量个数,xj与yj写为:
Figure SMS_29
其中xi0、yi0、wi、hi、δ分别为第i个椭圆的最小外接矩形的中心X坐标、中心Y坐标、宽度、高度、旋转角度,xij和yij是第i个椭圆的第j个点向量的X坐标和Y坐标;
步骤14,计算步骤13保留椭圆之间的IoU并进行非极大值抑制,得到离心孔在裁剪图片中的像素坐标,利用离心孔在裁剪图片中的像素坐标根据所述相机的内外参获得离心孔位姿;
步骤15,所述系统的控制设备根据步骤14得出的离心孔位姿进行轨迹规划,控制所述系统的操作臂移动到步骤14获得的离心孔位姿,开始进行离心机柔顺操作。
步骤2,将操作过程中待离心容器和离心孔接触产生的力和力矩经过动态补偿后输入所述误差状态分类器,计算得到不同误差状态的概率,步骤如下:
步骤21,将动态补偿后的力和力矩w输入到步骤2得到的误差状态分类器GMMα和GMMβ中,计算误差状态ESα=P的概率GMMα(w),误差状态ESβ=P的概率GMMβ(w)。
步骤3,所述控制设备的柔顺控制器根据不同误差状态的概率以及动态补偿后的力和力矩计算出控制指令发送给所述操作臂,所述操作臂根据控制指令进行运动,调整待离心容器的位姿,包含以下步骤:
步骤31,控制设备的柔顺控制器根据误差状态概率计算出修正矩阵A,具体计算方式为:
Figure SMS_30
其中sign()为符号函数,Fx,Fy,Fz,Tx,Ty,Tz分别是所述六轴力传感器测量得到且经过动态补偿后的力和力矩,Fx,Fy,Fz 分别为力传感器坐标系的X,Y,Z方向的力,Tx,Ty,Tz分别为力传感器坐标系的绕X,Y,Z方向旋转的力矩,
Figure SMS_31
和/>
Figure SMS_32
表达式分别为:
Figure SMS_33
其中GMMα(w)与GMMβ(w)为步骤4计算得到的不同误差状态的概率;
步骤32,根据步骤31计算得到的修正矩阵A和柔顺控制的表达式计算得到控制指令xc,柔顺控制的表达式为:
Figure SMS_34
其中,M、D、K分别为质量、阻尼和刚度矩阵,一般选为对角阵;A是步骤51得到的与误差状态概率相关的修正矩阵;
Figure SMS_35
为动态补偿后的力和力矩的绝对值;xd为未受力时的期望位姿,xc为受力时的期望位姿(即为控制指令);xe=xd-x,即未受力时的期望位姿和实际位姿的误差,/>
Figure SMS_36
和/>
Figure SMS_37
分别是位姿误差xe的速度和加速度;
将计算得到控制指令xc发送给操作臂,实现对操作臂的控制。
步骤4,判断待离心容器与离心孔接触产生的力和力矩的绝对值|Fz|是否大于预设阈值,若是,则执行步骤5,若否则执行步骤2;优选的,该预设阈值可设置为15N。
步骤5,确认完成将待离心容器放入离心机上离心孔内的操作,结束本次操作。
本领域普通技术人员可以理解:实现上述实施例方法中的全部或部分流程是可以通过程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求书的保护范围为准。本文背景技术部分公开的信息仅仅旨在加深对本发明的总体背景技术的理解,而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

Claims (10)

1.一种基于误差状态概率的离心机柔顺操作系统,其特征在于,包括:
操作臂、六轴力传感器、相机和控制设备;其中,
所述六轴力传感器,设置在操作臂的末端,能测量离心机柔顺操作过程中待离心容器与离心孔接触产生的力和力矩;
所述操作臂,能接收所述控制设备的控制指令,根据控制指令调整待离心容器的位姿,完成离心机柔顺操作;
所述相机,设置在所述操作臂上,能拍摄离心孔图片,发送给控制设备;
所述控制设备,分别与所述操作臂、相机和六轴力传感器通信连接,通过所述相机拍摄的离心孔图片对离心孔位姿进行定位,并控制所述操作臂调整待离心容器的位姿前往离心孔位姿进行离心机柔顺操作,以及利用预先训练好基于高斯混合模型的误差状态分类器对所述六轴力传感器测量得到并经动态补偿后的力和力矩计算得出不同误差状态的概率,并根据得出的不同误差状态的概率对操作臂的力和力矩进行修正,根据修正后的力和力矩计算出控制指令发送给操作臂,使所述操作臂根据控制指令进行运动调整待离心容器的位姿,直至将待离心容器放入离心机上离心孔内的操作完成。
2.根据权利要求1所述的基于误差状态概率的离心机柔顺操作系统,其特征在于,所述控制设备包括:
基于高斯混合模型的误差状态分类器和柔顺控制器;其中,
所述基于高斯混合模型的误差状态分类器,能对所述六轴力传感器测量得到并经动态补偿后的力和力矩进行计算得出不同误差状态的概率;
所述柔顺控制器,分别与所述基于高斯混合模型的误差状态分类器和操作臂通信连接,能利用所述基于高斯混合模型的误差状态分类器计算得出的不同误差状态的概率对操作臂的力和力矩进行修正,根据修正后的力和力矩计算出控制指令发送给操作臂,使所述操作臂根据控制指令进行运动调整待离心容器的位姿。
3.一种基于误差状态概率的离心机柔顺操作方法,其特征在于,用于控制权利要求1或2所述的系统进行离心机柔顺操作,预先训练好高斯混合模型作为误差状态分类器,包括以下步骤:
步骤1,获取待操作离心机的离心孔位姿,操作臂根据离心孔位姿进行轨迹规划并开始离心机柔顺操作;
步骤2,操作过程中待离心容器与离心孔接触产生的力和力矩经过动态补偿后,输入预先训练好的基于高斯混合模型的误差状态分类器计算得出不同误差状态的概率;
步骤3,根据步骤2得出的不同误差状态的概率对所述系统的操作臂的力和力矩进行修正,根据修正后的力和力矩计算出控制指令发送给所述系统的操作臂,使所述操作臂根据控制指令进行运动调整待离心容器的位姿;
步骤4,判断待离心容器与离心孔接触产生的z方向的力的绝对值|Fz|是否大于预设阈值,若是,则执行步骤5,若否则执行步骤2;
步骤5,确认完成将待离心容器放入离心机上离心孔内的操作,结束本次操作。
4.根据权利要求3所述的基于误差状态概率的离心机柔顺操作方法,其特征在于,所述方法中,按以下方式预先训练好高斯混合模型作为误差状态分类器,包括:
步骤A1,采集并构建训练数据集;
步骤A2,采用步骤A1构建的数据集训练基于高斯混合模型的误差状态分类器。
5.根据权利要求4所述的基于误差状态概率的离心机柔顺操作方法,其特征在于,所述步骤A1中,按以下方式采集并构建训练数据集,包括:
步骤A11,将待离心容器移动到待操作离心机的离心孔的某个装配深度,采集和保存所述六轴力传感器测量得到且经过动态补偿后的力和力矩以及对应的误差状态;
步骤A12,按预定的增加量增大装配深度,重复步骤A11,直至到达最大装配深度;
步骤A13,对采集的力和力矩进行归一化处理作为构建的训练数据集。
6.根据权利要求5所述的基于误差状态概率的离心机柔顺操作方法,其特征在于,所述步骤A11中,按以下方式采集和保存六轴力传感器测量得到且经过动态补偿后的力和力矩以及对应的误差状态,包括:
在离心孔的上表面中心建立固连在离心孔上的离心孔坐标系,离心孔坐标系的Z轴方向为垂直于离心孔的上表面向上;
将待离心容器上的离心容器坐标系建立在装配深度的1/2处,离心容器坐标系的X-Y平面和X轴的下表面平行且X轴与离心孔坐标系的X轴位于同一平面,Y轴和离心孔坐标系的Y轴方向相同,Z轴与待离心容器轴线重合且正方向向上;
将六轴力传感器的参考坐标系定义为力传感器坐标系,该力传感器坐标系原点位于六轴力传感器中心,X轴、Y轴和离心容器坐标系的X轴、Y轴方向相同,Z轴方向相反;
将误差状态定义为V={(dx,dy,α,β)|dx,dy∈i;α,β∈[-π,π]}其中,dx和dy分别为离心容器坐标系和离心孔坐标系在X轴、Y轴方向上的距离;α和β分别为离心容器坐标系绕离心孔坐标系的X轴、Y轴旋转的角度;
将所述六轴力传感器测量得到的力和力矩对应的误差状态(ESα,ESβ)定义为姿态误差(α,β)的正状态P、零状态Z和负状态N,即误差状态ES α 为姿态误差α的正状态P、零状态Z和负状态N中的一种;误差状态ES β 为姿态误差β的正状态P、零状态Z和负状态N中的一种。
7.根据权利要求4-6任一项所述的基于误差状态概率的离心机柔顺操作方法,其特征在于,所述步骤A2中,按以下方式采用步骤A1构建的数据集训练基于高斯混合模型的误差状态分类器,包括:
步骤A21,依次调整高斯混合模型的高斯组件数量为2-10;
步骤A22,采用步骤A1所构建的数据集,利用EM算法对步骤A21调整高斯组件数量后的高斯混合模型进行训练;
步骤A23,重复步骤A21和步骤A22,从训练后的不同高斯组件数量的高斯混合模型中选择误差状态分类准确率最高且高斯组件数量最少的两个高斯混合模型GMMα和GMMβ作为误差状态分类器。
8.根据权利要求3-6任一项所述的基于误差状态概率的离心机柔顺操作方法,其特征在于,所述步骤1中,按以下方式获取待操作离心机的离心孔位姿,操作臂根据离心孔位姿进行轨迹规划并开始离心机柔顺操作,包括:
步骤11,对所述系统的相机拍摄的离心孔图片的中间圆形区域进行裁剪得到保留离心孔位置的裁剪图片;
步骤12,使用Canny算子检测裁剪图片边缘,并对裁剪图片边缘进行轮廓提取,筛除连续长度小于第一阈值的边缘,保留连续长度大于第一阈值的边缘作为离心孔轮廓;
步骤13,对长度大于第一阈值的每个轮廓进行椭圆拟合,并剔除半短轴与半长轴之比小于第二阈值的椭圆,保留半短轴与半长轴之比大于等于第二阈值的椭圆,之后,对每个椭圆进行不匹配度计算,剔除不匹配度大于第三阈值的椭圆,不匹配度计算方式为:
Figure QLYQS_1
其中,i表示第i个椭圆,k为该椭圆的点向量个数,j表示该椭圆的第j个点向量,xj与yj写为:
Figure QLYQS_2
其中,xi0、yi0、wi、hi、δ分别为第i个椭圆的最小外接矩形的中心X坐标、中心Y坐标、宽度、高度、旋转角度;x ij y ij 是第i个椭圆的第j个点向量的X坐标和Y坐标;
步骤14,计算所述步骤13保留椭圆之间的IoU并进行非极大值抑制,得到离心孔在裁剪图片中的像素坐标,利用离心孔在裁剪图片中的像素坐标根据所述相机的内外参获得离心孔位姿;
步骤15,所述系统的控制设备根据步骤14得出的离心孔位姿进行轨迹规划,控制操作臂移动到步骤14获得的离心孔位姿,开始进行离心机柔顺操作。
9.根据权利要求3-6任一项所述的基于误差状态概率的离心机柔顺操作方法,其特征在于,所述步骤2中,按以下方式在操作过程中待离心容器和离心孔接触产生的力和力矩经过动态补偿后,输入所述误差状态分类器计算得出不同误差状态的概率,包括:
将力和力矩w分别输入到预先训练好的基于高斯混合模型的误差状态分类器GMMα和GMMβ中,分别计算误差状态ESα=P的概率GMMα(w)及误差状态ESβ=P的概率GMMβ(w)。
10.根据权利要求3-6任一项所述的基于误差状态概率的离心机柔顺操作方法,其特征在于,所述步骤3中,按以下方式根据步骤2得出的不同误差状态的概率对所述系统的操作臂的力和力矩进行修正,根据修正后的力和力矩计算出控制指令发送给所述系统的操作臂,使所述操作臂根据控制指令进行运动调整待离心容器的位姿,包括:
步骤31,按以下计算方式根据不同误差状态的概率计算出修正矩阵A,计算方式为:
Figure QLYQS_3
其中,sign()为符号函数,Fx,Fy,Fz分别为力传感器坐标系的X,Y,Z方向的力,Tx,Ty,Tz分别为力传感器坐标系的绕X,Y,Z方向旋转的力矩,
Figure QLYQS_4
和/>
Figure QLYQS_5
的表达式分别为:
Figure QLYQS_6
其中,GMMα(w)与GMMβ(w)分别为所述步骤2计算得到的不同误差状态的概率;
步骤32,根据步骤31计算得到的修正矩阵A和以下柔顺控制表达式计算得出控制指令xc,将计算得出的控制指令xc发送给操作臂,使所述操作臂根据控制指令进行运动调整待离心容器的位姿;
所述柔顺控制的表达式为:
Figure QLYQS_7
其中,M、D、K分别为离心容器的质量、离心容器的阻尼和离心容器的刚度矩阵,一般选为对角阵;A是步骤31计算得到的与不同误差状态的概率相关的修正矩阵;
Figure QLYQS_8
为修正后的力和力矩的绝对值,其中,F x ,F y ,F z ,T x , T y ,T z 分别是所述六轴力传感器测量得到且经过动态补偿后的力和力矩,F x ,F y ,F z 分别为力传感器坐标系的X,Y,Z方向的力,T x ,T y ,T z 分别为力传感器坐标系的绕X,Y,Z方向旋转的力矩;xd为未受力时的离心容器期望位姿,xc为受力时的离心容器期望位姿;xe=xd-x为未受力时的期望位姿和实际位姿的误差,/>
Figure QLYQS_9
和/>
Figure QLYQS_10
分别是位姿误差xe的速度和加速度。
CN202310364489.XA 2023-04-07 2023-04-07 一种基于误差状态概率的离心机柔顺操作系统与方法 Active CN116079748B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310364489.XA CN116079748B (zh) 2023-04-07 2023-04-07 一种基于误差状态概率的离心机柔顺操作系统与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310364489.XA CN116079748B (zh) 2023-04-07 2023-04-07 一种基于误差状态概率的离心机柔顺操作系统与方法

Publications (2)

Publication Number Publication Date
CN116079748A CN116079748A (zh) 2023-05-09
CN116079748B true CN116079748B (zh) 2023-07-14

Family

ID=86204851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310364489.XA Active CN116079748B (zh) 2023-04-07 2023-04-07 一种基于误差状态概率的离心机柔顺操作系统与方法

Country Status (1)

Country Link
CN (1) CN116079748B (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015009048B3 (de) * 2015-07-13 2016-08-18 Kuka Roboter Gmbh Steuern eines nachgiebig geregelten Roboters
CN106272416B (zh) * 2016-08-29 2020-12-29 上海交通大学 基于力觉和视觉的机器人细长轴精密装配系统及方法
CN110355557B (zh) * 2019-07-05 2020-11-10 清华大学 一种大尺寸轴孔工件装配的螺旋插装方法
CN111230873B (zh) * 2020-01-31 2022-02-01 武汉大学 一种基于示教学习的协作搬运控制系统及方法
CN111515928B (zh) * 2020-04-15 2023-03-31 上海工程技术大学 机械臂运动控制系统
US11673264B2 (en) * 2021-03-25 2023-06-13 Mitsubishi Electric Research Laboratories, Inc. System and method for robotic assembly based on adaptive compliance
DE102021204697B4 (de) * 2021-05-10 2023-06-01 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Steuern einer Robotervorrichtung
CN114791333B (zh) * 2022-03-17 2024-04-30 清华大学 力传感器测量坐标系标定方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN116079748A (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
JP7207851B2 (ja) 制御方法、ロボットシステム、物品の製造方法、プログラム及び記録媒体
CN111775146B (zh) 一种工业机械臂多工位作业下的视觉对准方法
US9517563B2 (en) Robot system using visual feedback
CN108818536B (zh) 一种机器人手眼标定的在线偏移修正方法及装置
US5297238A (en) Robot end-effector terminal control frame (TCF) calibration method and device
TW201830184A (zh) 控制裝置、機器人及機器人系統
JP2018126799A (ja) 制御装置、ロボットおよびロボットシステム
US20110087360A1 (en) Robot parts assembly on a workpiece moving on an assembly line
JP2018126796A (ja) 制御装置、ロボットおよびロボットシステム
CN110378325B (zh) 一种机器人抓取过程中的目标位姿识别方法
WO2009059323A1 (en) A method and system for finding a tool center point for a robot using an external camera
CN112123341B (zh) 机器人双臂协调运动控制方法、装置和电子设备
US10740649B2 (en) Object attitude detection device, control device, and robot system
JP2018167334A (ja) 教示装置および教示方法
CN116079746B (zh) 一种柔性抓取方法
CN112729112B (zh) 基于机器人视觉的发动机缸体孔径与孔位检测方法
US20230166398A1 (en) Collision handling methods in grasp generation
EP4101604A1 (en) System and method for improving accuracy of 3d eye-to-hand coordination of a robotic system
CN116079748B (zh) 一种基于误差状态概率的离心机柔顺操作系统与方法
CN117340879A (zh) 一种基于图优化模型的工业机器人参数辨识方法和系统
CN109542094B (zh) 无期望图像的移动机器人视觉镇定控制
CN112847362B (zh) 一种基于图像矩的搬运机器人视觉伺服控制方法
CN113043264B (zh) 一种一体化关节七轴机器人的零位标定方法
CN112598744B (zh) 一种发动机气门抓取点定位方法
Tang et al. Error State Probability-Based Compliance Control for Peg-in-Hole Assembly

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant