CN115533913A - 柔性机械臂虚拟试验平台和数字孪生系统 - Google Patents

柔性机械臂虚拟试验平台和数字孪生系统 Download PDF

Info

Publication number
CN115533913A
CN115533913A CN202211284107.4A CN202211284107A CN115533913A CN 115533913 A CN115533913 A CN 115533913A CN 202211284107 A CN202211284107 A CN 202211284107A CN 115533913 A CN115533913 A CN 115533913A
Authority
CN
China
Prior art keywords
mechanical arm
flexible mechanical
flexible
model
physical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211284107.4A
Other languages
English (en)
Other versions
CN115533913B (zh
Inventor
佃松宜
马丛俊
斯帅
钟许可
肖权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202211284107.4A priority Critical patent/CN115533913B/zh
Publication of CN115533913A publication Critical patent/CN115533913A/zh
Application granted granted Critical
Publication of CN115533913B publication Critical patent/CN115533913B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/0095Means or methods for testing manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/1605Simulation of manipulator lay-out, design, modelling of manipulator
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种柔性机械臂虚拟试验平台,其包括与柔性机械臂物理实体匹配的柔性机械臂虚拟实体、应用控制模块和运动控制模块。本发明还公开了基于上述柔性机械臂虚拟试验平台的数字孪生系统,基于构建的柔性机械臂虚拟实体,利用数字孪生技术,建立柔性机械臂物理实体和虚拟实体一起面向应用服务的高同步连接;能够实现柔性机械臂虚拟实体的实时三维状态显示。且柔性机械臂虚拟实体具有与物理实体相同的物理属性,能够真实且准确地反映柔性机械臂的运动状态。

Description

柔性机械臂虚拟试验平台和数字孪生系统
技术领域
本申请属于机器人技术领域,涉及机电设备的数字孪生技术,尤其涉及柔性机械臂虚拟仿真技术和基于该柔性机械臂虚拟仿真技术构建的柔性机械臂数字孪生系统。
背景技术
在对柔性机械臂装置进行运动控制的过程中,往往无法知道其当前状态,尤其是柔性机械臂的真实臂形与末端位姿,以及柔性机械臂的历史运动状态等高维运动数据,更无法用交互模型控制柔性臂物理实体。同时,传统柔性机械臂无法借助人机交互软件利用数据进行更加智能和自动化的作业任务;进而,也无法对柔性机械臂进行友好的人机交互控制。
专利申请号为CN201910447859.X公开了一种柔性机械臂遥操作的人机交互终端及方法。,主要从交互与操作的角度,描述了如何使用交互终端设备进行柔性臂的人机交互控制。然而,该柔性机械臂遥操作的人机交互终端只描述了如何利用VR显示器和操作手柄在Unity3D操作软件中操控柔性臂运动,未明确说明Unity虚拟环境中所述柔性机械臂具有哪些特性,与柔性机械臂物理实体之间的关系。此外,其并不具备基于柔性臂历史数据与运行状态的智能运动控制功能描述,仍属于传统模型固化的遥操作方法,难以实现对柔性机械臂运动的高度还原。
综上所述,如何实现柔性机械臂的虚拟仿真,并基于柔性机械臂虚拟实体构建数字孪生技术驱动下的柔性机械臂智能控制环境,是目前机电设备数字孪生技术发展丞待解决的关键技术。
发明内容
本发明目的旨在针对现有技术中存在的上述技术问题,构建具有物理属性的高仿真柔性机械臂虚拟试验平台,能够实现对柔性机械臂运动的高度还原。
本发明的另一目的旨在提供一种柔性机械臂数字孪生系统,基于数字孪生思想,实现柔性机械臂实体与虚拟柔性机械臂的虚实交互,从操作层面大幅提升用户对柔性机械臂设备的操作便利性和运行过程中的三维可视化效果,并从运动控制层面实现柔性机械臂的智能驱动。
为达到上述目的,本发明采取以下技术方案来实现。
本发明提供的柔性机械臂虚拟试验平台,其包括与柔性机械臂物理实体匹配的柔性机械臂虚拟实体、应用控制模块和运动控制模块:
所述柔性机械臂物理实体包括经连接体连接在一起的一段以上的柔性臂及位于末端的末端关节,每段柔性臂结构相同,均包括顺次串联的若干万向节和将若干万向节连接在一起的一根以上的驱动丝;所述柔性机械臂虚拟实体包括与柔性机械臂物理实体中万向节数量和位置匹配的万向节模型、连接体模型、驱动丝模型,还包括相邻两个万向节之间水平转轴模型或垂直转轴模型;各万向节模型、连接体模型、水平转轴模型、垂直转轴模型和驱动丝模型均配置与柔性机械臂物理实体相匹配的物理属性;
应用控制模块,用于依据接收的外部操作请求,结合柔性机械臂虚拟实体当前时刻仿真数据,基于嵌入的运动控制算法生成柔性机械臂虚拟实体下一时刻目标定位信息,并将目标定位信息发送给柔性机械臂虚拟实体运动控制模块;
运动控制模块;用于依据接收的下一时刻目标定位信息,结合柔性机械臂虚拟实体当前时刻定位信息,确定各模型物理属性变化量,并将其作为驱动信号实现对柔性机械臂虚拟实体运动控制。
上述柔性机械臂虚拟试验平台,结合了柔性机械臂虚拟实体、应用控制模块、运动控制模块,从多时间尺度、多空间尺度对柔性机械臂物理实体(PE)进行描述与刻画。
基于柔性机械臂虚拟实体、应用控制模块、运动控制模块,构建了与柔性机械臂物理实体匹配的柔性机械臂虚拟实体。所述柔性机械臂物理实体即柔性机械臂实体设备,其主体结构为刚柔耦合型线驱动柔性机械臂。本发明中,柔性机械臂物理实体包括经连接体连接在一起的柔性臂第一段、柔性臂第二段以及穿过柔性臂第一段和柔性臂第二段的弹性支撑体;柔性臂第一段和柔性臂第二段结构相同,均包括若干万向节和将若干万向节串联在一起的一根以上的驱动丝;相邻两个万向节之间通过虎克铰链方式连接;柔性臂第一段中驱动丝一端穿过基座与相应驱动电机相连,另一端与连接体固连;柔性臂第二段中驱动丝一端穿过基座与相应驱动电机相连,另一端与末端关节固连。本发明中,柔性机械臂虚拟实体包括与柔性机械臂物理实体中万向节数量和位置匹配的万向节模型、连接体模型、基座模型、末端关节模型、驱动丝模型;此外,还在相邻两个万向节模型之间设置了水平转轴模型或垂直转轴,且基座模型与相邻万向节模型之间、连接体模型两端与相邻万向节模型之间,以及末端关节模型与相邻的万向节模型之间也可以设置水平转轴模型或垂直转轴模型;水平转轴模型和垂直转轴模型相互垂直且交替排布。并对柔性机械臂虚拟实体各模型(包括各万向节模型、连接体模型、末端关节模型、驱动丝模型等)均配置与柔性机械臂物理实体相匹配的物理属性;同时也对水平转轴模型和垂直转轴模型配置了物理属性;例如,对于万向节模型、连接体模型的物理属性包括位置、质量,末端关节模型的物理属性(也即柔性机械臂末端物理属性)包括姿态、位置、运动速度,驱动丝模型的物理属性包括位于柔性机械臂内驱动丝部分初始线长、当前线长(简称驱动丝线长)以及驱动丝线长变化量,水平转轴模型和垂直转轴模型的属性包括水平转轴模型和垂直转轴模型角度,等等;上述物理属性中,质量、原始长度等为模型的固有属性,这些一般是固定不变的。这样,通过调整柔性机械臂虚拟实体的物理属性,便可实现对柔性机械臂虚拟实体的运动控制。本发明中,通过调整水平转轴和垂直转轴的角度,可以实现对相邻万向节模型(或连接体模型、末端关节模型)位置的调节,进而确定驱动丝当前长度和驱动丝线长变化量。
上述应用控制模块,主要是用于柔性机械臂应用服务(Ss),针对柔性机械臂在进行运动控制的人机交互过程中遇到的末端定位控制、臂形控制、轨迹规划、动态可视化、算法测试、故障诊断等内容展开。所述应用控制模块用于依据接收到的操作请求,结合柔性机械臂虚拟实体当前时刻仿真数据,应用嵌入的运动控制算法(例如柔性机械臂末端定位控制算法或/和臂形控制算法或/和柔性臂轨迹控制算法等),对柔性机械臂虚拟实体下一时刻进行定位,得到下一时刻目标定位信息;所述目标定位信息包括柔性机械臂臂形或/和末端位姿信息。柔性机械臂末端定位控制算法、臂形控制算法、柔性臂轨迹控制算法等可以采用本领域已经披露的常规算法。柔性机械臂末端定位控制算法参见马丛俊,赵涛,向国菲,等.基于逆运动学的柔性机械臂末端定位控制[J].机械工程学报,2021,57(13):1-9;臂形控制算法参见Torres L G,Kuntz A,Gilbert H B,et al.A motion planning approachto automatic obstacle avoidance during concentric tube robot teleoperation[C]//IEEE International Conference on Robotics&Automation.IEEE,2015:2361-2367;柔性臂轨迹控制算法参见CN112338913B公开的申请文件。
上述运动控制模块,依据接收的下一时刻目标定位信息,结合柔性机械臂虚拟实体当前时刻定位信息,可以确定各模型物理属性变化量,并将其作为柔性机械臂虚拟实体下一时刻的驱动信号。例如,可以根据下一时刻柔性机械臂臂形和当前时刻柔性臂形,计算各水平转轴和垂直转轴角度变化(即相邻两个万向节之间的转动角度),进而确定各万向节模型、连接体模型下一时刻的位置,进而确定柔性机械臂内驱动丝下一时刻长度和长度变化量;也可以根据柔性机械臂臂末端位姿的变化,先借助从末端空间至臂形空间的逆运动学模型,将末端位姿的变化转化为臂形的变化,从而计算各水平转轴和垂直转轴角度变化,进而确定各万向节模型、连接体模型下一时刻的位置,进而确定柔性机械臂内驱动丝下一时刻长度和长度变化量。单段柔性臂若干串联万向节模型形成臂形变量的变化。基于各模型物理属性变化量,结合当前时刻各模型的物理属性,可以确定柔性机械臂虚拟实体下一时刻各模型物理属性,进而实现对柔性机械臂虚拟实体的控制。
通过上述柔性机械臂虚拟试验平台,能够实现基于柔性机械臂历史状态数据的柔性机械臂智能管控,可实现在该平台上的柔性机械臂运动算法验证、模型优化与故障预测等应用服务。
本发明进一步提供了一种柔性机械臂数字孪生系统,其包括:
柔性机械臂物理实体;
多传感器采集系统,与柔性机械臂物理实体连接,用于对柔性机械臂物理实体行为信息和状态信息进行实时采集;
物理数据处理模块,与多传感器采集系统通信连接,用于依据多传感器采集系统采集的行为信息和状态信息,结合柔性机械臂物理实体历史物理数据,得到与柔性机械臂物理实体相关的当前时刻物理数据,并对历史物理数据进行更新;
仿真数据处理模块,与物理数据处理模块通信连接,用于依据其得到的与柔性机械臂物理实体相关的物理数据,结合柔性机械臂虚拟实体历史仿真数据,得到与柔性机械臂虚拟实体相关的当前时刻仿真数据,并对历史仿真数据进行更新同步;
柔性机械臂虚拟试验平台;所述柔性机械臂虚拟试验平台包括柔性机械臂虚拟实体、应用控制模块和运动控制模块;所述应用控制模块用于依据接收的操作请求,结合柔性机械臂虚拟实体当前时刻仿真数据,基于嵌入的运动控制算法生成柔性机械臂虚拟实体生成下一时刻目标定位信息;并将目标定位信息发送给运动控制模块;所述运动控制模块用于依据接收的下一时刻目标定位信息,结合柔性机械臂虚拟实体当前时刻定位信息,确定各模型物理属性变化量,并将其作为驱动信号实现对柔性机械臂虚拟实体运动控制;同时运动控制模块将驱动信号发送给柔性机械臂物理实体,实现对柔性机械臂虚拟实体运动控制;
三维显示模块,用于实时显示柔性机械臂虚拟实体三维图像。
上述柔性机械臂数字孪生系统,与柔性机械臂物理实体相关的物理数据、与柔性机械臂虚拟实体相关的仿真数据以及两者匹配的驱动信号构成数字孪生数据。基于构建的柔性机械臂虚拟实体,利用数字孪生技术,建立柔性机械臂物理实体和虚拟实体一起面向应用服务的高同步连接;能够实现柔性机械臂虚拟实体的实时三维状态显示。且柔性机械臂虚拟实体具有与物理实体相同的物理属性,能够真实且准确地反映柔性机械臂的运动状态。而且,柔性机械臂借助数字孪生技术,不仅能够让虚拟实体充分反映物理实体,还能做到运动数据与指令的发送,以达到虚拟实体控制物理实体的目标。
上述柔性机械臂数字孪生系统,多传感器采集系统所采集的行为信息包括驱动电机转速;采集的状态信息包括柔性机械臂末端位姿信息、臂形变量(是指柔性机械臂在臂形空间的变量,由单段柔性机械臂的弯曲角和旋转角两个变量构成)等;为了采集上述行为信息和状态信息,所述多传感器采集系统包括电机编码器、末端位姿传感器、FBG传感器等。
上述柔性机械臂数字孪生系统,物理数据处理模块得到的与柔性机械臂物理实体相关的物理数据包括臂形变量、末端位姿、驱动电机转速、驱动丝线长、驱动丝线长变化量、相邻万向节转动角度、万向节重量(不变量)等。通过历史物理数据中上一时刻物理数据,结合多传感器采集系统采集的行为信息和状态信息,可以对臂形变量、末端位姿、驱动电机转速等物理数据进行更新得到当前时刻物理数据;同时基于驱动电机转速,可以得到驱动丝线长变化量,结合上一时刻驱动丝长度,进而得到当前时刻驱动丝线长;基于FBG传感器采集的臂形变量数据,结合上一时刻相邻万向节转动角度,计算得到当前时刻相邻万向节转动角度。
上述柔性机械臂数字孪生系统,仿真数据处理模块得到的与柔性机械臂虚拟实体相关的仿真数据包括各万向节模型物理属性、连接体模型物理属性、末端关节物理属性、驱动丝模型物理属性、水平转轴模型和垂直转轴模型物理属性以及臂形变量等。通过历史仿真数据中上一时刻仿真数据,结合物理数据,可以对仿真数据进行更新同步得到当前时刻仿真数据。
上述柔性机械臂数字孪生系统,前面已经对柔性机械臂虚拟试验平台如何实现对柔性机械臂虚拟实体控制进行了详细解释。运动控制模块同时还将驱动信号发送给柔性机械臂物理实体,具体发送给柔性机械臂物理实体中与驱动电机电连接的电机驱动系统;电机驱动系统依据接收的驱动信号,生成驱动电机的控制指令,并发送给驱动电机执行,通过控制驱动丝移动,控制柔性机械臂到达目标位置,进而完成对柔性机械臂物理实体的运动控制。运动控制模块发送给柔性机械臂物理实体的主要是驱动信号中与物理实体相匹配的物理属性部分;由于本发明中,柔性机械臂物理实体主要是通过控制驱动丝来驱动柔性机械臂的,因此,运动控制模块可以将驱动信号中相应驱动丝的驱动丝线长变化量发送给柔性机械臂物理实体。
上述柔性机械臂数字孪生系统,所述三维显示模块,可以显示与柔性机械臂物理实体本体空间相对应的三维图像(可以基于柔性机械臂虚拟实体各万向节位置信息生成),三维图像在XY平面或XZ平面或YZ平面方向上投影图,或/和柔性机械臂末端轨迹图像(可以基于柔性机械臂末端位姿信息生成)等,从而从多个维度上实时显示柔性机械臂虚拟实体三维图像。
本发明提供的柔性机械臂虚拟试验平台具有以下有益效果:
1)柔性机械臂虚拟实体,具有与柔性机械臂物理实体相同的物理属性,能够真实且准确地反映柔性机械臂的运动状态,为柔性机械臂数字孪生系统搭建提供了前提条件;
2)柔性机械臂虚拟实体,能够在应用控制模块和运动控制模块驱动下,完成运动指令;因此,柔性机械臂虚拟试验平台可作为柔性机械臂的虚拟仿真测试平台,为柔性机械臂运动控制算法(包括末端定位控制算法、臂形控制算法、柔性臂轨迹控制算法等)提供仿真和验证环境。
本发明提供的柔性机械臂数字孪生系统具有以下有益效果:
1)基于数字孪生技术,将柔性机械臂物理实体和所构建的虚拟实体建立数字连接,实现了交互过程中的虚实同步;
2)将运动中的柔性机械臂物理实体各项状态数据集成在虚拟实体上,能够实现对柔性机械臂多维运动状态数据的交互,大幅提升机器人操控的真实性、临场感和智能化,从而更加准确的控制柔性机械臂物理实体运动;
3)极大发挥了虚拟实体与交互软件的数据记录与运算功能,可实现柔性机械臂控制算法验证、模型动态演变与设备可靠性授权评估等功能。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为柔性机械臂物理实体结构示意图;其中,(a)为整体结构示意图,(b)为公环示意图,(c)为母环示意图。
图2为本发明实施例1提供的柔性机械臂末端定位效果示意图。
图3为本发明实施例2提供的柔性机械臂数字孪生系统框架示意图。
图4为本发明实施例2提供的柔性机械臂数字孪生系统原理示意图。
图5为本发明实施例2提供的柔性机械臂数字孪生系统中柔性机械臂虚拟实体随物理实体同步运动效果图。
图6为本发明实施例2提供的柔性机械臂数字孪生系统中柔性机械臂末端位置运动数据及其误差;其中,E表示误差;xE、yE、zE和DE分别表示柔性机械臂末端在x轴,y轴,z轴和空间位置上偏离目标曲线轨迹的距离误差。
图7为本发明实施例2提供的柔性机械臂数字孪生系统中柔性机械臂驱动线线长变化量数据;其中,ΔL表示驱动丝线长变化量,ΔLS1a、ΔLS1b、ΔLS1c分别表示柔性臂第一段三根驱动丝线长变化量数据;ΔLS2a、ΔLS2b、ΔLS2c分别表示柔性臂第二段三根驱动丝线长变化量数据。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
以下实施例中针对的柔性机械臂物理实体,如图1所示,其包括经连接体4连接在一起的柔性臂第一段1、柔性臂第二段2以及穿过柔性臂第一段和柔性臂第二段的弹性支撑体7;柔性臂第二段末端为末端关节5。柔性臂第一段1和柔性臂第二段2结构相同,均包括若干万向节3和将若干万向节串联在一起的三根驱动丝。相邻两个万向节之间通过虎克铰链方式连接。柔性臂第一段中驱动丝一端穿过基座6与相应驱动电机相连,另一端与连接体4固连。柔性臂第二段2中驱动丝一端穿过基座6与相应驱动电机相连,另一端与末端关节5固连。
如图1所示,万向节3节具有两种结构:公环31和母环32,公环31和母环32交错排布。公环31两侧环面上分别设置有凸台312,且两个环面上的凸台位置相互垂直;母环32两侧环面上分别开设有凹槽322,且两个环面上的凹槽位置相互垂直;公环和母环上分别设置有驱动丝过孔(311、321)。母环环面上开设的凹槽与其相对的公环环面设置的凸台相适配。母环两侧端面和公环两侧端面均采用斜面设计,以使公环能绕凹槽中心具有一定的旋转角度;具体的,母环两侧端面和公环两侧端面均设计有自中间向两侧倾斜的定位面,这样可以使母环和公环构成的第一柔性臂/第二柔性臂活动具有较大的活动范围。
连接体4和末端关节5和与之连接的万向节(公环31或母环32)端面结构适配。当与连接体4/末端关节5连接的为公环31时,其端面与母环端面结构一致;当与连接体4/末端关节5连接的为母环32时,其端面与公环端面结构一致。
实施例1
本实施例提供了一种柔性机械臂虚拟试验平台,其包括柔性机械臂虚拟实体、柔性机械臂虚拟实体运动控制模块和应用控制模块。
上述柔性机械臂虚拟实体与柔性机械臂物理实体匹配,其包括与柔性机械臂物理实体中万向节数量和位置匹配的万向节模型、基座模型、连接体模型、末端关节模型、驱动丝模型,还包括若干水平转轴模型和垂直转轴模型;水平转轴或垂直转轴设置于相邻两个万向节模型之间、基座模型与相邻万向节模型之间、连接体模型两端与相邻万向节模型之间以及末端关节模型与相邻的万向节模型之间。水平转轴模型和垂直转轴模型相互垂直且交替排布(如图1中的转轴A和转轴B所示位置)。
上述各万向节模型、连接体模型、末端关节模型、驱动丝模型等均配置与柔性机械臂物理实体相匹配的物理属性;同时也对水平转轴模型和垂直转轴模型配置了物理属性。例如,对于万向节模型、连接体模型的物理属性包括位置、质量,末端关节模型的物理属性(也即柔性机械臂末端物理属性)包括姿态、位置、运动速度,驱动丝模型的物理属性包括位于柔性机械臂内驱动丝部分初始线长、当前线长(简称驱动丝线长)以及驱动丝线长变化量,水平转轴模型和垂直转轴模型的属性包括水平转轴模型角度和垂直转轴模型角度,等等;上述物理属性中,质量、原始长度等为模型的固有属性,这些一般是固定不变的。这样,通过调整柔性机械臂虚拟实体的物理属性,便可实现对柔性机械臂虚拟实体的运动控制。本发明中,通过调整水平转轴和垂直转轴的角度,可以实现对相邻万向节模型(或连接体模型、末端关节模型)位置的调节,进而确定驱动丝当前长度和驱动丝线长变化量。
上述应用控制模块,主要是依据接收的外部操作请求,结合柔性机械臂虚拟实体当前时刻仿真数据,应用柔性机械臂末端定位控制算法或/和臂形控制算法或/和柔性臂轨迹控制算法等,生成柔性机械臂虚拟实体下一时刻目标定位信息(目标定位信息包括柔性机械臂臂形或/和末端位姿信息),并将目标定位信息发送给运动控制模块。
上述运动控制模块,依据接收的下一时刻目标定位信息,结合柔性机械臂虚拟实体当前时刻定位信息,可以确定各模型物理属性变化量,并将其作为柔性机械臂虚拟实体下一时刻的驱动信号。例如,可以根据下一时刻柔性机械臂臂形和当前时刻柔性臂形,计算各水平转轴和垂直转轴角度变化(即表征相邻两个万向节之间的转动角度),进而确定各万向节模型、连接体模型下一时刻的位置,进而确定柔性机械臂内驱动丝下一时刻长度和长度变化量;也可以根据柔性机械臂臂末端位姿的变化,先借助从末端空间至臂形空间的逆运动学模型,将末端位姿的变化转化为臂形的变化,从而计算各水平转轴和垂直转轴角度变化,进而确定各万向节模型、连接体模型下一时刻的位置,进而确定柔性机械臂内驱动丝下一时刻长度和长度变化量。单段柔性臂若干串联万向节模型形成臂形变量的变化(所有水平转轴模型和垂直转轴模型转动角度矢量和为弯曲角,弯曲方向在基座平面的投影相位角为旋转角)。基于各模型物理属性变化量,可以确定柔性机械臂虚拟实体下一时刻各模型物理属性,进而实现对柔性机械臂虚拟实体的控制。
通过上述柔性机械臂虚拟试验平台,能够实现基于柔性机械臂历史状态数据的柔性机械臂智能管控,可实现在该平台上的柔性机械臂运动算法验证、模型优化与故障预测等应用服务。
例如,通过上述柔性机械臂虚拟试验平台,能够实现对柔性机械臂末端定位控制算法的验证,操作步骤如下:
(1)将柔性机械臂末端定位控制算法嵌入应用控制模块;这里采用的柔性机械臂末端定位控制算法参考基于逆运动学的柔性机械臂末端定位控制,马丛俊,赵涛,向国菲,等.[J].机械工程学报,2021,57(13):1-9;
(2)给定柔性机械臂末端起止末端位姿;
(3)应用控制模块通过柔性机械臂末端定位控制算法得到当前时刻与目标时刻的臂形变量信息;并将得到的臂形变量信息发送给运动控制模块;
(4)运动控制模块依据臂形变量信息变化量,通过逆运动学模型计算得到各水平转轴模型和垂直转轴模型的转动角度,进而可以确定各万向节模型、连接体模型、末端关节模型、驱动丝模型的物理属性变化量,并将其作为驱动信号;基于该驱动信号,结合当前时刻各模型的物理属性,可以确定柔性机械臂虚拟实体下一时刻各模型物理属性,进而实现对柔性机械臂虚拟实体的控制。
上述柔性机械臂末端定位控制算法涉及到的逆运动学模型包括从末端空间((Xi,Yi,Zi))到臂形空间(
Figure BDA0003899142390000091
)的映射关系和从臂形空间(
Figure BDA0003899142390000092
)到驱动空间(
Figure BDA0003899142390000093
)的映射关系。
从末端空间(Xi,Yi,Zi)到臂形空间
Figure BDA0003899142390000094
Figure BDA0003899142390000095
Figure BDA0003899142390000096
式中,i=1,2表示柔性臂第一段和柔性臂第二段。
从臂形空间
Figure BDA0003899142390000101
到驱动空间
Figure BDA0003899142390000102
Figure BDA0003899142390000103
式中,
Figure BDA0003899142390000104
分别为单段柔性机械臂万向节绕水平转轴、垂直转轴的转动角度总变化量,
Figure BDA0003899142390000105
为对应转动角速度,是柔性机械臂驱动空间的量化表示;tC、tT分别为转动起止时间,
Figure BDA0003899142390000106
表示当前位置,
Figure BDA0003899142390000107
表示目标位置,ni为各段柔性臂所含万向节单元数。
通过上述操作步骤,得到的柔性机械臂末端定位效果示意图如图2所示。从图2中可以看出,本实施例提供的柔性机械臂虚拟试验平台可以实时再现通过柔性机械臂末端定位控制算法确定的末端定位效果,从而为指导柔性机械臂末端定位控制算法改进提供数据支持和效果验证。
实施例2
本实施例提供了一种柔性机械臂数字孪生系统,其包括柔性机械臂物理实体,多传感器采集系统,物理数据处理模块,仿真数据处理模块,柔性机械臂虚拟试验平台和三维显示模块。
下面结合图3及图4,对上述柔性机械臂数字孪生系统进行详细解释。
上述多传感器采集系统,与柔性机械臂物理实体连接,用于对柔性机械臂物理实体行为信息和状态信息进行实时采集。多传感器采集系统所采集的行为信息包括驱动电机转速;采集的状态信息包括柔性机械臂末端位姿信息、臂形变量等;为了采集上述行为信息和状态信息,多传感器采集系统包括电机编码器、末端位姿传感器、FBG传感器等。
上述物理数据处理模块,与多传感器采集系统通信连接,用于依据多传感器采集系统采集的行为信息和状态信息,结合柔性机械臂物理实体历史物理数据,得到与柔性机械臂物理实体相关的当前物理数据,并对历史物理数据进行更新。
这里,物理数据处理模块,主要采用多传感器数据融合方法对多传感器采集系统采集的行为信息、状态信息以及历史物理数据进行计算处理,得到与柔性机械臂物理实体相关的当前物理数据,包括臂形变量、末端位姿、驱动电机转速、驱动丝线长、驱动丝线长变化量、相邻万向节转动角度、万向节重量(不变量)。并利用得到的当前物理数据对历史物理数据进行更新。通过历史物理数据中上一时刻物理数据,结合多传感器采集系统采集的行为信息和状态信息,可以对臂形变量、末端位姿、驱动电机转速等物理数据进行更新得到当前时刻物理数据;同时基于驱动电机转速,可以得到驱动丝线长变化量,结合上一时刻驱动丝长度,进而得到当前时刻驱动丝线长;基于FBG传感器采集的臂形变量数据,结合上一时刻相邻万向节转动角度,计算得到当前时刻相邻万向节转动角度。
仿真数据处理模块,与物理数据处理模块通信连接,用于依据其得到的与柔性机械臂物理实体相关的物理数据,结合柔性机械臂虚拟实体历史仿真数据,得到与柔性机械臂虚拟实体相关的当前仿真数据,并对历史仿真数据进行更新。
这里,仿真数据处理模块,主要是依据得到的与柔性机械臂物理实体相关的当前物理数据,得到与柔性机械臂虚拟实体相关的当前仿真数据,包括各万向节模型物理属性、连接体模型物理属性、末端关节物理属性、驱动丝模型物理属性、水平转轴模型和垂直转轴模型物理属性以及臂形变量等。通过历史仿真数据中上一时刻仿真数据,结合物理数据,可以对仿真数据进行更新同步得到当前时刻仿真数据。
柔性机械臂虚拟试验平台;柔性机械臂虚拟试验平台包括柔性机械臂虚拟实体、柔性机械臂虚拟实体运动控制模块和应用控制模块,实施例1中已经对两者进行了详细解释。同时,为了实现对柔性机械臂物理实体和虚拟实体的同步控制,应用控制模块利用柔性机械臂末端定位控制算法或/和臂形控制算法或/和柔性臂轨迹控制算法等,依据接收的操作请求,结合与柔性机械臂虚拟实体相关的当前时刻仿真数据,生成下一时刻目标定位信息。应用控制模块将目标定位信息发送给柔性机械臂虚拟实体运动控制模块,由其结合柔性机械臂虚拟实体当前时刻定位信息,可以确定各模型物理属性变化量,并将其作为柔性机械臂虚拟实体下一时刻的驱动信号,进而实现对柔性机械臂虚拟实体的控制。运动控制模块,同时将驱动信号中与物理实体相匹配的物理属性部分(例如驱动丝线长变化量)发送给柔性机械臂物理实体中与驱动电机电连接的电机驱动系统;电机驱动系统依据接收的驱动信号,生成驱动电机的控制指令(即依据驱动丝线长变化量确定驱动电机转速和运行时间),并发送给相应的驱动电机执行,通过控制驱动丝移动,控制柔性机械臂到达目标位置,进而完成对柔性机械臂物理实体的运动控制。
三维显示模块,用于实时显示柔性机械臂虚拟实体三维图像。
三维显示模块包括一个以上的显示单元,每个显示单元关联不同信息,从而可以实现从(不同工作空间)角度呈现柔性机械臂物理实体运动情况,提升柔性机械臂虚拟实体操控的真实性、临场感,如图5示。例如,当显示单元与柔性机械臂虚拟实体各万向节位置信息关联时,显示单元可以显示与柔性机械臂物理实体本体空间相对应的三维图像,显示单元还可以显示三维图像在XY平面或XZ平面或YZ平面方向上投影图;当现实单元与柔性机械臂末端位姿信息关联时,显示单元可以显示柔性机械臂末端轨迹图像,等。
因此,可以将操作指令输入柔性机械臂物理实体的电机控制系统,然后利用上述柔性机械臂数字孪生系统,通过柔性机械臂虚拟实体进行实时同步显示;也可以将预设的(目标状态)输入至应用控制模块,利用上述柔性机械臂数字孪生系统,对柔性机械臂物理实体进行控制,并通过三维显示模块实时展示柔性机械臂虚拟实体同步运动情况。
例如,基于柔性机械臂虚拟实体历史仿真数据得到的柔性机械臂末端位置运动数据及其误差和柔性机械臂驱动线线长变化量数据,如图6及图7所示,该数据在说明柔性机械臂运动过程的数据可视化同时,也从误差曲线上可以看出柔性机械臂虚拟实体与物理实体之间的一致性和高仿真性。
上述柔性机械臂数字孪生系统,基于构建的柔性机械臂虚拟实体,利用数字孪生技术,建立柔性机械臂物理实体和虚拟实体一起面向应用服务的高同步连接;能够实现柔性机械臂虚拟实体的实时三维状态显示。且柔性机械臂虚拟实体具有与物理实体相同的物理属性,能够真实且准确地反映柔性机械臂的运动状态。而且,柔性机械臂借助数字孪生技术,不仅能够让虚拟实体充分反映物理实体,还能做到运动数据与指令的发送,以达到虚拟实体控制物理实体的目标。
以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种柔性机械臂虚拟试验平台,其特征在于,包括与柔性机械臂物理实体匹配的柔性机械臂虚拟实体、应用控制模块和运动控制模块:
所述柔性机械臂物理实体包括经连接体连接在一起的一段以上的柔性臂及位于末端的末端关节,每段柔性臂结构相同,均包括顺次串联的若干万向节和将若干万向节连接在一起的一根以上的驱动丝;所述柔性机械臂虚拟实体包括与柔性机械臂物理实体中万向节数量和位置匹配的万向节模型、连接体模型、驱动丝模型,还包括相邻两个万向节之间水平转轴模型或垂直转轴模型;各万向节模型、连接体模型、水平转轴模型、垂直转轴模型和驱动丝模型均配置与柔性机械臂物理实体相匹配的物理属性;
应用控制模块,用于依据接收的外部操作请求,结合柔性机械臂虚拟实体当前时刻仿真数据,基于嵌入的运动控制算法生成柔性机械臂虚拟实体下一时刻目标定位信息,并将目标定位信息发送给柔性机械臂虚拟实体运动控制模块;
运动控制模块;用于依据接收的下一时刻目标定位信息,结合柔性机械臂虚拟实体当前时刻定位信息,确定各模型物理属性变化量,并将其作为驱动信号实现对柔性机械臂虚拟实体运动控制。
2.根据权利要求1所述的柔性机械臂虚拟试验平台,其特征在于,柔性机械臂物理实体包括经连接体连接在一起的柔性臂第一段、柔性臂第二段以及穿过柔性臂第一段和柔性臂第二段的弹性支撑体;柔性臂第一段和柔性臂第二段结构相同,均包括若干万向节和将若干万向节串联在一起的驱动丝;相邻两个万向节之间通过虎克铰链方式连接;柔性臂第一段中驱动丝一端穿过基座与相应驱动电机相连,另一端与连接体固连;柔性臂第二段中驱动丝一端穿过基座与相应驱动电机相连,另一端与末端关节固连。
3.根据权利要求2所述的柔性机械臂虚拟试验平台,其特征在于,柔性机械臂虚拟实体包括与柔性机械臂物理实体中万向节数量和位置匹配的万向节模型、连接体模型、基座模型、末端关节模型、驱动丝模型;还包括若干水平转轴模型和垂直转轴模型;所述水平转轴或垂直转轴设置于相邻两个万向节模型之间、基座模型与相邻万向节模型之间、连接体模型两端与相邻万向节模型之间以及末端关节模型与相邻的万向节模型之间,水平转轴模型和垂直转轴模型相互垂直且交替排布;并对柔性机械臂虚拟实体各模型均配置与柔性机械臂物理实体相匹配的物理属性。
4.根据权利要求1所述的柔性机械臂虚拟试验平台,其特征在于,所述应用控制模块用于依据接收到的操作请求,结合柔性机械臂虚拟实体当前时刻仿真数据,应用嵌入的柔性机械臂末端定位控制算法或/和臂形控制算法或/和柔性臂轨迹控制算法,对柔性机械臂虚拟实体下一时刻进行定位。
5.一种柔性机械臂数字孪生系统,其特征在于,包括:
柔性机械臂物理实体;
多传感器采集系统,与柔性机械臂物理实体连接,用于对柔性机械臂物理实体行为信息和状态信息进行实时采集;
物理数据处理模块,与多传感器采集系统通信连接,用于依据多传感器采集系统采集的行为信息和状态信息,结合柔性机械臂物理实体历史物理数据,得到与柔性机械臂物理实体相关的当前时刻物理数据,并对历史物理数据进行更新;
仿真数据处理模块,与物理数据处理模块通信连接,用于依据其得到的与柔性机械臂物理实体相关的物理数据,结合柔性机械臂虚拟实体历史仿真数据,得到与柔性机械臂虚拟实体相关的当前时刻仿真数据,并对历史仿真数据进行更新同步;
权利要求1至4任一项所述的柔性机械臂虚拟试验平台;所述柔性机械臂虚拟试验平台包括柔性机械臂虚拟实体、应用控制模块和运动控制模块;所述应用控制模块用于依据接收的操作请求,结合柔性机械臂虚拟实体当前时刻仿真数据,基于嵌入的运动控制算法生成柔性机械臂虚拟实体生成下一时刻目标定位信息;并将目标定位信息发送给运动控制模块;所述运动控制模块用于依据接收的下一时刻目标定位信息,结合柔性机械臂虚拟实体当前时刻定位信息,确定各模型物理属性变化量,并将其作为驱动信号实现对柔性机械臂虚拟实体运动控制;同时运动控制模块将驱动信号发送给柔性机械臂物理实体,实现对柔性机械臂虚拟实体运动控制;
三维显示模块,用于实时显示柔性机械臂虚拟实体三维图像。
6.根据权利要求5所述的柔性机械臂数字孪生系统,其特征在于,多传感器采集系统所采集的行为信息包括驱动电机转速;采集的状态信息包括柔性机械臂末端位姿信息、臂形变量;为了采集上述行为信息和状态信息,所述多传感器采集系统包括电机编码器、末端位姿传感器、FBG传感器。
7.根据权利要求5所述的柔性机械臂数字孪生系统,其特征在于,物理数据处理模块得到的与柔性机械臂物理实体相关的物理数据包括臂形变量、末端位姿、驱动电机转速、驱动丝线长、驱动丝线长变化量、相邻万向节转动角度、万向节重量。
8.根据权利要求5所述的柔性机械臂数字孪生系统,其特征在于,仿真数据处理模块得到的与柔性机械臂虚拟实体相关的仿真数据包括臂形变量、各万向节模型物理属性、连接体模型物理属性、末端关节物理属性、驱动丝模型物理属性、水平转轴模型和垂直转轴模型物理属性。
9.根据权利要求5所述的柔性机械臂数字孪生系统,其特征在于,应用控制模块生成的目标定位信息包括柔性机械臂臂形或/和末端位姿信息。
CN202211284107.4A 2022-10-20 2022-10-20 柔性机械臂虚拟试验平台和数字孪生系统 Active CN115533913B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211284107.4A CN115533913B (zh) 2022-10-20 2022-10-20 柔性机械臂虚拟试验平台和数字孪生系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211284107.4A CN115533913B (zh) 2022-10-20 2022-10-20 柔性机械臂虚拟试验平台和数字孪生系统

Publications (2)

Publication Number Publication Date
CN115533913A true CN115533913A (zh) 2022-12-30
CN115533913B CN115533913B (zh) 2024-05-17

Family

ID=84735207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211284107.4A Active CN115533913B (zh) 2022-10-20 2022-10-20 柔性机械臂虚拟试验平台和数字孪生系统

Country Status (1)

Country Link
CN (1) CN115533913B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3059738A1 (en) * 2013-10-18 2016-08-24 CGNPC Inspection Technology Co., Ltd. Intelligent testing method of nondestructive robot testing based on virtual reality technology
CN106041912A (zh) * 2016-06-16 2016-10-26 深圳先进技术研究院 主从式蛇形机器人系统及其位置控制方法
WO2016176340A2 (en) * 2015-04-27 2016-11-03 Regents Of The University Of Minnesota Soft robots, soft actuators, and methods for making the same
CN106777736A (zh) * 2016-12-27 2017-05-31 浙江大学 用于绳驱动冗余机械臂运动学模型的仿真平台及仿真方法
US20180178397A1 (en) * 2016-12-27 2018-06-28 Institut De Recherche Technologique Jules Verne Reconfigurable moble cable robot
CN109933035A (zh) * 2019-04-24 2019-06-25 中国科学院重庆绿色智能技术研究院 一种基于数字孪生的生产线控制系统、方法及生产系统
CN111381515A (zh) * 2020-01-20 2020-07-07 兰州理工大学 基于数字孪生五维模型的软体机器人或驱动器系统及其建模方法
CN112894820A (zh) * 2021-01-29 2021-06-04 清华大学深圳国际研究生院 柔性机械臂遥操作人机交互装置及系统
CN114378829A (zh) * 2022-01-30 2022-04-22 四川大学 一种gis水平腔体检修机器人及gis水平腔体检修系统
CN114474147A (zh) * 2022-01-30 2022-05-13 四川大学 可实现快速装配的柔性臂机构及gis检修机器人
CN114839880A (zh) * 2022-06-02 2022-08-02 淮阴工学院 一种基于柔性关节机械臂的自适应控制方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3059738A1 (en) * 2013-10-18 2016-08-24 CGNPC Inspection Technology Co., Ltd. Intelligent testing method of nondestructive robot testing based on virtual reality technology
WO2016176340A2 (en) * 2015-04-27 2016-11-03 Regents Of The University Of Minnesota Soft robots, soft actuators, and methods for making the same
CN106041912A (zh) * 2016-06-16 2016-10-26 深圳先进技术研究院 主从式蛇形机器人系统及其位置控制方法
CN106777736A (zh) * 2016-12-27 2017-05-31 浙江大学 用于绳驱动冗余机械臂运动学模型的仿真平台及仿真方法
US20180178397A1 (en) * 2016-12-27 2018-06-28 Institut De Recherche Technologique Jules Verne Reconfigurable moble cable robot
CN109933035A (zh) * 2019-04-24 2019-06-25 中国科学院重庆绿色智能技术研究院 一种基于数字孪生的生产线控制系统、方法及生产系统
CN111381515A (zh) * 2020-01-20 2020-07-07 兰州理工大学 基于数字孪生五维模型的软体机器人或驱动器系统及其建模方法
CN112894820A (zh) * 2021-01-29 2021-06-04 清华大学深圳国际研究生院 柔性机械臂遥操作人机交互装置及系统
CN114378829A (zh) * 2022-01-30 2022-04-22 四川大学 一种gis水平腔体检修机器人及gis水平腔体检修系统
CN114474147A (zh) * 2022-01-30 2022-05-13 四川大学 可实现快速装配的柔性臂机构及gis检修机器人
CN114839880A (zh) * 2022-06-02 2022-08-02 淮阴工学院 一种基于柔性关节机械臂的自适应控制方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HONGYI LIU: "Remote human-robot collaboration:A cyber-physical system application for hazard manufacturing environment", 《JOURNAL OF MANUFACTURING SYSTEMS》, 31 January 2020 (2020-01-31) *
KAI JUNGE: "Soft sensorized Physical Twin for Harvesting Raspberries", 《2022 IEEE 5TH INTERNATIONAL CONFERENCE ON SOFT ROBOTICS》, 28 April 2022 (2022-04-28) *
张月领: "基于解耦双通道线性自抗扰控制的连续型机械臂轨迹跟踪策略", 《空间控制技术与应用》, 15 October 2020 (2020-10-15) *
谷海宇: "绳驱动连续型冗余自由度机器人控制研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, 15 February 2018 (2018-02-15) *

Also Published As

Publication number Publication date
CN115533913B (zh) 2024-05-17

Similar Documents

Publication Publication Date Title
CN107901039B (zh) 基于Python的桌面级机器人离线编程仿真系统
CN110039547B (zh) 一种柔性机械臂遥操作的人机交互终端及方法
CN107544299B (zh) 用于六自由度机械臂示教控制的pc端app系统
CN110154024B (zh) 一种基于长短期记忆神经网络增量模型的装配控制方法
CN111438673A (zh) 基于立体视觉和手势控制的高空作业遥操作方法及系统
CN114102590B (zh) 一种工业机器人仿真方法、系统及应用
CN110039561A (zh) 基于点云的带电作业机器人遥操作人员培训系统及方法
He et al. Kinematics analysis and numerical simulation of a manipulator based on virtual prototyping
CN111590899B (zh) 用于机械臂3d打印的视觉辅助定位装置及其定位方法
CN115469576A (zh) 一种基于人-机械臂异构运动空间混合映射的遥操作系统
CN115319748A (zh) 一种关节机器人的数字孪生系统及方法
CN110421558B (zh) 面向配电网作业机器人的通用型遥操作系统及方法
CN112045664A (zh) 一种基于ros系统的通用机械臂控制器
CN115533913B (zh) 柔性机械臂虚拟试验平台和数字孪生系统
CN115703227A (zh) 机器人的控制方法、机器人以及计算机可读存储介质
CN204525481U (zh) 一种无动力关节臂式示教器
JPH09153151A (ja) 3次元骨格構造の動き生成装置
CN104760044B (zh) 一种无动力关节臂式示教器及其在工业机器人中的应用
CN116125906A (zh) 一种数控加工的运动规划方法、装置、设备和存储介质
Sousa et al. Computed torque posture control for robotic-assisted tele-echography
CN115284247A (zh) 一种基于异构主手的带电作业机器人主从遥操方法及系统
CN114756130A (zh) 一种手部虚实交互系统
JPH08221599A (ja) 3次元の動き生成および解析方法
CN110919639A (zh) 一种关节式示教臂及基于该示教臂的示教方法
CN113836745B (zh) 一种用于智能巡检装置的仿真系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant