CN109602499B - 一种眼科显微手术辅助双臂机器人操作系统 - Google Patents
一种眼科显微手术辅助双臂机器人操作系统 Download PDFInfo
- Publication number
- CN109602499B CN109602499B CN201811489310.9A CN201811489310A CN109602499B CN 109602499 B CN109602499 B CN 109602499B CN 201811489310 A CN201811489310 A CN 201811489310A CN 109602499 B CN109602499 B CN 109602499B
- Authority
- CN
- China
- Prior art keywords
- guide rail
- linear guide
- cantilever
- module
- arm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/37—Master-slave robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Robotics (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Manipulator (AREA)
Abstract
一种眼科显微手术辅助双臂机器人操作系统,它涉及一种双臂机器人操作系统。本发明为了解决现有的手术器械需要从巩膜刺入点刺入患者的眼球内部时,存在手术操作的精准度和稳定性差的问题。本发明的主手术台位于双操作臂机器人之间,且主手术台的下部与双操作臂机器人的基座连接为一体,3D视频显微装置吊装在双操作臂机器人中间部位的上方,脚踏切换开关通过柔性线缆和拖链与3D视频显微装置和双操作臂机器人连接;双操作臂机器人包括主操作臂和副操作臂,主操作臂和副操作臂对称布置。通过物理交互认知技术和自主规划技术实现机器人摇杆操作、自主操作、手持操作三种作业模式,通过对各作业方式的优化配置来实现。本发明用于眼底显微手术。
Description
技术领域
本发明涉及一种双臂机器人操作系统,具体涉及一种眼科显微手术辅助双臂机器人操作系统。
背景技术
在传统的眼科显微手术中,主刀医生通过手持眼科器械在显微镜下完成相应的精细操作,由于眼球的体积较小、眼球组织构造精细且脆弱,所以,眼科显微手术要求医生有着极高的手眼协调能力和对精细操作的感知能力。较高的手术难度使得患者容易因术中的微小创伤产生术后并发症,其中,对眼球内的组织如晶状体后囊膜、角膜内皮、晶状体悬韧带、视网膜黄斑区等精细构造处的操作一旦出现错误,甚至会对患者视力造成无法弥补的医源性伤害。
近年来,随着医疗机器人的快速发展,医疗机器人相对于人的高精确度、高稳定性等特点,为患者提供了更加安全高效的手术解决方案。但是,由于人眼视力有限,操纵手术刀精确移动范围有限,况且手持手术刀时,人手不可抑制的生理震颤造成眼科显微手术精准度稳定性变差。因此,现有的手术器械需要从巩膜刺入点刺入患者的眼球内部时,存在手术操作的精准度和稳定性差的问题。
发明内容
本发明的目的是为了解决现有的手术器械需要从巩膜刺入点刺入患者的眼球内部时,存在手术操作的精准度和稳定性差的问题。通过交互力信息实现机器人对医生意图的理解以及对意外碰撞的辨识,从而在高质完成眼科手术微米级精准操作的同时,实现手术的高效性和安全性。最终提供一种眼科显微手术辅助双臂机器人操作系统。
本发明的技术方案是:通过物理交互认知技术和自主规划技术实现机器人摇杆操作、自主操作、手持操作三种作业模式,通过对各作业方式的优化配置来实现。一种人机协作型眼科显微手术辅助机器人系统操作方法作业方式,包括以下操作步骤:
步骤一:粗摆位阶段—手持操作模式;
在眼科显微手术的粗摆位阶段,采用手持模式手动拖动双操作臂机器人的末端执行器,通过六维力传感器感知力的方向,控制双操作臂机器人移动,实现对手术末端执行器的粗略位姿调整;
步骤二:精摆位阶段—摇杆操作模式;
踩下脚踏切换开关,借助3D显微装置,利用主刀医生控制面板上的摇杆,使手术注射器进入患者眼部巩膜上的孔膜中,并在副操作臂上的光源的照明下进行手术注射器的姿态调整,对准病灶的位置;
步骤三:药物注射—自主操作和摇杆操作模式;
手术执行器直线导轨模块动作,使得手术注射器依次穿过巩膜、脉络膜、房水,到达视网膜上血管处,借助自主模式下的基于FBG光纤光栅的微力传感器,监测出手术注射器已插入血管内,进而完成药物的注射,最后收回手术注射器,进行相应的手术后期处理,至此完成眼科显微手术辅助双臂机器人系统的手术。
本发明与现有技术相比具有以下效果:
1、本发明基于3D视频显微和实时传输技术,改善了既往显微镜操作模式下对医生的约束,便于显微手术机器人系统实现多种手术的共享操作,拓展了眼科手术中的远程指导和实时手术直播教学功能;通过对双臂机器人的合理构型和相应控制机理的综合创成,实现对眼科显微手术机器人的精准定位和人机协作性能,消除了人的生理极限对眼科手术术式的限制,拓展治疗手段;基于人与机器人深度融合的人机协作理念,设计机器人通过自主、手持、摇杆操作三种工作模式实现物理交互引导下的高效人机协同机制。
2、本发明的操作步骤简单,快捷,在物理交互的引导下实现自主、手持、摇杆模式的无缝衔接,从而精确高效地完成眼科显微手术,并保证手术质量的一致性。采用物理交互的方式完成手术,即在手术中由医生主导,机器通过自身传感装置感受医生需求,精准快速的将手术执行器移动至需要位置,辅助医生完成手术。
附图说明
图1是主操作臂或副操作臂的立体结构示意图。图2是图1的主视图;图3是去掉基座后的整体结构示意图(其中的连杆组件采用了不同于具体实施方式一中的延长杆和支撑杆形状);图4是悬臂旋转模块1、连杆组件2和末端执行器组件3组装在一起的结构示意图;图5是X轴直线导轨模块B的结构示意图。图6是本发明使用状态一的结构示意图;图7是本发明使用状态二的结构示意图。图8是基于人机协作的眼科显微手术机器人系统带副操作台的结构示意图。
具体实施方式
具体实施方式一:结合图1至图7说明本实施方式,本实施方式的操作方法所针对的是一种眼科显微手术辅助双臂机器人系统,该双臂机器人系统包括主手术台6,主手术台6安装在工作台上,它还包括3D视频显微装置7、双操作臂机器人8和脚踏切换开关9,主手术台6位于双操作臂机器人8之间,且主手术台6的下部与双操作臂机器人8的基座连接为一体,3D视频显微装置7吊装在双操作臂机器人8中间部位的上方,脚踏切换开关9通过柔性线缆和拖链与3D视频显微装置7和双操作臂机器人8连接;双操作臂机器人8包括主操作臂和副操作臂,主操作臂和副操作臂对称布置;主操作臂包括悬臂旋转模块1、连杆组件2、末端执行器组件3、基座A、X轴直线导轨模块B、Y轴直线导轨模块C和Z轴直线导轨模块D,X轴直线导轨模块B水平安装在基座A上,Y轴直线导轨模块C安装在X轴直线导轨模块B上,Z轴直线导轨模块D安装在Y轴直线导轨模块C上,悬臂旋转模块1安装在Z轴直线导轨模块D上,连杆组件2安装在悬臂旋转模块1上,末端执行器组件3安装在连杆组件2上;末端执行器组件3包括末端基座3-1、六维力传感器3-2、末端执行器直线导轨模块3-3、手术注射器3-4和基于FBG光纤光栅微力传感器3-5,末端基座3-1与单自由度的平行四边形连杆机构的另一侧侧端面进行铰接,末端执行器直线导轨模块3-3安装在末端基座3-1上,六维力传感器3-2安装在末端基座3-1和末端执行器直线导轨模块3-3之间,手术注射器3-4与末端执行器直线导轨模块3-3上的滑块固接,基于FBG光纤光栅微力传感器3-5安装在手术注射器3-4上,手术注射器3-4尖端的延长线与悬臂1-3中心轴的延长线的交点形成RCM点;
副操作臂包括悬臂旋转模块1、连杆组件2、末端执行器组件3、基座A、X轴直线导轨模块B、Y轴直线导轨模块C和Z轴直线导轨模块D,X轴直线导轨模块B水平安装在基座A上,Y轴直线导轨模块C安装在X轴直线导轨模块B上,Z轴直线导轨模块D安装在Y轴直线导轨模块C上,悬臂旋转模块1安装在Z轴直线导轨模块D上,连杆组件2安装在悬臂旋转模块1上,末端执行器组件3安装在连杆组件2上;末端执行器组件3包括末端基座3-1、六维力传感器3-2、末端执行器直线导轨模块3-3和照射光源3-6,末端基座3-1与单自由度的平行四边形连杆机构的另一侧侧端面进行铰接,末端执行器直线导轨模块3-3安装在末端基座3-1上,六维力传感器3-2安装在末端基座3-1和末端执行器直线导轨模块3-3之间,照射光源3-6与末端执行器直线导轨模块3-3上的滑块连接。
本实施方式的主操作臂和副操作臂的悬臂旋转模块1包括旋转模块1-1、悬臂基座1-2、悬臂1-3、悬臂直线导轨模块1-4、悬臂滑块1-5、悬臂滑块连接件1-6和旋转模块外壳1-7,连杆组件2包括驱动杆2-1和单自由度的平行四边形连杆机构;悬臂基座1-2的一端与外置移动装置连接,悬臂基座1-2的另一端与旋转模块1-1连接,悬臂1-3与旋转模块1-1连接,悬臂直线导轨模块1-4安装在悬臂1-3内,悬臂滑块1-5滑动安装在悬臂直线导轨模块1-4上,悬臂滑块连接件1-6安装在悬臂滑块1-5上,旋转模块外壳1-7罩在旋转模块1-1和悬臂基座1-2上;驱动杆2-1的一端铰接在悬臂滑块连接件1-6上,单自由度的平行四边形连杆机构的底部铰接在悬臂1-3的另一端上,驱动杆2-1的另一端与单自由度的平行四边形连杆机构的一侧侧端面进行连接。
本实施方式的悬臂旋转模块1中,悬臂基座1-2被加工为两个呈30°的法兰盘的组合体,悬臂基座1-2的一端与外置移动装置相连,悬臂基座1-2的另一端与旋转模块1-1固连;能够便于悬臂基座1-2进行全方位的转动,保证末端执行器组件3的动作的位置灵活性。
本实施方式的旋转模块外壳1-7固定在悬臂基座1-2上,对旋转模块1-1起到保护作用。
本实施方式的悬臂直线导轨模块1-4上的悬臂滑块连接件1-6的底部与悬臂滑块1-5固连,同时在上部被加工出通孔,实现与连杆组件2的驱动杆1-1铰接。
本实施方式的末端执行器组件3的末端基座3-1与第一、第二末端支撑杆的末端孔铰接,实际起到了固连的作用。
本实施方式的基于FBG光纤光栅微力传感器3-5则布置在手术注射器3-4针头末端,能够感知手术注射器3-4的微量力变化,使得手术更加精准。
本发明通过在加工中调整悬臂基座1-2的夹角,使得悬臂1-3在初始位置便与水平面有一夹角;悬臂1-3能够绕悬臂轴线旋转,从而带动末端执行器的旋转;借助悬臂直线导轨模块1-4和连杆组件2,则能够对末端执行器的俯仰角进行±45°的调整;连杆组件2采用平行四边形的结构设计,能够使得连杆组件2末端搭载的手术注射器3-4尖端的延长线与悬臂中心轴的延长线的交点形成RCM(不动点),使得在悬臂直线导轨模块1-4动作带动末端执行器的俯仰角变化时,RCM位置不发生改变,同时,由于RCM同时位于悬臂1-3的轴线上,使得RCM的位置在悬臂1-3旋转时也不产生变化;末端执行器直线导轨模块3-3,则能够使手术注射器完成插入眼球内部的操作。
本实施方式的面向眼底视网膜显微手术的机器人操作臂能够高质量、高效率、高可靠性地完成眼底视网膜显微手术,极大地提高了手术效果的一致性;通过对机器人操作臂的合理构型和相应控制机理的综合创成,面向眼底视网膜显微手术的机器人操作臂提高了手术操作的精准度和稳定性,增大了器械运动范围,消除了人工手术不可避免的生理颤抖,使原来的眼内手术操作更加安全和稳定,提高了手术的成功率,拓展了治疗手段。
本实施方式的Y轴直线导轨模块水平放置,底部与X轴直线导轨的滑块连接,能够在X轴直线导轨模块驱动下沿X轴直线移动;Z轴直线导轨模块垂直放置,导轨末端与Y轴直线导轨模块的滑块连接,能够在Y轴直线导轨模块驱动下沿Y轴直线移动;Y轴直线导轨模块和Z轴直线导轨模块同样都安装有3个光电开关和1个增量式光栅尺,结构与X轴直线导轨模块类似。
本实施方式的主手术台平放在工作台上,下部与双操作臂机器人的基座连为一体,底部设置为中空形式,方便双操作臂机器人的走线。副操作台上布置PC主控计算机,方便助手在眼科显微手术中进行实时监控,保障手术的安全高效完成。
本实施方式的双操作臂机器人分开布置在主手术台6台头的两侧,X轴直线导轨模块通过螺栓与机器人基座连接,机器人基座通过空心立柱与手术台连接,方便双操作臂机器人的走线,Y轴直线导轨模块与X轴直线导轨模块连接,能够实现在沿X轴直线导轨上的精确移动;Z轴直线导轨模块与Y轴直线导轨模块连接,能够实现在沿Y轴直线导轨上的精确移动;悬臂旋转模块则与Z轴直线导轨模块连接,既能够实现沿Z轴直线导轨上的精确移动,也能实现绕悬臂旋转模块轴线的旋转;悬臂直线导轨模块安装在悬臂旋转模块的伸出轴上,使得悬臂直线导轨模块上的滑块铰接的推拉杆带动连杆模块的运动,最终实现对末端手术注射器的俯仰角调整;六维力传感器的一端固定在连杆模块的末端,一端与手术执行器直线导轨模块连接,能够感知在拖动末端执行器时各个方向的力或力矩的大小;手术注射器搭载在手术执行器直线导轨上,使得手术注射器沿导轨方向直线运动,完成眼科显微手术中的插入动作;FBG光纤光栅微力传感器搭载在手术注射器上,能够测量出注射器与眼部精细组织接触时的细微力的变化;副操作臂布置在主操作臂的另一侧,机械结构与主机械臂基本相同,区别在于末端则搭载光源,通过对光源的位姿的调整能够实现对眼部区域的精确照明。双操作臂机械臂机器人具有12个自由度,分别由10个直线导轨模块与2个悬臂旋转模块组成。所有直线导轨模块分别搭载增量式光栅尺1个,布置在导轨两端和中间部位的光电开关3个,实现对导轨处滑块位置的精确控制。为精确控制旋转角度,悬臂旋转模块也配备有绝对值编码器以实时监控旋转过的角度。双操作臂机器人在保证精密、可靠地机械结构的同时具有12个自由度,极大地提高了眼科显微手术机器人的灵活性,其中根据手术的不同需要,末端可以搭载不同的手术执行器以完成相应的手术任务。
结合图8,本实施方式还包括副操作台10,副操作台10安装在主手术台2的一侧,辅助医生进行手术。
具体实施方式二:结合图4说明本实施方式,本实施方式的旋转模块1-1包括电机、传动装置、蜗杆和蜗轮,电机的输出端与传动装置连接,传动装置的输出端与蜗轮连接,蜗杆安装在悬臂1-3的里侧,且蜗杆与蜗轮啮合。实际使用时,旋转模块1-1的厂家为Parker生产的R150M。如此设置,带动整个悬臂1-3绕悬臂轴线的旋转;连接方式简单,可靠,其它组成及连接关系与具体实施方式一相同。
具体实施方式三:结合图1说明本实施方式,本实施方式的悬臂直线导轨模块1-4采用的型号为KK40-01P-150A-F2ES2(PNP)。如此设置,行程大,便于生产制造,成本低。其它组成及连接关系与具体实施方式一或二相同。
具体实施方式四:结合图1至图4说明本实施方式,本实施方式的悬臂旋转模块1还包括悬臂增量式光栅尺和多个悬臂光电开关,悬臂增量式光栅尺和多个悬臂光电开关安装在旋转模块1-1上,其中悬臂增量式光栅尺沿旋转模块1-1的长度方向安装在旋转模块1-1的一侧端面上,多个悬臂光电开关对称安装旋转模块1-1的长度方向的两端侧端面上。如此设置,检测更加准确。其它组成及连接关系与具体实施方式一、二或三相同。
本实施方式在开始零点校正时,直线导轨在电机驱动下先向一端运动,在到达初始端处时被光电开关检测到,停止电机运动,滑块停止;之后电机反转,手动调整,运动到零点位置时,电机停止旋转,这时记录光栅尺上的脉冲数,推导出滑块运动的直线距离,以后在每次工作前都可以先让电机旋转至初始端,在光电开关作用下停止,之后根据光栅尺记录数据直接驱动电机转动相应圈数,到达标定位置即可。同理,借助高精度的光栅尺,各个直线导轨都能够精确移动。
具体实施方式五:结合图4说明本实施方式,本实施方式的驱动杆2-1为实心驱动杆,驱动杆2-1的两端均为拔叉状。如此设置,保证了驱动杆2-1的机械强度;驱动杆2-1拨叉状的两端被开通孔,分别与悬臂滑块连接件1-6与第一中间延长杆2-2铰接。其它组成及连接关系与具体实施方式一、二、三或四相同。
具体实施方式六:结合图4说明本实施方式,本实施方式的单自由度的平行四边形连杆机构包括第一中间延长杆2-2、第二中间延长杆2-3、第一末端支撑杆2-4和第二末端支撑杆2-5,第一中间延长杆2-2的下端和第二中间延长杆2-3的下端铰接在悬臂1-3的另一端,其中第一中间延长杆2-2的侧端面与驱动杆2-1铰接,第一末端支撑杆2-4的一端和第二末端支撑杆2-5的一端与第一中间延长杆2-2的上端和第二中间延长杆2-3的上端铰接,第一末端支撑杆2-4的另一端和第二末端支撑杆2-5的另一端与末端基座3-1连接。RCM确定简单,一次校正后直接使用,驱动装置便于配置。其它组成及连接关系与具体实施方式一、二、三、四或五相同。
本实施方式的单自由度的平行四边形连杆机构为双平行四边形的四杆机构。其中第一中间延长杆2-2、第二中间延长杆2-3、第一末端支撑杆2-4和第二末端支撑杆2-5均为双平行连杆,两根平行杆之间通过杆件连接。
本实施方式的第一中间延长杆2-2与第二中间延长杆2-3结构类似,长度相同,都存在三个相同对应位置处的铰接点,分别与悬臂1-3、第一末端支撑杆2-4、第二末端支撑杆2-5铰接,区别在于第一中间延长杆2-2增加了一个与驱动杆2-1连接的铰接孔;第一末端支撑杆2-4与第二末端支撑杆2-5结构类似,长度相同,除了与第一中间延长杆2-2和第二中间延长杆2-3的铰接点外增加了一个末端的铰接点;第一、第二中间延长杆与第一、第二末端支撑杆连同末端基座3-1,构成单自由度的平行四边形连杆机构,平行四边形机构随驱动杆2-1动作,实现对末端基座3-1上的手术注射器3-4的俯仰角控制;所述俯仰角的控制角度为±45°。
杆组件2采用平行四边形的结构设计,能够使得连杆组件2末端搭载的手术注射器3-7尖端的延长线与悬臂1-3中心轴的延长线的交点形成RCM(不动点),对眼球的创伤最小,只有这一点的伤口,实现微创。
具体实施方式七:结合图4说明本实施方式,本实施方式的单自由度的平行四边形连杆机构还包括多个自润滑轴套2-6,第一中间延长杆2-2、第二中间延长杆2-3、第一末端支撑杆2-4和第二末端支撑杆2-5的铰接处分别通过一个自润滑轴套2-6进行铰接。如此设置,连杆组件2的铰接点处通过自润滑轴套2-6连接,既保证了铰接点处的无缝装配,又保证了个杆件间的平滑转动。其它组成及连接关系与具体实施方式一、二、三、四、五或六相同。
具体实施方式八:结合图1至图4说明本实施方式,本实施方式的末端执行器直线导轨模块3-3的型号为KC30-01P-100A-F2ES2(PNP)。成本低廉。其它组成及连接关系与具体实施方式一、二、三、四、五、六或七相同。
具体实施方式九:结合图4说明本实施方式,本实施方式的基于FBG光纤光栅微力传感器3-5安装在手术注射器3-4的针头末端。FBG光纤光栅的谐振波长对应力应变和温度的变化敏感,所以主要用于温度和应力应变的测量。这种传感器是通过外界参量(温度或应力应变)对Bragg光纤光栅的中心波长调制来获得传感信息的。因此,传感器灵敏度高,抗干扰能力强,对光源能量和稳定性要求低,适合作精密、精确测量。其它组成及连接关系与具体实施方式一、二、三、四、五、六、七或八相同。
具体实施方式十:结合图4说明本实施方式,本实施方式的末端执行器组件3还包括末端增量式光栅尺和多个末端光电开关,末端增量式光栅尺和多个末端光电开关安装在执行器直线导轨模块3-3上,其型号为KC30-01P-100A-F2ES2(PNP)。如此设置,记录手术注射器3-4尖端与悬臂1-3轴线延长线的RCM位置,完成对RCM点的校准。同时,还能够检测出手术注射器3-4是否已插入视网膜血管,并在插入血管后停止机器人操作臂的动作,保障患者安全的同时能够将药物精确注入血管。其它组成及连接关系与具体实施方式一、二、三、四、五、六、七、八或九相同。
具体实施方式十一:结合图1至2说明本实施方式,本实施方式的基座A包括杆状部分A-1、弯头部分A-2和平台部分A-3,杆状部分A-1水平设置,平台部分A-3水平设置在杆状部分A-1的一端,杆状部分A-1和平台部分A-3之间通过弯头部分A-2连接。如此设置,使得悬臂旋转模块1、连杆组件2和末端执行器组件3的位置调整更加灵活,而且活动空间大,其它组成及连接关系与具体实施方式一、二、三、四、五、六、七、八、九或十相同。
本实施方式的杆状部分可与相应眼科显微手术手术台或医用吊柱连接,拓展了手术的操作空间;平台部分通过螺钉螺母与X轴直线导轨模块连接。
具体实施方式十二:结合图5说明本实施方式,本实施方式的X轴直线导轨模块B包括X轴直线导轨B-1、滑块B-2、X轴增量光栅尺B-3和两个X轴光电开关B-4,X轴增量光栅尺B-3沿X轴直线导轨B-1长度方向安装在X轴直线导轨B-1的一侧端面上,两个X轴光电开关B-4沿X轴直线导轨B-1长度方向安装在X轴直线导轨B-1的另一侧端面两端,滑块B-2滑动安装在X轴直线导轨B-1上。
如此设置,X轴直线导轨模块B水平放置,底部固定在基座的平台部分上;Y轴直线导轨的一侧在起始位置和中间位置分别安装有光电开关,另一侧则安装有增量式光栅尺一个;直线导轨上的滑块上左右两侧相应位置金属座凸起的设计,用于安装光电开关和光栅尺的组件。利用光电开关,感知出滑块是否到达起始或中点位置,利用增量式光栅尺,则能够精确测量出滑块移动的位置信息;滑块通过合理设计高度,既保证了Y轴直线导轨模块的底座不与X轴直线导轨模块的外壳相接触,又保证了机器人操作臂的紧凑性。其它组成及连接关系与具体实施方式一、二、三、四、五、六、七、八、九、十或十一相同。
本发明是通过对双臂机器人的末端执行器直线导轨模块的拖动,借助六维力传感器感知力的方向、各个直线导轨模块上增量式光栅尺感知位置,通过对机器人操作臂的相应控制,实现手术注射器的大范围快速移动以及粗略位姿调整,借助配套的3D显微成像装置及机器人操作臂控制器,通过对悬臂旋转模块以及连杆组件的控制。实现对手术注射器进行精确的位姿调整;借助末端执行器直线导轨模块,实现手术注射器插入孔膜的操作,并对准病灶位置手术注射器直线运动。利用手术注射器上的基于FBG光纤光栅的微力传感器,则能够检测出注射器是否已插入视网膜血管,并在插入血管后停止机器人操作臂的动作,将药物注入血管中。
具体实施方式十三:结合图6和图7说明本实施方式,本实施方式的3D视频显微装置7包括第一医用吊柱7-1、医用显示器7-2、第二医用吊柱7-3、3D视频成像装置7-4和软管镜头7-5,第一医用吊柱7-1竖直吊装在室内上部空间屋顶,第二医用吊柱7-3通过第一医用吊柱7-1水平吊装,医用显示器7-2安装在第二医用吊柱7-3上,3D视频成像装置7-4通过第一医用吊柱7-1竖直吊装在主手术台6上方,软管镜头7-5与3D视频成像装置7-4连接。如此设置,便于为医生提供良好的图像参考,保证手术的准确性。其它组成及连接关系与具体实施方式一至十二任意一项相同。
具体实施方式十四:结合图1至图8说明本实施方式,本实施方式包括以下操作步骤:
步骤一:粗摆位阶段—手持操作;
在眼科显微手术的粗摆位阶段,采用手持模式手动拖动双操作臂机器人8的末端执行器,通过六维力传感器3-4感知力的方向,控制双操作臂机器人8移动,实现对手术末端执行器的粗略位姿调整;
步骤二:精摆位阶段—摇杆操作;
踩下脚踏切换开关9,借助3D显微装置,利用主刀医生控制面板上的摇杆,使手术注射器3-4进入患者眼部巩膜上的孔膜中,并在副操作臂4-2上的光源4-13的照明下进行手术注射器3-4的姿态调整,对准病灶的位置;
步骤三:药物注射—自主操作;
手术执行器直线导轨模块4-10动作,使得手术注射器3-4依次穿过巩膜、脉络膜、房水,到达视网膜上血管处,借助自主模式下的基于FBG光纤光栅的威力传感器4-11,监测出手术注射器3-4已插入血管内,进而完成药物的注射,最后收回手术注射器3-4,进行相应的手术后期处理,至此完成眼科显微手术辅助双臂机器人系统的手术。
具体实施方式十五:结合图1至图8说明本实施方式,本实施方式的步骤一中的粗摆位阶段具体包括以下内容:
第一点:在悬臂1-3的初始角度下,通过调整悬臂直线导轨模块1-4使得手术注射器3-4与患者瞳孔的中轴线呈65°;
第二点:对双操作臂机器人8的主操作臂进行标定。
具体实施方式十四:结合图6和图7说明本实施方式,本实施方式的步骤一中的第二点对双操作臂机器人8的主操作臂进行标定包括以下标定方法:
第一步:标定针4的安装;
将标定针4水平安装在悬臂旋转模块1的悬臂1-3的长度方向端部上;
第二步:手术注射器3-4的安装;
将手术注射器3-4安装在末端执行器直线导轨模块3-3上的滑块上;
第三步:调整手术注射器3-4与患者眼部的位置;
患者平躺,由医生调整悬臂直线导轨模块1-4,直至末端执行器组件3上的手术注射器3-4与患者瞳孔的中轴线呈60-70°;
第四步:RCM点的标定;
末端执行器直线导轨模块3-3带动手术注射器3-4由右下向左上方先运动,光电开关检测到滑块的接近信号时立即停止电机动作,之后电机反转,手术注射器3-4由左上向右下移动,检测到与标定针4接触后停止动作,记录光栅尺脉冲数,完成标定;
下一次再用时,无需再安装标定针4,仍为先移动到左上光电开关限位处停止,电机反转,根据光栅尺上一次记录的电机需要转动圈数,通过滑块带动手术注射器3-4移动到原标定处,即为RCM点;
第五步:标定针4的拆卸;
将标定针4在悬臂1-3上拆卸下来,至此,完成了对RCM点的标定。
如此设置,标定快速、准确。其它组成及连接关系与具体实施方式一至十四任意一项相同。
具体实施方式十六:结合图1至图8说明本实施方式,本实施方式的标定针4的针尖为金属针尖。结构牢固,便于多次进行标定。其它组成及连接关系与具体实施方式一至十五任意一项相同。
具体实施方式十七:结合图1至图8说明本实施方式,本实施方式的步骤三:药物注射时,利用悬臂直线导轨模块1-4及连杆组件2,将手术注射器3-4在眼球内部±45°的俯仰角控制,利用悬臂旋转模块1的旋转功能,实现绕RCM的旋转。其它组成及连接关系与具体实施方式一至十六任意一项相同。
本实施方式的基于人机协作模式的眼科显微手术机器人系统在物理交互的引导下实现自主、手持、摇杆模式的无缝衔接,从而精确高效地完成眼科显微手术,并保证手术质量的一致性。
自主模式,主要借助基于FBG光纤光栅的微力传感器实现。在眼科显微手术机器人进行眼底视网膜血管注射手术以实现对患者的的眼底血管通塞时,需要手术注射器插入玻璃体后精确停留在视网膜血管中,从而完成药物的注射。然而,由于视网膜上的血管仅有70um,使得主刀医生无论是在在手持眼科器械或是借助双操作臂机器人时都很难感知到是注射器是否已到达病灶血管位置、是否已插入病灶血管之中。借助眼科显微手术机器人系统的自主模式,能够实时监测FBG光纤光栅传感器的力的变化,一旦监测到力的波动与理论数据相同,即说明手术注射器已进入病灶血管之中,则控制主操作臂机器人停止的精准操作动作,完成药物的注射即可。
手持模式,主要用于眼科显微手术开始时的粗摆位阶段。在手术开始时,需要将手术注射器调整至与手术台65°夹角、置于接近人眼部斜上方处。此时若通过摇杆控制末端执行器的移动显然是复杂且低效的。踩踏脚踏切换开关切换至手持模式,借助六维力传感器,感知主刀医生拖动末端执行器的力的方向,通过相应算法实现对操作臂机器人的快速准确随动。
摇杆模式,主要用于眼科操作模式中的精确操作阶段。在粗摆位完成后,借助3D显微装置,精摆位末端手术执行器,便于找准在眼部巩膜处的RCM不动点,进行下一步的注射器插入操作。同样的,在插入人眼部巩膜RCM不动点后,手术注射器在人眼部中的位姿调整,都要采用到摇杆模式。摇杆模式主要通过主刀医生操纵摇杆实现对手术注射器的精确控制。
基于人机协作模式的眼科显微手术机器人系统的工作过程,是在医生的主导下,在眼科显微手术的粗摆位阶段,在手持模式手动拖动双操作臂机器人的末端执行器,通过六维力传感器感知力的方向,控制六轴操作臂快速高效移动,实现对手术末端执行器的粗略位姿调整;在精摆位阶段,踩下脚踏切换开关,借助3D显微装置,利用主刀医生控制面板上的摇杆,使手术注射器1进入患者眼部巩膜上的孔膜中,并在副操作臂上的光源的照明下进行手术注射器的姿态调整,对准病灶的位置。之后,手术执行器直线导轨模块动作,使得手术注射器依次穿过巩膜、脉络膜、房水,到达视网膜上血管处,借助自主模式下的基于FBG光纤光栅的威力传感器,监测出手术注射器已插入血管内,进而完成药物的注射,最后收回手术注射器,进行相应的手术后期处理。该过程基于人机协作技术通过对机器人作业模式的优化配置,实现高质、高效的机器人辅助眼科显微手术。
Claims (10)
1.一种眼科显微手术辅助双臂机器人操作系统,该双臂机器人系统包括主手术台(6),主手术台(6)安装在工作台上,其特征在于:双臂机器人系统还包括3D视频显微装置(7)、双操作臂机器人(8)和脚踏切换开关(9),主手术台(6)位于双操作臂机器人(8)之间,且主手术台(6)的下部与双操作臂机器人(8)的基座连接为一体,3D视频显微装置(7)吊装在双操作臂机器人(8)中间部位的上方,脚踏切换开关(9)通过柔性线缆和拖链与3D视频显微装置(7)和双操作臂机器人(8)连接;双操作臂机器人(8)包括主操作臂和副操作臂,主操作臂和副操作臂对称布置;主操作臂包括悬臂旋转模块(1)、连杆组件(2)、末端执行器组件(3)、基座(A)、X轴直线导轨模块(B)、Y轴直线导轨模块(C)和Z轴直线导轨模块(D),X轴直线导轨模块(B)水平安装在基座(A)上,Y轴直线导轨模块(C)安装在X轴直线导轨模块(B)上,Z轴直线导轨模块(D)安装在Y轴直线导轨模块(C)上,悬臂旋转模块(1)安装在Z轴直线导轨模块(D)上,连杆组件(2)安装在悬臂旋转模块(1)上,末端执行器组件(3)安装在连杆组件(2)上;末端执行器组件(3)包括末端基座(3-1)、六维力传感器(3-2)、末端执行器直线导轨模块(3-3)、手术注射器(3-4)和基于FBG光纤光栅微力传感器(3-5),末端基座(3-1)与单自由度的平行四边形连杆机构的另一侧侧端面进行铰接,末端执行器直线导轨模块(3-3)安装在末端基座(3-1)上,六维力传感器(3-2)安装在末端基座(3-1)和末端执行器直线导轨模块(3-3)之间,手术注射器(3-4)与末端执行器直线导轨模块(3-3)上的滑块固接,基于FBG光纤光栅微力传感器(3-5)安装在手术注射器(3-4)上,手术注射器(3-4)尖端的延长线与悬臂(1-3)中心轴的延长线的交点形成RCM点;
副操作臂包括悬臂旋转模块(1)、连杆组件(2)、末端执行器组件(3)、基座(A)、X轴直线导轨模块(B)、Y轴直线导轨模块(C)和Z轴直线导轨模块(D),X轴直线导轨模块(B)水平安装在基座(A)上,Y轴直线导轨模块(C)安装在X轴直线导轨模块(B)上,Z轴直线导轨模块(D)安装在Y轴直线导轨模块(C)上,悬臂旋转模块(1)安装在Z轴直线导轨模块(D)上,连杆组件(2)安装在悬臂旋转模块(1)上,末端执行器组件(3)安装在连杆组件(2)上;末端执行器组件(3)包括末端基座(3-1)、六维力传感器(3-2)、末端执行器直线导轨模块(3-3)和照射光源(3-6),末端基座(3-1)与单自由度的平行四边形连杆机构的另一侧侧端面进行铰接,末端执行器直线导轨模块(3-3)安装在末端基座(3-1)上,六维力传感器(3-2)安装在末端基座(3-1)和末端执行器直线导轨模块(3-3)之间,照射光源(3-6)与末端执行器直线导轨模块(3-3)上的滑块连接;
主操作臂和副操作臂的悬臂旋转模块(1)包括旋转模块(1-1)、悬臂基座(1-2)、悬臂(1-3)、悬臂直线导轨模块(1-4)、悬臂滑块(1-5)、悬臂滑块连接件(1-6)和旋转模块外壳(1-7),连杆组件(2)包括驱动杆(2-1)和单自由度的平行四边形连杆机构;悬臂基座(1-2)的一端与外置移动装置连接,悬臂基座(1-2)的另一端与旋转模块(1-1)连接,悬臂(1-3)与旋转模块(1-1)连接,悬臂直线导轨模块(1-4)安装在悬臂(1-3)内,悬臂滑块(1-5)滑动安装在悬臂直线导轨模块(1-4)上,悬臂滑块连接件(1-6)安装在悬臂滑块(1-5)上,旋转模块外壳(1-7)罩在旋转模块(1-1)和悬臂基座(1-2)上;驱动杆(2-1)的一端铰接在悬臂滑块连接件(1-6)上,单自由度的平行四边形连杆机构的底部铰接在悬臂(1-3)的另一端上,驱动杆(2-1)的另一端与单自由度的平行四边形连杆机构的一侧侧端面进行连接;
悬臂旋转模块(1)中的悬臂基座(1-2)加工为两个呈30°的法兰盘的组合体,悬臂基座(1-2)的一端与外置移动装置相连,悬臂基座(1-2)的另一端与旋转模块(1-1)固连;
旋转模块外壳(1-7)固定在悬臂基座(1-2)上;
悬臂直线导轨模块(1-4)上的悬臂滑块连接件(1-6)的底部与悬臂滑块(1-5)固连,同时在上部加工出通孔,实现与连杆组件(2)的驱动杆(2-1)铰接;
基于FBG光纤光栅微力传感器(3-5)则布置在手术注射器(3-4)针头末端,感知手术注射器(3-4)的微量力变化;
Y轴直线导轨模块水平放置,底部与X轴直线导轨的滑块连接,能够在X轴直线导轨模块驱动下沿X轴直线移动;Z轴直线导轨模块垂直放置,导轨末端与Y轴直线导轨模块的滑块连接,能够在Y轴直线导轨模块驱动下沿Y轴直线移动;Y轴直线导轨模块和Z轴直线导轨模块同样都安装有3个光电开关和1个增量式光栅尺;
将标定针水平安装在悬臂旋转模块(1)的悬臂(1-3)的长度方向端部上。
2.根据权利要求1所述的一种眼科显微手术辅助双臂机器人操作系统,其特征在于:旋转模块(1-1)包括电机、传动装置、蜗杆和蜗轮,电机的输出端与传动装置连接,传动装置的输出端与蜗轮连接,蜗杆安装在悬臂(1-3)的里侧,且蜗杆与蜗轮啮合。
3.根据权利要求2所述的一种眼科显微手术辅助双臂机器人操作系统,其特征在于:悬臂旋转模块(1)还包括悬臂增量式光栅尺和多个悬臂光电开关,悬臂增量式光栅尺和多个悬臂光电开关安装在旋转模块(1-1)上,其中悬臂增量式光栅尺沿旋转模块(1-1)的长度方向安装在旋转模块(1-1)的一侧端面上,多个悬臂光电开关对称安装旋转模块(1-1)的长度方向的两端侧端面上。
4.根据权利要求3所述的一种眼科显微手术辅助双臂机器人操作系统,其特征在于:驱动杆(2-1)为实心驱动杆,驱动杆(2-1)的两端均为拔叉状。
5.根据权利要求4所述的一种眼科显微手术辅助双臂机器人操作系统,其特征在于:单自由度的平行四边形连杆机构包括第一中间延长杆(2-2)、第二中间延长杆(2-3)、第一末端支撑杆(2-4)和第二末端支撑杆(2-5),第一中间延长杆(2-2)的下端和第二中间延长杆(2-3)的下端铰接在悬臂(1-3)的另一端,其中第一中间延长杆(2-2)的侧端面与驱动杆(2-1)铰接,第一末端支撑杆(2-4)的一端和第二末端支撑杆(2-5)的一端与第一中间延长杆(2-2)的上端和第二中间延长杆(2-3)的上端铰接,第一末端支撑杆(2-4)的另一端和第二末端支撑杆(2-5)的另一端与末端基座(3-1)连接。
6.根据权利要求5所述的一种眼科显微手术辅助双臂机器人操作系统,其特征在于:单自由度的平行四边形连杆机构还包括多个自润滑轴套(2-6),第一中间延长杆(2-2)、第二中间延长杆(2-3)、第一末端支撑杆(2-4)和第二末端支撑杆(2-5)的铰接处分别通过一个自润滑轴套(2-6)进行铰接。
7.根据权利要求6所述的一种眼科显微手术辅助双臂机器人操作系统,其特征在于:基于FBG光纤光栅微力传感器(3-5)安装在手术注射器(3-4)的针头末端。
8.根据权利要求7所述的一种眼科显微手术辅助双臂机器人操作系统,其特征在于:末端执行器组件(3)还包括末端增量式光栅尺和多个末端光电开关,末端增量式光栅尺和多个末端光电开关安装在末端执行器直线导轨模块(3-3)上。
9.根据权利要求8所述的一种眼科显微手术辅助双臂机器人操作系统,其特征在于:基座(A)包括杆状部分(A-1)、弯头部分(A-2)和平台部分(A-3),杆状部分(A-1)水平设置,平台部分(A-3)水平设置在杆状部分(A-1)的一端,杆状部分(A-1)和平台部分(A-3)之间通过弯头部分(A-2)连接。
10.根据权利要求9所述的一种眼科显微手术辅助双臂机器人操作系统,其特征在于:X轴直线导轨模块(B)包括X轴直线导轨(B-1)、滑块(B-2)、X轴增量光栅尺(B-3)和两个X轴光电开关(B-4),X轴增量光栅尺(B-3)沿X轴直线导轨(B-1)长度方向安装在X轴直线导轨(B-1)的一侧端面上,两个X轴光电开关(B-4)沿X轴直线导轨(B-1)长度方向安装在X轴直线导轨(B-1)的另一侧端面两端,滑块(B-2)滑动安装在X轴直线导轨(B-1)上。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811489310.9A CN109602499B (zh) | 2018-12-06 | 2018-12-06 | 一种眼科显微手术辅助双臂机器人操作系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811489310.9A CN109602499B (zh) | 2018-12-06 | 2018-12-06 | 一种眼科显微手术辅助双臂机器人操作系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109602499A CN109602499A (zh) | 2019-04-12 |
CN109602499B true CN109602499B (zh) | 2022-03-01 |
Family
ID=66006719
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811489310.9A Active CN109602499B (zh) | 2018-12-06 | 2018-12-06 | 一种眼科显微手术辅助双臂机器人操作系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109602499B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110063792B (zh) * | 2019-05-28 | 2024-03-26 | 锐志微创医疗科技(常州)有限公司 | 一种便携式微创手术机器人辅助装置 |
CN111035455B (zh) * | 2019-12-31 | 2021-10-01 | 哈尔滨工业大学 | 一种位置与姿态解耦的静脉穿刺机器人 |
CN111281649B (zh) * | 2020-03-03 | 2021-08-13 | 西安交通大学 | 一种眼科手术机器人系统及其控制方法 |
CN111358563B (zh) * | 2020-03-11 | 2021-09-03 | 上海交通大学 | 基于协作型机械臂的髋关节镜辅助机器人系统及控制方法 |
CN112168482A (zh) * | 2020-08-21 | 2021-01-05 | 西安交通大学 | 一种眼科角膜移植手术机器人操作机构 |
KR102556390B1 (ko) * | 2020-09-24 | 2023-07-17 | 주식회사 에어스메디컬 | 신체 자동 침습 장치 및 그 제어 방법 |
CN112932669B (zh) * | 2021-01-18 | 2024-03-15 | 广州市微眸医疗器械有限公司 | 一种执行视网膜层防渗漏隧道的机械臂控制方法 |
CN218899904U (zh) * | 2021-10-03 | 2023-04-25 | 崔迪 | 一种眼科手术机器人和眼科手术设备 |
CN114886572B (zh) * | 2022-07-13 | 2022-11-08 | 杭州迪视医疗生物科技有限公司 | 一种眼科手术中的主手摇杆 |
CN115887102A (zh) * | 2022-11-21 | 2023-04-04 | 福州大学 | 一种臂式机器人眼底穿刺注射系统及其工作方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN202982371U (zh) * | 2012-03-05 | 2013-06-12 | 首都医科大学附属北京朝阳医院 | 玻璃体内注射专用针头系统 |
CN105411741A (zh) * | 2015-11-17 | 2016-03-23 | 吉林大学 | 一种眼科手术系统 |
CN108472097A (zh) * | 2016-09-21 | 2018-08-31 | 威博外科公司 | 用于机器人手术的用户控制台系统 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
BR112014010588A2 (pt) * | 2011-11-04 | 2017-05-02 | Univ Johns Hopkins | robô de micromanipulação de mão firme |
US10383699B2 (en) * | 2013-03-15 | 2019-08-20 | Sri International | Hyperdexterous surgical system |
EP3157446B1 (en) * | 2014-06-19 | 2018-08-15 | KB Medical SA | Systems for performing minimally invasive surgery |
US20160210882A1 (en) * | 2014-12-29 | 2016-07-21 | Help Me See Inc. | Surgical Simulator System and Method |
US11457987B2 (en) * | 2015-05-15 | 2022-10-04 | The Johns Hopkins University | Manipulator device and therapeutic and diagnostic methods |
CN107009365A (zh) * | 2016-11-16 | 2017-08-04 | 温州医科大学附属眼视光医院 | 注射机器人 |
CN108324372B (zh) * | 2018-02-20 | 2021-01-05 | 中冰医学科技有限公司 | 一种手术协助机器人 |
-
2018
- 2018-12-06 CN CN201811489310.9A patent/CN109602499B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN202982371U (zh) * | 2012-03-05 | 2013-06-12 | 首都医科大学附属北京朝阳医院 | 玻璃体内注射专用针头系统 |
CN105411741A (zh) * | 2015-11-17 | 2016-03-23 | 吉林大学 | 一种眼科手术系统 |
CN108472097A (zh) * | 2016-09-21 | 2018-08-31 | 威博外科公司 | 用于机器人手术的用户控制台系统 |
Also Published As
Publication number | Publication date |
---|---|
CN109602499A (zh) | 2019-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109602499B (zh) | 一种眼科显微手术辅助双臂机器人操作系统 | |
CN109549775B (zh) | 面向眼底视网膜显微手术的机器人操作臂 | |
CN109549774B (zh) | 一种适于眼底显微手术的微创执行机构 | |
KR102345782B1 (ko) | 수술 지원 장치, 그 제어 방법 및 기록 매체 | |
US10510447B2 (en) | Surgical teleoperated device for remote manipulation | |
CN109602498B (zh) | 一种眼科显微手术辅助机器人标定机构 | |
Mitchell et al. | Development and application of a new steady-hand manipulator for retinal surgery | |
CN116370099A (zh) | 手术机械臂及手术机器人 | |
CN109602500B (zh) | 一种眼科显微手术辅助机器人系统 | |
CN111315309A (zh) | 用于控制机器人操纵器或相关工具的系统和方法 | |
KR20200078422A (ko) | 직관적인 움직임을 위한 마스터/도구 정합과 제어를 위한 시스템 및 방법 | |
EP1681029A1 (en) | Apparatus and process for manipulating medical instruments | |
KR20100120183A (ko) | 로봇을 이용한 미세수술 스텐트 시술을 위한 시스템, 디바이스 및 방법 | |
JP6546361B1 (ja) | 手術支援装置 | |
US20210315647A1 (en) | Surgical Robot and Method for Displaying Image of Patient Placed on Surgical Table | |
CN111887992A (zh) | 基于光学相干层析成像的智能手术机器人系统 | |
CN111281545B (zh) | 一种脊柱椎板切除手术设备 | |
KR20160122558A (ko) | 모발 이식 장치 | |
KR101413406B1 (ko) | 접촉 토크 측정 장치, 수술 로봇 및 이를 구비하는 수술 로봇 시스템 | |
CN116616995A (zh) | 一种眼底血管注射设备及控制方法 | |
US20240016559A1 (en) | Control method for location and orientation of surgical robot end, and control method for surgical robot | |
Wang et al. | A 5-DOFs robot for posterior segment eye microsurgery | |
CN107564387B (zh) | 一种眼科穿刺手术训练系统 | |
CN112891058A (zh) | 一种用于人眼视网膜下注射的机器人远程定点控制方法 | |
Yang | Handheld micromanipulator for robot-assisted microsurgery |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |