CN111243746A - 一种血管介入手术机器人的手术仿真方法及系统 - Google Patents
一种血管介入手术机器人的手术仿真方法及系统 Download PDFInfo
- Publication number
- CN111243746A CN111243746A CN202010067493.6A CN202010067493A CN111243746A CN 111243746 A CN111243746 A CN 111243746A CN 202010067493 A CN202010067493 A CN 202010067493A CN 111243746 A CN111243746 A CN 111243746A
- Authority
- CN
- China
- Prior art keywords
- blood vessel
- guide wire
- robot
- mechanical arm
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Geometry (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Instructional Devices (AREA)
- Manipulator (AREA)
Abstract
本发明提供了一种血管介入手术机器人的手术仿真的方法及系统，包括：对导丝进行建模，完成导丝在人体血管内运动的模拟和环境的交互；将血管的CTA医疗影像导入计算机中，对血管进行个性化建模；根据临床经验、血管三维模型对医疗器械在血管内的路径进行规划，选择最优路径；机器人机械臂碰撞检测，根据机器人机械臂碰撞检测，确定在线自适应模型；完成机器人对前端的导管、导丝的加持、推送和旋转及复合运动的动作分解；实现机器人利用导丝模型在血管三维模型中进行手术的仿真，同时在机器人手术时通过显示屏实时监控机械臂的运动状态和可视化运动数据。本发明全面地模拟医疗机器人血管介入手术的各个环节，对导丝在人体血管内的交互进行了模拟。
Description
技术领域
本发明涉及一种虚拟手术的模拟方法，具体地，涉及一种血管介入手术机器人的手术仿真方法及系统。
背景技术
近年来介入微创手术发展迅速，且具有精准、快速、创伤小的优点，这对心血管疾病的治疗提供了很大的帮助。但是介入手术对医生的操作技能和专业知识以及手术经验都提出了很高的要求，特别是现在医疗资源分布不均，许多地区的医生由于条件的限制没有足够的能力实施血管介入手术。大多数医生都是通过动物或者尸体进行手术的训练，但这并不能真实、低成本的模拟真实手术环境，从而让医生获益。
并且心血管疾病严重地威胁着人们的身体健康，于是具有创伤小、恢复速度快、失血少等优点的血管介入手术应运而生。为了防止辐射对医护人员的伤害，医生在操作室通过操作手柄和按键来控制医疗机器人完成血管介入手术将成为趋势。但是血管介入手术难度很大，非常依赖于医生娴熟的技巧，所以需要一套能够模拟完整血管介入手术流程的手术仿真方案，用于培训医生或者辅助医生完成医疗机器人手术。但是目前的手术仿真方案存在着仿真流程不够完整，病人器官建模缺乏个性化和准确性的缺点。尤其是在血管建模方面缺乏个性化，所建血管三维模型不能反映病人血管的真实特点，而且缺少一种路径规划的方法将器械沿着规划的最优路径送至病人血管的病灶处。
目前，国内的专利没有一套能够完整地模拟血管介入机器人进行微创腔内血管介入手术的仿真，大多数仿真系统只能模拟血管或导丝等某个特定部分，不能对手术的完整阶段以及手术环境中可能出现的各种干扰和突发情况进行模拟，而且对于人体器官的建模不具有个性化，准确度有待提高。本发明针对现有的血管介入机器人仿真系统存在不完整和对真实环境还原度低的缺点，对手术的各个环节都进行了全流程虚拟仿真，添加了反馈闭环机制。对不同的手术术式、不同的患者病理特征以及器械的不同特性都进行了模型的构建。并能通过机械臂和机械手的运动仿真模块实时地监控手术机器人的每个动作，为医护人员提供一套完整的血管介入机器人微创腔内血管介入手术仿真系统，有助于提高医生的操作技能和实战经验。
本发明通过对血管建模、器械建模、碰撞检测建模、机械手臂仿真建模，建立了血管介入机器人的仿真系统，通过虚拟现实的方式对真实的手术环境以及突发情况进行了模拟与渲染，为医生用医疗机器人进行血管介入手术提供了很好的训练平台，有助于提高医生的手术技能。
专利文献CN103699776A(申请号：201310628842.7)公开了一种面向心血管介入手术仿真的导丝模拟方法，包括初始化，导丝仿真，交互阶段及优化。可以对导丝与血管壁之间的交互进行仿真，具有真实性。用电脑虚拟现实的方法仿真导丝在仿真血管中的状态，不会用人体进行仿真，减少了风险性。但是并没有对导丝在人体内血管的路径进行规划。也没有模拟导丝在血管内所受的血流的作用力。
专利文献CN106709902A(申请号：201611003438.0)公开了一种微创血管介入手术中导丝受血流作用的实时运动仿真方法。这篇专利不仅对导丝进行了建模，还结合了血管中血流对导丝的力作用，增强了导丝仿真的真实性，给医生在手术模拟上提供了很大的参考。但是并没有解决如何将器械以最优路径送至血管病灶处的问题。
专利文献CN107705855A(申请号：201710857859.8)公开了一种经皮冠状动脉手术的仿真模拟系统。包括了导丝的建模，导丝与血管壁环境交互的力反馈模拟，以及血管的建模，模拟了手术的许多流程，为医生对重大手术的模拟提供了准确的参考信息。但是并没有对医疗器械在血管内的路径进行规划，这样器械不能以最优的路径进入人体的目标位置。也没有对病患的血管进行个性化的建模。缺乏对机械臂和医疗器械的实时动作仿真，不能在屏幕上实时监控手术机器人的每一个动作。所以这种手术仿真系统对重大手术的模拟缺乏个性化、准确性和全面性。
从现有的介入血管手术的模拟仿真方案来看，许多方案只能够分别实现血管的建模、导丝的建模、器械建模或者血管与环境的交互，但是没有一种能够实现对介入手术全面、准确、个性化、实时的血管手术过程的模拟仿真方案。本专利基于现有技术的不足，提出了一种血管手术机器人的仿真方案。该方案对血管、器械、机械手和交互环境进行了建模。特别地，通过在手术前将病人的CTA的血管图像进行个性化三维建模，提高了血管建模的精确性。将手术中的DSA影像和病人血管的CTA影像结合起来进行配准，使血管的建模更加准确、可靠。医生根据自己的经验结合血管三维模型对器械在血管内的路径进行规划，在对血管建模的同时考虑了导丝直径、导丝曲率、导丝挠率、血管最小直径、血管长度等环境因素，系统规划最优手术路径，使器械以最优的路径到达人体内最佳的位置。本专利通过动力学建模的方法对机器手臂进行碰撞检测，避免了机械臂在手术中的碰撞，增强了手术的安全性。通过在软件界面上机械臂的三维实时仿真动画，实现了医生在电脑屏幕前完成对机器人动作的实时观察。通过一种多个自由度的机械手模拟血管介入手术中医生操作导丝导管的动作，将血管介入手术中医生推进和旋转导丝/导管的动作分解，从而控制前端的介入手术机器人完成对导管、导丝的加持、推送和旋转。本专利公开了一种能够实现对介入血管手术全面、准确、个性化、实时的介入手术模拟方案，为医生进行高难度手术提供了重要的参考方案，有助于降低手术的风险，提高治疗的准确率。同时具有培训的功能，有助于提高医生的手术技能。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种血管介入手术机器人的手术仿真的方法及系统。
根据本发明提供的一种血管介入手术机器人的手术仿真的方法，包括：
步骤M1：对导丝进行建模，得到导丝模型，完成导丝在人体血管内运动的模拟和环境的交互；
步骤M2：将血管的CTA医疗影像导入计算机中，对血管进行个性化建模；根据临床经验以及血管三维模型对医疗器械在血管三维模型内的路径进行规划，选择最优路径；
步骤M3：机器人机械臂碰撞检测，根据机器人机械臂碰撞检测，确定实时在线自适应模型；
步骤M4：完成机器人对包括前端导丝的加持、推送和旋转及复合运动的动作分解；
步骤M5：实现机器人利用导丝模型在血管三维模型中进行手术的仿真，同时在机器人手术时通过显示屏实时监控机械臂的运动状态和可视化运动数据。
优选地，所述步骤M1包括：
步骤M1.1：基于Cosserat理论对导丝进行离散化，并初始化导丝的物理状态；
步骤M1.2：基于Cosserat理论对导丝进行离散化，在导丝的每个节点建立坐标系；
步骤M1.3：根据初始化导丝的物理状态计算导丝能量值，根据导丝能量值计算导丝的运动方程；
步骤M1.4：根据导丝的运动方程模拟导丝在血管中运动时和血管的相互作用、导丝插入血管时受到血管壁的摩擦和碰撞，以及血管在导丝插入后的形变；
步骤M1.5：根据模拟导丝所处的物理状态，对导丝进行自适应处理；
所述导丝的物理状态包括：导丝的长度、导丝的质量、导丝的半径、杨氏模量、剪切模量和/或固有弯曲扭转属性；
所述导丝能量包括动能、势能和/或耗散能。
优选地，所述步骤M2包括：
步骤M2.1：获取CTA血管医学影像并导入计算机；
步骤M2.2：对导入计算机的CTA血管医学影像进行预处理，并采用3D水平集的方法对预处理后的CTA血管医学影像进行血管三维建模；
步骤M2.3：使用基于拓扑细化和追踪的算法对血管的中心线进行提取,并根据血管的中心线计算血管的内切球半径；
步骤M2.4：以提取的血管中心线为基础，根据血管的内切球半径计算血管的结构参数；
步骤M2.5：根据计算的血管结构参数，对血管三维模型和人体空间进行配准；
步骤M2.6：将人体空间、血管三维模型和/或DSA影像结合而成的医学影像输出到显示器上显示；
所述预处理包括：灰度化、几何变换和/或图像增强；
所述血管的结构参数包括：血管的直径、血管最小直径、血管最大曲率、血管最大挠率和/或确定路径节点的数量；
所述步骤M2.5包括：
步骤M2.5.1：根据临床经验，在血管三维模型上标记医疗器械的路径标记点，根据选择的路径标记点生成规划路径；同时根据血管的直径规划路径，确保导丝的直径小于通过血管的内径，将血管三维模型上的路径规划映射到人体空间；
步骤M2.5.2：将血管的CTA图像和DSA影像进行配准，在血管CTA图像上以及医疗器械上放置标志物，通过光学传感器捕获标志物的位置，通过矩阵转换关系求解人体、医疗器械、标记物之间的关系，从而确定病灶区域在人体内的具体位置。
优选地，所述步骤M3包括：
步骤M3.1：确定机器人机械臂的动力学模型；
步骤M3.2：机器人机械臂动力学模型参数标定；
步骤M3.3：对机器人机械臂动力学模型参数标定后，对机器人机械臂进行碰撞检测；
步骤M3.4：根据机器人机械臂碰撞检测，确定实时在线自适应模型；
所述步骤M3.1包括，动力学公式如下：
τm＝τbody+τfric (11)
Imotor＝ktτm (12)
其中，q,
分别代表机械臂各关节电机的位移，速度，加速度；fc代表摩擦力系数，fv代表粘滞摩擦力系数，τfric代表关节驱动电机中减速器齿轮引起的摩擦力力矩；M(q)代表转动惯量系数矩阵，
表示科式力系数矩阵，g(q)代表重力系数矩阵；τbody代表机械臂刚体动力学模型部分力矩，τm电机的输出力矩，Imotor表示电机的理论输入电流；kt电机的力矩-电流系数；
所述步骤M3.2包括：机械臂在出厂之前，需要对机械臂的动力学模型参数进行标定，但是在机械臂使用过程当中，机械臂之间的摩擦力不可避免，长时间的摩擦会使摩擦力模型的参数发生明显的变化，根据动力学公式摩擦力力矩矩阵对电机的输入电流有决定性的作用，摩擦力模型属于动力学模型当中的时变部分；除摩擦力模型之外别的模型也会产生变化；
所述步骤M3.3包括：在机器人手臂未发生碰撞的情况下，通过传感器测量机械臂关节电机的位移，速度，加速度；并通过机械臂的动力学模型公式计算出电机的输出力矩τm，计算出电机的理论输入电流Imotor；在引入外力矩时电机的实际输入电流Ireal通过电机上配备的电流传感器测量并反馈给机器人的控制系统，计算电机的实际输入电流和电机的理论输入电流的差值：
IΔ＝Ireal-Imotor (13)
根据公式(13)计算得到IΔ是否超过阈值来判断机械手臂是否发生碰撞；当IΔ超过阈值则机械手臂发生了碰撞；当IΔ没有超过阈值则机械手臂没有发生了碰撞；
所述步骤M3.4包括：在线自适应模型公式如下：
其中，IΔ为驱动电机的理论输入电流和实际电流的误差补偿值，a,b,c为自适应模型的系数，
为自适应模型的状态集；
利用自适应算法对自适应模型进行修正，所述的自适应算法包括递归二乘法和最小二乘法等算法；
驱动电机产生的输入电流的变化会引起碰撞检测的触发而不能作为自适应算法时电流误差的补偿，所以需要时间延迟；在t时刻进行自适应补偿的数据是t-Δt时刻采集的，进行自适应补偿时就屏蔽碰撞检测的信息，Δt就是延时参数。
优选地，所述步骤M4包括：机器人的机械手和机械臂包括旋转运动自由度和直线运动自由度，机器人系统进行初始化，在机器人的操作台上通过手柄控制四个机械手的前进、后退、正逆旋转；通过控制两个机械手臂的上升、下降、前进、后退，介入式血管手术当中机器人向病人血管内推送导管和/或导丝，导丝需要在血管内做前进、后退、旋转的动作，通过两个机械臂和四只机械手的协作来完成导管/导丝向人体内的推送；
所述步骤M5包括：实现对手术的仿真，还能在手术时通过显示屏实时监控机械臂的运动状态和可视化运动数据。
根据本发明提供的一种血管介入手术机器人的手术仿真的系统，包括：
模块M1：对导丝进行建模，得到导丝模型，完成导丝在人体血管内运动的模拟和环境的交互；
模块M2：将血管的CTA医疗影像导入计算机中，对血管进行个性化建模；根据临床经验以及血管三维模型对医疗器械在血管三维模型内的路径进行规划，选择最优路径；
模块M3：机器人机械臂碰撞检测，根据机器人机械臂碰撞检测，确定实时在线自适应模型；
模块M4：完成机器人对包括前端导丝的加持、推送和旋转及复合运动的动作分解；
模块M5：实现机器人利用导丝模型在血管三维模型中进行手术的仿真，同时在机器人手术时通过显示屏实时监控机械臂的运动状态和可视化运动数据。
优选地，所述模块M1包括：
模块M1.1：基于Cosserat理论对导丝进行离散化，并初始化导丝的物理状态；
模块M1.2：基于Cosserat理论对导丝进行离散化，在导丝的每个节点建立坐标系；
模块M1.2：根据初始化导丝的物理状态计算导丝能量值，根据导丝能量值计算导丝的运动方程；
模块M1.3：根据导丝的运动方程模拟导丝在血管中运动时和血管的相互作用、导丝插入血管时受到血管壁的摩擦和碰撞，以及血管在导丝插入后的形变；
模块M1.4：根据模拟导丝所处的物理状态，对导丝进行自适应处理；
所述导丝的物理状态包括：导丝的长度、导丝的质量、导丝的半径、杨氏模量、剪切模量和/或固有弯曲扭转属性；
所述导丝能量包括动能、势能和/或耗散能。
优选地，所述模块M2包括：
模块M2.1：获取CTA血管医学影像并导入计算机；
模块M2.2：对导入计算机的CTA血管医学影像进行预处理，并采用3D水平集的方法对预处理后的CTA血管医学影像进行血管三维建模；
模块M2.3：使用基于拓扑细化和追踪的算法对血管的中心线进行提取,并根据血管的中心线计算血管的内切球半径；
模块M2.4：以提取的血管中心线为基础，根据血管的内切球半径计算血管的结构参数；
模块M2.5：根据计算的血管结构参数，对血管三维模型和人体空间进行配准；
模块M2.6：将人体空间、血管三维模型和/或DSA影像结合而成的医学影像输出到显示器上显示；
所述预处理包括：灰度化、几何变换和/或图像增强；
所述血管的结构参数包括：血管的直径、血管最小直径、血管最大曲率、血管最大挠率和/或确定路径节点的数量；
所述模块M2.5包括：
模块M2.5.1：根据临床经验，在血管三维模型上标记医疗器械的路径标记点，根据选择的路径标记点生成规划路径；同时根据血管的直径规划路径，确保导丝的直径小于通过血管的内径，将血管三维模型上的路径规划映射到人体空间；
模块M2.5.2：将血管的CTA图像和DSA影像进行配准，在血管CTA图像上以及医疗器械上放置标志物，通过光学传感器捕获标志物的位置，通过矩阵转换关系求解人体、医疗器械、标记物之间的关系，从而确定病灶区域在人体内的具体位置。
优选地，所述模块M3包括：
模块M3.1：确定机器人机械臂的动力学模型；
模块M3.2：机器人机械臂动力学模型参数标定；
模块M3.3：对机器人机械臂动力学模型参数标定后，对机器人机械臂进行碰撞检测；
模块M3.4：根据机器人机械臂碰撞检测，确定实时在线自适应模型；
所述模块M3.1包括，动力学公式如下：
τm＝τbody+τfric (11)
Imotor＝ktτm (12)
其中，q,
分别代表机械臂各关节电机的位移，速度，加速度；fc代表摩擦力系数，fv代表粘滞摩擦力系数，τfric代表关节驱动电机中减速器齿轮引起的摩擦力力矩；M(q)代表转动惯量系数矩阵，
表示科式力系数矩阵，g(q)代表重力系数矩阵；τbody代表机械臂刚体动力学模型部分力矩，τm电机的输出力矩，Imotor表示电机的理论输入电流；kt电机的力矩-电流系数；
所述模块M3.2包括：机械臂在出厂之前，需要对机械臂的动力学模型参数进行标定，但是在机械臂使用过程当中，机械臂之间的摩擦力不可避免，长时间的摩擦会使摩擦力模型的参数发生明显的变化，根据动力学公式摩擦力力矩矩阵对电机的输入电流有决定性的作用，摩擦力模型属于动力学模型当中的时变部分；除摩擦力模型之外别的模型也会产生变化；
所述模块M3.3包括：在机器人手臂未发生碰撞的情况下，通过传感器测量机械臂关节电机的位移，速度，加速度；并通过机械臂的动力学模型公式计算出电机的输出力矩τm，计算出电机的理论输入电流Imotor；在引入外力矩时电机的实际输入电流Ireal通过电机上配备的电流传感器测量并反馈给机器人的控制系统，计算电机的实际输入电流和电机的理论输入电流的差值：
IΔ＝Ireal-Imotor (13)
根据公式(13)计算得到IΔ是否超过阈值来判断机械手臂是否发生碰撞；当IΔ超过阈值则机械手臂发生了碰撞；当IΔ没有超过阈值则机械手臂没有发生了碰撞；
所述模块M3.4包括：在线自适应模型公式如下：
其中，IΔ为驱动电机的理论输入电流和实际电流的误差补偿值，a,b,c为自适应模型的系数，
为自适应模型的状态集；
利用自适应算法对自适应模型进行修正，所述的自适应算法包括递归二乘法和最小二乘法等算法；
驱动电机产生的输入电流的变化会引起碰撞检测的触发而不能作为自适应算法时电流误差的补偿，所以需要时间延迟；在t时刻进行自适应补偿的数据是t-Δt时刻采集的，进行自适应补偿时就屏蔽碰撞检测的信息，Δt就是延时参数。
优选地，所述模块M4包括：机器人的机械手和机械臂包括旋转运动自由度和直线运动自由度，机器人系统进行初始化，在机器人的操作台上通过手柄控制四个机械手的前进、后退、正逆旋转；通过控制两个机械手臂的上升、下降、前进、后退，介入式血管手术当中机器人向病人血管内推送导管和/或导丝，导丝需要在血管内做前进、后退、旋转的动作，通过两个机械臂和四只机械手的协作来完成导管/导丝向人体内的推送；
所述步骤M5包括：实现对手术的仿真，还能在手术时通过显示屏实时监控机械臂的运动状态和可视化运动数据。
与现有技术相比，本发明具有如下的有益效果：
1、本发明能够全面地模拟医疗机器人血管介入手术的各个环节，对导丝在人体血管内的交互进行了模拟；
2、通过CTA影像和DSA影像结合的方法完成了对病患血管个性化建模，对机械手进行碰撞检测，以及机械臂三维建模仿真，建立了血管介入机器人的仿真系统；
3、通过虚拟现实的方式对真实的手术环境以及突发情况进行了模拟与渲染，为医生用医疗机器人进行血管介入手术提供了很好的训练环境，有助于提高医生的手术技能；
4、将复杂的抽送导丝导管的动作分解为机器人简单易行的动作，有助于医生的手术操作；
5、为医生提供了一套完整的具有个性化的血管介入手术仿真方案，有助于提高手术的成功率，同时为医生提供了很好的血管介入手术的培训平台，提高了医生的手术水平，缩小不同医生因为经验不足而产生的临床获益的差距。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为介入血管手术仿真方案系统结构图；
图2为导丝建模步骤；
图3为血管建模和血管路径点规划模块的步骤；
图4为碰撞检测步骤。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明针对现有技术存在的不足，通过对血管、医疗器械的建模以及机器人机械臂防碰撞检测和手术仿真系统的建立，形成了一套完整的介入血管手术的仿真解决方案。该方案通过CTA和DSA影像的配准，对病人血管进行了个性化建模，通过医生经验结合血管三维模型对器械在人体血管内的最优路径进行了规划。为医生提供了一套完整的具有个性化的血管介入手术仿真方案，有助于提高手术的成功率，同时为医生提供了很好的血管介入手术的培训平台，提高了医生的手术水平，缩小不同医生因为经验不足而产生的临床获益的差距。
根据本发明提供的一种血管介入手术机器人的手术仿真的方法，如图1所示，包括：
步骤M1：对导丝进行建模，完成导丝在人体血管内运动的模拟和环境的交互；
步骤M2：将血管的CTA医疗影像导入计算机中，对血管进行个性化建模；根据临床经验以及血管三维模型对医疗器械在血管三维模型内的路径进行规划，选择最优路径；
步骤M3：机器人机械臂碰撞检测，根据机器人机械臂碰撞检测，确定实时在线自适应模型；
步骤M4：完成机器人对包括前端导丝的加持、推送和旋转及复合运动的动作分解；
步骤M5：实现机器人利用导丝模型在血管三维模型中进行手术的仿真，同时在机器人手术时通过显示屏实时监控机械臂的运动状态和可视化运动数据。
具体地，如图2所示，所述步骤M1包括：
步骤M1.1：基于Cosserat理论对导丝进行离散化，并初始化导丝的物理状态；
步骤M1.2：根据初始化导丝的物理状态计算导丝能量值，根据导丝能量值计算导丝的运动方程；
步骤M1.3：根据导丝的运动方程模拟导丝在血管中运动时和血管的相互作用、导丝插入血管时受到血管壁的摩擦和碰撞，以及血管在导丝插入后的形变；
模拟导丝在血管中运动时和血管的相互作用，模拟导丝插入血管时受到血管壁的摩擦和碰撞，以及血管在导丝插入后的形变。用AABB包围盒方法来检测导丝和血管的相对碰撞，并为碰撞空间建立多分辨率网格，并将碰撞单元包围盒和哈希表对应的位置进行对应，均衡负载GPU资源进行碰撞检测，获得碰撞检测的结果。采用基于惩罚力的方法计算导丝和血管的碰撞响应，计算碰撞单元穿透深度，根据相对速度来确定惩罚力方向，进一步获得碰撞力；在导丝和血管的碰撞过程当中，导丝对血管也会产生力的作用。当导丝对血管的力垂直于血管壁时，会使血管产生形变。
步骤M1.4：根据模拟导丝所处的物理状态，对导丝进行自适应处理；
根据导丝所处的阶段通过物理模型和几何模型相互耦合的方法对导丝进行可变长处理。根据导丝当前的物理状态对导丝进行自适应处理，在对复杂血管进行自适应处理时要根据血管的复杂程度来选取不同的曲率，在曲率大的地方增加采样点，在曲率小的地方减少采样点.通过可变长处理和自适应处理来优化导丝的模拟，使模拟更加真实准确。
所述物理状态包括：导丝的长度、导丝的质量、导丝的半径、杨氏模量、剪切模量和/或固有弯曲扭转属性；
在导丝上建立N个节点，并将导丝近似成一条中心线，可以忽略导丝的体积，中心线用方程r(σ)＝(rx(σ),ry(σ),rz(σ))T来表示，T表示矩阵的转置。其中r(σ)为弹性细杆中心线上每个线元值σ指定的空间位置。在导丝的每个节点上都建立笛卡尔坐标系。其中d1(σi)，d2(σi)，d3(σi)分别表示空间上某一点i上所建右手坐标系中相互垂直的向量，i＝1,2,...,N分别表示导丝的第1至N个节点。rx(σi)，ry(σi),rz(σi)分别为r(σi)在x,y,z轴上的空间位置表示。将中心线上线段的方向d1(σi)，d2(σi)，d3(σi)用四元素q＝(q1,q2,q3,q4)T来进行表示，其中q1,q2,q3,q4∈R3。通过建立坐标系可以更好的描述导丝的前进、后退、扭转等运动。
所述导丝能量包括动能、势能和/或耗散能；导丝能量的作用是为了用隐式欧拉法求解导丝的运动方程，表达导丝在血管中的形变和交互。
所述势能包括拉伸势能和弯曲势能；势能公式如下：
其中，Ks＝Esπr2是拉伸刚度常数，Es是拉伸杨氏模量，r是导丝半径，r'是半径的空间导数；KKK是刚度张量矩阵的对角线元素，其中
E是弯曲杨氏模量，G是剪切样式模量，uk＝dk*ω是方向变化率，dk是方向标价，ω为角速度；d表示，σ表示为中心线上的每个线元值，dσ表示σ的微分；
所述动能包括中心线平动能和转动能；动能计算公式如下：
其中，ρ是导丝密度，r是导丝半径，其中
是控制点坐标r的时间导数，IKK是刚度张量矩阵的对角线元素，其中
耗散能包括平动耗散能和角耗能；耗散能公式如下：
其中，γt是平动摩擦系数，γr是旋转摩擦系数，ω'r是相对角速度的空间导数，v'r是相对速度的空间导数；通过导丝的动能、势能、耗散能得到导丝能量模型；
根据导丝能量值运用隐式欧拉法求解导丝的运动方程：进一步整合化简上述能量构成的导丝运动方程，通过如下方程进行隐式求解：
获得导丝更新的各项属性值，通过公式(4)得到导丝状态的更新，其中，t表示具体时间，h代表时间间隔，ri为导丝上某一具体的点，vi代表某一具体的点的速度，mi为空间控制节点的质量，F为导丝所受合力，wj为角速度，qj为方向四元数，Qj为四元数矩阵。
具体地，如图3所示，所述步骤M2包括：
步骤M2.1：获取CTA血管医学影像并导入计算机；
步骤M2.2：对导入计算机的CTA血管医学影像进行预处理，图像预处理的主要目的是消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性，最大限度地简化数据，从而改进特征提取、图像分割、匹配和识别的可靠性。并采用3D水平集的方法对预处理后的CTA血管医学影像进行血管三维建模；
步骤M2.3：使用基于拓扑细化和追踪的算法对血管的中心线进行提取,并根据血管的中心线计算血管的内切球半径；为计算血管直径、最小直径，诊断病变位置打下基础。
步骤M2.4：以提取的血管中心线为基础，根据血管的内切球半径计算血管的结构参数；
步骤M2.5：根据计算的血管结构参数，对血管三维模型和人体空间进行配准；分别在病灶血管三维模型和人体空间上设置多个点，这些点不共面，将病灶血管三维模型上的点和人体坐标系下的点进行重合，实现血管三维模型和人体空间的配准。
步骤M2.6：根据临床经验，在血管三维模型上标记器械的路径标记点，根据选择的路径标记点生成规划路径；同时根据血管的直径规划路径，确保导丝的直径小于通过血管的内径，将血管三维模型上的路径规划映射到人体空间；
步骤M2.7：将血管的CTA图像和DSA影像进行配准，在血管CTA图像上以及医疗器械上放置标志物，通过光学传感器捕获标志物的位置，通过矩阵转换关系求解人体、器械、标记物之间的关系，从而确定病灶区域在人体内的具体位置；
步骤M2.8：将人体空间、血管三维模型和/或DSA影像结合而成的医学影像输出到显示器上显示；
所述预处理包括：灰度化、几何变换和/或图像增强；
所述血管的结构参数包括：血管的直径、血管最小直径、血管最大曲率、血管最大挠率和/或确定路径节点的数量；
所述规划路径线总长度公式：
假设参数化形式的空间曲线公式为：
空间曲线的距离公式为：
其中，x'(x)为x(x)在空间内的导数，d(x)表示微分，根据此公式来计算规划路径线的总长度；
血管曲率计算公式为：
根据公式(7)计算出N个路径口的曲率，求得当前路径的最大曲率Cmax；
空间曲率的挠率计算公式为：
通过上述公式计算空间上每个点的挠率，通过对比获得曲线上的最大挠率Tmax；
所述血管的直径根据最大内切球半径计算出血管每点处的直径，通过比较血管每点处的直径求解出当前血管的最小直径。这时导丝导管的半径必须小于血管的最小半径才能保证导管导丝安全通过人体血管，否则导丝导管会对人体的血管造成伤害，甚至导致血管的破裂。
具体地，如图4所示，所述步骤M3包括：
步骤M3.1：确定机器人机械臂的动力学模型；
步骤M3.2：机器人机械臂动力学模型参数标定；
步骤M3.3：机器人机械臂碰撞检测；
步骤M3.4：根据机器人机械臂碰撞检测，确定实时在线自适应模型；
所述步骤M3.1包括，动力学公式如下：
τm＝τbody+τfric (11)
Imotor＝ktτm (12)
其中，q,
分别代表机械臂各关节电机的位移，速度，加速度；fc代表摩擦力系数，fv代表粘滞摩擦力系数，τfric代表关节驱动电机中减速器齿轮引起的摩擦力力矩；M(q)代表转动惯量系数矩阵，
表示科式力系数矩阵，g(q)代表重力系数矩阵；τbody代表机械臂刚体动力学模型部分力矩，τm电机的输出力矩，Imotor表示电机的理论输入电流；kt电机的力矩-电流系数；
所述步骤M3.2包括：机械臂在出厂之前，工作人员需要通过CAD等软件建模的方法进行复杂的计算对机械臂的动力学模型参数进行标定，但是在机械臂使用过程当中，机械臂期间之间的摩擦力不可避免，长时间的摩擦会使摩擦力模型的参数发生明显的变化，根据公式(9)摩擦力力矩矩阵对电机的输入电流有决定性的作用，摩擦力模型属于动力学模型当中的时变部分；除摩擦力模型之外别的模型也会产生变化；M(q),
g(q)的参数可以通过CAD等软件方法进行建模得到。fc和fv可以通过系统辨识的方法进行测定。
所述步骤M3.3包括：在机器人手臂未发生碰撞的情况下，通过传感器测量机械臂关节电机的位移，速度，加速度；并通过机械臂的动力学模型公式计算出电机的输出力矩τm，计算出电机的理论输入电流Imotor；在引入外力矩时电机的实际输入电流Ireal通过电机上配备的电流传感器测量并反馈给机器人的控制系统，计算电机的实际输入电流和电机的理论输入电流的差值：
IΔ＝Ireal-Imotor (13)
根据公式(13)计算得到IΔ是否超过阈值来判断机械手臂是否发生碰撞；当IΔ超过阈值则机械手臂发生了碰撞；当IΔ没有超过阈值则机械手臂没有发生了碰撞；
所述步骤M3.4包括：在线自适应模型公式如下：
其中，IΔ为驱动电机的理论输入电流和实际电流的误差补偿值，a,b,c为自适应模型的系数，
为自适应模型的状态集；
利用自适应算法对自适应模型进行修正，所述的自适应算法包括递归二乘法和最小二乘法等算法；
驱动电机产生的输入电流的变化会引起碰撞检测的触发而不能作为自适应算法时电流误差的补偿，所以需要时间延迟；在t时刻进行自适应补偿的数据是t-Δt时刻采集的，进行自适应补偿时就屏蔽碰撞检测的信息，Δt就是延时参数；
利用自适应算法消除了动力学模型当中时变部分的影响，保证了碰撞检测的准确性与可靠性。同时应用了延时机制屏蔽了碰撞检测信息对于自适应补偿的影响。
具体地，所述步骤M4包括：机器人系统进行初始化，在机器人的操作台上通过手柄控制四个机械手的前进、后退、正逆旋转；通过控制两个机械手臂的上升、下降、前进、后退，介入式血管手术当中机器人向病人血管内推送导管/导丝，导丝需要在血管内做前进、后退、旋转的动作，通过两个机械臂和四只机械手的协作来完成导管/导丝向人体内的推送；
所述步骤M5包括：机器人仿真系统启动后，机器人仿真系统分为规划模式和手术模式；
规划工作模式提供了仿真系统在没有接入设备的情况下，使用软件模拟用户操作机器人，并显示系统状态信息；规划工作模式能创建模型、交互操作，以及支持三维可视化；规划工作模式过程包括患者管理以及路径规划及仿真；
路径规划及仿真包含提示信息包括：各组件的初始化信息参数和对用户当前操作给出提示信息和用户当前操作的中、低等级报警信息提示；
路径规划及仿真支持用户进行仿真运动轨迹规划包括：规划从启动位置到终点位置、显示规划路径的关键信息以及机械手和执行手的直线位移距离。
根据本发明提供的一种血管介入手术机器人的手术仿真的系统，如图1所示，包括：
模块M1：对导丝进行建模，完成导丝在人体血管内运动的模拟和环境的交互；
模块M2：将血管的CTA医疗影像导入计算机中，对血管进行个性化建模；根据临床经验以及血管三维模型对医疗器械在血管三维模型内的路径进行规划，选择最优路径；
模块M3：机器人机械臂碰撞检测，根据机器人机械臂碰撞检测，确定实时在线自适应模型；
模块M4：完成机器人对包括前端导丝的加持、推送和旋转及复合运动的动作分解；
模块M5：实现机器人利用导丝模型在血管三维模型中进行手术的仿真，同时在机器人手术时通过显示屏实时监控机械臂的运动状态和可视化运动数据。
具体地，如图2所示，所述模块M1包括：
模块M1.1：基于Cosserat理论对导丝进行离散化，并初始化导丝的物理状态；
模块M1.2：根据初始化导丝的物理状态计算导丝能量值，根据导丝能量值计算导丝的运动方程；
模块M1.3：根据导丝的运动方程模拟导丝在血管中运动时和血管的相互作用、导丝插入血管时受到血管壁的摩擦和碰撞，以及血管在导丝插入后的形变；
模拟导丝在血管中运动时和血管的相互作用，模拟导丝插入血管时受到血管壁的摩擦和碰撞，以及血管在导丝插入后的形变。用AABB包围盒方法来检测导丝和血管的相对碰撞，并为碰撞空间建立多分辨率网格，并将碰撞单元包围盒和哈希表对应的位置进行对应，均衡负载GPU资源进行碰撞检测，获得碰撞检测的结果。采用基于惩罚力的方法计算导丝和血管的碰撞响应，计算碰撞单元穿透深度，根据相对速度来确定惩罚力方向，进一步获得碰撞力；在导丝和血管的碰撞过程当中，导丝对血管也会产生力的作用。当导丝对血管的力垂直于血管壁时，会使血管产生形变。
模块M1.4：根据模拟导丝所处的物理状态，对导丝进行自适应处理；
根据导丝所处的阶段通过物理模型和几何模型相互耦合的方法对导丝进行可变长处理。根据导丝当前的物理状态对导丝进行自适应处理，在对复杂血管进行自适应处理时要根据血管的复杂程度来选取不同的曲率，在曲率大的地方增加采样点，在曲率小的地方减少采样点.通过可变长处理和自适应处理来优化导丝的模拟，使模拟更加真实准确。
所述物理状态包括：导丝的长度、导丝的质量、导丝的半径、杨氏模量、剪切模量和/或固有弯曲扭转属性；
在导丝上建立N个节点，并将导丝近似成一条中心线，可以忽略导丝的体积，中心线用方程r(σ)＝(rx(σ),ry(σ),rz(σ))T来表示，T表示矩阵的转置。其中r(σ)为弹性细杆中心线上每个线元值σ指定的空间位置。在导丝的每个节点上都建立笛卡尔坐标系。其中d1(σi)，d2(σi)，d3(σi)分别表示空间上某一点i上所建右手坐标系中相互垂直的向量，i＝1,2,...,N分别表示导丝的第1至N个节点。rx(σi)，ry(σi),rz(σi)分别为r(σi)在x,y,z轴上的空间位置表示。将中心线上线段的方向d1(σi)，d2(σi)，d3(σi)用四元素q＝(q1,q2,q3,q4)T来进行表示，其中q1,q2,q3,q4∈R3。通过建立坐标系可以更好的描述导丝的前进、后退、扭转等运动。
所述导丝能量包括动能、势能和/或耗散能；导丝能量的作用是为了用隐式欧拉法求解导丝的运动方程，表达导丝在血管中的形变和交互。
所述势能包括拉伸势能和弯曲势能；势能公式如下：
其中，Ks＝Esπr2是拉伸刚度常数，Es是拉伸杨氏模量，r是导丝半径，r'是半径的空间导数；KKK是刚度张量矩阵的对角线元素，其中
E是弯曲杨氏模量，G是剪切样式模量，uk＝dk*ω是方向变化率，dk是方向标价，ω为角速度；d表示，σ表示为中心线上的每个线元值，dσ表示σ的微分；
所述动能包括中心线平动能和转动能；动能计算公式如下：
其中，ρ是导丝密度，r是导丝半径，其中
是控制点坐标r的时间导数，IKK是刚度张量矩阵的对角线元素，其中
耗散能包括平动耗散能和角耗能；耗散能公式如下：
其中，γt是平动摩擦系数，γr是旋转摩擦系数，ω'r是相对角速度的空间导数，v'r是相对速度的空间导数；通过导丝的动能、势能、耗散能得到导丝能量模型；
根据导丝能量值运用隐式欧拉法求解导丝的运动方程：进一步整合化简上述能量构成的导丝运动方程，通过如下方程进行隐式求解：
获得导丝更新的各项属性值，通过公式(4)得到导丝状态的更新，其中，t表示具体时间，h代表时间间隔，ri为导丝上某一具体的点，vi代表某一具体的点的速度，mi为空间控制节点的质量，F为导丝所受合力，wj为角速度，qj为方向四元数，Qj为四元数矩阵。
具体地，如图3所示，所述模块M2包括：
模块M2.1：获取CTA血管医学影像并导入计算机；
模块M2.2：对导入计算机的CTA血管医学影像进行预处理，图像预处理的主要目的是消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性，最大限度地简化数据，从而改进特征提取、图像分割、匹配和识别的可靠性。并采用3D水平集的方法对预处理后的CTA血管医学影像进行血管三维建模；
模块M2.3：使用基于拓扑细化和追踪的算法对血管的中心线进行提取,并根据血管的中心线计算血管的内切球半径；为计算血管直径、最小直径，诊断病变位置打下基础。
模块M2.4：以提取的血管中心线为基础，根据血管的内切球半径计算血管的结构参数；
模块M2.5：根据计算的血管结构参数，对血管三维模型和人体空间进行配准；分别在病灶血管三维模型和人体空间上设置多个点，这些点不共面，将病灶血管三维模型上的点和人体坐标系下的点进行重合，实现血管三维模型和人体空间的配准。
模块M2.6：根据临床经验，在血管三维模型上标记器械的路径标记点，根据选择的路径标记点生成规划路径；同时根据血管的直径规划路径，确保导丝的直径小于通过血管的内径，将血管三维模型上的路径规划映射到人体空间；
模块M2.7：将血管的CTA图像和DSA影像进行配准，在血管CTA图像上以及医疗器械上放置标志物，通过光学传感器捕获标志物的位置，通过矩阵转换关系求解人体、器械、标记物之间的关系，从而确定病灶区域在人体内的具体位置；
模块M2.8：将人体空间、血管三维模型和/或DSA影像结合而成的医学影像输出到显示器上显示；
所述预处理包括：灰度化、几何变换和/或图像增强；
所述血管的结构参数包括：血管的直径、血管最小直径、血管最大曲率、血管最大挠率和/或确定路径节点的数量；
所述规划路径线总长度公式：
假设参数化形式的空间曲线公式为：
空间曲线的距离公式为：
其中，x'(x)为x(x)在空间内的导数，d(x)表示微分，根据此公式来计算规划路径线的总长度；
血管曲率计算公式为：
根据公式(7)计算出N个路径口的曲率，求得当前路径的最大曲率Cmax；
空间曲率的挠率计算公式为：
通过上述公式计算空间上每个点的挠率，通过对比获得曲线上的最大挠率Tmax；
所述血管的直径根据最大内切球半径计算出血管每点处的直径，通过比较血管每点处的直径求解出当前血管的最小直径。这时导丝导管的半径必须小于血管的最小半径才能保证导管导丝安全通过人体血管，否则导丝导管会对人体的血管造成伤害，甚至导致血管的破裂。
具体地，如图4所示，所述模块M3包括：
模块M3.1：确定机器人机械臂的动力学模型；
模块M3.2：机器人机械臂动力学模型参数标定；
模块M3.3：机器人机械臂碰撞检测；
模块M3.4：根据机器人机械臂碰撞检测，确定实时在线自适应模型；
所述模块M3.1包括，动力学公式如下：
τm＝τbody+τfric (11)
Imotor＝ktτm (12)
其中，q,
分别代表机械臂各关节电机的位移，速度，加速度；fc代表摩擦力系数，fv代表粘滞摩擦力系数，τfric代表关节驱动电机中减速器齿轮引起的摩擦力力矩；M(q)代表转动惯量系数矩阵，
表示科式力系数矩阵，g(q)代表重力系数矩阵；τbody代表机械臂刚体动力学模型部分力矩，τm电机的输出力矩，Imotor表示电机的理论输入电流；kt电机的力矩-电流系数；
所述模块M3.2包括：机械臂在出厂之前，工作人员需要通过CAD等软件建模的方法进行复杂的计算对机械臂的动力学模型参数进行标定，但是在机械臂使用过程当中，机械臂期间之间的摩擦力不可避免，长时间的摩擦会使摩擦力模型的参数发生明显的变化，根据公式(9)摩擦力力矩矩阵对电机的输入电流有决定性的作用，摩擦力模型属于动力学模型当中的时变部分；除摩擦力模型之外别的模型也会产生变化；M(q),
g(q)的参数可以通过CAD等软件方法进行建模得到。fc和fv可以通过系统辨识的方法进行测定。
所述模块M3.3包括：在机器人手臂未发生碰撞的情况下，通过传感器测量机械臂关节电机的位移，速度，加速度；并通过机械臂的动力学模型公式计算出电机的输出力矩τm，计算出电机的理论输入电流Imotor；在引入外力矩时电机的实际输入电流Ireal通过电机上配备的电流传感器测量并反馈给机器人的控制系统，计算电机的实际输入电流和电机的理论输入电流的差值：
IΔ＝Ireal-Imotor (13)
根据公式(13)计算得到IΔ是否超过阈值来判断机械手臂是否发生碰撞；当IΔ超过阈值则机械手臂发生了碰撞；当IΔ没有超过阈值则机械手臂没有发生了碰撞；
所述模块M3.4包括：在线自适应模型公式如下：
其中，IΔ为驱动电机的理论输入电流和实际电流的误差补偿值，a,b,c为自适应模型的系数，
为自适应模型的状态集；
利用自适应算法对自适应模型进行修正，所述的自适应算法包括递归二乘法和最小二乘法等算法；
驱动电机产生的输入电流的变化会引起碰撞检测的触发而不能作为自适应算法时电流误差的补偿，所以需要时间延迟；在t时刻进行自适应补偿的数据是t-Δt时刻采集的，进行自适应补偿时就屏蔽碰撞检测的信息，Δt就是延时参数；
利用自适应算法消除了动力学模型当中时变部分的影响，保证了碰撞检测的准确性与可靠性。同时应用了延时机制屏蔽了碰撞检测信息对于自适应补偿的影响。
具体地，所述模块M4包括：机器人系统进行初始化，在机器人的操作台上通过手柄控制四个机械手的前进、后退、正逆旋转；通过控制两个机械手臂的上升、下降、前进、后退，介入式血管手术当中机器人向病人血管内推送导管/导丝，导丝需要在血管内做前进、后退、旋转的动作，通过两个机械臂和四只机械手的协作来完成导管/导丝向人体内的推送；
所述模块M5包括：机器人仿真系统启动后，机器人仿真系统分为规划模式和手术模式；
规划工作模式提供了仿真系统在没有接入设备的情况下，使用软件模拟用户操作机器人，并显示系统状态信息；规划工作模式能创建模型、交互操作，以及支持三维可视化；规划工作模式过程包括患者管理以及路径规划及仿真；
路径规划及仿真包含提示信息包括：各组件的初始化信息参数和对用户当前操作给出提示信息和用户当前操作的中、低等级报警信息提示；
路径规划及仿真支持用户进行仿真运动轨迹规划包括：规划从启动位置到终点位置、显示规划路径的关键信息以及机械手和执行手的直线位移距离。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种血管介入手术机器人的手术仿真的方法，其特征在于，包括：
步骤M1：对导丝进行建模，得到导丝模型，完成导丝在人体血管内运动的模拟和环境的交互；
步骤M2：将血管的CTA医疗影像导入计算机中，对血管进行个性化建模；根据临床经验以及血管三维模型对医疗器械在血管三维模型内的路径进行规划，选择最优路径；
步骤M3：机器人机械臂碰撞检测，根据机器人机械臂碰撞检测，确定实时在线自适应模型；
步骤M4：完成机器人对包括前端导丝的加持、推送和旋转及复合运动的动作分解；
步骤M5：实现机器人利用导丝模型在血管三维模型中进行手术的仿真，同时在机器人手术时通过显示屏实时监控机械臂的运动状态和可视化运动数据。
2.根据权利要求1所述的一种血管介入手术机器人的手术仿真的方法，其特征在于，所述步骤M1包括：
步骤M1.1：基于Cosserat理论对导丝进行离散化，并初始化导丝的物理状态；
步骤M1.2：基于Cosserat理论对导丝进行离散化，在导丝的每个节点建立坐标系；
步骤M1.3：根据初始化导丝的物理状态计算导丝能量值，根据导丝能量值计算导丝的运动方程；
步骤M1.4：根据导丝的运动方程模拟导丝在血管中运动时和血管的相互作用、导丝插入血管时受到血管壁的摩擦和碰撞，以及血管在导丝插入后的形变；
步骤M1.5：根据模拟导丝所处的物理状态，对导丝进行自适应处理；
所述导丝的物理状态包括：导丝的长度、导丝的质量、导丝的半径、杨氏模量、剪切模量和/或固有弯曲扭转属性；
所述导丝能量包括动能、势能和/或耗散能。
3.根据权利要求1所述的一种血管介入手术机器人的手术仿真的方法，其特征在于，所述步骤M2包括：
步骤M2.1：获取CTA血管医学影像并导入计算机；
步骤M2.2：对导入计算机的CTA血管医学影像进行预处理，并采用3D水平集的方法对预处理后的CTA血管医学影像进行血管三维建模；
步骤M2.3：使用基于拓扑细化和追踪的算法对血管的中心线进行提取,并根据血管的中心线计算血管的内切球半径；
步骤M2.4：以提取的血管中心线为基础，根据血管的内切球半径计算血管的结构参数；
步骤M2.5：根据计算的血管结构参数，对血管三维模型和人体空间进行配准；
步骤M2.6：将人体空间、血管三维模型和/或DSA影像结合而成的医学影像输出到显示器上显示；
所述预处理包括：灰度化、几何变换和/或图像增强；
所述血管的结构参数包括：血管的直径、血管最小直径、血管最大曲率、血管最大挠率和/或确定路径节点的数量；
所述步骤M2.5包括：
步骤M2.5.1：根据临床经验，在血管三维模型上标记医疗器械的路径标记点，根据选择的路径标记点生成规划路径；同时根据血管的直径规划路径，确保导丝的直径小于通过血管的内径，将血管三维模型上的路径规划映射到人体空间；
步骤M2.5.2：将血管的CTA图像和DSA影像进行配准，在血管CTA图像上以及医疗器械上放置标志物，通过光学传感器捕获标志物的位置，通过矩阵转换关系求解人体、医疗器械、标记物之间的关系，从而确定病灶区域在人体内的具体位置。
4.根据权利要求1所述的一种血管介入手术机器人的手术仿真的方法，其特征在于，所述步骤M3包括：
步骤M3.1：确定机器人机械臂的动力学模型；
步骤M3.2：机器人机械臂动力学模型参数通过包括CAD软件进行建模标定；
步骤M3.3：对机器人机械臂动力学模型参数标定后，对机器人机械臂进行碰撞检测；
步骤M3.4：根据机器人机械臂碰撞检测，确定实时在线自适应模型；
所述步骤M3.1包括，动力学公式如下：
τm＝τbody+τfric (11)
Imotor＝ktτm (12)
其中，q,
分别代表机械臂各关节电机的位移，速度，加速度；fc代表摩擦力系数，fv代表粘滞摩擦力系数，τfric代表关节驱动电机中减速器齿轮引起的摩擦力力矩；M(q)代表转动惯量系数矩阵，
表示科式力系数矩阵，g(q)代表重力系数矩阵；τbody代表机械臂刚体动力学模型部分力矩，τm电机的输出力矩，Imotor表示电机的理论输入电流；kt电机的力矩-电流系数；
所述步骤M3.3包括：在机器人手臂未发生碰撞的情况下，通过传感器测量机械臂关节电机的位移，速度，加速度；并通过机械臂的动力学模型公式计算出电机的输出力矩τm，计算出电机的理论输入电流Imotor；在引入外力矩时电机的实际输入电流Ireal通过电机上配备的电流传感器测量并反馈给机器人的控制系统，计算电机的实际输入电流和电机的理论输入电流的差值：
IΔ＝Ireal-Imotor (13)
根据公式(13)计算得到IΔ是否超过阈值来判断机械手臂是否发生碰撞；当IΔ超过阈值则机械手臂发生了碰撞；当IΔ没有超过阈值则机械手臂没有发生了碰撞；
所述步骤M3.4包括：在线自适应模型公式如下：
其中，IΔ为驱动电机的理论输入电流和实际电流的误差补偿值，a,b,c为自适应模型的系数，
为自适应模型的状态集；
利用自适应算法对自适应模型进行修正，所述的自适应算法包括递归二乘法和最小二乘法等算法；
驱动电机产生的输入电流的变化会引起碰撞检测的触发而不能作为自适应算法时电流误差的补偿，所以需要时间延迟；在t时刻进行自适应补偿的数据是t-Δt时刻采集的，进行自适应补偿时就屏蔽碰撞检测的信息，Δt就是延时参数。
5.根据权利要求1所述的一种血管介入手术机器人的手术仿真的方法，其特征在于，所述步骤M4包括：机器人的机械手和机械臂包括旋转运动自由度和直线运动自由度，机器人系统进行初始化，在机器人的操作台上通过手柄控制四个机械手的前进、后退、正逆旋转；通过控制两个机械手臂的上升、下降、前进、后退，介入式血管手术当中机器人向病人血管内推送导管和/或导丝，导丝需要在血管内做前进、后退、旋转的动作，通过两个机械臂和四只机械手的协作来完成导管/导丝向人体内的推送；
所述步骤M5包括：实现对手术的仿真，同时在手术时通过显示屏实时监控机械臂的运动状态和可视化运动数据。
6.一种血管介入手术机器人的手术仿真的系统，其特征在于，包括：
模块M1：对导丝进行建模，得到导丝模型，完成导丝在人体血管内运动的模拟和环境的交互；
模块M2：将血管的CTA医疗影像导入计算机中，对血管进行个性化建模；根据临床经验以及血管三维模型对医疗器械在血管三维模型内的路径进行规划，选择最优路径；
模块M3：机器人机械臂碰撞检测，根据机器人机械臂碰撞检测，确定实时在线自适应模型；
模块M4：完成机器人对包括前端导丝的加持、推送和旋转及复合运动的动作分解；
模块M5：实现机器人利用导丝模型在血管三维模型中进行手术的仿真，同时在机器人手术时通过显示屏实时监控机械臂的运动状态和可视化运动数据。
7.根据权利要求6所述的一种血管介入手术机器人的手术仿真的系统，其特征在于，所述模块M1包括：
模块M1.1：基于Cosserat理论对导丝进行离散化，并初始化导丝的物理状态；
模块M1.2：基于Cosserat理论对导丝进行离散化，在导丝的每个节点建立坐标系；
模块M1.2：根据初始化导丝的物理状态计算导丝能量值，根据导丝能量值计算导丝的运动方程；
模块M1.3：根据导丝的运动方程模拟导丝在血管中运动时和血管的相互作用、导丝插入血管时受到血管壁的摩擦和碰撞，以及血管在导丝插入后的形变；
模块M1.4：根据模拟导丝所处的物理状态，对导丝进行自适应处理；
所述导丝的物理状态包括：导丝的长度、导丝的质量、导丝的半径、杨氏模量、剪切模量和/或固有弯曲扭转属性；
所述导丝能量包括动能、势能和/或耗散能。
8.根据权利要求6所述的一种血管介入手术机器人的手术仿真的系统，其特征在于，所述模块M2包括：
模块M2.1：获取CTA血管医学影像并导入计算机；
模块M2.2：对导入计算机的CTA血管医学影像进行预处理，并采用3D水平集的方法对预处理后的CTA血管医学影像进行血管三维建模；
模块M2.3：使用基于拓扑细化和追踪的算法对血管的中心线进行提取,并根据血管的中心线计算血管的内切球半径；
模块M2.4：以提取的血管中心线为基础，根据血管的内切球半径计算血管的结构参数；
模块M2.5：根据计算的血管结构参数，对血管三维模型和人体空间进行配准；
模块M2.6：将人体空间、血管三维模型和/或DSA影像结合而成的医学影像输出到显示器上显示；
所述预处理包括：灰度化、几何变换和/或图像增强；
所述血管的结构参数包括：血管的直径、血管最小直径、血管最大曲率、血管最大挠率和/或确定路径节点的数量；
所述模块M2.5包括：
模块M2.5.1：根据临床经验，在血管三维模型上标记医疗器械的路径标记点，根据选择的路径标记点生成规划路径；同时根据血管的直径规划路径，确保导丝的直径小于通过血管的内径，将血管三维模型上的路径规划映射到人体空间；
模块M2.5.2：将血管的CTA图像和DSA影像进行配准，在血管CTA图像上以及医疗器械上放置标志物，通过光学传感器捕获标志物的位置，通过矩阵转换关系求解人体、医疗器械、标记物之间的关系，从而确定病灶区域在人体内的具体位置。
9.根据权利要求6所述的一种血管介入手术机器人的手术仿真的系统，其特征在于，所述模块M3包括：
模块M3.1：确定机器人机械臂的动力学模型；
模块M3.2：机器人机械臂动力学模型参数标定；
模块M3.3：对机器人机械臂动力学模型参数标定后，对机器人机械臂进行碰撞检测；
模块M3.4：根据机器人机械臂碰撞检测，确定实时在线自适应模型；
所述模块M3.1包括，动力学公式如下：
τm＝τbody+τfric (11)
Imotor＝ktτm (12)
其中，q,
分别代表机械臂各关节电机的位移，速度，加速度；fc代表摩擦力系数，fv代表粘滞摩擦力系数，τfric代表关节驱动电机中减速器齿轮引起的摩擦力力矩；M(q)代表转动惯量系数矩阵，
表示科式力系数矩阵，g(q)代表重力系数矩阵；τbody代表机械臂刚体动力学模型部分力矩，τm电机的输出力矩，Imotor表示电机的理论输入电流；kt电机的力矩-电流系数；
所述模块M3.2包括：机械臂在出厂之前，需要对机械臂的动力学模型参数进行标定，但是在机械臂使用过程当中，机械臂之间的摩擦力不可避免，长时间的摩擦会使摩擦力模型的参数发生明显的变化，根据动力学公式摩擦力力矩矩阵对电机的输入电流有决定性的作用，摩擦力模型属于动力学模型当中的时变部分；除摩擦力模型之外别的模型也会产生变化；
所述模块M3.3包括：在机器人手臂未发生碰撞的情况下，通过传感器测量机械臂关节电机的位移，速度，加速度；并通过机械臂的动力学模型公式计算出电机的输出力矩τm，计算出电机的理论输入电流Imotor；在引入外力矩时电机的实际输入电流Ireal通过电机上配备的电流传感器测量并反馈给机器人的控制系统，计算电机的实际输入电流和电机的理论输入电流的差值：
IΔ＝Ireal-Imotor (13)
根据公式(13)计算得到IΔ是否超过阈值来判断机械手臂是否发生碰撞；当IΔ超过阈值则机械手臂发生了碰撞；当IΔ没有超过阈值则机械手臂没有发生了碰撞；
所述模块M3.4包括：在线自适应模型公式如下：
其中，IΔ为驱动电机的理论输入电流和实际电流的误差补偿值，a,b,c为自适应模型的系数，
为自适应模型的状态集；
利用自适应算法对自适应模型进行修正，所述的自适应算法包括递归二乘法和最小二乘法等算法；
驱动电机产生的输入电流的变化会引起碰撞检测的触发而不能作为自适应算法时电流误差的补偿，所以需要时间延迟；在t时刻进行自适应补偿的数据是t-Δt时刻采集的，进行自适应补偿时就屏蔽碰撞检测的信息，Δt就是延时参数。
10.根据权利要求6所述的一种血管介入手术机器人的手术仿真的系统，其特征在于，所述模块M4包括：机器人的机械手和机械臂包括旋转运动自由度和直线运动自由度，机器人系统进行初始化，在机器人的操作台上通过手柄控制四个机械手的前进、后退、正逆旋转；通过控制两个机械手臂的上升、下降、前进、后退，介入式血管手术当中机器人向病人血管内推送导管和/或导丝，导丝需要在血管内做前进、后退、旋转的动作，通过两个机械臂和四只机械手的协作来完成导管/导丝向人体内的推送；
所述步骤M5包括：实现对手术的仿真，同时在手术时通过显示屏实时监控机械臂的运动状态和可视化运动数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010067493.6A CN111243746B (zh) | 2020-01-20 | 2020-01-20 | 一种血管介入手术机器人的手术仿真方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010067493.6A CN111243746B (zh) | 2020-01-20 | 2020-01-20 | 一种血管介入手术机器人的手术仿真方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111243746A true CN111243746A (zh) | 2020-06-05 |
| CN111243746B CN111243746B (zh) | 2023-05-26 |
Family
ID=70865862
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010067493.6A Active CN111243746B (zh) | 2020-01-20 | 2020-01-20 | 一种血管介入手术机器人的手术仿真方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111243746B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111784751A (zh) * | 2020-06-16 | 2020-10-16 | 北京理工大学 | 基于3d/2d配准的导丝3d模拟跟踪方法及装置 |
| CN111916214A (zh) * | 2020-07-16 | 2020-11-10 | 天津理工大学 | 一种用于血管介入手术医生训练系统的导管轨迹预测方法 |
| CN112017516A (zh) * | 2020-08-26 | 2020-12-01 | 北京理工大学 | 一种远程血管介入手术训练系统 |
| CN112700877A (zh) * | 2021-01-11 | 2021-04-23 | 上海交通大学 | 一种血管介入训练安全防护方法 |
| CN114027984A (zh) * | 2022-01-06 | 2022-02-11 | 极限人工智能有限公司 | 迂曲血管穿越控制装置及血管机器人系统 |
| CN115409762A (zh) * | 2021-05-28 | 2022-11-29 | 南京博视医疗科技有限公司 | 自动检测规划点与血管的重叠的方法及装置 |
| CN116741387A (zh) * | 2023-06-26 | 2023-09-12 | 强联智创（北京）科技有限公司 | 由计算机实施的介入耗材的模拟方法及相关产品 |
| US11918423B2 (en) | 2018-10-30 | 2024-03-05 | Corindus, Inc. | System and method for navigating a device through a path to a target location |
| CN118046421A (zh) * | 2024-04-16 | 2024-05-17 | 以诺康医疗科技（苏州）有限公司 | 手术机器人关节实际力矩的自动采集方法及系统 |
| CN118046421B (zh) * | 2024-04-16 | 2024-06-21 | 以诺康医疗科技（苏州）有限公司 | 手术机器人关节实际力矩的自动采集方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101393654A (zh) * | 2008-10-07 | 2009-03-25 | 华南师范大学 | 一种计算机辅助脏器手术仿真系统 |
| US20090130643A1 (en) * | 2005-07-20 | 2009-05-21 | Corrado Cusano | Method for simulating a manual interventional operation by a user in a medical procedure |
| US8311791B1 (en) * | 2009-10-19 | 2012-11-13 | Surgical Theater LLC | Method and system for simulating surgical procedures |
| CN102968811A (zh) * | 2012-10-25 | 2013-03-13 | 上海交通大学 | 微创血管介入手术中导丝的实时运动仿真方法 |
| CN103699776A (zh) * | 2013-12-01 | 2014-04-02 | 北京航空航天大学 | 一种面向心血管介入手术仿真的导丝模拟方法 |
| CN105096716A (zh) * | 2015-09-01 | 2015-11-25 | 深圳先进技术研究院 | 血管内介入手术模拟系统 |
| CN106974730A (zh) * | 2017-04-01 | 2017-07-25 | 上海术理智能科技有限公司 | 基于虚拟现实和医学影像的手术模拟方法、装置和设备 |
| US20180315346A1 (en) * | 2015-11-02 | 2018-11-01 | Centre National De La Recherche Scientifique | Medico-surgical simulator and medico-surgical simulation method |
| CN109009434A (zh) * | 2018-08-15 | 2018-12-18 | 苏州大学张家港工业技术研究院 | 腹腔微创外科机器人虚拟手术方法 |
-
2020
- 2020-01-20 CN CN202010067493.6A patent/CN111243746B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090130643A1 (en) * | 2005-07-20 | 2009-05-21 | Corrado Cusano | Method for simulating a manual interventional operation by a user in a medical procedure |
| CN101393654A (zh) * | 2008-10-07 | 2009-03-25 | 华南师范大学 | 一种计算机辅助脏器手术仿真系统 |
| US8311791B1 (en) * | 2009-10-19 | 2012-11-13 | Surgical Theater LLC | Method and system for simulating surgical procedures |
| CN102968811A (zh) * | 2012-10-25 | 2013-03-13 | 上海交通大学 | 微创血管介入手术中导丝的实时运动仿真方法 |
| CN103699776A (zh) * | 2013-12-01 | 2014-04-02 | 北京航空航天大学 | 一种面向心血管介入手术仿真的导丝模拟方法 |
| CN105096716A (zh) * | 2015-09-01 | 2015-11-25 | 深圳先进技术研究院 | 血管内介入手术模拟系统 |
| WO2017036027A1 (zh) * | 2015-09-01 | 2017-03-09 | 深圳先进技术研究院 | 血管内介入手术模拟系统 |
| US20180315346A1 (en) * | 2015-11-02 | 2018-11-01 | Centre National De La Recherche Scientifique | Medico-surgical simulator and medico-surgical simulation method |
| CN106974730A (zh) * | 2017-04-01 | 2017-07-25 | 上海术理智能科技有限公司 | 基于虚拟现实和医学影像的手术模拟方法、装置和设备 |
| CN109009434A (zh) * | 2018-08-15 | 2018-12-18 | 苏州大学张家港工业技术研究院 | 腹腔微创外科机器人虚拟手术方法 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11918423B2 (en) | 2018-10-30 | 2024-03-05 | Corindus, Inc. | System and method for navigating a device through a path to a target location |
| CN111784751B (zh) * | 2020-06-16 | 2022-12-02 | 北京理工大学 | 基于3d/2d配准的导丝3d模拟跟踪方法及装置 |
| CN111784751A (zh) * | 2020-06-16 | 2020-10-16 | 北京理工大学 | 基于3d/2d配准的导丝3d模拟跟踪方法及装置 |
| CN111916214A (zh) * | 2020-07-16 | 2020-11-10 | 天津理工大学 | 一种用于血管介入手术医生训练系统的导管轨迹预测方法 |
| CN111916214B (zh) * | 2020-07-16 | 2024-04-16 | 深圳爱博合创医疗机器人有限公司 | 一种用于血管介入手术医生训练系统的导管轨迹预测方法 |
| CN112017516A (zh) * | 2020-08-26 | 2020-12-01 | 北京理工大学 | 一种远程血管介入手术训练系统 |
| CN112017516B (zh) * | 2020-08-26 | 2022-10-04 | 深圳市爱博医疗机器人有限公司 | 一种远程血管介入手术训练系统 |
| CN112700877A (zh) * | 2021-01-11 | 2021-04-23 | 上海交通大学 | 一种血管介入训练安全防护方法 |
| CN115409762A (zh) * | 2021-05-28 | 2022-11-29 | 南京博视医疗科技有限公司 | 自动检测规划点与血管的重叠的方法及装置 |
| CN115409762B (zh) * | 2021-05-28 | 2023-11-24 | 南京博视医疗科技有限公司 | 自动检测规划点与血管的重叠的方法及装置 |
| CN114027984B (zh) * | 2022-01-06 | 2022-03-11 | 极限人工智能有限公司 | 迂曲血管穿越控制装置及血管机器人系统 |
| CN114027984A (zh) * | 2022-01-06 | 2022-02-11 | 极限人工智能有限公司 | 迂曲血管穿越控制装置及血管机器人系统 |
| CN116741387A (zh) * | 2023-06-26 | 2023-09-12 | 强联智创（北京）科技有限公司 | 由计算机实施的介入耗材的模拟方法及相关产品 |
| CN118046421A (zh) * | 2024-04-16 | 2024-05-17 | 以诺康医疗科技（苏州）有限公司 | 手术机器人关节实际力矩的自动采集方法及系统 |
| CN118046421B (zh) * | 2024-04-16 | 2024-06-21 | 以诺康医疗科技（苏州）有限公司 | 手术机器人关节实际力矩的自动采集方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111243746B (zh) | 2023-05-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111243746B (zh) | 一种血管介入手术机器人的手术仿真方法及系统 | |
| Kühnapfel et al. | Endoscopic surgery training using virtual reality and deformable tissue simulation | |
| Basdogan et al. | Virtual environments for medical training: graphical and haptic simulation of laparoscopic common bile duct exploration | |
| US7277833B2 (en) | Modeling of the workspace and active pending behavior of an endscope using filter functions | |
| CN102207997B (zh) | 基于力反馈的机器人微创手术仿真系统 | |
| US20120219937A1 (en) | Haptic needle as part of medical training simulator | |
| Alderliesten et al. | Simulation of minimally invasive vascular interventions for training purposes | |
| Dequidt et al. | Interactive simulation of embolization coils: Modeling and experimental validation | |
| Wang et al. | A computer-based real-time simulation of interventional radiology | |
| Wang et al. | A virtual reality based surgical skills training simulator for catheter ablation with real-time and robust interaction | |
| JP2008134373A (ja) | 手術シミュレータ用生体データ作成方法及びシステム、並びに手術シミュレーション方法及び手術シミュレータ | |
| Zhang et al. | [Retracted] Study on Collision Detection and Force Feedback Algorithm in Virtual Surgery | |
| Adhami et al. | A versatile system for computer integrated mini-invasive robotic surgery | |
| Meng et al. | Evaluation of an autonomous navigation method for vascular interventional surgery in virtual environment | |
| Faria et al. | Experiential learning of robotics fundamentals based on a case study of robot-assisted stereotactic neurosurgery | |
| Tercero et al. | Haptic feedback in endovascular tele-surgery simulation through vasculature phantom morphology changes | |
| Guo et al. | The virtual reality simulator-based catheter training system with haptic feedback | |
| Wei et al. | FEM-based guide wire simulation and interaction for a minimally invasive vascular surgery training system | |
| Aloisio et al. | Computer-based simulator for catheter insertion training | |
| Duratti et al. | A real-time simulator for interventional radiology | |
| Luboz et al. | Real-time Seldinger technique simulation in complex vascular models | |
| Mi et al. | A multi-body mass-spring model for virtual reality training simulators based on a robotic guide wire operating system | |
| Guo et al. | A novel VR-based simulator for the interventional surgical catheter and guidewire cooperation | |
| Guo et al. | Deformation of the catheter and 3D blood vessel model for a VR-based catheter system | |
| Devreker et al. | Intuitive control strategies for teleoperation of active catheters in endovascular surgery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |