CN113499138A - 一种外科手术的主动导航系统及其控制方法 - Google Patents
一种外科手术的主动导航系统及其控制方法 Download PDFInfo
- Publication number
- CN113499138A CN113499138A CN202110764801.5A CN202110764801A CN113499138A CN 113499138 A CN113499138 A CN 113499138A CN 202110764801 A CN202110764801 A CN 202110764801A CN 113499138 A CN113499138 A CN 113499138A
- Authority
- CN
- China
- Prior art keywords
- positioning
- mechanical arm
- pose
- optimal
- formula
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000005259 measurement Methods 0.000 claims abstract description 28
- 238000005457 optimization Methods 0.000 claims abstract description 25
- 230000000007 visual effect Effects 0.000 claims abstract description 21
- 230000008447 perception Effects 0.000 claims abstract description 18
- 230000008569 process Effects 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 22
- 239000000126 substance Substances 0.000 claims description 12
- 238000001356 surgical procedure Methods 0.000 claims description 9
- 230000007613 environmental effect Effects 0.000 claims description 8
- 208000006440 Open Bite Diseases 0.000 claims description 4
- 238000000576 coating method Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 239000011248 coating agent Substances 0.000 claims description 2
- 239000003550 marker Substances 0.000 claims description 2
- 230000006872 improvement Effects 0.000 abstract description 3
- 230000003287 optical effect Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 12
- 238000013461 design Methods 0.000 description 3
- 239000008188 pellet Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
- A61B2034/2057—Details of tracking cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2059—Mechanical position encoders
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2072—Reference field transducer attached to an instrument or patient
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/90—Identification means for patients or instruments, e.g. tags
- A61B90/94—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text
- A61B90/96—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text using barcodes
Abstract
本发明公开一种外科手术的主动导航系统及其控制方法。所述系统包括:控制主机、任意自由度的串联机械臂、定位传感器及其适配的一个或多个定位工具、环境感知传感器。控制方法包括:步骤1、测量视角多目标优化:输入定位工具的位置参数并设置其他相关参数,通过多目标优化求解出最优测量视角的集合;步骤2、机械臂位姿的多目标决策:根据最优测量视角的集合,采用多目标决策算法向用户推荐手术各环节中机械臂的最优位姿方案;或者根据用户根据偏好选择手术各环节中机械臂的最优位姿方案;步骤3、机械臂路径规划与执行:根据所选择的手术各环节中机械臂的最优位姿方案,规划出机械臂从当前位姿到达最优位姿方案的路径。本发明解决了手术导航定位的机器人最优的观测位姿的获取,以及实时主动调整位置,避免定位工具被遮挡,提高导航过程的定位精度等问题。
Description
技术领域
本发明涉及医疗设备技术领域,具体涉及外科手术机器人领域,尤其涉及一种外科手术的主动导航系统及其控制方法。
背景技术
依靠图像导航技术,辅助手术系统可以对手术部位以及操作工具进行精确的定位,以辅助医生开展微创手术、远程手术或者由机器人辅助执行外科手术。目前,手术导航依赖光学导航设备通过检测识别光学定位工具,并进行图像以及位置的结算实现对手术部位或者手术工具的定位功能。实际操作时,手术导航设备由辅助手术的医生根据手术需要进行人手调整。具体的,通过拖动设备的手柄,把光学导航设备调整到合适的观测位置。然而,这种交互方式在实际手术过程中带来诸多不便,而且对于一些特殊的手术位置设计,单靠人手难以调整出合适的测量位置,无法保证位置精度。
赋予光学导航设备运动能力,成为新的趋势。需要实现光学导航的主动导航,不仅要求机器人具备用于定位的光学导航传感器,还需要具备其他环境感知功能的传感器,来感知手术室内发生的人为或者设备位置变动的事件发生,由此触发响应的主动运动。因此需要特定的硬件构成系统;同时,机器人主动调整到的目标位姿需要综合考虑多种因素,包括但仅限于:测量的精度、靶标定位的可测量条件、机器人的可达性等,并且在术中调整位姿时还不能丢失任何一个光学定位工具,因此需要特定的机器人位姿优化以及路径规划的控制算法。
发明内容
考虑到上述因素,本发明提供一种外科手术的主动导航系统及其控制方法。本发明的技术方案解决了手术导航定位的机器人最优的观测位姿的获取,以及实时主动调整位置,避免导航靶标定位器被遮挡,提高导航过程的定位精度等问题。
一种外科手术的主动导航系统,该系统包括:控制主机、任意自由度的串联机械臂、定位传感器及其适配的一个或多个定位工具、环境感知传感器;环境感知传感器与定位传感器的重合测量区域为外科手术的主动导航系统的可测量区域;
定位工具的数量为一个或多个;每个定位工具上有K个按照一定位置关系分布形成的定位部件;所述定位部件为能够反光或发光的特异性标志物、和/或由若干个特定图案按一定位置关系排列后形成的部件;能够反光的特异性标志物至少包括:表面覆盖有高反光度涂层的小球;能够发光的特异性标志物至少包括:LED灯;所述特定图案为经过专门编码设计的图案,至少包括二维码、格雷码;
每个定位工具上各个定位部件的位置与/或数量不相同,用以区分定位工具;同一个定位工具的K个定位部件的质心都在同一个平面上;
每个定位工具中心处设计有特异的形状特征,把特征轴线与定位部件质心所在的平面交点作为坐标原点;所述形状特征至少可以为圆孔、半球、凸台、圆锥;以所述坐标原点为球心,为每个定位工具构造包络该定位工具上K个定位部件的最小外接球,所述最小外接球的半径为;以K个定位部件的质心所在平面的法线方向为z轴方向;且朝K个定位部件附着的一侧的方向为z轴正向;以垂直于z轴且指向离坐标原点最远的定位部件的方向为x轴正向,建立三维直角坐标系;
一种用于上述外科手术的主动导航系统的控制方法,所述控制方法包括以下步骤:
步骤1、测量视角多目标优化:输入定位工具的位置参数并设置其他相关参数,通过多目标优化求解出最优测量视角的集合;
步骤2、机械臂位姿的多目标决策:根据所述最优测量视角的集合,采用多目标决策算法向用户推荐手术各环节中机械臂的最优位姿方案;或者根据用户根据偏好选择手术各环节中机械臂的最优位姿方案;
步骤3、机械臂路径规划与执行:根据所选择的手术各环节中机械臂的最优位姿方案,规划出机械臂从当前位姿到达最优位姿方案的路径。
可选地,所述步骤1包括以下步骤:
步骤1.1、获取手术过程中各个环节的所有定位工具的信息及其所在的位置,建立基于决策变量x的多目标最小化问题:
其中,表示第m个定位工具的坐标原点与定位传感器的坐标原点之间的距离;表示所有定位工具的坐标原点与定位传感器的坐标原点之间的最大距离;表示对于给定的一对定位工具j与k,其在定位传感器各个相机坐标中较小的无遮挡裕度函数;表示在决策变量x所决定的机械臂位姿下,在定位传感器所有相机中,测量到的所有定位工具的二元组合中,最小的无遮挡裕度函数值;
上述公式中:G为定位传感器中左侧或右侧摄像头的坐标原点;L、R分别为定位传感器中左侧、右侧摄像头的坐标原点;和分别为任意两个定位工具与的半径分别为、的最小外接球的球心,即定位工具与的坐标原点;和分别为定位工具与的扩展半径;裕度系数为大于1的常数;向量长度和通过定位传感器测量获得;表示向量点乘;
约束条件1表示任意定位工具都要处于定位传感器与环境感知传感器共同可检测的范围内;
约束条件2表示从定位传感器的任意一侧摄像头向任意一个定位工具的连线与该定位工具的z轴方向之间的夹角不能大于既定的阈值;表示第i个定位工具的坐标原点向指向定位传感器中左侧或右侧摄像头坐标原点的向量与第i个定位工具的z轴方向向量之间的夹角;Th为预设阈值;
可选地,所述步骤2中,所述根据所述最优测量视角的集合,采用多目标决策算法向用户推荐手术各环节中机械臂的最优位姿方案,包括以下步骤:
步骤2.1:找出所述最优测量视角的集合中,在单一目标上最优的解,并计算出所述最优测量视角的集合对应曲线的两个端点所在的直线方程:
步骤2.2:计算所述最优测量视角的集合对应曲线中每个点到上述直线的垂直距离d,将每个点的目标值代入以下公式:
步骤2.3:将垂直距离d的最大值所对应最优测量视角的解作为所述机械臂关节值的多目标决策的推荐值;
其中,A、B、C通过单目标最优解的目标值求解线性方程获得。
可选地,所述步骤3包括以下步骤:
步骤3.1:手术过程中,在进入指定的手术环节以后,根据手术前机械臂位姿的优化求解以及多目标决策所获得的最优位姿方案以及手术进行情况中机械臂的最优位姿方案,获取当前手术环节的目标位姿;
步骤3.3:随机生成候选路径点;
步骤3.4:判断路径点是否会碰到障碍物;如果会,则返回步骤3.3;否则继续下一步;
步骤3.5:判断在该位姿上是否所有定位工具都可以被检测;如果不可以,则返回步骤3.3;否则继续下一步;
其中,所述判断在该位姿上是否所有定位工具都可以被检测的步骤中,需要定位工具符合上述约束条件1~3;
步骤3.6:将当前的候选路径点加入路径目录中,用以生成合理的路径规划;
步骤3.7:判断是否到达了目标位姿,如果还未达到,则返回步骤3.3;否则找出当前路径目录中最短的路径,作为机械臂运动的路径;
步骤3.8:执行上述路径位姿,使手术机器人的机械臂到达目标位姿。
有益效果:
本发明提供一种外科手术的主动导航系统及其控制方法。本发明的技术方案解决了手术导航定位的机器人最优的观测位姿的获取,以及实时主动调整位置,避免导航靶标定位器被遮挡,提高导航过程的定位精度等问题。
附图说明
图1为本发明的外科手术的主动导航系统的总体结构图;
图2为本发明的外科手术的主动导航系统的实施方案图;
图3为本发明的外科手术的主动导航系统中坐标系的建立示意图;
图4为本发明的定位工具及其坐标系建立图;
图7为本发明的测量视角多目标优化的最优解图;
图8为本发明的多目标决策算法提供的最优解推荐方法图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
本发明提供一种外科手术的主动导航系统及其控制方法。
图1为本发明的外科手术的主动导航系统的总体结构图。如图1所示,所述系统包括:手术操作规划系统、用于数据处理和机器人控制的控制主机、机械臂、定位传感器及其适配的定位工具、环境感知传感器;所述环境感知传感器实现手术环境,例如:潜在遮挡物和/或障碍物的感知。所述机械臂为7自由度的串联机械臂;所述定位传感器和/或环境感知传感器连接在所述机械臂的末端法兰上。
定位传感器可以采用多种不同的模态方式:如基于可见光的双目深度摄像头、基于近红外光双目定位摄像头等,对应的定位工具是与定位传感器相匹配的光学二维码或者其他编码图案,或者表面覆盖有特定涂料的光学小球组成的定位工具等。
环境感知传感器同样可以是多种模态方式的:如基于可见光的双目深度摄像头、激光雷达、超声波传感器等。
环境感知传感器与定位传感器可以是两种的设备载体的组合,如:基于近红外光双目定位摄像头+激光雷达的方案;也可以是同一类传感器,如:基于可见光的双目深度摄像头,既可以用于定位,同时可以实现手术环境感知。但是,无论是何种方式,环境感知传感器与定位传感器测量的空间区域必须要相互重合的区域,并且相互重合的区域是本系统的可测量区域。
图2为本发明的外科手术的主动导航系统的实施方案图。如图2所示,实施方案如下:系统由一台7自由度机械臂以及连接在机械臂末端法兰上的近红外光学定位系统(作为“定位传感器”)和双目摄像头(作为“环境感知传感器”),以及用于数据处理和机器人控制的计算机、近红外光学定位系统适配的定位工具组成。
这里的近红外光学定位系统包括两个红外发射灯、以及用于检测反射红外光的红外光摄像头。其工作原理是:左右两个红外发射灯发射特定红外光,投射在定位工具上的反光小球表面。反光小球反射红外光,并被红外光摄像头检测到,其根据接收到的反射红外光推算出近红外光学定位系统与各个小球之间的相对位置,并根据预先标定好的定位关系模型计算出各个定位工具相对于近红外光学定位系统的相对位置。
机械臂的基座坐标为,第k个关节的关节角为,末端法兰的坐标系原点为。近红外光学定位系统中心坐标为,左右两边的摄像头坐标分别为与。在机械臂处于位置p时,近红外光学定位系统可测量区域空间为。双目摄像头的坐标系为C。
如图2中的附图标记含义如下:1—七自由度机械臂,2—近红外光学定位系统,3—双目摄像头,4—定位工具,5—计算机。
图3为本发明的外科手术的主动导航系统中坐标系的建立示意图。所有定位工具的集合为S,对于第个工具,其坐标系圆心为,即。光学定位系统中心坐标为N,左右两边的摄像头坐标分别为R与L。在机械臂处于位置p时,光学定位系统与环境感知传感器重合的可测量区域空间为A(p),即无遮挡条件下,在机械臂处于位置p时,定位工具可以被正常测量的所有可能位置的集合。双目摄像头的坐标系为C。
图4为本发明的定位工具及其坐标系建立图。定位工具选用与近红外光学定位系统(即“定位传感器”)相匹配的定位工具,如图4所示。每一个定位工具上有4个表面覆盖有高反光度涂层的小球,按一定的位置关系分布形成的。同一个定位工具的4个小球的球心都在同一个平面上,以K个定位部件的质心所在平面的法线方向为z轴方向;且朝K个定位部件附着的一侧的方向为z轴正向。每一个定位工具小球的位置与/或数量不相同,用以区分定位工具。每个定位工具采用小球球心所在平面与定位工具连杆中心小孔(即外形特征的一种实例)的中心轴相交点作为坐标原点,并以相交点指向离原点距离最远的小球方向为x轴方向。以交点为圆心,建立包络所有小球的最小外接球,该外接球半径为。所有定位工具的集合为S,对于第的工具,其坐标系圆心为,即。
本发明提供一种外科手术机器人主动导航的控制方法。这种控制方法的实现,包括:“测量视角多目标优化”-“机械臂位姿的多目标决策”-“机械臂路径规划与执行”三部分组成。具体如下:
·测量视角多目标优化:通过把定位工具的情况及位置等输入程序,设置好相关的参数后,通过多目标优化,求解出最优测量视角的集合。
·机械臂位姿的多目标决策:基于上一个步骤中通过优化获得最优解集合,采用多目标决策算法,向用户推荐方案,或者由用户根据偏好选择手术各环节中合适的手术导航机械臂的位姿方案。
·机械臂路径规划与执行:基于上一步骤获得的手术各环节的最优位姿方案,机械臂通过算法规划出从当前位姿,到达最优位姿方案。在此过程中需要考虑在运动过程中定位传感器始终可以正常对该手术环节需要的所有定位工具进行定位以及在此过程中出现的非预期的障碍,并最终到达合适的最优位姿。
上述三部分的内容具体介绍如下:
(一)测量视角多目标优化:通过手术操作规划系统获取手术过程中各个环节的所有定位工具的信息以及所在的位置。建立如下多目标最小化问题:
优化目标1:最小化定位工具与近红外光学定位系统的最大距离:
其中,表示对于给定的一对定位工具j与k,其在定位传感器各个相机坐标中较小的无遮挡裕度函数;表示在q所决定的机械臂位姿下,在定位传感器所有相机中,测量到的所有定位工具的二元组合中,最小的无遮挡裕度函数值;
图5为本发明的无遮挡裕度函数设计的示意图,其描述了无遮挡裕度函数的定义。具体地,图5中描述的是任意两个定位工具以及定位传感器左或者右边其中一侧摄像头的几何关系。因此如果对于定位工具数量大于2时,任意两个定位工具和任意一侧摄像头就会产生一个特定的值,例如:3个定位工具可以产生6个值,即:,,,,,
其中,G是指定位传感器左或右其中一侧摄像头坐标系原点。和分别指任意两个定位工具抽象成球体以后的球心,同时也是定位工具坐标系原点。和是指定位工具抽象成球体的半径。选择每个定位工具采用小球球心所在平面与定位工具连杆中心小孔(即外形特征的一种实例)的中心轴相交点作为坐标原点。以坐标原点为球心的最小外接球半径为。考虑到实际操作时的误差影响,在的基础上进行裕度倍的扩展,获得定位工具抽象成球体的半径。(这里定位工具的特点是,以一个中心延伸出4条或以上共平面的连杆,连杆末端设置有小球。在一套导航设备内,每一个定位工具的小球之间相对位置是唯一的)。其中>1。
最后,计算
约束条件如下:
其中,
约束条件1表示任意定位工具都要处于定位传感器与环境感知传感器共同可检测的范围内;
约束条件2表示从定位传感器的任意一侧摄像头向任意一个定位工具的连线与该定位工具的z轴方向之间的夹角不能大于既定的阈值;表示第i个定位工具的坐标原点向指向定位传感器中左侧或右侧摄像头坐标原点的向量与第i个定位工具的z轴方向向量之间的夹角;Th为预设阈值,例如:Th=π/2;
如图6所示:其中,G是指定位传感器左或者右边其中一侧摄像头坐标系原点。为在G坐标系下定位工具Z轴单位向量。通过定位传感器可以求得和。代入公式计算即可。另外,需要说明的是,任意一侧相机对于任意一个定位工具,均会有一个观测角大小值。
综上所述,即需要优化以下优化问题:
同时最小化:
并同时考虑以下约束:
通过约束多目标优化算法,可以对上述的优化问题进行求解。在本实施例中采用MOEA/D-CDP算法,可以获得上述优化问题的帕累托最优解。
图7为本发明的测量视角多目标优化的最优解图。
如图7所示:图中每一个点都对应着一种最优化的位姿方案。这些方案互不支配,都是最优解。
(二)机械臂位姿的多目标决策:
在获得如图7所示的测量视角多目标优化的最优解以后,用户可以直接根据自身偏好,选择上述的任意一个最优解;或者基于系统所提供的多目标决策算法进行推荐后,再进行选择。
图8为本发明的多目标决策算法提供的最优解推荐方法图。
所述最优解推荐方法的具体步骤如下:
步骤1:找出最优解集合中,在单一个目标上最优的解,并计算出两个端点所在的直线方程为:
步骤2:计算各个点到这条直线的垂直距离d.把每个点的目标值代入公式
步骤3:根据用户的需要,推荐d值最大的一个最优解作为推荐值,直接使用;或者若干个最优解,由用户进行选择。
(三)机械臂路径规划与执行:
步骤1:在具体手术过程中,进入了指定的手术环节步骤以后,根据手术前机械臂位姿的优化求解以及多目标决策所获得的最优位姿方案以及手术进行情况中机械臂的最优位姿方案,获取当前手术环节的目标位姿(即在机械臂位姿的多目标决策环节中选定的最优目标)。
步骤3:算法随机生成候选路径点。
步骤4:判断路径点是否会碰到障碍物,如果会,则返回步骤3;否则继续进行下一步判断;
步骤5:判断是否在该位姿上所有定位工具都可以被检测,如果不可以,则返回步骤3;否则继续下一步;
其中,判断定位工具是否可以被检测,需要定位工具符合以下约束条件:
步骤6:把当前的候选路径点加入路径目录当中,用于最后生成合理的路径规划;
步骤7:是否到达了目标的位姿,如果还未达到,则返回步骤3,否则找出当前目录中最短的路径,作为机械臂运动的路径。
步骤8:执行上述路径位姿,使机器人到达目标位姿。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (5)
1.一种外科手术的主动导航系统,其特征在于,该系统包括:控制主机、多自由度的串联机械臂、定位传感器及其适配的一个或多个定位工具、环境感知传感器;环境感知传感器与定位传感器的重合测量区域为外科手术的主动导航系统的可测量区域;
定位工具的数量为一个或多个;每个定位工具上有K个按照一定位置关系分布形成的定位部件;所述定位部件为能够反光或发光的特异性标志物、和/或由若干个特定图案按一定位置关系排列后形成的部件;能够反光的特异性标志物至少包括:表面覆盖有高反光度涂层的小球;能够发光的特异性标志物至少包括:LED灯;所述特定图案为经过专门编码设计的图案,至少包括二维码、格雷码;
每个定位工具上各个定位部件的位置与/或数量不相同,用以区分定位工具;同一个定位工具的K个定位部件的质心都在同一个平面上;
每个定位工具中心处设计有特异的形状特征,把特征轴线与定位部件质心所在的平面
交点作为坐标原点;所述形状特征至少可以为圆孔、半球、凸台、圆锥;以所述坐标原点为球
心,为每个定位工具构造包络该定位工具上K个定位部件的最小外接球,所述最小外接球的
半径为;以K个定位部件的质心所在平面的法线方向为z轴方向;且朝K个定位部件附着的
一侧的方向为z轴正向;以垂直于z轴且指向离坐标原点最远的定位部件的方向为x轴正向,
建立三维直角坐标系;
2.一种用于如权利要求1所述的外科手术的主动导航系统的控制方法,其特征在于,所述控制方法包括以下步骤:
步骤1、测量视角多目标优化:输入定位工具的位置参数并设置其他相关参数,通过多目标优化求解出最优测量视角的集合;
步骤2、机械臂位姿的多目标决策:根据所述最优测量视角的集合,采用多目标决策算法向用户推荐手术各环节中机械臂的最优位姿方案;或者根据用户根据偏好选择手术各环节中机械臂的最优位姿方案;
步骤3、机械臂路径规划与执行:根据所选择的手术各环节中机械臂的最优位姿方案,规划出机械臂从当前位姿到达最优位姿方案的路径。
3.根据权利要求2所述的控制方法,其特征在于,所述步骤1包括以下步骤:
步骤1.1、获取手术过程中各个环节的所有定位工具的信息及其所在的位置,建立基于决策变量x的多目标最小化问题:
其中,表示第m个定位工具的坐标原点与定位传感器的坐标原点之间的距离;
表示所有定位工具的坐标原点与定位传感器的坐标原点之间的最大距离;表示对
于给定的一对定位工具j与k,其在定位传感器各个相机坐标中较小的无遮挡裕度函数;表示在决策变量x所决定的机械臂位姿下,在定位传感器所有相机中,测
量到的所有定位工具的二元组合中,最小的无遮挡裕度函数值;
上述公式中:G为定位传感器中左侧或右侧摄像头的坐标原点;L、R分别为定位传感器
中左侧、右侧摄像头的坐标原点;和分别为任意两个定位工具与的半径分别为、
的最小外接球的球心,即定位工具与的坐标原点;和分别为定位工具与的扩展半
径;裕度系数为大于1的常数;向量长度和通过定位传感器测量获得;表示
向量点乘;
约束条件1表示任意定位工具都要处于定位传感器与环境感知传感器共同可检测的范围内;
约束条件2表示从定位传感器的任意一侧摄像头向任意一个定位工具的连线与该定位
工具的z轴方向之间的夹角不能大于既定的阈值;表示第i个定位工具的坐标原点向指
向定位传感器中左侧或右侧摄像头坐标原点的向量与第i个定位工具的z轴方向向量之间
的夹角;Th为预设阈值;
5.根据权利要求4所述的控制方法,其特征在于,所述步骤3包括以下步骤:
步骤3.1:手术过程中,在进入指定的手术环节以后,根据手术前机械臂位姿的优化求解以及多目标决策所获得的最优位姿方案以及手术进行情况中机械臂的最优位姿方案,获取当前手术环节的目标位姿;
步骤3.3:随机生成候选路径点;
步骤3.4:判断路径点是否会碰到障碍物;如果会,则返回步骤3.3;否则继续下一步;
步骤3.5:判断在该位姿上是否所有定位工具都可以被检测;如果不可以,则返回步骤3.3;否则继续下一步;
其中,所述判断在该位姿上是否所有定位工具都可以被检测的步骤中,需要定位工具符合上述约束条件1~3;
步骤3.6:将当前的候选路径点加入路径目录中,用以生成合理的路径规划;
步骤3.7:判断是否到达了目标位姿,如果还未达到,则返回步骤3.3;否则找出当前路径目录中最短的路径,作为机械臂运动的路径;
步骤3.8:执行上述路径位姿,使手术机器人的机械臂到达目标位姿。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110764801.5A CN113499138B (zh) | 2021-07-07 | 2021-07-07 | 一种外科手术的主动导航系统及其控制方法 |
PCT/CN2022/109446 WO2023280326A1 (zh) | 2021-07-07 | 2022-08-01 | 一种外科手术的主动导航系统及其控制方法 |
US18/268,316 US20240050161A1 (en) | 2021-07-07 | 2022-08-01 | Active navigation system of surgery and control method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110764801.5A CN113499138B (zh) | 2021-07-07 | 2021-07-07 | 一种外科手术的主动导航系统及其控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113499138A true CN113499138A (zh) | 2021-10-15 |
CN113499138B CN113499138B (zh) | 2022-08-09 |
Family
ID=78011775
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110764801.5A Active CN113499138B (zh) | 2021-07-07 | 2021-07-07 | 一种外科手术的主动导航系统及其控制方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240050161A1 (zh) |
CN (1) | CN113499138B (zh) |
WO (1) | WO2023280326A1 (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113954082A (zh) * | 2021-12-23 | 2022-01-21 | 真健康(北京)医疗科技有限公司 | 适用于穿刺手术机械臂的控制方法、控制设备和辅助系统 |
CN114952806A (zh) * | 2022-06-16 | 2022-08-30 | 法奥意威(苏州)机器人系统有限公司 | 约束运动控制方法、装置、系统和电子设备 |
CN115381554A (zh) * | 2022-08-02 | 2022-11-25 | 北京长木谷医疗科技有限公司 | 一种骨科手术机器人智能位置调整系统及方法 |
WO2023280326A1 (zh) * | 2021-07-07 | 2023-01-12 | 南开大学深圳研究院 | 一种外科手术的主动导航系统及其控制方法 |
WO2023279874A1 (zh) * | 2021-07-07 | 2023-01-12 | 南开大学 | 一种手术机器人导航定位系统及测量视角多目标优化方法 |
CN115919472A (zh) * | 2023-01-09 | 2023-04-07 | 北京云力境安科技有限公司 | 一种机械臂定位方法及相关系统、装置、设备及介质 |
WO2024002253A1 (zh) * | 2022-07-01 | 2024-01-04 | 北京和华瑞博医疗科技有限公司 | 机械臂系统及外科手术系统 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116277007B (zh) * | 2023-03-28 | 2023-12-19 | 北京维卓致远医疗科技发展有限责任公司 | 位姿控制方法、装置、存储介质及控制器 |
CN117061876B (zh) * | 2023-10-11 | 2024-02-27 | 常州微亿智造科技有限公司 | 基于飞拍机器人的飞拍控制方法和系统 |
CN117084790B (zh) * | 2023-10-19 | 2024-01-02 | 苏州恒瑞宏远医疗科技有限公司 | 一种穿刺方位控制方法、装置、计算机设备、存储介质 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010152851A (ja) * | 2008-12-26 | 2010-07-08 | Yamaha Motor Co Ltd | 多目的最適化装置、多目的最適化方法および多目的最適化プログラム |
CN104739514A (zh) * | 2015-03-13 | 2015-07-01 | 华南理工大学 | 大视场下手术器械的自动跟踪定位方法 |
WO2015188393A1 (zh) * | 2014-06-11 | 2015-12-17 | 清华大学 | 人体器官运动监测方法、手术导航系统和计算机可读介质 |
US20160113720A1 (en) * | 2013-06-11 | 2016-04-28 | Minmaxmedical | System for the treatment of a planned volume of a body part |
WO2017147596A1 (en) * | 2016-02-26 | 2017-08-31 | Think Surgical, Inc. | Method and system for guiding user positioning of a robot |
CN107862129A (zh) * | 2017-11-03 | 2018-03-30 | 哈尔滨工业大学 | 一种基于moead的偏差区间偏好引导多目标决策优化方法 |
CN110051436A (zh) * | 2018-01-18 | 2019-07-26 | 上海舍成医疗器械有限公司 | 自动化协同工作组件及其在手术器械中的应用 |
CN110116410A (zh) * | 2019-05-28 | 2019-08-13 | 中国科学院自动化研究所 | 基于视觉伺服的机械臂目标导引系统、方法 |
CN111227935A (zh) * | 2020-02-20 | 2020-06-05 | 中国科学院长春光学精密机械与物理研究所 | 一种手术机器人导航定位系统 |
CN111360826A (zh) * | 2020-02-29 | 2020-07-03 | 华南理工大学 | 一种可实时显示抓取位姿的系统 |
CN112223288A (zh) * | 2020-10-09 | 2021-01-15 | 南开大学 | 一种视觉融合的服务机器人控制方法 |
CN112451096A (zh) * | 2020-11-24 | 2021-03-09 | 广州艾目易科技有限公司 | 一种示踪器识别信息的生成方法及装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113499137B (zh) * | 2021-07-07 | 2022-07-12 | 南开大学 | 一种手术机器人导航定位系统及测量视角多目标优化方法 |
CN113499138B (zh) * | 2021-07-07 | 2022-08-09 | 南开大学 | 一种外科手术的主动导航系统及其控制方法 |
-
2021
- 2021-07-07 CN CN202110764801.5A patent/CN113499138B/zh active Active
-
2022
- 2022-08-01 US US18/268,316 patent/US20240050161A1/en active Pending
- 2022-08-01 WO PCT/CN2022/109446 patent/WO2023280326A1/zh active Application Filing
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010152851A (ja) * | 2008-12-26 | 2010-07-08 | Yamaha Motor Co Ltd | 多目的最適化装置、多目的最適化方法および多目的最適化プログラム |
US20160113720A1 (en) * | 2013-06-11 | 2016-04-28 | Minmaxmedical | System for the treatment of a planned volume of a body part |
WO2015188393A1 (zh) * | 2014-06-11 | 2015-12-17 | 清华大学 | 人体器官运动监测方法、手术导航系统和计算机可读介质 |
CN104739514A (zh) * | 2015-03-13 | 2015-07-01 | 华南理工大学 | 大视场下手术器械的自动跟踪定位方法 |
WO2017147596A1 (en) * | 2016-02-26 | 2017-08-31 | Think Surgical, Inc. | Method and system for guiding user positioning of a robot |
CN107862129A (zh) * | 2017-11-03 | 2018-03-30 | 哈尔滨工业大学 | 一种基于moead的偏差区间偏好引导多目标决策优化方法 |
CN110051436A (zh) * | 2018-01-18 | 2019-07-26 | 上海舍成医疗器械有限公司 | 自动化协同工作组件及其在手术器械中的应用 |
CN110116410A (zh) * | 2019-05-28 | 2019-08-13 | 中国科学院自动化研究所 | 基于视觉伺服的机械臂目标导引系统、方法 |
CN111227935A (zh) * | 2020-02-20 | 2020-06-05 | 中国科学院长春光学精密机械与物理研究所 | 一种手术机器人导航定位系统 |
CN111360826A (zh) * | 2020-02-29 | 2020-07-03 | 华南理工大学 | 一种可实时显示抓取位姿的系统 |
CN112223288A (zh) * | 2020-10-09 | 2021-01-15 | 南开大学 | 一种视觉融合的服务机器人控制方法 |
CN112451096A (zh) * | 2020-11-24 | 2021-03-09 | 广州艾目易科技有限公司 | 一种示踪器识别信息的生成方法及装置 |
Non-Patent Citations (1)
Title |
---|
孟祥峰,张超,唐桥虹,王浩,王晨希,李佳戈: "手术机器人性能评价方法的探讨", 《中国医疗设备》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023280326A1 (zh) * | 2021-07-07 | 2023-01-12 | 南开大学深圳研究院 | 一种外科手术的主动导航系统及其控制方法 |
WO2023279874A1 (zh) * | 2021-07-07 | 2023-01-12 | 南开大学 | 一种手术机器人导航定位系统及测量视角多目标优化方法 |
CN113954082A (zh) * | 2021-12-23 | 2022-01-21 | 真健康(北京)医疗科技有限公司 | 适用于穿刺手术机械臂的控制方法、控制设备和辅助系统 |
CN114310910A (zh) * | 2021-12-23 | 2022-04-12 | 真健康(北京)医疗科技有限公司 | 适用于穿刺手术机械臂的控制方法、控制设备和辅助系统 |
CN114310910B (zh) * | 2021-12-23 | 2023-09-05 | 真健康(北京)医疗科技有限公司 | 适用于穿刺手术机械臂的控制方法、控制设备和辅助系统 |
CN114952806A (zh) * | 2022-06-16 | 2022-08-30 | 法奥意威(苏州)机器人系统有限公司 | 约束运动控制方法、装置、系统和电子设备 |
CN114952806B (zh) * | 2022-06-16 | 2023-10-03 | 法奥意威(苏州)机器人系统有限公司 | 约束运动控制方法、装置、系统和电子设备 |
WO2024002253A1 (zh) * | 2022-07-01 | 2024-01-04 | 北京和华瑞博医疗科技有限公司 | 机械臂系统及外科手术系统 |
CN115381554A (zh) * | 2022-08-02 | 2022-11-25 | 北京长木谷医疗科技有限公司 | 一种骨科手术机器人智能位置调整系统及方法 |
CN115919472A (zh) * | 2023-01-09 | 2023-04-07 | 北京云力境安科技有限公司 | 一种机械臂定位方法及相关系统、装置、设备及介质 |
CN115919472B (zh) * | 2023-01-09 | 2023-05-05 | 北京云力境安科技有限公司 | 一种机械臂定位方法及相关系统、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2023280326A1 (zh) | 2023-01-12 |
CN113499138B (zh) | 2022-08-09 |
US20240050161A1 (en) | 2024-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113499138B (zh) | 一种外科手术的主动导航系统及其控制方法 | |
CN113499137B (zh) | 一种手术机器人导航定位系统及测量视角多目标优化方法 | |
US20240058086A1 (en) | Hand controller for robotic surgery system | |
US11408728B2 (en) | Registration of three-dimensional coordinates measured on interior and exterior portions of an object | |
US10310054B2 (en) | Relative object localization process for local positioning system | |
US9984437B2 (en) | Automatic online registration between a robot and images | |
US20220175464A1 (en) | Tracker-Based Surgical Navigation | |
JP2004508954A (ja) | 位置決め装置およびシステム | |
US20140365006A1 (en) | Visual Datum Reference Tool | |
WO2018043524A1 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
JP6147360B2 (ja) | トラッキングシステム及びこれを用いたトラッキング方法 | |
US20190291276A1 (en) | Measurement system and method of an industrial robot | |
US20140365007A1 (en) | Visual Datum Reference Tool | |
Maier et al. | Whole-body self-calibration via graph-optimization and automatic configuration selection | |
Antonelli et al. | Training by demonstration for welding robots by optical trajectory tracking | |
Chong et al. | Autonomous wall cutting with an Atlas humanoid robot | |
JP6343930B2 (ja) | ロボットシステム、ロボット制御装置、及びロボット制御方法 | |
US20230398688A1 (en) | Motion trajectory generation method for robot, motion trajectory generation apparatus for robot, robot system, and program | |
Hu et al. | Self-calibration of eye-to-hand and workspace for mobile service robot |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20220607 Address after: No.38, Tongyan Road, Haihe Education Park, Jinnan District, Tianjin Applicant after: NANKAI University Applicant after: Shenzhen Research Institute of Nankai University Address before: 300350 No. 38, Tongyan Road, Haihe Education Park, Tianjin, Jinnan District, Tianjin Applicant before: NANKAI University |
|
GR01 | Patent grant | ||
GR01 | Patent grant |