CN107811710B - 手术辅助定位系统 - Google Patents

手术辅助定位系统 Download PDF

Info

Publication number
CN107811710B
CN107811710B CN201711045318.1A CN201711045318A CN107811710B CN 107811710 B CN107811710 B CN 107811710B CN 201711045318 A CN201711045318 A CN 201711045318A CN 107811710 B CN107811710 B CN 107811710B
Authority
CN
China
Prior art keywords
manikin
endoscope
positioning system
arm
aided positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711045318.1A
Other languages
English (en)
Other versions
CN107811710A (zh
Inventor
邵辉
袁帅
何超
王家寅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Microport Medbot Group Co Ltd
Original Assignee
Microport (shanghai) Medical Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microport (shanghai) Medical Robot Co Ltd filed Critical Microport (shanghai) Medical Robot Co Ltd
Priority to CN201711045318.1A priority Critical patent/CN107811710B/zh
Publication of CN107811710A publication Critical patent/CN107811710A/zh
Application granted granted Critical
Publication of CN107811710B publication Critical patent/CN107811710B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/10Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/35Surgical robots for telesurgery

Abstract

本发明提供一种手术辅助定位系统,其用于辅助医生定位创口位置。根据本发明的手术辅助定位系统包括机器人病人端,其包括用于可拆卸连接手术器械的器械臂、用于可拆卸连接内窥镜的内窥镜臂,在所述手术辅助定位系统中扫描模块用以获取患者的体内、体表三维数据,建模模块用以根据扫描模块获取的体内、体表三维数据建立人体模型,建立人体模型在机器人病人端坐标系下的位姿描述,定位模块根据人体模型、器械臂在人体模型内的运动空间、内窥镜臂在人体模型的运动空间、器械臂与内窥镜臂之间在人体模型内的干涉,进而定位创口的推荐位置。

Description

手术辅助定位系统
技术领域
本发明涉及手术辅助系统,尤其涉及一种手术辅助定位系统。
背景技术
微创伤手术(minimal invasive surgical)技术目的在于降低诊断或手术程序期间损伤的外部组织的量,从而减少患者的康复时间、不适以及有害副作用。使用微创伤手术技术,能够显著缩短标准手术的住院时间的平均长度。同样,通过微创伤手术技术,也可减少患者康复时间、患者不适、手术副作用以及患者休假时间。
为了允许外科医生远程为患者手术,所以发展微创伤远程手术机器人系统。在远程手术系统中,通常在控制台向外科医生提供手术部位的影像。外科医生在观察立体观察器或者显示器上的病人手术部位的三维(3-D)影像的同时,通过操作控制台主输入而对患者实施外科手术。每个主输入装置都控制操作臂上手术器械的运动。外科过程期间,远程手术系统病人端的手术器械/工具响应主输入装置的操作,执行类似外科医生在手术中的各种动作,例如握住或推进手术针、抓住血管、解剖组织等等。
在进行手术之前,医生需要打孔(创口),通常包括两个用于手术器械的插入,一个用于窥镜的插入。在传统的打孔方法上,医生往往凭借经验以及手术习惯选择打孔位置,然而在手术过程期间医生经常发现由于三个孔的位置不合适,导致操作手术机器人的活动空间有限,甚至在某些特殊的位置只能通过再次打孔才能继续进行手术,因此大大的延长所需要的手术时间。
发明内容
本发明的目的在于提供一种手术辅助定位系统,其用于辅助医生定位创口位置。
根据本发明一方面的手术辅助定位系统,用于机器人手术系统,所述机器人手术系统包括机器人病人端,所述机器人病人端包括用于可拆卸连接手术器械的器械臂、用于可拆卸连接内窥镜的内窥镜臂,所述手术辅助定位系统包括扫描模块、建模模块和定位模块,其中所述扫描模块用以获取患者的体内、体表三维数据,所述建模模块用以根据所述扫描模块获取的体内、体表三维数据建立人体模型,建立所述人体模型在机器人病人端坐标系下的位姿描述,所述定位模块根据所述人体模型中的目标组织模型、所述手术器械末端在所述人体模型内部的工作范围、所述内窥镜末端在所述人体模型内部的工作范围、所述器械臂与所述内窥镜臂之间在所述人体模型的干涉,确定创口的推荐位置。
在一实施例中,所述扫描模块包括内窥镜,所述内窥镜包括不同方位的至少两个摄像头成像系统,所述扫描模块对所述至少两个摄像头成像系统进行标定,以获取所述至少两个摄像头成像系统内外参数矩阵,并求出至少两个摄像头成像系统之间的旋转和平移关系向量;所述内窥镜还分别对患者体内、体表进行内部扫描、外部扫描,并通过立体视觉三维测量方法得到所述内部扫描、外部扫描获得图像的像素点在内窥镜视野下的三维坐标值。
在一实施例中,所述建模模块根据所述像素点的在内窥镜视野下的三维坐标值,以及通过运动学方程获得的内窥镜在机器人病人端坐标系下的描述,获得像素点在机器人病人端坐标系下的描述,进而建立人体模型并获得人体模型在所述机器人病人端坐标系下的描述。
在一实施例中,所述建模模块通过所述像素点的数据组成的点云图进行曲面拟合得到患者的人体模型。
在一实施例中,所述建模模块得到所述人体模型在内窥镜视野下的描述后,通过运动学方程获得内窥镜在机器人病人端坐标系下位姿的描述,进而获得所述人体模型在在机器人病人端坐标系下位姿的描述。
在一实施例中,所述定位模块根据基于所述内窥镜在第一状态时获得的所述患者体表的三维数据,建立人体表面模型;通过运动学方程获得所述内窥镜在第一状态时在所述机器人病人端坐标系下的姿态描述,进而获得所述人体表面模型在所述机器人病人端坐标系下的姿态描述。
在一实施例中,所述定位模块根据基于所述内窥镜在第二状态下获得的所述患者体内的三维数据,建立人体体内模型;通过运动学方程获得所述内窥镜在第二状态下在所述机器人病人端坐标系下的姿态描述,进而获得所述人体体内模型在所述机器人病人端坐标系下的姿态描述。
在一实施例中,该手术辅助定位系统还包括人机交互界面,所述人机交互界面用于观察所述创口推荐位置,并供医生针对所述创口推荐位置根据实际手术需要做相应的调整。
在一实施例中,所述定位模块取一人体模型表面区域,对所述人体模型表面区域采样获取采样点,以采样点作为创口,在所述人体模型上进行模拟手术,并将在模拟手术中使得器械臂与内窥镜臂的工作范围最大、碰撞程度最小的采样点确定为创口的推荐位置。
在一实施例中,所述定位模块获取目标组织模型的外接球的球心,根据以所述外接球的球心获取一扩展外接球,所述扩展外接球的直径为所述外接球直径的3~10倍,获取所述扩展外接球与所述人体模型的交集,所述交集所限定的人体模型表面部分作为所述人体模型表面区域。
在一实施例中,所述定位模块采样点的步骤包括:以人体模型表面区域一初始点为坐标原点建立坐标系,以距离步长为ΔX,扇角步长进行采样,获取采样样本空间C{C1,C2…Cn}。
在一实施例中,所述手术器械臂包括第一手术器械臂,用于可拆卸连接第一手术器械,第二手术器械臂,用于可拆卸连接第二手术器械;
所述定位模块从样本空间C中设定取一点作为窥镜孔,并以之为坐标系标点M,建立人体模型表面坐标系A;从样本空间C剩余的样本中选择一点作为用于第一手术器械的第一打孔点,再从样本空间C剩余的样本中选择一点作为用于第二手术器械的第二打孔点;
所述定位模块计算获得两个手术器械末端的重合空间后,以内窥镜视野进行建模,并计算手术器械末端重合区域、目标组织模型以及内窥镜视野模型的重合区域以获得重合体积VI
所述定位模块计算获得每个器械臂、内窥镜臂上关节的工作空间,对关节的工作空间取并集,获得对应器械臂、内窥镜臂的工作空间,进一步取第一器械臂的工作空间、第二器械臂的工作空间以及内窥镜臂工作空间两两之间的交集VEi(i=1,2,3),并根据数据统计方法获得干涉空间集VEsum
所述定位模块计算获得参考值V=α*VI-β*VEsum,其中α、β为权重系数,取值范围为0~1;
遍历样本空间C,获得参考值空间后,定位模块根据参考值空间取参考值V最大值对应的三个点,作为创口的推荐位置。
在一实施例中,所述初始点为所述患者体内扫描时形成的窥镜孔。
在一实施例中,所述初始点为目标组织模型的外接球球心对应于所述人体模型表面区域上的点。
在一实施例中,所述手术辅助定位系统还包括交互装置,所述初始点为医生利用所述交互装置设定。
在一实施例中,所述手术辅助定位系统还包括存储装置,所述存储装置对包括窥镜孔的位置以及相关因素的手术信息进行记录存储,所述定位模块根据需要进行的手术,筛选出存储装置中对应的所有窥镜孔,进而得到一个经验点,再根据所述经验点的位置,确定初始点的位置,并建立以初始点作为坐标原点的坐标系,且在模拟手术中以所述初始点为窥镜孔,所述采样样本空间C中其余的点作为用于手术器械的创口。
在一实施例中,所述经验点根据筛选出的所有窥镜孔通过概率统计的方法获得;从筛选出的所有窥镜孔中获取与所述经验点距离最近的作为初始点。
在一实施例中,所述内窥镜臂包含一用于控制所述内窥镜围绕不动点摆动的构型,所述用于手术器械的创口推荐位置选自于两组对称点中的一组,所述两组对称点通过以下方式获得:
所述定位模块根据所述摆动的轴线,取一经过所述窥镜孔且垂直于水平面和所述摆动的轴线的基准面;确定一垂直于所述基准面和水平面,且与所述窥镜孔距离为一预设距离的垂直面,进而获得垂直面与人体模型表面相交形成的相交曲线;根据目标组织模型获得最小外接圆,并获得最小外接圆圆心的位置;从所述相交曲线上获得两个关于基准面上对称点,所述对称点被配置为所述对称点与最小外接圆圆心的连线形成的夹角为一预设角度。
在一实施例中,所述预设距离为3~5cm,所述预设角度为30°。
在一实施例中,所述定位模块确定一所述目标组织模型的外接球球心映射于所述人体模型表面区域上的映射点,以所述映射点为坐标原点建立坐标系,以距离步长为ΔX’,扇角步长进行采样,获取采样样本空间C’{C1’,C2’,…,Cn’},以所述采样样本空间C’中的采样点作为窥镜孔,在模拟手术中获得使所述器械臂与所述内窥镜臂的工作范围最大、碰撞程度最小的采样点以及相应的对称点作为创口的推荐位置。
所述定位模块根据所述人体模型、器械臂在所述人体模型内的运动空间、内窥镜臂在所述人体模型的运动空间、器械臂与内窥镜臂之间在所述人体模型内的干涉,进而定位创口的推荐位置,克服了传统打孔方式定位不准确,导致手术机器人的工作范围受限,以及手术过程经常出现器械之间碰撞的情况,在发生以上问题时需要多次打孔的问题。
附图说明
本发明的上述的以及其他的特征、性质和优势将通过下面结合附图和实施例的描述而变得更加明显,其中:
图1为根据本发明的微创伤机器人手术系统的示意图。
图2为根据本发明的一实施例中手术辅助定位系统的扫描模块工作流程图。
图3为根据本发明的一实施例中手术辅助定位系统进行外部扫描的示意图。
图4为根据本发明的一实施例中手术辅助定位系统进行内部扫描的示意图。
图5为根据本发明的一实施例中手术辅助定位系统根据外部扫描和内部扫描数据重建的人体模型的示意图。
图6为根据本发明的一实施例中手术辅助定位系统的坐标系转换原理示意图。
图7为根据本发明的一实施例中手术辅助定位系统的定位模块的工作流程图。
图8为根据本发明的一实施例中手术辅助定位系统的定位模块的随机点的选取示意图。
图9为根据本发明的一实施例中手术辅助定位系统的定位模块确定的创口推荐位置的示意图。
图10为根据本发明的另一实施例中手术辅助定位系统的定位模块的工作流程图。
图11为根据本发明的又一实施例中手术辅助定位系统的定位模块的创口推荐位置确定原理示意图。
具体实施方式
下面结合具体实施例和附图对本发明作进一步说明,在以下的描述中阐述了更多的细节以便于充分理解本发明,但是本发明显然能够以多种不同于此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下根据实际应用情况作类似推广、演绎,因此不应以此具体实施例的内容限制本发明的保护范围。
在本发明的一实施例中,微创伤机器人手术系统包括机器人病人端和机器人医生端。图1示出了图像车1、侧手推车2、医生控制台3、手术台车4、工具车9,其中侧手推车2为手术机器人病人端,医生控制台3为手术机器人医生端。微创伤机器人手术系统主要用于对手术台车4上的患者进行微创伤手术治疗。该系统手术过程由外科医生10操作,一个或更多助手11参与。侧手推车2包括至少一个窥镜臂5,窥镜臂5可拆卸连接内窥镜8,例如3D内窥镜。侧手推车2还包括至少两个器械臂6,每个器械臂6可拆卸连接手术器械7。手术时,内窥镜8、手术器械7通过患者身体上的创口进入病患位置(目标组织位置)。内窥镜8采集的信息传送至立体显示装置12,外科医生10能够通过医生控制控台3内的立体显示装置12,可实时地观察到患者内部的情况以及手术器械7末端的运动姿态。同时外科医生10能够通过医生控制控台3,对侧手推车2的内窥镜臂5、器械臂6进行控制,通过控制手术器械7的运动对患者进行微创伤手术治疗。
根据本发明的微创伤机器人手术系统还包括手术辅助定位系统。所述手术辅助定位系统包括扫描模块,建模模块和定位模块,其中所述扫描模块用以获取患者的体内、体表三维数据,所述建模模块用以根据患者的体内、体表三维数据建立人体模型,建立人体模型在机器人病人端坐标系下的位姿描述,所述定位模块根据所述人体模型中的目标组织模型、所述手术器械末端在所述人体模型内部的工作范围、所述内窥镜末端在所述人体模型内部的工作范围、所述器械臂与所述内窥镜臂之间在所述人体模型的干涉,确定创口的位置。
图2示出了根据本发明一个实施例的手术辅助定位系统工作的流程图。首先,建模模块获取患者的体内、体表三维数据。建模模块可以采用内窥镜或者其他的三维扫描装置进行测量,例如采用激光测距原理的扫描仪。在本实施例中,利用3D腹腔镜作为内窥镜为例进行说明。采用3D腹腔镜可以在后续的手术过程中继续使用,减少系统的组件,增加手术工作空间。如图2所示,步骤13是对相机进行标定,本发明对标定方法没有特别的限制,例如利用张氏标定法进行标定,通过该步骤获取3D腹腔镜内左右光学成像系统内外参数矩阵(例如焦距、主点、歪斜和畸变),左右光学成像系统都标定完成后,对两路光学成像系统进行立体标定,求出成像系统之间的旋转和平移关系向量。在步骤14中,如图3所示,一方面,通过3D腹腔镜对患者进行外部扫描:捕获多张图像。处理捕获的图像,即通过立体视觉三维测量方法得到像素点的三维坐标,从而确定出患者体表的位置数据,以便于建模模块能对患者体表进行三维建模,例如,通过3D腹腔镜中一定角度布置的两光学成像系统拍摄两幅具有一定视差的图像,对两个视野中的同一图像点,使用立体三角测量确定该图像点的三维坐标信息。另一方面,在步骤15中,如图4所示,通过3D腹腔镜对患者进行内部扫描:确定需手术的部位,根据该部位的位置确定窥镜孔,即一个创口,而后进行打孔操作,窥镜孔的位置可以由医生确定或者根据后述实施例的方法确定。打孔完成后,将3D腹腔镜插入腹腔内部,进行内部扫描,以便于实现对患者腹腔内部进行建模。本领域技术人员应理解,本发明对扫描设备没有特别的限制,也可以采用其他扫描设备一次完成患者体表、体内数据的采集。
所述建模模块根据所述扫描模块获取的由无数具有三维信息点的数据组成一幅点云图,对该点云图进行曲面拟合得到患者的体内、体表的由图5示例性地显示的人体模型。由于受限于内窥镜的视场角,可通过多幅图像组成实现人体模型的三维重建,可通过多角度拍摄得出的图像数据,经过图像数据的融合实现对患者的人体模型的重建。但本发明对于三维重建的方法没有特别的限制,本领域技术人员可以根据需求选择合适的方法。
所述建模模块经过坐标系的相互转换,可实时得到人体模型在机器人病人端坐标系下位姿的描述。在一个实施例中,如图6所示,所述建模模块首先确认内窥镜坐标系状态①和内窥镜坐标系状态②相对于机器人病人端坐标系之间的映射关系。例如,3D内窥镜的位姿信息可通过逆运动学方程得到,即可得到任意时刻下内窥镜坐标系与机器人病人端坐标系的映射关系。其中,内窥镜坐标系状态①为内窥镜对患者进行体表扫描时的状态,内窥镜坐标系状态②是内窥镜对患者进行体内扫描时的状态。此时,按照前述方法,通过对患者体表3D信息的准确计算,得到人体体表坐标系与内窥镜坐标系状态①的映射关系,进而确定人体体表坐标系相对机器人病人端坐标系的映射关系;按照前述方法,通过对患者体内3D信息的准确计算,得到出人体体内坐标系与内窥镜坐标系状态②的映射关系,从而得到人体体内坐标系与机器人病人端坐标系之间的映射关系。最终获得人体模型在机器人病人端坐标系下位姿的描述。
定位模块根据这些映射关系可以进行后述实施例中提及到的布局优化,从而实现打孔指引。具体而言,所述定位模块在人体模型表面区域取随机采样点,并在所述人体模型上进行模拟手术,以进行布局优化,即根据模拟手术确定使得器械臂与内窥镜臂的工作范围最大、碰撞程度最小的多个创口的位置。所述定位模块获取目标组织模型的外接球的球心,根据以所述外接球的球心获取一扩展外接球,所述扩展外接球的直径为所述外接球直径的3~10倍,获取所述扩展外接球与所述人体模型的交集,所述交集所限定的人体模型表面部分作为所述人体模型表面区域。这里外接球的直径根据目标组织类型、手术类型来确定。
图7所示为一个定位模块的布局优化的流程图。在此实施例中以两个手术器械为例,但是手术器械不限于两个。在步骤18中,定位模块执行随机采样打孔点的步骤,如图8所示,定位模块选取一位于所述人体模型表面区域的初始点,所述初始点与目标组织模型的外接球的球心对应(即球心在人体模型表面区域的映射),并以所述初始点为坐标原点建立坐标系,以距离步长为ΔX,扇角步长进行采样,获取采样样本空间C{C1,C2…Cn}。然后遍历选取出样本空间中三点,通过计算机运算进行模拟手术操作。
在一个优选的模拟手术操作方法为:以图1中所示的两个器械臂为例,如图9所示,从样本空间C中设定取一点作为窥镜孔,并以之为坐标系标点M,建立人体模型表面坐标系A。从样本空间C剩余的样本中选择一点作为用于第一手术器械的第一打孔点,再从样本空间C剩余的样本中选择一点作为用于第二手术器械的第二打孔点,由此确定了手术器械的打孔点,通过模拟手术,模拟器械臂及内窥镜臂各个关节角位置q,通过DH法计算正向运动学X=Kinematics(q),得到手术器械末端、内窥镜相对于坐标系原点M的笛卡尔空间位置分布集合,即第一手术器械末端相对于坐标系A笛卡尔空间位置空间分布集合C1={x1,y1,z1},第二手术器械末端相对于坐标系A笛卡尔空间位置空间分布集合C2={x2,y2,z2}。手术器械末端的工作空间重合的空间体积计算以球形体积来表示,即通过定积分方程:
此时,以公式(1)得到两个手术器械末端的重合空间后,以内窥镜视野进行计算机建模,定位模块计算手术器械末端重合区域、目标组织模型以及内窥镜视野模型的重合区域获得重合体积VI
与此同时,定位模块获取第一器械臂、第二器械臂以及内窥镜臂之间的干涉。具体而言,定位模块计算获得每个器械臂、内窥镜臂上关节的工作空间,对关节的工作空间取并集,获得对应器械臂、内窥镜臂的工作空间,进一步取第一器械臂的工作空间、第二器械臂的工作空间以及内窥镜臂工作空间两两之间的交集VEi(i=1,2,3),并根据数据统计方法获得干涉空间集VEsum。其中数据统计的方法例如为简单的累加,或者对不同的VEi加以权重,再累加。最后,所述定位模块取参考值V=α*VI-β*VEsum,其中α、β为权重系数,取值范围为0~1。α、β的具体取值根据器械臂、内窥镜臂的构型,目标组织类型、手术类型以及医生的偏好等设定。
在遍历样本空间C,获得参考值空间后,定位模块取参考值空间中参考值V最大值对应的三个点,作为打孔推荐位置即创口推荐位置。
在一个变型例中,所述初始点取所述患者体内扫描时形成的窥镜孔。以此点为坐标原点建立坐标系,以距离步长为ΔX,扇角步长进行扫描,获得目标点样本空间。其余操作与上述布局优化方式相同,最终确定出创口推荐位置。
在一个变型例中,所述辅助定位系统还包括交互装置,例如利用机器人医生端的相应装置,医生根据自己的经验通过交互装置指定位于人体模型表面上的一个点作为初始点,以此点为坐标原点建立坐标系,以距离步长为ΔX,扇角步长进行扫描,获得目标点样本空间。其余操作与上述布局优化方式相同,最终确定出创口的推荐位置。
图10所示为本发明另一实施例中,定位模块的工作流程图。与前述实施例不同的是,所述辅助定位系统还包括存储装置,对包括窥镜孔的位置以及相关因素(例如根据需要进行手术的组织器官的种类和尺寸、病情的类型,患者的性别等)等手术信息进行记录。定位模块可以执行步骤21,根据具体的手术,例如根据需要进行手术的组织器官的种类和尺寸、病情的类型,患者的性别等,筛选出存储装置中对应的所有窥镜孔。进一步,执行步骤22得到一经验点。本发明对从筛选得到的所述窥镜孔点得到经验点的具体算法没有特别的限制,优选进行通过数率统计方法例如算术平均或加权平均方法得到。然后执行步骤23,根据确定的经验点的位置,在记录中寻找初始点。优选,以记录中最接近经验点的窥镜孔作为初始点,并以此窥镜孔,为坐标原点建立坐标。后面采用与上述实施例类似的方法得到其余两点,作为用于手术器械的创口的推荐位置。即步骤24到步骤26与图7中的步骤17到步骤19相类似,区别在于所述初始点作为窥镜孔,遍历样本空间的其余点作为用于手术器械的创口的位置进行虚拟手术。这样可以充分利用之前手术的窥镜孔信息,减少了计算量。
如图11所示,在本发明的又一个实施例中,所述内窥镜臂包含一用于控制所述内窥镜围绕不动点摆动的构型。所述定位模块取一窥镜孔30;根据所述摆动的轴线,取一经过所述窥镜孔30且垂直于水平面和所述摆动的轴线的基准面F1;确定一垂直于所述基准面F1和水平面,且与所述窥镜孔30距离为一预设距离的垂直面F2,进而获得垂直面与人体模型表面相交形成的相交曲线C1;根据需要进行手术的组织器官三维模型获得最小外接圆34,并获得最小外接圆34圆心的位置;从所述相交曲线C1上获得两个关于基准面32上对称点P1、P2,所述对称点P1、P2被配置为所述对称点P1、P2与最小外接圆34圆心的连线形成的夹角为一预设角度α。优选,所述预设距离为3~5cm,所述预设角度为30°。显然,满足上述条件的对称点P1、P2为两组(即一组对称点位于窥镜孔的近侧,另一组对称点位于窥镜孔的远侧),医生可以根据病情具体需要从中选取一组作为创口推荐位置。一般而言,在内窥镜臂初始化时,内窥镜中轴线垂直于水平面,因此此时所述摆动的轴线平行于水平面。
其中的窥镜孔位置可以如上述实施例所述的方法获得。例如医生利用所述交互装置设定的方法,例如采用所述患者体内扫描时形成的窥镜孔,又例如根据经验点获得。此外,还可以所述定位模块确定一所述目标组织模型的外接球球心映射于所述人体模型表面区域上的映射点,并以所述映射点为坐标原点建立坐标系,以距离步长为ΔX’,扇角步长进行采样,获取采样样本空间C’{C1’,C2’,…,Cn’}。进一步,所述定位模块以所述采样样本空间C’中的采样点作为窥镜孔,在模拟手术中获得使所述器械臂与所述内窥镜臂的工作范围最大、碰撞程度最小的采样点以及相应的对称点作为创口的推荐位置。
医生可以使用布局优化得到的推荐打孔点,可通过机器人医生端的屏幕查看得到三个点的坐标信息,经医生操作确定后,机器人病人端可自动根据推荐的三点的三维信息操纵手术器械,移动到相应患者需要打孔的位置,医生可对相应的点进行标记,从而对其点进行打孔。手术辅助定位系统还可以包括人机交互界面,所述人机交互界面用于观察所述创口推荐位置,并供医生针对所述创口推荐位置根据实际手术需要做相应的调整。医生根据推荐的打孔位置根据实际手术需要做相应的调整。最后由医生进行打孔操作。
本发明虽然以较佳实施例公开如上,但其并不是用来限定本发明,任何本领域技术人员在不脱离本发明的精神和范围内,都可以做出可能的变动和修改。因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何修改、等同变化及修饰,均落入本发明权利要求所界定的保护范围之内。

Claims (20)

1.一种手术辅助定位系统,用于机器人手术系统,所述机器人手术系统包括机器人病人端,所述机器人病人端包括用于可拆卸连接手术器械的器械臂、用于可拆卸连接内窥镜的内窥镜臂,其特征在于,所述手术辅助定位系统包括扫描模块、建模模块和定位模块,其中所述扫描模块用以获取患者的体内、体表三维数据,所述建模模块用以根据所述扫描模块获取的体内、体表三维数据建立人体模型,建立所述人体模型在机器人病人端坐标系下的位姿描述,所述定位模块根据所述人体模型中的目标组织模型、所述手术器械末端在所述人体模型内部的工作范围、所述内窥镜末端在所述人体模型内部的工作范围、所述器械臂与所述内窥镜臂之间在所述人体模型的干涉,确定创口推荐位置。
2.如权利要求1所述的手术辅助定位系统,其特征在于,所述扫描模块包括内窥镜,所述内窥镜包括不同方位的至少两个摄像头成像系统,所述扫描模块对所述至少两个摄像头成像系统进行标定,以获取所述至少两个摄像头成像系统内外参数矩阵,并求出至少两个摄像头成像系统之间的旋转和平移关系向量;所述内窥镜还分别对患者体内、体表进行内部扫描、外部扫描,并通过立体视觉三维测量方法得到所述内部扫描、外部扫描获得图像的像素点在内窥镜视野下的三维坐标值。
3.如权利要求2所述的手术辅助定位系统,其特征在于,所述建模模块根据所述像素点的在内窥镜视野下的三维坐标值,以及通过运动学方程获得的内窥镜在机器人病人端坐标系下的描述,获得像素点在机器人病人端坐标系下的描述,进而建立人体模型并获得人体模型在所述机器人病人端坐标系下的描述。
4.如权利要求2所述的手术辅助定位系统,其特征在于,所述建模模块通过所述像素点的数据组成的点云图进行曲面拟合得到患者的人体模型。
5.如权利要求4所述的手术辅助定位系统,其特征在于,所述建模模块得到所述人体模型在内窥镜视野下的描述后,通过运动学方程获得内窥镜在机器人病人端坐标系下位姿的描述,进而获得所述人体模型在在机器人病人端坐标系下位姿的描述。
6.如权利要求4所述的手术辅助定位系统,其特征在于,所述定位模块根据基于所述内窥镜在第一状态时获得的所述患者体表的三维数据,建立人体表面模型;通过运动学方程获得所述内窥镜在第一状态时在所述机器人病人端坐标系下的姿态描述,进而获得所述人体表面模型在所述机器人病人端坐标系下的姿态描述。
7.如权利要求4所述的手术辅助定位系统,其特征在于,所述定位模块根据基于所述内窥镜在第二状态下获得的所述患者体内的三维数据,建立人体体内模型;通过运动学方程获得所述内窥镜在第二状态下在所述机器人病人端坐标系下的姿态描述,进而获得所述人体体内模型在所述机器人病人端坐标系下的姿态描述。
8.如权利要求1所述的手术辅助定位系统,其特征在于,该手术辅助定位系统还包括人机交互界面,所述人机交互界面用于观察所述创口推荐位置,并供医生针对所述创口推荐位置根据实际手术需要做相应的调整。
9.如权利要求1所述的手术辅助定位系统,其特征在于,所述定位模块取一人体模型表面区域,对所述人体模型表面区域采样获取采样点,以采样点作为创口,在所述人体模型上进行模拟手术,并将在模拟手术中使得器械臂与内窥镜臂的工作范围最大、碰撞程度最小的采样点确定为创口推荐位置。
10.如权利要求9所述的手术辅助定位系统,其特征在于,所述定位模块获取目标组织模型的外接球的球心,根据以所述外接球的球心获取一扩展外接球,所述扩展外接球的直径为所述外接球直径的3~10倍,获取所述扩展外接球与所述人体模型的交集,所述交集所限定的人体模型表面部分作为所述人体模型表面区域。
11.如权利要求9所述的手术辅助定位系统,其特征在于,所述定位模块获取所述采样点的步骤包括:以人体模型表面区域一初始点为坐标原点建立坐标系,以距离步长为ΔX,扇角步长进行采样,获取采样样本空间C{C1,C2…Cn}。
12.如权利要求11所述的手术辅助定位系统,其特征在于,所述手术器械臂包括第一手术器械臂,用于可拆卸连接第一手术器械,第二手术器械臂,用于可拆卸连接第二手术器械;
所述定位模块从样本空间C中设定取一点作为窥镜孔,并以之为坐标系标点M,建立人体模型表面坐标系A;从样本空间C剩余的样本中选择一点作为用于第一手术器械的第一打孔点,再从样本空间C剩余的样本中选择一点作为用于第二手术器械的第二打孔点;
所述定位模块计算获得两个手术器械末端的重合空间后,以内窥镜视野进行建模,并计算手术器械末端重合区域、目标组织模型以及内窥镜视野模型的重合区域以获得重合体积VI
所述定位模块计算获得每个器械臂、内窥镜臂上关节的工作空间,对关节的工作空间取并集,获得对应器械臂、内窥镜臂的工作空间,进一步取第一器械臂的工作空间、第二器械臂的工作空间以及内窥镜臂工作空间两两之间的交集VEi(i=1,2,3),并根据数据统计方法获得干涉空间集VEsum
所述定位模块计算获得参考值V=α*VI-β*VEsum,其中α、β为权重系数,取值范围为0~1;
遍历样本空间C,获得参考值空间后,定位模块根据参考值空间取参考值V最大值对应的三个点,作为创口推荐位置。
13.如权利要求11所述的手术辅助定位系统,其特征在于,所述初始点为所述患者体内扫描时形成的窥镜孔。
14.如权利要求11所述的手术辅助定位系统,其特征在于,所述初始点为目标组织模型的外接球球心对应于所述人体模型表面区域上的点。
15.如权利要求11所述的手术辅助定位系统,其特征在于,所述手术辅助定位系统还包括交互装置,所述初始点为医生利用所述交互装置设定。
16.如权利要求11所述的手术辅助定位系统,其特征在于,所述手术辅助定位系统还包括存储装置,所述存储装置对包括窥镜孔的位置以及相关因素的手术信息进行记录存储,所述定位模块根据需要进行的手术,筛选出存储装置中对应的所有窥镜孔,进而得到一个经验点,再根据所述经验点的位置,确定初始点的位置,并建立以初始点作为坐标原点的坐标系,且在模拟手术中以所述初始点为窥镜孔,所述采样样本空间C中其余的点作为用于手术器械的创口。
17.如权利要求16所述的手术辅助定位系统,其特征在于,所述经验点根据筛选出的所有窥镜孔通过概率统计的方法获得;从筛选出的所有窥镜孔中获取与所述经验点距离最近的作为初始点。
18.如权利要求1所述的手术辅助定位系统,其特征在于,所述内窥镜臂包含一用于控制所述内窥镜围绕不动点摆动的构型,用于手术器械的所述创口推荐位置选自于两组对称点中的一组,所述两组对称点通过以下方式获得:
所述定位模块根据所述摆动的轴线,取一经过所述窥镜孔且垂直于水平面和所述摆动的轴线的基准面;确定一垂直于所述基准面和水平面,且与所述窥镜孔距离为一预设距离的垂直面,进而获得垂直面与人体模型表面相交形成的相交曲线;根据目标组织模型获得最小外接圆,并获得最小外接圆圆心的位置;从所述相交曲线上获得两个关于基准面上对称点,所述对称点被配置为所述对称点与最小外接圆圆心的连线形成的夹角为一预设角度。
19.如权利要求18所述的手术辅助定位系统,其特征在于,所述预设距离为3~5cm,所述预设角度为30°。
20.如权利要求18所述的手术辅助定位系统,其特征在于,所述定位模块确定一所述目标组织模型的外接球球心映射于所述人体模型表面区域上的映射点,以所述映射点为坐标原点建立坐标系,以距离步长为ΔX’,扇角步长进行采样,获取采样样本空间C’{C1’,C2’,…,Cn’},以所述采样样本空间C’中的采样点作为窥镜孔,在模拟手术中获得使所述器械臂与所述内窥镜臂的工作范围最大、碰撞程度最小的采样点以及相应的对称点作为创口推荐位置。
CN201711045318.1A 2017-10-31 2017-10-31 手术辅助定位系统 Active CN107811710B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711045318.1A CN107811710B (zh) 2017-10-31 2017-10-31 手术辅助定位系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711045318.1A CN107811710B (zh) 2017-10-31 2017-10-31 手术辅助定位系统

Publications (2)

Publication Number Publication Date
CN107811710A CN107811710A (zh) 2018-03-20
CN107811710B true CN107811710B (zh) 2019-09-17

Family

ID=61604434

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711045318.1A Active CN107811710B (zh) 2017-10-31 2017-10-31 手术辅助定位系统

Country Status (1)

Country Link
CN (1) CN107811710B (zh)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
US11911045B2 (en) 2017-10-30 2024-02-27 Cllag GmbH International Method for operating a powered articulating multi-clip applier
US11109878B2 (en) 2017-10-30 2021-09-07 Cilag Gmbh International Surgical clip applier comprising an automatic clip feeding system
US11801098B2 (en) 2017-10-30 2023-10-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11013563B2 (en) 2017-12-28 2021-05-25 Ethicon Llc Drive arrangements for robot-assisted surgical platforms
US11166772B2 (en) 2017-12-28 2021-11-09 Cilag Gmbh International Surgical hub coordination of control and communication of operating room devices
US11389164B2 (en) 2017-12-28 2022-07-19 Cilag Gmbh International Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices
US11026751B2 (en) 2017-12-28 2021-06-08 Cilag Gmbh International Display of alignment of staple cartridge to prior linear staple line
US11202570B2 (en) 2017-12-28 2021-12-21 Cilag Gmbh International Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US20190201039A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Situational awareness of electrosurgical systems
US11612444B2 (en) 2017-12-28 2023-03-28 Cilag Gmbh International Adjustment of a surgical device function based on situational awareness
US11896443B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Control of a surgical system through a surgical barrier
US11744604B2 (en) 2017-12-28 2023-09-05 Cilag Gmbh International Surgical instrument with a hardware-only control circuit
US11109866B2 (en) 2017-12-28 2021-09-07 Cilag Gmbh International Method for circular stapler control algorithm adjustment based on situational awareness
US11678881B2 (en) 2017-12-28 2023-06-20 Cilag Gmbh International Spatial awareness of surgical hubs in operating rooms
US11896322B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub
US20190201146A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Safety systems for smart powered surgical stapling
US11818052B2 (en) 2017-12-28 2023-11-14 Cilag Gmbh International Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11832899B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical systems with autonomously adjustable control programs
US10758310B2 (en) 2017-12-28 2020-09-01 Ethicon Llc Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices
US11857152B2 (en) 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
US11132462B2 (en) * 2017-12-28 2021-09-28 Cilag Gmbh International Data stripping method to interrogate patient records and create anonymized record
US11786251B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11259830B2 (en) 2018-03-08 2022-03-01 Cilag Gmbh International Methods for controlling temperature in ultrasonic device
US11457944B2 (en) 2018-03-08 2022-10-04 Cilag Gmbh International Adaptive advanced tissue treatment pad saver mode
US11090047B2 (en) 2018-03-28 2021-08-17 Cilag Gmbh International Surgical instrument comprising an adaptive control system
CN110522491B (zh) * 2018-05-24 2021-04-20 武汉联影智融医疗科技有限公司 医用设备
CN108777001A (zh) * 2018-06-26 2018-11-09 宁波极呈光电有限公司 手术模拟方法及装置
CN109223060A (zh) * 2018-08-23 2019-01-18 荆门市第二人民医院 一种外科手术中辅助装置的控制系统及控制方法
CN110893118B (zh) * 2018-09-12 2022-01-28 上海微创医疗机器人(集团)股份有限公司 手术机器人系统以及机械臂的运动控制方法
CN109493386B (zh) * 2018-11-26 2022-05-06 刘伟民 一种基于图像识别的手术器械传递装置及控制方法
CN109620410B (zh) * 2018-12-04 2021-01-26 微创(上海)医疗机器人有限公司 机械臂防碰撞的方法及系统、医疗机器人
US11291444B2 (en) 2019-02-19 2022-04-05 Cilag Gmbh International Surgical stapling assembly with cartridge based retainer configured to unlock a closure lockout
CN112155728B (zh) * 2020-09-14 2022-07-05 深圳市旭东数字医学影像技术有限公司 辅助确定肾脏手术入路的模拟方法及系统
CN112754616B (zh) * 2020-12-30 2022-05-10 诺创智能医疗科技(杭州)有限公司 超声定位穿刺系统和存储介质
CN113143461B (zh) * 2021-01-26 2023-08-01 合肥工业大学 人机协同的微创内窥镜持镜机器人系统
CN116019562A (zh) * 2021-03-09 2023-04-28 武汉联影智融医疗科技有限公司 机器人控制系统和方法
CN113081273B (zh) * 2021-03-24 2023-07-28 上海微创医疗机器人(集团)股份有限公司 打孔辅助系统及手术机器人系统
CN115120340A (zh) * 2021-03-24 2022-09-30 上海微创医疗机器人(集团)股份有限公司 计算机可读存储介质、电子设备、手术机器人及定位系统
CN115120348A (zh) * 2021-03-24 2022-09-30 上海微创医疗机器人(集团)股份有限公司 一种计算机可读存储介质、电子设备及手术机器人系统
CN113208546A (zh) * 2021-05-13 2021-08-06 北京天星博迈迪医疗器械有限公司 内窥镜固定装置及内窥镜组件、摄影系统以及定位方法
CN113349939B (zh) * 2021-07-12 2023-03-21 哈尔滨思哲睿智能医疗设备股份有限公司 被动主手式主从控制手术机器人的性能测试方法及系统
CN113648058B (zh) * 2021-08-20 2023-01-13 苏州康多机器人有限公司 一种手术辅助定位方法及系统
CN114767031B (zh) * 2022-03-31 2024-03-08 常州朗合医疗器械有限公司 内窥镜设备、内窥镜的位置引导设备、系统、方法和计算机可读存储介质
CN115414116B (zh) * 2022-11-07 2023-03-24 中南大学 一种腹腔镜戳卡最优位点模拟定位选择系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10157965A1 (de) * 2001-11-26 2003-06-26 Siemens Ag Navigationssystem mit Atem- bzw. EKG-Triggerung zur Erhöhung der Navigationsgenauigkeiten
CN101474075B (zh) * 2009-01-15 2010-09-08 复旦大学附属中山医院 微创手术导航系统
EP2496128A1 (en) * 2009-11-04 2012-09-12 Koninklijke Philips Electronics N.V. Collision avoidance and detection using distance sensors
US20140362199A1 (en) * 2011-12-03 2014-12-11 Koninklijke Philips N.V. Surgical port localization
CN108524001B (zh) * 2012-08-15 2021-06-29 直观外科手术操作公司 利用零空间取消关节运动的系统
EP2969407B1 (en) * 2013-03-15 2022-11-02 Intuitive Surgical Operations, Inc. System for managing multiple null-space objectives and sli behaviors
WO2015142786A1 (en) * 2014-03-17 2015-09-24 Intuitive Surgical Operations, Inc. Constant force spring with active bias

Also Published As

Publication number Publication date
CN107811710A (zh) 2018-03-20

Similar Documents

Publication Publication Date Title
CN107811710B (zh) 手术辅助定位系统
CN110353806B (zh) 用于微创全膝关节置换手术的增强现实导航方法及系统
JP7204663B2 (ja) 慣性計測装置を使用して手術の正確度を向上させるためのシステム、装置、及び方法
CN109288591B (zh) 手术机器人系统
US9082319B2 (en) Method, apparatus, and system for computer-aided tracking, navigation and motion teaching
CN112075914B (zh) 胶囊内窥镜检查系统
CN106456271B (zh) 手术植入物的定量三维成像和打印
US9980653B2 (en) Valve view map
US20190090955A1 (en) Systems and methods for position and orientation tracking of anatomy and surgical instruments
CN101474075B (zh) 微创手术导航系统
JPWO2018159338A1 (ja) 医療用支持アームシステムおよび制御装置
CN108289598A (zh) 描绘系统
WO2003096255A2 (en) Simulation system for medical procedures
CN110215285A (zh) 手术导航的纠偏方法及系统
CN110169821B (zh) 一种图像处理方法、装置及系统
CN106780706A (zh) 基于腹腔镜的图像显示方法及装置
CN110288653A (zh) 一种多角度超声图像融合方法、系统及电子设备
JP6493885B2 (ja) 画像位置合せ装置、画像位置合せ装置の作動方法および画像位置合せプログラム
CN115153835A (zh) 基于特征点配准与增强现实的髋臼假体放置引导系统及方法
CN101632570B (zh) 医用内窥镜标定方法
CN110025376A (zh) 一种心脏介入手术模拟方法、终端设备及系统
WO2016054775A1 (zh) 超声虚拟内窥成像系统和方法及其装置
CN115954096B (zh) 一种基于图像数据处理的腔镜vr成像系统
WO2015091226A1 (en) Laparoscopic view extended with x-ray vision
US20200113637A1 (en) Robotically-assisted surgical device, robotically-assisted surgery method, and system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Room 101, block B, building 1, No. 1601, Zhangdong Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai, 201203

Patentee after: Shanghai minimally invasive medical robot (Group) Co.,Ltd.

Address before: Room 103, building 2, 501 Newton Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai, 201203

Patentee before: Microport (Shanghai) Medbot Co.,Ltd.

CP03 Change of name, title or address