CN113081273A - 打孔辅助系统及手术机器人系统 - Google Patents

Abstract

本发明提供一种打孔辅助系统及手术机器人系统，打孔辅助系统包括扫描装置、建模模块、处理器及AR眼镜；建模模块分别与扫描装置和处理器通信连接；处理器与AR眼镜通信连接；扫描装置用于扫描获取一预定对象的腔内数据信息；AR眼镜用于获取预定对象的外部图像信息；建模模块用于根据腔内数据信息建立预定对象的第一虚拟三维模型，处理器用于根据第一虚拟三维模型与外部图像信息建立预定对象的第二虚拟三维模型，并计算得到预定打孔位置，将预定打孔位置标识于第二虚拟三维模型上。如此配置，能够通过AR眼镜在患者身上显示预定打孔位置，从而可以辅助操作者对打孔进行指引，保障了打孔的准确性和安全性。

Description

打孔辅助系统及手术机器人系统

技术领域

本发明涉及机器人辅助手术系统领域，特别涉及一种打孔辅助系统及手术机器人系统。

背景技术

手术机器人的出现符合精准外科的发展趋势。手术机器人成为帮助医生完成手术的有力工具，如da Vinci手术机器人已经应用在全球各大医院，因其伤害小、出血少、恢复快，为患者带来福音。

手术机器人其设计理念是采用微创伤方式，精准地实施复杂的外科手术。在传统的手术面临种种局限的情况下，发展出了手术机器人来替代传统手术，手术机器人突破了人眼的局限，采用AR成像技术，将内部器官更加清晰的呈现给操作者。手术器械通过体表特定的孔进入体腔，接近病灶。医生通过控制手术机器人，控制手术器械完成360度转动、挪动、摆动、夹持，并避免抖动。手术创口小，出血少，恢复快，大大缩短了患者术后住院时间，术后存活率和康复率也能明显提高，受到广大医患的青睐，现在作为一种高端医疗器械，已广泛运用于各种临床手术中。

患者体表用于供手术器械穿过的孔位通常由医生根据病灶及术式等进行术前规划，并由医生根据经验进行打孔。在气腹状态下，患者体表与脏器间具有一定安全距离，但用于打孔的套管针通常非常尖锐，而且医生为刺破体表需要非常用力，尤其对于皮下脂肪层较厚的患者，医生必须非常用力才能成功打孔。经验不足的医生在打孔过程中，有可能用力过猛，导致穿刺器穿透体表后，刺伤组织，造成患者不必要创伤的增加，影响手术安全。

也就是说现在的微创伤手术，在进行打孔时存在严重依靠医生经验，存在打孔位置不准确，导致手术操作难度变高，甚至需要额外打孔，增加患者伤痛等情形；打孔过程中也存在造成患者伤痛增加的可能。因此急需一种可以在打孔之前提示打孔位置，并在打孔/穿刺过程中实时提示打孔/穿刺器与组织实时碰撞可能性的方法，以此降低对医生经验要求，同时能够有效弥补现有手术打孔操作的风险和缺陷，提高手术操作的安全性。

发明内容

本发明的目的在于提供一种打孔辅助系统及手术机器人系统，以解决现有的微创伤手术在进行打孔时过度依靠医生经验，存在打孔位置不准确，易对患者造成伤害等问题中的至少一者。

为解决上述技术问题，根据本发明的第一个方面，提供了一种打孔辅助系统，其包括：扫描装置、建模模块、处理器及AR眼镜；所述建模模块分别与所述扫描装置和所述处理器通信连接；所述处理器与所述AR眼镜通信连接；

所述扫描装置用于扫描获取一预定对象的腔内数据信息；

所述AR眼镜用于获取所述预定对象的外部图像信息；

所述建模模块用于根据所述腔内数据信息建立所述预定对象的第一虚拟三维模型；

所述处理器用于根据所述第一虚拟三维模型与所述外部图像信息建立所述预定对象的第二虚拟三维模型，并计算得到预定打孔位置，将所述预定打孔位置标识于所述第二虚拟三维模型上；

所述AR眼镜还用于显示标识有所述预定打孔位置的第二虚拟三维模型。

可选的，所述扫描装置包括内窥镜或激光测距扫描仪。

可选的，所述AR眼镜还用于显示打孔辅助信息。

可选的，所述处理器被配置为，根据利用手术机器人于所述第二虚拟三维模型上模拟手术计算得到所述预定打孔位置。

可选的，所述处理器被配置为根据如下步骤执行模拟手术：

选取所述扫描装置所在所述第二虚拟三维模型的表面区域的位置为初始点，获取采样样本空间；

基于所述采样样本空间，选取其中N个点作为N个手术器械的打孔点执行模拟手术，获得所述N个手术器械和所述扫描装置的运动轨迹参考值的集合；

遍历所述采样样本空间，选取所述运动轨迹参考值的集合中，运动轨迹参考值最大的N个点，并将这N个点设定为所述预定打孔位置；其中N为大于1的整数。

可选的，所述运动轨迹参考值V根据下式确定：

V＝α*VI-β*Vesum

其中，α、β分别为取值范围在[0，1]的权重系数，VI为所述N个手术器械的重合体积Va、所述第一虚拟三维模型以及所述扫描装置的腔内视野的并集，Vesum为所述N个手术器械和所述扫描装置中两两交集的干涉空间集。

可选的，所述N个手术器械的重合体积Va为：

其中，{x1,y1,z1}为第1个手术器械的笛卡尔空间位置空间分布集合；{xN,yN,zN}为第N个手术器械的笛卡尔空间位置空间分布集合。

可选的，所述处理器被配置为，根据于所述第二虚拟三维模型上模拟手术计算得到所述预定打孔位置。

可选的，所述处理器还被配置为，根据所述预定打孔位置、所述扫描装置的外形与位姿、所述第一虚拟三维模型及手术机器人的机械臂的外形与位姿，选定预定打孔路径。

可选的，所述AR眼镜被配置为，显示虚拟光圈，以代表所述预定打孔位置在所述第二虚拟三维模型上的表面区域的位置；以及显示虚拟光柱，以代表所述预定打孔路径。

可选的，所述建模模块基于扫描装置坐标系相对于机器人病人端坐标系之间的映射关系，得到所述扫描装置坐标系与所述机器人病人端坐标系的映射关系，以使所述第一虚拟三维模型在机器人病人端坐标系下的位姿形成映射关系。

可选的，所述处理器还用于获取所述扫描装置伸入腔内的扫描端在AR眼镜坐标系下的第一坐标，以及获取所述扫描装置伸入腔口处的部分在AR眼镜坐标系下的第二坐标，所述处理器根据所述第一坐标和所述第二坐标模拟得到所述扫描装置的虚拟图像，所述AR眼镜还用于显示所述扫描装置的虚拟图像。

可选的，所述AR眼镜包括陀螺仪，所述陀螺仪用于获取角运动信息并发送给所述处理器，以供所述处理器实时计算所述AR眼镜与机器人病人端的相对位置关系，从而得到AR眼镜坐标系与机器人病人端坐标系之间的映射关系。

可选的，所述打孔辅助系统还包括穿刺器；

所述AR眼镜还用于扫描获取所述穿刺器的第三虚拟三维模型，所述处理器用于根据所述第三虚拟三维模型的延伸方向生成虚拟预打孔路径；

所述AR眼镜还用于显示所述第三虚拟三维模型和所述虚拟预打孔路径。

可选的，所述穿刺器的远端具有标记物；

所述扫描装置还用于扫描获取所述标记物的位置信息；

所述处理器还用于根据所述标记物的位置信息和所述腔内数据信息，计算得到所述穿刺器的远端与组织的最近距离；

所述AR眼镜还用于显示所述最近距离。

可选的，所述打孔辅助系统还包括伺服驱动装置，所述伺服驱动装置与所述扫描装置连接，并与所述处理器通信连接；

所述处理器还被配置为，基于所述标记物的位置信息和预期位置的差值，计算得到所述扫描装置的期望姿态，并根据所述期望姿态通过所述伺服驱动装置驱动调节所述扫描装置的姿态。

可选的，所述最近距离小于预设的阈值时，所述AR眼镜还用于显示和/或发出警告信息。

为解决上述技术问题，根据本发明的第二个方面，还提供了一种手术机器人系统，其包括如上所述的打孔辅助系统。

综上所述，在本发明提供的打孔辅助系统及手术机器人系统中，打孔辅助系统包括扫描装置、建模模块、处理器及AR眼镜；所述建模模块分别与所述扫描装置和所述处理器通信连接；所述处理器与所述AR眼镜通信连接；所述扫描装置用于扫描获取一预定对象的腔内数据信息；所述AR眼镜用于获取所述预定对象的外部图像信息；所述建模模块用于根据所述腔内数据信息建立所述预定对象的第一虚拟三维模型，所述处理器用于根据所述第一虚拟三维模型与所述外部图像信息建立所述预定对象的第二虚拟三维模型，并计算得到预定打孔位置，将所述预定打孔位置标识于所述第二虚拟三维模型上。

如此配置，通过扫描装置完成对腹腔内部场景的扫描，通过AR眼镜获取患者体外图像，并进行三维建模，进而通过AR眼镜在患者身上显示预定打孔位置，从而可以辅助操作者对打孔进行指引，保障了打孔的准确性和安全性。

附图说明

本领域的普通技术人员将会理解，提供的附图用于更好地理解本发明，而不对本发明的范围构成任何限定。其中：

图1是本发明一实施例提供的手术机器人系统的示意图；

图2是本发明一实施例提供的打孔辅助系统使用前的示意图；

图3是本发明一实施例提供的打孔辅助系统的坐标转换的示意图；

图4是本发明一实施例提供的打孔辅助系统的打孔方案规划的示意图；

图5是本发明一实施例提供的AR眼镜的显示场景的示意图；

图6是本发明一实施例提供的AR眼镜的显示场景中穿刺器与期望姿态存在偏差的示意图；

图7是本发明一实施例提供的AR眼镜的显示场景中穿刺器按期望姿态进行打孔的示意图；

图8是本发明一实施例提供的AR眼镜显示打孔辅助信息的示意图。

附图中：

10-手术器械台；20-机器人医生端；30-手术辅助设备装置；40-患者；50-图像台车；60-机器人病人端；70-操作者；80-AR眼镜；

41-3D腹腔镜；43-预定打孔位置；44-穿刺器；45-预定打孔路径；46-虚拟预打孔路径；47-打孔辅助信息。

具体实施方式

为使本发明的目的、优点和特征更加清楚，以下结合附图和具体实施例对本发明作进一步详细说明。需说明的是，附图均采用非常简化的形式且未按比例绘制，仅用以方便、明晰地辅助说明本发明实施例的目的。此外，附图所展示的结构往往是实际结构的一部分。特别的，各附图需要展示的侧重点不同，有时会采用不同的比例。

如在本发明中所使用的，单数形式“一”、“一个”以及“该”包括复数对象，术语“或”通常是以包括“和/或”的含义而进行使用的，术语“若干”通常是以包括“至少一个”的含义而进行使用的，术语“至少两个”通常是以包括“两个或两个以上”的含义而进行使用的，此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者至少两个该特征，术语“近端”通常是靠近操作者的一端，术语“远端”通常是靠近患者即靠近腹腔内的一端，“一端”与“另一端”以及“近端”与“远端”通常是指相对应的两部分，其不仅包括端点，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。此外，如在本实用新型中所使用的，一元件设置于另一元件，通常仅表示两元件之间存在连接、耦合、配合或传动关系，且两元件之间可以是直接的或通过中间元件间接的连接、耦合、配合或传动，而不能理解为指示或暗示两元件之间的空间位置关系，即一元件可以在另一元件的内部、外部、上方、下方或一侧等任意方位，除非内容另外明确指出外。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本实用新型中的具体含义。

本发明的核心思想在于提供一种打孔辅助系统及手术机器人系统，以解决现有的微创伤手术在进行打孔时过度依靠医生经验，存在打孔位置不准确，易对患者造成伤害等技术问题。

以下参考附图进行描述。

请参考图1至图8，其中，图1是本发明一实施例提供的手术机器人系统的示意图；图2是本发明一实施例提供的打孔辅助系统使用前的示意图；图3是本发明一实施例提供的打孔辅助系统的坐标转换的示意图；图4是本发明一实施例提供的打孔辅助系统的打孔方案规划的示意图；图5是本发明一实施例提供的AR眼镜的显示场景的示意图；图6是本发明一实施例提供的AR眼镜的显示场景中穿刺器与期望姿态存在偏差的示意图；图7是本发明一实施例提供的AR眼镜的显示场景中穿刺器按期望姿态进行打孔的示意图；图8是本发明一实施例提供的AR眼镜显示打孔辅助信息的示意图。

本发明一实施例提供一种手术机器人系统，图1示出了该手术机器人系统及其手术应用场景，在一个示范性的实施例中，所述手术机器人系统包括手术器械台10、机器人医生端20、手术辅助设备装置30、图像台车50、机器人病人端60和其他的一些手术中辅助设备。为解决现有技术中过度依靠医生经验打孔，所述手术机器人系统包括打孔辅助系统，所述打孔辅助系统包括扫描装置、建模模块、处理器及AR眼镜。所述建模模块分别与所述扫描装置和所述处理器通信连接；所述处理器与所述AR眼镜通信连接。所述扫描装置用于扫描获取一预定对象的腔内数据信息。如图1和2所示，在一个实施例中，一患者40被设定为预定对象，所述打孔辅助系统使用前，扫描装置被预先配置为伸入患者40的腹部内，其用于扫描获取患者40腹腔内的腔内数据信息。所述AR眼镜用于获取所述患者40的外部图像信息；所述建模模块用于根据所述腔内数据信息建立所述预定对象的第一虚拟三维模型，所述处理器用于根据所述第一虚拟三维模型与所述外部图像信息建立所述预定对象的第二虚拟三维模型，并计算得到预定打孔位置，将所述预定打孔位置标识于所述第二虚拟三维模型上；所述AR眼镜还用于显示标识有所述预定打孔位置的第二虚拟三维模型。戴上AR眼镜的操作者70通过所述AR眼镜可以看到标识有所述预定打孔位置的第二虚拟三维模型。在一个实施例中，建模模块可设置在手术机器人的控制计算机上，处理器可与AR眼镜结合设置。当然本领域技术人员还可以根据需要将建模模块独立设置，或与处理器合并设置，又或处理器可与AR眼镜分离设置等。

下面结合一个具体的示例，详细说明本实施例提供的打孔规划方案：

步骤A1：术前准备，通过操作者手动输入手术类型以及术前CT等手段对所述患者40进行体表外部扫描以获取病人病灶位置信息。可以理解的，打孔规划方案需要预先获取病人病灶坐标信息。如根据输入的手术名称判断出病灶信息，并通过CT扫描获取以患者40为坐标系的病灶位置信息。操作者执行所述手动输入可以在机器人医生端20，或者手术辅助设备装置30、图像台车50等处，本申请对此不作特别限定。

步骤A2：扫描建模，获取患者40腹腔内的腔内数据信息。扫描装置可以采用内窥镜(如3D腹腔镜41)或者其他的三维扫描装置，如采用激光测距原理的扫描仪等。扫描装置被配置为伸入患者40的腹部。基于不同的扫描装置，所获取的腔内数据信息亦不同，获取腔内数据信息之后，扫描装置将腔内数据信息发送到建模模块。建模模块根据所述腔内数据信息即可得到患者40腹腔内的第一虚拟三维模型。

步骤A3：打孔方案规划，AR眼镜的摄像头能够获取患者40的外部图像信息，并将该外部图像信息传输给处理器；处理器通过所述外部图像信息与基于腔内数据信息构成的第一虚拟三维模型进行融合匹配，形成具有体表和体内信息的第二虚拟三维模型；进而处理器根据所述病人病灶位置信息以及第二虚拟三维模型计算出最佳的预定打孔位置；将所述预定打孔位置的坐标信息在第二虚拟三维模型上标识出来；AR眼镜显示标识有所述预定打孔位置的第二虚拟三维模型。

步骤A4：AR辅助打孔过程，如图4所示，戴上AR眼镜的操作者70通过所述AR眼镜可以看到标识有所述预定打孔位置的第二虚拟三维模型，操作者根据AR眼镜的指引，将穿刺器44通过预定打孔位置刺入患者40体内。具体的，操作者在戴上AR眼镜后，所看到的场景分为真实场景S1和虚拟场景S2两个部分。真实场景S1部分是眼镜视角外面的场景，即人眼可以直接接收到的信息；虚拟场景S2是由AR眼镜双目视觉获取的场景与真实场景融合后产生的虚拟场景。标识有所述预定打孔位置的第二虚拟三维模型可通过虚拟场景显示，并与真实场景S1所融合后形成虚实结合场景。

可选的，所述打孔规划方案还包括步骤A5：打孔后评估，所述AR眼镜还用于显示打孔辅助信息47，具体的，如图8所示，打孔过程中通过所述AR眼镜可以在AR虚拟菜单栏看到打孔辅助信息47，打孔辅助信息47如包括手术打孔个数，穿刺器44进入体内的深度信息，是否损伤脏器，是否发生碰撞等。优选的，每当结束一个打孔过程后，AR眼镜通过对打孔个数的识别，对内部打孔计数器进行累加后得到打孔个数信息，并在所述AR虚拟菜单栏上进行显示。

步骤A6：打孔结束，将完成打孔过程的穿刺器44放在所述机器人病人端60的机械臂上，手术机器人进入手术状态。

进一步的，在一个示范例中，以3D腹腔镜41作为扫描装置的示例对步骤A2的扫描建模的步骤进行说明，3D腹腔镜41所获取的腔内数据信息主要是腔内的图像信息。但应理解扫描装置不以此为限。步骤A2的扫描建模的步骤包括：

步骤A21：对3D腹腔镜41进行标定，本实施例对标定方法没有特别的限制，例如可使用张氏标定法进行标定，通过获取3D腹腔镜41内左右光学成像系统内外参数矩阵(如焦距、主点、歪斜和畸变)，左右光学成像系统都标定完成后，对两路光学成像系统进行立体标定，求出成像系统之间的旋转和平移关系向量；可选的，AR眼镜包括双目摄像头时，同样可以通过上述方式完成AR眼镜双目摄像头的立体标定。

步骤A22：通过3D腹腔镜41对患者40的腹腔内进行内部扫描：确定需手术的部位，根据该部位的位置确定腹腔镜孔，即一个创口，而后进行腹腔镜孔的打孔操作，腹腔镜孔的位置可以由医生确定或者根据后述实施例的方法确定。腹腔镜孔的打孔完成后，将3D腹腔镜41插入腹腔内部，进行内部扫描，以便于实现对患者40腹腔内部进行建模。本领域技术人员应理解，本发明对扫描设备没有特别的限制，也可以采用其它的扫描装置完成患者40的腔内数据信息的采集。

步骤A23：建模模块根据3D腹腔镜41获取的腔内数据信息组成一幅点云图，对该点云图进行曲面拟合得到患者40的腔内的第一虚拟三维模型。由于受限于3D腹腔镜41的视场角，可通过多幅图像组成实现第一虚拟三维模型的重建，具体的，可通过多角度拍摄得出的图像信息，经过图像信息的融合实现对患者40的第一虚拟三维模型的重建。本发明对于三维重建的方法没有特别的限制，本领域技术人员可以根据需求选择合适的方法。可选的，在完成体内扫描建模后，第一虚拟三维模型可由无线装置(例如wifi，蓝牙，或者5G设备)发送到处理器，当然也可以通过有线的方式发送到处理器。

优选的，所述建模模块基于扫描装置坐标系相对于机器人病人端坐标系之间的映射关系，得到所述扫描装置坐标系与所述机器人病人端坐标系的映射关系，以使所述第一虚拟三维模型在机器人病人端坐标系下的位姿形成映射关系。请参考图3，在一个实施例中，所述建模模块经过坐标系的相互转换，可以实时得到第一虚拟三维模型在机器人病人端坐标系下的位姿信息，以及第一虚拟三维模型在AR眼镜坐标系下的位姿信息。具体的，所述建模模块首先确认扫描装置坐标系相对于机器人病人端坐标系之间的映射关系。例如，3D腹腔镜41的位姿信息可通过逆运动学方程得到，即可得到任意时刻下扫描装置坐标系与机器人病人端坐标系的映射关系。此时，按照前述方法，通过对患者40的腔内数据信息的计算，可得出人体体内坐标系与扫描装置坐标系状态的映射关系，从而得到人体体内坐标系与机器人病人端坐标系之间的映射关系。最终获得第一虚拟三维模型在机器人病人端坐标系下位姿的描述。

进一步的，所述AR眼镜包括陀螺仪，所述陀螺仪用于获取角运动信息并发送给所述处理器，以供所述处理器实时计算所述AR眼镜与机器人病人端的相对位置关系，从而得到AR眼镜坐标系与机器人病人端坐标系之间的映射关系。在一个示范例中，可将所述AR眼镜放在机器人医生端的预定的初始位置(如操作台的一固定位置)，并以AR眼镜中心为坐标原点，建立AR眼镜坐标系，当AR眼镜移动时，通过陀螺仪使处理器能够实时计算AR眼镜与手术机器人的相对位置关系，从而得到AR眼镜坐标系与机器人病人端坐标系的转换关系。由于人体表面坐标信息可通过逆运动学方程得到，可得到任意时刻下AR眼镜坐标系与患者40的人体表面坐标系的映射关系。根据上述说明可以知道，患者40的人体体内坐标系、扫描装置坐标系、机器人病人端坐标系以及AR眼镜坐标系之间均形成了映射关系。

结合图3，处理器可根据第一虚拟三维模型与相互之间的坐标映射关系计算得到以AR眼镜坐标系下的第一虚拟三维模型的坐标点，进而AR眼镜可将第一虚拟三维模型根据其所在AR眼镜坐标系的坐标点位置信息进行虚拟显示。

在步骤A2的扫描建模完成后，开始步骤A3打孔方案规划。根据各个坐标系之间的坐标映射关系与病灶位置信息可以进行布局优化，从而找出预定打孔位置。可选的，预定打孔位置包括打孔点和打孔路径，并由AR眼镜进行显示。在一个可选的实施例中，所述处理器被配置为，根据利用手术机器人于所述第二虚拟三维模型上模拟手术计算得到所述预定打孔位置。具体的，AR眼镜通过所述双目摄像头获取病人体表的外部图像信息，处理器根据外部图像信息和第一虚拟三维模型，合成第二虚拟三维模型。进一步的，预定打孔位置可以通过所述布局优化获取，具体而言，可以在患者40的外部图像信息的表面区域取随机采样点，并在第二虚拟三维模型上进行模拟手术，以进行布局优化，即根据模拟手术的方法，来确定使得手术机器人的机械臂与内窥镜臂的工作范围最大、碰撞程度最小的若干个预定打孔位置。当然在其它的一些实施例中，处理器也可被配置为，根据操作者人工手动的方式于所述第二虚拟三维模型上模拟手术计算得到所述预定打孔位置，本发明对模拟手术的操作方式不限。

可选的，所述处理器被配置为根据如下步骤执行模拟手术：

步骤A31：选取所述扫描装置所在所述第二虚拟三维模型的表面区域的位置为初始点，获取采样样本空间C；可选的，可以所述初始点为坐标原点建立参考坐标系，以距离步长为ΔX，扇角步长Δφ进行采样，获取采样样本空间C{C1，C2…CN}。

步骤A32：基于所述采样样本空间C，选取其中N个点作为N个手术器械的打孔点执行模拟手术，获得所述N个手术器械和所述扫描装置的运动轨迹参考值V的集合。

可选的，所述运动轨迹参考值V根据下式确定：V＝α*VI-β*Vesum。其中，α、β分别为取值范围在[0，1]的权重系数，VI为所述N个手术器械的重合体积Va与所述第二虚拟三维模型的腔内重合体积的并集，Vesum为所述N个手术器械和所述扫描装置中两两交集的干涉空间集。优选的，所述N个手术器械的重合体积Va为：

其中，{x1,y1,z1}为第1个手术器械的笛卡尔空间位置空间分布集合；{xN,yN,zN}为第N个手术器械的笛卡尔空间位置空间分布集合。

下面以两个手术器械(即N＝2)为例进行说明，从采样样本空间C的样本中选择一点作为用于第1个手术器械的第一打孔点，再从采样样本空间C剩余的样本中选择一点作为用于第2个手术器械的第二打孔点，由此确定了手术器械的两个打孔点，通过模拟手术，模拟机械臂及内窥镜臂各个关节角位置q，通过DH法计算正向运动学X＝Kinematics(q)，得到手术器械的末端和3D腹腔镜41相对于坐标系原点的笛卡尔空间位置分布集合，即第1个手术器械的末端的笛卡尔空间位置空间分布集合C1＝{x1,y1,z1},第2个手术器械的末端的笛卡尔空间位置空间分布集合C2＝{x2,y2,z2}。两个手术器械的末端的工作空间重合的空间的体积计算以球形体积来表示，即通过定积分方程：

得到两个手术器械的末端的重合空间的体积后，处理器计算手术器械的末端的重合体积Va、第一虚拟三维模型以及3D腹腔镜41的腔内视野的重合区域，获得重合体积VI。

与此同时，获取第1个手术器械、第2个手术器械以及3D腹腔镜41之间的干涉。具体而言，处理器计算获得每个机械臂、内窥镜臂上各关节的工作空间，对关节的工作空间取并集，获得对应机械臂、内窥镜臂的工作空间，进一步取两个机械的工作空间以及内窥镜臂工作空间两两之间的交集VEi(i＝1，2，3)，并根据数据统计方法获得干涉空间集VEsum。其中数据统计的方法例如为简单的累加，或者对不同的VEi加以重，再累加。最后，取参考值V＝α*VI-β*Vesum，本领域技术人员可以理解，关于α、β的具体取值可根据机械臂、内窥镜臂的构型、目标组织类型、手术类型以及医生的偏好等设定。

步骤A33：遍历所述采样样本空间C，选取所述运动轨迹参考值V的集合中，运动轨迹参考值V最大的N个点，将这N个点设定为所述预定打孔位置；其中N为大于1的整数。

步骤A34：所述处理器还被配置为，根据所述预定打孔位置、所述扫描装置的外形与位姿、所述第一虚拟三维模型的位姿及手术机器人的机械臂的外形与位姿，选定预定打孔路径。具体的，处理器根据预定打孔位置、3D腹腔镜41、所述第一虚拟三维模型及手术机器人的机械臂的位姿进行计算，选取远离第一虚拟三维模型、3D腹腔镜41、手术机器人的机械臂及其他手术器械，且穿刺深度合适的路径为预定打孔路径，此选取过程可以避免碰撞。

步骤A35：所述AR眼镜被配置为，显示虚拟光圈，以代表所述预定打孔位置在所述第二虚拟三维模型上的表面区域的位置；以及显示虚拟光柱，以代表所述预定打孔路径。在一个示范例中，处理器以所述预定打孔位置的坐标位置为原点，直径为0.2cm，形成一个虚拟光圈，并通过AR眼镜显示在第二虚拟三维模型的表面上；进而，处理器以所述预定打孔路径形成的坐标位置为中心点，形成一个直径为0.2cm的虚拟光柱，并通过AR眼镜显示在第二虚拟三维模型上，代表所述预定打孔路径。

可选的，所述处理器还用于获取所述扫描装置伸入腔内的扫描端在AR眼镜坐标系下的第一坐标，以及获取所述扫描装置伸入腔口处的部分在AR眼镜坐标系下的第二坐标，所述处理器根据所述第一坐标和所述第二坐标模拟得到所述扫描装置的虚拟图像，所述AR眼镜还用于显示所述扫描装置的虚拟图像。具体的，通过坐标系转换关系，可以获取扫描装置伸入腔内的扫描端，如3D腹腔镜41之双目镜头的中心点，在AR眼镜坐标系下的第一坐标P(x，y，z)，以及扫描装置伸入腔口处的部分，即3D腹腔镜41在患者腹腔表面上的腹腔镜孔的第二坐标P`(x`，y`，z`)，处理器分别以上述两个点形成一条线段，以所述线段为中心，根据3D腹腔镜41的外形(例如预先置入处理器中，当然也可实时获取)，模拟出3D腹腔镜41的立体虚拟图像，并通过AR眼镜显示在所述的第二虚拟三维模型上。如图5所示，当操作者戴上AR眼镜可以看到伸入患者40腹腔内部的3D腹腔镜41、预定打孔位置43及预定打孔路径45。

优选的，所述打孔辅助系统还包括穿刺器44；所述AR眼镜还用于扫描获取所述穿刺器44的第三虚拟三维模型，所述处理器用于根据所述第三虚拟三维模型的延伸方向生成虚拟预打孔路径；所述AR眼镜还用于显示所述第三虚拟三维模型和所述虚拟预打孔路径。

下面基于上述的打孔辅助系统，说明AR辅助打孔的具体操作过程。需理解，以下步骤A41～S45并非限定严格按顺序依次全部执行，而可以选择性地执行其中的一部分。

步骤A41：预打孔，预打孔的主要过程是当穿刺器44靠近预定打孔位置的时候，由处理器根据当前穿刺器44的角度信息计算并通过AR眼镜显示虚拟预打孔路径，操作者调整穿刺器44的角度，直到所述虚拟预打孔路径与预定打孔路径重合时，才开始打孔操作。具体的，AR眼镜双目摄像头可以通过扫描，获取穿刺器44的第三虚拟三维模型，然后对穿刺器44进行实时跟踪，获取穿刺器44在AR眼镜坐标系下的坐标位置。当穿刺器44移动到预定打孔位置附近的时候，处理器根据穿刺器44的坐标信息，对穿刺器44所在的坐标进行延伸，生成虚拟预打孔路径的坐标信息，并将这些坐标信息形成虚拟光柱通过AR眼镜进行实时显示。

步骤A42：穿刺器进入，当穿刺器44靠近预定打孔位置43时，AR眼镜显示出虚拟预打孔路径46，当所述虚拟预打孔路径46与预定打孔路径45重合后，穿刺器44沿着当前的角度刺入患者40体内。

步骤A43：穿刺器尖端识别，在一个较佳的实施例中，所述穿刺器44的远端具有标记物；所述扫描装置还用于扫描获取所述标记物的位置信息；所述处理器还用于根据所述标记物的位置信息和所述腔内数据信息，计算得到所述穿刺器44的远端与组织的最近距离；所述AR眼镜还用于显示所述最近距离。可选的，所述标记物如可为视觉标记物，例如颜色鲜明的反光材料或者发光体，该视觉标记物可通过被3D腹腔镜41识别并标记为监测目标，同时3D腹腔镜41的双目视觉可以计算出所述监测目标的坐标并发送到处理器。

步骤A44：视觉伺服控制，所述打孔辅助系统还包括伺服驱动装置，所述伺服驱动装置与所述扫描装置连接，并与所述处理器通信连接；所述处理器还被配置为，基于所述标记物的位置信息和预期位置的差值，计算得到所述扫描装置的期望姿态，并根据所述期望姿态通过所述伺服驱动装置驱动调节所述扫描装置的姿态。为了保证标记物能够维持在3D腹腔镜41视野中心区域，可采用视觉伺服控制转动3D腹腔镜41，通过计算当前标记物在相机图像中的位置和期望图像中位置的差值，作为伺服驱动装置的输入，计算期望的目标相机姿态，作为内窥镜臂关节控制器的输入，结合关节传感器形成闭环控制调节关节转角，从而实时调整3D腹腔镜41的角度，使标记物的观测角度维持在期望角度误差范围内。

步骤A45：AR实时显示穿刺器，AR眼镜在接收到监测目标的坐标信息之后，通过坐标转换关系即可以得到所述监测目标在AR眼镜坐标系下的坐标信息(x1，y1，z1)，AR眼镜根据当前预定打孔位置的坐标信息(x0，y0，z0)，计算两者之间的距离

即穿刺器44伸入腹腔内部的深度信息。同时，处理器将穿刺器44的第三虚拟三维模型的尖端映射到坐标位置(x1，y1，z1)，并将第三虚拟三维模型所在的坐标同时与当前的预定打孔位置(x0，y0，z0)重合，形成实时的虚拟穿刺器的图像，通过AR眼镜进行显示。穿刺器44伸入腹腔内部的深度信息可作为打孔辅助信息的一部分，于AR眼镜上显示。

可选的，在步骤A43中，所述最近距离小于预设的阈值时，所述AR眼镜还用于显示和/或发出警告信息。在一个示范例中，打孔过程中，处理器根据第三虚拟三维模型的实时位置信息，计算所述实时位置信息与第一虚拟三维模型的最小距离L1min。当L1min小于某个预设的阈值时，AR眼镜的虚拟菜单栏变成黄色，并且提示即将损伤脏器；当L1min小于等于0时，AR眼镜的虚拟菜单栏变成红色，并提示损伤脏器。在其它的一些实施例中，打孔过程中，处理器还根据第三虚拟三维模型的实时位置信息，计算所述实时位置信息与其他器械之间的最小距离L2min。当L2min小于某个预设的阈值时，AR眼镜的虚拟菜单栏变成黄色，并且提示即将发生器械之间碰撞；当L1min等于0时，AR眼镜的虚拟菜单栏变成红色，并提示发生器械碰撞。

可选的，AR眼镜还包括语音模块，所述语音模块可语音播报、接收语音指令及语音识别。在当前打孔深度达到预设深度时，可语音播报或界面提示当前打孔完成，由操作者通过语音控制或交互界面提示确认，如果AR眼镜上面还有未打完的孔，则重复上述打孔过程，直到剩余的打孔过程全部结束，手术机器人进入手术状态。

综上所述，在本发明提供的打孔辅助系统及手术机器人系统中，打孔辅助系统包括扫描装置、建模模块、处理器及AR眼镜；所述建模模块分别与所述扫描装置和所述处理器通信连接；所述处理器与所述AR眼镜通信连接；所述扫描装置用于扫描获取一预定对象的腔内数据信息；所述AR眼镜用于获取所述预定对象的外部图像信息；所述建模模块用于根据所述腔内数据信息建立所述预定对象的第一虚拟三维模型，所述处理器用于根据所述第一虚拟三维模型与所述外部图像信息建立所述预定对象的第二虚拟三维模型，并计算得到预定打孔位置，将所述预定打孔位置标识于所述第二虚拟三维模型上。如此配置，通过扫描装置完成对腹腔内部场景的扫描，通过AR眼镜获取患者体外图像，并进行三维建模，进而通过AR眼镜在患者身上显示预定打孔位置，从而可以辅助操作者对打孔进行指引，保障了打孔的准确性和安全性。

上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。

Claims (18)

1.一种打孔辅助系统，其特征在于，包括：扫描装置、建模模块、处理器及AR眼镜；所述建模模块分别与所述扫描装置和所述处理器通信连接；所述处理器与所述AR眼镜通信连接；

所述扫描装置用于扫描获取一预定对象的腔内数据信息；

所述AR眼镜用于获取所述预定对象的外部图像信息；

所述建模模块用于根据所述腔内数据信息建立所述预定对象的第一虚拟三维模型；

所述处理器用于根据所述第一虚拟三维模型与所述外部图像信息建立所述预定对象的第二虚拟三维模型，并计算得到预定打孔位置，将所述预定打孔位置标识于所述第二虚拟三维模型上；

所述AR眼镜还用于显示标识有所述预定打孔位置的第二虚拟三维模型。

2.根据权利要求1所述的打孔辅助系统，其特征在于，所述扫描装置包括内窥镜或激光测距扫描仪。

3.根据权利要求1所述的打孔辅助系统，其特征在于，所述AR眼镜还用于显示打孔辅助信息。

4.根据权利要求1所述的打孔辅助系统，其特征在于，所述处理器被配置为，根据利用手术机器人于所述第二虚拟三维模型上模拟手术计算得到所述预定打孔位置。

5.根据权利要求4所述的打孔辅助系统，其特征在于，所述处理器被配置为根据如下步骤执行模拟手术：

选取所述扫描装置所在所述第二虚拟三维模型的表面区域的位置为初始点，获取采样样本空间；

基于所述采样样本空间，选取其中N个点作为N个手术器械的打孔点执行模拟手术，获得所述N个手术器械和所述扫描装置的运动轨迹参考值的集合；

遍历所述采样样本空间，选取所述运动轨迹参考值的集合中，运动轨迹参考值最大的N个点，并将这N个点设定为所述预定打孔位置；其中N为大于1的整数。

6.根据权利要求5所述的打孔辅助系统，其特征在于，所述运动轨迹参考值V根据下式确定：

V＝α*VI-β*Vesum

其中，α、β分别为取值范围在[0，1]的权重系数，VI为所述N个手术器械的重合体积Va、所述第一虚拟三维模型以及所述扫描装置的腔内视野的并集，Vesum为所述N个手术器械和所述扫描装置中两两交集的干涉空间集。

7.根据权利要求6所述的打孔辅助系统，其特征在于，所述N个手术器械的重合体积Va为：

其中，{x1,y1,z1}为第1个手术器械的笛卡尔空间位置空间分布集合；{xN,yN,zN}为第N个手术器械的笛卡尔空间位置空间分布集合。

8.根据权利要求1所述的打孔辅助系统，其特征在于，所述处理器被配置为，根据于所述第二虚拟三维模型上模拟手术计算得到所述预定打孔位置。

9.根据权利要求1所述的打孔辅助系统，其特征在于，所述处理器还被配置为，根据所述预定打孔位置、所述扫描装置的外形与位姿、所述第一虚拟三维模型的位姿及手术机器人的机械臂的外形与位姿，选定预定打孔路径。

10.根据权利要求9所述的打孔辅助系统，其特征在于，所述AR眼镜被配置为，显示虚拟光圈，以代表所述预定打孔位置在所述第二虚拟三维模型上的表面区域的位置；以及显示虚拟光柱，以代表所述预定打孔路径。

11.根据权利要求1所述的打孔辅助系统，其特征在于，所述建模模块基于扫描装置坐标系相对于机器人病人端坐标系之间的映射关系，得到所述扫描装置坐标系与所述机器人病人端坐标系的映射关系，以使所述第一虚拟三维模型在机器人病人端坐标系下的位姿形成映射关系。

12.根据权利要求1所述的打孔辅助系统，其特征在于，所述处理器还用于获取所述扫描装置伸入腔内的扫描端在AR眼镜坐标系下的第一坐标，以及获取所述扫描装置伸入腔口处的部分在AR眼镜坐标系下的第二坐标，所述处理器根据所述第一坐标和所述第二坐标模拟得到所述扫描装置的虚拟图像，所述AR眼镜还用于显示所述扫描装置的虚拟图像。

13.根据权利要求1所述的打孔辅助系统，其特征在于，所述AR眼镜包括陀螺仪，所述陀螺仪用于获取角运动信息并发送给所述处理器，以供所述处理器实时计算所述AR眼镜与机器人病人端的相对位置关系，从而得到AR眼镜坐标系与机器人病人端坐标系之间的映射关系。

14.根据权利要求1所述的打孔辅助系统，其特征在于，所述打孔辅助系统还包括穿刺器；

所述AR眼镜还用于扫描获取所述穿刺器的第三虚拟三维模型，所述处理器用于根据所述第三虚拟三维模型的延伸方向生成虚拟预打孔路径；

所述AR眼镜还用于显示所述第三虚拟三维模型和所述虚拟预打孔路径。

15.根据权利要求14所述的打孔辅助系统，其特征在于，所述穿刺器的远端具有标记物；

所述扫描装置还用于扫描获取所述标记物的位置信息；

所述处理器还用于根据所述标记物的位置信息和所述腔内数据信息，计算得到所述穿刺器的远端与组织的最近距离；

所述AR眼镜还用于显示所述最近距离。

16.根据权利要求15所述的打孔辅助系统，其特征在于，所述打孔辅助系统还包括伺服驱动装置，所述伺服驱动装置与所述扫描装置连接，并与所述处理器通信连接；

所述处理器还被配置为，基于所述标记物的位置信息和预期位置的差值，计算得到所述扫描装置的期望姿态，并根据所述期望姿态通过所述伺服驱动装置驱动调节所述扫描装置的姿态。

17.根据权利要求15所述的打孔辅助系统，其特征在于，所述最近距离小于预设的阈值时，所述AR眼镜还用于显示和/或发出警告信息。

18.一种手术机器人系统，其特征在于，用于与根据权利要求1～17中任一项所述的打孔辅助系统相配合以进行手术。

Images