CN112971996B - 计算机可读存储介质、电子设备及手术机器人系统 - Google Patents

Abstract

本发明提供了一种计算机可读存储介质、电子设备及手术机器人系统。所述计算机可读存储介质上存储有程序，当所述程序被执行时，所述程序执行如下步骤：获取手术器械与手术视野的相对位置关系；根据所述相对的位置关系和预定的显示方式得到显示内容信息；将所述显示内容信息发送至显示器进行显示。当手术机器人系统的控制单元被配置用于执行所述程序，且利用所述手术机器人系统执行手术操作时，方便医生根据显示器所显示的内容直观地了解手术器械与手术视野之间的相对位置关系，为施术者的操作提供参考，提高手术安全性。

Description

计算机可读存储介质、电子设备及手术机器人系统

技术领域

本发明属于医疗器械技术领域，具体涉及一种计算机可读存储介质、电子设备及手术机器人系统。

背景技术

采用机器人手术系统来进行微创伤外科手术，一方面患者的创伤小，伤口感染风险低，术后恢复快，另一方面可降低医生的操作难度和手术疲劳程度。然而，在机器人手术过程中，因内窥镜移动或手术器械移动，极易出现手术器械不在手术视野内的情况，这对于医生而言就是一个不可见的手术盲区。当手术器械不在手术视野内时，医生不能直接地控制手术器械或视野，此时若直接进行手术操作，非常容易对人体组织造成伤害。

现有技术中出现了一些可提高手术安全性的装置，例如现有技术中的一种医疗成像系统通过在护士显示屏上增加方向性等提示信息，达到提示医生手术器械的当前位置的目的，但其仅粗略地定位了手术器械的方位，不能保证手术操作的安全。

发明内容

本发明的目的在于提供一种计算机可读存储介质、电子设备及手术机器人系统，以进一步提高手术安全性。

为实现上述目的，本发明提供的一种计算机可读存储介质，其上存储有程序，当所述程序被执行时，所述程序执行如下步骤：

获取手术器械与手术视野的相对位置关系；

根据所述相对位置关系和预定的显示方式得到显示内容信息；

将所述显示内容信息发送至显示器进行显示。

可选地，获取所述手术器械与所述手术视野的相对位置关系时，所述程序执行如下步骤：

获取所述手术器械上一指定点T在预定坐标系下的坐标T（x，y，z）；

获取所述手术视野的中心点C在所述预定坐标系下的坐标C（x，y，z）；

根据所述手术器械上的指定点T的坐标T（x，y，z）与所述手术视野的中心点C的坐标C（x，y，z），得到所述手术器械与所述手术视野的相对位置关系。

可选地，所述手术视野由一图像获取装置提供，在获取所述手术视野的中心点C（x，y，z）时，所述程序执行如下步骤：

根据所述图像获取装置上的一参考点M与所述图像获取装置的末端点N的连线的方向向量

、所述末端点N的坐标信息以及所述图像获取装置的景深得到所述中心点C的坐标C（x，y，z）。

可选地，所述程序被执行时通过以下方式得到所述中心点C的坐标C（x，y，z）：

，

式中，H是所述图像获取装置的景深，所述参考点M选择为在手术过程中位置固定并位于所述图像获取装置的轴线上的点。

可选地，所述手术视野由图像获取装置提供，所述图像获取装置用于采集位于所述手术视野内的目标组织及手术器械的第一图像；

在获取所述手术视野的中心点C的坐标C（x，y，z）时，所述程序执行如下步骤：

通过对所述第一图像进行灰度化处理，并获取位于所述手术视野内的手术器械的器械数据集的像素点图和目标组织的组织数据集的像素点图来获取所述中心点C的坐标C（x，y，z）。

可选地，所述程序执行如下步骤以获取所述手术器械与所述手术视野的相对位置关系：

根据所述手术器械上的指定点T的坐标T（x，y，z）和所述手术视野的中心点C的坐标C（x，y，z）生成表征信息，以得到所述手术器械与所述手术视野的相对位置关系；

所述表征信息包括所述手术器械上的指定点T与所述手术视野的中心点C的距离以及定位角θ；所述手术视野由一图像获取装置提供；所述定位角θ由所述图像获取装置上的一参考点M和所述图像获取装置的末端点N的连线及所述手术器械上的指定点T和所述手术视野的中心点C的连线限定；所述参考点M选择为位于所述图像获取装置上且在所述图像获取装置的轴线上的一不动点。

可选地，所述定位角θ通过如下公式计算得到：

；

式中，

是所述参考点M与所述图像获取装置的末端点N的连线的方向向量。

可选地，所述预定的显示方式包括在所述显示器上显示所述手术视野，并在所述手术视野的预定区域显示一指示标记，且所述指示标记的长度与所述手术器械上的指定点T到所述手术视野的中心点C的距离成正比；所述显示内容信息包括所述指示标记；

所述程序执行如下步骤：

根据所述定位角θ确定所述预定区域，并在所述预定区域内生成所述指示标记。

可选地，所述程序执行如下步骤以确定所述预定区域：

以所述手术视野的中心点C为原点将所述手术视野划分为若干个象限；

建立所述定位角θ与各个象限的对应关系；

计算所述定位角θ；

根据所述定位角θ确定用于显示指示标记的象限以作为所述预定区域。

可选地，所述显示内容信息还包括位于所述手术视野外的手术器械的虚拟图像。

可选地，所述手术视野为矩形或具有一内接矩形；所述指示标记显示位于所述手术视野外的所述手术器械与所述手术视野的相对位置关系；

所述指示标记的边缘线、所述手术视野的边缘线及所述手术视野的中心点C与位于所述手术视野外的所述手术器械上的指定点T的连线相交于一点。

可选地，所述预定的显示方式包括在所述显示器上显示所述手术视野，并在所述手术视野的预定区域显示一指示标记以表征所述手术器械与所述手术视野的相对位置关系；所述显示内容信息包括所述指示标记。

可选地，所述程序还执行如下步骤：

在所述手术视野的预定区域生成用以表征所述手术器械与所述手术视野的相对位置关系的指示标记；所述指示标记的长度与所述手术器械上的指定点T到所述手术视野的中心点C的距离成正比。

可选地，所述预定的显示方式包括在所述显示器上显示第二图像和经图像获取装置所采集的组织操作图，所述第二图像中显示所述图像获取装置的虚拟影像、所述手术视野的虚拟影像以及位于所述手术视野外的所述手术器械的虚拟影像。

可选地，所述程序还执行如下步骤，以在所述显示器上显示所述手术视野与所述手术器械的相对位置关系：

在所述显示器上形成第一显示区和第二显示区，所述第一显示区用于显示经图像获取装置所采集的组织操作图，所述第二显示区用于显示第二图像，所述第二图像中显示所述图像获取装置想虚拟影像、所述手术视野的虚拟影像以及位于所述手术视野外的所述手术器械的虚拟影像；

接收所述组织操作图；

根据所述手术器械与所述手术视野的相对位置关系得到所述第二图像；

将所述组织操作图和所述第二图像发送至所述显示器。

可选地，所述预定的显示方式还包括在所述显示器上显示第三图像，所述第三图像中显示所述手术视野内的影像，以及位于所述手术视野外的手术器械的虚拟影像；所述第三图像与所述第二图像处于不同平面；所述显示内容信息还包括所述第三图像。

为实现上述目的，本发明还提供了一种电子设备，包括处理器和如前任一项所述的计算机可读存储介质，所述处理器用于执行所述计算机可读存储介质上所存储的程序。

为实现上述目的，本发明还提供了一种手术机器人系统，包括：

图像臂，用于挂载图像获取装置，所述图像获取装置用于提供手术视野；

工具臂，用于挂载手术器械，所述手术器械用于在所述手术视野内执行手术操作；

显示器；以及

控制单元，所述控制单元被配置用于执行如前任一项所述的计算机可读存储介质上存储的程序。

可选地，所述手术机器人系统包括如前所述的电子设备，所述控制单元包括所述处理器。

与现有技术相比，本发明的计算机可读存储介质、电子设备及手术机器人系统具有如下优点：

前述的计算机可读存储介质上存储有程序，当所述程序被执行时，执行如下步骤：获取所述手术器械与所述手术视野的相对位置关系，并根据所述相对位置关系和预定的显示方式获取显示内容信息；所述显示器用于显示所述显示内容信息。当所述计算机可读存储介质应用于手术机器人系统时，可以使施术者可清晰、准确、直观地了解所述手术器械与所述手术视野之间的位置关系，避免因手术器械位于手术视野外而引起不必要的伤害。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是本发明根据实施例一所提供的手术机器人系统的应用场景示意图；

图2a是本发明根据实施例一所提供的手术机器人系统在执行手术操作时，手术器械在手术视野内的示意图，图中示出一个手术器械；

图2b是本发明根据实施例一所提供的手术机器人系统在执行手术操作时，手术器械在手术视野内的示意图，图中示出两个手术器械；

图2c是本发明根据实施例一所提供的手术机器人系统在执行手术操作时，手术器械在手术视野内时的示意图，图中示出三个手术器械；

图3是本发明根据实施例一所提供的手术机器人系统在执行手术操作时的示意图，图中示出两个手术器械，其中一个手术器械位于手术视野内，另一个手术器械位于手术视野外；

图4是本发明根据实施例一所提供的手术机器人系统在提示手术器械与手术视野的相对位置关系时的整体流程图；

图5是本发明根据实施例一所提供的手术机器人系统在获取手术视野的中心点C时的示意图；

图6是本发明根据实施例一所提供的手术机器人系统在获取基准向量

时的示意图；

图7是本发明根据实施例一所提供的手术机器人系统在获取定位角θ时的示意图；

图8是本发明根据实施例一所提供的手术机器人系统在将显示器的第一子显示区进行象限划分时的示意图；

图9a是本发明根据实施例一所提供的手术机器人系统的显示器显示手术器械与手术视野的相对位置关系时的示意图，图中未示出指示标记；

图9b是本发明中根据实施例一所提供的手术机器人系统的显示器显示手术器械与手术视野的相对位置关系时的示意图，图中示出指示标记；

图10是本发明根据实施例二所提供的内窥镜采集的位于手术视野内的人体组织及手术器械的示意图；

图11是本发明根据实施例二所提供的手术机器人系统获取手术视野的中心点C时的流程图；

图12是本发明根据实施例一所提供的手术机器人系统的显示器的示意图，其中a）所示是显示器的整体显示区域示意图，b）所示是第二显示区所显示的第二图像,c)所示是第三显示区所显示的第三图像。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

另外，以下说明内容的各个实施例分别具有一或多个技术特征，然此并不意味着使用本发明者必需同时实施任一实施例中的所有技术特征，或仅能分开实施不同实施例中的一部或全部技术特征。换句话说，在实施为可能的前提下，本领域技术人员可依据本发明的公开内容，并视设计规范或实作需求，选择性地实施任一实施例中部分或全部的技术特征，或者选择性地实施多个实施例中部分或全部的技术特征的组合，借此增加本发明实施时的弹性。

如在本说明书中所使用的，单数形式“一”、“一个”以及“该”包括复数对象，复数形式“多个”包括两个以上的对象，除非内容另外明确指出外。如在本说明书中所使用的，术语“或”通常是以包括“和/或”的含义而进行使用的，除非内容另外明确指出外，以及术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接。可以是机械连接，也可以是电连接。可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

为使本发明的目的、优点和特征更加清楚，以下结合附图对本发明作进一步详细说明。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。附图中相同或相似的附图标记代表相同或相似的部件。

<实施例一>

图1示出了本实施例所提供的手术机器人系统的应用场景示意图。请参考图1，所述手术机器人系统包括控制端和执行端，所述控制端包括医生控制台10，所述执行端包括图像显示装置20、手术操作装置30、手术台40和工具放置装置50。所述医生控制台与所述手术操作装置形成主从控制模式，以通过所述医生控制台控制所述手术操作装置对所述手术台40上所承载的患者进行手术。

所述手术操作装置30包括至少一个图像臂110和至少一个工具臂120，所述图像臂110上挂载的图像获取装置。所述图像获取装置例如是内窥镜1或超声探测器等其他可以进入患者体内并获取人体内的图像的装置，为方便描述，后文中一律以所述图像获取装置为所述内窥镜1为例进行介绍。所述工具臂120上挂载的手术器械2用于通过患者身体上的创口进入患者体内。之后，所述内窥镜1可获取人体组织信息、位于人体内且处于所述内窥镜1的视野范围内的手术器械2信息以及手术环境信息，即所述内窥镜1提供手术视野1a，而所述手术器械2主要用于在所述手术视野1a内执行手术操作。

本实施例中，所述医生控制台10包括主操作手（又称主手），所述控制单元也可设置在所述医生控制台10上，其与所述主操作手、所述图像臂110以及所述工具臂120通信连接以控制连接在所述工具臂120末端的手术器械2，且所述主操作手与所述工具臂120和所述手术器械2构成主从控制关系。即，所述控制单元被配置为控制所述工具臂120在手术过程中根据所述主操作手的运动而运动，且控制所述手术器械2执行所述主操作手相关的运动指令。一显示器130设置在所述医生控制台10处，供医生观察。

如图1所示出的本实施例所提供的手术机器人系统包括所述图像臂110、所述工具臂120、所述显示器130和控制单元。手术时，所述图像臂110挂载所述内窥镜1，所述内窥镜1用于进入人体，并提供手术视野1a（如图2a-图2c所示）。所述工具臂120挂载手术器械2，所述手术器械2用于进入人体并主要在所述手术视野1a内执行手术操作。所述控制单元与所述显示器130和所述内窥镜1通信连接。所述手术机器人系统被配置为：所述控制单元用于获取所述手术器械2和所述手术视野1a的相对位置关系，并根据所述相对位置关系和预定的显示方式获取显示内容信息；所述显示器130用于显示所述显示内容信息。由此，不论手术器械2处于所述手术视野1a内，还是位于所述手术视野1a外，施术者可根据所述显示器130中所显示的内容，清晰且直观地了解所述手术器械2与所述手术视野1a的位置，并据此进行手术操作，有效减少伤害，提高手术安全性。

应理解，本发明实施例所提供的手术机器人系统既可以是遥操作的主从映射机器人系统，也可以是其他非主从映射机器人系统。本文以主从映射机器人为例进行介绍。

所述手术机器人系统执行手术操作时至少需要一个所述内窥镜1和至少一个所述手术器械2。图2a示出了所述手术机器人系统包括一个内窥镜1和一个所述手术器械2的示意图，图2b示出了所述手术机器人系统包括一个内窥镜1和两个所述手术器械2的示意图，图2c示出了所述手术机器人包括一个内窥镜1和三个所述手术器械2的示意图。当然，在其他实施例中，所述手术机器人还可以包括更多个所述手术器械2以及两个以上的内窥镜1。

接着，本实施例以所述手术机器人系统包括一个所述内窥镜1和两个所述手术器械2为例对本实施例作更为详尽的说明，为便于表述，如图3所示，两个所述手术器械2分别被称之为第一手术器械2a和第二手术器械2b，本领域技术人员可对以下描述进行修改，以使其适用于所述手术机器人系统包括两个以上的内窥镜及三个以上的所述手术器械的情形。

在手术进行过程中，所述第一手术器械2a和所述第二手术器械2b均位于所述内窥镜1所提供的手术视野1a内时，施术者可直观地看到所述第一手术器械2a和所述第二手术器械2b与人体组织的相对位置关系，而当任一个所述手术器械2例如所述第二手术器械2b位于所述手术视野外时，若施术者不了解该第二手术器械2b与所述手术视野1a的相对位置关系，极易因误操作而对人体组织造成伤害，有鉴于此，本实施例通过对所述手术机器人系统进行合理设置，使得所述显示器130在显示手术视野1a内的组织操作图的同时，还能够显示位于所述手术视野1a外部的所述第二手术器械2b与所述手术视野1a的相对位置关系。此处需要说明的是，所述“组织操作图”是指所述内窥镜1所直接采集的图像，其显示了所述手术视野1a内的影像。即，当所有的所述手术器械2均位于所述手术视野1a的外部时，所述组织操作图中仅显示位于所述手术视野1a内的目标组织的影像。至少部分所述手术器械2位于所述手术视野1a内时，所述组织操作图中显示位于所述手术视野1a内的目标组织的影像和位于所述手术视野1a内的手术器械即所述第一手术器械2a的影像，此时所述组织操作图又被称之为第一图像。

在此，所述手术机器人系统在执行手术操作过程中，通过如图4所示的方法显示所述手术器械2例如位于所述手术视野1a外的所述第二手术器械2b与所述手术视野1a的相对位置关系，该方法包括：

步骤S110：所述控制单元获取所述手术器械与所述手术视野的相对位置关系。本领域技术人员可以理解，对于位于所述手术视野1a内的所述第一手术器械2a来说，其与所述手术视野1a的相对位置关系可以通过所述组织操作图（即所述第一图像）直观地显示，因而本步骤所述的手术器械主要是指位于所述手术视野1a外部的所述第二手术器械2b。

步骤S120：所述控制单元根据所述相对位置关系和预定的显示方式得到指示内容信息。应理解，所述手术机器人系统被配置为具有至少一种显示方式以显示所述手术器械与所述手术视野之间的相对位置关系。当所述手术机器人系统仅具有一种显示方式时，该显示方式即为所述预定的显示方式；当所述手术机器人系统具有两种以上的显示方式时，在得到所述显示内容信息之前，施术者根据实际情况选择合适的显示方式以作为所述预定的显示方式。本实施例所选定的显示方式及其相应的指示内容信息详见后文的介绍。

步骤S130：控制单元将所述指示内容信息发送至所述显示器进行显示。所述控制单元根据所述相对位置关系和所述选定的显示方式得到显示内容信息，并发送至所述显示器进行显示。

可选地，在所述步骤S110中，如图5所示，所述控制单元被配置用于根据所述第二手术器械2b上的指定点T在预定坐标系下的坐标T（x，y，z）及所述手术视野1a的中心点C在所述预定坐标下的坐标C（x，y，z）获取所述第二手术器械2b与所述手术视野1a的相对位置关系。所述预定坐标系可以由施术者根据实际需要设定，本实施例中以所述内窥镜1的末端坐标系作为所述预定坐标系，所述预定坐标系例如为笛卡尔坐标系，因此各个点的坐标皆是指笛卡尔坐标。

如此，如图4所示，所述步骤S110具体包括：

步骤S111：所述控制单元获取所述第二手术器械上的指定点T在所述预定坐标系下的坐标T（x，y，z）。

步骤S112：所述控制单元获取所述手术视野的中心点C在所述预定坐标系下的坐标C（x，y，z）。

步骤S113：所述控制单元根据所述第二手术器械上的指定点T在所述预定坐标系下的坐标T（x，y，z）和所述手术视野的中心点C在所述预定坐标系下的坐标C（x，y，z）获取表征信息，以表征所述第二手术器械与所述手术视野1a的相对位置关系。

由于所述第二手术器械2b挂载在所述工具臂120上，故而，在所述步骤S110中，所述控制单元可根据机器人运动学方法（DH法）计算所述第二手术器械2b上的所述指定点T在所述预定坐标系下的坐标T（x，y，z）。

所述步骤S112中，所述控制单元被配置用于根据一参考点M在所述预定坐标系下的坐标M（x，y，z）、所述内窥镜1的末端点N在所述预定坐标系下的坐标N（x，y，z）（参考点M及内窥镜1的末端点N请参考图7标示）以及所述内窥镜1的景深H获取所述手术视野1a的中心点C的坐标。其中，所述参考点M是一个在手术过程中的位置始终保持不变的点，所述内窥镜1上的一个不动点，且所述参考点M位于所述内窥镜1的轴线上。通常，以腹腔镜手术为例，所述参考点M可以是戳卡（本领域技术人员知晓，所述戳卡套装在内窥镜1的镜臂上）上的一点，或者是内窥镜1位于患者腹部创口处的点（俗称肚皮点）。

具体地，所述控制单元首先根据机器人运动学方法计算在所述预定坐标系下，所述参考点M的坐标M（x，y，z）和所述内窥镜1的末端点N的坐标N（x，y，z）。接着，所述控制单元根据方向向量计算方法，计算所述内窥镜1的轴线方向（即内窥镜1的末端点N与参考点M的连线方向）向量为：

，

其中，

。

最后，所述控制单元计算所述手术视野1a的中心点C的坐标C（x，y，z）为：

，

本领域技术人员可理解，在内窥镜手术中，只有在内窥镜的景深合理范围内时，所述内窥镜1才能够提供清晰的手术视野1a。

所述步骤S113中，所述控制单元被配置用于根据所述第二手术器械2b的指定点T的坐标T（x，y，z）和所述手术视野1a的中心点C的坐标C（x，y，z）生成表征信息，以表征所述第二手术器械2b与所述手术视野1a的相对位置关系。可选地，所述表征信息包括所述第二手术器械2b的指定点T与所述手术视野1a的中心点C的距离和定位角θ。本领域技术人员知晓如何利用两个点的坐标计算两点之间的距离，此处不再赘述。如图6及图7所示，所述定位角θ由

与

限定。具体来说，所述定位角θ是

与

的夹角，

由

与

叉乘得到，即：

，

，

以图6为例，根据右手法则

的指向朝向纸面外。其中，

。

应理解，所述步骤S120可与所述步骤S110同步执行，或者在所述步骤110之前执行。以及，在执行所述步骤S130时，所述控制单元还被配置将所述第二手术器械2b与所述手术视野1a的相对位置关系转换为与所述预定的显示方式相对应的显示内容信息。

可选地，请参考图8及图9，本实施例中所述预定的显示方式包括在所述显示器上显示所述手术视野1a，并在所述手术视野1a的预定区域内显示一指示标记20。所述指示标记20的长度与所述第二手术器械2b的指定点T到所述手术视野1a的中心点C的距离成正比。所述指示标记20优选用于显示位于所述手术视野1a外的所述第二器械2b与所述手术视野1a的相对位置关系。也就是说，本实施例通过在所述手术视野1a的预定区域显示所述指示标记20来显示位于所述手术视野1a外的所述第二手术器械2b与所述手术视野1a的相对位置关系。如此，所述指示内容信息包括所述指示标记20。所述预定区域优选由所述定位角θ（图7所示）确定。

在一个非限制性的实施例中，所述控制单元被配置用于将所述手术视野1a划分为若干个象限，并根据所述定位角θ确定其中一个所述象限为所述预定区域。在一个具体的实现方式中，所述手术视野1a为矩形，并包括四个顶点a、b、c、d，并且所述手术视野1a的四条边的中点分别为e、f、g、h。以所述手术视野1a的中心点C为原点，并以所述手术视野1a的对角线ac、bd和中线eg、fh为分界线将所述手术视野1a划分为八个象限。这样，按顺时针方向，aCh区域为第一象限11，hCd区域为第二象限12，dCg区域为第三象限13，gCc区域为第四象限14，cCf区域为第五象限15，fCb区域为第六象限16，bCe区域为第七象限17，eCa区域为第八象限18。应理解，象限的分界线可以在所述显示器130中显示，也可以不显示。

所述指示标记20的显示位置与所述定位角θ的对应关系如表1所示。由表1可知，当所述定位角θ在45°～90°时，所述指示标记20显示在所述第一象限内11；当所述定位角θ在90°～135°时，所述指示标记20显示在所述第二象限12内；当所述定位角θ在135°～180°时，所述指示标记20显示在所述第三象限13内；当所述定位角θ在-135°～-180°时，所述指示标记20显示在所述第四象限14内；当所述定位角θ在-90°～-135°时，所述指示标记20显示在所述第五象限15内；当所述定位角θ在-45°～-90°时，所述指示标记20显示在所述第六象限16内；当所述定位角θ在-45°～0°时，所述指示标记20显示在所述第七象限17内；当所述定位角θ在0°～45°时，所述指示标记20显示在所述第八象限18内。

表1 指示标记的显示位置与定位角θ的关系

定位角θ（°）	指示标记的显示位置
		45～90	第一象限
90～135	第二象限
		135～180	第三象限
-135～-180	第四象限
		-90～-135	第五象限
-45～-90	第六象限
		-45～0	第七象限
0～45	第八象限

进一步地，所述指示内容信息还包括所述第二手术器械2b的影像。所述指示标记20的长度方向与所述手术视野1a的一条边平行，且所述指示标记20的边缘线、所述手术视野1a的一条边及所述第二手术器械2b的指定点T与所述手术视野1a的中心点C的连线相交于一点。

需要说明的是，所述第二手术器械2b的影像实际上是所述控制单元根据机器人运动学方法计算得到所述第二手术器械2b上多个点的位置后得到的所述第二手术器械2b的模型影像，即所计算得到的虚拟影像。

进一步地，所述预定的显示方式还包括根据所述第二手术器械2b上的指定点T到所述手术视野1a的中心点C的距离，对所述指示标记20赋予不同的颜色，例如，当所述第二手术器械2b上的指定点T到所述手术视野1a的中心点C的距离大于第一预定值时，所述指示标记20可为绿色，当所述第二手术器械2b上的指定点T到所述手术视野1a的中心点C的距离大于第二预定值，且第二预定值大于所述第一预定值时，所述指示标记20可显示为红色。

此外，还需要说明的是，在替代性的实现方式中，所述手术视野1a也可以是为非矩形的形状，例如圆形或椭圆形等，此时所述指示标记的长度方向与所述手术视野的内接矩形的一条边平行，且所述指示标记的边缘线与所述手术视野的边缘线及所述第二手术器械的指定点与所述手术视野的中心点的连线相交于一点（图中未示出）。

基于此，在所述显示器130显示所述第二手术器械2b与所述手术视野1a的相对位置关系时，所述控制单元被配置用于：以所述手术视野的中心点C为原点，将所述手术视野划分为若干个象限；建立所述定位角θ与各个象限的对应关系；计算所述定位角θ；根据所述定位角θ选定用于显示所述指示标记20的象限；根据所述第二手术器械2b的指定点到所述手术视野1a的中心点C的距离确定所述指示标记20的长度，并在所述选定的象限内生成所述指示标记20。其中，所述指示标记20的长度与所述第二手术器械2b的指定点到所述手术视野1a的中心点C的距离成正比。也就是说，本实施例通过所述指示标记20的位置和长度为施术者提供位于手术盲区（即手术视野外）的第二手术器械2b的位置提示，以供施术者在实施手术操作时参考，有利于提高手术的安全性和可靠性。

<实施例二>

本实施例与实施例一的区别之处主要在于获取所述手术视野1a的中心点C的坐标的方法不同。具体地，所述内窥镜1采集位于所述手术视野1a内的目标组织及手术器械（仍以第一手术器械2a表示）的第一图像（即至少部分手术器械2位于手术视野1a内时的组织操作图，如图10所示）。图10所示的第一图像中，位于所述手术视野1a内的所述第一手术器械2a的数量为两个。所述控制单元被配置用于通过对所述第一图像进行灰度化处理，并获取位于所述手术视野内的手术器械的器械数据集的像素点图和人体组织的组织数据集的像素点图来获取所述手术视野1a的中心点C的坐标。

请参考图11，本实施例中用于获取所述手术视野1a的中心点C的坐标C（x，y，z）的方法具体如下：

首先，执行步骤S210：所述控制单元根据所述内窥镜采集所述第一图像获取图像数据集K，且所述第一图像的中心像素点C_m的坐标已知为C_m（x，y，z）。

接着，执行步骤S220：对所述图像数据集进行中心点处理。具体为，所述控制单元通过对所述第一图像执行灰度化处理，以提取所述第一手术器械2a的器械特征和人体组织的组织特征。本领域技术人员应理解，灰度计算法以RGB（R，G，B）来表示图像，其特征表达式为：

,

式中，

、

、

位灰度权重，且

。通过灰度化处理，所述控制单元可得到器械数据集的像素点图

以表征所述器械特征，以及组织数据集的像素点图

以表征所述组织特征。

随后，执行步骤S230：数据中心提取。具体为，所述控制单元通过对所述器械数据集的像素点图执行均值计算，以得到所述器械数据集的中心位置K_tc，以及对所述组织数据集的像素点执行均值计算，以得到所述组织数据集的中心位置K_ta。

之后，执行步骤S240：进行视野中心匹配。具体为，所述控制单元对所述器械数据集的中心位置K_tc和所述组织数据的中心位置K_ta分别设置权重为q₁和q₂，以获取所述手术视野的中心点C的像素点位置C_{tc_ta}。本步骤中，q₁和q₂的具体数值由施术者根据实际情况确定，例如q₁与q₂相等，均为0.5，在默认情况下，采用q₁=q₂=0.5设置。本领域技术人员知晓如何根据实际情况设置q₁、q₂，并且利用所述器械数据集的中心位置K_tc和所述组织数据的中心位置K_ta计算所述手术视野1a的中心点C的像素点位置C_{tc_ta}是本领域技术人员可以习知的内容，故而此处不作具体介绍。

最后，执行步骤S250：根据手术视野的中心点C的像素点位置C_{tc_ta}与所述第一图像的中心像素点C_m之间的距离，以及所述第一图像的中心像素点C_m的坐标C_m（x，y，z），获取所述手术视野的中心点C的坐标C（x，y，z）。本领域技术人员可理解，在同一图像上，已知两个像素点的位置容易求得两者之间的距离。

<实施例三>

本实施例与实施例一的区别之处在于采用不同的显示方式显示所述第二手术器械2b与所述手术视野1a之间的相对位置关系。

详细而言，本实施例中，请参考图12，所述预定的显示方式包括显示人体内的组织操作图即手术视野1a内的图像，同时还显示第二图像。所述第二图像中显示所述内窥镜1的影像、所述手术视野1a的影像以及位于所述手术视野1a外的所述第二手术器械2b的影像。应理解，所述内窥镜1的影像及所述第二手术器械2b的影像均是有控制单元根据机器人运动学方法计算所得到的虚拟图像。换句话说，本实施例中的显示内容信息包括所述组织操作图和所述第二图像。

在手术过程中，所述控制单元实时地根据所述第二手术器械2b的指定点T和所述手术视野1a的中心C更新所述第二手术器械2b与所述手术视野1a的相对位置关系，并获取所述表征信息（即第二手术器械2b的指定点T和所述手术视野1a的中心C的距离和所述定位角θ）后，进而实时地根据所述表征信息更新所述第二图像，以直观地显示所述第二手术器械2b与所述手术视野1a的相对位置关系。图12中所示夹角θ₁为所述定位角θ的补角。

在此，所述控制单元相应地被配置用于：在所述显示器130的显示区上形成用于显示所述组织操作图的第一显示区131，以及用于显示所述第二图像的第二显示区132；根据所述表征信息获取所述第二图像；接收所述内窥镜1采集的组织操作图；将所述组织操作图和所述第二图像发送至所述显示器130以进行显示。

不仅于此，在进一步的优选方案中，所述预定的显示方式还包括显示第三图像，所述第三图像中显示位于所述手术视野内的影像，以及位于所手术视野1a外的所述第二手术器械2b的影像。所述第三图像与所述第二图像所在的平面不同。例如，在一个实施例中，所述第二影像是在一平行于所述内窥镜1的轴线方向的平面上的影像，此时所述手术视野1a的影像也是虚拟影像；所述第三影像是垂直与所述内窥镜1的轴线方向的平面上的影像。

如此，所述控制单元还被配置用于：在所述显示器130的显示区上形成用于显示所述第三图像的第三显示区133；根据所述表征信息获取所述第三图像，并发送至所述显示器130以进行显示。

需要说明的是，当部分所述手术器械2处于手术视野1a外时，所述显示器可根据施术者的设定显示所述组织操作图和所述第二图像，或者还显示第三图像。并且，所述控制单元还被配置为能够对所述第一显示区131、所述第二显示区132和所述第三显示区133进行缩放，以调整所述组织操作图、所述第二图像及所述第三图像的大小，方便医生观察。

还需要说明的是，本实施例所提供的显示方式可单独使用，也可与实施例一所提供的显示方式结合使用。

进一步地，本发明实施例还提供了一种计算机可读存储介质，其上存储有程序，当所述程序被执行时，执行前述控制单元所执行的所有操作。

更进一步地，本发明实施例还提供了一种电子设备，包括处理器和前述的计算机可读存储介质，所述处理器用于执行所述计算机可读存储介质上所存储的程序。

虽然本发明披露如上，但并不局限于此。本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (18)

1.一种计算机可读存储介质，其上存储有程序，其特征在于，当所述程序被执行时，所述程序执行如下步骤：

根据手术器械上的指定点T的坐标T（x，y，z）和手术视野的中心点C的坐标C（x，y，z）生成表征信息，以获取手术器械与手术视野的相对位置关系；

所述表征信息包括所述手术器械上的指定点T与所述手术视野的中心点C的距离以及定位角θ；所述手术视野由一图像获取装置提供；所述定位角θ由所述图像获取装置上的一参考点M和所述图像获取装置的末端点N的连线及所述手术器械上的指定点T和所述手术视野的中心点C的连线限定；所述参考点M选择为位于所述图像获取装置上且在所述图像获取装置的轴线上的一不动点；

根据所述相对位置关系和预定的显示方式得到显示内容信息；

将所述显示内容信息发送至显示器进行显示；

所述预定的显示方式包括在所述显示器上显示第二图像和经图像获取装置所采集的组织操作图，所述第二图像中显示所述手术视野外的所述手术器械的虚拟影像。

2.根据权利要求1所述的计算机可读存储介质，其特征在于，获取所述手术器械与所述手术视野的相对位置关系时，所述程序执行如下步骤：

获取所述手术器械上一指定点T在预定坐标系下的坐标T（x，y，z）；

获取所述手术视野的中心点C在所述预定坐标系下的坐标C（x，y，z）；

根据所述手术器械上的指定点T的坐标T（x，y，z）与所述手术视野的中心点C的坐标C（x，y，z），得到所述手术器械与所述手术视野的相对位置关系。

3.根据权利要求2所述的计算机可读存储介质，其特征在于，所述手术视野由一图像获取装置提供，在获取所述手术视野的中心点C（x，y，z）时，所述程序执行如下步骤：

根据所述图像获取装置上的一参考点M与所述图像获取装置的末端点N的连线的方向向量

、所述末端点N的坐标信息以及所述图像获取装置的景深得到所述中心点C的坐标C（x，y，z）。

4.根据权利要求3所述的计算机可读存储介质，其特征在于，所述程序被执行时通过以下方式得到所述中心点C的坐标C（x，y，z）：

，

式中，H是所述图像获取装置的景深，所述参考点M选择为在手术过程中位置固定并位于所述图像获取装置的轴线上的点。

5.根据权利要求2所述的计算机可读存储介质，其特征在于，所述手术视野由图像获取装置提供，所述图像获取装置用于采集位于所述手术视野内的目标组织及手术器械的第一图像；

在获取所述手术视野的中心点C的坐标C（x，y，z）时，所述程序执行如下步骤：

通过对所述第一图像进行灰度化处理，并获取位于所述手术视野内的手术器械的器械数据集的像素点图和目标组织的组织数据集的像素点图来获取所述中心点C的坐标C（x，y，z）。

6.根据权利要求1所述的计算机可读存储介质，其特征在于，所述定位角θ通过如下公式计算得到：

；

式中，

是所述参考点M与所述图像获取装置的末端点N的连线的方向向量。

7.根据权利要求1所述的计算机可读存储介质，其特征在于，所述预定的显示方式包括在所述显示器上显示所述手术视野，并在所述手术视野的预定区域显示一指示标记，且所述指示标记的长度与所述手术器械上的指定点T到所述手术视野的中心点C的距离成正比；所述显示内容信息包括所述指示标记；

所述程序执行如下步骤：

根据所述定位角θ确定所述预定区域，并在所述预定区域内生成所述指示标记。

8.根据权利要求7所述的计算机可读存储介质，其特征在于，所述程序执行如下步骤以确定所述预定区域：

以所述手术视野的中心点C为原点将所述手术视野划分为若干个象限；

建立所述定位角θ与各个象限的对应关系；

计算所述定位角θ；

根据所述定位角θ确定用于显示指示标记的象限以作为所述预定区域。

9.根据权利要求7所述的计算机可读存储介质，其特征在于，所述显示内容信息还包括位于所述手术视野外的手术器械的虚拟图像。

10.根据权利要求8所述的计算机可读存储介质，其特征在于，所述手术视野为矩形或具有一内接矩形；所述指示标记显示位于所述手术视野外的所述手术器械与所述手术视野的相对位置关系；

所述指示标记的边缘线、所述手术视野的边缘线及所述手术视野的中心点C与位于所述手术视野外的所述手术器械上的指定点T的连线相交于一点。

11.根据权利要求1所述的计算机可读存储介质，其特征在于，所述预定的显示方式包括在所述显示器上显示所述手术视野，并在所述手术视野的预定区域显示一指示标记以表征所述手术器械与所述手术视野的相对位置关系；所述显示内容信息包括所述指示标记。

12.根据权利要求1所述的计算机可读存储介质，其特征在于，所述程序还执行如下步骤：

在所述手术视野的预定区域生成用以表征所述手术器械与所述手术视野的相对位置关系的指示标记；所述指示标记的长度与所述手术器械上的指定点T到所述手术视野的中心点C的距离成正比。

13.根据权利要求1所述的计算机可读存储介质，其特征在于，

所述第二图像中还显示所述图像获取装置的虚拟影像以及所述手术视野的虚拟影像。

14.根据权利要求1所述的计算机可读存储介质，其特征在于，所述程序还执行如下步骤，以在所述显示器上显示所述手术视野与所述手术器械的相对位置关系：

接收所述组织操作图；

根据所述手术器械与所述手术视野的相对位置关系得到所述第二图像；

将所述组织操作图和所述第二图像发送至所述显示器。

15.根据权利要求13所述的计算机可读存储介质，其特征在于，所述预定的显示方式还包括在所述显示器上显示第三图像，所述第三图像中显示所述手术视野内的影像，以及位于所述手术视野外的手术器械的虚拟影像；所述第三图像与所述第二图像处于不同平面；所述显示内容信息还包括所述第三图像。

16.一种电子设备，其特征在于，包括处理器和如权利要求1-15中任一项所述的计算机可读存储介质，所述处理器用于执行所述计算机可读存储介质上所存储的程序。

17.一种手术机器人系统，其特征在于，包括：

图像臂，用于挂载图像获取装置，所述图像获取装置用于提供手术视野；

工具臂，用于挂载手术器械，所述手术器械用于在所述手术视野内执行手术操作；

显示器；以及

控制单元，所述控制单元被配置用于执行如权利要求1-15中任一项所述的计算机可读存储介质上存储的程序。

18.根据权利要求17所述的手术机器人系统，其特征在于，所述手术机器人系统包括如权利要求16所述的电子设备，所述控制单元包括所述处理器。

Images