CN114022587A - 用于手术机器人的标记共享方法、装置、系统、设备及介质 - Google Patents

Abstract

本发明涉及一种用于手术机器人的标记共享方法、装置、系统、设备及介质，所述标记共享方法包括：获取当前生成的初始医学影像；当获取到用户输入的第一标记指令，第一标记指令包括第一标记信息后，将第一标记信息实时发送到第二手术机器人端，并在初始医学影像中融合第一标记信息；当接收到第二手术机器人端实时发送的第二标记信息后，在初始医学影像中融合第二标记信息；从而实现手术中主从两端的数据标记实时共享，有效地解决远程机器人手术过程中主端医生和从端辅助医生之间交流不畅的问题。

Description

用于手术机器人的标记共享方法、装置、系统、设备及介质

技术领域

本发明涉及医疗技术领域，具体涉及一种用于手术机器人的标记共享方法、标记共享装置、手术机器人系统、可读存储介质与电子设备。

背景技术

随着科技的进步，5G技术的发展，AI人工智能的崛起。远程医疗手术在大环境下有了快速发展的契机。远程医疗是指通过计算机技术、遥感、遥测、遥控技术为依托，充分发挥大医院或专科医疗中心的医疗技术和医疗设备优势，对医疗条件较差的边远地区、海岛或舰船上的伤病员进行远距离诊断、治疗和咨询，旨在提高诊断与医疗水平，降低医疗开支，满足广大人民群众保健需求的一项全新的医疗服务。

目前，远程医疗技术已经从最初的电视监护、电话远程诊断发展到利用高速网络进行数字、图像、语音的综合传输，并且实现了实时的语音和高清晰图像的交流，为现代医学的应用提供了更广阔的发展空间。国外在这一领域的发展已有40多年的历史，而我国只在最近几年才得到重视和发展。目前的远程医疗所采用的技术包含有：(1)画板标记技术，提供一种远程实时分会诊系统，系统包括图像浏览、图像标记、文字输入、音视频的实时同步；(2)医学图像立体视觉显示，计算机通过输入设备获取医学影像，再通过软件系统进行图像处理，最后通过立体视觉模块、3D模块或2D模块显示并进行视觉联动；(3)医疗影像远程实时会诊，提供一种病例实时分会诊系统，包括会诊创建管理模块、电子白板、音视频采集-回放模块、网络数据传输模块和中央处理模块等。

以上技术基本都是独立系统，大多是针对远程会诊场景，针对远程手术的画板共享系统等，重在教学和分享，不具备在实时远程医疗手术中进行多端设备数据融合同步，并实现指导医师手术的作用。

发明内容

为了解决现有技术中的技术问题，本发明的目的在于提供一种用于手术机器人的标记共享方法、标记共享装置、手术机器人系统、可读存储介质与电子设备，可实现手术中主从两端的数据标记实时共享，有效地解决远程机器人手术过程中主端医生和从端辅助医生之间交流不畅的问题，从而有效提高该场景应用中的手术精准率，确保手术的安全顺利进行。

为实现上述目的，根据本发明的第一个方面，提供了一种用于手术机器人的标记共享方法，适用于第一手术机器人端，所述标记共享方法包括：

获取当前生成的初始医学影像；

当获取到用户输入的第一标记指令，所述第一标记指令包括第一标记信息后，将所述第一标记信息实时发送到第二手术机器人端，并在所述初始医学影像中融合所述第一标记信息；

当接收到所述第二手术机器人端实时发送的第二标记信息后，在所述初始医学影像中融合所述第二标记信息。

可选地，当接收到所述第二手术机器人端实时发送的第二标记信息后，在融合所述第一标记信息的所述初始医学影像中融合所述第二标记信息。

可选地，将融合所述第一标记信息和/或所述第二标记信息的所述初始医学影像实时发送至所述第二手术机器人端。

可选地，在获取到用户输入的第一标记指令之前，还包括：启动标记模式，所述标记模式允许用户输入所述第一标记指令。

可选地，所述在所述初始医学影像中融合所述第一标记信息，包括：

根据所述第一标记信息中的位置信息，在所述初始医学影像上重建对应于所述第一标记信息的第一标记；

所述在所述初始医学影像中融合所述第二标记信息，包括：

根据所述第二标记信息中的位置信息，在所述初始医学影像上重建对应于所述第二标记信息的第二标记。

可选地，在所述初始医学影像中融合所述第一标记信息和/或在所述初始医学影像中融合所述第二标记信息之后，所述标记共享方法还包括：

获取当前生成的所述初始医学影像的图像变化信息，并根据所述初始医学影像的图像变化信息，更新所述第一标记信息和/或所述第二标记信息，以使所述第一标记信息和/或所述第二标记信息实时跟随所述初始医学影像的变化。

可选地，所述标记共享方法还包括：

获取所述第一手术机器人端和/或所述第二手术机器人端的标记状态，并根据所述第一手术机器人端和/或所述第二手术机器人端的标记状态，输出主从控制指令或启用标记指令；所述主从控制指令用于控制所述第一手术机器人端或所述第二手术机器人端的运动；所述启用标记指令用于启动所述标记模式。

可选地，所述标记共享方法还包括：获取用户输入的退出标记指令，并根据所述退出标记指令退出所述标记模式。

可选地，还包括：

根据所述启用标记指令进入操作锁定状态，以禁止所述第一手术机器人端或所述第二手术机器人端的运动；

根据所述退出标记指令进入操作解锁状态，以允许所述第一手术机器人端或所述第二手术机器人端的运动。

可选地，所述标记共享方法还包括：

获取所述第二手术机器人端的标记状态，并在确定所述第二手术机器人端当前为非标记状态时启动所述标记模式，并实时向所述第二手术机器人端发送本地当前的标记状态。

可选地，所述第一标记信息和所述第二标记信息包括图形和/或文字信息。

可选地，所述图形包括自定义图形或预设图形。

可选地，所述标记共享方法还包括：

获取所述第一手术机器人端的第一脚踏板的操作状态，并根据所述第一脚踏板的操作状态启动所述标记模式；

获取所述第一手术机器人端的第二脚踏板的操作状态，并根据所述第二脚踏板的操作状态退出所述标记模式。

可选地，所述标记共享方法还包括：

根据所述第一手术机器人端的交互界面上的标记按钮的输出指令启动所述标记模式；

根据所述第一手术机器人端的所述交互界面上的退出标记按钮的输出指令退出所述标记模式。

可选地，所述标记共享方法还包括：向所述第二手术机器人端实时无线传输音频数据和/或视频数据。

可选地，所述获取当前生成的初始医学影像，包括：利用三维建模和人工智能算法对实时采集到的影像数据进行处理，以生成三维的所述初始医学影像。

为实现上述目的，根据本发明的第二个方面，提供了一种用于手术机器人的标记共享装置，适用于第一手术机器人端，包括：

影像数据获取模块，用于获取当前生成的初始医学影像；

标记指令获取模块，用于获取用户输入的第一标记指令，所述第一标记指令包括第一标记信息，还用于获取第二手术机器人端实时发送的第二标记信息；

数据融合模块，用于在所述初始医学影像中融合所述第一标记信息和/或所述第二标记信息。

可选地，所述标记共享装置还包括信息共享模块，用于将融合所述第一标记信息和/或所述第二标记信息的所述初始医学图像实时发送至所述第二手术机器人端。

可选地，所述标记共享装置还包括显示模块，用于显示融合所述第一标记信息和/或所述第二标记信息的所述初始医学图像。

为实现上述目的，根据本发明的第三个方面，提供了一种手术机器人系统，包括第一手术机器人端和第二手术机器人端，所述第一手术机器人端包括任一项所述的用于手术机器人的标记共享装置。

可选地，所述手术机器人系统还包括图像采集装置，用于获取预定对象的初始医学影像。

可选地，所述第一手术机器人端还包括第一脚踏板和第二脚踏板，所述标记指令获取模块包括第一操作臂和第二操作臂；

所述第一脚踏板用于输出启用标记指令，以启动标记模式；

所述第二脚踏板用于输出退出标记指令，以退出所述标记模式；

所述第一操作臂用于根据用户输入的操作指令选择对应于所述第一标记信息的第一标记；

所述第二操作臂用于根据用户输入的操作指令，采用已选择的所述第一标记，在所述初始医学影像上创建所述第一标记。

可选地，所述第一手术机器人端还包括交互界面，所述交互界面包括标记按钮和退出标记按钮；所述标记指令获取模块包括键盘和鼠标；

所述交互界面显示所述初始医学影像；

所述标记按钮用于输出启用标记指令，以启动标记模式；

所述退出标记按钮用于输出退出标记指令，以退出所述标记模式；

所述键盘和所述鼠标用于根据用户输入的指令生成对应于所述第一标记信息的第一标记。

可选地，所述手术机器人系统还包括音频和/或视频采集模块，用于采集音频和/或视频数据。

为实现上述目的，根据本发明的第四个方面，提供了一种可读存储介质，其上存储有程序，当所述程序被执行时，执行任一项所述的用于手术机器人的标记共享方法。

为实现上述目的，根据本发明的第五个方面，提供了一种电子设备，用于执行用于手术机器人的标记共享方法，包括处理器和所述的可读存储介质，所述处理器被配置用于执行所述可读存储介质上所存储的程序。

与现有技术相比，本发明的用于手术机器人的标记共享方法、标记共享装置、手术机器人系统、可读存储介质与电子设备具有如下优点：

本发明利用数据融合技术和标记共享技术，实现手术过程中主端和从端的数据标记实时共享，有效地解决远程手术机器人手术过程中主端医生和从端辅助医生对手术信息，如确定病灶位置、手术方案等交流不明确的问题，从而有效提高远程医疗中的手术精准率，确保手术的安全顺利进行。如此，本发明通过数据标记实时共享，实现了手术过程中主端医生和从端辅助医生之间的有效沟通和交流，使主端医生能够更好的指导从端辅助医生进行手术操作，提高手术效率和手术成功率。

本发明通过手术机器人系统中已有设备，如脚踏板、操作手臂、键盘和鼠标等进行标记操作，方便了医生操作，有效减少了标记操作对手术的干扰。

本发明利用三维建模和人工智能算法对实时采集到的影像数据进行处理，以生成三维的初始医学影像，在三维初始医学影像上进行标记和主从端之间的交流，以提高更精准的参考价值，使得远程手术场景应用精确率大幅提升。

附图说明

本发明的实施方法以及相关实施例的特征、性质和优势将通过结合下列附图进行描述，其中：

图1是根据本发明一优选实施例的手术机器人系统的主端和从端异地的手术场景示意图；

图2是根据本发明一优选实施例的手术机器人系统的结构框图；

图3是根据本发明一优选实施例的医生主控制台的结构示意图；

图4是根据本发明一优选实施例的从端控制装置的结构示意图；

图5是根据本发明一优选实施例的主端标记创建的工作流程图；

图6是根据本发明一优选实施例的主端标记创建的操作原理图；

图7是根据本发明一优选实施例的主端显示模块的主端交互界面显示主端标记、主端撤销按钮、图形选择窗口的示意图；

图8是根据本发明一优选实施例的主端向从端共享主端标记的流程图；

图9是根据本发明一优选实施例的从端标记创建的工作流程图；

图10是根据本发明一优选实施例的从端标记创建的操作原理图；

图11是根据本发明一优选实施例的从端显示模块的从端交互界面显示从端标记、标记按钮、标记撤销按钮、图形选择窗口的示意图；

图12是根据本发明一优选实施例的从端向主端共享从端标记的流程图；

图13是根据本发明一优选实施例的手术机器人系统将数据进行融合的原理图；

图14是根据本发明一优选实施例的手术机器人系统将数据进行融合并进行显示的状态示意图。

图中：100-主端；

101-医生主控制台；1011-主端影像数据获取模块；1012-主端标记指令获取模块；1013-主端数据融合模块；1014-主端信息共享模块；1015-主端显示模块；1016-主端音频和/或视频采集模块；1017-主端数据传输模块；

1041-左脚踏板；1042-右脚踏板；1043-左操作臂；1044-右操作臂；1045-左控制手柄；1046-右控制手柄；

G1-主端交互界面；G2-主端的画图工具；G3-矩形的预设主端标记；G4-圆形的预设主端标记；G5-圆形的主端标记；G6-自定义的主端标记；G7-矩形的主端标记；G8-主端撤销按钮；

200-从端；

201-手术机器人；

202-从端控制装置；2021-从端影像数据获取模块；2022-从端标记指令获取模块；2023-从端数据融合模块；2024-从端信息共享模块；2025-从端显示模块；2026-从端音频和/或视频采集模块；2027-从端数据传输模块；

2071-键盘；2072-键盘；

H1-从端交互界面；H2-从端的画图工具；H3-矩形的预设从端标记；H4-圆形的预设从端标记；H5-圆形的从端标记；H6-自定义的从端标记；H7-矩形的从端标记；H8-从端撤销按钮；H9-标记按钮；

203-图像台车；204-无菌台；211-隔板。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

另外，以下说明内容的各个实施例分别具有一或多个技术特征，然此并不意味着使用本发明者必需同时实施任一实施例中的所有技术特征，或仅能分开实施不同实施例中的一部或全部技术特征。换句话说，在实施为可能的前提下，本领域技术人员可依据本发明的公开内容，并视设计规范或实作需求，选择性地实施任一实施例中部分或全部的技术特征，或者选择性地实施多个实施例中部分或全部的技术特征的组合，借此增加本发明实施时的弹性。

如在本说明书中所使用的，单数形式“一”、“一个”以及“该”包括复数对象，复数形式“多个”包括两个以上的对象，除非内容另外明确指出外。如在本说明书中所使用的，术语“或”通常是以包括“和/或”的含义而进行使用的，除非内容另外明确指出外，以及术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接。可以是机械连接，也可以是电连接。可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

为使本发明的目的、优点和特征更加清楚，以下结合附图对本发明作进一步详细说明。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。在不冲突的情况下，下述的实施方式及实施方式中的特征可以相互补充或相互组合。

图1示出了根据本发明一优选实施例的手术机器人系统的应用场景。如图1所示，本发明一优选实施例提供一种手术机器人系统，包括通信连接的第一手术机器人端和第二手术机器人端。所述第一手术机器人端和第二手术机器人端中的一个为主端100，另一个为从端200。为了简明起见，在以下描述中假设第一手术机器人端为主端100，第二手术机器人端为从端200，本领域技术人员应当能够修改以下描述，在细节上作适当修改后将所述描述用于第一手术机器人端为从端200，以及第二手术机器人端为主端100的情况。

所述主端100和从端200可位于不同的房间、不同的医院或不同的城市，以实现远程医疗。所述主端100包括医生主控制台101，以供医生使用双手及脚来实现远程医疗。所述从端200包括手术机器人201，所述手术机器人201包括机械臂，所述机械臂的末端用于可拆卸地连接手术器械或图像采集装置，所述图像采集装置包括但不限于内窥镜，以控制操作手术器械或图像采集装置。在手术过程中，利用医生主控制台101与机械臂及手术器械所构成的主从控制关系，医生通过医生主控制台101的主操作单元远程操作手术机器人201，使机械臂和手术器械根据医生主控制台101的运动而运动，如根据医生手部的操作而运动，从而对病床上的患者进行微创伤手术治疗。

如图1和图2所示，所述从端200还包括从端控制装置202，通常与图像台车203相集成。所述图像台车203还可放置内窥镜以及其他相关设备(如从端显示模块和一些线缆)。所述内窥镜用于获取人体组织器官、手术器械、血管以及体液等手术环境的图像，且所述内窥镜和手术器械分别通过患者身体上的创口进入病患位置。所述图像台车203设置在病床的旁边，并与手术机器人201分开设置。

所述从端控制装置202与手术机器人201有线或无线通信。所述医生主控制台101用于根据外界指令生成并输出主从控制指令，并发送至从端控制装置202。所述从端控制装置202用于根据所接收的主从控制指令控制手术机器人201的运动。更详细地，所述从端控制装置202用于根据医生主控制台101所发送的运动信息和预设的主从映射关系，输出主从控制指令，以控制手术机器人201执行主从控制指令来驱动手术器械或内窥镜的运动。例如，所述从端控制装置202根据获取的主操作单元的移动速度，控制手术机器人201以驱动手术器械或内窥镜移动，并根据获取的主操作单元的转动角度或转动速度，控制手术机器人201以驱动手术器械或内窥镜转动，还可根据获取的主操作单元的弯曲角度或弯曲方向，控制手术机器人201以驱动手术器械或内窥镜弯曲。

进一步地，所述从端200还可包括手术中的辅助设备，如无菌台、呼吸机、检测装置等。本实施例中，所述从端200还包括无菌台204，设置在病床的旁边，用于放置手术器械，以建立无菌屏障，防止无菌手术器械及辅料再污染，而且也可防止手术器械、辅料遗漏、遗失等。

此外，本实施例的手术机器人系统旨在实现远程医疗，并能够在远程医疗手术过程中进行主端和从端之间的信息交流，所交流的信息可包括主端医生和从端辅助医生之间对于组织、血管和病灶边界等的定位，还可包括手术路径、手术方案以及对于医学影像中显示不明确的位置的交流等，以有效地解决远程手术过程中主端医生和从端辅助医生之间信息交流不畅的问题，从而有效提高该远程医疗场景中的手术精准率，确保手术的安全顺利进行，并提高手术效率。

更具体地，本实施例提供一种用于手术机器人的标记共享方法，可适用于主端100或从端200，以主端100为例，包括如下步骤：

步骤一：获取当前生成的初始医学影像；这里的初始医学影像可以是三维医学影像，当然在其他情况下也可以是二维医学影像；此外，初始医学影像数据包括但不限于内窥镜采集的图像，还可以是其他图像采集装置采集的影像数据，如影像设备采集的CT或MRI数据；另外，可由医生主控制台101根据初始医学影像数据，创建目标组织、器官或血管等体内预定对象的初始医学影像，并将创建的初始医学影像共享给从端200；

步骤二：当获取到用户输入的第一标记指令，所述第一标记指令包括第一标记信息后，将所述第一标记信息实时发送到从端200，并在所述初始医学影像中融合所述第一标记信息；所述第一标记信息主要包括对应于第一标记的坐标信息；

步骤三：当接收到从端200实时发送的第二标记信息后，在所述初始医学影像中融合所述第二标记信息；所述第二标记信息主要包括对应于第二标记的坐标信息。

优选地，以上标记共享方法还包括：当接收到从端200实时发送的第二标记信息后，在融合所述第一标记信息的所述初始医学影像中融合所述第二标记信息；从而得到融合了所述第一标记信息和所述第二标记信息的所述初始医学影像。

优选地，所述标记共享方法还包括：将融合所述第一标记信息和/或所述第二标记信息的所述初始医学图像实时发送至从端200。此时，从端200可省去数据融合的步骤，直接可从主端100处获取融合第一标记和/或第二标记的初始医学影像。其中第一标记对应于第一标记信息，如可以是图形和/或文字信息；第二标记对应于第二标记信息，也可以是图形和/或文字信息。

当然，以上标记共享方法也可适用于从端200，此时，以上步骤大部分相同，不同的是，在步骤二中，从端200将所述第一标记信息实时发送到主端100，且在步骤三中，当从端200接收到主端100实时发送的第二标记信息后，在所述初始医学影像中融合所述第二标记信息。另不同的是，在优选步骤中，从端200将融合所述第一标记信息和/或所述第二标记信息的所述初始医学图像实时发送至主端100，进一步在优选步骤中，从端200将融合所述第一标记信息和/或所述第二标记信息的所述初始医学图像实时发送至主端100。那么，主端100也可省去数据融合的步骤，直接可从从端200处获取含有第一标记和/或第二标记的初始医学影像。

在本申请实施例中，以上标记共享方法既适用于主端100，也适用于从端200，从而主端100和从端200各自能够进行数据融合而得到含有标记的初始医学影像(定义为标记医学影像)，最终在各自的显示模块上显示融合第一标记和/或第二标记的初始医学影像，即可查看主端医生和从端辅助医生在初始医学影像上所作的标记。

对应的，本申请一实施例还提供一种用标记共享装置，可适用于主端100或从端200，并用于执行以上标记共享方法。

以适用于主端100为例，所述标记共享装置包括影像数据获取模块、标记指令获取模块和数据融合模块；所述影像数据获取模块用于获取当前生成的初始医学影像；所述标记指令获取模块用于获取用户输入的第一标记指令，还用于获取从端200实时发送的第二标记信息；所述数据融合模块用于在所述初始医学影像中融合所述第一标记信息和/或所述第二标记信息。优选地，所述标记共享装置还包括信息共享模块，用于将融合所述第一标记信息和/或所述第二标记信息的所述初始医学图像实时发送至从端200。该情况下，所应理解，所述第一标记指令为主端医生在主端100所输入的标记指令，并将该第一标记指令定义为主端标记指令，而从端辅助医生在从端200所输入的标记指令定义为第二标记指令，所述第二标记指令包括第二标记信息，并将该第二标记指令定义为从端标记指令。

若适用于从端200时，与适用于主端的标记共享装置所不同的是，所述标记指令获取模块用于获取主端100实时发送的第二标记指令，且优选方案中，所述信息共享模块用于将融合所述第一标记信息和/或所述第二标记信息的所述初始医学图像实时发送至主端100。这种情况下，所述第一标记指令即为从端辅助医生在从端200所输入的标记指令，并将此时的第一标记指令定义为从端标记指令，而此时的第二标记指令为主端医生在主动100所输入的标记指令，并将此时的第二标记指令定义为主端标记指令。

在本申请实施例中，所述主端100和从端200均包括标记共享装置。为了更清楚起见，所述主端100的标记共享装置定义为主端标记共享装置，所述从端200的标记共享装置定义为从端标记共享装置。因此，所述主端100和从端200均能够利用数据融合技术获取含有第一标记和/或第二标记的初始医学影像，从而方便在主端100和从端200均显示含有第一标记和/或第二标记的初始医学影像，实现主端医生和从端辅助医生之间的信息的及时且有效的沟通。

如图2所示，所述主端标记共享装置包括主端影像数据获取模块1011、主端标记指令获取模块1012、主端数据融合模块1013和主端信息共享模块1014。所述主端影像数据获取模块1011用于获取当前生成的初始医学影像；所述主端标记指令获取模块1012用于获取用户输入的主端标记指令，所述主端标记指令包括主端标记信息，还用于获取从端200实时发送的从端标记信息；所述主端数据融合模块1013用于在所述初始医学影像中融合所述主端标记信息和/或所述从端标记信息，得到融合主端标记信息和/或从端标记信息的初始医学影像。进一步地，所述主端信息共享模块1014用于将融合所述主端标记信息和/或所述从端标记信息的所述初始医学图像实时发送至从端200。进一步地，所述主端标记共享装置还包括主端显示模块1015，用于显示融合所述主端标记信息和/或所述从端标记信息的所述初始医学图像。

在本申请实施例中，所述医生主控制台101中集成有所述主端标记共享装置，主端医生可在医生主控制台101对所述初始医学影像进行标记，并在医生主控制台101的显示器上显示不含标记的初始医学影像和含有标记的初始医学影像。不含标记的初始医学影像和含有标记的初始医学影像可以在不同窗口显示，或者当初始医学影像被标记后，仅显示含有标记的初始医学影像。

继续参阅图2，所述从端标记共享装置包括从端影像数据获取模块2021、从端标记指令获取模块2022、从端数据融合模块2023和从端信息共享模块2024。所述从端影像数据获取模块2021用于获取当前生成的初始医学影像；所述从端标记指令获取模块2022用于获取用户输入的从端标记指令，所述从端标记指令包括从端标记信息，还用于获取主端100发送的主端标记信息；所述从端数据融合模块2023用于在所述初始医学影像中融合所述主端标记信息和/或所述从端标记信息，得到融合所述主端标记信息和/或从端标记信息的初始医学影像。进一步地，所述从端信息共享模块2024用于将融合所述主端标记信息和/或所述从端标记信息的所述初始医学图像实时发送至主端100。进一步地，所述从端标记共享装置还包括从端显示模块2025，用于显示融合所述主端标记信息和/或所述从端标记信息的所述初始医学图像。

在本申请实施例中，所述从端控制装置200如图像台车203中集成有所述从端标记共享装置，从端辅助医生可在从端控制装置200对所述初始医学影像进行标记，并在从端控制装置200的显示器上显示不含标记的初始医学影像和含有标记的初始医学影像。在从端标记共享装置中，不含标记的初始医学影像和含有标记的初始医学影像可以在不同窗口显示，或者当初始医学影像被标记后，仅显示含有标记的初始医学影像。

所需理解，所述主端数据融合模块1013和从端数据融合模块2023分别采用数据融合算法来实现数据融合。数据融合算法主要通过标记的坐标来实现，且如何实现数据融合为本领域的公知技术，因此，本申请对其不作详细的描述。

在一示例中，所述标记共享装置根据所述主端标记信息中的位置信息，在所述初始医学影像上重建对应于所述主端标记信息的主端标记，并根据所述从端标记信息中的位置信息，在所述初始医学影像上重建对应于所述从端标记信息的从端标记。

更具体地，所述标记共享装置根据所述主端标记信息中的坐标信息，得到所述初始医学影像中对应于所述主端标记信息所在位置的图像，并在所述主端标记信息所在位置的图像上生成主端标记，由此将主端标记与初始医学图像进行融合。所述标记共享装置还根据所述从端标记信息中的坐标信息，得到所述初始医学影像中对应于所述从端标记信息所在位置的图像，并在所述从端标记信息所在位置的图像上生成从端标记，从而将从端标记也与初始医学图像进行融合；最终主端数据融合模块1013获取融合了所述主端标记和所述从端标记的所述初始医学影像。

在一具体实施例中，所述标记共享装置还能够获取启用或禁用标记指令，并根据所述禁用标记指令输出主从控制指令，所述主从控制指令用于控制主端100或从端200的运动，以及根据所述启用标记指令启动标记模式，以允许用户对初始医学影像进行标记。

如对主端100而言，主端标记共享装置根据获取的启用或禁用标记指令，使医生主控制台101能够被允许或禁止操作创建主端标记。且当允许创建主端标记时，用户能够通过医生主控制台101对所述初始医学影像进行标记，并保存所述主端标记的位置信息(包括坐标)。如对从端200而言，从端标记共享装置根据获取的启用或禁用标记指令，使从端控制装置200能够被允许或禁止操作创建从端标记。且当允许创建从端标记时，用户能够通过从端控制装置200对所述初始医学影像进行标记，并保存所述从端标记的位置信息(包括坐标)。

进一步地，所述主端信息共享模块1014除了向从端200发送标记信息和含有标记信息的初始医学影像外，还能够接收从端200所发送过来的数据，如从端标记信息，并将所接收的从端标记信息传输至主端标记指令获取模块1012。进一步地，所述主端标记指令获取模块1012能够解析从端标记信息，以获取从端标记信息中的位置信息。进一步地，所述主端标记指令获取模块1012能够打包主端标记信息，打包后的主端标记信息，通过主端信息共享模块1014发送至从端200。

进一步地，所述从端信息共享模块2024除了向主端100发送标记信息和含有标记信息的初始医学影像外，还能够接收主端100所发送过来的数据，如主端标记信息，并将所接收的主端标记信息传输至从动标记指令获取模块2022。进一步地，所述从端标记指令获取模块2022能够解析主端标记信息，以获取主端标记信息中的位置信息。进一步地，所述从动标记指令获取模块2022能够打包从端标记信息，打包后的从端标记信息通过从端信息共享模块2024发送至主端100。

非限制性地，所述主端影像数据获取模块1011还能够根据初始医学影像数据，建立组织、器官或血管等预定对象的初始医学影像，该主端影像数据获取模块1011优选提供三维建模功能，以获取三维医学影像。此外，所述主端显示模块1015优选为3D显示屏，以立体显示三维医学影像，以提高更精准的参考价值，使得远程手术场景应用精确率大幅提升。为了提高手术的准确性，所述主端影像数据获取模块1011主要利用三维建模和人工智能算法对实时采集到的影像数据进行处理，以生成三维的所述初始医学影像。人工智能算法可实现全自动化建模，无需人工修复，具有高保真、无扭曲、模型体积小且方便展示的特点，有效降低三维模型的建模时间，并提高三维模型建模的精度。进一步地，所述从端显示模块2025可以是2D显示屏或3D显示屏。

为了进一步改善主端100和从端200之间的信息交流的顺畅性，在一实施例中，所述标记共享方法还包括：从端200向主端100实时无线传输音频数据和/或视频数据。在一实施例中，所述标记共享方法还包括：所述主端100向从端200实时无线传输音频数据和/或视频数据。

进一步的，所述手术机器人系统还包括音频和/或视频采集模块，用于采集音频和/或视频数据。

如图2所示，所述医生主控制台101还配置有主端音频和/或视频采集模块1016，用于采集主端100的音频和/或视频数据，并向从端200实时传输所述主端的音频和/或视频数据，从而方便主端医生与从端辅助医生之间通过语音和/或视频进行在线沟通，以进一步提高沟通效率。所述主端100可通过主端数据传输模块1017在主端100和从端200之间传输音视频数据，并提供实时音视频低延时传输方案，保证数据传输过程中的低延时和高质量。

类似的，所述从端控制装置202配置有从端音频和/或视频采集模块2026，用于采集从端200的音频和/或视频数据，并向主端100实时传输所述从端的音频和/或视频数据，从而方便主端医生与从端辅助医生之间通过语音和/或视频进行在线沟通，以进一步提高沟通效率。所述从端200进一步通过从端数据传输模块2027在主端100和从端200之间传输音视频数据，并提供实时音视频低延时传输方案，保证数据传输过程中的低延时和高质量。

所述主端音频和/或视频采集模块1016，以及从端音频和/或视频采集模块2026包括但不限于摄像头、麦克风等音视频设备。所述主端音频和/或视频采集模块1016，以及从端音频和/或视频采集模块2026均可连接有线或无线网路，优选连接5G Wi-Fi，传输速度更快，传输质量更好。其中，所述从端音频和/或视频采集模块2026与手术机器人201进行数据通信，以接受图像采集装置所传输的视频数据。

所述手术机器人系统还包括图像采集装置，所述初始医学影像数据可利用图像采集装置(如内窥镜)采集体内的图像而确定。

进一步地，考虑到图像采集装置采集的图像会实时发生变化，此时，为了提高标记效率，在所述初始医学影像中融合所述主端标记信息和/或在所述初始医学影像中融合所述从端标记信息之后，还包括：获取当前生成的所述初始医学影像的图像变化信息，并根据所述初始医学影像的图像变化信息，更新所述主端标记信息和/或所述从端标记信息，以使所述主端标记信息和/或所述从端标记信息，实时跟随图像采集装置采集的初始医学影像的图像的变化；从而使标记动态跟随图像的变化，使标记效率更高，操作也更方便。

进一步地，所述标记共享方法还包括：在获取到用户输入的第一标记指令之前，启动标记模式，所述标记模式允许用户输入所述第一标记指令。可以理解的是，当所述第一标记指令为主端标记指令时，主端100在获取到用户输入的主端标记指令之前，还包括启动标记模式，启动标记模式后，才允许用户在主端100输入主端标记指令。而当所述第一标记指令为从端标记指令时，从端200在获取到用户输入的从端标记指令之前，还包括启动标记模式，启动标记模式后，才允许用户在从端200输入从端标记指令。

在一具体实施例中，所述标记共享方法还包括：获取主端100和/或从端200的标记状态，并根据主端100和/或从端200的标记状态，输出主从控制指令或启用标记指令。所述主从控制指令用于控制主端100或从端200的运动状态(包括操作状态)，所述启用标记指令用于启动所述标记模式。

进一步地，所述标记共享方法还包括：获取用户输入的退出标记指令，并根据所述退出标记指令退出所述标记模式。

更进一步地，所述标记共享方法还包括：根据所述启用标记指令，使主端100和/或从端200进入操作锁定状态，以禁止主端100和/或从端200的运动，以使所述主端100和/或从端200禁止控制手术机器人201运动。如当所述手术机器人系统进入标记模式时，医生主控制台101的主操作单元即处于操作锁定状态，主操作单元不能遥操作手术机器人201，例如从端200接收主操作单元的运动状态，但是不据此控制手术机器人运动，即主操作单元的操作手柄无法实现遥操作控制手术机器人运动及手术操作，和/或，当手术机器人系统进入标记模式时，手术机器人201自动锁定而无法运动。

更进一步地，所述标记共享方法还包括：根据所述退出标记指令，使主端100和/或从端200进入操作解锁状态，以允许主端100和/或从端200的运动，以使主端100和/或从端200允许控制所述手术机器人运动。如当所述手术机器人系统退出标记模式时，医生主控制台101的主操作单元即处于操作解锁状态，主操作单元能够遥操作手术机器人201，例如从端200接收主操作单元的运动状态，并据此控制手术机器人运动，即主操作单元的操作手柄能够实现遥操作控制手术机器人运动及手术操作，和/或，当手术机器人系统退出标记模式时，手术机器人201自动解锁而可以运动。

所应理解，当手术机器人系统进入操作锁定状态时，手术机器人系统锁定主从映射关系，以方便从端200或主端100进行标记操作；而当手术机器人系统处于操作解锁状态时，所述手术机器人系统能够重建主从映射关系，以根据经确定的主从控制指令，允许主端100对从端200进行遥操作，使手术机器人201能够根据主从控制指令控制手术器械或内窥镜的运动。

参阅图3，在示例性实施例中，所述主端100包括左脚踏板1041和右脚踏板1042，这些脚踏板集成在医生主控制台101上。其中左脚踏板1041和右脚踏板1042中的一个构造为第一脚踏板，左脚踏板1041和右脚踏板1042中的另一个构造为第二脚踏板。所述第一脚踏板用于输出启用标记指令，主端100根据第一脚踏板的启用标记指令启动标记模式；所述第二脚踏板用于输出退出标记指令，主端100根据第二脚踏板的退出标记指令退出标记模式。使用时，主端医生可通过双脚控制对应的脚踏板即可进入标记模式或退出标记模式。例如左脚踏板1041当前的操作状态为被踩下而输出启用标记指令，则主端100确定进入标记模式；反之右脚踏板1042当前的操作状态为被踩下而输出退出标记指令，则主端100确定退出标记模式。

继续参阅图3，在一具体实施例中，所述主端标记指令获取模块1012可包括左操作臂1043和右操作臂1044。这些操作臂也集成在医生主控制台101上。所述左操作臂1043和右操作臂1044构成主操作单元，可以接受外界指令以输出运动信息，而且所述左操作臂1043和右操作臂1044中的一个构造为第一操作臂，另一个构造为第二操作臂。所述第一操作臂用于根据用户输入的操作指令选择对应于主端标记信息的主端标记。所述第二操作臂用于根据用户输入的操作指令，采用已选择的主端标记，在所述初始医学影像上创建所述主端标记。

如图3和图7所示，所述主端显示模块1015包括主端显示界面G1。用户通过操控所述第一操作臂，即可选择主端交互界面上的画图工具，所述画图工具提供各种对应于预设图形的绘图命令，从而选择画图工具中的图形来创建对应于主端标记指令的主端标记。此外，用户还可通过操控所述第二操作臂，即可根据第一操作臂所确定的预设图形在初始医学影像上绘制对应于主端标记指令的主端标记。例如左操作臂1043用于选择画图工具，右操作臂1044用于通过画图工具绘制图形。

在一具体实施例中，主端医生通过操控左操作臂1043的运动来移动光标位置，以选择所需的图形以及需要标记的位置，并经由左操作臂1043的左控制手柄1045来确定选中已选的图形，且由右操作臂1044的右控制手柄1029的手指操作来进行捏合选择(如鼠标左键的功能)和绘图操作。

如图3和图7所示，在一具体实施例中，所述主端交互界面G1提供画图工具G2和主端撤销按钮G8。所述主端交互界面G1的画图工具G2提供各种预设图形，如矩形的预设主端标记G3，圆形的预设主端标记G4，当然预设图形不限于此举例的，还可以是其他各种形状，而且形状不限于规则图形。所述主端交互界面G1的画图工具G2还可提供画笔，方便用户自定义绘制图形。如此，用户可通过鼠标操作所述画图工具，并利用所述画图工具G2对主端交互界面G1上显示的初始医学影像进行图形的绘制，以得到所述主端标记。

在图7示出的示例中，用户通过鼠标并根据画图工具G2提供的预设图形，可绘制圆形的主端标记G5，还可绘制矩形的主端标记G7，还可绘制自定义的主端标记G6。此外，所述主端撤销按钮G8用于提供撤销当前所绘制的对应于主端标记的图形的操作命令，用户只要通过鼠标点击该主端撤销按钮G8即可撤销当前图形。当然主端交互界面G1除显示标记、医学影像外，还用于显示含有标记的初始医学影像。

图5示出了根据本发明一优选实施例的主端标记创建的工作流程。如图5所示，主端标记创建的工作流程包括以下步骤：

步骤A1：启动主端标记指令获取模块1012；由于在医生主控制台101的运行程序中嵌入有主端标记指令获取模块1012，因此，在运行医生主控制台101程序后，即自动启动主端标记功能，但后续需要启动标记模式才能进行标记操作。

步骤A2：判断从端是否处于标记状态；在一实施例中，主端和从端的标记功能为互斥状态，即同一时刻，只有一个能进行标记操作；如果当前从端200处于标记状态，则主端100自动进入步骤A10以退出主端标记模式；如果当前从端200未处于标记状态，则主端100可进入步骤A3的主端标记模式。因此，所述主端标记共享装置优选还获取从端的标记状态，当从端的标记状态为当前处于非标记状态时，则启动主端标记模式，进而在所述初始医学影像上进行标记以获取主端标记指令，并优选在步骤S4中向从端200实时发送对应于所述主端的本地当前的标记状态。

步骤A3：主端进入主端标记模式；进入主端标记模式后，执行步骤A4：由主端100向从端200实时发送对应于主端的本地当前的标记状态，从而将主端100正在标记的状态发送给从端200，以便从端200根据主端的标记状态来判断是否能够进入标记模式。

进入主端标记模式后，还执行步骤A5：判断是否选择预设标记图形；该步骤A5中，用户可选择系统预设的图形来绘制主端标记，也可选择自定义图形来绘制图形。

进一步地进入步骤A6：按照上一步骤A5中选择的绘图方式来绘制主端标记，以生成主端标记指令；用户可通过左右控制手柄在初始医学图像上绘制主端标记。

完成主端标记的绘制后，通过步骤A7可进一步判断是否撤销已绘制的主端标记；如果是，则流转至步骤A8以删除最新主端标记，否则程序自动流转至步骤A9。

步骤A8：删除最新主端标记，优选每次只能删除最近一次的主端标记。

步骤A9：判断是否退出主端标记；如果是，则退出标记模式A10，如果否，则可继续循环流程A5至A9。

在优选实施例中，当主端100进入主端标记模式后，其主端交互界面G1自动在屏幕中显现预设的主端标记图形和主端撤销按钮，而当主端100退出主端标记模式后，主端交互界面G1自动在屏幕中隐藏预设的主端标记图形和主端撤销按钮。

更详细地，在一具体操作方式中，如图6所示，主端医生触发特定的脚踏板B1以输出启用主端标记指令，从而进入主端标记模式A3，进入主端标记模式A3后，可选择两种标记方式，包括：

第一种标记方式：主端医生确定绘制预设图形B2；然后，主端医生可通过左操作臂1043选中预设图形B3；之后，主端医生可通过右操作臂1044绘制预设图形B4；

第二种标记方式：主端医生确定绘制自定义图形B5；然后，主端医生可通过右操作臂1044绘制自定义图形路径B6。

以上标记方式最终都可执行撤销操作B7；若确定撤销，则可通过左操作臂1043选择主端撤销按钮B8，撤销当前的主端标记图形，撤销后，又可循环选择预设图形并进行绘制，或者又可重新绘制自定义图形路径。如用户通过左操作臂1043移动光标到主端交互界面G1的图形选择窗口(即画图工具G2)，捏合左手手指进行选择预设图形，选中后可松开左手。接着，用户通过右操作臂1044移动光标到需要标记的位置，然后捏合右手手指并移动位置进行标记操作，标记完成后松开手指。

在一具体实施例中，在不选择预设标记图形的状态下，主端100默认绘制自定义标记图形，使用右操作臂1044移动光标到需要标记的位置，捏合手指进行标记和移动，松开后完成一次标记操作。另外，左操作臂1043移动光标到主端撤销按钮G8的位置，捏合手指进行撤销操作即可。

以上提供的是主端和从端只能一方进行标记，但在其他实施例中，主端和从端也可同时进行标记并分别保存各自的标记信息。进一步地，当主端和从端仅可一方进行标记时，所述手术机器人系统可设置标记优先级别，如主端和从端都同时发出标记指令，此时，根据优先级别来确定执行标记的对象，如主端的标记优先级别高于从端，以允许主端先执行标记操作。

图8示出了根据发明一优选实施例的主端向从端共享主端标记的流程。如图8所示，在一实施例中，所述主端向从端共享主端标记的流程包括以下步骤：

步骤1：主端完成主端标记，以生成主端标记指令；具体地，主端医生在主端100通过操控右操作臂1044和左操作臂1043和手指捏合完成主端标记操作；

步骤2：主端保存主端标记的位置信息，主要是坐标信息；主端标记指令获取模块1012会实时保存主端交互界面的屏幕中所有主端标记点的X和Y坐标信息，而且考虑到主端显示屏和从端显示屏的分辨率的差异，优选还保存主端屏幕的分辨率信息；

步骤3：向从端发送主端标记的位置信息；主端标记完成后，主端信息共享模块1014会发送主端标记的位置信息至从端200；

步骤4：从端接收主端标记的位置信息；从端200接受到主端标记的位置信息后进行数据解析，以获取主端标记的坐标；

步骤5：从端根据解析数据重建主端标记；在绘制过程中，从端根据从端显示屏的分辨率进行等比例绘制主端标记；

步骤6：从端绘制完成主端标记后，最终将将所述主端标记、所述从端标记和所述医学影像进行数据融合，获取融合主端标记和从端标记的初始医学影像并进行显示。

结合图4和图11，在一具体实施例中，所述从端显示模块2025包括从端交互界面H1，能够显示初始医学影像和标记医学影像。进一步地，所述从端交互界面H1提供画图工具H2(即图形选择窗口)、标记按钮H9和从端撤销按钮H8。所述从端交互界面H1的画图工具H2亦能够提供各种预设图形，如矩形的预设从端标记H3，圆形的预设从端标记H4，当然预设图形不限于此举例的，还可以是其他各种形状，而且形状不限于规则图形。所述从端交互界面H1的画图工具H2还可提供画笔，方便用户自定义绘制图形；使得用户可通过操作画图工具H2，并利用画图工具H2对从端交互界面H1上显示的初始医学影像进行对应于从端标记的图形的绘制，以得到所述从端标记。

在图11示出的示例中，用户根据从端交互界面H1的画图工具H2提供的预设图形，可绘制圆形的从端标记H5，还可绘制矩形的从端标记H7，还可绘制自定义的从端标记H6。此外，所述从端撤销按钮H8用于提供撤销当前所绘制的对应于从端标记的图形的操作命令，用户只要鼠标左键点击该从端撤销按钮H8即可撤销当前图形。当然从端交互界面H1除显示标记、医学影像外，还用于显示含标记的初始医学影像。

在一些实施例中，所述从端交互界面H1还提供退出标记按钮(未显示)，所述退出标记按钮用于输出退出标记指令，所述从端200根据所述退出标记按钮的退出标记指令退出标记模式。在一些实施例中，所述标记按钮H9用于输出启用标记指令，所述从端200根据标记按钮H9的启用标记指令启动所述标记模式。在另一实施例中，所述标记按钮H9和退出标记按钮集成为一个按钮，在进入从端标记模式后，标记按钮H9转变为退出标记按钮，而在退出标记模式后，退出标记按钮转变为标记按钮H9。

如图4所示，在示例性实施例中，所述从端标记指令获取模块2022包括键盘2071和鼠标2072；键盘2071供用户按键输入和文字输入以方便生成文字形式的从端标记，从而实现文字标注；鼠标2072供用户选择和绘制图形，以方便生成图形形式的从端标记。在一具体实施例中，所述从端控制装置202与图像台车203集成，所述图像台车202可配置隔板211，用于放置键盘2071和鼠标2072。

图9示出了根据本发明一优选实施例的从端标记创建的工作流程。如图9所示，在一非限制性实施例中共，所述从端标记创建的流程包括以下步骤：

步骤C1：启动从端标记指令获取模块；由于在从端的手术机器人运行程序中嵌入有从端标记指令获取模块2022，因此，在运行手术机器人程序后，即自动启动从端标记功能，后续需要进入从端标记模式才能进行从端标记操作。

步骤C2：判断主端100是否处于标记状态；在一实施例中，主从端的标记功能为互斥状态，同一时刻，只有一个能进行标记操作；如果当前主端100处于标记状态，则从端200自动进入步骤C10以退出从端标记模式；如果当前主端100未处于标记状态，则从端200可进入步骤C3的从端标记模式。因此，所述从端控制装置202优选能够根据所述主端的非标记状态，确定在所述初始医学影像上进行标记以得到所述从端标记，并优选在步骤C4中向主端100发送对应于所述从端的本地当前的标记状态。

步骤C3:从端进入从端标记模式；进入从端标记模式后，执行步骤C4：由从端200向主端100发送对应于从端的标记状态，从而将从端200正在标记的状态发送给主端100，以便主端100根据从端的标记状态来判断是否能够进入从端标记模式。如可通过鼠标2072点击从端交互界面的屏幕的标记按钮进入从端标记模式，优选进入从端标记模式后，从端交互界面在屏幕中自动显现预设的标记图形和从端撤销按钮。

进入从端标记模式后，还执行步骤C5:判断是否选择预设标记图形；该步骤C5中，用户可选择系统预设的图形来绘制从端标记，也可选择自定义图形来绘制图形。

进一步地进入步骤C6:按照上一步骤C5中选择的绘图方式来绘制从端标记；用户可通过鼠标的移动在医学图像上绘制从端标记。

完成从端标记的绘制后，通过步骤C7可进一步判断是否撤销已绘制的从端标记；如果是，则流转至步骤C8以删除最新从端标记，否则程序自动流转至步骤C9。

步骤C8：删除最新从端标记，优选每次只能删除最近一次的从端标记。

步骤C9：判断是否退出从端标记；如果是，则退出标记模式C10，如果否，则可继续循环流程C5至C9。

在优选实施例中，当从端200进入从端标记模式后，其从端交互界面自动在屏幕中显现预设的从端标记图形和从端撤销按钮，而当从端200退出从端标记模式后，从端交互界面自动在屏幕中隐藏预设的从端标记图形和从端撤销按钮。

更详细地，在一具体操作方式中，如图10所示，从端辅助医生通过鼠标点击标记按钮以输出从端标记指令，从而进入从端标记模式C3，进入从端标记模式C3后，与主端类似，亦可选择两种标记方式，包括：

第一种标记方式：从端辅助医生确定绘制预设图形D2；然后，从端辅助医生通过鼠标左键选择预设图形D3；之后，从端辅助医生通过鼠标左键绘制预设图形D4；

第二种标记方式：从端辅助医生确定绘制自定义图形D5；然后，从端助可通过鼠标左键绘制自定义图形路径D6。

以上标记方式最终都可执行撤销操作D7；若确定撤销，则可通过鼠标左键选择从端撤销按钮，撤销当前的从端标记图形，又可循环选择预设图形并进行绘制，或者又可重新绘制自定义图形路径。

因此，从端辅助医生通过鼠标点击从端交互界面的标记按钮，进入从端标记模式C3，在绘制预设标记图形时，首先鼠标移动光标到图形选择窗口，鼠标左键点击选择预设标记图形，选中后松开鼠标。接着，使用鼠标将光标移动到绘制区域，点击鼠标左键进行移动绘制操作，绘制完成后松开鼠标。

在一具体实施例中，在不选择预设标记图形的状态下，从端200默认绘制自定义标记图形，使用鼠标将光标移动到绘制区域，点击鼠标左键进行移动绘制操作，绘制完成后松开鼠标。在撤销操作时，使用鼠标将光标移动到绘制区域撤销按钮位置，点击鼠标左键进行撤销操作。

图12示出了根据本发明一优选实施例的从端向主端共享从端标记的流程。如图12所示，在一实施例中，所述从端向主端共享从端标记的流程包括以下步骤：

步骤11：从端完成从端标记，以生成从端标记指令；具体地，从端辅助医生在从端200通过鼠标和/或键盘完成从端标记操作；

步骤12：从端保存从端标记的位置信息，主要是坐标信息；从端标记指令获取模块2022会实时保存从端交互界面的屏幕中所有从端标记点的X和Y坐标信息，而且考虑到主端显示屏和从端显示屏的分辨率的差异，优选还保存从端屏幕的分辨率信息；

步骤13：向主端发送从端标记的位置信息；从端标记完成后，从端信息共享模块2024会发送从端标记的位置信息至主端100；

步骤14：主端接收从端标记的位置信息；主端100接受到从端标记的位置信息后进行数据解析，以获取从端标记的坐标。

步骤15：主端根据解析数据重建从端标记，在绘制过程中，主端根据主端显示屏的分辨率进行等比例绘制从端标记；

步骤16：主端绘制完成从端标记后，最终将将所述主端标记、所述从端标记和所述初始医学影像进行数据融合，获取融合所述主端标记和所述从端标记的所述初始医学影像并进行显示。

更具体地，如图13所示，所述主端100获取从端200所共享的从端标记信息Q1，并利用已保存的主端标记信息和建立的初始医疗影像Q2，基于数据融合技术Q3来获取含有标记的医学影像并进行对于主端的显示Q4，同理，所述从端200获取主端100所共享的主端标记信息Q5，并利用已保存的从端标记信息和建立的初始医疗影像Q2，基于数据融合技术Q3来获取含有标记的初始医学影像并进行对于从端的显示Q6。

因此，所述主端100和从端200分别对各自获取的数据进行数据融合。主从端首先获取医疗影像数据，包括但不限于内窥视频数据、CT影像。然后获取从端标记信息和主端标记信息，在主端100和从端200分别获取这些标记的位置信息后，通过数据融合算法得到带有标记信息的医疗影像，最终，通过主从端各自的显示模块显示对应的含有标记的初始医疗影像。

更详细地，如图14所示，在一具体实施例中，数据融合的原理为：

将流程L1中的自定义的主端标记L2，流程L3中的预设的从端标记L4，以及流程L5中的初始医学影像，经过流程L6中的数据融合后，得到主端融合后的标记医疗影像L7并通过主端显示屏显示，以及还可得到从端融合后的标记医疗影像L8并通过从端显示屏显示。从而主端医生能够在远程透过主端显示屏观看手术场景并与从端辅助医生进行交流，而且从端辅助医生能够在手术室透过从端显示屏及时获悉主端医生的手术指导并与主端医生进行交流，确保手术的顺利安全进行。

更进一步地，本发明一优选实施例还提供了一种可读存储介质，所述可读存储介质上存储有程序，当所述程序被执行时，执行如前标记共享装置所执行的标记共享方法。

以及，本发明一优实施例还提供了一种电子设备，用于执行用于手术机器人的标记共享方法，所述电子设备包括处理器和如前所述的可读存储介质，所述处理器被配置用于执行所述可读存储介质上所存储的程序。

还需理解，以上所说明的任一标记共享方法同样适用于本发明提供的标记共享装置。

虽然本发明披露如上，但并不局限于此。本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (16)

1.一种用于手术机器人的标记共享方法，适用于第一手术机器人端，其特征在于，包括：

获取当前生成的初始医学影像；

当获取到用户输入的第一标记指令，所述第一标记指令包括第一标记信息后，将所述第一标记信息实时发送到第二手术机器人端，并在所述初始医学影像中融合所述第一标记信息；

当接收到所述第二手术机器人端实时发送的第二标记信息后，在所述初始医学影像中融合所述第二标记信息。

2.根据权利要求1所述的用于手术机器人的标记共享方法，其特征在于，当接收到所述第二手术机器人端实时发送的第二标记信息后，在融合所述第一标记信息的所述初始医学影像中融合所述第二标记信息。

3.根据权利要求1或2所述的用于手术机器人的标记共享方法，其特征在于，在获取到用户输入的第一标记指令之前，还包括：启动标记模式，所述标记模式允许用户输入所述第一标记指令。

4.根据权利要求1或2所述的用于手术机器人的标记共享方法，其特征在于，所述在所述初始医学影像中融合所述第一标记信息，包括：

根据所述第一标记信息中的位置信息，在所述初始医学影像上重建对应于所述第一标记信息的第一标记；

所述在所述初始医学影像中融合所述第二标记信息，包括：

根据所述第二标记信息中的位置信息，在所述初始医学影像上重建对应于所述第二标记信息的第二标记。

5.根据权利要求1或2所述的用于手术机器人的标记共享方法，其特征在于，在所述初始医学影像中融合所述第一标记信息和/或在所述初始医学影像中融合所述第二标记信息之后，还包括：

获取当前生成的所述初始医学影像的图像变化信息，并根据所述初始医学影像的图像变化信息，更新所述第一标记信息和/或所述第二标记信息，以使所述第一标记信息和/或所述第二标记信息实时跟随所述初始医学影像的变化。

6.根据权利要求3所述的用于手术机器人的标记共享方法，其特征在于，还包括：

获取所述第一手术机器人端和/或所述第二手术机器人端的标记状态，并根据所述第一手术机器人端和/或所述第二手术机器人端的标记状态，输出主从控制指令或启用标记指令；所述主从控制指令用于控制所述第一手术机器人端或所述第二手术机器人端的运动；所述启用标记指令用于启动所述标记模式。

7.根据权利要求6所述的用于手术机器人的标记共享方法，其特征在于，还包括：获取用户输入的退出标记指令，并根据所述退出标记指令退出所述标记模式。

8.根据权利要求7所述的用于手术机器人的标记共享方法，其特征在于，还包括：

根据所述启用标记指令进入操作锁定状态，以禁止所述第一手术机器人端和/或所述第二手术机器人端的运动；

根据所述退出标记指令进入操作解锁状态，以允许所述第一手术机器人端和/或所述第二手术机器人端的运动。

9.根据权利要求3所述的用于手术机器人的标记共享方法，其特征在于，还包括：

获取所述第二手术机器人端的标记状态，并在确定所述第二手术机器人端当前为非标记状态时启动所述标记模式，并实时向所述第二手术机器人端发送本地当前的标记状态。

10.根据权利要求3所述的用于手术机器人的标记共享方法，其特征在于，还包括：

获取所述第一手术机器人端的第一脚踏板的操作状态，并根据所述第一脚踏板的操作状态启动所述标记模式；

获取所述第一手术机器人端的第二脚踏板的操作状态，并根据所述第二脚踏板的操作状态退出所述标记模式；或者，还包括：

根据所述第一手术机器人端的交互界面上的标记按钮的输出指令启动所述标记模式；

根据所述第一手术机器人端的所述交互界面上的退出标记按钮的输出指令退出所述标记模式。

11.一种用于手术机器人的标记共享装置，适用于第一手术机器人端，其特征在于，包括：

影像数据获取模块，用于获取当前生成的初始医学影像；

标记指令获取模块，用于获取用户输入的第一标记指令，所述第一标记指令包括第一标记信息，还用于获取第二手术机器人端实时发送的第二标记信息；

数据融合模块，用于在所述初始医学影像中融合所述第一标记信息和/或所述第二标记信息。

12.一种手术机器人系统，包括第一手术机器人端和第二手术机器人端，其特征在于，所述第一手术机器人端包括如权利要求11所述的用于手术机器人的标记共享装置。

13.根据权利要求12所述的手术机器人系统，其特征在于，所述第一手术机器人端还包括第一脚踏板和第二脚踏板，所述标记指令获取模块包括第一操作臂和第二操作臂；

所述第一脚踏板用于输出启用标记指令，以启动标记模式；

所述第二脚踏板用于输出退出标记指令，以退出所述标记模式；

所述第一操作臂用于根据用户输入的操作指令选择对应于所述第一标记信息的第一标记；

所述第二操作臂用于根据用户输入的操作指令，采用已选择的所述第一标记，在所述初始医学影像上创建所述第一标记。

14.根据权利要求12所述的手术机器人系统，其特征在于，所述第一手术机器人端还包括交互界面，所述交互界面包括标记按钮和退出标记按钮；所述标记指令获取模块包括键盘和鼠标；

所述交互界面显示所述初始医学影像；

所述标记按钮用于输出启用标记指令，以启动标记模式；

所述退出标记按钮用于输出退出标记指令，以退出所述标记模式；

所述键盘和所述鼠标用于根据用户输入的指令生成对应于所述第一标记信息的第一标记。

15.一种可读存储介质，其上存储有程序，当所述程序被执行时，执行如权利要求1-10中任一项所述的用于手术机器人的标记共享方法。

16.一种电子设备，用于执行用于手术机器人的标记共享方法，其特征在于，所述电子设备包括处理器和如权利要求15所述的可读存储介质，所述处理器被配置用于执行所述可读存储介质上所存储的程序。

Images