CN115153858A - 手术机器人系统及其控制方法和装置 - Google Patents

Abstract

本申请提供的手术机器人系统及其控制方法和装置，涉及医疗器械技术领域。包括相互连接的手术规划模块和手术执行模块，其中手术规划模块用于获取医疗影像数据并基于医疗影像数据确定手术方案；手术执行模块用于根据手术方案执行手术操作，手术执行模块包括手术操作学习单元和手术机器人，手术操作学习单元用于对手术方案的手术操作进行学习，得到学习结果，手术机器人用于根据手术方案和学习结果执行手术操作。本申请能够实现从影像数据到手术操作的智能自动化诊疗，通过手术机器人自主学习手术操作使得手术机器人逐步具有独立工作的能力，从而自行执行手术任务减轻医生负担，能够减少手术过程中的人为因素，从而降低手术失误风险。

Description

手术机器人系统及其控制方法和装置

技术领域

本申请涉及医疗器械技术领域，尤其涉及一种手术机器人系统及其控制方法和装置。

背景技术

随着人工智能的快速发展，越来越多的智能机器人代替人类进入工业生产、驾驶、医疗等领域。现有的医疗手术机器人系统包括主端操作设备、中央处理器和从端操作设备。

相关技术中，手术机器人系统的工作方式为：医生根据医学图像指示在主端操作设备输入操作参数；对应地，主端操作设备采集医生的操作参数，并通过接口传输至中央处理器；中央处理器将该操作参数转换为数字信号，并通过接口传输至从端操作设备上的步进电机中，由步进电机基于接收到的数字信号，带动从端操作设备进行手术。

上述工作方式中，手术机器人系统的手术作业全程需要医生进行操作参数的输入，智能化程度不够高，且存在操作失误的情况。

发明内容

本申请提供一种手术机器人系统及其控制方法和装置，用以解决智能化程度低、容易出现操作失误的问题。

第一方面，本申请提供一种手术机器人系统，包括：相互连接的手术规划模块和手术执行模块，其中：手术规划模块，用于获取医疗影像数据，并基于医疗影像数据确定手术方案；手术执行模块，用于根据手术方案执行手术操作；手术执行模块，包括：手术操作学习单元和手术机器人，其中：手术操作学习单元，用于对手术方案的手术操作进行学习，得到学习结果；手术机器人，用于根据手术方案和学习结果执行手术操作。

可选的，手术规划模块，包括：数据获取单元，用于获取医疗影像数据；建模单元，用于根据医疗影像数据进行三维重建，得到目标三维模型；阅片单元，用于基于医疗影像数据和/或目标三维模型，确定病灶信息；手术方案生成单元，用于根据病灶信息生成手术方案，手术方案包括手术全程的操作步骤和手术工具。

可选的，阅片单元具体用于：通过将医疗影像数据与标准影像数据进行对比，和/或，将目标三维模型与标准三维模型进行对比，确定病灶信息，病灶信息包括病灶的位置特征、形状特征及CT值和病理结果中的至少一种。

可选的，阅片单元包括病理预测子单元，用于基于医疗影像数据和/或目标三维模型预测病灶的病理结果，病灶信息包括病理结果。

可选的，建模单元，包括：图像分割子单元，用于通过分割算法对医疗影像数据进行图像分割，并从分割结果中提取出不同组织和/或器官的影像数据；第一建模子单元，用于通过三维建模算法对不同组织和/或器官的影像数据分别进行三维重建，得到相应的组织三维模型和/或器官三维模型；第二建模子单元，用于将组织三维模型和/或器官三维模型进行融合，得到目标三维模型。

可选的，建模单元还包括分段子单元和/或标识子单元，其中：分段子单元，用于通过分段算法对目标三维模型中的至少部分组织和/或器官进行分段处理；标识子单元，用于通过标识算法对目标三维模型中的至少部分组织和/或器官进行颜色标识。

可选的，手术规划模块还包括：命名单元，用于基于病灶信息对目标三维模型的至少部分不同组织和/或器官进行名称命名和分段命名；手术方案生成单元，具体用于根据命名结果和病灶信息，确定手术方案，手术方案包括针对不同命名的组织和/或器官的手术操作方案。

可选的，手术规划模块，还包括：手术模拟单元，用于根据手术方案进行手术模拟训练，以确定手术方案是否合理。

可选的，手术操作学习单元，包括：视频获取子单元，用于获取手术方案的手术视频；视频分解子单元，用于对手术视频进行分解，得到手术图片和/或手术视频片段；标定子单元，用于通过标定算法对手术图片和/或手术视频片段涉及的解剖结构、手术工具和操作步骤进行标定，得到标定结果；学习子单元，用于对标定结果进行学习，得到学习结果。

可选的，手术机器人，包括：手术操作子单元，用于执行手术操作；手术辅助子单元，用于执行手术辅助操作，手术辅助操作辅助手术操作的执行。

可选的，手术执行模块还包括方案解读单元和控制单元，其中：方案解读单元，用于对手术方案进行解读，并基于解读结果、医疗影像数据和/或目标三维模型得到操作参数，操作参数包括手术机器人的机械臂移动参数；控制单元，用于根据操作参数控制手术机器人执行手术操作。

可选的，手术辅助子单元包括识别子单元，用于在手术过程中识别解剖结构并将识别结果反馈给控制单元；对应地，控制单元，还用于获取识别结果，并基于识别结果和操作参数控制手术机器人执行手术操作。

可选的，手术辅助子单元，包括：监控子单元，用于对手术过程中手术机器人执行的手术操作进行监控，并将监控结果传输至显示器。

第二方面，本申请提供一种手术机器人系统的控制方法，手术机器人系统包括相互连接的手术规划模块和手术执行模块，控制方法包括：通过手术规划模块获取医疗影像数据，并基于医疗影像数据确定手术方案；通过手术执行模块根据手术方案执行手术操作。

第三方面，本申请提供一种手术机器人系统的控制设备，包括：存储器，处理器；存储器，用于存储计算机执行指令；处理器，用于执行计算机执行指令，以实现如上述第二方面提供的控制方法。

第四方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被执行时用于实现如上述第二方面提供的控制方法。

第五方面，本申请提供一种计算机程序产品，包括计算机程序；计算机程序被执行时，实现上述第二方面提供的控制方法。

本申请提供的手术机器人系统及其控制方法和装置，包括相互连接的手术规划模块和手术执行模块，其中手术规划模块用于获取医疗影像数据，并基于医疗影像数据确定手术方案；手术执行模块用于根据手术方案执行手术操作，手术执行模块包括手术操作学习单元和手术机器人，手术操作学习单元用于对手术方案的手术操作进行学习，得到学习结果，手术机器人用于根据手术方案和学习结果执行手术操作。本申请能够实现从影像数据到手术操作的智能自动化诊疗，通过手术机器人自主学习手术操作使得手术机器人逐步具有独立工作的能力，从而自行执行手术任务，减轻医生负担，并且能够减少手术过程中的人为因素，从而降低手术失误风险。另外，完整的自动化手术操作能够规避手术机器人系统在信号传递过程中可能存在的信号延迟，进一步降低手术风险。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1为本申请实施例提供的手术机器人系统结构示意图一；

图2为本申请实施例提供的手术机器人系统结构示意图二；

图3为本申请实施例提供的手术机器人系统结构示意图三；

图4为本申请实施例提供的手术机器人系统结构示意图四；

图5a～图5d为本申请实施例提供的目标三维模型命名示意图；

图6为本申请实施例提供的手术指南示意图；

图7为本申请实施例提供的手术机器人系统结构示意图五；

图8为本申请实施例提供的手术机器人系统结构示意图六；

图9为本申请实施例提供的手术机器人系统的控制方法流程图。

附图标记说明：

110-手术规划模块；

120-手术执行模块；

200-手术规划模块；

210-数据获取单元；

220-建模单元；

230-阅片单元；

240-手术方案生成单元；

320-建模单元；

321-图像分割子单元；

322-第一建模子单元；

323-第二建模子单元；

400-手术机器人系统；

410-数据获取单元；

420-建模单元；

421-图像分割子单元；

422-第一建模子单元；

423-第二建模子单元；

424-分段子单元；

425-标识子单元；

430-阅片单元；

431-病理预测子单元；

440-手术方案生成单元；

450-命名单元；

460-手术模拟单元；

700-手术执行模块；

710-手术操作学习单元；

720-手术机器人；

800-手术执行模块；

810-手术操作学习单元；

811-视频获取子单元；

812-视频分解子单元；

813-标定子单元；

814-学习子单元；

820-手术机器人；

821-手术操作子单元；

822-手术辅助子单元；

830-方案解读单元；

840-控制单元。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

图1为本申请实施例提供的手术机器人系统结构示意图一。如图1所示，该系统包括：相互连接的手术规划模块110和手术执行模块120。手术规划模块110用于获取医疗影像数据，并基于该医疗影像数据确定手术方案；手术执行模块120，用于根据该手术方案执行手术操作；手术执行模块120，包括：手术操作学习单元和手术机器人，其中：手术操作学习单元，用于对手术方案的手术操作进行学习，得到学习结果；手术机器人，用于根据手术方案和学习结果执行手术操作。

其中，医疗影像数据可以通过电子计算机断层扫描(Computed-Tomography，简称CT)设备、磁共振成像(Megnetic Resonace Imaging，简称MRI)设备或超声设备等医疗影像设备S获得，手术规划模块110再从这些医疗影像设备S中获取。根据医疗影像数据反映出的病灶信息，手术规划模块110确定出用于执行手术操作的完整的手术方案，手术执行模块120根据这一手术方案执行具体的手术操作。手术规划模块110和手术执行模块120之间能够实现数据连接，即手术规划模块110确定的手术方案能够发送给手术执行模块120，可以是有线连接，也可以是无线连接。手术执行模块120获取的手术方案可以是模拟手术视频，也可以是手术操作步骤的图片、文字等形式或者其视频、动画、图片、文字中一个或多个的结合。

示例性的，手术操作学习单元可以对手术操作视频F进行学习，具体的，该手术操作视频F是指以往的、与本次手术方案类似的真实的手术录像，手术操作学习单元可以从积累的视频库中进行匹配和学习，针对于本次手术方案，手术操作学习单元可以同时匹配一个或多个类似视频F进行学习。应当理解的是，手术方案的手术操作不只是视频F的形式，还可以是图片或文字等形式，还可以是视频、动画、图片或文字及其任意结合的形式。

本申请能够实现从影像数据到手术操作的智能自动化诊疗，通过手术机器人自主学习手术操作使得手术机器人逐步具有独立工作的能力，从而自行执行手术任务，减轻医生负担，并且能够减少手术过程中的人为因素，从而降低手术失误风险。另外，完整的自动化手术操作能够规避手术机器人系统在信号传递过程中可能存在的信号延迟，进一步降低手术风险。

图2为本申请实施例提供的手术机器人系统结构示意图二。如图2所示，手术规划模块200可以包括数据获取单元210、建模单元220、阅片单元230和手术方案生成单元240。

数据获取单元210用于获取医疗影像数据。在一些实施例中，数据获取单元210可以是与医疗影像设备S连接的计算机设备，其可以直接从医疗影像设备S获取患者的医疗影像数据，而在其他的实施例中，数据获取单元210也可以是具有USB接口或者其他存储设备接口的计算机设备，从医疗影像设备S获取的医疗影像数据可以存储在存储设备中，并通过将存储设备与计算机设备连接来获取医疗影像数据。其中，医疗影像设备S采集的数据可以以患者的名字或其他编号命名以便于计算机设备获取相应患者的数据。应当理解的是，本实施例中的“连接”可以是任意形式的能够实现数据传输的连接，如有线连接或无线连接等，或者，还可以通过邮件发送等方式实现数据连接。应当理解的是，数据获取单元210可以与多台医疗影像设备S连接，也可以与远程医疗影像设备S连接，或者，还可以直接与医院的影像归档和通信系统连接以获取医疗影像数据。

手术规划模块200的建模单元220用于根据医疗影像数据进行三维重建，得到目标三维模型。具体的，建模单元220可以计算机设备的形式实现，可选的，其可以是与数据获取单元210相连接的计算机设备，数据获取单元210和建模单元220也可以通过同一个计算机设备实现，或者，通过不同的计算机设备实现。例如，当数据获取单元210与建模单元220通过同一个计算机设备实现时，可以通过数据调用的方式实现数据传输；当数据获取单元210与建模单元220通过不同计算机设备实现时，可以通过有线连接、无线连接或网络发送等方式实现数据传输，本实施例对此不作具体限制，只要数据获取单元210能与建模单元220连接以实现数据的传输即可。

进一步的，当数据获取单元210获取影像数据后，可以按顺序依次将医疗影像数据发送给建模单元220进行建模，具体的，可以按照预先设定的优先级进行顺序发送。例如，医疗影像数据还可以根据手术的紧急程度做出标记：紧急、一般或不紧急等，数据获取单元210则可以按照紧急到一般再到不紧急的顺序依次发送医疗影像数据到建模单元220进行建模。而在其他的实施例中，医疗影像数据还可以按照数据获取时间的先后顺序进行排序发送。其中，建模单元220也可以是多个，即多个建模单元220与数据获取单元210连接，数据获取单元210可以按预先设定的顺序将医疗影像数据发送给不同的建模单元220进行并行处理，应当理解的是，该多个建模单元220可以通过同一个计算机设备实现，也可以通过不同的计算机设备实现，本实施例对此不作具体限制。

图3为本申请实施例提供的手术机器人系统结构示意图三。下面结合图2和图3对建模单元320进行解释。可选的，建模单元320可以包括图像分割子单元321、第一建模子单元322和第二建模子单元323。其中，图像分割子单元321用于通过分割算法对医疗影像数据进行图像分割，以提取出不同组织和/或器官的影像数据；第一建模子单元322用于通过三维建模算法对不同组织和/或器官的影像数据分别进行三维重建，得到相应的组织三维模型和/或器官三维模型；第二建模子单元323用于将组织三维模型和/或器官三维模型进行融合，得到目标三维模型。

图像分割子单元321在对医疗影像数据进行图像分割和提取时，可以根据医疗影像数据中的扫描部位自动确定提取哪些组织和/器官。在一些实施例中，为了实现组织和/或器官的自动提取，医疗影像数据可以被命名为头部扫描数据、腹部扫描数据或胸部扫描数据等，图像分割子单元321可以针对这些特定的部位的扫描数据分别设定需要提取的组织和/或器官的类型。在其他实施例中，还可以进一步针对这些类型的组织和/或器官定义相应的特征，如CT值或者形状等，这样能够便于图像分割子单元321根据扫描部位自动提取相应的组织和/或器官。

示例性的，图像分割算法可以是语义分割(Semantic Segmentation，简称SS)算法，例如U-NET算法，三维建模算法可以是等值面提取(Marching Cubes，简称MC)算法或光线投射(Ray Casting，简称RC)算法等。在应用上述算法进行图像分割和建模之前，需要对算法进行训练以便获得更加准确的分割结果和建模结果，对上述算法的训练可以使用包括原始医疗影像数据和经过人工分割和模型重建、融合后的分割结果和建模结果的数据集进行。具体来说，可以使用图像分割算法对医疗影像数据进行图像分割，并将分割结果与人工分割的分割结果进行比较，从而根据比较结果修正算法进行迭代以提高算法计算的准确率；使用建模算法对人工分割的分割结果进行建模，并将建模结果与人工建模的建模结果进行比较，从而根据比较结果修正算法进行迭代以提高算法计算的准确率，其中，数据集中可以包括不同类型的组织和/或器官的图像分割和建模数据，应当理解的是，数据集中的数据量越大，训练后的算法的计算结果的准确率将越高。

在一些特定病种的手术规划中，可能需要对部分组织和/或器官进行分段，例如，肺叶切除手术或肝段切除手术中，需要对肺或肝进行分段处理，以便于医生快速准确地找到病灶所在的分段从而针对病灶所在的位置进行手术规划。因此，在一些实施例中，建模单元220还可以包括分段子单元，用于通过分段算法对目标三维模型中的至少部分组织和/或器官进行分段处理。

示例性的，肺的分段和肝的分段均基于医学标准进行，为了实现手术规划过程的自动化处理，分段子单元可以通过分段算法实现组织和/或器官的分段，其中，分段算法可以是深度学习算法，例如神经网络(Neural Networks，简称NN)、卷积神经网络(Convolutional Neural Networks，简称CNN)或循环神经网络(Recurrent NeuralNetworks，简称RNN)等。同样的，在应用分段算法执行组织和/或器官分段之前，也需要对分段算法进行训练，其中，分段算法可以基于经过人工分段处理的模型进行学习并基于学习结果对目标三维模型中的组织和/或器官进行分段处理，以实现目标三维模型的自动分段处理。

在另一些实施例中，建模单元320还可以包括标识子单元，用于通过标识算法对目标三维模型中的至少部分组织和/或器官进行颜色标识，以实现对目标三维模型中的不同组织和/或器官进行区分。例如，以不同颜色标识不同的组织，具体来说，可以以红色标识动脉、以蓝色标识静脉、以灰色标识气管、以黄色标识肺及以绿色标识病灶等，以便于医生查看模型。

仍然如图2所示，手术规划模块200还可以包括阅片单元230，阅片单元230用于基于医疗影像数据和/或目标三维模型，确定病灶信息。可选的，阅片单元230通过将医疗影像数据与标准影像数据进行对比，和/或，将目标三维模型与标准三维模型进行对比，确定病灶信息。其中，病灶信息可以包括病灶的位置特征、形状特征及CT值和病理结果中的至少一种。

其中，病灶通常是与标准数据存在差异的地方，例如，肝脏的标准CT值为55±10HU，但是通过翻阅医疗影像数据发现，肝脏部分位置的CT值大于或小于肝脏的标准CT值，这样，CT值异常的部分即可确定为病灶部分。再例如，在肥厚型梗阻性心肌病中，标准室间隔厚度为12mm左右，但是通过翻阅医疗影像数据和/或目标三维模型发现，室间隔部分位置的厚度大于标准室间隔厚度，厚度异常的部分即可确定为病灶部分。

仍然如图2所示，手术规划模块200还可以包括手术方案生成单元，手术方案生成单元用于根据病灶信息生成手术方案，该手术方案包括手术全程的操作步骤和手术工具。具体的，可以基于病灶信息并结合手术指南生成手术方案。例如，在肺病损切除手术中，可以根据病灶信息结合手术指南在楔形切除、亚段切除、联合亚段切除、段切除和肺叶切除中选择一种或多种作为手术方案。再例如，当患者具有多个病灶时，可以针对不同的病灶分别确定不同的手术方案。可选的，手术方案可以是在目标三维模型上进行虚拟手术的动画形式。

在一些实施例中，手术方案仅基于病灶的位置特征、形状特征等信息即可确定。而在另外一些实施例中，手术方案还需要考虑病灶的病理结果，即，病灶的病理结果不同，手术方案将存在较大的差异。现有技术中，通过在手术过程中进行术中病理分析来确定手术方案，这就需要在手术过程中进行取样和检验分析，也就是说，需要在患者全身麻醉后进行取样以及对样本进行检验分析，在检验分析的过程中，患者需要在全身麻醉的状态下等待二十分钟左右，待检验医生出具病理报告后，手术医生再根据病理结果选择相应的手术方案进行手术，这样会延长手术时间，增加手术风险，并且术中病理分析的准确度很大程度上取决于检验医生的经验，这对检验医生的要求很高。

因此，为了更有针对性地规划手术方案，阅片单元230还可以包括病理预测子单元，病理预测子单元用于基于医疗影像数据和/或目标三维模型预测病灶的病理结果。其中，病灶信息包括病理结果，即阅片单元230通过病理预测子单元确定病理结果。预测病理结果具体可以根据病灶的一些特征进行确定，例如，可以是病灶的形状特征和/或CT值等数据。病灶的形状特征可以包括病灶的形状、尺寸、边缘光滑度等，病灶的CT值可以是病灶中每个体素的CT值，也可以是病灶的平均CT值。其中，病灶的形状特征和/或CT值可以根据医疗影像数据和/或目标三维模型进行确定。

在一些实施例中，可以预先将多组从医疗影像数据和/或目标三维模型中获取的病灶信息和实际手术切割获得的病灶标本的病理结果对应存储到数据库中，病理预测子单元进行病理预测时可以基于从医疗影像数据和/或目标三维模型中确定的病灶信息/病灶特征在数据库中进行匹配以获取匹配的病理结果，该匹配的病理结果即预测的病理结果。

在一些实施例中，为了提高病理预测的准确度，还可以不断收集基于从医疗影像数据和/或目标三维模型中确定的病灶信息和与其对应的实际病理结果，以扩充数据库，帮助提高病理预测的准确性。在另一些实施例中，病理预测子单元也可以通过病理预测算法实现，同样的，可以使用包括多组从医疗影像数据和/或目标三维模型获取的病灶信息和实际手术切割获得的病灶标本的病理结果的数据集对病理预测算法进行训练以提高病理预测子单元预测结果的准确度。

示例性的，手术方案生成单元生成的手术方案还可以以结构化报告的形式输出，其中，结构化报告可以包括患者信息、病情简介、病灶信息、模型解剖分析以及手术方案等信息。为了保证自动生成的手术方案是合理的，还可以将该结构化报告发送给医生进行审核，由于该结构化报告中包括了患者信息、病情简介、病灶信息以及模型解剖分析以及手术方案，医生无需查看其它资料即可方便快速地对手术方案做出评估，如果医生认可手术方案即可审核通过手术方案，如果医生认为手术方案需要修改，即可修改手术方案后重新上传手术方案。

为了实现手术机器人系统的智能化和自动化，手术执行模块需要解读手术规划模块输出的手术方案。因此，为了便于手术机器人读取手术规划模块输出的手术方案，手术规划模块200还可以包括命名单元，该命名单元用于基于病灶信息对目标三维模型的至少部分不同组织和/或器官进行名称命名和/或分段命名，手术方案生成单元可以根据命名结果和病灶信息，确定手术方案，该手术方案包括针对不同命名的组织和/或器官的手术操作方案。具体的，命名单元可以对病灶周围的组织或器官以及与病灶关联的组织或器官等部位进行命名。进一步的，为了实现对组织或器官的自动命名，命名单元还可以采用命名算法，命名算法可以是深度学习算法，用于基于经过命名的模型进行学习后对目标三维模型的各个组织和/或器官进行命名。

在一些其他的实施例中，手术规划模块200还可以包括手术模拟单元，该手术模拟单元用于根据手术方案进行手术模拟训练，以确定手术方案是否合理。其中，该手术模拟训练可以是虚拟执行，以帮助医生判断该手术方案是否合理，即直接在目标三维模型上对切割部位进行模拟切割以确定切割是否合理等，也可以控制使手术执行模块直接进行模拟手术，以便医生在术前检验手术执行模块的手术操作是否符合预期，进一步减小手术风险。

下面结合具体的肺部结节切除手术对本申请手术机器人系统的手术规划模块进行进一步解释。

图4为本申请实施例提供的手术机器人系统结构示意图四。如图4所示，该手术机器人系统400包括数据获取单元410、建模单元420、阅片单元430、手术方案生成单元440、命名单元450和手术模拟单元460，其中，建模单元420包括图像分割子单元421、第一建模子单元422、第二建模子单元423、分段子单元424和标识子单元425，阅片单元430包括病理预测子单元431。

针对本实施例提出的具体的肺部结节切除手术，手术机器人系统的诊疗步骤可以为：

第一步：通过数据获取单元410获取患者的医疗影像数据，并将医疗影像数据命名为胸部扫描数据；

第二步：通过建模单元420对医疗影像数据进行肺部及其关联组织的提取，并分别进行模型重建，再将各个组织模型进行融合获得最终的目标三维模型，关联组织包括气管、血管和病灶等；

第三步：通过阅片单元430翻阅医疗影像数据和/或目标三维模型数据确定病灶(本实施例中病灶为肺部结节)。

第四步：通过建模单元420对肺部模型进行分段处理获得肺部分段数据；

第五步：通过阅片单元430的病理预测子单元431确定该肺部结节的病理结果，本实施例中，通过医疗影像数据和/或目标三维模型确定肺部结节的大小为6×8mm，CT值为﹣350HU，通过病理预测算法或者在病理数据库中匹配预测该肺部结节为浸润性腺癌；

第六步：通过命名单元450对经上述处理后的目标三维模型的不同组织和/或器官进行命名，命名具体可以包括对肺段、血管、气管和病灶等组织进行命名。对器官分段进行命名时，至少需要对病灶所在的肺段进行命名，为了便于生成手术方案，还需要对血管和/或气管进行命名，对血管和/或对气管进行命名包括对血管的种类进行命名，还包括对血管的段进行命名。

本实施例中，对目标三维模型进行命名具体包括对结节所在的肺段以及与该肺段关联或者位于该肺段周围的血管和气管进行命名。

图5a～图5d为本申请实施例提供的目标三维模型命名示意图。图5a～图5d示例性的给出了针对目标三维模型命名的具体方法，如可以将肺段命名为S1+2(图5a所示)，将动脉命名为A1+2a、A1+2b、A1+2c、A3及A4+5(图5b所示)，将静脉命名为V1+2a、V1+2b+c、V3b、V3c及V4+5(图5c所示)，将气管命名为B1+2、B3及B4+5(图5d所示)，其中，S表示肺段，A表示动脉，V表示静脉，B表示气管。

第七步：手术方案生成单元440根据上述命名结果和病灶信息，确定要切除的肺段为左上肺尖后段，即S1+2；

进一步结合手术指南确定手术方案为：流域分析法阻断A1+2a反染精准切除左上肺尖后段结节。其中，手术指南可以按照病灶信息进行分类，并针对不同类别的病灶信息预先设置不同的手术方案，例如，针对肺部结节，手术指南可以包括对不同尺寸、不同病理的结节的处理策略的规定，以便于手术方案生成单元440基于手术指南确定手术方案。

图6为本申请实施例提供的手术指南示意图。如图6所示，手术指南示出了不同医疗影像数据(图示的影像)所对应的病理结果(图示的病理)和手术策略(图示的策略)。具体的，该手术指南具体规定：当结节尺寸小于3cm时，可以根据平均CT值以及病理结果等信息分别对应规定不同的策略，当结节的平均CT值为﹣700HU～﹣400HU、病理结果为不典型腺瘤样增生或原位腺癌时，对应的处理策略为随访观察，也就不需要进行后需的手术方案规划；当结节的平均CT值大于1、病理结果为浸润性腺癌时，对应的处理策略为肺叶切除术，就需要根据手术策略制定手术方案，手术方案的制定过程可参考上述实施例，此处不再赘述。而对应其他的一些结节的具体情况，手术策略还可以包括设计切缘球等操作以便确定手术方案，手术策略还可以包括针对不同段的切除规定不同的血管、气管处理方法，例如，左上肺尖后段切除术还对应包括阻断A1+2a血管等手术策略。

可选的，建模单元420还可以通过标识子单元425对建好的目标三维模型中的不同组织进行区分，例如，以不同颜色标识不同的组织，具体来说，可以以红色标识动脉、以蓝色标识静脉、以灰色标识气管、以黄色标识肺及以绿色标识病灶等，以便于用户查看模型。

上述实施例介绍了本申请实施例提供的手术机器人系统的手术规划模块，下面将对手术机器人系统的手术执行模块进行解释。

图7为本申请实施例提供的手术机器人系统结构示意图五。如图7所示，该手术机器人系统的手术执行模块700包括手术操作学习单元710和手术机器人720，手术操作学习单元，用于对手术方案的手术操作进行学习，得到学习结果；手术机器人，用于根据手术方案和学习结果执行手术操作。

在一些实施例中，对手术方案的手术操作进行学习的方法可以包括：从以往的手术操作视频库中获取与该手术方案相类似的手术视频(例如图1示出的视频F)，并从该手术视频中学习手术操作顺序、手术工具以及解剖结构等。通过手术机器人自主学习手术操作使得手术机器人逐步具有独立工作的能力，从而自行执行手术任务，减轻医生负担，并且能够减少手术过程中的人为因素，从而降低手术失误风险。

图8为本申请实施例提供的手术机器人系统结构示意图六。如图8所示，可选的，手术操作学习单元810可以包括视频获取子单元811、视频分解子单元812、标定子单元813和学习子单元814，视频获取子单元811，获取手术方案的手术视频；视频分解子单元812用于对手术视频进行分解，得到手术图片和/或手术视频片段；标定子单元813用于对手术图片和/或手术视频片段涉及的解剖结构、手术工具和操作步骤进行标定，得到标定结果；学习子单元814用于对标定结果进行学习，得到学习结果。

具体的，视频获取子单元811可以通过USB接口等形式实现手术视频的获取，也可以通过从网络数据库中获取的形式实现手术视频的获取，本实施例对此不作具体限制。其中，从手术视频数据库获取手术视频的方法可以具体包括：手术规划模块生成的手术方案可以包括多个标签，同样的，手术视频数据库中的手术视频也可以分别标记有多个标签，从而便于基于这些标签在手术视频数据库中快速检索到最为匹配的手术视频。例如，在上述实施例提供的“流域分析法阻断A1+2a反染精准切除左上肺尖后段结节”的手术方案中，该手术方案的标签可以包括“流域分析法”、“阻断”、“A1+2a”、“反染”、“切除”、“左上肺”、“尖后段”以及“结节”等标签，甚至还可以包括与患者相关的信息标签，例如“成人”、“儿童”、“婴儿”、“男性”或“女性”等，在获取手术视频时，可以根据上述标签在数据库中进行检索以从手术视频数据库中匹配手术方案最为接近的手术视频。

视频分解子单元812对手术视频进行分解的方法具体可以是：从手术视频中提取关键帧作为手术图片，或者也可以是对手术视频进行分割以将手术视频分割为分别对应不同手术操作的视频片段，其中，手术图片可以用于学习解剖结构和手术器械等，手术视频片段则可以用于学习手术操作。

标定子单元813对手术图片进行标定的方法具体可以包括：对手术图片中的组织或器官进行解剖结构标定以及对手术器械进行标定，其中，对手术图片中的组织和/或器官的标定也可以通过标定算法实现，同样的，标定算法可以是深度学习算法，在应用标定算法进行标定之前，也需要对算法进行训练以便获得更加准确的标定结果，其中，对标定算法的训练可以是获取包括解剖结构标定和手术器械标定结果的手术图片，并基于包括标定结果的手术图片对标定算法进行训练，其中，用于训练标定算法的包括标定结果的手术图片可以通过人工标定实现。

标定子单元813对手术视频片段进行标定的方法具体可以是：对该手术视频片段对应的手术操作的标定，例如，标定子单元813还用于对该手术操作的具体流程进行标定、对该手术操作中使用到的手术器械进行标定以及对该手术操作的操作位置和/或方位等进行标定。学习子单元814基于这些标定结果进行学习，得到学习结果。

仍然如图8所示，可选的，手术执行模块800还可以包括方案解读单元830和控制单元840，其中：方案解读单元830用于对手术方案进行解读，并基于解读结果、医疗影像数据和/或目标三维模型得到操作参数，操作参数包括手术机器人的机械臂移动参数；控制单元840用于根据操作参数控制手术机器人820执行手术操作。具体的，方案解读单元830对手术方案进行解读具体包括：基于对该手术方案的手术视频的学习结果(也即上述实施例中由学习子单元714得到的学习结果)确定具体的手术操作，并在确定手术操作的基础上结合医疗影像数据和/或目标三维模型，确定操作参数。

控制单元840基于操作参数控制手术机器人820执行手术操作。其中，操作参数可以是与手术机器人820的机械臂如何移动的相关参数，具体的，这些操作参数需要从医疗影像数据和/或目标三维模型中确定各个组织结构的位置，并结合手术机器人820执行手术时相对于人体的定位进行计算获取。

仍然如图8所示，手术机器人820具体包括：手术操作子单元821、手术辅助子单元822，其中，手术操作子单元821用于执行手术操作；手术辅助子单元822用于执行手术辅助操作，手术辅助操作辅助手术操作的执行。其中，手术操作子单元821可以包括手术刀、血管钳、组织剪以及组织钳等手术器械，手术辅助子单元822可以包括内窥镜、探头以及传感器等辅助器械。手术操作子单元821和手术辅助子单元822均可装载在手术机器人820的机械臂上。

以达芬奇手术机器人为例，达芬奇手术机器人包括4个机械臂，分别用于握持并移动手术操作子单元821和手术辅助子单元822，每个机械臂上装载的器械可以根据具体的手术操作进行更换，每个手术操作应当装载哪种器械可以基于手术操作学习单元810的学习结果确定。进一步的，为了实现机械臂自动更换器械，手术机器人820还可以包括器械架，机械臂可以在器械架上实现器械的自动更换。

可选的，手术辅助子单元822还可以包括识别子单元，用于在手术过程中识别解剖结构并将识别结果反馈给控制单元，对应地，控制单元840还用于获取该识别结果，并基于该识别结果和操作参数控制手术机器人820执行手术操作。

具体的，识别子单元可以包括子控制器和内窥镜或识别探头等。以内窥镜为例，可以通过内窥镜获取手术部位特定组织的图像，并将该图像反馈给子控制器进行识别，当子控制器识别出内窥镜获取的图像中的组织为手术方案中要切割的组织时，将识别结果反馈给控制单元840，控制单元840则根据操作参数控制手术机器人820利用手术操作子单元821对该组织进行切割，而当子控制器识别出内窥镜获取的图像中的组织不是手术方案中要切割的组织时，将识别结果反馈给控制单元840，控制单元840则控制手术机器人820使内窥镜移动到其他位置继续进行识别，直到识别到的组织是要执行手术操作的组织后即控制手术机器人820利用相应的手术操作子单元821执行该手术操作。

在其他的实施例中，为了保证手术机器人820执行手术操作的安全性，手术辅助子单元822还可以包括监控子单元，用于对手术过程中手术机器人820执行的手术操作进行监控，并将监控结果传输至显示器。具体的，监控子单元可以由外置摄像头、内窥镜和显示器组成。在手术机器人820执行手术时，可以通过外置摄像头和内窥镜实时获取手术过程中体内和体外的画面并显示在显示器上。可选的，还可以将手术机器人820的操作流程和操作参数显示在显示器上，即显示器包括体外监控画面显示区域、体内监控画面显示区域以及操作流程和操作参数显示区域，这样，医生可以根据显示器显示的画面判断手术机器人820的操作是否符合预期，一旦出现错误操作可以及时停止手术机器人820的操作并调整手术流程和/或操作参数。

上述实施例对本申请提供的手术机器人系统的结构进行了详细的解释，下面将对对本申请提供的手术机器人系统的控制方法、控制设备和可读存储介质进行阐述。

图9为本申请实施例提供的手术机器人系统的控制方法流程图，该手术机器人系统包括相互连接的手术规划模块和手术执行模块。如图9所示，该控制方法包括：

S901：通过手术规划模块获取医疗影像数据，并基于医疗影像数据确定手术方案；

S902：通过手术执行模块根据手术方案执行手术操作。

本申请实施例还提供一种手术机器人系统的控制设备，包括：存储器，处理器，其中，存储器用于存储计算机执行指令；处理器用于执行计算机执行指令，以实现如上述实施例提供的手术机器人系统的控制方法。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机执行指令，计算机执行指令被执行时用于实现如如上述实施例提供的手术机器人系统的控制方法。

本申请还提供一种计算机程序产品，包括计算机程序；计算机程序被执行时，实现上述第二方面提供的控制方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (16)

1.一种手术机器人系统，其特征在于，包括：相互连接的手术规划模块和手术执行模块，其中：

所述手术规划模块，用于获取医疗影像数据，并基于所述医疗影像数据确定手术方案；

所述手术执行模块，用于根据所述手术方案执行手术操作；

所述手术执行模块包括：手术操作学习单元和手术机器人，其中：

所述手术操作学习单元，用于对所述手术方案的手术操作进行学习，得到学习结果；

所述手术机器人，用于根据所述手术方案和学习结果执行手术操作。

2.根据权利要求1所述的手术机器人系统，其特征在于，所述手术规划模块，包括：

数据获取单元，用于获取所述医疗影像数据；

建模单元，用于根据所述医疗影像数据进行三维重建，得到目标三维模型；

阅片单元，用于基于所述医疗影像数据和/或所述目标三维模型，确定病灶信息；

手术方案生成单元，用于根据所述病灶信息生成手术方案，所述手术方案包括手术全程的操作步骤和手术工具。

3.根据权利要求2所述的手术机器人系统，其特征在于，所述阅片单元具体用于：通过将所述医疗影像数据与标准影像数据进行对比，和/或，将所述目标三维模型与标准三维模型进行对比，确定病灶信息，所述病灶信息包括病灶的位置特征、形状特征及CT值和病理结果中的至少一种。

4.根据权利要求2所述的手术机器人系统，其特征在于，所述阅片单元包括病理预测子单元，用于基于所述医疗影像数据和/或所述目标三维模型预测病灶的病理结果，所述病灶信息包括所述病理结果。

5.根据权利要求2所述的手术机器人系统，其特征在于，所述建模单元，包括：

图像分割子单元，用于通过分割算法对所述医疗影像数据进行图像分割，并从分割结果中提取出不同组织和/或器官的影像数据；

第一建模子单元，用于通过三维建模算法对所述不同组织和/或器官的影像数据分别进行三维重建，得到相应的组织三维模型和/或器官三维模型；

第二建模子单元，用于将所述组织三维模型和/或器官三维模型进行融合，得到所述目标三维模型。

6.根据权利要求5所述的手术机器人系统，其特征在于，所述建模单元还包括分段子单元和/或标识子单元，其中：

所述分段子单元，用于通过分段算法对所述目标三维模型中的至少部分组织和/或器官进行分段处理；

所述标识子单元，用于通过标识算法对所述目标三维模型中的至少部分组织和/或器官进行颜色标识。

7.根据权利要求2至6中任一项所述的手术机器人系统，其特征在于，所述手术规划模块还包括：

命名单元，用于基于所述病灶信息对所述目标三维模型的至少部分不同组织和/或器官进行名称命名和/或分段命名；

所述手术方案生成单元，具体用于根据命名结果和所述病灶信息，确定手术方案，所述手术方案包括针对不同命名的组织和/或器官的手术操作方案。

8.根据权利要求2至6中任一项所述的手术机器人系统，其特征在于，所述手术规划模块，还包括：

手术模拟单元，用于根据所述手术方案进行手术模拟训练，以确定所述手术方案是否合理。

9.根据权利要求1至6中任一项所述的手术机器人系统，其特征在于，所述手术操作学习单元，包括：

视频获取子单元，用于获取所述手术方案的手术视频；

视频分解子单元，用于对所述手术视频进行分解，得到手术图片和/或手术视频片段；

标定子单元，用于通过标定算法对所述手术图片和/或手术视频片段涉及的解剖结构、手术工具和操作步骤进行标定，得到标定结果；

学习子单元，用于对所述标定结果进行学习，得到学习结果。

10.根据权利要求2至6中任一项所述的手术机器人系统，其特征在于，所述手术机器人，包括：

手术操作子单元，用于执行所述手术操作；

手术辅助子单元，用于执行手术辅助操作，所述手术辅助操作辅助所述手术操作的执行。

11.根据权利要求10所述的手术机器人系统，其特征在于，所述手术执行模块还包括方案解读单元和控制单元，其中：

所述方案解读单元，用于对所述手术方案进行解读，并基于解读结果、所述医疗影像数据和/或所述目标三维模型得到操作参数，所述操作参数包括手术机器人的机械臂移动参数；

所述控制单元，用于根据所述操作参数控制手术机器人执行手术操作。

12.根据权利要求11所述的手术机器人系统，其特征在于，所述手术辅助子单元包括识别子单元，用于在手术过程中识别解剖结构并将识别结果反馈给所述控制单元；

对应地，所述控制单元，还用于获取所述识别结果，并基于所述识别结果和所述操作参数控制所述手术机器人执行所述手术操作。

13.根据权利要求10所述的手术机器人系统，其特征在于，所述手术辅助子单元，包括：

监控子单元，用于对手术过程中所述手术机器人执行的手术操作进行监控，并将监控结果传输至显示器。

14.一种手术机器人系统的控制方法，其特征在于，所述手术机器人系统包括相互连接的手术规划模块和手术执行模块，所述控制方法包括：

通过所述手术规划模块获取医疗影像数据，并基于所述医疗影像数据确定手术方案；

通过所述手术执行模块根据所述手术方案执行手术操作。

15.一种手术机器人系统的控制设备，其特征在于，包括：存储器，处理器；

所述存储器，用于存储计算机执行指令；

所述处理器，用于执行所述计算机执行指令，以实现如权利要求14所述的控制方法。

16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被执行时用于实现如权利要求14所述的控制方法。

Images