CN115990042A - 内窥镜系统以及使用内窥镜系统进行导引和成像的方法 - Google Patents

Abstract

本申请涉及内窥镜系统以及使用内窥镜系统进行导引和成像的方法。公开用于在目标解剖结构中以机器人方式操纵可操控细长器械以及控制对目标解剖结构的成像扫描的系统、装置及方法。一种内窥镜系统包括：可操控细长器械，其在目标解剖结构中以机器人方式定位和导引；以及控制器，其接收包括目标解剖结构的内窥镜图像的患者信息，将内窥镜图像应用于至少一个经过训练的机器学习(ML)模型，以识别目标解剖结构以及估计用于造影剂配给和成像扫描的一个或更多个造影和扫描参数。控制器电路可以向用户或过程提供估计出的一个或更多个造影和扫描参数。在示例中，控制器可以根据估计出的造影和扫描参数以机器人方式促进造影剂的注射或目标解剖结构的成像。

Description

内窥镜系统以及使用内窥镜系统进行导引和成像的方法

技术领域

本文件总体上涉及内窥镜系统，并且更具体地，涉及用于在内窥镜处置中自动调整插管或内窥镜导引以及成像扫描的机器人内窥镜系统及技术。

背景技术

内窥镜已用于多种临床处理，包括例如照明、成像、检测和诊断一种或更多种疾病状态，向解剖区域提供流体输送(例如，经由流体通道的盐水或其它制剂)，提供一个或更多个治疗装置或生物物质收集装置的用于对解剖区域进行采样或处置的通道(例如，经由工作通道)，以及提供用于收集流体(例如，盐水或其它制剂)的抽吸通道，以及其它处理。

这种解剖区域的示例可以包括消化道(例如，食道、胃、十二指肠、胰胆管、肠、结肠等)、肾区域(例如，肾脏、输尿管、膀胱、尿道)和其它内部器官(例如，生殖系统、窦腔、粘膜下区域、呼吸道)等。

在传统的内窥镜检查中，内窥镜的前端部分可以被配置为用于支撑和定向治疗装置，诸如使用升降器。在一些系统中，两个内窥镜可以一起工作，第一内窥镜借助升降器引导插入其中的第二内窥镜。这样的系统有助于将内窥镜引导到身体内难以到达的解剖位置。例如，某些解剖位置只能在通过迂回路径插入后用内窥镜接近。

经口胆管镜检查是允许使用微型内窥镜和通过十二指肠镜的附件端口插入的导管，直接进行内窥镜观察、诊断和处理患者胆管和胰腺导管系统的各种疾病的技术。可以如内窥镜逆行胰胆管造影术(ERCP)处理中使用的那样，通过使用经由十二指肠镜辅助通道推进的专用胆管镜进行经口胆管镜检查。ERCP是一种将内窥镜检查和透视检查结合使用，来诊断和处置胆胰管系统(包括，肝脏、胆囊、胆管、胰腺或胰管)的某些问题的技术。在ERCP中，可以将胆管镜(也称为辅镜或“子”镜)附接到十二指肠镜(也称为主镜或“母”镜)的工作通道并通过其推进。通常，两个独立的内窥镜医师操作“母子”镜中的每一个。虽然胆管插管可以直接用胆管镜的尖端实现，但大多数内窥镜医师偏好插管而非导丝。可以通过胆管镜插入组织取回装置以取回生物物质(例如，胆结石、胆管结石、癌组织)或管理胆管中的狭窄或堵塞。

诸如在直接经口胆管镜检查(DPOC)处理中，也可以通过将小直径专用内窥镜直接插入胆管来进行经口胆管镜检查。在DPOC中，细长的内窥镜(胆管镜)可以插入患者口中，穿过上GI道，进入胆总管，对胆胰管系统疾病进行观察、诊断和处置。

可操控器械(例如，内窥镜、导管或套管)的精确定位和导引对于成功进行如ERCP和DPOC的内窥镜处理非常重要。传统上，操作医师基于内窥镜图像和荧光透视图像以及他们的经验手动地定位和导引内窥镜或其它器械。在某些情况下，这对于缺乏经验的医师来说可能具有挑战性，尤其是在正在进行手术的患者已经过手术变动或者解剖有困难的情况下。

发明内容

本公开认识到传统内窥镜(诸如用于诊断和取回样本生物物质的十二指肠镜)要解决的若干技术问题。这样的问题之一是将内窥镜和插入其中的器械导引到患者体内深处的解剖区域中的位置的难度增加。例如，在ERCP处理中，由于十二指肠镜、胆管镜和组织取出装置因依次插入逐渐变小的管腔而逐渐变小，因此操纵和导引内窥镜穿过患者解剖结构，保持内窥镜稳定，并在狭窄的空间(例如，胆管)中保持正确的插管位置变得更加困难。由于镜升降器的自由度有限，也可能难以保持适当的插管角度。插管和内窥镜导引需要高超的手术技能和手动灵活性，这对于经验不足的操作医师(例如，外科医师或内窥镜医师)来说尤其具有挑战性。

传统内窥镜的另一挑战是患者解剖结构的高度可变性，尤其是手术改变或者以其它方式解剖困难的患者。例如，在ERCP处理中，一些患者可能已经改变了胰胆管系统(例如，壶腹)或GI道的一部分的解剖结构。在一些患者中，胰腺前方的狭窄会压迫胃和部分十二指肠，使得十二指肠镜难以在受压迫的十二指肠的有限腔内导引并且将胆管镜导引到达十二指肠乳头，即，胰管和胆管(Vater壶腹)的扩张交界处(junction)进入十二指肠的点。在另一示例中，一些患者具有交替的乳头解剖结构。由于十二指肠镜被设计为在十二指肠中是稳定的，因此在手术改变后的解剖结构中可能更难以到达十二指肠乳头。传统的内窥镜系统通常缺乏基于患者独特解剖结构提供插管和内窥镜导引指南的能力。

传统的内窥镜系统通常缺乏在处理期间自动进行内窥镜定位以及调整力和运动的能力。操作医师基于实时内窥镜图像和荧光透视图像及他们的经验手动地定位和导引内窥镜。这通常需要多年的广泛培训和经验，并且对于缺乏经验的医师来说可能具有挑战性，尤其是对于具有解剖困难或被手术改变的解剖结构的患者，如以上所讨论的。手动内窥镜操纵也可以是重体力的，因为操作医师(例如，外科医师或内窥镜医师)通常必须在整个处理期间握住内窥镜。手部震颤可能降低内窥镜定位导引的精度，导致内窥镜视野不稳定。这会降低处理的准确性、效率和成功率。

一些内窥镜处理(诸如ERCP)固有地需要荧光透视，并且通常包括标准射线摄影术和利用快速变化的辐射暴露水平的射线活动摄影术二者。尽管接受少量辐射的患者可能不会立即出现体征或症状，但由于其潜在的致癌作用，在处理期间过度暴露于辐射是非常令人担忧的。在目前的图像引导内窥镜处理(如ERCP)中，通常由操作者根据自己的偏好来管理荧光透视时间。在诸如ERCP之类的处理期间，对自动且有效地减少辐射暴露的需求尚未得到满足。

荧光透视通常伴随着配给射线透不过的造影剂，以增强正在研究的器官或结构的可视化，并帮助使患者的辐射暴露最小化。在一些患者中，配给造影剂可能带来诸如造影剂引起的急性肾损伤之类的不良反应的风险。为了减少肾毒性的发生，应该尽可能使造影剂的使用量最小化，并且不超过计算出的最大允许造影剂剂量。临床上，对于大多数有肾毒性风险的患者来说，生理盐水补液是合适的策略。另一方面，对于诸如ERCP之类的处理，由于解剖部位有限或受限，可能难以将造影剂注入胆管。包括确定造影剂的合适的量(体积)、流速、注射持续时间和注射部位的自动造影剂配给能够帮助降低造影剂引起的不良反应的风险，同时确保在荧光透视下足够的可视化。

本公开可以通过提供用于在以机器人方式辅助的内窥镜处理中的插管和内窥镜导引以及自动成像扫描控制的系统、装置和方法，来帮助解决这些和其它问题。可以使用人工智能(AI)平台实现自动插管和内窥镜导引。根据一个示例，内窥镜系统包括可操控细长器械，该可操控细长器械被配置为经由诸如包括在机器人手臂中的致动器在患者的目标解剖结构中以机器人方式定位和导引。该系统包括控制器，以接收包括目标解剖结构的图像的患者信息，将目标解剖结构图像(可选地与其它患者和装置信息一起)应用于至少一个经过训练的机器学习(ML)模型，以识别目标解剖结构并估计一个或更多个插管或导引参数的值(例如，力、角度等)。控制器可以根据估计的插管或导引参数的值向致动器提供控制信号，来以机器人方式促进可操控细长器械在目标解剖结构中的操作(例如，定位或导引)。另外，可以基于在处理期间获取的患者解剖结构的信息(例如，成像数据)实时调整致动器的操作，以便导引可操控细长器械。

根据另一示例，内窥镜系统包括被配置为在患者的目标解剖结构中定位和导引的可操控细长器械、以及控制器电路。控制器电路可以被配置为接收包括目标解剖结构的图像的患者信息，将目标解剖结构的图像应用于至少一个经过训练的机器学习(ML)模型，以识别目标解剖结构并估计一个或更多个造影剂参数(例如，造影剂的体积、流速或注射持续时间)、或一个或更多个扫描参数(例如，扫描时机、扫描持续时间、扫描方向或相对于造影剂配给的扫描延迟)。控制器电路可以向用户或过程提供估计出的一个或更多个造影和扫描参数。在一个示例中，控制器可以根据估计出的一个或更多个造影和扫描参数向致动器提供控制信号，来以机器人促进经由可操控细长器械配给造影剂或对目标解剖结构进行成像。

本公开中描述的基于AI的自动定位和导引系统能够提高目标解剖结构识别(例如，十二指肠乳头和管系统)和内窥镜导引准确性和效率(例如，诸如导引到十二指肠乳头中、穿过紧的狭窄或肝脏的门)，并帮助保持正确的套管位置和内窥镜稳定。内窥镜处理中的增强的自动化能够帮助减轻医师手动手术计划的负担，减少由于操作医师(例如，外科医师或内窥镜医师)的经验和灵巧性差异而导致的处理结果的可变性，并提高内窥镜处理的预后可预测性。基于AI确定或调整造影和扫描参数能够帮助减少在图像引导内窥镜处理(如ERCP)期间的辐射暴露。与手动处理相比，本文档中描述的机器人技术和基于AI的定位和导引能够减轻医师疲劳和防止手部颤抖，以及提高处理效率、准确性、患者安全和整体内窥镜处理成功率。

示例1是一种内窥镜系统，该内窥镜系统包括：可操控细长器械，该可操控细长器械被配置为在患者的目标解剖结构中进行定位和导引；以及控制器电路，该控制器电路配置为：接收包括所述目标解剖结构的图像的患者信息；将所述目标解剖结构的图像应用于至少一个经过训练的机器学习(ML)模型，以识别所述目标解剖结构并估计用于对所述目标解剖结构进行成像扫描的一个或更多个造影和扫描参数；以及向用户或过程提供估计出的一个或更多个造影和扫描参数。

在示例2中，示例1的主题可选择地包括：接收到的所述目标解剖结构的图像可以包括内窥镜图像。

在示例3中，示例1至2中的任何一个或更多个的主题可选地包括：所述至少一个经过训练的ML模型可以包括第一经过训练的ML模型和不同于所述第一经过训练的ML模型的第二经过训练的ML模型，并且控制器电路可以被配置为将所述目标解剖结构的图像应用于所述第一经过训练的ML模型以识别所述目标解剖结构，并且将所述目标解剖结构的图像应用于所述第二经过训练的ML模型以估计用于对所述目标解剖结构进行成像扫描的所述一个或更多个造影和扫描参数。

在示例4中，示例1至3中的任何一个或更多个主题可选地包括：所述控制器电路还可以被配置为根据所估计出的一个或更多个造影和扫描参数向致动器提供控制信号，来以机器人方式促进(i)经由所述可操控细长器械配给造影剂或(ii)对所述目标解剖结构进行成像。

在示例5中，示例4的主题可选地包括：所述可操控细长器械可以包括内窥镜或可操控注射装置，所估计出的一个或更多个造影和扫描参数包括造影剂参数，并且所述控制器电路可以被配置为根据所述造影剂参数向所述致动器提供所述控制信号，来以机器人方式促进所述可操控细长器械配给所述造影剂的操作。

在示例6中，示例5的主题可选地包括：所述造影剂参数可以包括所述造影剂的体积、流速和注射持续时间中的一项或更多项。

在示例7中，示例5至6中的任何一个或更多个的主题可选地包括：所述目标解剖结构可以包括所述患者的胰胆管系统的一部分，并且所述造影剂参数可以包括所述胰胆管系统的造影剂注射部位。

在示例8中，示例4至7中的任何一个或更多个主题可选地包括：所估计出的一个或更多个造影和扫描参数可以包括用于对所述目标解剖结构进行成像的扫描参数，并且所述控制器电路可以被配置为根据所述扫描参数向所述致动器提供所述控制信号，来以机器人方式促进成像设备对所述目标解剖结构进行成像扫描的操作。

在示例9中，示例8的主题可选地包括：所述扫描参数可以包括扫描时机、扫描持续时间、扫描方向和相对于所述造影剂配给的扫描延迟中的一项或更多项。

在示例10中，示例1至9中的任何一个或更多个主题可选地包括：所述目标解剖结构可以包括所述患者的胰胆管系统的一部分，并且所述控制器电路可以被配置为将所述目标解剖结构的图像应用于所述经过训练的ML模型，以识别所述胰胆管系统中的狭窄。

在示例11中，示例1至10中的任何一个或更多个主题可选地包括：训练模块被配置为使用训练数据集来训练所述ML模型，所述训练数据集包括来自对多个患者的过去内窥镜处理的处理数据，所述处理数据包括(i)所述多个患者的目标解剖结构的内窥镜图像、以及(ii)用于产生所述内窥镜图像的相应造影和扫描参数的评估结果。

在示例12中，示例11的主题可选地包括：所述训练模块可以被配置为使用监督学习或深度学习来训练所述ML模型。

在示例13中，示例1至12中的任何一个或更多个主题可选地包括：所述控制器电路可以被配置为进一步使用造影剂的粘度信息来估计所述一个或更多个造影和扫描参数。

在示例14中，示例1至13中的任何一个或更多个主题可选地包括：输出单元被配置为向用户呈现所估计出的一个或更多个造影和扫描参数，以辅助用户配给造影剂或对所述目标解剖结构进行成像。

示例15是一种使用内窥镜系统进行导引和成像的方法，所述内窥镜系统在目标解剖结构中以机器人方式操纵可操控细长器械并控制所述目标解剖结构的成像扫描，该方法包括以下步骤：提供包括所述目标解剖结构的图像的患者信息；将所述目标解剖图像应用于至少一个经过训练的机器学习(ML)模型，并识别所述目标解剖结构并且估计用于对所述目标解剖结构进行成像扫描的一个或更多个造影和扫描参数；以及向用户或过程提供估计出的一个或更多个造影和扫描参数。

在示例16中，示例15的主题可选地包括：将所述目标解剖结构图像应用于至少一个经过训练的ML模型的步骤可以包括以下步骤：将所述目标解剖结构的图像应用于第一经过训练的ML模型，以识别所述目标解剖结构；以及将所述目标解剖结构的图像应用于第二经过训练的ML模型，以估计用于对所述目标解剖结构进行成像扫描的一个或更多个造影和扫描参数，所述第二经过训练的ML模型不同于所述第一经过训练的ML模型。

在示例17中，示例15至16中的任何一个或更多个主题可选地包括：根据所估计出的一个或更多个造影和扫描参数向致动器提供控制信号，来以机器人方式促进(i)经由所述可操控细长器械配给造影剂或(ii)对所述目标解剖结构进行成像。

在示例18中，示例17的主题可选地包括：所估计出的一个或更多个造影和扫描参数可以包括用于配给造影剂的造影剂参数，并且所述控制信号可以根据所述造影剂参数而被提供给所述致动器，来以机器人方式促进所述可操控细长器械配给所述造影剂的操作。

在示例19中，示例18的主题可选地包括：所述造影剂参数可以包括所述造影剂的体积、流速和注射持续时间中的一项或更多项。

在示例20中，示例18至19中的任何一个或更多个主题可选地包括：所述目标解剖结构可以包括所述患者的胰胆管系统的一部分，并且所述造影剂参数可以包括所述胰胆管系统的造影剂注射部位。

在示例21中，示例17至20中的任何一个或更多个主题可选地包括：所估计出的一个或更多个造影和扫描参数可以包括用于对所述目标解剖结构进行成像的扫描参数，并且所述控制信号可以根据所述扫描参数而被提供给所述致动器，来以机器人方式促进成像装置对所述目标解剖结构进行成像扫描的操作。

在示例22中，示例21的主题可选地包括：所述扫描参数可以包括扫描时机、扫描持续时间、扫描方向和相对于所述造影剂配给的扫描延迟中的一项或更多项。

在示例23中，示例15至22中的任何一个或更多个主题可选地包括：经由所述内窥镜系统的训练模块，使用包括存储的多个患者的内窥镜处理数据的训练数据集来训练所述ML模型，所存储的数据包括(i)所述多个患者的目标解剖结构的内窥镜图像、以及(ii)用于产生所述内窥镜图像的相应造影和扫描参数的评估结果。

在示例24中，示例15至23中的任何一个或更多个主题可选地包括：经由输出单元向用户呈现所估计出的一个或更多个造影和扫描参数，以辅助所述用户配给造影剂或对所述目标解剖结构进行成像。

所介绍的技术是根据与健康相关的处理进行描述的，但不限于此。该发明内容是对本申请的一些教导的概述并非旨在成为对本主题的排它性或穷尽性处置。关于本主题的进一步细节在具体实施方式和所附权利要求中找到。一旦阅读并理解以下具体实施方式并查看形成其一部分的附图，本公开的其它方面对于本领域技术人员将是显而易见的，其中每个方面不应被理解为限制性的。本公开的范围由所附权利要求及其法律等同物来限定。

附图说明

图1至图2是例示了在内窥镜处理(诸如ERCP处理)中使用的内窥镜系统的示例的示意图。

图3A和图3B是例示了如DPOC处理中，涉及将胆管镜直接插入患者胆管中的经口胆管镜检查的示例以及进行该处理的患者的解剖结构的一部分的图。

图4是例示了在ERCP处理中使用的母子内窥镜的示例以及进行该处理的患者的解剖结构的一部分的图。

图5总体例示了机器人内窥镜手术系统以及该系统运行的环境的至少一部分的示例。

图6是例示了以机器人方式辅助的插管和导引系统的示例的框图。

图7A和图7B是例示了训练ML模型进行乳头识别以及使用训练后的ML模型以在实况内窥镜图像中检测并定位乳头的示例的图。

图7C和图7D是例示了训练ML模型以针对目标解剖结构的成像扫描估计一个或更多个造影和扫描参数的示例的图。

图8是例示了用于经由内窥镜系统在目标解剖结构中以机器人方式定位和导引可操控细长器械的示例方法的流程图。

图9是例示了可以执行本文讨论的技术(例如，方法论)中的任何一种或更多种的示例机器的框图。

具体实施方式

本文档描述了在使用人工智能(AI)技术以机器人方式辅助的内窥镜处理中自动插管和内窥镜导引的系统、装置和方法。根据一个实施方式，内窥镜系统包括可操控细长器械，该可操控细长器械被配置为经由诸如包括在机器人臂中的致动器在患者的目标解剖结构中以机器人方式定位和导引。该系统包括控制器，其接收包括目标解剖结构的图像的患者信息，将目标解剖结构图像(可选地与其它患者和装置信息一起)应用到至少一个经过训练的机器学习(ML)模型，以识别目标解剖结构并且估计一个或更多个插管或导引参数的值(例如，力、角度等)。控制器可以根据估计的插管或导引参数的值向致动器提供控制信号，以按机器人方式促进可操控细长器械在目标解剖结构中的操作(例如，定位和导引)。在一些示例中，可以基于在处理期间获取的患者解剖结构的信息(例如，成像数据)实时调整致动器的操作，以便导引可操作细长器械。

尽管本文档中对以机器人方式辅助的且自动的插管或导引的讨论集中在内窥镜上，诸如在ERCP或DPOC处理中使用的内窥镜，但本文描述的系统、装置和方法，尤其是自动插管和内窥镜导引调整，可以是用于涉及使用诊断或治疗内窥镜以外的可操控细长器械的各种以机器人方式辅助的处理，可操控细长器械可以包括例如套管、导管、导丝或引导套管等。

图1是例示了在内窥镜处理(诸如ERCP处理)中使用的内窥镜系统10的示例的示意图。内窥镜系统10包括成像和控制系统12以及内窥镜14。

内窥镜系统10是适于使用本文描述的系统、装置和方法进行患者诊断和/或处置的内窥镜系统的说明性示例，诸如有缆且光学增强的生物物质和组织收集、取回和存储装置以及活检器械可以用于获得要从患者去除的组织或其它生物物质的样本以用于患者的分析或治疗。根据一些示例，内窥镜14可以插入到解剖区域中以用于成像和/或提供用于活检的一个或更多个采样装置或用于处置与解剖区域相关联的疾病状态的一个或更多个治疗装置的通道、或者附接(例如，通过线缆)至一个或更多个采样装置或者一个或更多个治疗装置。

成像和控制系统12可以包括控制单元16、输出单元18、输入单元20、光源22、流体源24和抽吸泵26。成像和控制系统12可以包括用于与内窥镜系统10联接的各种端口。例如，控制单元16可以包括用于从内窥镜14接收数据和向内窥镜14传输数据的数据输入/输出端口。光源22可以包括用于诸如经由光纤链路向内窥镜14传输光的输出端口。流体源24可以包括空气、盐水或其它流体的一个或更多个源、以及相关的流体通道(例如，空气通道、冲洗通道、抽吸通道)和连接器(倒钩配件、流体密封件、阀门等)。流体源24可以与控制单元16连通，并且可以经由端口将一个或更多个源的空气或流体传输给内窥镜14。流体源24可以包括泵和流体罐，或者可以连接到外部罐、容器或存储单元。抽吸泵26可以包括用于从内窥镜14抽真空以产生抽吸的端口，诸如用于从内窥镜14插入的解剖区域抽取流体。

输出单元18和输入单元20可以由内窥镜系统10的人类操作者和/或机器人操作者使用以控制内窥镜系统10的功能并查看内窥镜14的输出。在一些示例中，控制单元16可以附加地用于生成用于处置内窥镜14插入的解剖区域的信号或其它输出。这种信号或输出的示例可以包括电输出、声输出、射频能量输出、流体输出等以利用例如烧灼、切割、冷冻等来处置解剖区域。

内窥镜14可以经由联接器部分36与成像和控制系统12对接并连接。在所示的示例中，内窥镜14包括可以在ERCP处理中使用的十二指肠镜，但是其它类型的内窥镜也可以与本公开的特征和教导一起使用。内窥镜14可以包括插入部分28、功能部分30和手柄部分32，手柄部分32可以联接到线缆部分34和联接器部分36。

插入部分28可以从手柄部分32向远侧延伸，并且线缆部分34可以从手柄部分32向近侧延伸。插入部分28可以是细长的并且包括弯曲部分和前端，功能部分30可以附接至该前端。弯曲部分可以是可控的(例如，通过手柄部分32上的控制旋钮38)以操纵前端穿过曲折的解剖通道(例如，胃、十二指肠、肾、输尿管等)。插入部分28还可以包括一个或更多个工作通道(例如，内部管腔)，该一个或更多个工作通道可以是细长的并且支持功能部分30的一个或更多个治疗工具(诸如图4所示的胆管镜)的插入。工作通道可以在手柄部分32和功能部分30之间延伸。插入部分28也可以(例如，经由抽吸通道或冲洗通道等)提供诸如流体通道、导丝和牵拉线之类的附加功能。

手柄部分32可以包括控制旋钮38和端口40。端口40可以被构造成将各种电缆、导丝、辅助内窥镜、本公开的组织收集装置、流体管等联接到手柄部分32，以用于与插入部分28联接。控制旋钮38可以联接到穿过插入部分28延伸的牵拉线或其它致动机构。用户可以使用控制旋钮38以手动地推进或撤回内窥镜14的插入部分28，并且调整插入部分28的前端处的弯曲部分的弯曲。在一些示例中，可选的驱动单元46(图2)可以用于在控制单元16的控制下提供机动化的驱动，以用于推进内窥镜14的前端部分。

根据示例，成像和控制系统12可以设置在具有用于容纳光源22、抽吸泵26、图像处理单元42(图2)等的搁板的移动平台(例如，推车41)上。另选地，图1和图2所示的成像和控制系统12的几个组件可以直接设置在内窥镜14上，使得内窥镜是“自包含的(self-contained)”。

功能部分30可以包括用于对患者的解剖结构进行处置和诊断的组件。功能部分30可以包括成像装置、照明装置和升降器。功能部分30还可以包括光学增强的生物物质和组织收集和取回装置。例如，功能部分30可以包括一个或更多个电极，所述一个或更多个电极导电地连接到手柄部分32并且功能上连接到成像和控制系统12，以基于存储在成像和控制系统12中的对照生物数据，来分析与电极接触的生物物质。在其它示例中，功能部分30可以直接合并组织收集器。

在一些示例中，可以以机器人方式控制内窥镜14，诸如通过附接到内窥镜的机器人臂控制内窥镜。机器人臂可以经由致动器自动或半自动(例如，利用特定用户手动控制或命令)在目标解剖结构中定位和导引内窥镜14的细长部分(包括功能部分30和/或插入部分28)。根据本文档中讨论的各种示例，控制器可以使用人工智能(AI)技术来确定在以机器人方式辅助的内窥镜处理中使用的插管和内窥镜导引参数，并根据确定的插管或导引参数为机器人臂的致动器生成控制信号，以便于内窥镜的细长部分在目标解剖结构中的操作(例如，调整位置、角度、力和/或导引)。

图2是图1所示的包括成像和控制系统12和内窥镜14的内窥镜系统10的示意图。图2示意性地例示了联接到内窥镜14的成像和控制系统12的组件，在所示示例中，内窥镜14包括十二指肠镜。成像和控制系统12可以包括控制单元16以及如上参照图1所讨论的光源22、输入单元20和输出单元18，控制单元16可以包括或联接到图像处理单元42、处置生成器44和驱动单元46。控制单元16可以包括手术器械200，或者可以与手术器械200通信，该手术器械200包括被配置为与组织接合并且收集和存储该组织的一部分的装置，并且成像装置(例如，相机)可以通过包含光学增强材料和组件来观察目标组织。控制单元16可以被配置为激活在内窥镜14的功能部分处的成像装置(例如，相机)，以观察手术器械200和内窥镜系统10的前端的目标组织，手术器械可以由半透明材料制造以使相机被组织取回装置阻挡或部分阻挡的影响最小化。类似地，控制单元16可以被配置为激活光源22以将光照射到手术器械200上，该手术器械200可以包括被配置为以特定方式反射光的选择组件，诸如用反射颗粒增强的组织切割器。

图像处理单元42和光源22各自可以通过有线或无线电连接与内窥镜14(例如，在功能部分30处)对接。因此，成像和控制系统12可以使用光源22照亮解剖区域，收集表示解剖区域的信号，使用图像处理单元42处理表示解剖区域的信号，并且在输出单元18上显示表示解剖区域的图像。成像和控制系统12可以包括光源22，以使用期望光谱的光(例如，宽带白光、使用优选电磁波长的窄带成像等)照射解剖区域。成像和控制系统12可以连接(例如，经由内窥镜连接器)到内窥镜14，以进行信号传输(例如，从光源输出的光、来自诸如位于内窥镜14的前端部分处的成像装置的视频信号、来自诊断装置的诊断和传感器信号等)。

处置生成器44可以在内窥镜处理期间生成处置计划，控制单元16可以使用该处置计划来控制内窥镜14的操作，或向操作医师提供用于操纵内窥镜14的指南。在示例中，处置生成器44可以使用包括目标解剖结构的图像的患者信息，生成内窥镜导引计划，该内窥镜导引计划包括用于操纵可操控细长器械的一个或更多个插管或导引参数(例如，角度、力等)的估计值。内窥镜导引计划可以帮助引导操作医师在患者解剖结构中插入和导引内窥镜。内窥镜导引计划可以附加地或另选地用于以机器人方式调整内窥镜或其它器械的位置、角度、力和/或导引。下面参照图4至图6讨论内窥镜处理中基于AI的目标解剖结构识别和插管或导引参数估计以及机器人方式定位和导引的示例。

图3A和图3B是例示了如在DPOC处理中通过将胆管镜324直接插入胆管而执行的经口胆管镜检查的示例以及进行该处理的患者解剖结构的一部分的图。胆管镜324嵌套在引导套管322内部，并经口插入患者体内以到达十二指肠308。十二指肠308包括小肠的上部。引导套管322可以延伸到嘴301中，通过食道306，通过胃307到达十二指肠308。

在到达肠309之前，引导套管322可以将胆管镜324定位为靠近胆总管312。胆总管312承载来自胆囊305和肝脏304的胆汁，并且通过奥迪(Oddi)括约肌310(图3B)将胆汁排空到十二指肠308中。胆管镜324可以从引导套管322延伸以延伸到胆总管312中。在一些示例中，除了经由牵拉线直接操控胆管镜324之外，引导套管322的操控零件(例如，牵拉线)可以用于促进胆管镜324通过胃307的导引和弯曲。例如，仅使用内窥镜可能难以进行幽门管和幽门括约肌的导引。因此，引导套管322可以用于转动或弯曲胆管镜324的细长主体，或减少牵拉线所需的胆管镜324的细长主体的操控或弯曲量，以促进穿过幽门括约肌。

图3B是经由十二指肠乳头314连接到胆总管312的十二指肠308的示意图。胆总管312可以分支成胰管316和胆囊管311。十二指肠乳头314可以包括控制胆汁和胰液流入肠道(十二指肠)的奥迪括约肌310。胰管316可以通向胰腺303。胰管316将来自胰腺303的胰液运送到胆总管312。

胆囊管311可以通向胆囊305。在一些患者中，可能难以将手术器械导引至十二指肠乳头314。也可能难以经由通过十二指肠乳头314的插入将手术器械导引至胆总管312。因此，在医疗处理中，通常是切开奥迪括约肌310以扩大十二指肠乳头314使得器械容易进入胆总管312。

图4是例示了在ERCP处理中使用的母子内窥镜的示例以及进行该处理的患者解剖结构的一部分的图。母子内窥镜包括附接至主镜400(十二指肠镜)的管腔432并通过管腔432前进的辅镜434(胆管镜)。辅镜434可以包括管腔436。位于患者十二指肠308中的主镜400的前端部分包括功能模块402、插入部分模块404和控制模块406。控制模块406可以包括控制器408或者联接至控制器408。类似于以上关于图1的讨论，控制模块406可以包括其它组件，诸如参照内窥镜系统10(图1)和控制单元16(图2)描述的组件。附加地，控制模块406可以包括用于控制连接到辅镜434的光源和成像装置(例如，相机)的组件，诸如成像单元410、照明单元412和电源单元414。主镜400可以与图1和图2的内窥镜14类似地配置。

主镜400的功能模块402可以包括升降器部分430。辅镜434本身可以包括功能部件，诸如联接到控制模块406的光透镜(未示出)和相机镜头437，以促进辅镜434从主镜400穿过解剖结构的导引以及便于观察从管腔432延伸出的组件。

在ERCP中，辅镜434可以被引导到奥迪括约肌310中。由此，操作辅镜434的外科医师可以通过主镜的管腔432将辅镜434朝向胆囊305、肝脏304或消化系统中的其它位置导引，以执行各种处理。在一些示例中，可以使用辅镜434以诸如通过穿过管腔436的通道或附接至管腔436，将附加装置引导至解剖结构，以获得生物物质(例如，组织)。

通常通过从辅装置取下附加装置，可以从患者身上取下生物样品物质，使得可以分析取下的生物物质以诊断患者的一种或更多种状况。根据若干示例，母子内窥镜组件(包括主镜400和辅镜434)可以包括用于收集和取下癌性或癌前物质(例如，癌、肉瘤、骨髓瘤、白血病、淋巴瘤等)或执行子宫内膜异位症评估、胆管活检等的诸如钳子或螺旋钻之类的附加装置零件。

控制器408可以包括或联接到内窥镜处理数据生成器450和处置计划生成器460。内窥镜处理数据生成器450可以生成诸如十二指肠乳头、或者胆胰管系统的一部分之类的目标解剖结构的图像。在示例中，内窥镜处理数据生成器450可以使用内窥镜上的成像传感器(诸如位于内窥镜14的功能部分30处的相机)，生成十二指肠乳头及其周围环境的实时内窥镜图像。在一些示例中，内窥镜处理数据生成器450可以获取包括传感器信息(例如，与内窥镜相关联的传感器)、装置信息、患者病史等的其它处理相关信息。在一些示例中，内窥镜处理数据生成器450可以诸如从数据库检索所存储的过去由多个医师对多个患者所执行的内窥镜处理的控制日志数据(例如，时间序列数据)。控制日志数据可以代表不同经验水平的医师所偏好的插管和内窥镜导引方法和习惯。

作为如图2所例示的处置生成器44的示例的处置计划生成器460可以基于内窥镜图像(也可选地基于由内窥镜处理数据生成器450产生的其它信息)自动生成处置计划。内窥镜导引计划可以包括具有相应值的一个或更多个插管或导引参数(例如，位置、力和/或角度)。根据各种示例，可以使用至少一个经过训练的机器学习(ML)模型来生成或更新内窥镜导引计划(例如，插管或导引参数值)。插管或导引参数可以由机器人装置(例如，机器人臂)使用以自动启动或调整内窥镜或其它可操控细长器械(例如，套管、导管、导丝或引导套管)在目标解剖结构中的位置或导引。在一些示例中，可以向操作医师显示目标解剖结构的内窥镜图像、导引计划以及可操控细长器械的定位和导引的状态。

图5大致例示了机器人内窥镜手术系统500以及该系统运行的环境的至少一部分的示例。外科医师501可以操作通信地联接到机器人臂520的控制台510。机器人臂520可以可拆卸地啮合可操控器械530，诸如以上参照图3A和图3B以及图4讨论的柔性内窥镜。外科医师501可以通过控制机器人臂520的运动的控制台510对患者502执行内窥镜处理。机器人臂520可以将可操控器械530传递到患者502的管腔空间，以及将可操控器械530定位和导引到目标解剖位置。在一些示例中，可操控器械530可以包括被配置为收集患者解剖信息(诸如目标解剖结构的内窥镜图像(或视频))的传感器。收集的信息可以提供给外科医师501，诸如显示在集成到控制台510中的监视器上。根据本文讨论的各种示例，控制台510可以包括基于人工智能(AI)的自动插管和内窥镜导引系统，其可以处理接收到的患者信息(例如，内窥镜图像、以及其它传感器信息、病史等)，并估计一个或更多个插管或导引参数(例如，位置、力、角度)的值。外科医师可以使用估计的参数值作为参考，来经由机器人臂520调整可操控器械530，诸如调整施加到可操控器械530的力、位置或者方向。另选地，外科医师可以根据估计的参数值命令机器人臂520自动激活或调整可操控器械530的运动。在一些示例中，控制台510可以根据估计的参数值自动命令机器人臂520激活或调整运动，而很少人为干预或没有人为干预。例如，外科医师可以监测处理并在需要时进行干预(经由手动超控)。

图6是通过示例而非限制地例示了以机器人方式辅助的插管和导引系统600的框图。系统600的至少部分可以在机器人内窥镜手术系统500的控制台510中实现。系统600可以是图2中的控制单元16或者图4中的控制器408以及诸如内窥镜处理数据生成器450和处置计划生成器460之类的其它装置或功能单元的一部分。

以机器人方式辅助的导引系统600可以包括控制器601、输入数据源630以及一个或更多个致动器603，所述一个或更多个致动器603联接至可操控细长器械602以在内窥镜手术期间调整可操控细长器械的位置、方向或施加到可操控细长器械的力。在一些示例中，以机器人方式辅助的导引系统600可以包括用户接口装置640。

控制器601可以包括具有一个或更多个其它电路或子电路的电路组，所述其它电路或子电路包括导引计划单元610和导引控制器620。这些电路可以单独或组合地执行本文描述的功能、方法或技术。在示例中，控制器601和其内的电路组可以实现为微处理器电路的一部分，该微处理器电路可以是专用处理器，诸如数字信号处理器、专用集成电路(ASIC)、微处理器、或用于处理包括身体活动信息在内的信息的其它类型的处理器。

另选地，微处理器电路可以是通用处理器，其可以接收和实施用于执行本文描述的功能、方法或技术的指令的集合。在示例中，电路组的硬件可以永久地设计为执行特定操作(例如，硬连线的)。在示例中，电路组的硬件可以包括可变地连接的物理组件(例如，执行单元、晶体管、简单电路等)，这样的物理组件包括物理地修改(例如，磁地、电地、恒定质量粒子的可移动放置等)以编码特定操作的指令的计算机可读介质。在连接物理组件时，硬件构件的基本电气特性被改变，例如，从绝缘体改变为导体，反之亦然。这些指令使嵌入式硬件(例如，执行单元或加载机制)能够通过可变连接在硬件中创建电路组的成员，以在运行时实施特定操作的部分。因此，当装置正在运行时，计算机可读介质可通信地联接到电路组成员的其它组件。在示例中，可以在多于一个电路组的多于一个成员中使用任何物理组件。例如，在运行下，执行单元可以在一个时间点用在第一电路组的第一电路中，而在不同的时间被第一电路组中的第二电路或者第二电路组中的第三电路重用。

导引计划单元610可以使用来自一个或更多个输入数据源的信息生成关于感兴趣的解剖对象(例如，十二指肠乳头)的内窥镜导引计划。作为示例而非限制，如图6所示，输入数据源630可以包括目标解剖结构的内窥镜图像631、外部图像源632、内部治疗装置信息633、传感器信号634和医师/患者信息635中的一个或更多个。内窥镜图像631可以包括在内窥镜处理(诸如以上分别参照图3A和图3B以及图4描述的DPOC处理或ERCP处理)期间，由内窥镜上的成像传感器捕获的十二指肠乳头及其周围环境的实时内窥镜图像。外部图像源632可以包括由其它成像装置(除了内窥镜之外)获取的图像，其可以包括例如X射线或荧光透视图像、电位图或电阻抗图、CT图像、诸如从磁共振胰胆管造影(MRCP)处理获得的图像之类的MRI图像、或诸如内窥镜超声(EUS)图像之类的声学图像等等。内部治疗装置信息633可以包括规格数据，其包括在ERCP处理中使用的内窥镜或诸如套管、导管或导丝之类的其它可操控器械的尺寸、形状和结构。这样的装置规格信息可以用于确定插管或导引参数值，诸如施加到装置的力和/或角度。传感器信号634可以由联接到内窥镜或以其它方式与患者相关联的传感器获取。在示例中，传感器信号634可以由位于内窥镜的前端部分的接近传感器获取。传感器信号634的示例可以包括内窥镜的前端部分相对于十二指肠乳头的位置、方向或接近。医师/患者信息635可包括操作医师使用可操控细长器械602的习惯或偏好(诸如用于插管和内窥镜导引的偏好方法)、或者与医师执行的当前处理类似类型的过去处理以及相应的处理结果(例如，成功/失败、处理时间、预后和并发症)。医师/患者信息635可以包括患者信息，诸如内窥镜图像或其它传感器信息、患者病史等。内窥镜控制日志数据636可以包括表示在处理期间随着被操纵在内窥镜图像上的装置(例如、内窥镜、导管或套管)的移动和偏转变化的时间序列数据。

导引计划单元610可以包括以下中的一个或更多个：目标解剖结构识别单元614，其可以诸如从输入图像(例如，内窥镜图像631和/或外部图像源632)自动识别感兴趣的解剖目标；插管和导引参数估计单元616，其可以自动估计一个或更多个插管或导引参数的值；以及造影和扫描参数估计单元618，其可以估计用于控制造影剂的配给的一个或更多个造影剂参数的值、和/或用于对解剖目标或其它感兴趣区域进行成像扫描(例如，X射线、透视扫描、CT扫描、MRI扫描以及其它放射成像检查)的一个或更多个扫描参数的值。导引计划单元610和插管和导引参数估计单元616可以使用各自的经过训练的机器学习(ML)模型来执行各自的目标识别和参数估计任务。可以使用监督学习、无监督学习或强化学习来训练ML模型612。ML模型架构和算法的示例可以包括例如决策树、神经网络、支持向量机或深度学习网络等。深度学习网络的示例包括卷积神经网络(CNN)、递归神经网络网络(RNN)、深度置信网络(DBN)或者包括不同类型或不同模型配置的两个或更多个神经网络模型的混合神经网络。

可以使用包括例如一个或更多个输入数据源630的各种信息源来训练ML模型612。在一些示例中，可以使用内窥镜处理数据库606中存储的过去处理数据来训练ML模型612。数据库606中存储的过去处理数据可以包括由多个医师对多个患者执行的相应内窥镜处理期间获取的处理数据。内窥镜处理可以是与对当前患者要执行的内窥镜处理相同类型的处理。对于每个处理，所存储的处理数据可以包括示出患者解剖结构、插管和内窥镜导引路线、插管或导引的进展等其它信息的内窥镜图像或视频。在示例中，对于每个处理，所存储的处理数据可以包括在处理期间记录的或通过离线分析内窥镜图像或视频而获得的一个或更多个插管或导引参数。

为了训练ML模型，可以使用输入数据源630和过去的内窥镜处理数据(诸如从内窥镜处理数据库606选择和检索的)中的一个或更多个，来构建训练数据集。在示例中，可以筛选训练数据，使得训练数据集中仅包括某些医师(诸如与操作医师具有基本相似经验水平的医师)执行的处理的数据和/或关于有特殊要求的某些患者(诸如与当前患者具有基本相似的解剖结构或患者医疗信息的患者)的处理数据。在示例中，可以基于包括在成功插管或导引之前的尝试次数的处理的成功率筛选训练数据，使得训练数据集中仅包括具有在规定尝试次数内实现的期望成功率的处理的数据。在另一示例中，可以基于与患者相关联的并发症来筛选训练数据。在一些示例中，尤其是在小训练数据集(诸如由于数据筛选)的情况下，可以训练ML模型以通过外推、内插或自举(bootstrapping)训练数据来生成处置计划，从而创建为特定患者和医师专门定制的处置计划。ML模型的训练可以连续地或周期性地执行，或者随着附加处理数据变得可用而近乎实时地执行。训练涉及通过算法调整一个或更多个ML模型参数，直到被训练的ML模型满足规定的训练收敛准则。

插管和导引参数估计单元616可以自动地估计一个或更多个插管或导引参数的值，例如，一个或更多个插管或导引参数可以包括内窥镜或其它可操控细长器械的前端部分(例如，如图1所示的内窥镜14的功能部分30)相对于感兴趣的解剖目标的位置，诸如从内窥镜前端部分到十二指肠乳头的距离；可操控细长器械的前端部分相对于解剖目标的前进方向；插管中使用的手术元件或套管的插入角度；套管或手术元件的突出量；施加到内窥镜前端部分或手术元件的速度或力；手术元件的旋转方向或切割区域；等等。在一些示例中，导引计划可以包括朝向感兴趣的解剖目标的规划导引路径。

导引控制器620可以生成给一个或更多个致动器603(诸如，致动机器人臂的电动机)的控制信号。一个或更多个致动器603可以联接到可操控细长器械602，诸如其近端部分。可操控细长器械602的示例可以包括诊断或治疗内窥镜、套管、导管、导丝或引导套管等。响应于控制信号，一个或更多个致动器603可以根据由插管和导引参数估计单元616估计的一个或更多个插管或导引参数以机器人方式调整可操控细长器械602在目标解剖结构中的位置或导引。由于与套管或GW相关联的一些插管或导引参数(例如，位置、角度、方向、导引路径)是基于成像系统生成的图像(例如，内窥镜图像或其它图像)而确定的，所以这种插管或导引参数参照成像系统的坐标。为了便于根据插管或导引参数对套管或GW进行机器人控制，在一些示例中，机器人系统的坐标可以用成像系统的坐标进行登记，使得成像系统坐标中的解剖位置可以映射到机器人系统坐标中的相应位置。例如，可以通过使用其位置在相应坐标系中已知的明确地标来执行这种登记。登记可以是基于强度或基于特征的，并且可以通过将成像系统的坐标映射到机器人系统的坐标的变换模型(线性或非线性模型)来表示。

在示例中，插管和导引参数估计单元616可以基于从套管/GW的前侧尖端到十二指肠乳头的距离，来确定施加到套管或GW(可操控细长器械602的示例)的力。这种距离可以使用诸如经由在套管/GW尖端处的接近传感器的传感器信号634来确定。在另一示例中，该距离可以通过设置在致动器603上或联接到套管/GW的机器人臂上的位移传感器测量，该位移传感器测量插入到十二指肠乳头中的长度。附加地或另选地，可以从内窥镜图像631估计距离。利用关于套管/GW的前侧尖端到十二指肠乳头之间的距离的信息，插管和导引参数估计单元616可以随着套管/GW的前侧尖端越接近十二指肠乳头而确定施加到套管/GW的越小的力。在示例中，施加的力可以与所述距离成反比。在套管/GW的前侧尖端插入并穿过十二指肠乳头之后，插管和导引参数估计单元616可以确定比插入之前的力水平或力范围更低的力水平或力范围。导引控制器620然后可以控制致动器603(或机器人臂)，以向套管/GW施加如上确定的与距离相关的力。如本文所描述的基于距关键解剖结构(例如，十二指肠乳头、胆总管和胰腺)的距离动态地调整力能够避免或减少由套管/GW引起的对胰腺实质(pancreatic parenchyma)的损害。机器人辅助能够提高在关键解剖结构处或附近的套管/GW定位和推进的精度，并进一步降低因插管不当而造成组织损伤的风险。

在示例中，插管和导引参数估计单元616可以至少基于内部治疗装置信息633确定套管或GW(可操控细长器械602的示例)的插入角度和/或向套管或GW施加的力。此类装置信息可以包括内部治疗装置的规格，诸如内径和外径、尖端形状、尖端载荷和/或刚度、扭转能力(旋转元件克服调谐阻力的能力)、弯曲角度、线支撑(对弯曲力的指标或线的抵抗力)等。可以训练ML模型以在套管或GW的规格与适当插入角度或向其施加的力之间建立。插管和导引参数估计单元616可以将目前在处理中使用的套管或GW的规格馈送到经过训练的ML模型，以估计套管或GW的适当的插入角度和/或向套管或GW施加的力。

在示例中，在将套管/GW插入十二指肠乳头之后，插管和导引参数估计单元616可以确定用于在胆总管或胰胆管系统的其它部分内推进套管/GW的方向或导引路径。可以基于内窥镜图像631和/或外部图像源632(诸如胆总管或胰胆管系统的其它部分的图像)来确定这种方向或导引路径。图像可以包括在ERCP处理之前或期间获得的内窥镜图像、在MRCP处理之前或期间获得的MRI图像等中的一种或更多种。插管和导引参数估计单元616可以使用经过训练的ML模型612来确定方向。在示例中，可以使用强化学习来训练ML模型612。强化学习是用于在环境中在某些状态下创建行为策略(例如，套管/GW的前进方向)以使与行为策略相关联的累积奖励最大化的机器学习方法。与使用标记的输入/输出对来训练模型的监督学习相比，强化学习在模型训练过程期间在探索未知领域(例如，在胆总管或胰胆管系统内采用不同的前进方向或路径)和探索当前知识之间保持平衡。例如，强化学习可以允许正在被训练的模型在表现不佳的情况下主动收集经验而无需外部干预，并且可以通过奖励函数直接优化行为表现。在基于ML确定套管/GW的前进方向或导引路径的以上示例中，强化学习可以是有利的，尤其是在缺乏标记的训练数据(诸如来自多个医师对多个患者执行的过去处理)的情况下。导引控制器620可以控制致动器603(或机器人臂)以根据确定的方向定向套管/GW的前端部分并根据确定的导引路径导引通过胰胆管系统。

在一些示例中，插管和导引参数估计单元616可以基于内窥镜处理数据库606中存储的过去的内窥镜处理数据，来确定套管/GW(可操控细长器械602的示例)的插入角度。对于每个处理，所存储的处理数据可以包括示出患者解剖结构、插管和内窥镜导引路径、插管和导引的进展、医师信息等信息的内窥镜图像或视频。在示例中，对于每个处理，所存储的处理数据可以包括在处理期间记录的或通过离线分析内窥镜图像或视频而获得的一个或更多个插管或导引参数。所存储的处理数据还可以包括医师习惯或偏好处理方法的指示。在各种实施方式中，所存储的处理数据的至少一部分被用作用于训练ML模型的训练集，该ML模型预测稍后要执行的处理的插管和导引参数。在示例中，可以筛选训练数据，使得训练数据集中仅包括某些医师(诸如与操作医师具有基本相似经验水平的医师)执行的处理的数据和/或关于有特殊要求的某些患者(诸如与当前患者具有基本相似的解剖结构或患者医疗信息的患者)的处理的数据。附加地，在一些示例中，可以在ML模型训练过程中包括诸如在ERCP处理中使用的内窥镜之类的内部治疗装置信息633。例如，插管和导引参数估计单元616可以使用经过训练的ML模型确定套管/GW的插入角度。导引控制器620然后可以根据确定的插入角度控制致动器603(或机器人臂)定位套管/GW的前侧部分并将其插入十二指肠乳头中。

在一些示例中，可以使用内窥镜处理数据库606中存储的过去成像数据和处理数据来训练ML模型，以产生多个参考控制模式，诸如多个参考前进方向或参考导引路径、多个插入角度、或者要向可操控细长器械602(例如，套管/GW)施加的多个力水平或力范围。可以基于成功率、患者结果和预后、处理时间以及其它条件中的一种或更多种，将多个参考控制模式分类或以其它方式归类成组。插管和导引参数估计单元616可以基于当前患者的成像数据，从参考控制模式中选择对应于例如最高成功率或规定成功率(例如，具有超过90％的成功率)的至少一个。导引控制器620然后可以根据所选择的参考控制模式控制致动器603(或机器人臂)以控制套管/GW的定位和运动。另外，基于从实况处理接收到的反馈，插管和导引参数估计单元616可以从一种参考控制模式切换到不同的参考控制模式。

根据一些示例，可以在不同的应用中单独训练、验证和使用两个或更多个不同的ML模型，不同的应用包括例如目标解剖结构识别、插管或导引参数估计、自动内窥镜定位和导引、套管或导丝(以下称为“套管/GW”)自动插入目标解剖结构中、等等。例如，ERCP处理可以涉及多个步骤，包括：将内窥镜向下传送到十二指肠并识别十二指肠乳头，将套管/GW插入乳头，以及调整套管/GW的方向或力以避免对胰腺的过度压力。可以在ERCP处理的各个步骤中训练和使用不同的ML模型。在示例中，为了识别乳头的位置并将内窥镜定位在乳头前面，可以使用乳头的内窥镜图像631和内窥镜控制日志数据636来训练强化学习模型，以确定内窥镜相对于乳头的精确位置。插管和导引参数估计单元616可以使用所述强化学习模型来确定内窥镜是否在乳头前面。如果确定出内窥镜不在乳头前面，则导引控制器620可以生成控制信号以引导内窥镜定位。

在另一示例中，可以训练分离的ML模型以执行不同的功能，诸如训练第一ML模型以识别感兴趣区域，以及训练第二ML模型以确定与识别出的感兴趣区域相关联的最佳插管参数。例如，为了控制内窥镜使得乳头被捕捉在内窥镜图像的中心并且为了引导套管/GW从最佳方向或位置插入到乳头中心，可以训练第一监督学习模型以识别具有其某些空间或几何特征(诸如用于内窥镜进入或插管的乳头中心)的十二指肠乳头。附加地，可以训练第二强化学习模型以确定移动内窥镜以捕获乳头中心的最佳方向。第一监督学习模型和第二强化学习模型可以各自使用乳头的内窥镜图像631、诸如胆管的MRI图像之类的外部图像源632、以及内窥镜控制日志数据636中的一者或更多者来训练。

目标解剖结构识别单元614可以使用经过训练的监督学习模型来定位十二指肠乳头的中心。图7A和图7B是例示了训练基于ML的乳头识别模型和使用经过训练的ML模型从实况内窥镜图像检测和定位乳头的示例的图。图7A例示了ML模型训练(或学习)阶段，在该阶段期间可以使用多个内窥镜图像710来训练ML模型720(例如，监督学习模型)，以从内窥镜图像确定以高概率围绕乳头中心的特定形状的边界区域(诸如矩形712)。图7B例示了推理阶段，在该阶段期间将经过训练的ML模型720应用于实况内窥镜图像731以从实况内窥镜图像检测和定位乳头中心。在示例中，目标解剖结构识别单元614可以将诸如矩形712的边界区域叠加在实况内窥镜图像731上，并检测十二指肠乳头在边界区域内部的中心。插管和导引参数估计单元616可以使用经过训练的强化学习模型来确定内窥镜是否处于捕捉乳头中心的最佳方向。如果确定出内窥镜未处于捕捉乳头中心的最佳位置，则导引控制器620可以生成控制信号以引导内窥镜定位。

在又一示例中，在使套管/GW穿过十二指肠乳头并进入胆总管之后，为了调整向套管/GW施加的力或方向以避免对胰腺施加过大压力和潜在的组织损伤，可以训练第一监督学习模型以估计套管/GW上的力或载荷。附加地，可以训练第二强化学习模型以确定用于将套管/GW插入胆总管内的最佳插入角度和力。第一监督学习模型和第二强化学习模型可以各自使用以下中的一者或更多者来分开训练：乳头的内窥镜图像631、诸如乳头附近区域的MRI图像之类的外部图像源632、诸如由设置在套管/GW前端部分的传感器(例如，应变仪、压电传感器、电感传感器或电容传感器)感测到的力之类的传感器信号634、以及内窥镜控制日志数据636(例如，套管/GW在内窥镜图像上的偏转以及运动的时间序列变化)。插管和导引参数估计单元616可以使用经过训练的监督学习模型来估计套管/GW上的力或载荷，并使用经过训练的强化学习模型来估计施加到套管/GW的力和插入角度。导引控制器620可以生成控制信号来引导套管/GW定位。

造影和扫描参数估计单元618可以使用经过训练的ML模型(诸如经过训练的ML模型612或其一部分)自动估计一个或更多个造影和扫描参数。作为示例而非限制，造影和扫描参数可以包括要配给的造影剂的体积(剂量)、造影剂的流速、注射持续时间、以及用于配给造影剂的注射部位(例如，通过乳头)，等参数。在经由诸如内窥镜或其它注射装置的输送工具配给造影剂的示例中，造影和扫描参数可以包括注射装置或内窥镜的位置、方向、方位或姿态。造影和扫描参数可以附加地或另选地包括扫描时机(即，拍摄解剖目标或其它感兴趣区域的图像的时机)、扫描持续时间(辐射剂量)、扫描方向、造影剂团到达时间或自造影剂注射开始的扫描延迟、等参数。例如，为了获得高质量的图像，可以将成像扫描时机设置在目标感兴趣区域中的峰值造影增强处或附近。

可以使用监督学习、深度学习、无监督学习或强化学习以及其它算法或方法来训练如以上所讨论的ML模型。为了训练基于ML的造影和扫描参数模型，可以使用来自输入数据源630的过去患者数据构建训练数据集，输入数据源630包括例如从多个患者收集的内窥镜图像631、过去成像检查(例如，X射线、荧光透视、CT或MRI扫描)期间的外部图像源632、以及患者信息635。对于训练数据集中的每个内窥镜图像，训练数据集还可以包括用于在拍摄内窥镜图像时产生放射图像(例如，X射线、荧光透视、CT或MRI图像)的造影和扫描参数。在一些示例中，训练数据集中也可以包括患者信息(例如，形态特征，诸如目标解剖结构中是否存在狭窄或缩窄)、装置信息(例如，内窥镜或造影剂注射装置的规格，诸如尺寸、形状、前端曲率)、以及造影剂特征(例如，造影剂的粘度)。如以上所讨论的，在一些示例中，可以基于执行相同或相似类型处理的医师、具有与当前患者基本相似的解剖结构或医学信息的患者、处理的成功率或与患者相关联的并发症以及其它考虑因素，来筛选训练数据。ML模型的训练涉及以算法调整一个或更多个ML模型参数，直到被训练的ML模型满足规定的训练收敛准则。

经过训练的ML模型可以在内窥镜图像(可选地连同其它信息，诸如外部图像、患者信息、装置信息、造影剂特性)与最佳或期望的造影和扫描参数之间建立对应关系。经过训练的ML模型可以由造影和扫描参数估计单元618使用以针对目标解剖结构的给定图像(例如，在诸如ERCP之类的内窥镜处理期间获得的实时内窥镜图像)和特定内窥镜或注射装置估计最佳造影和扫描参数中的一项或更多项，诸如造影剂的最佳剂量、用于配给造影剂的最佳位置、用于注射造影剂的注射装置或内窥镜的最佳位置和方位、或进行成像扫描的最佳时机。

导引控制器620可以根据确定的造影和扫描参数控制致动器603(诸如机器人臂)按机器人方式促进内窥镜(可操控细长器械602的示例)或注射装置的操作，以在最佳位置以最佳方式输送最佳剂量的造影剂。附加地或另选地，导引控制器620可以根据确定的造影剂和扫描参数向成像装置或系统(例如，内窥镜成像装置、X射线或荧光透视系统)提供控制信号，以使成像装置或系统定时拍摄图像，或确定关于造影剂注射的扫描延迟、扫描持续时间或扫描方向。

如本文所描述的关于造影剂配给和成像/扫描时机的基于ML模型的估计或造影和扫描参数能够提高造影和辐射管理的效率，减少辐射暴露，同时保持图像质量，从而提高患者安全性和诊断功效。

图7C和图7D是例示了训练ML模型以及使用经过训练的ML模型以针对目标区域的给定内窥镜图像估计一个或更多个造影和扫描参数的示例的图。估计出的造影和扫描参数可以用于在内窥镜处理期间引导成像扫描。图7C例示了ML模型训练(或学习)阶段，在该阶段期间可以使用多个内窥镜图像710以及与每个图像相关联的造影和扫描参数715来训练ML模型740(例如，监督学习模型)。图7D例示了推断阶段，在该阶段期间诸如通过使用造影和扫描参数估计单元618，将经过训练的ML模型740应用于实况内窥镜图像731以估计一个或更多个“最佳”或期望的造影和扫描参数742。导引控制器620可以根据“最佳”或期望的造影和扫描参数742以机器人方式促进内窥镜或注射装置的操作，以配给造影剂。附加地或另选地，导引控制器620可以根据估计出的一个或更多个扫描参数向成像装置或系统提供控制信号，以调整目标解剖结构的成像。

用户接口装置640可以包括分别是如图2所示的输出单元18和输入单元20的示例的输出单元642和输入单元645。输出单元642可以包括显示器643，显示器643可以显示由目标解剖结构识别单元614识别的目标解剖结构的图像。在一些示例中，显示器643可以呈现由插管和导引参数估计单元616产生的插管和导引参数的视觉呈现。在示例中，目标解剖结构图像的显示区域可以根据内窥镜的前端相对于解剖目标的位置或方向而自动调整。例如，输出单元642可以随着内窥镜尖端越接近乳头而自动放大图像，以示出乳头的更多细节。另选地，缩放功能可以由用户(例如，操作医师)经由输入单元645手动地激活和调整。在示例中，输出单元642可以显示解剖结构在用户诸如经由输入单元645所规定的方向上的截面图。在示例中，用户可以经由输入单元645调整视角(例如，旋转视图)并具有重构或整合的3D图像的360度视图。在示例中，输入单元645的至少一部分可以并入内窥镜(诸如内窥镜14的手柄部分32)中，以方便在处理期间的用户操作。

在一些示例中，显示器643可以诸如基于成像装置(例如，相机)相对于目标解剖结构的距离和视角，使目标解剖结构在观察区域中自动居中。在示例中，控制器601可以控制内窥镜的定位和方向，以调整成像装置的视角以实现目标解剖结构的自动居中。附加地或另选地，控制器601可以控制图像处理器，对获取的图像进行后处理，后处理包括将识别出的目标解剖结构重新定位在观察区域的中心。

在一些示例中，输出单元642可以在图像上显示目标解剖结构(例如，十二指肠乳头)、朝向目标解剖结构的规划导引路径；或内窥镜沿规划导引路径朝向目标解剖结构的进展的视觉指示。用户可以经由输入单元645调整显示设置。视觉指示可以采用标记、注释(图标、文本或图形)、突出显示或动画以及其它视觉指示的格式。例如，可以在重构或整合的图像上显示不同形状、颜色、形式或大小的标记，以区分不同的组织、解剖区域、它们的可接近性或危急性。

在一些示例中，输出单元642可以向用户(例如，内窥镜医师)显示由造影和扫描参数估计单元618生成的估计出的造影和扫描参数。用户可以使用估计出的造影和扫描参数作为指导，以辅助在内窥镜处理期间配给造影剂或对目标解剖结构进行成像扫描。

输出单元642可以包括警告和反馈生成器644，其可以参照导引计划针对插管或导引的状态或进展向操作医师生成警告、通知或其它格式的人类可感知的反馈。例如，可以生成警告以指示与不当插管相关联的组织损伤风险。反馈可以是音频反馈、视觉反馈或触觉反馈中的一种或更多种形式。例如，当内窥镜尖端进入或接近“关键区”(例如，接近传感器检测到与感兴趣的关键解剖结构的距离短于阈值距离)时，可以用不同颜色示出关键区以表示该距离(例如，随着内窥镜接近关键区而依次显示为绿色区、黄色区和红色区)。附加地或另选地，可以生成诸如触摸或振动之类的触觉反馈并被操作医师感知。在示例中，警告和反馈生成器644可以根据距关键区的距离而自动地调整振动强度。例如，当内窥镜尖端处于绿色区时，可以生成低振动。如果系统基于内窥镜的当前前进速度和方向预测到内窥镜尖端将在低于预定阈值的时间内到达关键区，则警告和反馈生成器644可以在内窥镜尖端到达黄色区时施加中等振动，而当内窥镜尖端到达红色区时施加高振动，以指示组织损伤风险。如本文所描述的图像引导的内窥镜处理中的实时警告和反馈能够提高插管和内窥镜导引的效率，尤其是对于经验不足的医师，并且能够提高内窥镜处理的成功率和患者预后。

图8是例示了用于经由内窥镜系统在目标解剖结构中以机器人方式定位和导引可操控细长器械的示例方法800的流程图。可操控细长器械可以包括诊断或治疗内窥镜、套管、导管、导丝或引导套管等。方法800可以在机器人内窥镜手术系统500中实现并由机器人内窥镜手术系统500执行。虽然方法800的过程绘制在一个流程图中，但它们不需要以特定顺序执行。在各种示例中，一些过程可以以与本文所示的顺序不同的顺序来执行。

在810，可以提供包括目标解剖结构的图像的患者信息，以供以机器人方式辅助的内窥镜处理使用。目标解剖结构的图像可以包括内窥镜处理期间由内窥镜上的成像传感器捕获的十二指肠乳头及其周围环境的内窥镜图像，或来自其它源的图像，例如，包括X射线或荧光透视图像、电位图或电阻抗图、CT图像、诸如从磁共振胰胆管造影(MRCP)处理获得的MRI图像、或者诸如内窥镜超声(EUS)图像之类的声学图像，等等。除了目标解剖结构的图像之外，在以机器人方式辅助的内窥镜处理中可以使用其它信息，其可以包括如上面参照图6所描述的内部治疗装置信息、传感器信号、医师信息(例如，操作医师使用可操控细长器械的习惯或偏好)以及内窥镜控制日志数据。

在820，在步骤810接收的目标解剖结构的图像和可选的其它信息可以被提供给经过训练的机器学习(ML)模型，以识别目标解剖结构，并估计用于操纵可操控细长器械的一个或更多个插管或导引参数和/或用于目标解剖结构的成像扫描的一个或更多个造影和扫描参数。插管或导引参数的示例可以包括：内窥镜或其它可操控细长器械的前端部分(例如，如图1所示的内窥镜14的功能部分30)相对于感兴趣的解剖目标的位置，诸如从内窥镜前端部分到十二指肠乳头的距离；可操控细长器械的前端部分相对于解剖目标的前进方向；套管或插管中使用的手术元件的插入角度；套管或手术元件的突出量；向内窥镜前端部分或手术元件施加的力或速度；手术元件的旋转方向或切割区域；以及朝向感兴趣的解剖目标的规划导引路径。造影和扫描参数的示例可以包括造影剂的体积(剂量)；造影剂的流速，注射持续时间；用于配给造影剂的注射部位(例如，通过乳头)；注射装置或内窥镜的位置、方向、方位或姿态；扫描时机(即，拍摄解剖目标或其它感兴趣区域的图像的时机)；扫描持续时间(辐射剂量)；扫描方向；造影剂团到达时间；或自造影剂注射开始的扫描延迟、以及其它参数。

可以使用监督学习、无监督学习或强化学习来训练ML模型。可以使用内窥镜处理数据库606中存储的过去处理数据来训练ML模型。数据库中存储的过去处理数据存储了在由多个医师对多个患者执行的相应内窥镜处理期间获取的处理数据。

在830，可以根据在步骤820确定的一个或更多个插管或导引参数，向致动器(作为致动机器人臂的电动机)提供控制信号，以按机器人方式促进可操控细长器械在目标解剖结构中的操作(例如，调整位置或导引)。在示例中，可以根据所确定的造影和扫描参数向致动器提供控制信号，以按机器人方式辅助内窥镜或注射装置的操作，从而在最佳位置以最佳方式输送最佳剂量的造影剂。在示例中，可以根据所确定的造影和扫描参数向致动器提供控制信号，以按机器人方式辅助成像装置或系统在定时进行成像扫描，或者确定扫描持续时间、扫描方向或相对于造影注射的扫描延迟方面的操作。

本文档讨论了插管或导引参数估计以及以机器人方式辅助的定位和导引的各种示例。在一个示例中，可以使用经过训练的ML模型来基于从套管/GW的前侧尖端到十二指肠乳头的距离来估计向套管或GW(可操控细长器械的示例)施加的力。该距离可以使用接近传感器来测量，或者从内窥镜图像来估计。向套管或GW施加的力可以与所述距离成反比。如本文所述的基于距关键解剖结构(例如，十二指肠乳头、胆总管和胰腺)的距离动态地调整力能够避免或减少由套管/GW引起的对胰腺实质的损害。在另一示例中，可以使用强化学习来训练ML模型，并且使用ML模型来确定用于在胆总管或胰胆管系统的其它部分内推进套管/GW的方向或导引路径。在又一示例中，可以基于内窥镜处理数据库中存储的过去的内窥镜处理数据，来训练ML模型以估计套管/GW的插入角度。

在示例中，可以使用强化学习来训练ML模型，以确定内窥镜相对于乳头的精确位置，并确定内窥镜是否在乳头前面。如果内窥镜不在乳头前面，则可以向致动器提供控制信号以自动调整内窥镜位置。

在另一示例中，为了控制内窥镜使得乳头被捕获在内窥镜图像的中心并且引导套管/GW从最佳方向或位置插入乳头中心，可以使用监督学习来训练第一ML模型，以识别具有某些空间或其几何特征(诸如用于内窥镜进入或插管的乳头中心)的十二指肠乳头。可以使用强化学习来训练第二ML模型，以确定移动内窥镜以捕获乳头中心的最佳方向。

在又一示例中，在使套管/GW穿过十二指肠乳头并进入胆总管之后，为了调整向套管/GW施加的力或方向以避免对胰腺施加过大压力以及潜在的组织损伤，可以使用监督学习来训练第一ML模型，以估计套管/GW上的力或载荷。附加地，可以使用强化学习来训练第二ML模型，以确定用于将套管/GW插入胆总管内的最佳插入角度和力。可以向致动器提供控制信号来以机器人方式控制套管/GW定位。

在840，可以在输出单元上显示目标解剖结构以及可操控细长器械在目标解剖结构中定位和导引的过程。还可以显示插管和导引参数的视觉呈现。在示例中，目标解剖结构图像的显示区域可以根据内窥镜前端相对于解剖目标的位置或方向而自动地调整。这样的自动调整可以包括自动缩放目标解剖结构、将目标解剖结构在观察区域中自动居中以及自动调整观察角度。在示例中，解剖目标、朝向解剖目标的规划导引路径、以及内窥镜沿着规划导引路径朝向解剖目标前进的进展中的一个或更多个的视觉指示可以叠加在输出单元上正在显示图像上进行显示。在一些示例中，估计的造影和扫描参数可以显示给用户并且辅助在内窥镜处理期间配给造影剂或对目标解剖结构进行成像扫描。在一些示例中，可以向操作医师提供警告、通知或其它格式的人类可感知的反馈，以指示插管或导引的状态或进展。

图9总体例示了可以执行本文讨论的技术(例如，方法论)中的任何一种或更多种的示例机器900的框图。该描述的一些部分可以应用于以机器人方式辅助的导引系统600的各个部分的计算框架，诸如导引计划单元610。

在另选实施方式中，机器900可以作为独立装置操作或者可以连接(例如，联网)至其它机器。在联网部署中，机器900可以在服务器-客户端网络环境中以服务器机器、客户端机器或两者的能力运行。在示例中，机器900可以充当对等(P2P)(或其它分布式)网络环境中的对等机器。机器900可以是个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、移动电话、网络设备、网络路由器、交换机或桥接器、或能够执行指令(顺序或以其它方式)的任何机器，这些指令指定了该机器要采取的动作。此外，虽然仅例示了单个机器，但术语“机器”也应理解为包括单独或联合执行一组(或多组)指令以执行本文讨论的方法论中的任何一种或更多种的机器的任何集合，诸如云计算、软件即服务(SaaS)、其它计算机集群配置。

如本文所描述的示例可以包括逻辑或大量组件或机制，或可以通过逻辑或大量组件或机制来操作。电路组是在包括硬件(例如，简单电路、门、逻辑等)的有形实体中实现的电路的集合。电路组组件资格可以随着时间和基本硬件可变性而是灵活的。电路组包括在运行时可以单独或组合执行特定操作的组件。在示例中，电路组的硬件可以永久地设计为实施特定操作(例如，硬连线的)。在示例中，电路组的硬件可以包括可变地连接的物理组件(例如，执行单元、晶体管、简单电路等)，其包括物理地修改(例如，磁地、电地、恒定质量粒子的可移动放置等)以编码特定操作的指令的计算机可读介质。在连接物理组件时，硬件构件的基本电气特性被改变，例如，从绝缘体改变为导体，反之亦然。这些指令使嵌入式硬件(例如，执行单元或加载机制)能够通过可变连接在硬件中创建电路组的成员，以在运行时实施特定操作的一些部分。因此，当装置正在运行时，计算机可读介质可通信地联接到电路组成员的其它组件。在示例中，任何物理组件可以用在多于一个电路组的多于一个成员中。例如，在运行下，执行单元可以在一个时间点用在第一电路组的第一电路中，并且在不同的时间被第一电路组中的第二电路或者第二电路组中的第三电路重用。

机器(例如，计算机系统)900可以包括硬件处理器902(例如，中央处理单元(CPU)、图形处理单元(GPU)、硬件处理器核或其任何组合)、主存储器904和静态存储器906，硬件处理器902、主存储器904和静态存储器906中的一些或全部可以经由互连链路(例如，总线)908彼此通信。机器900还可以包括显示单元910(例如，光栅显示器、向量显示器、全息显示器等)、字母数字输入装置912(例如，键盘)和用户界面(UI)导引装置914(例如，鼠标)。在示例中，显示单元910、输入装置912和UI导引装置914可以是触摸屏显示器。机器900可以附加地包括储存装置(例如，驱动单元)916、信号生成装置918(例如，扬声器)、网络接口装置920以及诸如全球定位系统(GPS)传感器、指南针、加速度仪或其它传感器之类的一个或更多个传感器921。机器900可以包括输出控制器928，诸如串行(例如，通用串行总线(USB))连接、并行连接或其它有线或无线(例如，红外线(IR)、近场通信(NFC)等)连接，以通信或控制一个或更多个外围装置(例如，打印机、读卡器等)。

储存装置916可以包括机器可读介质922，其上存储有体现本文描述的技术或功能中的任何一种或更多种或由本文描述的技术或功能中的任何一种或更多种利用的数据结构或指令924(例如，软件)的一个或更多个集合。指令924在机器900执行该指令期间还可以完全或至少部分地驻留在主存储器904内、静态存储器906内、或硬件处理器902内。在示例中，硬件处理器902、主存储器904、静态存储器906和储存装置916中的一个或任何组合可以构成机器可读介质。

虽然机器可读介质922被例示为单个介质，但术语“机器可读介质”可以包括被配置为存储一个或更多个指令924的单个介质或多个介质(例如，集中式或分布式数据库、和/或相关联的高速缓存和服务器)。

术语“机器可读介质”可以包括能够存储、编码或携带用于由机器900执行的指令并且使机器900执行本公开的任何一种或更多种技术、或者能够存储、编码或携带由此类指令使用或与此类指令相关联的数据结构的任何介质。非限制性机器可读介质示例可以包括固态存储器以及光学和磁介质。在示例中，大容量机器可读介质包括具有质量恒定(例如，静止)的大量颗粒的机器可读介质。因此，大容量机器可读介质不是瞬态传播信号。大容量机器可读介质的具体示例可以包括：非易失性存储器，诸如半导体存储器装置(例如，电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EPSOM))和闪存装置；磁盘，诸如内部硬盘和可移除盘；磁光盘；和CD-ROM和DVD-ROM磁盘。

指令924还可以经由网络接口装置920使用传输介质在通信网络926上发送或接收，网络接口装置920利用大量传输协议(例如，帧中继、网际协议(IP)、传输控制协议(TCP)、用户数据报协议(UDP)、超文本传输协议(HTTP)等)中的任何一种。示例通信网络可以包括局域网(LAN)、广域网(WAN)、分组数据网络(例如，互联网)、移动电话网络(例如，蜂窝网络)、普通老式电话(POTS)网络、和无线数据网络(例如，被称为

的电气和电子工程师协会(IEEE)802.11系列标准、被称为

的IEEE802.16系列标准)、IEEE802.15.4系列标准、对等(P2P)网络等。在示例中，网络接口装置920可以包括一个或更多个物理插孔(例如，以太网、同轴或电话插孔)或一个或更多个天线，以连接到通信网络926。在示例中，网络接口装置920可以包括多个天线以使用单输入多输出(SIMO)、多输入多输出(MIMO)或多输入单输出(MISO)技术中的至少一种进行无线通信。术语“传输介质”应理解为包括能够存储、编码或携带由机器900执行的指令的任何无形介质，并且包括数字或模拟通信信号或促进此类软件通信的其它无形介质。

(附记)

以上详细描述包括对构成详细描述的一部分的附图的参考。附图通过例示的方式示出了可以实施本发明的具体实施方式。这些实施方式在本文中也称为“示例”。这样的示例可以包括除了示出或描述的要素之外的要素。

然而，本发明人还考虑了仅提供那些示出或描述的要素的示例。此外，本发明人还考虑了使用关于特定示例(或其一个或更多个方面)或者关于本文示出或描述的其它示例(或者其一个或更多个方面)所示出或所描述的那些要素(或其一个或更多个方面)的任何组合或排列的示例。

在本文档中，如专利文档中常见的那样，术语“一”或“一种”用于包括一个或更多个而与“至少一个”或“一个或更多个”的任何其它实例或用法无关。在本文档中，术语“或”用于表示非排它性的或，使得除非另有说明，否则“A或B”包括“A而没有B”、“B而没有A”以及“A和B”。在本文档中，术语“包括(including)”和“其中(in which)”被用作相应术语“包括(comprising)”和“其中(wherein)”的简单英语等同表示。此外，在所附权利要求中，术语“包括”和“包含”是开放式的，也就是说，权利要求中的包括除了在该术语之后列出的要素之外的要素的系统、装置、物品、组合物、制剂或过程仍被视为落入该权利要求的范围内。此外，在所附权利要求中，术语“第一”、“第二”和“第三”等仅用作标签，并非旨在对其对象施加数目要求。

以上描述旨在是例示性的而非限制性的。例如，上述示例(或其一个或更多个方面)可以彼此组合使用。在阅读以上描述之后，诸如本领域普通技术人员可以使用其它实施方式。提供摘要以符合专利法要求，使得读者快速确定技术公开的性质。提交时理解为它不会被用来解释或限制权利要求的范围或含义。此外，在以上详细描述中，可以将各种特征组合在一起以简化本公开。这不应被解释为意味着未要求保护的公开特征对于任何权利要求都是必要的。相反，发明主题可以少于特定公开的实施方式的所有特征。因此，所附权利要求在此作为示例或实施方式并入详细描述中，每个权利要求本身作为单独实施方式独立存在，并且预期这些实施方式可以以各种组合或排列彼此组合。本发明的范围应参照所附权利要求以及这些权利要求所享有的等同物的全部范围来确定。

相关申请的交叉引用

本申请基于2021年10月20日提交的美国临时专利申请No.63/262,794、2021年11月8日提交的美国临时专利申请No.63/263,732和2022年4月22日提交的美国临时专利申请No.63/363,446并要求其优先权益，所述美国临时专利申请的全部内容通过引用并入本文中。

Claims (24)

1.一种内窥镜系统，该内窥镜系统包括：

可操控细长器械，该可操控细长器械被配置为在患者的目标解剖结构中进行定位和导引；以及

控制器电路，该控制器电路配置为：

接收包括所述目标解剖结构的图像的患者信息；

将所述目标解剖结构的图像应用于至少一个经过训练的机器学习ML模型，以识别所述目标解剖结构并估计用于对所述目标解剖结构进行成像扫描的一个或更多个造影和扫描参数；以及

向用户或过程提供估计出的一个或更多个造影和扫描参数。

2.根据权利要求1所述的内窥镜系统，其中，接收到的所述目标解剖结构的图像包括内窥镜图像。

3.根据权利要求1至2中的任一项所述的内窥镜系统，其中，所述至少一个经过训练的ML模型包括第一经过训练的ML模型和不同于所述第一经过训练的ML模型的第二经过训练的ML模型，并且

其中，所述控制器电路被配置为将所述目标解剖结构的图像应用于所述第一经过训练的ML模型以识别所述目标解剖结构，并且将所述目标解剖结构的图像应用于所述第二经过训练的ML模型以估计用于对所述目标解剖结构进行成像扫描的所述一个或更多个造影和扫描参数。

4.根据权利要求1至3中的任一项所述的内窥镜系统，其中，所述控制器电路还被配置为根据所估计出的一个或更多个造影和扫描参数向致动器提供控制信号，来以机器人方式促进经由所述可操控细长器械配给造影剂或对所述目标解剖结构进行成像。

5.根据权利要求4所述的内窥镜系统，其中，

所述可操控细长器械包括内窥镜或可操控注射装置，所估计出的一个或更多个造影和扫描参数包括造影剂参数，并且

所述控制器电路被配置为根据所述造影剂参数向所述致动器提供所述控制信号，来以机器人方式促进所述可操控细长器械配给所述造影剂的操作。

6.根据权利要求5所述的内窥镜系统，其中，所述造影剂参数包括所述造影剂的体积、流速和注射持续时间中的一项或更多项。

7.根据权利要求5至6中的任一项所述的内窥镜系统，其中，所述目标解剖结构包括所述患者的胰胆管系统的一部分，并且所述造影剂参数包括所述胰胆管系统的造影剂注射部位。

8.根据权利要求4所述的内窥镜系统，其中，

所估计出的一个或更多个造影和扫描参数包括用于对所述目标解剖结构进行成像的扫描参数，并且

所述控制器电路被配置为根据所述扫描参数向所述致动器提供所述控制信号，来以机器人方式促进成像设备对所述目标解剖结构进行成像扫描的操作。

9.根据权利要求8所述的内窥镜系统，其中，所述扫描参数包括扫描时机、扫描持续时间、扫描方向和相对于所述造影剂的配给的扫描延迟中的一项或更多项。

10.根据权利要求1至9中的任一项所述的内窥镜系统，其中，

所述目标解剖结构包括所述患者的胰胆管系统的一部分，并且

所述控制器电路被配置为将所述目标解剖结构的图像应用于所述经过训练的ML模型，以识别所述胰胆管系统中的狭窄。

11.根据权利要求1至10中的任一项所述的内窥镜系统，该内窥镜系统包括训练模块，该训练模块被配置为使用训练数据集来训练所述ML模型，所述训练数据集包括来自对多个患者的过去内窥镜处理的处理数据，所述处理数据包括所述多个患者的目标解剖结构的内窥镜图像、以及用于产生所述内窥镜图像的相应造影和扫描参数的评估结果。

12.根据权利要求11所述的内窥镜系统，其中，所述训练模块被配置为使用监督学习或深度学习来训练所述ML模型。

13.根据权利要求1至12中的任一项所述的内窥镜系统，其中，所述控制器电路被配置为进一步使用造影剂的粘度信息来估计所述一个或更多个造影和扫描参数。

14.根据权利要求1至13中的任一项所述的内窥镜系统，该内窥镜系统包括输出单元，该输出单元被配置为向用户呈现所估计出的一个或更多个造影和扫描参数，以辅助用户配给造影剂或对所述目标解剖结构进行成像。

15.一种使用内窥镜系统进行导引和成像的方法，所述内窥镜系统在目标解剖结构中以机器人方式操纵可操控细长器械并控制所述目标解剖结构的成像扫描，该方法包括以下步骤：

提供包括所述目标解剖结构的图像的患者信息；

将所述目标解剖结构的图像应用于至少一个经过训练的机器学习ML模型，并识别所述目标解剖结构并且估计用于对所述目标解剖结构进行成像扫描的一个或更多个造影和扫描参数；以及

向用户或过程提供估计出的一个或更多个造影和扫描参数。

16.根据权利要求15所述的方法，其中，将所述目标解剖结构图像应用于至少一个经过训练的ML模型的步骤包括以下步骤：

将所述目标解剖结构的图像应用于第一经过训练的ML模型，以识别所述目标解剖结构；以及

将所述目标解剖结构的图像应用于第二经过训练的ML模型，以估计用于对所述目标解剖结构进行成像扫描的一个或更多个造影和扫描参数，所述第二经过训练的ML模型不同于所述第一经过训练的ML模型。

17.根据权利要求15至16中的任一项所述的方法，该方法还包括以下步骤：根据所估计出的一个或更多个造影和扫描参数向致动器提供控制信号，来以机器人方式促进经由所述可操控细长器械配给造影剂或对所述目标解剖结构进行成像。

18.根据权利要求17所述的方法，其中，

所估计出的一个或更多个造影和扫描参数包括用于配给造影剂的造影剂参数，并且

所述控制信号根据所述造影剂参数而被提供给所述致动器，来以机器人方式促进所述可操控细长器械配给所述造影剂的操作。

19.根据权利要求18所述的方法，其中，所述造影剂参数包括所述造影剂的体积、流速和注射持续时间中的一项或更多项。

20.根据权利要求18至19中的任一项所述的方法，其中，所述目标解剖结构包括所述患者的胰胆管系统的一部分，并且所述造影剂参数包括所述胰胆管系统的造影剂注射部位。

21.根据权利要求17所述的方法，其中，

所估计出的一个或更多个造影和扫描参数包括用于对所述目标解剖结构进行成像的扫描参数，并且

所述控制信号根据所述扫描参数而被提供给所述致动器，来以机器人方式促进成像装置对所述目标解剖结构进行成像扫描的操作。

22.根据权利要求21所述的方法，其中，所述扫描参数包括扫描时机、扫描持续时间、扫描方向和相对于所述造影剂的配给的扫描延迟中的一项或更多项。

23.根据权利要求15至22中的任一项所述的方法，该方法包括以下步骤：经由所述内窥镜系统的训练模块，使用包括存储的多个患者的内窥镜处理数据的训练数据集来训练所述ML模型，所存储的数据包括所述多个患者的目标解剖结构的内窥镜图像、以及用于产生所述内窥镜图像的相应造影和扫描参数的评估结果。

24.根据权利要求15至23中的任一项所述的方法，该方法包括以下步骤：经由输出单元向用户呈现所估计出的一个或更多个造影和扫描参数，以辅助所述用户配给造影剂或对所述目标解剖结构进行成像。

Images