CN116568354A - 用于自动插管的系统和方法 - Google Patents

Abstract

一种在患者体内自动执行气管插管的系统、方法和装置，其包括：将刀片插入所述患者的所述上气道内，以牵引解剖结构；将弯曲部分和布置在所述弯曲部分上的导管插入所述患者的所述气道内；使用布置在所述弯曲部分上的至少一个成像传感器收集气道数据；将经收集的气道数据传送到处理电路；使用所述处理电路预测供所述导管插入的预期路径并产生控制信号，其中所述预期路径是基于由所述处理电路使用所述经收集的气道数据识别的至少一个解剖结构来预测的；经由用户界面显示预期路径，以向操作者显示至少一个预期路径，并且还允许所述操作者选择预期路径；以及将由所述处理电路产生的所述控制信号传送到至少一个致动单元，以致动所述导管的三维运动。

Description

用于自动插管的系统和方法

技术领域

本发明涉及一种将侵入式医疗设备插入患者体内的自动化系统和方法，并且更具体地，涉及一种使用基于图像的引导将侵入式医疗设备插入患者体腔内的自动化系统和方法。

本节详细描述了技术领域，并讨论了技术领域中遇到的问题。因此，本节中的陈述不应被解释为现有技术。

背景技术

有效地将医疗设备植入到患者体内是当今医学界的最大需求之一。产生此需求的一个原因是侵入式医疗设备提供了广阔的应用领域，从在胸部插入起搏器确保心脏以适当的速率跳动，到插入导尿管。另一个原因是，在植入过程中，医务人员、医生和麻醉师会遇到大量的并发症和错综复杂的情况，这需要立即采取措施来防止发病和死亡。

植入侵入性设备的一个此类应用是气管插管，其用于保持患者的气道畅通以支持呼吸。气管插管(或ETI)是通过使用喉镜来观察声门的开口，然后经开口插入导管。医生在用喉镜操纵上气道的解剖结构后，可通过他们的眼睛直接看到声门，形成“直线视野”。使用喉镜清楚地看到声门开口取决于几个因素，如面部结构、马兰帕蒂(Mallampati)评分、牙齿状况和关节硬度。因此，气管插管是需要大量技巧和训练的过程。即使经过适当的训练，也可能难以看到声门打开并插入导管。

据估计，在院前护理期间，大约81％的气管插管是由非医生完成的，以及19％是由医生完成的。院前护理期间不可预测的环境进一步增加了成功插管的复杂性。据估计，在做气管插管时,第一次尝试的失败率高达41％。给病人插管的这种延迟会带来严重的后果。缺氧会在4分钟内导致永久性脑损伤，并在10分钟内导致死亡。

使用视频喉镜进行插管的替代方法提供了更好的视野，因为它们在喉镜的尖端上包含摄像机，因此不需要“直线视野”。摄像机将图像投射到监视器上，看着监视器，可由医生手动插入气管插管。这仍然需要大量的手工灵活性和视觉空间认知。这些也是难学的技能。使用视频喉镜的首次尝试失败率也可能很高。

当患者不能插管时，会尝试几种替代方法，包括声门上通气设备、特殊气道设备(诸如King's tube或Combitube)、面罩通气，并且在某些情况下，甚至会进行紧急环甲膜切开术——这是指在颈部和气管上切开一个切口，然后通过这个开口插入导管。正如预料，这些过程不如简单的气管插管有效，而且对病人来说可能创伤更大，会有长期后遗症。

现有技术中的大多数引导式插管系统和方法都有局限性，会导致插管过程中出现诸如较高的延迟和失败率高等问题。因此，确实需要设计一种系统和方法，其不仅可以帮助快速和成功地插管，而且可完全自主地工作，并且将操作者(或用户)的干预降到最低。可互换使用操作者和用户。

患有严重呼吸道感染(诸如COVID-19，新冠肺炎病毒)的患者可能会出现呼吸窘迫，这就需要插管和通气。由于医护人员与受感染的病人非常接近，并且会直接接触此类患者的唾液，因此他们在遵循对此类患者的护理标准的同时，本身也有感染这种疾病的风险。此外，疾病感染医护人员与其接触患者的时间和程度等因素直接相关，这使得ETI成为传播感染的高风险程序。

本发明的目的之一是克服现有技术中诸如上述的不足之处。

发明内容

“一个实施例”、“至少一个实施例”、“实施例”、“一个示例”、“示例”、“例如”等的引用表示实施例或示例可以包括特定特征、结构、特性、性质、要素或限制，但并非每个实施例或示例都必须包括该特定特征、结构、特性、性质、要素或限制。此外，短语“在实施例中”的重复使用不一定指同一个实施例。

在本发明的方面，自动化系统将侵入式医疗设备插入患者的体腔内。自动化系统包括处理电路，所述处理电路从至少一个数据源接收数据，以识别与患者体腔相关的结构，并预测用于将侵入式医疗设备插入患者体内的预期路径。处理电路还基于预期路径产生控制信号并将所述控制信号传送到至少一个致动单元，以致动侵入式医疗设备的三维运动。

处理电路可利用机器学习模型以及从数据源接收的数据来识别与患者体腔相关的结构，预测预期路径，产生控制信号并将所述控制信号传送到致动单元，以致动侵入式医疗设备的三维运动。预期路径将是一旦运动开始，设备将沿其引导侵入式医疗设备的路径。机器学习模型的生成包括接收或收集预定数据集形式的训练数据，以训练至少一个神经网络。这种神经网络的形式可以是本领域公知的基于边缘实现的深度神经网络的对象检测器。如本领域技术人员所熟知的，可替代除神经网络之外的其他形式的机器学习。预定数据集可以是但不限于图像和视频。

数据源可是成像传感器。这些传感器可包括但不限于摄像机、红外摄像机、声波传感器、微波传感器、光电探测器，或者本领域技术人员已知的其它传感器也可用于实现相同的目的。从成像传感器接收的数据可显示在用户界面上，以向操作者提供患者体腔的视图。此外，预期路径和经识别的结构可在用户界面上叠加在从成像传感器接收的数据上，以用于对操作者进行有效的视觉引导。

在本发明的示例性实施例中，自动插管系统预测插入导管的预期路径，并对至少一个致动单元产生控制信号。基于使用从至少一个成像传感器接收的数据识别的至少一个解剖结构来预测预期路径。预期路径和/或经识别的解剖结构的叠加也显示在用户界面上的从成像传感器接收的数据上，以用于插管期间的有效视觉引导。显示在用户界面上的预期路径也可由操作者调整和/或如果操作者对预期的插入路径不满意，则由操作者更改。然后，操作者可选择建议的或经调整的预期路径，供系统在插管过程中遵循。

此外，还可在用户界面上以增强现实的形式和/或对操作者提供有效的视觉引导的任何其他形式来显示预期路径的叠加。

在一个优选实施例中，自动插管系统包括：主体；弯曲部分；柔性部件，其连接主体和弯曲部分；外壳单元，其设布在弯曲部分上，所述外壳单元包括至少一个成像传感器；用于插管的导管，其设置在柔性部件和弯曲部分上；电路；用户界面；一次性和/或可重复使用的套管，所述套管一端带有刀片，用于牵引解剖结构；和至少一个致动单元，其用于致动导管的三维运动。弯曲单元的长度是可变的，并且可仅在柔性部分的尖端，或者可完全覆盖柔性部分。在其他实施例中，弯曲部分可位于柔性部件的任何部分内，这由几个因素决定，包括但不限于相关用途和需要导航的解剖结构。优选地，一次性和/或可重复使用的套管可拆卸地联接到主体上。成像传感器优选地是摄像机，尽管可采用诸如红外线、光电探测器或本领域技术人员已知的其他可行方式的传感器来实现相同的目的。

在本发明的优选实施例中，电路、用户界面和致动单元是主体的一部分。电路还包括处理电路、电源电路和通信电路。

在本发明的替代实施例中，电路和用户界面与主体分开布置在至少一个单独的盒内。

处理电路用于根据至少一种经识别的解剖结构来预测导管插入的预期路径，并产生控制信号。处理电路还用于使用从成像传感器接收的数据和至少一个预训练的机器学习模型来识别解剖结构。致动单元从处理电路接收控制信号，以致动导管的三维运动。致动单元特别使用与弯曲部分的连接来致动管在X平面和Y平面内的弯曲运动。致动单元还包括滑动机构，以通过在轨道上移动弯曲部分及其相关的致动单元来致动导管在Z平面中的滑动运动。可选地，滑动机构通过与导管的直接接触或邻接来致动导管在Z平面中的滑动运动，而不移动弯曲部分及其相关的致动单元。本领域技术人员还认识到，可使用其他三维坐标方案，诸如径向坐标、极坐标、圆柱坐标和球形坐标，来代替本文描述的x、y和z坐标。

在本发明的另一个实施例中，处理电路仅用于预测预期路径并生成控制信号，而使用成像传感器数据和机器学习模型来识别解剖结构则由单独的独立处理电路执行。

机器学习模型是通过在经标记的图像数据集上训练一个或多个神经网络而开发的计算机视觉软件的一部分，其中通过将插管程序视频的集合转换为图像文件并在图像文件上标记解剖结构来构建经标记的图像数据集。在替代实施例中，机器学习模型的生成包括接收或收集预定数据集形式的训练数据，以训练至少一个神经网络。预定数据集可以是但不限于在程序过程中记录和收集的图像、音频和视频。

在本发明的又一个实施例中，通过布置在主体外表面上的成对的上下按钮或布置在用户界面上的触摸按钮来手动产生由致动单元接收的用于致动导管的三维运动的控制信号。因此，如果操作者需要，系统提供手动致动模式。如果操作者对预定路径不满意，操作者也可使用成对的上下按钮和触摸按钮来控制自动致动。

在本发明的另一方面，提供了一种将侵入式医疗设备自动插入患者体腔内的方法，其包括将弯曲部分和布置在弯曲部分上的侵入式医疗设备插入患者体腔内。该方法包括使用布置在弯曲部分上的成像传感器收集气道数据，并将经收集的气道数据传送到处理电路，以预测侵入式医疗设备插入的预期路径并产生控制信号。然后，将控制信号传送到至少一个致动单元，以致动侵入式医疗设备的三维运动。优选地，处理电路基于对与体腔相关的至少一个结构的识别，使用从成像传感器传送的数据来预测预期路径。

此外，通过利用机器学习模型以及从成像传感器传送的数据，可由处理电路执行预期插入路径的预测和与体腔相关的结构的识别。机器学习模型的生成包括接收或收集预定数据集形式的训练数据，以训练至少一个神经网络。预定数据集可以是但不限于图像和视频。可以预见的是，本专利中公开的设备可用在除了本文描述的气道之外的不同体腔中，或者在任何这些体腔中执行不同的任务。

在本发明的示例性实施例中，提供了一种通过将弯曲部分和布置在弯曲部分上的导管插入患者气道内来对患者自动插管的方法。该方法还包括使用布置在弯曲部分上的成像传感器收集气道数据，并将经收集的气道数据传送到处理电路，以预测插入导管的预期路径，并产生用于致动导管的三维运动的控制信号。优选地，处理电路基于对至少一个解剖结构的识别，使用从成像传感器传送的数据来预测预期路径。处理电路利用机器学习模型和从成像传感器传送的数据来识别解剖结构并预测插入导管的预期路径。

该方法还可包括在用户界面上显示气道数据，以向操作者突出显示气道视图。此外，它包括在用户界面上将预期路径和经识别的解剖结构叠加在从成像传感器传送的数据上，以对操作者进行有效的视觉引导。

与全自动系统相比，半自动侵入式设备插入系统具有优势。此种系统的商业化将需要政府机构诸如FDA的监管批准，而半自动系统的途径可能更为简单且较不复杂。此外，拥有全自动系统有可能产生一层法律责任，公司可能会受到其影响。此外，尽管技术可能很好，但最好由受过训练的专业人员来监督这个过程，并在必要时手动控制它以确保正确的插管。将半自动系统与全自动系统相比，开发和生产可部署系统时的技术障碍可能会减少。最后，内置的验证和控制机制以及实施正确路径的可用性层将防止伤害，并且对患者来说更加安全。

在替代实施例中，可将互补传感器与设备集成，所述设备可提供患者的相关临床参数实时信息，诸如生命体征，包括但不限于脉搏和心率、呼吸率、氧饱和度、温度、血压；以及其他实验室结果，但不限于血气水平、葡萄糖水平以及在现有技术方面受过培训的人将知道的其他结果。

在其他实施例中，操作者可通过互联网远程连接至设备，并且可使用类似的用户界面操作该设备。

根据以下说明和权利要求，本发明的其他实施例和优选特征以及相应优势将变得明显。

附图说明

通过参考以下详细描述，更好地理解本发明的各个方面和实施例。为了更好地理解本发明，应该结合附图来阅读详细描述。

图1示出了根据本发明的、将侵入式医疗设备插入患者体内的自动化系统的示例性架构；

图2示出了根据本发明的自动插管系统的示例性实施例；

图3示出了根据本发明的自动插管系统的主体、一次性套管和导管的组件；

图4示出了根据本发明的自动插管系统的替代实施例；

图5示出了根据本发明的弯曲部分的配置；

图6示出了根据本发明的自动插管系统的示例性架构；

图7示出了根据本发明的生成机器学习模型的流程图；

图8示出了根据本发明的代表性自动插管方法的使用；以及

图9示出了根据本发明的用户界面的使用。

具体实施方式

参考本文阐述的详细附图和详细描述，可以最好地理解本公开。已经参考附图讨论了各种实施例。然而，本领域的技术人员将容易理解，本文关于附图提供的详细描述仅仅是为了解释的目的，因为方法和系统可以扩展超出所描述的实施例。例如，所呈现的教导和特定应用的需求可以产生多种备选方案和合适的方法来实现本文描述的任何细节的功能。因此，在以下实施例中，任何方法都可以扩展到某些实现选择之外。

可以通过手动、自动或它们的组合执行或实施选定的步骤或任务来实现本发明的方法。术语“方法”是指用于完成给定任务的方式、手段、技术和程序，其包括但不限于本发明所属领域的从业者已知的方式、手段、技术和程序或者容易从已知的方式、手段、技术和程序得到的那些方式、手段、技术和程序。在权利要求和说明书中呈现的描述、示例、方法和材料不应被解释为限制性的而仅是说明性的。本领域的技术人员将在本文描述的技术范围内预见许多其他可能的变化。

在阅读本发明最佳模式的示例性实施例的说明时，在下文中简称为“示例性实施例”，应根据发明人的观点，在提交专利时将示例性实施例视为实施本发明的最佳模式。由于本领域普通技术人员可以认识到基本上等同的结构或基本上等同的动作，从而以相同的方式或不同的方式获得相同的结果，因此示例性实施例不应被解释为将本发明限制于一个实施例。

对物种(或特定项目)的讨论涉及该物种所属的属(项目类别)以及该属中的相关物种。同样地，对属的叙述也涉及本领域已知的物种。此外，随着技术的发展，可以出现实现本发明的方面的许多附加替代方案。此类改进包含在它们各自的属中，并且应该被认为在功能上等同于或结构上等同于所示或所述的方面。

除非另有明确说明，否则连词(诸如“或”、“和”、“包括”或“包含”)应解释为包含性的，而非排他性的。

本领域普通技术人员应理解，框图中描述了各种结构和设备，以免模糊本发明。应当注意，在以下讨论中，除非另有说明，否则以相似的方式执行具有相似名称的动作。

前述讨论和定义是为澄清目的而提供的，而非限制性的。除非另有说明，否则词语和短语应符合其普通、直接的含义。

通过查看附图，可更好地理解本发明，其中图1是用于将侵入式医疗设备插入患者体腔内的自动化系统100的示例性架构的图示。系统包括弯曲部分101、成像传感器102、侵入式医疗设备103、至少一个致动单元104、用户界面105和电路106。电路还包括：处理电路106a，其基于来自至少一个成像传感器和机器学习模型的输入而生成控制信号；通信电路106b，其在系统的不同部件之间提供数据/信号通信；以及电源电路106c。致动单元包含滑动机构107，以在Z平面内为侵入式医疗设备提供运动。

根据系统的功能要求，处理电路106a可是单个处理器、逻辑电路、执行所有功能的专用控制器或处理辅助单元的组合。在示例性实施例中，处理电路包括两个独立的处理辅助单元106aa和106ab。处理辅助单元106aa是计算机视觉软件，其利用机器学习技术和从成像传感器102接收的数据来执行至少一个功能(106aa1，106aa2...106aaN)以用于插管过程的自动化。这些功能包括识别患者体腔周围的结构和内部的结构，以及预测将侵入式医疗设备103插入患者体内的预期路径。可选地，处理电路106aa基于来自成像传感器的输入、从多个设备的致动单元远程接收的样本历史数据或机器学习模型来预测预期路径。出于管理目的，系统还在存储器(系统中未示出)中存储用于维护设备操作日志的预期路径。设备的日志可与远程设备共享，以用于监视和控制目的。可存储或共享其他信息，诸如来自一个或多个成像传感器的图像以及可以与远程服务器共享的状态和决策点，以进一步改进机器学习模型或用于其他目的，诸如监管或培训目的。这些信息可本地存储在设备上，也可以存储在远程存储设备上，诸如服务器或云上。处理辅助单元106ab基于由处理辅助单元106aa预测的预期路径生成控制信号。由处理辅助单元106ab产生的控制信号然后经由通信电路106b从处理电路传送到致动单元104，基于此，致动单元致动弯曲部分101和滑动机构107中的至少一者，以向侵入式医疗设备提供三维运动。处理辅助单元106ab也可是致动单元104的集成部分，并且控制信号可通过无线通信电路或有线通信电路由致动单元104接收。处理电路106aa也可通过网络或无线介质与致动单元104远程连接以发送控制信号。通信电路也可是致动单元的集成部分。对于上述的每个和所有功能，上述的每个功能可以与单个功能单元内的另一个功能相结合。

通信电路106b也可分布在整个系统中，以用作双向数据/信号传输的元件。通信电路可是有线的或无线的。电源电路106c将电力分配给系统的所有单元。电源电路包括可充电电池或直流稳压电源。

致动单元104可是旋转电机、线性电机和/或旋转电机和线性电机的组合。在示例性实施例中，多个致动单元(A1，A2...An)独立地致动弯曲部分101和滑动机构107以提供三维运动。可选地，也可以使用单个致动单元彼此集成地致动弯曲部分101和滑动机构107。系统可跟踪侵入式医疗设备的运动，并将其与预期路径进行比较，以计算偏差并校准运动。校准可自动完成或通过手动干预完成。可将实际运动的数据发送到远程设备以用于监控目的。

用户界面105与处理电路106a双向通信。用户界面优选是显示设备，以显示从成像传感器102接收的数据，以及来自处理电路的识别结构和/或预期路径在从成像传感器接收的数据上的叠加，以帮助操作者进行有效的视觉引导。可选地，用户界面可以是能够使操作者与自动化系统交互的任何设备，诸如音频输入/输出端、手势使能输入端、增强现实使能系统和/或投影设备。用户界面也可是平视显示器或头戴式显示器，以支持虚拟现实形式的交互。用户界面105可用于选择建议的预期路径或更改建议的路径，并通过修改建议的预期路径来选择由操作者创建的修改的预期路径。

图2是自动插管系统200的示例性实施例，其包括：主体201；柔性部件202，其将主体连接至弯曲部分203；外壳单元204，其附接至弯曲部分。外壳单元还支撑至少一个成像传感器205、至少一个引导灯206和至少一个出口通道207。优选地，成像传感器是宽CMOS相机，并且引导灯是在系统开启时自动打开的LED灯。可选地，也可提供引导光和成像传感器的独立控制开关。

主体还包括至少一个致动单元208，以用于将从处理电路接收的控制信号转化为将导管推进患者体腔内的三维运动。致动单元208可是旋转电机、线性电机和/或旋转电机和线性电机的组合。可选地，主体201的外表面具有：至少一个按钮或旋钮209，其手动控制致动；光源210，其指示自动化系统200的电源状态；开关211，其打开或关闭自动化系统；至少一个端口212，其用于抽吸；以及导管释放开关或杆213，其将导管从主体断开。

在一个实施例中，致动单元208还包括滑动机构214。滑动机构可是致动单元的整体部分，也可是连接到致动单元的独立单元。滑动机构可以是经由齿条和小齿轮机构(未示出)连接到致动单元的可移动基板，其中小齿轮连接到致动单元以用于旋转运动，并且齿条连接到可移动基板以用于将旋转运动转换成竖直运动和/或位移。本领域的技术人员将知道用于将致动单元连接到可移动基板以实现相同滑动机构的其他方法或机构。滑动机构的主要目的是为导管提供Z平面运动。本公开不要求使用滑动机构致动单元208，如下所述，可使用多个机电系统来向侵入式医疗设备提供Z平面内的运动。

可选地，两个独立的致动单元可用于致动弯曲部分203和滑动机构214。处理电路(如图1所示)可向控制弯曲部分运动的致动单元发送X平面运动和Y平面运动的控制信号，并向与滑动机构相关联的致动单元发送Z平面运动的控制信号。

可选地，对于本领域技术人员而言显而易见的是，致动单元有多种不同的布置以用于导管的三维运动。这些可包括使用基于旋转、齿轮传动、盘绕或螺旋的致动单元以及自由浮动的致动单元。必须给予适当的关注以允许X平面和Y平面内的运动精度以及Z平面内所需的运动幅度。

用户界面215也附接至主体201，以显示从成像传感器205接收的数据。优选地，用户界面是附接到主体的显示设备。可选地，用户界面是触摸使能显示设备，其包括：触发致动的至少一个按钮；释放导管的按钮；和电源按钮(未示出)。用户界面可以是能够使操作者与自动化系统交互的任何设备，诸如音频输入端、音频输出端或手势使能输入端。在另一个实施例中，用户界面可包括提供必要的操作者反馈的智能代理。

主体201还包括电路216，电路还包括处理电路、通信电路和电源电路。

弯曲部分203连接到致动单元208。优选地，弯曲部分203经由至少一根绳索(图2中未示出)连接到致动单元208。绳索连接到致动单元，并穿过柔性部分到达并连接到弯曲部分，以致动弯曲运动和/或弯曲部分的移动。可选地，绳索可由任何可行的机械链接代替，诸如线、金属丝、线缆和链条。本领域的技术人员将知道用于将致动单元连接到弯曲部分以向弯曲部分203提供X平面和Y平面中的二维运动的其他方法或手段。

图3是将自动插管系统200的主体201与导管301和套管302组装的图示。导管可纵向布置在柔性部件202和弯曲部分203上。可选地，导管可部分地布置在柔性部件上，并部分地布置在弯曲部分上。通常，柔性部件穿过导管，以经由外壳单元204支撑的成像传感器提供呼吸道的视图。导管是但不限于气管内导管，其可包括口腔、鼻腔、带套囊、不带套囊、预成型加强、双腔支气管内导管或任何定制导管。

套管302可机械地连接到主体201，以优选地经由滑动配合连接将刀片303与主体可拆卸地连接。也可采用本领域技术人员已知的其他可行的机械连接来实现相同的目的。在套管302一个端部处的可拆卸刀片303用于在插管过程中牵引解剖结构。套管可由一次性和/或可重复使用的材料制成。

刀片303设计成改善刀片的功效，以在插管过程中提供更好的可视性，并且其形状可与传统视频喉镜的刀片相似。刀片可附加地具有集成的通道，以在插管的初始阶段引导导管。通道可是开放通道，导管可穿过该开放通道，或者可在刀片上使用凹痕、围栏、凹槽或其组合形成该通道。

当布置在柔性部件和弯曲部分上时，导管301可与滑动机构214接触。当致动单元208致动滑动机构时，导管与滑动机构的接触使得导管能够在Z平面内沿着柔性部件202和/或弯曲部分203移位。

可选地，滑动机构208在Z平面内移动弯曲部分203和相关致动单元，以在患者气管内插入并牵引弯曲部分。与弯曲部分相关联的致动单元特别设置在滑动机构的导轨(未示出)上，使得与滑动机构相关联的致动单元可相应地移动它。

导管301经由其在柔性部件202和弯曲部分203中的至少一个上的布置连接到致动单元208。致动单元致动弯曲部分，以进一步致动导管在X平面和Y平面中的弯曲运动。简单来说，弯曲部分用作导管在患者气道内引导方向的引导件。

图4是自动插管系统400的替代实施例的图示，其还包括：主体401；柔性部件402，其将主体连接至弯曲部分403；外壳单元404，其附接至弯曲部分或柔性部件。外壳单元还可支撑至少一个成像传感器405、至少一个引导灯406和至少一个出口通道407。出口通道407可用于在需要插入附加设备的情况下提供通道，诸如用于活检、抽吸和冲洗等。出口通道407可用于在需要插入附加设备的情况下提供通道，诸如用于活检、抽吸和冲洗等。主体还包括至少一个致动单元408，其可是旋转电机、线性电机和/或旋转电机和线性电机的组合。其他类型的电机对于本领域技术人员来说是显而易见的。主体401的外表面可具有以下的一些或全部：至少一个按钮或旋钮409，其手动控制致动；光源410，其指示自动化系统的电源状态；开关411，其打开或关闭自动化系统；至少一个端口412，其用于抽吸；以及导管释放开关或杆413，其在导管到达期望的位置或位点时将导管从主体和弯曲部分断开。致动单元408还可包括滑动机构414。

系统还包括用户界面415和电路416，其作为独立单元417布置在主体外部。独立单元经由线缆418连接到主体。可选地，用户界面415、电路416和系统通过无线连接(未示出)来连接。可通过蓝牙、Wifi、Zigbee、电信、NFC或在系统实现时可用的任何其他通信模式来建立无线连接。无线通信还使得设备能够随着数据传输而被远程控制。远程连接的处理电路还可在不同时间控制多个设备中的多个致动单元，并且还可向医院管理和合规部门提供集中控制。可通过实现如SSL等技术来保护系统的不同单元之间的通信。

图5是图2所示弯曲部分203配置的示例性实施例，其包括多个相互堆叠并通过铆钉502连接的独立脊椎体501。脊椎体以此种方式连接，以允许每个脊椎体围绕铆钉点部分和/或完全独立地旋转运动。每个脊椎体的旋转运动使得弯曲部分能够弯曲。脊椎体经由绳索503彼此连接，其中绳索的一端连接到致动单元(图5中未示出)，并且另一端连接到弯曲部分远端的脊椎体。脊椎体还包括布置在内侧的至少一个眼环504。来自致动单元的绳索穿过眼环，到达远端脊椎体的连接点。可选地，可采用网格或上述构造与网格的组合，或者本领域技术人员已知的其他可行的布置来实现相同的目的。

图6是自动插管系统200的示例性结构的图示，其包括弯曲部分203、成像传感器205、导管301、至少一个致动单元208、用户界面215和电路216。电路还包括：处理电路216a，其基于来自至少一个成像传感器的输入来生成控制信号；通信电路216b，其在系统的不同部件之间提供数据/信号通信；以及电源电路216c。致动单元包含滑动机构213，以提供导管在Z平面内的运动。

根据系统的功能要求，处理电路216a可是单个处理器、逻辑电路、执行所有功能的专用控制器或处理辅助单元的组合。在示例性实施例中，处理电路包括两个独立的处理辅助单元216aa和216ab。处理辅助单元216a是计算机视觉软件，其利用机器学习技术和从成像传感器205接收的数据来执行至少一个功能(216aa1，216aa2...216aaN)。这些功能包括解剖结构的识别和基于至少一个解剖结构的识别来预测供导管301插入的预期路径。处理辅助单元和/或处理电路与成像传感器205相互作用，以在插管过程中接收数据并执行前述功能。

在一个实施例中，使用成像传感器数据和机器学习技术识别解剖结构包括：检测呼吸结构，诸如气管开口、声门、声带和/或食道和气管之间的分叉。附加于或替代于检测呼吸结构，也可检测和/或识别人体的其他解剖部分。

可选地，处理电路216aa基于来自成像传感器的输入、从多个设备的致动单元远程接收的样本历史数据和机器学习模型来预测预期路径。出于管理目的，系统还在存储器(系统中未示出)中存储用于维护设备操作日志的预期路径。设备的日志可与远程设备共享，以用于监视和控制目的。处理辅助单元216ab基于由处理辅助单元216aa预测的预期路径生成控制信号。由处理辅助单元216ab产生的控制信号然后经由通信电路216b从处理电路传送到致动单元208，基于此，致动单元致动弯曲部分203和滑动机构214中的至少一者，以向侵入式医疗设备提供三维运动。处理辅助单元216ab也可是致动单元208的集成部分，并且控制信号通过无线或有线通信电路、由致动单元接收。在一种情况下，处理电路216aa通过互联网或无线介质与致动单元208远程连接，以发送控制信号。通信电路也可是致动单元的集成部分。

用户界面215与处理电路106a双向通信。用户界面优地是显示设备，以显示从成像传感器205接收的数据，并且显示从处理电路接收的经识别的解剖结构和/或预期路径的叠加，从而辅助操作者。此外，还可在用户界面上以增强现实的形式和/或为操作者提供有效的视觉引导的任何其他形式来显示预期路径的叠加。

用户界面215也可是允许操作者调整在其上显示有预期路径的触摸使能显示设备。如果操作者对插管的预期路径不满意，显示在用户界面上的预期路径也可由操作者更改。此外，它还可具有与布置在主体外表面上的按钮执行的功能相关的触摸按钮，诸如触发手动致动的按钮、导管释放按钮和/或系统电源关闭按钮。可选地，用户界面可以是能够使操作者与自动化系统交互的任何设备，诸如音频输入端、音频输出端或手势使能输入端，或者是能够由智能代理启用的任何其他控制方案。

图7是用于生成机器学习模型的说明性流程图，其包括从现有视频喉镜中收集大量插管程序视频的步骤701，以及在步骤702根据插管程序的预测难度级别分离插管程序视频的集合。使用计算机视觉模型和已知的机器学习算法的融合，能够以传统的马兰帕蒂评分或定制插管难度等级的形式自动预测难度水平。计算或预测的难度分数可嵌入视频的元数据中，以便基于计算的分数容易地检索和分离视频。这些视频可用从其他来源，包括本文描述的设备获得的视频来进行补充。本文公开的用于训练视频的视频源没有限制。

在步骤703，对分离的视频进行修剪，以去除包含与插管程序相关的解剖结构的遮挡和/或不清晰视图的视频部分。该步骤在移动到机器学习模型的广泛训练的过程之前，清除视频数据中可避免的噪声。

在步骤704中，将经修剪的视频文件转换为图像文件，然后在步骤705中，用解剖结构对图像文件进行标记，以构建经标记的图像数据集。在步骤706中，该经标记的图像数据集用作训练数据集来训练一个或多个神经网络，以生成机器学习模型。将生成的机器学习模型用在由图6的处理电路216a执行的处理辅助单元216aa(即，计算机视觉软件)中或作为所述处理辅助单元216aa的一部分，以基于从成像传感器205接收的数据在插管过程中识别至少一个解剖结构。

图8是代表性自动插管方法的使用的图示，其包括将可拆卸刀片801插入患者气道802内。与可拆卸刀片相邻，弯曲部分803和纵向布置在弯曲部分上的导管804插入到患者的气道中。该方法还包括从布置在弯曲部分上的至少一个成像传感器805收集气道数据。然后将收集的气道数据传送到至少一个处理电路806，所述处理电路利用机器学习模型和气道数据来识别至少一个解剖结构并预测供导管插入的至少一个预期路径。然后，处理电路使用预期路径来产生控制信号并将所述控制信号传送到至少一个致动单元807，以致动导管的三维运动。

具体地，由于可拆卸刀片、弯曲部分和导管直接或间接地连接到主体，所以通过将主体808引到患者的嘴附近来插入可拆卸刀片801、弯曲部分803和导管。此外，处理电路806和致动单元807优选位于主体内。

布置在弯曲部分803上的导管804的三维运动包括由弯曲部分803的二维运动引导的导管在X平面和Y平面内的弯曲运动，以及由致动单元807的滑动机构(图8中未示出)引导的导管在Z平面内的运动。通过经由绳索(图8中未示出)连接到弯曲部分的致动单元来实现弯曲部分的致动。该方法还包括在用户界面809上显示从成像传感器805传送的数据，并且在用户界面上叠加经识别的解剖结构和插入导管的预期路径。

可通过临床护理的标准方法，诸如但不限于二氧化碳检测法、X射线和超声波，来确认导管远端的位置。这些方法可直接结合到设备中，或者结合以提供对此类方法的间接支持。例如，关于二氧化碳检测法，空气中存在的二氧化碳水平可确认导管在患者体内的准确放置。这种定性或定量的确认可通过直接放置在设备上或设备内的传感器(诸如二氧化碳监控器)来提供，或者经由更间接的方法(诸如放置在成像传感器视野内的变色PH敏感条)来提供正确二氧化碳水平的确认。类似地，超声波发射器和接收器可结合到设备中，所述设备可确认正确放置导管的远端。上面讨论的技术仅仅是确认插管正确放置的许多临床方法中的一些，这些临床方法对于本领域技术人员来说是明显的。

到达患者气道内的所需位置或位点后，使用位于主体外表面的导管释放开关或杆810，使导管从主体808和弯曲部分803上释放。可选地，触摸按钮(图8中未示出)也可设置在用户界面809上，以释放或断开导管。

图9是使用用户界面901的图示，该用户界面包括显示屏902，其用于显示从至少一个成像传感器接收的数据。显示屏还显示至少一个经识别的解剖结构903和插入导管904的预期路径905的叠加。操作者也可手动调节显示在用户界面上的插入导管904的预期路径905。可选地，导管、弯曲部分、经识别的解剖结构903和插入的预期路径905的叠加以增强现实、虚拟现实或本领域技术人员已知的其他叠加形式显示在用户界面上，以向操作者提供有效的视觉引导。经识别的解剖结构的叠加还可包括注释或标记，以用于操作者在手术过程中快速识别结构。

此外，用户界面901的显示屏902可包括：成对的上下触摸按钮906，以手动控制致动和/或如果需要的话控制自动致动；系统电源开/关触摸按钮907；和导管释放触摸按钮908。

在一个实施例中，成对的上下触摸按钮906可用于选择性控制选定工作平面X、Y或Z中的手动致动。在显示屏上提供的触摸按钮909可用于在经由触摸按钮906提供输入之前选择工作平面。应当理解，尽管在图9中将触摸按钮描绘为布置在从成像传感器接收的视觉数据的边界之外，但是可改变触摸按钮的布置以向操作者提供最佳可能的视觉表示。

尽管已在辅助手术、插入或植入的背景下解释了本发明，但本发明也可实施用于实现教育或学术用途，诸如培训和演示。

说明书中的任何语言都不应当被理解为指示对于本发明的实践来说必要的任何未要求保护的要素。

对于本领域技术人员来说明显的是，在不脱离本发明精神和范围的情况下，可对本发明进行各种修改和变化。无意将本发明限制于所附的特定形式。相反，本发明旨在覆盖落入所附权利要求中限定的精神和范围内的所有修改、替代构造和等同物。因此，本发明旨在覆盖本发明提供的修改和变化，只要它们在所附权利要求及其等同物的范围内。

Claims (20)

1.一种自动插管系统，其包括：

主体；

柔性部件，其连接到所述主体；

弯曲部分，其长度是变化的，且包括至少一部分柔性部件；

外壳单元，其布置在所述柔性部件上，且包括至少一个成像传感器；

可拆卸刀片，其连接到所述主体；

导管，其纵向布置在所述柔性部件上；

处理电路，其用于预测供所述导管插入的至少一个预期路径并产生控制信号，其中基于使用从成像传感器接收的数据识别的至少一个解剖结构来预测所述预期路径；

用户界面，其用于向操作者显示至少一个预期路径，并且还允许所述操作者选择预期路径；以及

至少一个致动单元，其用于接收来自所述处理电路的控制信号，以致动所述导管沿着所述预期路径的三维运动。

2.根据权利要求1所述的自动插管系统，其中所述致动单元经由至少一个通信电路从所述处理电路接收控制信号。

3.根据权利要求1所述的自动插管系统，其中所述致动单元连接到所述弯曲部分，以致动所述导管在X平面和Y平面内的弯曲运动。

4.根据权利要求1所述的自动插管系统，其中所述致动单元包括滑动机构和旋转机构中的一者，以致动所述导管在Z平面内的滑动运动。

5.根据权利要求1所述的自动插管系统，其中所述主体包括：至少一个按钮，其触发致动；开关，其释放所述导管；和至少一个端口，其对仪器、抽吸或冲洗中的至少一者提供通道。

6.根据权利要求1所述的自动插管系统，其中所述处理电路利用机器学习模型以及从成像传感器接收的所述数据来识别至少一个解剖结构，并且随后预测预期路径并产生控制信号。

7.根据权利要求6所述的自动插管系统，其中所述机器学习模型通过以下步骤生成：

收集多个插管过程视频；

基于插管过程的预测难度水平来分离所述插管过程视频的集合；

修剪经分离的插管过程视频，以去除包含至少一个解剖结构的无遮挡和/或不清晰视图的视频部分；

将经修剪的视频转换成图像文件；

在经转换的图像文件上标记解剖结构，以构建经标记的图像数据集；以及

用所述经标记的图像数据集训练一个或多个神经网络。

8.根据权利要求1所述的自动插管系统，其中所述系统能够连接至网络，并能够由远程操作者控制。

9.根据权利要求1所述的自动插管系统，其中所述用户界面是显示设备。

10.根据权利要求1所述的自动插管系统，其中所述用户界面显示经识别的解剖结构的叠加，并在从所述成像传感器接收的所述数据上显示所述预期路径的叠加。

11.根据权利要求1所述的自动插管系统，其中显示在所述用户界面上的所述预期路径能够由操作者修改。

12.根据权利要求1所述的自动插管系统，其中当操作者对所述预期路径不满意时，能够由所述操作者更改所述导管根据所述预期路径的所述运动的致动。

13.根据权利要求1所述的自动插管系统，其中所述刀片经由一次性和/或能够重复使用的套管连接至所述主体。

14.根据权利要求1所述的自动插管系统，其中所述外壳单元还包括至少一个引导灯或至少一个出口通道。

15.一种自动对患者插管的方法，其包括，

将刀片插入所述患者的上气道内，以牵引解剖结构；

将弯曲部分和布置在所述弯曲部分上的导管插入所述患者的所述气道内；

使用布置在所述弯曲部分上的至少一个成像传感器收集气道数据；

将经收集的气道数据传送到处理电路；

使用所述处理电路预测供所述导管插入的预期路径并产生控制信号，其中所述预期路径是基于由所述处理电路使用所述经收集的气道数据识别的至少一个解剖结构来预测的；

经由用户界面显示预期路径，以向操作者显示至少一个预期路径，并且还允许所述操作者选择预期路径；以及

将由所述处理电路产生的所述控制信号传送到至少一个致动单元，以致动所述导管的三维运动。

16.根据权利要求15所述的自动对患者插管的方法，其中传送所述控制信号包括向所述致动单元传送X方向控制信号和Y方向控制信号，以用于经由所述弯曲部分弯曲所述导管。

17.根据权利要求15所述的自动对患者插管的方法，其中传送所述控制信号包括向所述致动单元传送Z方向控制信号，以经由滑动机构滑动所述导管。

18.根据权利要求15所述的方法，其中所述系统能够连接到网络，并能够由远程操作者控制。

19.根据权利要求15所述的方法，其中所述用户界面显示所述经识别的解剖结构的叠加，并在从所述成像传感器接收的所述数据上显示所述预期路径的叠加。

20.根据权利要求15所述的方法，其中显示在所述用户界面上的预期路径能够由操作者修改。