CN114520043A - 用于可视化医用管或线的放置的系统和方法 - Google Patents

Abstract

本发明题为“用于可视化医用管或线的放置的系统和方法”。本发明提供了一种图像处理系统。该图像处理系统包括显示器、处理器和存储器。该存储器存储处理器可执行代码，该处理器可执行代码在由处理器执行时使得接收患者的感兴趣区域的图像，其中医用管或线设置在感兴趣区域内，检测图像内的医用管或线，通过在图像上叠加指示医用管或线的端部的第一图形标记来生成组合图像，以及在显示器上显示组合图像。

Description

用于可视化医用管或线的放置的系统和方法

技术领域

本文公开的主题涉及医学图像处理，并且更具体地讲，涉及用于可视化医用管或线的放置的系统和方法。

背景技术

医学成像可用于可视化以医学方式放置的管或线(例如，胸管、鼻胃管、气管内导管、血管线、外周置入中心静脉导管(PICC)、导管等)。然而，医务人员(例如，医生、放射科医生、技术人员等)可能难以可视化这些以医学方式放置的管或线。此外，医务人员可能未受过训练或经验不足，这可能妨碍他们识别以医学方式放置的管或线并确定其是否被正确放置的能力。此外，医务人员可能必须手动进行测量(这可能是耗时的)以确定以医学方式放置的管或线是否正确放置。然而，如果以医学方式放置的管或线被错放，则需要快速干预以将管或线移动到适当的位置以获得患者安全。

发明内容

下文示出了本文所公开的某些实施方案的概述。应当理解，提供这些方面仅仅是为了向读者提供这些特定实施方案的简要概述，并且这些方面并非旨在限制本公开的范围。实际上，本公开可涵盖下文可能未示出的各个方面。

根据一个方面，提供了图像处理系统。该图像处理系统包括显示器、处理器和存储器。该存储器存储处理器可执行代码，该处理器可执行代码在由处理器执行时使得接收患者的感兴趣区域的图像，其中医用管或线设置在感兴趣区域内，检测图像内的医用管或线，通过在图像上叠加指示医用管或线的端部的第一图形标记来生成组合图像，以及在显示器上显示组合图像。

根据另一个实施方案，提供了一种用于医学图像处理的方法。该方法包括经由处理器接收患者的感兴趣区域的图像，其中医用管或线设置在感兴趣区域内，经由处理器检测图像内的医用管或线，经由处理器通过在图像上叠加指示医用管或线的端部的第一图形标来生成组合图像，并且经由处理器使得组合图像显示在显示器上。

根据另一个实施方案，提供了一种非暂态计算机可读介质。该计算机可读介质包括处理器可执行代码，该处理器可执行代码被构造成接收患者的感兴趣区域的图像，其中医用管或线设置在感兴趣区域内，检测图像内的医用管或线以及图像内的感兴趣区域内的参考标志，通过在图像上叠加指示医用管或线的端部的第一图形标记并且在图像上叠加指示参考标志的第二图形标记来生成组合图像，并且将组合图像显示在显示器上。

附图说明

参考附图阅读以下详细描述时，将更好地理解本发明主题的这些和其他特征、方面和优点，附图中相同的符号在整个附图中表示相同的部分，其中：

图1为状况比较器的实施方案的示意图；

图2为临床进展分析装置的实施方案的示意图；

图3为学习神经网络的实施方案的示意图；

图4为作为卷积神经网络的图3中神经网络的特定实施方式的实施方案的示意图。

图5为图像分析卷积神经网络的实施方案的示意图；

图6A为应用学习网络来处理和/或以其他方式评估图像的配置的实施方案的示意图∶

图6B为多个学习网络的组合的实施方案的示意图；

图7为学习网络的训练阶段和部署阶段的实施方案的示意图；

图8为利用经训练的网络包来提供深度学习产品供应的产品的实施方案的示意图∶

图9A至图9C为各种深度学习设备配置的实施方案的示意图；

图10为图2的人工智能分类器的实施方式的实施方案的示意图，该人工智能分类器用于处理图像数据以供人工智能模型使用以量化状况；

图11为用于确定以医学方式放置的管或线在感兴趣区域内的放置的方法的实施方案的流程图；

图12为识别患者体内的管或线的组合图像的示例；

图13为具有识别患者体内的管或线的组合图像的用户界面的示意图；并且

图14为被构造成执行示例性机器可读指令以实现本文所公开和所述的部件的处理器平台的实施方案的示意图。

具体实施方式

在下面将描述一个或多个具体的实施方案。为了提供这些实施方案的简明描述，并非实际具体实施的所有特征都要在说明书中进行描述。应当理解，在任何此类实际具体实施的开发中，如在任何工程或设计项目中，必须做出许多特定于具体实施的决策以实现开发者的具体目标，诸如遵守可能因具体实施而不同的系统相关和业务相关约束。此外，应当理解，此类开发努力可能是复杂且耗时的，但对于受益于本公开的普通技术人员来说仍然是设计、制作和制造的常规任务。

介绍本发明主题的各种实施方案的要素时，冠词“一个”、“一种”、“该”和“所述”旨在表示存在一个或多个(种)所述要素。术语“包括”、“包含”和“具有”旨在是包含性的，并且意指除了列出的元件之外还可存在附加元件。此外，以下讨论中的任何数值示例旨在非限制性的，并且因此附加的数值、范围和百分比在所公开的实施方案的范围内。

成像设备(例如，γ相机、正电子发射断层成像(PET)扫描仪、计算机断层成像(CT)扫描仪、X射线机、荧光检查机、磁共振(MR)成像机、超声扫描仪等)生成表示身体部位(例如，器官、组织等)的医学图像(例如，原始医学数字成像与通信(DICOM)图像)以诊断和/或治疗疾病。医学图像可包括体数据，其包括与医学图像中捕获的身体部位相关联的体素。医学图像可视化软件允许临床医生分割、注释、测量和/或报告医学图像的各个位置上的功能或解剖特性。在一些示例中，临床医生可利用医学图像可视化软件以医学图像来识别感兴趣区域。

医学图像数据的采集、处理、质量控制、分析和存储对医疗保健环境中患者的诊断和治疗起着重要作用。医学成像工作流以及该工作流中涉及的设备可在医学成像工作流和设备的整个操作中配置、监测和更新。机器和/或深度学习可用于帮助配置、监测和更新医学成像工作流和设备。

某些示例提供和/或促进经改善的成像设备，由此提高诊断准确性和/或覆盖率。某些示例促进经改善的图像重建和进一步处理，从而提高诊断准确性。

某些示例提供了包括人工智能分类器的图像处理装置。例如，分类器可以检测、分割和量化病变。分类器可以是用于查找、分割等的正或负的离散输出。例如，分类器可实例化机器学习和/或其他人工智能以检测、分割和分析医疗设备(例如，以医学方式放置的管或线)的存在。例如，分类器可实例化机器学习和/或其他人工智能以检测以医学方式放置的管或线的端部，检测参考标志或解剖标志，确定以医学方式放置的管或线相对于参考标志或解剖标志的位置，测量以医学方式放置的管或线的端部与参考标志之间的距离，并且确定管或线是否正确放置。

例如，机器学习技术(不论是深度学习网络，还是其他体验/观察学习系统)可用于定位图像中的对象，理解语音并且将语音转换为文本，并且提高搜索引擎结果的相关性。深度学习是机器学习的子集，该机器学习使用一套算法以使用具有多个处理层(包括线性和非线性变换)的深度图对数据中的高层抽象化进行建模。虽然许多机器学习系统都是先植入初始特征和/或网络权重、再通过机器学习网络的学习和更新加以修改，但是深度学习网络是通过训练自身来识别分析的“良好”特征。使用多层架构时，采用深度学习技术的机器对原始数据的处理可好于使用常规机器学习技术的机器。使用评估或抽象化的不同层促进了各组高度相关的值或区别性主题的数据检查。

在本说明书和权利要求书中，以下术语自始至终都采取与本文明确相关联的含义，除非上下文另外清楚指明。术语“深度学习”是利用多个数据处理层来识别数据集中的各种结构并且以高准确性对这些数据集进行分类的机器学习技术。深度学习网络可以是基于多个输入和输出来学习模式的训练网络(例如，训练网络模型或设备)。深度学习网络可以是由训练网络生成并且响应于输入而提供输出的所部署的网络(例如，所部署的网络模型或设备)。

术语“监督学习”是向机器提供来自人类来源的已分类数据的深度学习训练方法。术语“无监督学习”是不向机器给予已分类数据而是使机器可用于异常检测的深度学习训练方法。术语“半监督学习”是这样的深度学习训练方法，其中向机器提供少量来自人类来源的分类数据，相比之下，更大量的未分类数据可供机器使用。

术语“表示学习”是将原始数据变换为可在机器学习任务中利用的表示或特征的方法领域。在监督学习中，经由标记输入来学习特征。

术语“卷积神经网络”或“CNN”是用于在深度学习中检测、分割和识别数据集中的相关对象和区域的互连数据的生物启发网络。CNN以多个阵列的形式评估原始数据，将数据分为一系列级，检查数据中学习到的特征。

术语“迁移学习”是机器存储正确地或不正确地解决一个问题时所使用的信息来解决与第一问题相同或类似性质的另一个问题的过程。迁移学习可也称为“归纳学习”。例如，迁移学习可利用来自先前任务的数据。

术语“主动学习”是机器选择要接收训练数据的一组示例而不是被动地接收外部实体所选的示例的机器学习过程。例如，当机器学习时，可允许机器选择机器确定将对学习最有用的示例，而非仅仅依赖外部人类专家或外部系统来识别和提供示例。

术语“计算机辅助检测”或“计算机辅助诊断”是指出于建议可能的诊断的目的而分析医学图像的计算机。

某些示例使用神经网络和/或其他机器学习来实现用于图像和相关联患者分析的新工作流，包括基于可在放射学检查的护理点处生成和递送的放射学发现来生成警报。某些示例使用人工智能(AI)算法来处理一个或多个成像检查(例如，图像或图像集)，并且基于自动检查分析来提供警报。警报(例如，包括通知、推荐、其他动作等)可以旨在用于获取检查的技术人员、临床团队供应方(例如，护士、医生等)、放射科医生、行政人员、手术人员、和/或甚至患者。例如，警报可以用于指示检查图像数据中的特定或多个质量控制和/或放射学发现或其缺乏。

在某些示例中，AI算法可以(1)嵌入成像设备内，(2)在移动设备(例如，平板电脑、智能电话、膝上型电脑、其他手持式或移动计算设备等)上运行，并且/或者(3)在云中运行(例如，在内部或外部)，并且经由web浏览器(例如，其可能出现在放射学系统、移动设备、计算机等上)递送警报。此类配置可以是供应商中立的并且与传统成像系统兼容。例如，如果AI处理器在移动设备上和/或在“云”中运行，则配置可以按下列方式接收图像：(A)直接从X射线和/或其他成像系统(例如，建立为辅助推送目的地，诸如医学数字成像和通信(DICOM)节点等)，(B)通过键入图片存档和通信系统(PACS)目的地以进行冗余图像访问，(C)通过经由嗅探器方法检索图像数据(例如，一旦生成DICOM图像就将其从系统中拉出)等。

某些示例提供了用于基于使用人工智能(AI)模型(诸如深度学习网络模型、机器学习网络模型等)实例化和/或由该人工智能(AI)模型驱动的算法的输出来确定疾病和/或其他病症的进展的装置、系统、方法等。例如，可基于AI检测算法的输出来确定以医学方式放置的管或线(例如，胸管、鼻胃管、气管内导管、血管线、外周置入中心静脉导管、导管等)的存在。此外，可基于AI检测的输出(例如，医用管或线是否正确放置)来确定医用管或线在感兴趣的区域(例如，肺、胃、血管系统等)内的放置。

因此，某些示例提供了用于基于应用于患者数据的AI分类算法来检测在患者的感兴趣区域内的以医学方式放置的管或线以及该管或线是否正确地放置在感兴趣区域内的系统和方法。示例性方法包括检测图像中以医学方式放置的管或线的存在；检测该图像中的以医学方式放置的管或线的端部；检测该图像中的参考标志或解剖标志；确定该以医学方式放置的管或线的端部是否相对于该参考标志或解剖标志正确放置；和/或向护理人员提供关于该以医学方式放置的管或线是否相对于参考标志或解剖标志正确放置的通知。在某些实施方案中，A1分类算法可检测以医学方式放置的线或管的存在；用彩色图形叠层以图形方式标记该以医学方式放置的线或管；检测该以医学方式放置的线或管的端部(例如，远侧端部)；以图形方式标记该以医学方式放置的管或线的端部；检测参考标志或解剖标志(例如，用于确定管或线相对于该标志的正确放置)；以图形方式标记该参考标志或解剖标志；计算该以医学方式放置的管或线的端部之间的距离；和/或计算并提供置信度度量(例如，针对所计算的距离、针对以医学方式放置的管或线的存在的确定、针对检测管或线的端部的准确性、针对检测参考标志或解剖标志的准确性等)。AI分类算法基于具有或不具有以医学方式放置的管或线的图像、具有正确放置的管或线的图像、具有错放的管或线的图像、具有参考标志或解剖标志的图像、和/或不具有参考标志或解剖标志的图像来训练。

例如，重症监护环境中的患者接收胸部x-射线(或其他区域)以监测以医学方式放置的管或线的放置。如果管或线被错放，则医疗团队可能需要进行更快的干预，以正确地放置医用管或线。人工智能分类器可检测以医学方式放置的管或线的存在，检测以医学方式放置的管或线的端部，检测参考标志或解剖标志，并且评估管或线是否正确放置。例如，可在护理点处、在设备(例如，成像设备、成像工作站等)上生成警示并输出警示，以向临床护理团队通知和/或以其他方式提供指令(例如，管被正确放置或未被正确放置的通知，或移除管或线的指令、沿特定方向移动管或线等)。

本文所述的技术提供了更快的手段来确定以医学方式放置的管或线是否不正确地放置。这使得能够更快地干预以确保管或线处于适当的位置以获得患者安全。此外，这减轻了向患者提供帮助的医疗团队(尤其是可能未经培训或缺乏经验的那些人员)的一些负担。

深度学习是采用表示学习方法的一类机器学习技术，其允许机器被给予原始数据并且确定数据分类所需的表示。深度学习使用用于改变深度学习机器的内部参数(例如，节点权重)的反向传播算法来确定数据集中的结构。深度学习机器可利用多种多层架构和算法。例如，虽然机器学习涉及识别要用于训练网络的特征，但深度学习处理原始数据来识别感兴趣特征而无需外部识别。

神经网络环境中的深度学习包括许多称为神经元的互连节点。由外部来源激活的输入神经元基于受机器参数控制的与其他神经元的连接来激活这些其他神经元。神经网络以基于其自身参数的一定方式起作用。学习改善机器参数，并且广义来说，改善网络中的各神经元之间的连接，使得神经网络以所需方式起作用。

利用卷积神经网络的深度学习使用卷积滤波器来分割数据以定位并且识别数据中学习到的可观测特征。CNN架构的每个滤波器或层变换输入数据以增加数据的选择性和不变性。数据的该抽象化允许机器聚焦于数据中其尝试分类的特征并且忽略不相关的背景信息。

深度学习的操作建立在许多数据集包括高级特征而高级特征又包括低级特征这一理解上。例如，当检查图像时，并不查找对象，更有效的做法是查找边缘，边缘形成模体，模体形成部分，部分形成要寻找的对象。特征的这些层次可见于许多不同形式的数据，诸如语音和文本等。

学习到的可观测特征包括机器在监督学习期间学习到的对象和可量化正则性。设置有有效分类的数据的大集合的机器更有条件区分并且提取与新数据的成功分类相关的特征。

利用迁移学习的深度学习机器可将数据特征正确地连接到由人类专家确认的某些分类。相反，同一机器可在人类专家告知分类错误时更新用于分类的参数。例如，可通过学习到的设置和/或其他配置信息的使用来引导设置和/或其他配置信息，并且当系统被使用更多次(例如，反复使用和/或由多个用户使用)时，对于给定情况而言，可减少设置和/或其他配置信息的变化和/或其他可能性的数量。

例如，可使用专家分类数据集来训练示例性深度学习神经网络，对其进行分类并进一步注释以进行对象定位。该数据集构建了神经网络的第一参数，并且这将成为监督学习阶段。在监督学习阶段期间，可测试神经网络是否已实现所需行为。

一旦已实现所需神经网络行为(例如，机器经过训练以根据指定阈值来操作等)，就可部署机器以便使用(例如，使用“真实”数据来测试机器等)。在操作期间，可(例如，由专家用户、专家系统、参考数据库等)确认或拒绝神经网络分类以继续改善神经网络行为。然后示例性神经网络处于迁移学习状态，因为确定神经网络行为的分类参数基于正在进行的交互来更新。在某些示例中，神经网络可向另一个过程提供直接反馈。在某些示例中，神经网络输出的数据先经过缓冲(例如经由云等)和验证，再提供给另一个过程。

使用卷积神经网络(CNN)的深度学习机器可用于图像分析。CNN分析的阶段可用于自然图像中的面部识别、计算机辅助诊断(CAD)等。

可使用诸如x射线、计算机断层成像(CT)、分子成像与计算机断层成像(MICT)、磁共振成像(MRI)等一种或多种成像模式来采集高质量医学图像数据。医学图像质量通常不受产生图像的机器的影响，而是受患者的影响。例如，患者在MRI期间移动可形成模糊或畸变图像，从而可妨碍准确诊断。

在不考虑质量的情况下解释医学图像仅仅是最近的发展。医学图像大部分由医师解释，但这些解释可能带有主观性，受到医师在本领域中的经验和/或疲劳状况的影响。经由机器学习的图像分析可支持医疗保健从业者的工作流程。

例如，深度学习机器可提供计算机辅助检测支持以在图像质量和分类方面改进其图像分析。然而，应用于医疗领域的深度学习机器所面临的问题通常会引起许多错误分类。例如，深度学习机器必须克服小的训练数据集并且需要反复调节。

例如，深度学习机器在经过最少训练的情况下可用于确定医学图像的质量。半监督和无监督深度学习机器可用于定量测量图像的质量方面。例如，可在已采集图像之后利用深度学习机器来确定图像的质量是否足以用于诊断。监督深度学习机器可也用于计算机辅助诊断。例如，监督学习可有助于减少错误分类敏感性。

深度学习机器可在与医师交互时利用迁移学习来抵消监督训练中可用的小数据集。这些深度学习机器可随时间推移通过训练和迁移学习来改进其计算机辅助诊断。

图1示出了示例性状况比较器装置100，其包括多个输入110、115，人工智能(AI)分类器120和输出比较器130。每个输入110、115被提供给AI分类器120，该AI分类器对相应输入110、115中的图像和/或其他信息进行分类，以识别输入110、115中的状况并基于输入110、115生成所识别状况的指示。在某些实施方案中，AI分类器120可对相应输入110、115中的图像和/或其他信息进行分类，以识别以医学方式放置的管或线(例如，胸管、鼻胃管、气管内导管、血管线、外周置入中心静脉导管、导管等)，并且识别与线的类型及其期望位置相关的参考标志或解剖标志。使用示例性比较器装置100，其可确定管或线的端部是否相对于参考标志或解剖标志适当地放置在患者的感兴趣区域内。具体地讲，可定位管或线的端部和参考标志或解剖标志两者，并且确定管或线的端部是否相对于参考标志或解剖标志正确放置。在确定管或线的端部是否正确放置时，可测量管或线的端部与参考标志或解剖标志之间的距离。置信度度量(例如，针对计算的距离，针对以医学方式放置的管或线的存在的确定，针对检测管或线的端部的准确性、针对检测参考标志或解剖标志的准确性等)可经由用户可感知的通知来计算和/或提供，或者存储以供进一步参考。此外，可提供关于以医学方式放置的管或线是否正确放置的通知或警示。如果管或线未正确放置，则可经由通知或警示(例如，与在某个方向上移动管或线相关)提供另外的指令。

图2示出了可基于图1的示例性状况比较器100构造的示例性临床进展分析装置200。示例性装置200包括数据源210、人工智能(AI)分类器220、数据存储装置230、比较器240、输出生成器250和触发器260。输入110、115可以由数据源210(例如，合并到装置200中和/或以其他方式连接到该装置等的存储设备、成像设备等)提供给AI分类器220。

示例性分类器220随时间推移处理输入以将来自数据源210的输入与分类相关联。因此，A1分类器220处理输入图像数据和/或其他数据以识别输入数据中的状况，并且根据一个或多个状态(例如，管或线存在、管或线不存在、参考标志或解剖标志存在、参考标志或解剖标志不存在、管或线正确放置、管或线错放)对该状况进行分类，如由公式、阈值和/或其他标准所指定的。在某些实施方案中，AI分类器220处理输入图像数据和/或其他数据以检测以医学方式放置的管或线，并且确定该以医学方式放置的管或线的端部是否正确放置。例如，AI分类器220的输出可以存储在数据存储装置230中。

随着时间推移，可以生成由AI分类器220相对于来自数据源210的相同类型的输入110、115(例如，在时间t0和t1处获取的相同患者的肺MR图像等)做出的分类，并且将其存储在数据存储装置230中。将分类提供给比较器240，该比较器将在两个或更多个不同时间处(例如，在插入管或线之前以及在插入管或线之后)的分类进行比较，以识别以医学方式放置的管或线，并且确定该以医学方式放置的管或线的端部是否正确放置。例如，在时间t0处，管或线可不存在于感兴趣的区域中，并且在时间t1处或稍后时间处，管或线的端可被放置在感兴趣的区域内的位置中(其可正确地放置或可不正确地放置)。

比较器240提供了指示趋势/进展的结果。在某些实施方案中，比较器240提供指示以医学方式放置的管或线的端部的放置的结果。输出生成器250将该结果转变为可显示、存储、提供给另一个系统以用于进一步处理的输出，诸如警报、命令、患者护理(例如，护理点警报系统、成像/放射学工作站、计算机辅助诊断(CAD)处理器、调度系统、医疗设备等)的调整等。

触发器260协调数据源210、AI分类器220、数据存储装置230、比较器240和输出生成器250之间的动作。触发器260可以启动数据从数据源210到分类器220的输入、由比较器240进行的来自数据存储装置230的结果的比较、由输出生成器250进行的输出。因此，触发器260用作装置200的元件之间的协调器。

图3是示例性学习神经网络300的表示。示例性神经网络300包括层320、340、360和380。层320和340使用神经连接330来连接。层340和360使用神经连接350来连接。层360和380使用神经连接370来连接。数据经由输入312、314、316从输入层320向前流到输出层380并到达输出390。

层320是输入层，其在图3的示例中包括多个节点322、324、326。层340和360是隐藏层，并且在图3的示例中包括节点342、344、346、348、362、364、366、368。神经网络300可包括比所示的更多或更少的隐藏层340和360。层380是输出层，并且在图3的示例中包括具有输出390的节点382。每个输入312至316对应于输入层320的节点322至326，并且输入层320的每个节点322至326具有到隐藏层340的每个节点342至348的连接330。隐藏层340的每个节点342至348具有到隐藏层360的每个节点362至368的连接350。隐藏层360的每个节点362至368具有到输出层380的连接370。输出层380具有输出390以提供来自示例性神经网络300的输出。

在连接330、350和370中，某些示例性连接332、352、372可被赋予增加的权重，而其他示例性连接334、354、374可在神经网络300中被赋予较小的权重。例如，通过经由输入312至316接收输入数据来激活输入节点322至326。通过数据分别经由连接330和350向前流过网络300来激活隐藏层340和360的节点342至348和362至368。在经由连接370发送在隐藏层340和360中处理的数据之后，激活输出层380的节点382。当输出层380的输出节点382被激活时，节点382基于在神经网络300的隐藏层340和360中完成的处理来输出适当的值。

图4示出了作为卷积神经网络400的示例性神经网络300的特定实施方式。如图4的示例中所示，将输入310提供给第一层320，该第一层处理输入310并将该输入传播到第二层340。输入310在第二层340中进一步被处理并被传播到第三层360。第三层360对要提供给输出层e80的数据进行分类。更具体地讲，如图4的示例中所示，将卷积404(例如，5×5卷积等)应用于第一层320中的输入310(例如，32×32数据输入等)的部分或窗口(也称为“接受域”)402以提供特征映射406(例如，(6×)28×28特征映射等)。卷积404将来自输入310的元素映射到特征映射406。第一层320还提供了子采样(例如，2×2子采样等)以生成减小的特征映射410(例如，(6×)14×14特征映射等)。特征映射410发生卷积412并且从第一层320传播到第二层340，在第二层中，特征映射410变为扩展的特征映射414(例如，(16×)10×10特征映射等)。在第二层340中的子采样416之后，特征映射414变为减小的特征映射418(例如，(16×)4×5特征映射等)。特征映射418发生卷积420并且传播到第三层360，在第三层中，特征映射418变为分类层422，从而形成例如具有到卷积层422的连接426的N个类别的输出层424。

图5是图像分析卷积神经网络500的示例性实施方式的表示。卷积神经网络500接收输入图像502，并且在卷积层504中将该图像抽象化以识别学习到的特征510至522。在第二卷积层530中，图像被变换为多个图像530至538，其中学习到的特征510至522各自在相应子图像530至538中加强。进一步处理图像530至538以聚焦于图像540至548中的感兴趣特征510至522。然后通过池化层处理所得图像540至548，该池化层减小图像540至548的尺寸以分离包括感兴趣特征510至522在内的图像540至548的部分550至554。卷积神经网络500的输出550至554从最后非输出层接收值，并且基于从最后非输出层接收到的数据对图像进行分类。在某些示例中，卷积神经网络500可包含卷积层、池化层、学习的特征和输出等的许多不同变型。

图6A示出了应用学习(例如，机器学习、深度学习等)网络来处理和/或以其他方式评估图像的示例性配置600。机器学习可应用于多种过程，包括图像采集、图像重建、图像分析/诊断等。如图6A的示例性配置600中所示，原始数据610(例如，从成像扫描仪诸如x射线、计算机断层成像、超声、磁共振等扫描仪获得的原始数据610，诸如声谱图原始数据等)被馈入学习网络620。学习网络620处理数据610以将原始数据620相关联和/或以其他方式组合到已处理数据630(例如，所得图像等)(例如，“良好质量”图像和/或其他提供足以诊断的质量的图像等)中。学习网络620包括节点和连接(例如，路径)以将原始数据610与已处理的数据630相关联。例如，学习网络620可为训练网络，其学习这些连接并且处理反馈以建立连接并识别模式。例如，学习网络620可为所部署的网络，其由训练网络生成，并且利用在训练网络中建立的连接和模式来获取输入原始数据610并生成所得图像630。

一旦学习620经过训练并从原始图像数据610产生良好图像630，网络620就可继续“自学习”过程并且在操作时改善其性能。例如，输入数据(原始数据)610中存在“冗余”，并且网络620中存在冗余，并且可利用该冗余。

如果检查分配给学习网络620中的节点的权重，则可能存在许多具有极低权重的连接和节点。低权重指示这些连接和节点对学习网络620的整体性能的贡献很少。因此，这些连接和节点是冗余的。可评估此类冗余以减少输入(原始数据)610中的冗余。例如，减少输入610冗余可节省扫描仪硬件，降低对部件的要求，并且还减少对患者的暴露剂量。

在部署中，配置600形成包600，其包括输入定义610、经训练的网络620和输出定义630。可以相对于另一个系统(诸如成像系统、分析引擎等)来部署和安装包600。图像增强器625可以利用学习网络620和/或以其他方式与该学习网络一起工作以处理原始数据610并提供结果(例如，已处理图像数据和/或其他已处理数据630等)。例如，经训练的学习网络620的节点之间的路径和连接使得图像增强器625能够处理原始数据610以形成图像和/或其他已处理的数据结果630。

如图6B的示例中所示，学习网络620可与多个学习网络621至623链接和/或以其他方式组合在一起而形成更大的学习网络。例如，网络620至623的组合可用于进一步改善对输入的响应和/或将网络620至623分配给系统的各个方面。

在一些示例中，在操作中，可最初将“弱”连接和节点设定为零。然后学习网络620在保持过程中处理其节点。在某些示例中，不允许在重新训练期间改变被设定为零的节点和连接。考虑到网络620中存在冗余，很有可能会生成同样好的图像。如图6B所示，在重新训练之后，学习网络620变为DLN 621。还检查学习网络621以识别弱连接和节点，并且将它们设定为零。该进一步重新训练的网络是学习网络622。示例性学习网络622包括学习网络621中的“零点”以及节点和连接的新集合。学习网络622继续重复该处理直到在学习网络623(其称为“最小可行性网(MVN)”)处达到良好图像质量。学习网络623之所以为MVN，是因为如果试图在学习网络623中将附加连接或节点设定为零，则图像质量会变差。

一旦已用学习网络623获得MVN，就将“零”区域(例如，图中的不规则暗区域)映射到输入610。每个暗区可能映射到输入空间中的一个或一组参数。例如，零区域之一可与原始数据中的视图数量和通道数量联系起来。由于可减少与这些参数相对应的网络623中的冗余，因此很有可能可减少输入数据并且该输入数据可生成同样好的输出。为了减少输入数据，获得与减少的参数相对应的新的原始数据集并且通过学习网络621运行该新的原始数据集。可简化或可不简化网络620至623，但处理学习网络620至623中的一者或多者直到达到原始数据输入610的“最小可行性输入(MVI)”。在MVI处，输入原始数据610的进一步减少可导致图像630质量降低。例如，MVI可使得数据采集的复杂性降低、对系统部件的要求更少、患者的紧张感减轻(例如，屏气或造影剂更少)和/或对患者的剂量减少。

通过使学习网络620至623中的一些连接和节点强制变为零，网络620至623构建“侧支”来补偿。在该过程中，获得对学习网络620至623的拓朴结构的洞察。应当注意，网络621和网络622例如具有不同拓朴结构，这是由于已强制一些节点和/或连接变为零。从网络有效移除连接和节点的该过程超出了“深度学习”，并且可称为例如“深度-深度学习”。

在某些示例中，输入数据处理和深度学习阶段可被实现为单独系统。然而，作为单独系统，两个模块可能都不知晓用于选择感兴趣/重要的输入参数的更大的输入特征评估回路。由于输入数据处理选择对产生高质量输出很重要，因此来自深度学习系统的反馈可用于经由模型来执行输入参数选择优化或改进。并非通过在整个输入参数集内扫描来形成原始数据(例如，这是强力的且昂贵的)，而是可实现主动学习的变型。使用主动学习的该变型，可确定起始参数空间以在模型中产生所需或“最佳”结果。然后可随机减小参数值以生成原始输入，这会降低结果的质量，同时仍保持质量的可接受范围或阈值，并且通过处理对模型质量没有什么影响的输入来缩短运行时间。

图7示出了学习网络的示例性训练和部署阶段，诸如深度学习或其他机器学习网络。如图7的示例中所示，在训练阶段，向网络704提供一组输入702以便进行处理。在该示例中，该组输入702可包括待识别的图像的面部特征。网络704沿正向706处理输入702以关联数据元素并识别模式。网络704确定输入702表示肺结节708。在训练中，将网络结果708与已知结果712进行比较710。在该示例中，已知结果712是正面胸部(例如，输入数据集702表示正面胸部识别，而不是肺结节)。由于网络704的确定708与已知结果712不匹配710，因此生成错误714。错误714沿着通过网络704的后向通路716触发对已知结果712和相关联数据702的反向分析。因此，训练网络704通过网络704从前向通路706和后向通路716学习数据702、712。

一旦网络输出708与已知输出712的比较根据特定标准或阈值匹配710(例如，匹配n次，匹配大于x％等)，训练网络704就可以用于生成用于与外部系统部署的网络。一旦被部署，就向所部署的学习网络722提供单个输入720以生成输出724。在这种情况下，基于训练网络704，部署的网络722确定输入720是正面胸部724的图像。该相同的方法可用于确定管或线、参考标志或解剖标志和/或管或线的正确放置。

图8示出了利用经训练的网络包来提供深度学习和/或其他机器学习产品供应的示例性产品。如图8的示例中所示，提供输入810(例如，原始数据)以便进行预处理820。例如，对原始输入数据810进行预处理820以检查格式、完整性等。一旦已对数据810进行了预处理820，就将其馈送到经训练的网络840进行处理。基于学习的模式、节点和连接，训练网络840基于输入的补丁确定输出。组装850输出(例如，组合和/或以其他方式分组在一起以生成可用输出等)。然后将输出显示860和/或以其他方式输出给用户(例如，人类用户、临床系统、成像模态、数据存储(例如，云存储、本地存储、边缘设备等)等)。

如上所讨论，可将学习网络包装为供训练、部署和应用于多种系统之用的设备。图9A至图9C示出了各种学习设备配置。例如，图9A示出了一般学习设备900。示例性设备900包括输入定义910、学习网络模型920和输出定义930。输入定义910可包括经由网络920转化为一个或多个输出930的一个或多个输入。

图9B示出了示例性训练设备901。即，训练设备901是被配置为训练学习网络设备的设备900的示例。在图9B的示例中，将多个训练输入911提供给网络921以在网络921中开发连接并提供由输出评估器931评估的输出。然后，输出评估器931将反馈提供到网络921中，以进一步开发(例如，训练)网络921。可以将附加输入911提供给网络921，直到输出评估器931确定网络921被训练(例如，输出已经根据特定阈值、误差幅度等满足输入到输出的已知相关性)。

图9C示出了示例性部署设备903。一旦训练设备901已经学习到必要水平，就可以部署训练设备901以供使用。例如，虽然训练设备901通过处理多个输入来学习，但部署的设备903通过处理单个输入来确定输出。如图9C的示例中所示，所部署的设备903包括输入定义913、经训练的网络923和输出定义933。例如，一旦网络921已经过充分训练，就可由网络921生成经训练的网络923。部署的设备903接收系统输入913并且经由网络923处理输入913以生成输出933，然后例如已与部署的设备903相关联的系统可使用该输出。

在某些示例中，可以通过对患者的相关联图像数据的AI驱动分析来确定状况(例如，管或线的放置)的识别和进展。

图10示出了AI分类器220的示例性实施方式，该AI分类器用于处理图像数据以供AI模型用来量化状况(例如，管或线的放置)。分类器220的示例性实施方式使得能够对包括器官区域和器官区域内的感兴趣区域的一个或多个图像进行注释。图10的示例性分类器220包括图像分割器1010、掩模组合器1020、和状况比较器1040。

示例性图像分割器1010用于识别输入图像中的第一掩模和第二掩模。例如，图像分割器1010处理图像以在图像中识别的器官区域内分割感兴趣区域以获得第一掩模。第一掩模是分割掩模，其是包括图像中的感兴趣区域并且排除图像的其余部分的过滤器。例如，可以将掩模应用于图像数据以排除除了感兴趣区域之外的所有区域。可以使用卷积神经网络模型(例如，诸如图4至图5所示的网络400、500、生成对抗网络等)来获得掩模。图像分割器1010进一步处理图像以根据一个或多个标准来分割器官区域以获得第二掩模。例如，第二掩模可以表示器官区域、器官区域的在感兴趣区域之外的面积等。

例如，如果器官区域是肺(和周围区域诸如气管)，并且感兴趣区域是在气管中识别的管或线，则生成第一掩模以识别以医学方式放置的管或线，并且生成第二掩模以识别整个器官区域。在另一个实施方案中，如果器官区域是胃，并且感兴趣区域是在胃中识别的管或线，则生成第一掩模以识别以医学方式放置的管或线，并且生成第二掩模以识别整个器官区域。例如，如果器官区域是心脏(和周围区域诸如静脉或其他脉管系统)，并且感兴趣区域是在心脏附近的静脉或其他脉管系统中识别的管或线，则生成第一掩模以识别以医学方式放置的管或线，并且生成第二掩模以识别整个器官区域。因此，就以医学方式放置的管或线而言，为管或线生成第一掩模，并且为放置管或线的整个器官区域(例如，脉管系统、心脏、肺、胃、气管、胸部、胸膜腔等)生成第二掩模。

示例性组合器1020将第一掩模和第二掩模以及相关联面积与图像中的注释术语进行组合。例如，注释可以是用于产生量化的相对资格术语。例如，可以将掩模面积与描述性术语(诸如模糊、零散、致密等)组合以计算图像中的感兴趣区域和器官区域的相对密度值。例如，可以组合图像面积(例如，正面图像和侧面图像的面积等)以产生体积度量。

示例性距离计算机1030确定所识别的管或线的端部与参考标志或解剖标志之间的距离(或者确定管或线相对于该标志的位置)。示例性状况比较器1040将距离或测量的位置与管或线的类型和/或放置管或线的感兴趣区域的预设距离或期望位置进行比较(例如，根据预先确定的规则)。基于该比较，状况比较器1040可确定管或线的端部是否相对于参考标志或解剖标志正确放置。

因此，AI分类器220可被构造成注释用于AI/机器学习/深度学习/CAD算法训练的医学图像或相关医学图像集，以量化状况。此类方法是一致的、可重复的方法，其可替代当今的常见主观方法，从而能够自动、准确地检测以医学方式放置的管或线的存在及其放置。

虽然结合图1至图10示出了示例实施方式，但是结合图1至图10而示出的元件、方法和/或设备可以任何其他方式组合、划分、重新布置、省略、消除和/或实现。此外，本文所公开和描述的部件可由硬件、机器可读指令、软件、固件、以及/或者硬件、机器可读指令、软件和/或固件的任何组合来实现。因此，例如，本文所公开和描述的部件可由模拟和/或数字电路、逻辑电路、可编程处理器、专用集成电路(ASIC)、可编程逻辑设备(PLD)和/或现场可编程逻辑设备(FPLD)来实现。当读到本专利中的任一项覆盖纯粹的软件和/或固件实现的装置或系统权利要求时，这些部件中的至少一者在此明确地被定义为包括存储软件和/或固件的有形计算机可读存储设备或存储盘，诸如存储器、数字通用盘(DVD)、压缩盘(CD)、蓝光盘等。

代表用于实现本文所公开和描述的部件的示例性机器可读指令的流程图结合至少图11示出。在示例中，机器可读指令包括由处理器(诸如下文结合图14讨论的示例性处理器平台1300中所示的处理器1312)执行的程序。程序可体现在有形计算机可读存储介质(诸如CD-ROM、软盘、硬盘驱动器、数字多用盘(DVD)、蓝光盘或与处理器1312相关联的存储器)上存储的机器可读指令中，但是整个程序和/或其部分可另选地由除了处理器1312之外的设备执行以及/或者体现在固件或专用硬件中。进一步地，尽管参考结合至少图11示出的流程图描述了示例性程序，但是可另选地使用实现本文公开和描述的部件的许多其他方法。例如，可改变框的执行顺序，并且/或者可改变、消除或组合所述的一些框。尽管至少图11的流程图以示出的顺序描绘了示例性操作，但是这些操作不是穷举性的，并且不局限于示出的顺序。另外，本领域技术人员可在本公开的实质和范围内作出各种变化和修改。例如，流程图中示出的框可按另选顺序执行或者可并行执行。

如上所述，至少图11的示例性过程可使用存储在有形计算机可读存储介质上的编码指令(例如，计算机和/或机器可读指令)来实现，该有形计算机可读存储介质为诸如硬盘驱动器、闪存存储器、只读存储器(ROM)、光盘(CD)、数字通用光盘(DVD)、高速缓存、随机存取存储器(RAM)和/或任何其他存储设备或存储盘，其中信息被存储任何持续时间(例如，延长的时间段、永久、短暂、用于暂时缓冲和/或用于信息的高速缓存)。如本文所用，术语有形计算机可读存储介质明确地被定义为包括任何类型的计算机可读存储设备和/或存储盘，并且排除传播信号且排除传输介质。如本文所用，“有形计算机可读存储介质”和“有形机器可读存储介质”可互换使用。除此之外或另选地，至少图11的示例性过程可使用存储在非暂态计算机和/或机器可读介质上的编码指令(例如，计算机和/或机器可读指令)来实现，该非暂态计算机和/或机器可读介质诸如为硬盘驱动器、闪存存储器、只读存储器、压缩盘、数字通用盘、高速缓存、随机存取存储器和/或任何其他存储设备或存储盘，其中信息被存储任何持续时间(例如，延长时间段、永久、短暂、用于暂时缓冲和/或用于信息的高速缓存)。如本文所用，术语非暂态计算机可读介质明确地被定义为包括任何类型的计算机可读存储设备和/或存储盘，并且排除传播信号并且排除传输介质。如本文所用，当短语“至少”用作权利要求前序中的过渡性术语时，与术语“包含”是开放式的一样，其也是开放式的。另外，与术语“包含”是开放式的一样，术语“包括”也是开放式的。

如上所述，这些技术可用于识别以医学方式放置的管或线，并且用于确定以医学方式放置的管或线是否正确放置。例如，以医学方式放置的管或线可以是气管内导管，并且可以确定该气管内导管在气管内(例如，相对于隆突)的正确放置。在另一个示例中，以医学方式放置的管或线可以是鼻胃管，并且可以确定该鼻胃管在胃内的正确放置。在另一个示例中，以医学方式放置的管或线可以是血管线(例如，PICC线、居中插入的中心导管线等)，并且可以确定该血管线在特定脉管内的正确放置。在又一个示例中，以医学方式放置的管线可以是胸管，并且可以确定该胸管在胸部(具体地讲，充气空间)内的正确放置。这些示例旨在是非限制性的，并且可识别插入身体的感兴趣区域内的任何其他管或线，并且确定其正确的放置。

图11为用于确定以医学方式放置的管或线在感兴趣区域内的放置的方法1600的实施方案的流程图。该方法的一个或多个步骤可由图13中的处理器平台1600执行。一个或多个步骤可同时执行或者以与图11所示的不同顺序执行。该方法1600包括接收或获得包括感兴趣区域(ROI)的患者的图像(例如，胸部图像)(框1602)。图像可包括插入感兴趣区域内的以医学方式放置的管或线。可在患者被插入管或线时提供图像。该方法1600还包括接收或获得关于待检测的管或线的类型(例如，气管内导管)和/或待在其中插入管或线的感兴趣区域(例如，气管)的输入(框1603)。输入可以为用户定义的距离或规则，其用于定义以医学方式放置的管或线的端部相对于参考位置或解剖位置的正确放置。在某些实施方案中，输入可简单地为管或线的类型和/或用于在其中正确放置管或线的所期望的感兴趣区域。基于该输入，可利用某些限定的距离或规则(例如，在特定解剖位置的左、右、上方和/或下方)，该距离或规则定义特定管或线的端部在感兴趣的特定区域内的正确放置(例如，气管内导管在隆突上方的特定距离范围)。该方法1600还包括利用上述技术检测图像内的管或线(框1604)。该方法1600包括识别图像中的感兴趣区内的管或线的端部(例如，远侧端部)(框1606)。该方法1600还包括识别图像内的参考标志或解剖标志(框1608)。参考标志或解剖标志将基于所利用的管或线的类型以及管或线设置在其中的感兴趣区域而变化。例如，对于气管内导管而言，参考标志或解剖标志可以是气管的隆突。对于鼻胃管而言，参考标志或解剖标志可以是胃内胃食管接合部下方的位置。对于血管线而言，参考标志或解剖标志可以是上腔静脉、下腔静脉内或右心房近侧的位置。

在识别管或线的端部以及参考标志或解剖标志时，该方法1600包括测量管或线的端部与参考标志或解剖标志之间的距离(框1610)。该方法1600包括生成具有管或线的端部、参考标志或解剖标志和/或测量距离的指示的组合图像(框1612)。生成该组合图像包括将各种标记叠加在接收的患者图像上。例如，可将颜色编码(例如，颜色编码的图形叠层)叠加在检测到的管或线上。在某些实施方案中，患者可包括多于一个管或线，并且感兴趣的管或线是经颜色编码的。可将图形标记叠加在图像上以指示线或管的端部。可将另一个图形标记叠加在图像上以指示参考标志或解剖标志。图形标记可包括相同形状或不同形状。这些形状的非限制性示例可以为空心圆或其他椭圆形形状、空心直线形状、空心三角形形状、或其他形状。不同的图形和管可利用不同的颜色进行颜色编码。例如，管或线的图形标记、参考标志或解剖标志的图形标记以及管或线的图形标记可分别为绿色、蓝色和黄色。当计算距离时，也可将图形标记叠加在指示管或线的端部与参考标志或解剖标志之间的距离的图像上。距离的图形标记还可包括测量值。方法1600还包括在显示器上显示组合图像(框1614)。组合图像可实时显示给医务人员，使得他们能够根据需要调整管或线的放置。在某些实施方案中，组合图像可显示为DICOM图像。

在某些实施方案中，该方法1600包括计算一个或多个相应置信度度量(框1616)。置信度度量可以是针对所计算的距离、针对以医学方式放置的管或线的存在的确定、针对检测管或线的端部的准确性、和/或针对检测参考标志或解剖标志的准确性。置信度度量可包括置信水平或置信区间。置信度度量可被存储以供将来参考。在某些实施方案中，该方法1600可包括向用户提供一个或多个置信度度量(框1618)。例如，置信度度量可显示在组合图像上或提供在单独的设备(例如，用户的设备)上。在某些实施方案中，置信度度量可被写入标准或私人信息标签(例如，DICOM)中，并且在图像也被发送的后续信息系统(例如，PACS)中可见。

在某些实施方案中，在确定以医学方式放置的管或线的端部是否正确放置(例如，经由深度学习网络模型)时，该方法1600包括将管或线的端部与参考标志或解剖标志之间的测量距离与期望的阈值进行比较(框1620)，并且确定该距离是否可接受(框1622)。期望的阈值可表示管或线的端部与待正确放置的管或线的参考标志或解剖标志之间的距离的可接受范围。例如，对于气管内导管而言，期望阈值可为距隆突(例如，解剖标志)上方2厘米(cm)至3厘米。对于鼻胃管而言，期望的阈值可为胃食管接合部下方的一定距离范围。如果所测量的距离是不可接受的，则该方法1600包括提供用户可感知的错放指示(框1624)。该指示可被提供在显示器上，其中该组合图像被显示或被提供在另一设备(例如，用户的设备)上。该指示可以是陈述管或线被错放的文本。在某些实施方案中，该文本可能更具体，并且陈述管或线太高(例如，对于气管内导管放置而言大于期望的2cm至3cm)或太低(例如，对于气管内导管放置而言小于2cm)。在某些实施方案中，文本可提供另外的说明(例如，用于将管或线的端部升高或降低一定距离)。在一些实施方案中，文本可以是经颜色编码的(例如，以橙色或红色编码)以进一步指示错放。在一些实施方案中，该指示可经由一个或多个图形标记或显示在组合图像上的管或线的颜色编码来提供。例如，图形标记中的一个或多个(例如，针对管或线的端部，针对参考标志或解剖标志，和/或其间的测量距离的指示)和/或管或线可被颜色编码为特定颜色(例如，红色或橙色)以指示错放。另选地或除此之外，如果管或线错放，则图形标记中的一个或多个可闪烁。如果所测量的距离是可接受的，则该方法1600包括提供管或线的正确放置的用户可感知的指示(框1626)。该指示可被提供在显示器上，其中该组合图像被显示或被提供在另一设备(例如，用户的设备)上。正确放置的指示可以是陈述管或线正确放置的文本。在某些实施方案中，用于正确放置的指示可经由对显示在组合图像上的管或线的一个或多个图形标记进行颜色编码来提供(例如，所有图形标记和/或管或线可为绿色颜色编码的)。在某些实施方案中，正确放置或错放的指示可被写入标准或私人信息标签(例如，DICOM)中，并且在图像也被发送的后续信息系统(例如，PACS)中可见。在某些实施方案中，关于以医学方式放置的管或线的端部的确定可由查看所显示的组合图像的医务人员手动完成。

图12为可在显示器上显示的识别患者体内的管或线的组合图像1628(例如，DICOM图像)的示例。如图所示，组合图像1628是患者的胸部图像1630，其示出了设置在气管内的气管内导管1632。叠置在胸部图像1 630上的图形标记1634(例如，圆形)指示气管内导管1632的端部的位置。叠置在胸部图像上的图形标记1636(例如，虚线圆)指示参考位置或解剖位置(例如，隆突)。图形标记1638指示气管内导管1632的端部与参考位置或解剖位置1636之间的距离(例如，竖直距离)。测量距离的数值1640伴随着图形标记1638。在某些实施方案中，还显示由人工智能生成的测量距离中的置信度度量(例如，如置信水平所示的)。在某些实施方案中，管1632、图形标记1634和/或图形标记1636可以是颜色编码的(例如，黄色、绿色和红色)。组合图像1628包括标题1642，该标题包括与图像1628相关的信息。例如，如图所示，标题1642包括管或线的类型1644(例如，气管内导管)，管的放置是否正确1646，以及管的端部与参考标记或解剖标记之间的计算距离1648。在某些实施方案中，标题1642可包括关于是否检测到管或线的指示。在某些实施方案中，可在图像128上显示一个或多个置信度度量(例如，针对所计算的距离、针对以医学方式放置的管或线的存在的确定、针对检测管或线的端部的准确性、和/或针对检测参考标志或解剖标志的准确性)。

图13为具有可显示在显示器上的识别患者体内的管或线的组合图像1654的用户界面1652的示意图。如图所示，组合图像1652是患者的胸部图像1656，其示出了设置在气管内的气管内导管1658。叠置在胸部图像1656上的图形标记1660(例如，圆形)指示气管内导管1658的端部的位置。叠置在胸部图像1656上的图形标记1662(例如，圆)指示参考位置或解剖位置(例如，隆突)。图形标记1664指示气管内导管1660的端部与参考位置或解剖位置1662之间的距离(例如，竖直距离)。测量距离的数值1666伴随着图形标记1664。如上所述，在某些实施方案中，管1658、图形标记1660和/或图形标记1662可以是颜色编码的(例如，黄色、绿色和红色)。用户界面1652包括通过AI对管或线的端部(例如，由标记1660指示)相对于参考位置或解剖位置(例如，由标记1662指示)的放置进行分析的指示1668。如图所示，指示1668指示管或线的端部相对于参考位置或解剖位置太低。在某些实施方案中，该指示可陈述管或线被正确放置、被错放、提供位置错误的指示、或提供校正位置的指令。

图14是示例性处理器平台1300的框图，该处理器平台被构造成执行至少图11的指令以实现本文公开和描述的示例性部件。处理器平台1300可为例如服务器、个人计算机、移动设备(例如，手机、智能电话、平板电脑诸如iPadTM)、个人数字助理(PDA)、互联网设备或任何其他类型的计算设备。

所示示例的处理器平台1300包括处理器1312。所示示例的处理器1312是硬件。例如，处理器1312可由来自任何期望产品系列或制造商的集成电路、逻辑电路、微处理器或控制器来实现。

所示示例的处理器1312包括本地存储器1313(例如，高速缓存)。图14的示例性处理器1312执行至少图11的指令以实现图1至图13的系统、基础设施、显示器和相关联方法，诸如示例性数据源210、AI分类器220、数据存储装置230、比较器240、输出生成器250、触发器260等。所示示例的处理器1312经由总线1318与包括易失性存储器1314和非易失性存储器1316的主存储器通信。易失性存储器1314可由同步动态随机存取存储器(SDRAM)、动态随机存取存储器(DRAM)、RAMBUS动态随机存取存储器(RDRAM)和/或任何其他类型的随机存取存储器设备来实现。非易失性存储器1316可由闪存存储器和/或任何其他期望类型的存储器设备来实现。由时钟控制器控制对主存储器1314、1316的访问。

所示示例的处理器平台1300还包括接口电路1320。接口电路1320可由任何类型的接口标准(诸如以太网接口、通用串行总线(USB)和/或PCI express接口)来实现。

在所示示例中，一个或多个输入设备1322连接到接口电路1320。输入设备1322允许用户将数据和命令输入到处理器1312中。输入设备可由例如传感器、麦克风、相机(静物相机或摄像机、RGB或深度等)、键盘、按钮、鼠标、触摸屏、触控板、轨迹球、isopoint和/或语音识别系统来实现。

一个或多个输出设备1324也连接到所示示例的接口电路1320。输出设备1324可例如由显示设备(例如，发光二极管(LED)、有机发光二极管(OLED)、液晶显示器、阴极射线管显示器(CRT)、触摸屏、触觉输出设备和/或扬声器)来实现。因此，所示示例的接口电路1320通常包括图形驱动器卡、图形驱动器芯片或图形驱动器处理器。

所示示例的接口电路1320还包括通信设备，诸如发射器、接收器、收发器、调制解调器和/或网络接口卡，以促进经由网络1326(例如，以太网连接、数字订户线(DSL)、电话线、同轴电缆、蜂窝电话系统等)与外部机器(例如，任何种类的计算设备)交换数据。

所示示例的处理器平台1300还包括用于存储软件和/或数据的一个或多个大容量存储设备1328。此类大容量存储设备1328的示例包括软盘驱动器、硬盘驱动器、光盘驱动器、蓝光盘驱动器、RAID系统以及数字通用盘(DVD)驱动器。

图14的编码指令1332可存储在大容量存储设备1328中、在易失性存储器1314中、在非易失性存储器1316中以及/或者在可移动的有形计算机可读存储介质(诸如CD或DVD)上。

根据前述内容，应当理解，已公开了以上所公开的方法、装置和制品以使用多种深度学习和/或其他机器学习技术来监测、处理并改善成像和/或其他医疗系统的操作。

因此，某些示例促进在护理点处诸如在患者成像点处经由便携式成像设备进行图像采集和分析。如果应重新拍摄图像，则应立即进行进一步分析，并且/或者尽早(而不是稍后)探索其他危急程度，本文公开和描述的示例性系统、装置和方法可以促进此类动作以自动化分析、简化工作流并改善患者护理。

某些示例提供了特殊配置的成像装置，该成像装置可以采集图像并在重症监护团队的护理点处作为决策支持工具操作。某些示例提供了成像装置，该成像装置用作医疗设备以在护理点处提供和/或促进诊断以检测放射学发现等。装置可以触发放射科医生和/或重症监护团队的危急警报以立即引起患者注意。装置使得能够在患者检查后(诸如在筛查环境中)对患者进行按性质分类，其中阴性测试可以允许患者回家，而阳性测试要求在回家之前由医生对患者进行查看。

在某些示例中，移动设备和/或云产品启用供应商中立的解决方案，从而在任何数字x射线系统(例如，完全集成、升级套件等)上证明护理点警报。在某些示例中，在移动成像系统(诸如移动x射线机等)上执行的嵌入式AI算法在图像采集等期间和/或之后实时提供护理点警报。

通过将AI托管在成像设备上，移动x射线系统可以在例如没有医院信息技术网络的农村地区中使用，或者甚至可以在将成像带给患者社区的移动卡车上使用。另外，如果将图像发送到服务器或云存在长延迟，则成像设备上的AI可以被代替地执行并且生成返回成像设备的输出以进行进一步的动作。并非使x射线技术专家移到下一位患者上并且使x射线设备不再与临床护理团队一起处于患者的床边，而是图像处理、分析和输出可以实时(或在给定某个数据转移/检索、处理和输出延迟的情况下基本实时)发生以便在临床护理团队和设备仍在患者身边或附近时向临床护理团队提供相关通知。例如，对于创伤情况，需要快速做出治疗决策，并且某些示例减轻了其他临床决策支持工具带来的延迟。

移动X射线系统在整个医院内行进到患者床边(例如，急诊室、手术室、重症监护室等)。在医院内，网络通信在医院的“死”区(例如，地下室、具有电信号干扰或阻挡的房间等)中可能是不可靠的。例如，如果X射线设备依赖于建立Wi-Fi以将图像推送到正在托管AI模型的服务器或云并且然后等待将AI输出接收回X射线设备，则患者有在需要时危急警报不可靠的风险。另外，如果网络或电源中断影响通信，则在成像设备上操作的AI可以继续充当独立的移动处理单元。

为一般放射学生成的警报的示例可以包括危急警报(例如，对于移动x射线等)，诸如管和线放置、胸膜积液、肺叶塌陷、气腹、肺炎等；筛选警报(例如，对于固定x射线等)，诸如肺结核、肺结节等；质量警报(例如，对于移动和/或固定x射线等)，诸如患者定位、被修剪的解剖结构、不足的技术、图像伪影等。

因此，某些示例改善了人工智能算法的准确性。某些示例将患者医疗信息以及图像数据考虑在内以更准确地预测危急发现、紧急发现和/或其他问题的存在。

虽然本文已描述了某些示例性方法、装置和制品，但本专利的覆盖范围不限于此。相反，本专利覆盖合理落入本专利的权利要求书的范围内的所有方法、装置和制品。

所公开主题的技术效果包括提供利用AI(例如，深度学习网络)来确定以医学方式放置的管或线是否正确地放置在感兴趣区域内(例如，相对于参考标志或解剖标志)的系统和方法。该系统和方法可提供实时反馈，该实时反馈以更准确且更快的方式确定以医疗方式放置的管或线是否被错放。因此，如果需要，允许快速干预以将管或线移动到适当的位置以获得患者安全。

此书面描述使用示例来公开主题，包括最佳模式，并且还使本领域技术人员能够实践主题，包括制造和使用任意设备或系统以及执行任何包含的方法。本公开主题的专利范围由权利要求书限定，并且可包括本领域技术人员想到的其他示例。如果此类其他示例具有与权利要求书的字面语言没有区别的结构元件，或者如果它们包括与权利要求书的字面语言具有微小差别的等效结构元件，则此类其他示例旨在落入权利要求书的范围内。

Claims (15)

1.一种医学图像处理系统，包括：

显示器；

处理器；和

存储器，所述存储器存储处理器可执行代码，所述处理器可执行代码在由所述处理器执行时使得：

接收患者的感兴趣区域的图像，其中医用管或线设置在所述感兴趣区域内；

检测所述图像内的所述医用管或线；

通过在所述图像上叠加指示所述医用管或线的端部的第一图形标记来生成组合图像；以及

将所述组合图像显示在所述显示器上。

2.根据权利要求1所述的医学图像处理系统，其中所述处理器可执行代码在由所述处理器执行时使得检测所述图像内的所述感兴趣区域内的参考标志。

3.根据权利要求2所述的医学图像处理系统，其中生成所述组合图像包括在所述图像上叠加指示所述参考标志的第二图形标记。

4.根据权利要求3所述的医学图像处理系统，其中所述处理器可执行代码在由所述处理器执行时使得计算所述医用管或线的所述端部相对于所述参考标志的测量位置，并且其中生成所述组合图像包括在所述图像上叠加指示所述测量位置的第三图形标记。

5.根据权利要求2所述的医学图像处理系统，其中所述处理器可执行代码在由所述处理器执行时使得计算下列中一者或多者的相应置信度得分：所述医用管或线的所述端部与所述参考标志之间的所计算的距离，关于所述图像内是否存在医用管或线的确定，所述医用管或线的所述端部的检测准确性或所述参考标志的检测准确性。

6.根据权利要求2所述的医学图像处理系统，其中所述处理器可执行代码在由所述处理器执行时使得确定所述医用管或线是否相对于所述参考标志正确放置。

7.根据权利要求6所述的医学图像处理系统，其中所述处理器可执行代码在由所述处理器执行时使得在所述医用管或线相对于所述参考标志错放时向用户提供用户可感知的指示。

8.根据权利要求2所述的医学图像处理系统，其中所述医用管或线包括胸管、鼻胃管、气管内导管、血管线、外周置入中心静脉导管或导管。

9.根据权利要求2所述的医学图像处理系统，其中所述参考标志包括隆突、胸腔、分割肺、隔膜或胃。

10.根据权利要求1所述的医学图像处理系统，其中检测所述图像内的所述医用管或线包括利用一个或多个深度学习网络模型来检测所述图像内的所述医用管或线。

11.根据权利要求1所述的医学图像处理系统，其中生成所述组合图像包括在所述图像上叠加用于指示所述医用管或线的所述医用管或线上方的彩色图形叠层。

12.一种用于医学图像处理的方法，包括：

经由处理器接收患者的感兴趣区域的图像，其中医用管或线设置在所述感兴趣区域内；

经由所述处理器检测所述图像内的所述医用管或线；

经由所述处理器通过在所述图像上叠加指示所述医用管或线的端部的第一图形标记来生成组合图像；以及

经由所述处理器使得所述组合图像显示在显示器上。

13.根据权利要求12所述的方法，所述方法包括经由所述处理器检测所述图像内的所述感兴趣区内的参考标志。

14.根据权利要求13所述的方法，所述方法包括经由所述处理器计算下列中一者或多者的相应置信度得分：所述医用管或线的所述端部与所述参考标志之间的所计算的距离，关于所述图像内是否存在医用管或线的确定，所述医用管或线的所述端部的检测准确性或所述参考标志的检测准确性。

15.一种非暂态计算机可读介质，所述计算机可读介质包括处理器可执行代码，所述处理器可执行代码被配置成：

接收患者的感兴趣区域的图像，其中医用管或线设置在所述感兴趣区域内；

检测所述图像内的所述医用管或线以及所述图像内的所述感兴趣区域内的参考标志；

通过在所述图像上叠加指示所述医用管或线的端部的第一图形标记并且在所述图像上叠加指示所述参考标志的第二图形标记来生成组合图像；以及

将所述组合图像显示在显示器上。

Images