CN114051623A - 使用ai编排进行图像处理和路由 - Google Patents
使用ai编排进行图像处理和路由 Download PDFInfo
- Publication number
- CN114051623A CN114051623A CN202080048847.0A CN202080048847A CN114051623A CN 114051623 A CN114051623 A CN 114051623A CN 202080048847 A CN202080048847 A CN 202080048847A CN 114051623 A CN114051623 A CN 114051623A
- Authority
- CN
- China
- Prior art keywords
- algorithm
- processing elements
- processor
- medical data
- orchestrator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明公开和描述了用于生成和利用预测性工作流程分析和推理的系统、方法和装置。示例性装置包括算法编排器,该算法编排器用以分析医学数据和相关联的元数据并且基于分析而选择算法。示例性装置包括后处理器,该后处理器用以使用一个或多个处理元素针对医学数据执行算法。在示例性装置中,一个或多个处理元素由算法编排器以组合方式动态地选择和布置以实现用于医学数据的算法,后处理器用以输出算法的结果以供算法编排器操作。
Description
技术领域
本公开整体涉及图像处理,并且更具体地,涉及使用人工智能编排进行图像处理和路由。
背景技术
本节中的陈述仅提供与本公开相关的背景信息,并且可能不构成现有技术。
诸如医院、诊所、临床小组和/或设备供应商(例如,植入物)的健康护理实体通常采用本地信息系统来存储和管理患者信息。如果具有第一本地信息系统的第一健康护理实体将患者转诊到具有第二本地信息系统的第二健康护理实体,那么该第一健康护理实体的人员通常从该第一信息系统手动检索患者信息并且将该患者信息存储在诸如光盘(CD)的存储设备上。该人员和/或该患者然后将存储设备运送到第二健康护理实体,该第二健康护理实体雇佣人员将患者信息从存储设备上传到第二信息系统上。
另外,现代放射学涉及图像集的规范化审查、可能病变/异常的检测以及新图像的产生。然而,当前的图像处理是劳动密集型的且缓慢的。审查格式和分析结果的一致性受到操作员可用性、技能和可变性的限制。此外,许多处理动作需要访问昂贵的专用硬件,该昂贵的专用硬件不容易获得或者无法负担得起。
发明内容
本发明公开和描述了用于生成和利用预测性工作流程分析和推理的系统、方法和装置。
某些示例提供了包括算法编排器的装置,该算法编排器用以分析医学数据和相关联的元数据并且基于该分析而选择算法。示例性装置包括后处理器,该后处理器用以使用一个或多个处理元素针对医学数据执行算法。在示例性装置中,一个或多个处理元素由算法编排器以组合方式动态地选择和布置以实现用于医学数据的算法,后处理器用以输出算法的结果以供算法编排器操作。
某些示例提供包括指令的计算机可读存储介质。该指令在由至少一个处理器执行时致使至少一个处理器至少执行以下操作:分析医学研究的医学数据和相关联的元数据;基于分析而选择算法;以组合方式动态地选择、布置和配置处理元素以实现用于医学数据的算法;使用所布置、所配置的处理元素针对医学数据执行算法;以及输出用于医学研究的算法的可操作结果。
某些示例提供了计算机实现的方法,该计算机实现的方法包括:通过用至少一个处理器执行指令来分析医学研究的医学数据和相关联的元数据;通过用至少一个处理器执行指令来基于分析而选择算法;通过用至少一个处理器执行指令来以组合方式动态地选择、布置和配置处理元素以实现用于医学数据的算法;通过用至少一个处理器执行指令来使用所布置、所配置的处理元素针对医学数据执行算法;以及通过用至少一个处理器执行指令来输出用于医学研究的算法的可操作结果。
附图说明
图1是示例性基于云的临床信息系统。
图2示出了可在系统(诸如图1的示例性基于云的临床信息系统)中实现的示例性成像工作流程处理器。
图3示出了用以实现图2的成像工作流程处理器的示例性架构。
图4示出了用以结合图2至图3的算法编排器来执行的算法编排和推理服务的示例。
图5示出了用以使用图2至图4的算法编排器动态地处理研究数据的示例性算法编排过程。
图6描绘了用以使用图2至图4的算法编排器编排工作流程执行的示例性数据流。
图7至图8示出了用以使用图2至图4的示例性系统处理医学研究的示例性方法的流程图。
图9至图11示出了由图2至图4的示例性系统依据多个节点模型动态地构建的示例性算法。
图12示出了用以使用图2至图4的算法编排器增强临床工作流程的示例性算法编排过程的流程图。
图13描绘了可经由图2至图4的算法编排器来调集和执行的用于气胸检测的示例性胸部x光检查工作流程。
图14是能够执行指令以实现本文所公开和描述的示例性系统和方法的示例性处理器平台的框图。
具体实施方式
在以下详细描述中,参考形成其一部分的附图,并且其中通过图示的方式示出了可实践的具体示例。足够详细地描述了这些示例以使得本领域技术人员能够实践本主题,并且应当理解,可以利用其他示例,并且可以在不脱离本公开主题的范围的情况下进行逻辑、机械、电气和其他改变。因此提供以下详细描述的目的是为了描述示例性实施方式,而非被看作对本公开所述的主题的范围进行限制。来自以下描述的不同方面的某些特征可组合形成下文所讨论的主题的新方面。
当介绍本公开的各种实施方案的元件时,词语“一个”、“一种”和“该”旨在意指存在这些元件中的一个或多个元件。术语“第一”、“第二”等不表示任何顺序、量或重要性,而是用于将一个元件与另一个元件区分开。术语“包括”、“包含”和“具有”旨在是包含性的,并且意指除了列出的元件之外还可存在附加元件。如本文使用术语“连接到”、“联接到”等,一个对象(例如,材料、元件、结构、构件等)可以连接到或联接到另一个对象,而无论该一个对象是否直接连接或联接到另一个对象,或者在该一个对象和另一个对象之间是否存在一个或多个介入对象。
如本文所用,术语“系统”、“单元”、“模块”、“引擎”等可以包括操作以执行一个或多个功能的硬件和/或软件系统。例如,模块、单元或系统可包括计算机处理器、控制器和/或基于存储在有形和非暂态计算机可读存储介质(诸如计算机存储器)上的指令来执行操作的其他基于逻辑的设备。另选地,模块、单元、引擎或系统可包括基于设备的硬连线逻辑来执行操作的硬连线设备。附图中示出的各种模块、单元、引擎和/或系统可表示基于软件或硬连线指令操作的硬件、指示硬件执行操作的软件、或其组合。
如本文所用,单数引用(例如,“一个”,“一种”、“第一”、“第二”等)不排除多个。如本文所用,术语“一个”或“一种”实体是指一个或多个该实体。术语“一个”(或“一种”)、“一个或多个”和“至少一个”在本文中可以互换使用。此外,尽管被单独列出,但是多个装置、元件或方法动作可以由例如单个单元或处理器来实现。另外,尽管各个特征可以被包括在不同的示例或权利要求中,但是这些特征可以被组合,并且包括在不同的示例或权利要求中并不意味着特征的组合是不可行和/或不利的。
当例如以诸如A、B和/或C的形式使用时,术语“和/或”是指A、B、C的任何组合或子集,诸如(1)单独的A,(2)单独的B,(3)单独的C,(4)A与B,(5)A与C,(6)B与C,以及(7)A与B和C。如本文在描述结构、部件、项目、对象和/或事物的上下文中所使用的,短语“A和B中的至少一个”旨在指代包括以下项目中的任何一者的实施方式:(1)至少一个A,(2)至少一个B,以及(3)至少一个A和至少一个B。类似地,如本文在描述结构、部件、项目、对象和/或事物的上下文中所使用的,短语“A或B中的至少一个”旨在指代包括以下项目中的任何一者的实施方式:(1)至少一个A,(2)至少一个B,以及(3)至少一个A和至少一个B。如本文在描述过程、指令、动作、活动和/或步骤的执行或实行的上下文所使用的,短语“A和B中的至少一个”旨在指代包括以下项目中的任何一者的实施方式:(1)至少一个A,(2)至少一个B,以及(3)至少一个A和至少一个B。如本文在描述过程、指令、动作、活动和/或步骤的执行或实行的上下文所使用的,短语“A或B中的至少一个”旨在指代包括以下项目中的任何一者的实施方式:(1)至少一个A,(2)至少一个B,以及(3)至少一个A和至少一个B。
此外,应当理解,对本公开的“一个实施方案”或“实施方案”的引用不旨在被解释为排除也包含所引用特征的附加实施方案的存在。
本文公开和描述的方面提供了用于使用人工智能(AI)编排处理和路由图像和相关健康护理数据的系统和相关联方法。
本文描述的示例性基于云的临床信息系统使得健康护理实体(例如,患者、临床医生、站点、组、社区和/或其他实体)能够经由基于网络的应用、云存储和云服务来共享信息。例如,基于云的临床信息系统可使第一临床医生能够将信息安全地上传到基于云的临床信息系统中,以允许第二临床医生经由网络应用程序查看和/或下载该信息。因此,例如,第一临床医生可将x射线图像上传到基于云的临床信息系统中(并且/或者医学图像可从成像系统自动上传到基于云的临床信息系统),并且第二临床医生可经由网络浏览器查看该x射线图像和/或将该x射线图像下载到第二临床医生所采用的本地信息系统上。
在一些示例中,第一健康护理实体可在基于云的临床信息系统上登记,以获得凭据和/或访问基于云的临床信息系统。为了与第二健康护理实体共享信息和/或获得其他注册特权(例如,访问本地信息系统),第一健康护理实体在第二健康护理实体注册。在一些示例中,示例性基于云的临床信息系统将登记与注册分开。例如,临床医生可在基于云的临床信息系统上登记并且在第一家医院和第二家医院注册。如果临床医生不再选择在第二家医院注册,那么可取消或撤销临床医生在第二家医院的注册而临床医生不会失去对基于云的临床信息系统的访问和/或在临床医生与第一家医院之间确立的注册特权。
在一些示例中,经由基于云的临床信息系统发起和/或管理健康护理实体之间的业务协定。例如,如果当第一健康护理实体在第二健康护理实体注册时第一健康护理实体与第二健康护理实体无关联(例如,第一健康护理实体与第二健康护理实体之间不存在法律或业务协定),那么基于云的临床信息系统向第一健康护理实体提供第一健康护理实体在第二健康护理实体注册之前执行的业务协定和/或使用条款。业务协定和/或使用条款可由第二健康护理实体生成并且存储在基于云的临床信息系统中。在一些示例中,基于协定和/或使用条款,基于云的临床信息系统生成对第一健康护理实体可从第二健康护理实体访问何种信息和/或第一健康护理实体可如何与其他实体一起共享来自第二健康护理实体的信息进行管理的规则和/或其他规则。
在一些示例中,基于云的临床信息系统可采用基于实体类型的分层组织方案以促进转诊网络增长、业务协定管理以及监管和隐私合规性。示例性实体类型包括患者、临床医生、组、站点、综合供应网络、社区和/或其他实体类型。可以是健康护理实体或健康护理实体的管理员的用户可在分层组织方案内注册为给定的实体类型,以被提供与经由基于云的临床信息系统发送信息和/或接收信息有关的预定权利和/或限制。例如,注册为患者的用户可接收或共享用户的任何患者信息同时被阻止访问任何其他患者的信息。在一些示例中,用户可注册为两种类型的健康护理实体。例如,健康护理专业人员可注册为患者和临床医生。
在一些示例中,基于云的临床信息系统包括位于健康护理设施(例如,医院)处的边缘设备。该边缘设备可用本地信息系统所采用的协议进行通信,以用作本地信息系统与基于云的临床信息系统之间的网关或中介。在一些示例中,该边缘设备用于在本地信息系统中自动生成患者和/或检查记录并且在经由基于云的临床信息系统将患者信息发送到与健康护理设施相关联的健康护理实体时将患者信息附加到患者和/或检查记录。
在一些示例中,基于云的临床信息系统生成使得用户能够与基于云的临床信息系统交互和/或采用基于云的临床信息系统与其他用户通信的用户接口。本文描述的示例性用户接口使得用户能够经由基于云的临床信息系统生成消息、接收消息、创建病例(例如,患者图像研究、订单等)、共享信息、接收信息、查看信息和/或执行其他动作。
在某些示例中,将图像自动发送到基于云的信息系统。经由“云”基于一个或多个规则而自动处理图像。在处理之后,将图像路由到一组目标系统中的一个或多个目标系统。
路由和处理规则可涉及包括在数据或解剖识别模块中的元素,该解剖识别模块确定要应用的算法以及经处理的内容的目的地。解剖模块可确定解剖子区域,使得在更大的数据集内选择性地应用路由和处理。例如,处理规则可定义要对输入数据集执行的一组算法。现代放射学涉及图像集的规范化审查、可能病变/异常的检测以及新图像(功能图、经处理的图像)和定量结果的产生。非常频繁的处理的一些示例包括沿着特定解剖惯例产生新切片以更好地突出强调解剖结构(例如,椎骨间的椎间盘、膝盖的径向重建、许多肌肉骨骼视图等)。另外,处理可用于生成新的功能图(例如,灌注、扩散等)以及病变、器官大小等的定量。还可以处理血管系统的自动识别。
与劳动密集型、缓慢、不一致的传统处理相比,利用云资源将开放对大量计算资源的访问,并且能够自动产生中间结果或最终结果(新图像、定量结果)。然而,自动推出正确的算法非常困难。传统系统试图依据图像标头中的附加信息来猜测解剖结构和扫描意图。这种猜测通常易于出错、取决于站点并且在扫描期间存在时间压力的情况(例如,创伤)下是不可行的。这种猜测问题还会影响分析工作站、图片存档和通信系统(PACS)以及扫描仪控制台上交互式使用的生产力。
另外,高端云硬件的租金昂贵,但与拥有专用的本地硬件相比,访问大量较小的节点具有成本效益。例如,将多个任务分派给大量小型处理单元允许更具成本效益的操作。
尽管云存储可以是用于长期处理数据的有效模型,但在医学案例中,数据集很大,并且可能无法在所有网络条件下保证基于云的渲染的交互性能。某些示例期望地将数据集自动推送到一个或多个目标系统。将数据集智能地推送到一个或多个目标系统还避免了维护多个医学图像数据库(例如,对于偏好其自身的供应商中立存档(VNA)或PACS的站点等,云存储可能不是一种选择)。
在某些示例中,当图像内容可用于路由时通知用户。在其他示例中,当已执行处理并且结果可用时通知用户。因此,某些示例提供了增加用户生产率。例如,结果会自动呈现给用户,从而减少劳动时间。另外,当新数据可用时可通知用户。此外,可将大数据推送到一个或多个本地系统以便更快地审查,从而节省联网时间。例如,有效选择相关视图还有助于提供重点审查和诊断。例如,解剖识别结果可用于在最终PACS或工作站读数中改善对适当悬挂协议和/或工具的选择。
某些示例通过自动化改善了结果的质量和一致性。结果的自动生成有助于确保结果总是对临床医生和/或其他用户可用。路由有助于确保将结果分派给正确的专家和用户。云操作使得能够跨站点进行访问,因此不管专家位于何处,都可以联系到他们。
某些示例还降低了拥有和/或操作的成本。例如,云资源与本地硬件的使用应限制成本。另外,将分析分派到多个节点还降低了对任一特定节点的成本和资源压力。
在某些示例中,在推送图像研究之后,该研究被转发到健康云。依照一个或多个标准评估与研究相关联的医学数字成像和通信(DICOM)标签,该一个或多个标准触发对应的算法。可根据解剖检测、特征向量等来评估图像研究。然后将算法输出与研究一起存储。另外,在算法完成后发送通知(例如,短消息服务(SMS)消息等),并且将算法的结果推送回到原始研究。例如,可根据工作列表中的优先级取决于算法输出而对研究进行标记。例如,可逐步地处理研究数据(例如,在接收到数据时进行流式传输)和/或一旦接收到所有研究就处理研究数据。
在某些示例中,编排层可用于配置指令并且将处理器和路由器的特定序列定义为处理内容(例如,非图像数据、不同类型的图像数据等)。编排层可将处理器和/或路由器配置为根据诸如解剖学等的某些标准进行处理和/或路由。例如,编排层可链式连接处理器以按顺序布置多个处理器(例如,肺分割,后面接着是结节识别等)。
图1示出了本文所公开的示例性基于云的临床信息系统100。在所示示例中,第一健康护理实体102和第二健康护理实体104采用基于云的临床信息系统100。如下文更详细地描述,示例性实体类型包括社区、综合供应网络(IDN)、站点、组、临床医生和患者和/或其他实体。
在所示示例中,第一健康护理实体102采用示例性基于云的临床信息系统100来促进患者转诊。尽管结合患者转诊(例如,创伤转移)描述以下示例,但基于云的信息系统100可用于共享信息以获取第二意见,进行医学分析(例如,位于第一位置的专家可审查和分析在第二位置处捕获的医学图像),便于护理在多个医学设施中和/或在其他情况下和/或出于其他目的治疗的患者。
在图1的所示示例中,第一健康护理实体102可以是向患者提供护理的医学诊所。第一健康护理实体102生成与患者相关联的患者信息(例如,联系人信息、医学报告、医学图像和/或任何其他类型的患者信息)并且将患者信息存储在第一本地信息系统(例如,PACS/RIS和/或任何其他本地信息系统)中。为了将患者转诊到第二健康护理实体104,第一健康护理实体将包括患者信息的相关部分的订单106发布或上传到基于云的临床信息系统100,并且指定患者将被转诊到第二健康护理实体。例如,第一健康护理实体102可使用经由基于云的临床信息系统100生成的用户接口(图9至图11)经由互联网将订单106从第一本地信息系统上传到基于云的临床信息系统100,并且指导基于云的信息系统100将转诊通知给第二健康护理实体104和/或使得第二健康护理实体104能够访问订单106。在一些示例中,基于云的临床信息系统100生成包括到订单106的安全链接的消息并且将该消息通过电子邮件发送给第二健康护理实体104。第二健康护理实体104然后可经由基于云的临床信息系统100通过网络浏览器108查看订单106,接受和/或拒绝转诊,和/或将包括患者信息的订单106下载到第二健康护理实体104的第二本地信息系统(例如,PACS/RIS)中。如下文更加详细地描述,基于云的临床信息系统100管理健康护理实体之间的业务协定以使得无关联的健康护理实体能够共享信息,因而促进转诊网络增长。
图2示出了可在系统(诸如图1的示例性基于云的临床信息系统100)中实现的示例性成像工作流程处理器200。示例性成像工作流程处理器200可以是单独系统,并且/或者可以在用以将此类系统与由不同供应商创建的用以处理图像数据的算法联系起来的PACS、RIS、供应商中立存档(VNA)、图像查看器等中实现。
示例性成像工作流程处理器200包括算法编排器210、算法目录220和后处理引擎230,该后处理引擎与DICOM源240交互以获得医学图像。如在图2的示例中所示出,DICOM源240向算法编排器210提供医学图像,该算法编排器从算法目录220识别和检索该图像的对应算法并且使用后处理引擎230执行算法。例如,输出针对医学图像的算法执行的结果并且将该结果提供回到DICOM源240。照此,给定医学图像,算法编排器210促进基于与该图像兼容的算法目录220的后处理工作流程以产生可消耗结果。
在某些示例中,医学图像被定义为作为一个或多个DICOM文件存储在DICOM源或存储库240中的成像模态(例如,x射线、计算机断层扫描(CT)、磁共振(MR)、超声等)的输出。例如,DICOM文件包括关于患者、研究、系列和图像信息的元数据以及图像像素数据。例如,工作流程包括经过编排并且可重复的服务调用模式,以处理DICOM研究信息、执行算法并且产生待被其他系统消耗的结果。例如,在这种情况下,后处理可被定义为在已从该模态采集图像以增强图像、转变图像和/或提取信息(该信息可以用于辅助放射科医生诊断和治疗疾病)之后执行的算法序列。算法是用于将输入图像转变为具有特定目的或功能(例如,用于计算机辅助检测、用于放射学读数、用于自动化处理、用于比较等)的输出图像的计算处理动作序列。
在某些示例中,可在图像后处理中使用五类算法:图像修复、图像分析、图像合成、图像增强和图像压缩。图像修复用于改善图像的质量。应用图像分析以识别图像中的条件(在分类模型中)和/或感兴趣区域(在分割模型中)。图像合成用于基于多个二维(2D)图像而构建三维(3D)图像。应用图像增强以通过使用滤波器和/或添加辅助可视化的信息来改善图像。例如,图像压缩用以减小图像的尺寸以提高在存储图像时涉及的传输次数和存储量。例如,可使用一个或多个机器学习和/或深度学习模型、其他人工智能和/或其他处理来实现算法以将算法应用于图像。结果是由使用一个或多个医学图像作为输入来执行的算法产生的伪影。结果可以是不同格式,诸如:DICOM结构化报告(SR)、DICOM二次捕获、DICOM参数图、图像、文本、JavaScript对象表示法(JSON)等。
在某些示例中,算法编排器210与一种或多种类型的系统交互,这些系统包括成像提供者(例如,还被称为DICOM源240的DICOM模态、PACS、VNA等)、查看器(例如,显示由编排器210执行的算法的结果的DICOM查看器等)、算法目录220(例如,可用于不同类型的成像模态的算法存储库等)、推理引擎(例如,系统或部件,诸如能够基于输入参数而运行算法并且产生输出的后处理引擎230等)、其他系统(例如,从编排工作流程接收通知的一个或多个外部实体(例如,RIS等)等)。
例如,算法编排器210可由一个或多个应用程序使用以根据预定义的工作流程对医学图像执行算法。示例性工作流程包括由多个动作类型形成的动作,包括:开始、结束、决策、任务、模型和等待。开始动作和结束动作定义工作流程开始和结束的地方。决策动作用于评估用以定义要执行的下一个动作的表达式(例如,类似于编程语言中的switch-case指令)。任务动作表示对REST服务的同步调用。模型动作用于执行来自目录220的算法。等待任务可用于跟踪非同步任务的执行(作为编排的一部分)并且用于耗时的操作,诸如使DICOM研究从PACS移动到算法编排器210、将算法结果推送到PACS、执行深度学习模型等。例如,工作流程可聚合所执行的不同算法的结果,并且通知其他系统有关编排的状态。
在示例性操作中,可从PACS系统(例如,基于云的PACS系统100等)提供新的图像研究以由编排器210处理。例如,对由被称为“研究过程通知”的API网关公开的代表性状态传送(REST)应用编程接口(API)的超文本传送协议(HTTP)请求包括有效负载中的成像研究元数据。网关将请求转发到适当的编排服务,该编排服务证实请求有效负载并且用执行标识符(ID)和状态做出响应。编排服务调用编排引擎210中的可用工作流程。每个工作流程都可作为单独的线程来执行。工作流程可通过证实DICOM元数据开始以确定元数据是否匹配工作流程要求(例如,模态、查看位置、研究描述等),并且在匹配的情况下,将研究数据从PACS传送到本地文件存储装置。当传送完成时,编排引擎210执行在工作流程中定义的一个或多个算法。对于每个必须执行的算法,编排器210调用分析即服务(AAAS)来执行算法并且等待响应。一旦算法响应可用,编排器210就将通过算法产生的结果输出文件传送到信息系统100(例如,PACS、RIS、VNA等),并且发送通知消息说明该研究的处理完成。例如,该通知消息还包括由编排器210执行的算法列表以及每个算法的执行结果。
如图3的示例性架构300中所示出,可以以不同方式查看示例性成像工作流程处理器200。如图3的示例中所示出,DICOM源240与健康信息系统310(诸如PACS、EMR、企业存档(EA)(例如,VNA等)、融合/组合系统等)以及RIS 320通信,使得RIS 320提供订单事件(例如,HL7订单事件等),并且DICOM源240向信息系统310提供检查数据(例如,用于成像检查的DICOM数据等)。示例性信息系统310向算法编排器210提供检查数据。示例性健康护理信息系统310还与查看器(例如,工作流程管理器、通用查看器、零足迹查看器等)交互以显示来自算法编排器210的检查数据的选定算法处理的输出/结果等。文件共享340存储来自算法编排器210的检查数据、来自处理器230的处理结果等。
如图3的示例中所示出,后处理器和/或其他计算环境230根据一个或多个所确定的算法以及相关联信息处理检查数据。示例性计算环境230包括可互操作的输出350,该可互操作的输出提供来往于计算环境230、文件共享240和算法编排器210的算法、处理结果等。示例性计算环境230还包括分析即服务(AAAS)360以提供用以处理检查数据、相关联的算法、结果图像等的分析。在某些示例中,AAAS 360提供算法目录220和相关联算法注册表,从该算法注册表中提取算法以处理检查数据。例如,示例性计算环境230包括一个或多个人工智能(AI)模型370和用以针对检查数据和算法编排器210生成和/或利用模型370的推理引擎380。例如,推理引擎380可利用模型来将选自AAAS 360算法目录220的一个或多个算法应用于来自算法编排器210的检查数据。例如,推理引擎380获取检查数据、算法以及一个或多个输入参数并且因处理检查数据(例如,图像修复等)而产生输出,该检查数据被提供到文件共享340、算法编排器210和信息系统310。例如,可经由查看器330显示输出以用于交互。
在操作中,例如,算法编排器210可接收要处理的检查和/或其他数据(例如,图像数据等)并且将该检查和相关联健康护理信息系统310连接到包括算法的计算系统/引擎/环境230,这些算法由不同提供者创建以将不同的操作应用于图像和/或其他检查数据从而产生对于查看器330、信息系统310等可显示、可交互和/或以其他方式可操作的输出。检查数据可由系统310独立地或结合诸如成像扫描仪、工作站等的DICOM源240来提供。基于检查数据的特性,编排器210可从AAAS 360选择一个或多个算法用于处理。例如,后处理器230的推理引擎380使用一个或多个模型370针对检查数据执行算法。
在某些示例中,多个模型370和多个算法可以被分配,使得多个物理和/或虚拟机处理器可以被实例化以根据一系列规则、标准、方程式、网络模型等来实现算法。例如,编排引擎210可以首先从AAAS 360选择肺分割算法以分割肺部图像数据并且然后从AAAS 360选择结节识别算法以识别经分割的肺部图像数据中的结节。算法编排器210可以连接或链式连接算法、定制算法和/或以其他方式配置算法并且定义算法编排工作流程以适应特定检查数据、检查原因、查看器330类型、查看器330角色、查看器330上下文、DICOM标头信息和/或其他元数据(例如,模态、系列、研究描述等)等。在某些示例中,所配置的算法、工作流程等可以被保存和存储在文件共享340中以供信息系统310、查看器330等以后使用。
在某些示例中,算法编排器210可使用计算基础设施230处置来自多个健康信息系统310和/或DICOM源240的多个图像和/或其他检查数据处理请求。在一些示例中,每个请求触发算法编排器210以产生虚拟机、Docker容器等,从而将来自AAAS 360和任何相关联模型370的相应算法实例化。虚拟机、容器等可被实例化以链式连接和/或以其他方式组合来自其他虚拟机、容器等的结果。
图4示出了与算法编排器210结合运行的算法编排和推理服务400的示例。示例性服务300是使用客户端层401、服务层403和数据层405来实现的。示例性客户端层401包括管理用户接口(UI)402以使得用户能够在诸如健康信息系统310(在图4的示例中被示为PACS,但还可适用于诸如RIS、EA、EMR等的其他系统310)的外部系统处与算法编排器210交互,以处理和路由图像和/或其他检查数据(例如,经由HTTP、REST、DICOM等)。示例性服务层403包括API网关404以路由来自客户端层401的请求(例如,经由UI 402)。示例性服务层403还包括验证服务406、编排引擎210、DICOM路由器408、编排服务410和AAAS 370。例如,服务层403的元件(诸如DICOM路由器408等)可与另一PACS 415交互。示例性数据层405包括数据存储装置412,该数据存储装置包括授权模式414、编排模式416、指挥模式418等。例如,图4的示例的数据层305还包括AAAS数据库420和文件共享350。
例如,使用示例性架构400,编排引擎210可利用编排服务410和AAAS 360来依据与AAAS数据库420和/或文件共享340中的处理算法相关联的模型动态地生成工作流程。例如,气胸(PTX)模型370可从AAAS数据库420检索到并且被AAAS 360提供到编排引擎210的编排服务410以处理图像和/或其他检查数据,从而识别气胸的存在和/或可能性。例如,PTX模型与特定模态(例如,计算机放射成像(CR)、数字x射线(DX)等)、查看位置(例如,前后位(AP)、后前位(PA)等)、研究描述(例如,胸部、肺等)等组合,以形成可应用检查数据的处理工作流程。在其他示例中,算法编排器210可引入分叉以确定将PTX模型还是气管内(ET)管模型应用于数据。在此示例中,PTX模型和ET管模型两者的处理可并行地继续进行并且经结合或组合以生成输出结果。在另一示例中,模型处理是串行的,诸如首先应用位置模型,并且然后应用PTX模型等。
在某些示例中,可由算法编排器210使用支持各种任务、工作流程等的可扩展格式动态地构建工作流程。一个或多个节点可动态地连接在一起,从而对处理、存储器和通信资源进行分配以将工作流程实例化。例如,开始节点定义工作流程的开始。结束节点定义工作流程的结束。子工作流程节点调用也注册在编排引擎210中的子工作流程。HTTP任务节点使用诸如POST、GET、PUT、PATCH、DELETE等方法调用HTTP服务。等待任务节点等待非同步任务完成。决策节点基于JavaScript表达式等做出流程决策。例如,结合节点等待由分叉节点触发的并行执行完成后再继续。
在一个示例中,PACS 310具有要通过编排引擎210处理的新研究。PACS 310向由API网关404公开的REST API发送HTTP请求,该HTTP请求被称为包括有效负载中的研究元数据的“研究过程通知”。网关404将请求转发到对应的编排服务410。编排服务410证实请求有效负载并且用执行ID和状态做出响应。编排服务410调用编排引擎210中的可用工作流程。每个工作流程都作为单独的线程来执行。例如,工作流程可通过证实相关联的DICOM元数据来开始,以确定研究的DICOM元数据是否匹配工作流程要求(例如,模态、查看位置、研究描述等)。当元数据匹配工作流程要求时,编排引擎210将研究数据从PACS 310传送到本地文件存储装置422。当传送完成时,编排引擎210执行在工作流程中定义的算法。对于每个要执行的算法,编排引擎210调用AAAS 360并且等待响应。一旦所有适用算法的响应可用,编排引擎210便将通过算法产生的输出文件传送到PACS 310。一旦被传送,编排引擎210便可发送指示该研究的处理完成的通知消息。此通知消息还可包括由编排引擎210针对每个算法的研究和执行结果执行的算法列表。
图5示出了用以使用算法编排器210动态地处理研究数据的示例性算法编排过程500。在方框510处,处理输入研究。例如,经由网关404上传、网络服务上传、DICOM推送等接收成像和/或其他检查研究。诸如通过编排服务410、编排引擎210等处理研究以识别研究等。在方框520处,(例如,从文件共享340、PACS 310、415等)检索与研究相关联的元数据。例如,可执行RESTful服务搜索查询(例如,QIDO-RS),可利用C-FIND搜索命令等来识别相关联的元数据。
在方框530处,由算法编排器210基于元数据使算法与研究匹配。例如,基于元数据中的肺部图像、空气等的指示而使PTX识别算法与研究匹配。在某些示例中,算法是从存储装置(例如,AAAS数据库420、文件共享340等)检索到的。在某些示例中,算法是由算法编排器210依据从存储装置(例如,AAAS数据库420、文件共享340等)检索的元素(例如,算法、节点、功能代码块等)动态地构建的。在方框540处,诸如使用C-MOVE服务器消息块(SMB)共享文件访问、流式传输等传送来自研究的图像数据(例如,从PACS 310到文件共享340、其他本地文件存储装置等),使得可根据示例性算法编排和推理服务400处理研究数据。在方框550处,针对所传送的图像数据执行匹配的算法。例如,AAAS 360部署一个或多个模型370和/或其他机器学习构图以实现算法并且将该算法应用于图像数据。例如,在对图像数据进行算法执行中的任务可串行地和/或并行地继续进行。在某些示例中,一些任务可等待其他任务完成和/或其他信息生成和/或以其他方式变得可用等。
在方框560处,处理算法的结果。例如,由算法提供的概率、指示、检测、评分、位置、严重性和/或其他预测、结论、度量等被处理(例如,由编排引擎210、推理引擎380和/或其他后处理器230(例如,由AAAS 360和/或编排器210等提供)等处理),以提供可操作的输出、得出结论、组合多个算法结果等。可使用诸如C-STORE、SMB共享存取等命令将结果存储在文件共享340、AAAS数据库420、其他数据存储装置等中。在方框570处,生成通知。例如,图像研究处理结果可经由查看器330来显示,被传输到PACS和/或其他信息系统310、415等,诸如经由REST网络服务、HL7消息、SMS消息、电子邮件、HTTP命令等被报告给RIS 320和/或DICOM源240等。
因此,示例性编排器210可提供中央引擎来协调不同服务之间的交互。编排器210知晓如何调用每个服务并且管理服务之间的依赖性和事务(例如,在编排服务410、AAAS360等中)。另选地或除此之外,可对服务进行编排以知晓以分布式方式与哪些其他服务进行交互。在某些示例中,算法编排器210可基于以不同组合来布置的同一组服务而支持多个不同的工作流程。例如,工作流程是围绕集中式编排器210来设计的,并且相同服务360、410等可以取决于用例以不同布置来执行。
在某些示例中,算法编排器210可使用编排服务410和AAAS 360促进算法装载/创建、更新和移除,以经由编排模式数据库416创建算法(例如,可能利用经由管理UI 402来自外部源的输入等)、列出算法和保存算法。在某些示例中,算法编排器210可使用编排服务410促进工作流程创建、激活、更新和移除,以经由编排模式数据库416登记工作流程和其相关联任务(例如,可能利用经由管理UI 402来自外部源的输入等)并且保存工作流程。例如,当算法编排器210接收对要处理的新研究的请求(例如,从PACS和/或其他信息系统310等)时,编排服务410可向编排引擎210提供工作流程并且执行选定工作流程。算法编排器210和相关联处理电子器件230可位于本地系统、基于云的系统(例如,图1的基于云的系统100等)、将本地系统连接到基于云的系统的边缘设备等上。
图6描绘了使用算法编排器210编排工作流程执行的示例性数据流600。在图6的示例中,编排引擎210将用于图像研究或其他检查的移动命令602发送到编排服务410,这些编排服务将用于研究/检查的移动命令604发送到PACS 310和/或存储研究/检查的其他数据源。PACS 310通过与编排服务410一起存储606研究/检查来做出响应。编排服务410触发编排引擎410以继续608用于图像/研究的选定工作流程。编排引擎410然后为编排服务410形成将算法应用于图像/研究的操作610。编排服务410与编排模式数据库416一起保存612信息。
编排服务410还触发在AAAS 360处执行算法314。AAAS 360针对用于编排服务410的研究/检查数据更新算法的执行状态616。一旦算法执行完成,编排服务410便从AAAS 360获得结果618。编排服务410基于算法执行的结果而更新编排模式416。编排服务410还触发编排器210以继续工作流程,并且算法编排器210触发编排服务410以存储算法执行的结果,并且编排服务410将信息存储626在PACS 310处。编排服务410然后告知编排器210继续工作流程628。编排引擎210向PACS 310提供总结通知630。
图7示出了用以处理医学研究(例如,检查、图像研究等)的示例性方法700的流程图。在方框710处,触发医学研究的处理。例如,研究到达信息系统(例如,PACS等)310、RIS320和/或其他DICOM源240可触发算法编排器210和编排服务410对研究的处理。例如,经由查看器330从工作列表选择研究可触发对研究的处理。
在方框720处,评估研究和相关联的元数据以确定要应用于研究数据的算法的一个或多个选择标准。例如,研究和相关联的元数据由编排器210和相关联服务410处理以识别研究类型、相关联模态、感兴趣解剖结构等。在方框730处,基于对研究和相关联的元数据的评估而选择一个或多个算法。例如,肺部图像的存在以及图像元数据中的呼吸短促的指示可经由气胸检测算法的AAAS 360触发选择以处理研究数据从而确定气胸的存在或可能存在。
在方框740处,分配资源以执行选定算法从而处理研究数据。例如,可部署一个或多个模型370(例如,神经网络模型、其他机器学习、深度学习和/或其他人工智能模型等)以实现一个或多个选定算法。例如,可使用神经网络模型来实现ET管检测算法、气胸检测算法、肺分割算法、节点检测算法等。在某些示例中,可使用推理引擎380基于真实情况和/或其他核实数据开发节点、节点之间的互连以及关于节点/连接的权重等来训练和/或部署模型370,从而使用模型370实现算法。例如,然后可通过将数据传递到模型370中并且捕获模型输出来将算法应用于研究数据。可使用AAAS360、编排器模式416、AAAS数据库420等开发和提供其他模型以基于模态、解剖结构、协议、条件等进行算法实现。
在方框750处,针对医学研究数据执行选定算法。例如,医学研究数据被馈入和/或以其他方式输入到模型370、推理引擎380、AAAS 360所提供的其他分析等,以从算法执行中生成一个或多个结果。例如,气胸模型处理医学研究肺部图像数据以确定气胸是否存在于肺部图像中;ET管模型处理医学研究图像数据以确定ET管的定位并且核实患者的恰当放置;等。
在方框760处,处理所执行算法的结果。例如,可组合来自几种算法的结果从而确定患者诊断、患者治疗、纠正动作(例如,ET管放错位置并且需要重新定位,存在气胸并且需要缓解等)。可进一步处理来自个别模型370算法处理的一个或多个是/否、阳性/阴性、存在/不存在、概率和/或其他结果,以驱动临床确定、纠正动作、报告、显示等。
图8示出了用以分配资源以针对医学研究数据执行算法的示例性流程图(例如,图7的示例的方框740)。在方框810处,(例如,从编排模式416、AAAS数据库420、文件共享430等)检索算法。例如,算法和其定义是基于算法对医学研究数据的适用性的选择而检索的。
在方框820处,基于与研究相关联的算法和元数据的定义而生成处理元素。例如,基于算法和研究元数据的定义而分配和/或实例化一个或多个人工智能(例如,机器学习、深度学习等)网络模型构图370、一个或多个虚拟机和/或容器、一个或多个处理器等。在方框830处,根据算法定义组织处理元素。例如,多个AI模型370可并行地、串行地等布置以根据其定义实现算法,被定制为适应要应用于算法的研究数据。
在方框840处,部署所布置的处理元素以使得能够针对研究数据执行算法。例如,可部署一个或多个模型370(例如,神经网络模型、其他机器学习、深度学习和/或其他人工智能模型等)以实现一个或多个选定算法。例如,可使用神经网络模型来实现ET管检测算法、气胸检测算法、肺分割算法、节点检测算法等。在某些示例中,可使用推理引擎380基于真实情况和/或其他核实数据开发节点、节点之间的互连以及关于节点/连接的权重等来训练和/或部署模型370,从而使用模型370实现算法。例如,然后可通过将数据传递到模型370中并且捕获模型输出来将算法应用于研究数据。可使用AAAS 360、编排器模式416、AAAS数据库420等基于模态、解剖结构、协议、条件等而开发和提供其他模型370以用于算法实现。例如,算法编排器210利用AAAS 360和编排器服务410来将部署的处理元素集应用于研究数据以获得结果(例如,在图7的示例的方框760处)。
图9至图11示出了由算法编排器210依据多个节点模型动态地构建的示例性算法。例如,图9示出了当模态是CR或DX 910、查看位置是AP或PA 920以及研究描述是胸部图像系列930时将气胸(PTX)模型940应用于DICOM研究的算法900。使用一系列决策910、920、930来评估研究数据,然后当满足所有决策/条件时应用模型940来检测气胸。然后算法以是或否、1或0、存在或不存在、阳性或阴性、恶性或良性等的结果结束,以回答气胸模型分析。
图10示出了由形成算法模型中的节点的多个模型构图构建的另一示例性算法1000。在图10的示例中,一系列决策1010、1020(例如,是模态CR或DX 1010和查看位置AP或PA 1020)引起分叉1030以将多个模型1040、1050应用于DICOM研究数据。在此示例中,将PTX模型1040和ET管模型1050两者应用于DICOM数据,并且结合1060这些结果以形成算法的结果。因此,在图10的示例中,组合ET管放置和气胸检测两者以确定指示相关联患者是否有要解决的问题的结果。
图11示出了由形成算法模型中的节点的多个模型构图构建的另一示例性算法1100。在图11的示例中,决策节点1110评估模态是否为CR或DX。如果是,那么首先将位置模型1120应用于DICOM研究数据。然后,基于该模型1120的输出,应用PTX模型1130以确定算法的最终结果。因此,图10示出了将模型并行地应用于DICOM研究数据的示例性算法,并且图11示出了将模型串行地应用于DICOM研究数据的示例性算法。
图12示出了用以使用算法编排器210增强临床工作流程的示例性算法编排过程1200的流程图。如图12的示例中所示出,编排可以以医学成像研究的主动上传(方框1202)开始或由用户针对医学成像研究来发起(方框1204)。然后评估研究(例如,DICOM标头信息和/或与研究相关联的其他元数据)以确定成像模态是否匹配一个或多个设定标准(方框1206)。如果否,那么评估结束(方框1208)。如果模态匹配所述标准,那么评估研究以确定查看位置是否匹配一个或多个设定标准(方框1210)。如果否,那么评估结束(方框1208)。如果查看位置匹配所述标准,那么评估研究以确定与研究相关联的患者的年龄是否匹配一个或多个设定标准(方框1212)。如果否,那么评估结束(方框1208)。如果患者年龄匹配所述标准,那么针对研究数据执行气胸算法(方框1214)。针对研究数据执行管定位算法(例如,ET管和/或鼻胃(NG)管放置检测算法等)(方框1216)。然后可使用模型的输出创建经由图形用户接口进行使用交互的案例(方框1218)以及更新工作流程管理器(方框1220)和从业者移动电话/电子邮件通知(方框1222)。
图13描绘了可经由算法编排器210来调集和执行的用于气胸(PTX)检测的示例性胸部x光检查工作流程1300。示例性工作流程1300由多个功能节点或模块构建,这些功能节点或模块是经由算法编排器210、编排服务410、AAAS 360等使用AI模型370、虚拟机/容器、处理器等来实现。处理医学数据以确定用于获得医学数据的成像模态是否为CR或DX(方框1302)。处理医学数据以确定医学数据中的图像的查看位置是否为AP或PA(方框1304)。处理医学数据以确定医学研究是否为胸部研究或者包括在医学数据中的身体部位是否为胸部(方框1306)。还以医学数据来评估患者年龄(方框1308)。如果患者满18岁,那么生成使医学数据移动并且开始分析的通知(方框1310)。然而,例如,如果患者不满18岁,那么添加警告(方框1312)以指示患者未成年和/或患者的年龄未知。
使医学数据移动以用于算法构建和处理(方框1314)并且将该医学数据提供给胸部正面模型以用于分析(方框1316)。针对胸部正面(CF)阈值评估模型的胸部正面输出P1(方框1318)。如果模型输出P1小于CF阈值,那么生成指示不能/不会应用另外的分析的警告(方框1320)并且生成总结通知(方框1330)。如果模型输出P1大于或等于CF阈值,那么分叉(方框1322)将医学数据发送到PTX模型中(方框1324)并且发送到患者位置模型中(方框1326)。评估PTX模型的输出P2以确定输出P2是否大于或等于气胸(PTX)阈值(方框1328)。如果否,那么生成总结通知(方框1330)。如果模型输出P2大于或等于PTX阈值,那么存储分析以用于进一步处理(例如,被添加到工作列表,被路由到另一系统等)(方框1332)。将患者位置模型的输出P3与患者位置(PP)阈值进行比较(方框1334)。当输出P3不大于或等于PP阈值时,生成警告(方框1336)。如果输出P3大于或等于PP阈值,那么结合P3输出和P2输出(方框1338)。然后可使用结合的输出生成总结通知(方框1330)以用于经由查看器330进行用户接口显示,存储在文件共享340、信息系统310、RIS320、DICOM源240、模式414至418、数据存储装置420等中。
上文在图5至图13中示出了表示用于结合图1至图4的示例性系统/装置来实现和/或执行的示例性机器可读指令的流程表、流程图和数据流。在这些示例中,机器可读指令包括供处理器(诸如下文结合图14讨论的示例性处理器平台1400中所示的处理器1412)执行的程序。该程序可体现在有形计算机可读存储介质(诸如CD-ROM、软盘、硬盘驱动器、数字通用盘(DVD)、蓝光TM盘或与处理器1412相关联的存储器)上存储的软件中,但整个程序和/或其部分可另选地由除处理器1412之外的设备执行和/或体现在固件或专用硬件中。进一步地,尽管参考图5至图13所示的流程表和/或过程描述了示例性程序,但是可另选地使用实现本文所公开和描述的示例的许多其他方法。例如,可改变框的执行顺序,和/或可改变、消除或组合所描述的框中的一些框。
如上所述,图5至图13的示例性过程可使用存储在有形计算机可读存储介质上的编码指令(例如,计算机和/或机器可读指令)来实现,该有形计算机可读存储介质为诸如硬盘驱动器、闪存存储器、只读存储器(ROM)、光盘(CD)、数字通用盘(DVD)、高速缓存、随机存取存储器(RAM)和/或信息在其中存储任何持续时间(例如,延长的时间段、永久、短暂实例、临时缓冲和/或高速缓存信息)的任何其他存储设备或存储盘。如本文所用,术语有形计算机可读存储介质明确地被定义为包括任何类型的计算机可读存储设备和/或存储盘,并且排除传播信号且排除传输介质。如本文所用,“有形计算机可读存储介质”和“有形机器可读存储介质”可互换使用。此外或另选地,图5至图13的示例性过程可使用存储在非暂态计算机和/或机器可读介质上的编码指令(例如,计算机和/或机器可读指令)来实现,该非暂态计算机和/或机器可读介质为诸如硬盘驱动器、闪存存储器、只读存储器、光盘、数字通用盘、高速缓存、随机存取存储器和/或信息在其中存储任何持续时间(例如,延长的时间段、永久、短暂实例、临时缓冲和/或高速缓存信息)的任何其他存储设备或存储盘。如本文所用,术语非暂态计算机可读介质明确地被定义为包括任何类型的计算机可读存储设备和/或存储盘,并且排除传播信号并且排除传输介质。如本文所用,当短语“至少”用作权利要求前序中的过渡性术语时,与术语“包括”是开放式的一样,也是开放式的。
本说明书的主题可被实现为独立系统或作为能够由一个或多个计算设备执行的应用程序来执行。应用程序(例如,网页、可下载小应用程序或其他移动可执行程序)可生成本文描述为图形用户接口(GUI)或其他视觉图示的各种显示或图形/视觉表示,该各种显示或图形/视觉表示可被生成为网页等,其方式促进经由计算设备与用户进行交互(接收输入/指令、生成图形说明)。
本文所提及的存储器和处理器可为独立的或整体地构造为各种可编程设备的一部分,包括例如台式计算机或膝上型计算机硬盘驱动器、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、可编程逻辑设备(PLD)等,或作为计算设备的一部分,以及它们的任何组合,该组合可操作以执行与实现本文所描述的主题的方法相关联的指令。
如本文所提及的计算设备可包括:移动电话;计算机,诸如台式计算机或膝上型计算机;个人数字助理(PDA)或移动电话;笔记本电脑、平板电脑或其他移动计算设备;等以及它们的任何组合。
如本文所提及的计算机可读存储介质或计算机程序产品是有形的(并且另选地为非暂态的,如上所定义),并且可包括用于存储电子格式信息(诸如计算机可读程序指令或指令模块、数据等)的易失性和非易失性的、可移动和不可移动的介质,该介质可为独立的或作为计算设备的一部分。计算机可读存储介质或计算机程序产品的示例可包括但不限于RAM、ROM、EEPROM、闪存存储器、CD-ROM、DVD-ROM或其他光学存储装置、磁带盒、磁带、磁盘存储装置或其他磁存储设备、或可用于存储所需电子格式的信息并且可由处理器或计算设备的至少一部分访问的任何其他介质。
如本文所提及的术语模块和部件通常表示当在处理器上执行时导致指定任务的程序代码或指令。程序代码可存储在一个或多个计算机可读介质中。
如本文所提及的网络可包括但不限于:广域网(WAN);局域网(LAN);互联网;有线或无线(例如,光学、蓝牙、射频(RF))网络;计算机、路由器、服务器、网关等的基于云的计算基础结构;或与其相关联的允许系统或其部分与一个或多个计算设备进行通信的它们的任何组合。
术语用户和/或该术语的复数形式用于通常指能够访问、使用或受益于本公开的那些人。
图14是能够执行指令以实现本文所公开和描述的示例性系统和方法的示例性处理器平台1400的框图。处理器平台1400可为例如服务器、个人计算机、移动设备(例如,蜂窝电话、智能电话、平板电脑诸如IPADTM)、个人数字助理(PDA)、互联网设备或任何其他类型的计算设备。
所示示例的处理器平台1400包括处理器1412。所示示例的处理器1412是硬件。例如,处理器1412可以由来自任何所需系列或制造商的一个或多个集成电路、逻辑电路、微处理器或控制器来实现。
所示示例的处理器1412包括本地存储器1413(例如,高速缓存)。所示示例的处理器1412经由总线1418与包括易失性存储器1414和非易失性存储器1416的主存储器通信。易失性存储器1414可由同步动态随机存取存储器(SDRAM)、动态随机存取存储器(DRAM)、RAMBUS动态随机存取存储器(RDRAM)和/或任何其他类型的随机存取存储器设备来实现。非易失性存储器1416可由闪存存储器和/或任何其他所需类型的存储器设备来实现。对主存储器1414、1416的访问由存储器控制器来控制。
所示示例的处理器平台1400还包括接口电路1420。接口电路1420可由任何类型的接口标准(诸如以太网接口、通用串行总线(USB)和/或PCI express接口)来实现。
在所示示例中,一个或多个输入设备1422连接到接口电路1420。输入设备1422允许用户将数据和命令输入到处理器1412中。一个或多个输入设备可由例如音频传感器、麦克风、相机(静物相机或摄像机)、键盘、按钮、鼠标、触摸屏、触控板、轨迹球、isopoint和/或语音识别系统来实现。
一个或多个输出设备1424也连接到所示示例的接口电路1420。输出设备1424可例如由显示设备(例如,发光二极管(LED)、有机发光二极管(OLED)、液晶显示器、阴极射线管显示器(CRT)、触摸屏、触觉输出设备、发光二极管(LED)、打印机和/或扬声器)来实现。因此,所示示例的接口电路1420通常包括图形驱动器卡、图形驱动器芯片或图形驱动器处理器。
所示示例的接口电路1420还包括通信设备,诸如发射器、接收器、收发器、调制解调器和/或网络接口卡,以促进经由网络1426(例如,以太网连接、数字订户线(DSL)、电话线、同轴电缆、蜂窝电话系统等)与外部机器(例如,任何种类的计算设备)交换数据。
所示示例的处理器平台1400还包括用于存储软件和/或数据的一个或多个大容量存储设备1428。此类大容量存储设备1428的示例包括软盘驱动器、硬盘驱动器、光盘驱动器、蓝光盘驱动器、RAID系统以及数字通用盘(DVD)驱动器。
编码指令1432可存储在大容量存储设备1428、易失性存储器1414、非易失性存储器1416中和/或可移动的有形计算机可读存储介质(诸如CD或DVD)上。指令1432可由处理器1412执行以实现如上文所公开和描述的示例性系统100至400等。
依据前述内容,应当理解,已经公开了为医学数据提供动态的、研究特定的算法和处理资源生成的示例性方法、装置和制品。所公开的方法、装置和制品改善了使用计算设备和接口的效率,该计算设备驱动该接口以接受研究、评估该研究和其元数据并且然后动态地选择和/或生成算法和相关联处理元素,这些算法和相关联处理元素是针对该研究构建的以处理研究并且驱动可操作结果。某些示例通过与云和/或边缘设备以及服务连接来改善计算机系统以及其处理和互操作性,这些服务可针对特定数据、诊断标准、处理目标等以先前不可用的方式来动态分配和定制。某些示例更改计算设备的操作并且提供新的接口和交互以使用处理元素动态地将算法实例化从而处理医学研究数据。因此,所公开的方法、装置和制品涉及计算机的功能以及新医学数据处理方法和基础结构的一个或多个改善。
因此,与静态图像和/或其他医学数据处理算法不同,某些示例针对特定患者检查和/或图像研究达成动态算法匹配和工作流程生成。某些示例基于检查/研究类型(例如,检查原因、模态、临床重点等)、检查/研究内容(例如,包括解剖学、检查原因等)等而将检查/研究动态地匹配到一个或多个算法。照此,可将检查/研究数据路由到一个或多个动态地实例化的处理模型以将一个或多个算法应用于数据从而获得结果(例如,分割图像、计算机辅助检测和/或图像中的对象诊断、图像中的对象标记、图像中的特征识别、图像中的感兴趣区域识别、一系列图像的改变、其他经处理的图像等),并且由系统驱动进一步操作,诸如在RIS、PACS、EMR、实验室测试系统、调度器、后续图像采集等中触发后续操作。
某些示例可对完整的医学研究、对流式传输的部分医学数据等进行操作。某些示例分析解剖结构、模态、检查原因等,以分配处理元素从而相应地实现用以处理医学数据的算法。某些示例检测医学数据中的解剖结构,依据医学数据形成特征向量等,以识别和表征用于对应的定制算法生成和应用的医学数据。因此,通过算法执行触发的操作可包括在图形用户接口显示器中生成的分析、在健康系统中触发的另外的操作、工作列表中的研究的优先级、给临床医生和/或结果系统的通知、用结果对原始医学研究的更新等。
虽然本文已公开了某些示例性方法、装置和制品,但本专利的覆盖范围不限于此。相反,本专利覆盖合理落入本专利的权利要求书的范围内的所有方法、装置和制品。
Claims (20)
1.一种装置,包括:
算法编排器,所述算法编排器用以分析医学数据和相关联的元数据并且基于所述分析而选择算法;和
后处理器,所述后处理器用以使用一个或多个处理元素针对所述医学数据执行所述算法,所述一个或多个处理元素由所述算法编排器以组合方式动态地选择和布置以实现用于所述医学数据的所述算法,所述后处理器用以输出所述算法的结果以供所述算法编排器操作。
2.根据权利要求1所述的装置,其中所述一个或多个处理元素包括用以将所述算法实例化的一个或多个人工智能模型。
3.根据权利要求1所述的装置,其中所述后处理器包括推理引擎和服务中的至少一者以形成所述一个或多个处理元素并且如由所述算法编排器触发而将所述一个或多个处理元素布置到所述算法中。
4.根据权利要求1所述的装置,其中所述后处理器用以存储一个或多个处理元素的所布置组合以便为实现所述算法而进行后续检索。
5.根据权利要求1所述的装置,其中一个或多个处理元素的所述布置包括用以将多个处理元素并行地应用于所述医学数据的分叉。
6.根据权利要求1所述的装置,其中一个或多个处理元素的所述布置包括用以将多个处理元素的输出组合成结果的结合。
7.根据权利要求1所述的装置,其中所述算法编排器用以选择由所述算法编排器组合并且由所述后处理器实例化的多个算法以将多个算法应用于所述医学数据。
8.根据权利要求1所述的装置,其中所述操作包括以下操作中的至少一者:a)经由查看器显示随所述算法结果生成的图形用户接口;或b)触发健康系统以基于所述结果而处理所述医学数据。
9.一种包括指令的计算机可读存储介质,所述指令在由至少一个处理器执行时致使所述至少一个处理器至少执行以下操作:
分析医学研究的医学数据和相关联的元数据;
基于所述分析而选择算法;以及
以组合方式动态地选择、布置和配置处理元素以实现用于所述医学数据的所述算法;
使用所布置、所配置的处理元素针对所述医学数据执行所述算法;以及
输出用于所述医学研究的所述算法的可操作结果。
10.根据权利要求9所述的计算机可读存储介质,其中所述处理元素包括用以将所述算法实例化的一个或多个人工智能模型。
11.根据权利要求9所述的计算机可读存储介质,其中所述指令在被执行时致使所述至少一个处理器存储处理元素的所布置组合以便为实现所述算法而进行后续检索。
12.根据权利要求9所述的计算机可读存储介质,其中处理元素的所述布置包括用以将所述多个处理元素的至少一部分并行地应用于所述医学数据的分叉。
13.根据权利要求9所述的计算机可读存储介质,其中处理元素的所述布置包括用以将所述多个处理元素的输出组合成结果的结合。
14.根据权利要求9所述的计算机可读存储介质,其中所述指令在被执行时致使所述至少一个处理器选择被组合和实例化的多个算法以将多个算法应用于所述医学数据。
15.根据权利要求9所述的计算机可读存储介质,其中所述指令在被执行时致使所述至少一个处理器触发以下操作中的至少一者:a)经由查看器显示随所述算法结果生成的图形用户接口;或b)触发健康系统以基于所述结果而处理所述医学数据。
16.一种计算机实现的方法,包括:
通过用至少一个处理器执行指令来分析医学研究的医学数据和相关联的元数据;
通过用所述至少一个处理器执行指令来基于所述分析而选择算法;以及
通过用所述至少一个处理器执行指令来以组合方式动态地选择、布置和配置处理元素以实现用于所述医学数据的所述算法;
通过用所述至少一个处理器执行指令来使用所布置、所配置的处理元素针对所述医学数据执行所述算法;以及
通过用所述至少一个处理器执行指令来输出用于所述医学研究的所述算法的可操作结果。
17.根据权利要求16所述的方法,其中所述处理元素包括用以将所述算法实例化的一个或多个人工智能模型。
18.根据权利要求16所述的方法,进一步包括存储处理元素的所布置组合以便为实现所述算法而进行后续检索。
19.根据权利要求16所述的方法,进一步包括选择被组合和实例化的多个算法以将多个算法应用于所述医学数据。
20.根据权利要求16所述的方法,进一步包括触发以下操作中的至少一者:a)经由查看器显示随所述算法结果生成的图形用户接口;或b)触发健康系统以基于所述结果而处理所述医学数据。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/503,065 US20210005307A1 (en) | 2019-07-03 | 2019-07-03 | Image processing and routing using ai orchestration |
US16/503,065 | 2019-07-03 | ||
PCT/US2020/039269 WO2021003046A1 (en) | 2019-07-03 | 2020-06-24 | Image processing and routing using ai orchestration |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114051623A true CN114051623A (zh) | 2022-02-15 |
Family
ID=71670403
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080048847.0A Pending CN114051623A (zh) | 2019-07-03 | 2020-06-24 | 使用ai编排进行图像处理和路由 |
Country Status (4)
Country | Link |
---|---|
US (2) | US20210005307A1 (zh) |
EP (1) | EP3994698A1 (zh) |
CN (1) | CN114051623A (zh) |
WO (1) | WO2021003046A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11190514B2 (en) * | 2019-06-17 | 2021-11-30 | Microsoft Technology Licensing, Llc | Client-server security enhancement using information accessed from access tokens |
US11841837B2 (en) * | 2020-06-12 | 2023-12-12 | Qlarant, Inc. | Computer-based systems and methods for risk detection, visualization, and resolution using modular chainable algorithms |
US11727559B2 (en) * | 2020-07-01 | 2023-08-15 | Merative Us L.P. | Pneumothorax detection |
WO2022240861A1 (en) * | 2021-05-12 | 2022-11-17 | Arterys Inc. | Model combining and interaction for medical imaging |
US20240127047A1 (en) * | 2022-10-13 | 2024-04-18 | GE Precision Healthcare LLC | Deep learning image analysis with increased modularity and reduced footprint |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3083606B2 (ja) * | 1990-11-22 | 2000-09-04 | 株式会社東芝 | 医用診断支援システム |
EP1687685A4 (en) * | 2003-10-06 | 2009-04-22 | Catalis Inc | SYSTEM AND METHOD FOR EXTERNALLY ENTERING A DISEASE MANAGEMENT ALGORITHM |
GB2420641B (en) * | 2004-11-29 | 2008-06-04 | Medicsight Plc | Digital medical image analysis |
US9357974B2 (en) * | 2008-10-27 | 2016-06-07 | Carestream Health, Inc. | Integrated portable digital X-ray imaging system |
US9779376B2 (en) * | 2011-07-13 | 2017-10-03 | International Business Machines Corporation | Dynamically allocating business workflows |
EP3943611A3 (en) * | 2014-06-24 | 2022-05-04 | Likeminds, Inc. | Predictive neurodiagnostic methods |
US9811631B2 (en) * | 2015-09-30 | 2017-11-07 | General Electric Company | Automated cloud image processing and routing |
EP3716276A4 (en) * | 2017-11-21 | 2020-12-30 | FUJIFILM Corporation | MEDICAL CARE ASSISTANCE DEVICE, AND ASSOCIATED PROCESS AND OPERATING PROGRAM |
US20190156947A1 (en) * | 2017-11-22 | 2019-05-23 | Vital Images, Inc. | Automated information collection and evaluation of clinical data |
US11080326B2 (en) * | 2017-12-27 | 2021-08-03 | International Business Machines Corporation | Intelligently organizing displays of medical imaging content for rapid browsing and report creation |
US11449986B2 (en) * | 2018-10-23 | 2022-09-20 | International Business Machines Corporation | Enhancing medical imaging workflows using artificial intelligence |
-
2019
- 2019-07-03 US US16/503,065 patent/US20210005307A1/en not_active Abandoned
-
2020
- 2020-06-24 EP EP20742985.3A patent/EP3994698A1/en not_active Withdrawn
- 2020-06-24 WO PCT/US2020/039269 patent/WO2021003046A1/en unknown
- 2020-06-24 CN CN202080048847.0A patent/CN114051623A/zh active Pending
-
2021
- 2021-12-08 US US17/545,279 patent/US20220130525A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20210005307A1 (en) | 2021-01-07 |
WO2021003046A1 (en) | 2021-01-07 |
EP3994698A1 (en) | 2022-05-11 |
US20220130525A1 (en) | 2022-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10937164B2 (en) | Medical evaluation machine learning workflows and processes | |
US10515721B2 (en) | Automated cloud image processing and routing | |
US9542481B2 (en) | Radiology data processing and standardization techniques | |
US20220130525A1 (en) | Artificial intelligence orchestration engine for medical studies | |
CN112868020A (zh) | 用于医学成像报告的改进的分析和生成的系统和方法 | |
US10977796B2 (en) | Platform for evaluating medical information and method for using the same | |
EP2169577A1 (en) | Method and system for medical imaging reporting | |
EP3376958B1 (en) | Water equivalent diameter determination from scout images | |
CN114787934A (zh) | 有助于医疗保健成像诊断的工作流的算法编配 | |
US20240194325A1 (en) | Systems and Methods for Processing Medical Images For In-Progress Studies | |
US20220293246A1 (en) | Systems and Methods for Processing Medical Images Using Relevancy Rules | |
CN112447287A (zh) | 自动化的临床工作流程 | |
US20240145068A1 (en) | Medical image analysis platform and associated methods | |
EP4216229A1 (en) | Subscription and retrieval of medical imaging data | |
US20240185990A1 (en) | System and Method for Processing Medical Image Data | |
WO2024041916A1 (en) | Systems and methods for metadata-based anatomy recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |