CN117501381A - 利用灵活的算法处理来处理电子图像的系统和方法 - Google Patents

Abstract

一种可以处理对应于与患者相关联的医学样本的电子图像的方法。该方法可以包括：接收对一个或多个人工智能(AI)算法的选择；接收与患者相关联的医学样本的一个或多个全幅切片图像；使用一个或多个选择的AI算法对全幅切片图像执行任务，该全幅切片图像存储在第一容器中，该全幅切片图像源自第一用户，该任务包括确定全幅切片图像中的医学样本的特性；基于全幅切片图像的特性，生成与全幅切片图像相关联的元数据；以及将元数据存储在第二容器中。

Description

利用灵活的算法处理来处理电子图像的系统和方法

相关申请

本申请要求2021年4月26日提交的美国临时申请号63/179,852的优先权，该临时申请的全部公开内容全文以引用方式并入本文。

技术领域

本公开的各种实施方案总体上涉及用于处理电子图像的计算病理学工作流程。更具体地，本公开的特定实施方案涉及用于使用临床级产品治疗癌症的工作流程的系统和方法。

背景技术

使用计算机来辅助病理学家的过程被称为计算病理学。在计算病理学领域，信息安全和数据隐私是确保个人数据和健康相关信息得到保护的重要考虑因素。

上述一般描述和下面的详细描述仅仅是示例性和解释性的，而不是对本公开的限制。本文提供的背景技术描述是为了总体上呈现本公开的背景。除非本文另有说明，否则本节中描述的材料不是本申请中权利要求的现有技术，并且不因为包含在本节中而承认是现有技术或现有技术建议。

发明内容

根据本公开的某些方面，公开了用于处理对应于与患者相关联的医学样本的电子图像和/或用于选择AI模块的系统和方法。

一种用于处理对应于与患者相关联的医学样本的电子图像的方法可以包括：接收对一个或多个人工智能(AI)算法的选择；接收与患者相关联的医学样本的一个或多个全幅切片图像(whole slide image)；使用一个或多个选择的AI算法对全幅切片图像执行任务，该全幅切片图像存储在第一容器中，该全幅切片图像源自第一用户，该任务包括确定全幅切片图像中的医学样本的特性；基于全幅切片图像的特性，生成与全幅切片图像相关联的元数据；以及将元数据存储在第二容器中。

该一个或多个选择的AI算法可以在云计算环境中可用的多个AI算法之中。

该多个AI算法中的至少一个AI算法可能已经由第二用户开发，并且该多个AI算法中的至少另一个AI算法可能已经由不同于第二用户的第三用户开发。第二用户可能位于与第三用户不同的区域。

该方法可以包括在多个AI算法中选择AI算法作为一个或多个选择的AI算法。选择AI算法可以基于：指示要执行的任务的类型的请求；指示要生成的元数据的类型的请求；用于特定AI算法的命令；与存储的全幅切片图像相关联的附加信息或元数据；由第一用户接收的一个或多个规则或政策；与该多个AI算法中的AI算法相关联的一个或多个规则或政策；以及/或者从一个或多个用户接收的一个或多个规则或政策，该一个或多个用户已经开发了该多个AI算法中的AI算法。

该方法还可以包括从第二用户接收应用所选择的AI算法来对全幅切片图像执行任务的请求。

该AI算法可以获取与全幅切片图像相关联的补充信息。该补充信息可以包括患者一般概况(generic profile patient)、患者病史、相关切片图像、放射学数据、分子数据和/或临床数据。

该方法可以包括确定与第二容器相关联的一个或多个规则，通过基于与第二容器相关联的一个或多个规则执行以下操作来生成修改的全幅切片图像和/或修改的元数据：(i)移除来自全幅切片图像的数据和/或移除元数据中的至少一些元数据；并且/或者(ii)改变来自全幅切片图像的数据和/或改变元数据中的至少一些元数据；以及向用户输出修改的全幅切片图像和/或修改的元数据。

该方法可以包括通过对全幅切片图像执行自动的基于人工智能的摄取来将全幅切片图像存储在第一容器中。可能已经从第一用户接收到全幅切片图像。

该方法可以包括：从装置接收对全幅切片图像中的至少一个全幅切片图像的请求；将该装置的位置与第一用户和/或患者的位置进行比较；并且基于比较的位置来确定规则是否允许向该装置发送所请求的至少一个全幅切片图像和元数据。

该方法可以包括确定允许向装置发送所请求的至少一个全幅切片图像和元数据，并且向装置提供所请求的至少一个全幅切片图像和元数据。

确定允许向装置发送所请求的至少一个全幅切片图像可以包括确定该装置与和第一用户相同的机构相关联。应用所选择的人工智能算法来执行任务可以基于与患者相关联的患者元数据来执行。

生成元数据还可以包括确定热图。热图可以包括对医学标本中的属性的可能性的图形预测。

一种用于处理对应于与患者相关联的医学样本的电子图像的系统可以包括存储指令的至少一个存储器和被配置为执行指令以执行操作的至少一个处理器。操作可以包括：接收对一个或多个人工智能(AI)算法的选择；接收与患者相关联的医学样本的一个或多个全幅切片图像；使用一个或多个选择的AI算法对全幅切片图像执行任务，该全幅切片图像存储在第一容器中，该全幅切片图像源自第一用户，该任务包括确定全幅切片图像中的医学样本的特性；基于全幅切片图像的特性，生成与全幅切片图像相关联的元数据；以及将元数据存储在第二容器中。

该一个或多个选择的AI算法可以在云计算环境中可用的多个AI算法之中。该多个AI算法中的至少一个AI算法可能已经由第二用户开发，并且该多个AI算法中的至少另一个AI算法可能已经由不同于第二用户的第三用户开发。

该操作可以包括在多个AI算法中选择AI算法作为一个或多个选择的AI算法。选择AI算法可以基于：指示要执行的任务的类型的请求；指示要生成的元数据的类型的请求；用于特定AI算法的命令；与存储的全幅切片图像相关联的附加信息或元数据；由第一用户接收的一个或多个规则或政策；与该多个AI算法中的AI算法相关联的一个或多个规则或政策；以及/或者从一个或多个用户接收的一个或多个规则或政策，该一个或多个用户已经开发了该多个AI算法中的AI算法。

一种非暂时性计算机可读介质可以存储指令，该指令在由处理器执行时，使得处理器执行用于处理对应于与患者相关联的医学样本的电子图像的操作，该操作包括：接收对一个或多个人工智能(AI)算法的选择；接收与患者相关联的医学样本的一个或多个全幅切片图像；使用一个或多个选择的AI算法对全幅切片图像执行任务，该全幅切片图像存储在第一容器中，该全幅切片图像源自第一用户，该任务包括确定全幅切片图像中的医学样本的特性；基于全幅切片图像的特性，生成与全幅切片图像相关联的元数据；以及将元数据存储在第二容器中。

该一个或多个选择的AI算法可以在云计算环境中可用的多个AI算法之中。该多个AI算法中的至少一个AI算法可能已经由第二用户开发，并且该多个AI算法中的至少另一个AI算法可能已经由不同于第二用户的第三用户开发。

应当理解，上述一般性的描述和下面的详细描述都仅仅是示例性和解释性的，而不是对所要求保护的公开的实施方案的限制。

附图说明

并入本说明书并构成其一部分的附图示出了各种示例性实施方案，并与说明书一起用于解释所公开的实施方案的原理。

图1是根据示例性实施方案的用于处理数字切片的平台的示例性全局架构。

图2是示出根据示例性实施方案的使用具有人工智能(AI)输出的平台的示例性方法的工作流程。

图3A至图3B是示出根据示例性实施方案的使用平台的示例性方法的流程图。

图4A至图4C是根据示例性实施方案的数据摄取设备的示例性架构和该数据摄取设备的集成。

图5A至图5C是根据示例性实施方案的实验室信息系统(LIS)的示例性架构和LIS的集成。

图6是根据示例性实施方案的切片查看器的示例性架构。

图7A是根据示例性实施方案的AI计算机的示例性架构，并且图7B是使用该示例性架构的示例性方法的流程图。

图8是用于与本文公开的工作流程和平台架构一起使用的示例性推断架构。

图9描绘了可以执行本文所呈现的技术的示例性系统。

图10A至图10B示出了根据示例性实施方案的示例性输出。

具体实施方式

现在将详细参考本公开的示例性实施方案，其示例在附图中示出。在可能的情况下，在所有附图中使用相同的附图标记来表示相同或相似的部件。

本文公开的系统、装置和方法提供了计算病理学过程和工作流程，该计算病理学过程和工作流程被配置为与可以改变癌症的诊断和治疗的临床级产品一起使用。本文描述的计算病理学工作流程可以提高诊断的准确性、可靠性、效率和可及性。例如，装置的工作流程可能会检测出疑似存在癌症的切片，从而使病理学家能够在给出最终诊断之前检查他们的初步评估。本公开的计算病理学过程和工作流程可以使用集成平台，该集成平台允许经由web浏览器摄取、处理和查看数字病理学图像，同时与实验室信息系统(LIS)、基于客户的诊断工具或任何其他软件开发工具包(SDK)应用集成。

本文公开的系统、装置和方法通过示例并参考附图来详细描述。本文讨论的实施例仅仅是示例，并且被提供来帮助解释本文描述的设备、装置、系统和方法。对于这些装置、系统或方法中的任何一者的任何特定实施方式，附图中所示或以下讨论的特征或部件都不应被认为是强制性的，除非被具体指定为强制性的。

此外，对于所描述的任何方法，无论该方法是否结合流程图进行描述，都应当理解，除非上下文另有规定或要求，否则在方法的执行中执行的步骤的任何显式或隐式排序并不意味着这些步骤必须以所呈现的顺序执行，而是可以以不同的顺序或并行执行。

如本文所用，术语“示例性的”是在“示例”的意义上使用的，而不是“理想的”此外，本文中的术语“一”和“一个”并不表示数量限制，而是表示存在一个或多个所引用的项目。

病理学是指对疾病的研究，诸如执行用于诊断疾病的测试和分析。例如，可以将组织样本放在切片上，由病理学家或医生在显微镜下观察，分析组织样本以确定是否存在任何异常。病理学标本可被切割或切片成多个部段(section)或切割水平，制备成切片和/或放置在切片上，并且染色以供病理学家检查和给出诊断。

当不确定切片上的诊断发现时，病理学家可指示附加的切割水平、染色或其他测试，以从组织中收集更多信息。然后，技术人员可以制作新的切片，该新的切片可包含病理学家在进行诊断时使用的附加信息。制作附加切片的该过程可能非常耗时，不仅因为该过程可能涉及取出组织块，将组织块切割以制成新的切片，然后对切片进行染色，而且还因为其可能被分批用于多个命令。该过程可能会显著延迟病理学家给出的最终诊断。另外，即使在延迟之后，病理学家可能仍然不确定新的切片是否具有足以给出诊断的信息。

病理学家可以单独评估癌症和其他疾病的切片。本文公开的系统、装置和方法提供了改善癌症和其他疾病诊断的平台。该平台可以在一个工作站中集成例如切片评估、任务、图像分析、人工智能(AI)(例如，癌症检测AI)、注释、咨询和建议。在该平台中可以使用各种示例性用户界面，以及可以集成到该平台中以加快和改善病理学家工作的AI工具。

例如，计算机可以分析组织样本的图像，以快速识别是否可能需要关于特定组织样本的附加信息，并且/或者向病理学家突出显示其应该更仔细观察的区域。因此，获得附加的染色切片和测试的过程可以在病理学家审查之前自动完成。当与自动切片分割和染色机相配合时，可提供全自动切片制备流水线(pipeline)。这种自动化可：(1)使病理学家在确定切片不足以作出诊断时所浪费的时间量最小化或减少；(2)通过避免或减少预定附加测试时和产生附加测试时之间的附加时间，使从标本采集到诊断的(平均总)时间最小化或减少；(3)通过允许在组织块(例如，病理学标本)处于切割台时进行再切割，使每次再切割的时间量和浪费的材料量减少或最小化；(4)使切片制备期间浪费/丢弃的组织材料量减少或最小化；(5)通过使该规程部分或完全自动化，使切片制备的成本减少或最小化；(6)允许切片的自动定制切割和/或染色，这将导致来自样本的更具代表性和/或信息量更大的切片；(7)允许每个组织块生成更大量的切片，通过减少请求病理学家进行附加测试的开销，有助于更有根据的和/或更精确的诊断；以及/或者(8)识别或验证数字病理学图像的正确属性(例如，关于标本类型)等。

用于计算病理学的计算方法可以包括但不限于统计分析、自主或机器学习和AI。AI可以包括但不限于深度学习、神经网络、分类、聚类和回归算法。计算病理学可以通过帮助病理学家提高他们的诊断准确性、可靠性、效率和可及性来拯救生命。例如，可以使用计算病理学来帮助检测疑似存在癌症的切片，从而允许病理学家在给出最终诊断之前检查和确认他们的初始评估。

组织病理学是指对放置在切片上的标本的研究。例如，数字病理学图像可以由包含标本(例如，涂片)的显微镜切片的数字化图像组成。病理学家可以用来分析切片上的图像的一种方法是识别细胞核并将细胞核分类为正常的(即良性的)还是异常的(即恶性的)。为了帮助病理学家识别和分类细胞核，可以使用组织学染色使细胞可见。已经开发了许多基于染料的染色系统，包括高碘酸-希夫反应、马松三色、尼氏和亚甲蓝以及苏木精和伊红(H&E)。对于医学诊断，H&E是一种广泛使用的基于染料的方法，其中苏木精将细胞核染成蓝色，伊红将细胞质和细胞外基质染成粉红色，并且其他组织区域呈现这些颜色的变型。

然而，在许多情况下，H&E染色的组织学制备物不能为病理学家提供足够的信息来在视觉上识别可以帮助诊断或指导治疗的生物标记。在这种情况下，可以使用诸如免疫组织化学(IHC)、免疫荧光法、原位杂交法(ISH)或荧光原位杂交法(FISH)的技术。IHC和免疫荧光法涉及例如使用与组织中特定抗原结合的抗体来实现对表达感兴趣的特定蛋白质的细胞的视觉检测，这可以揭示使用H&E染色的切片不能可靠识别的生物标记物。可以采用ISH和FISH来评估基因的拷贝数或特定RNA分子的丰度(abundance)，这取决于所采用的探针的类型(例如，用于基因拷贝数的DNA探针和用于评估RNA表达的RNA探针)。如果这些方法未能提供足够的信息来检测一些生物标记物，则可使用对组织的基因测试来确认生物标记物是否存在(例如，肿瘤中特定蛋白质或基因产物的过表达、癌症中给定基因的扩增)。

可以准备数字化图像以显示染色的显微镜切片，这可以允许病理学家手动观察切片上的图像并估计图像中染色的异常细胞的数量。然而，该过程可能很耗时，并且可能导致识别异常的错误，因为一些异常很难检测。计算过程和装置可用于帮助病理学家检测可能原本难以检测的异常。

例如，AI可以用于从使用H&E和其他基于染料的方法染色的组织的数字图像内的显著区域预测生物标记物(诸如蛋白质和/或基因产物的过表达、特定基因的扩增或突变)。作为另一示例，AI可用于从制备的组织样本的数字图像内的各个区域预测漂浮物(一种异常)的存在。组织的图像可以是全幅切片图像(WSI)或组织部段内感兴趣的微阵列或选定区域内的组织芯的图像。使用如H&E的染色方法，这些生物标记物对于人类来说可能难以在没有附加测试的帮助的情况下视觉地检测或量化。使用AI从组织的数字图像推断这些生物标记物可改善患者护理，同时也更快并且更便宜。

本文公开的计算病理学过程和装置可以提供集成平台，该集成平台实现了包括经由web浏览器或其他用户界面对数字病理学图像进行数据摄取、处理和查看的全自动化过程，同时与实验室信息系统(LIS)集成。此外，可以使用患者数据的基于云的数据分析来聚合临床信息。数据可来自医院、诊所、现场研究人员等，并且可以由机器学习、计算机视觉、自然语言处理和/或统计算法来分析该数据，以在多个地理特异性水平执行健康模式的实时监测和预测。

上述数字病理学图像可以与关于数字病理学图像的标本或图像的属性的标签和/或标记一起存储，并且此类标签/标记可能不正确或不完整。因此，本文公开的系统、装置和方法可以识别和/或验证数字病理学图像的正确属性(例如，关于标本类型)。本文公开的系统、装置和方法可以自动预测数字病理学图像的标本或图像属性，而不依赖于存储的标签/标记。此外，本文公开的系统、装置和方法可以快速和正确地识别和/或验证数字病理学图像的标本类型，或者与数字病理学图像相关的任何信息，而不必访问LIS或类似的信息数据库。

在一个示例中，系统可以被训练为基于先前数字病理学图像的数据集来识别数字病理学图像的各种属性。训练的系统可以为数字病理学图像中显示的标本提供分类。分类可有助于为与标本相关联的患者提供治疗或诊断预测。

本文公开的系统、装置和方法可以提供标本分类工具的一个或多个示例。对该工具的输入可包括数字病理学图像和任何相关的附加输入。该工具的输出可包括关于标本的全局和/或局部信息。标本可包括活检或外科手术切除标本。

所公开的工作流程的示例性全局输出可以包含关于整个图像的信息，诸如标本类型、标本的切割的整体质量、玻璃病理切片本身的整体质量和/或组织形态特性。示例性局部输出可以指示图像的特定区域中的信息；例如，特定图像区域可以被分类为在切片中具有模糊或裂缝。本文公开的系统、方法和装置可以使用公开的标本分类工具，如下面进一步详细描述的。

另外，本文公开的系统、方法和装置可以在计算病理学服务和产品的开发和交付中保护敏感的和受法律保护的信息。此外，本文公开的系统、方法和装置可以通过设计方法以及生产系统保护为所有数据提供安全性和隐私性，所述数据包括属于医疗实践、患者和/或客户的数据。

本文公开的技术方面可以使数字病理学切片可用于广大病理学家和科学家团体，从而允许临床点或机构更好地控制数据共享政策并且确保数据被安全地存储和匿名化。因此，临床点或机构可以与世界各地的研究人员更好地协作，以开发有利于病理学并最终有利于患者的AI解决方案。如果用户是研究小组或大学的一部分，则本文公开的技术方面可以允许更容易地访问临床伙伴的数据，并且利用现有基础设施来使用软件开发工具包(SDK)构建定制算法。

使用集成计算平台的工作流程可以提供：(i)AI原生数字病理学切片查看器；(ii)AI产品的套件；和/或(iii)数据摄取设备。AI原生数字病理学切片查看器可包括交互式用户界面或通知仪表板。查看器还可以支持切片图像的协作和共享。该AI产品的套件可包括针对身体不同部位(例如，前列腺)设计的产品，这些产品可以插入不同的工作流程步骤，并且可以根据特定的诊断目的或癌症类型进行用户定制。数据摄取设备将促进传输数字病理学切片。

图1描绘了医院或临床环境1、外部团体研究机构或大学2、云计算生态系统3和另一个或二级医院或临床环境4的示例性示意图。医院或临床环境1可以包括集成扫描仪设备和平台1a。平台1a可以与云计算生态系统3(例如，亚马逊网络服务云(AWS))通信。云计算生态系统3可以与外部团体研究机构或大学2通信。另外，云计算生态系统3可与始发医院或临床环境之外的另一医院或临床环境4通信。另外，外部团体研究机构或大学2可以与云计算生态系统3通信。

在示例性工作流程中，在医院位置1处的具有全幅切片图像(WSI)的数据集的病理学家可能想要与来自外部研究小组或大学2的科学家和研究人员协作进行研究项目。该组研究人员可能需要访问病理学家的匿名化的数据集，以便在项目上进行协作。可扩展、可靠且安全的云存储库3e可以实现受控的数据共享，同时保持合规性和安全性。一旦该存储库3e就位，这组研究人员可以开发针对具体的研究问题或WSI类型(例如，针对前列腺癌切片等)定制的一个或多个AI模块或软件开发工具包(SDK)3a、3b、3c、3d。一个或多个AI模块或SDK 3a、3b、3c、3d或其他服务形式的各种AI解决方案可以部署在与云存储库3e相同的安全云计算生态系统3中。另外，一个或多个AI模块或SDK3a、3b、3c、3d可被使得可用于平台1a、大学2和/或二级医院环境4，并且/或者与所述平台、大学和/或二级医院环境通信。虽然示出了一个云存储库3e，但是可以有多个云存储库3e，每个云存储库对应于和/或专用于单个机构(例如，外部研究小组或大学2，或者另一外部团体、医院、研究型大学等)以防止机构和/或客户之间的泄露。

医院位置1处的病理学家可以利用适当的工具来查看一个或多个第三方AI模块3a、3b、3c、3d的结果和图像。大学2处的研究人员可以从云计算生态系统3收集有价值的反馈和/或使用其他服务。协作者可以一起决定是否使一个或多个第三方AI模块3a、3b、3c、3d对其他机构和位置(例如，二级医院4)可用，并且将各种其他信息和数据结合到工作流程中，同时保持安全性和隐私性。协作者可以进一步决定更新他们的一个或多个AI模块3a、3b、3c和3d，并且使这些更新在云计算生态系统3中可用。不同用户诸如医院位置1处的病理学家、大学2处的研究人员和/或其他有权访问的人员可以从由不同用户(例如，不同的大学或其他第三方)开发的多个AI模块或SDK 3a、3b、3c和3d中选择、检索和/或下载，并且这些AI模块或SDK 3a、3b、3c和3d可以容易地替换为其他AI模块或SDK和/或更新。

该一个或多个AI模块或SDK3a、3b、3c、3d可以是简单的、可用的并且在技术上是合理的。该一个或多个AI模块或SDK 3a、3b、3c、3d可需要较少的努力来针对具体用例进行定制，可以是独立的，可以能够本地运行，并且可以使暴露的代码减少或最小化。该一个或多个AI模块或SDK3a、3b、3c、3d可易于学习、易于集成到开发人员的工作流程中、被充分记录但能够在没有记录的情况下使用、提供示例并且需要低支持。该一个或多个AI模块或SDK3a、3b、3c、3d可以是稳定的、经过彻底测试的、安全的、后向兼容的、良好封装的和版本化的。该一个或多个AI模块或SDK3a、3b、3c、3d可根据用户(例如，病理学家、研究人员等)的需要并依赖于该一个或多个AI模块或SDK 3a、3b、3c、3d的期望功能在多个位置插入平台架构中。

本文公开的平台1a和工作流程可以增强用户之间的协作。协作可以是在机构(例如，医院1)中的平台1a的用户与同一机构中的用户、有权访问平台1a的另一机构的用户、无权访问平台1a的另一机构(例如，二级医院4)的人或外部个体(例如，在外部机构2处)之间。平台1a的用户可以能够同时打开和查看相同的切片和病例。用户另外可以发送病例和切片的链接，其中病例和切片可以被标识、去标识化、匿名化，或者可以公开或私下进行评论和注释。在会议或类似会议的环境中，团体可以在领头用户导航切片的情况下审查相同的病例和切片，而团体中的其他人可以能够在个人屏幕上看到切片(类似于多头显微镜)。在其他环境中，可以基于机构下载限制(例如，大学的学生)来接收和/或下载病例和切片的链接。AI结果可包括在共享选项中。

图2描绘了用于处理数字切片的平台的示例性全局架构100。该架构可与如上文结合图1所论述的一个或多个SDK或第三方AI模块3a、3b、3c、3d一起使用。一个或多个实施方案可以使用诸如基础设施即服务(IaaS)和平台即服务(PaaS)提供方的云提供方来以全局尺度向客户提供可扩展、可靠、安全、可用的服务。示例性全局架构100可以包括由区域101中的提供方使用，并且可以将数字切片和图像发送到其他区域，诸如欧盟或美国。区域可以指具有不同大小和特性的位置。例如，区域可以对应于国家、城市和/或医院等。与患者相关的任何元数据也可以加密并存储在该区域。全局架构100可被开发成考虑跨任何区域的合规性、可靠性、安全性和隐私性。全局架构100可以被配置为使得可以不存在存储元数据的默认区域(例如，使得元数据不会自动存储在特定区域101中，诸如美国，除非被授权，诸如当患者生活在特定区域101时)。

在区域或位置101中的提供方内，全局架构100可以包括全幅切片图像(WSI)系统102，其中WSI被数字化并且可以被本地存储在存储库103中。WSI可以由切片扫描仪104扫描，并且从切片扫描仪104发送到切片管理器105。数字化图像可以从WSI系统102发送到数据摄取设备106或实验室信息系统(LIS)107。如果图像被发送到LIS107，则可以通过JavaScript对象表示法(JSON)通知来通知用户可以在查看器108上查看图像。查看器108可以是基于web的软件产品，其促进对数字化病理学切片的查看和导航，该数字化病理学切片原本适合于通过常规光学显微镜进行手动可视化。查看器108可以被配置用于体外诊断用途。

如果图像改为发送到数据摄取设备106，则图像可以通过Web应用防火墙(WAF)110被进一步发送到位于切片的始发区域101之外的web服务112。图像可以从web服务112发送到web服务控制台113，并且然后返回到始发区域101，以由认证提供方109进行附加的处理、审查或认证。图像也可以通过WAF 110发送到区域101中的提供方之外的查看器108。

另选地，图像可以从数据摄取设备106发送到唯一的加密S3存储桶(bucket)111。加密S3存储桶111可以在物理上位于多个不同的区域或隐私司法管辖区，例如在欧盟(EU)(诸如在伦敦或法兰克福)、巴西(诸如在圣保罗)，或在美国(诸如在北弗吉尼亚)。如上所述，区域可以指具有不同大小和特性的位置。隐私司法管辖区可指遵循相同或相似隐私法律或政策的地区(例如，欧盟或美国)。区域可以是被授权访问相同信息的地区或位置(例如，医院)。不允许与任何图像或切片相关联的受保护的健康信息(PHI)在位于不同区域的加密S3存储桶111之间传播。如果加密S3存储桶111位于美国境内，则图像可以被发送到web服务112和从该web服务发送，该web服务可以进一步将图像发送到用于保持匿名结果的另一个加密S3存储桶114。这些匿名化的结果可用于其他产品115中，包括针对身体特定区域(诸如前列腺等)的诊断工具。

图像(例如，全幅切片图像或WSI)可以由WSI扫描仪104自动扫描，并且由WSI扫描仪104自动且安全地摄取和存放到本地存储库103中。这些图像可以自动复制到安全的云存储库中(例如，全自动化过程)。一旦接收到图像，全局架构100可以利用云计算的最新进展来自动执行大规模的AI计算。全局架构100可以提供在查看上传的图像和由AI产品生成的预测方面的最先进的体验。

全局架构100可以保持对PHI的监管要求的严格执行，包括防止患者信息离开其始发地理位置。全局架构100和/或产品架构可被开发来考虑合规性、可靠性、安全性和隐私性，使得PHI被保持在始发区域中。全局架构100可以被配置为使得上传的图像和/或元数据可以被存储在专用于特定机构的存储库中。

如图2所示，可识别的患者信息可以保持在实践所在的区域。所有扫描的图像可以保持在物理上位于任何区域的加密S3存储桶111中。通过将来自不同机构的数据存储在不同的存储桶中，可以将来自不同机构的病理学数据彼此分开。

全局架构100可以为数据摄取提供明确定义的应用编程接口(API)端点。为了减少或最小化敏感数据的暴露，可以提供特定的端点(例如，区域API端点)和唯一的S3存储桶111来限制要创建的防火墙规则的数量。该端点可以是稳定的，以降低服务中断的风险。

全局架构100可以利用认证提供方。全局架构100可以使用允许信息技术(IT)部门管理授权账户的凭证和访问的协议(例如，安全断言标记语言(SAML)2.0协议)与认证提供方集成。

全局架构100可以提供或实现客户隔离。上传的图像可以存储在专用于机构的云存储库中，以防止客户之间的数据泄露。其他数据可以是多租户的，并且不一定与其他客户的数据分割。全局架构100可以周期性地执行客户数据的备份，并且在预先确定的时间段(例如，六年)内保持记录，以便提供灾难恢复能力。预先确定的时间段可以基于合同协议、规则、政策等。

客户可能仍然是其数据的所有者。客户数据可用于改进产品，并且进一步开发平台及相关产品和服务。

可以部署统一的数据丢失防护(DLP)解决方案来检测任何潜在的数据外泄或泄露，监控数据流并保护敏感信息(例如，客户数据和知识产权)。安全标准可以与选定的标准(例如，HIPAA<ISO27001、GDPR和HITRUST)一致。

全局架构100可以包括钥匙卡管理系统，并且对物理办公室的访问可以由钥匙卡管理系统控制。钥匙卡访问也可以控制进入受限办公区域。钥匙卡系统的日志可保持在用于监控、报警和事件关联的安全日志管理工具中。物理办公室在所有物理入口通道也有视频监控。

全局架构100可以包括要求雇员认证和启用可审计性的版本控制系统，并且源代码可以安全地存储在版本控制系统中。可对代码更改进行质量和潜在安全问题的同行审核。此外，部件和产品版本化可以实现完全的可追溯性。

除了传统测试和/或正确性、回归性、稳定性和有效性的测试之外，全局架构100可以对形成最终产品的所有部件执行或使得执行静态应用安全测试(SAST)和动态应用安全测试(DAST)。为了实现最高效率，这些工具可以集成在软件开发生命周期(SDLC)内和持续集成平台内。在整个SDLC中，从构思到交付，可以使用标准行业实践。源代码等可以安全地存储在要求雇员认证并支持可审计性的版本控制系统中。可对所有代码更改进行质量和潜在安全问题的同行审核。全局架构可以实现完全的可追溯性。

全局架构100可包括补丁管理，并且维护常规的修补程序和计划。全局架构100可以每月为所有管理系统进行操作系统修补。全局架构100可以在产品的整个开发过程中管理产品和第三方软件修补，并且随着每次发布而部署。本文公开的全局架构100和/或过程可以包括质量管理系统。质量管理系统可保持符合适用标准(例如，ISO 13485:2016)和规定。质量管理系统可以监控和/或分析结合全局架构100执行的过程、这些过程的相互作用、利用风险方法评估的这些过程对质量管理系统和产品质量(例如，符合ISO 14971标准)的风险、支持和监控这些过程的资源分配、与过程相关联的测量和分析活动的有效性，以及与过程的持续改进相关联的机制。

全局架构100可以包括漏洞管理。全局架构100可以使用安全工具来对产品和生产环境进行主动安全和漏洞扫描。全局架构100可以记录识别的问题并执行风险评估。安全团队可对环境进行定期评估、审查和审核。此外，团队可跟踪和修复漏洞问题。

全局架构100可包括恶意软件预防，恶意软件预防可包括使用防病毒和恶意软件检测工具。全局架构100可以包括防火墙来控制和监控网络流量。

图3A和图3B是示出根据示例性实施方案的使用具有AI算法的平台的示例性方法的工作流程。例如，AI可以自动地或响应于用户的请求而应用于平台所使用的完整工作流程的许多方面。图3A示出了生成元数据的工作流程的一部分，其被描述为方法300；并且图3B示出了发送WSI、与WSI相关联的补充信息和/或从图3A的WSI生成的元数据的工作流程的一部分，其被描述为方法350。在一些示例中，方法300和350可以组合成单个方法。

参考图3A，使用具有AI输出的平台(例如，图1的平台1a)的示例性方法300可以包括以下步骤中的一个或多个步骤。在步骤302中，方法300可以包括在云计算环境(例如，图1的云计算生态系统3)中从第一位置或区域(例如，图1中的医院1)中的第一用户和/或从与第一位置和/或区域中的第一患者相关联的第一用户接收一个或多个全幅切片图像(WSI)。WSI可以描绘与患者相关联的医学样本。如上图2所述，可以由切片扫描仪104扫描切片，并且将其存储在WSI系统102中。接收一个或多个WSI的步骤302还可以包括接收与WSI、医学样本和/或患者相关联的附加或补充信息。

在步骤304中，方法300可以包括将全幅切片图像存储在第一区域中的第一容器中。容器可以是任何数据存储服务，诸如简单存储服务加密存储桶(例如，图2中的加密S3存储桶111)。存储接收的全幅切片图像可以包括对接收的全幅切片图像执行自动的基于AI的摄取。

在步骤306中，方法300可以包括应用用户开发或定制的人工智能(AI)模型或算法(例如，图1的第三方AI模块3a、3b、3c、3d)来在一个或多个WSI上执行任务。该任务可以包括确定WSI中的医学样本的特性的至少一个步骤。AI不仅可以结合切片本身，还可以结合接收到的相关联的患者数据，诸如基因档案、患者病史、其他相关切片、放射学数据、分子数据、临床数据等。

用户开发的AI模型或算法可能已经由第一用户和/或第二位置或区域中的第二用户(例如，图1中机构2处的研究人员)开发并从其接收。因此，方法300可以包括将用户开发的AI模型或算法接收到云计算环境(例如，图1的云计算生态系统3)中的步骤。用户开发的AI模型或算法可以在存储在云计算环境中的多个用户开发的AI模型或算法之中。多个AI模型或算法中的每一者可能已由不同位置和/或区域(例如，第三区域、第四区域等)中的不同用户(例如，第三用户、第四用户等)开发，所述不同位置和/或区域诸如医院1、机构2、附加医院4或医院1外部的另一机构、组织或医院。

在开发用户开发的AI模型或算法时，第二用户可能已经从第一用户接收到匿名化的切片或相关联的数据(例如，与切片相关联的元数据)。接收一个或多个全幅切片图像的步骤302可以包括接收一个或多个匿名化的全幅切片图像，并且/或者方法300可以包括对切片或相关联的数据进行匿名化的步骤和/或向第二用户发送匿名化的切片或相关联的数据的步骤。

应用用户开发的AI模型或算法的步骤306可以包括从存储在云计算环境中的多个用户开发的AI模型或算法中选择一个或多个用户开发的AI模型或算法。该选择可以基于接收到的请求的类型(例如，期望的元数据或信息)、针对特定用户开发的AI模型的命令、已经与WSI相关联和/或在步骤306之前另外接收到的附加或补充信息或元数据、第一用户接收到的规则或政策，和/或第二用户和/或向云计算环境提交用户开发的AI模型的用户接收到的规则或政策(例如，某些用户或机构可能希望基于许可协议等禁止其他用户或机构使用他们的AI模型)。例如，方法300可以包括接收分析全幅切片图像的请求和/或将用户开发的AI模型或算法应用于全幅切片图像的请求的步骤。

在步骤308中，方法300可以包括基于一个或多个WSI的所确定的特性生成与WSI相关联的元数据。元数据输出可以从切片中生成。元数据可以根据接收的请求和/或选择的用户开发的AI模型或算法来生成。

元数据输出可以根据用户(例如，请求者)的希望或偏好来定制，并且可以包括但不限于：(i)病例分配；(ii)病例工作列表；(iii)病例准备；(iv)切片托盘；(v)切片查看器；和/或(vi)病理学报告。利用病例分配元数据，可以基于AI输出将病例分配给专家病理学家，以自动通知病理学家该病例和/或将病例分配给多个病理学家。利用病例工作列表元数据，可以将病例发送到工作列表，以根据紧急程度来组织病例或对病例进行优先级排序，根据重要性使病例可视化，以及/或者按照期望的结果来搜索病例。

利用病例准备元数据，可以准备病例以指示患者所需的特殊染色，以为患者建议临床试验，以及/或者例如基于差的切片质量触发切片的重新扫描。利用切片托盘元数据，可以根据紧急程度或严重性在病例内组织切片，以根据重要性使切片可视化和/或按照检测结果搜索病例。利用切片查看器元数据，可以利用图形AI结果的覆盖来查看切片，以便以文本方式总结AI结果，以及/或者建议或触发随访研究。利用病理学报告元数据，可以用工作流程的AI结果预先填充病理学报告。

元数据可以作为热图输出，如参考图7更详细描述的。热图可以包括对医学标本中的属性的可能性的图形预测。AI和/或元数据输出可另外取决于结合平台使用什么用户开发的AI模型或算法(例如，图1的AI模块或SDK 3a、3b、3c和/或3d)。

在步骤310中，方法300可以包括将元数据存储在第二容器中。第二容器可以不同于第一容器。第二容器可以是任何数据存储服务，诸如在与第一位置或区域相同的位置或区域中或者另选地不同于第一位置或区域的位置或区域(诸如第二位置或区域和/或第三位置或区域)中的简单存储加密存储桶(例如，图2的附加加密S3存储桶111)。在一些示例中，可基于生成的元数据和/或接收到云计算环境(例如，在图1的云生态系统3和/或存储库3e中)中的任何附加信息(例如，长期结果)来修改和/或细化用户开发的AI模型或算法，并且可以提高用户开发的AI模型或算法的准确性和效率。在一些示例中，每个机构、位置、区域等可以具有其自己的用于所生成的元数据的容器或存储桶。

参考图3B，方法350可以包括从装置(例如，计算机或其他移动装置、医院的图像系统等)接收对一个或多个全幅切片图像的请求的步骤312。方法350可以包括步骤314：基于装置的物理位置确定装置是否被授权接收或访问全幅切片图像、与全幅切片图像相关联的补充信息和/或与全幅切片图像相关联的生成的元数据。步骤314可以包括例如确定该装置是否位于第一容器、第二容器、第一用户(即，向云计算环境发送初始全幅切片图像的发送者)和/或患者的相同或不同的位置(例如，医院)、区域(例如，城市或本地医院系统)和/或隐私司法管辖区(例如，美国)。步骤314可以包括确定装置和/或用户是否被授权访问第一容器和/或第二容器中的信息。

步骤314还可以基于请求者或装置的身份和/或凭证和/或基于任何政策、许可或规则来确定装置是否被授权。政策、许可或规则可与以下项相关联或接收自以下项：(i)第一用户(例如，图1中的医院1)；(ii)创建用于生成元数据的用户开发的AI模型或算法的第二用户；(iii)第二容器；以及/或者(iii)隐私司法管辖区内的外部规则、规定、法律或政策(例如，患者、医院和/或第一容器或第二容器位于欧盟的情况下的GDPR)。方法350可以包括接收、存储和/或确定上述政策、许可或规则的步骤。另选地或除此之外，步骤314可以包括基于用于确定授权的任何上述因素来确定是否应当修改全幅切片图像、补充信息和/或生成的元数据。

方法350可以包括如果在步骤314中确定装置被授权访问全幅切片图像，则在步骤316中向装置传输或输出所请求的全幅切片图像。作为示例，WSI可以从第一容器传输。另选地或除此之外，步骤316可以包括基于在步骤314中确定的任何修改来修改全幅切片图像和/或生成新的全幅切片图像。

方法350可以包括如果在步骤314中确定装置被授权访问与WSI相关联的任何补充信息，则在步骤318中向装置传输或输出任何此类补充信息。步骤314可以包括确定补充信息的授权和未授权的部分或类型，并且步骤318可以包括仅传输补充信息的被授权的那些部分或类型。补充信息可以从第一容器和/或存储库传输。另选地或除此之外，步骤318可以包括基于在步骤314中确定的任何修改来修改补充信息和/或生成新的补充信息。

方法350可以包括如果在步骤314中确定装置被授权访问生成的元数据，则在步骤320中向装置传输或输出与WSI相关联的生成的元数据。类似于步骤316，步骤314可以包括确定生成的元数据的授权和未授权的部分或类型，并且步骤320可以包括仅传输生成的元数据的被授权的那些部分或类型。可从第二容器传输生成的元数据。另选地或除此之外，步骤320可以包括基于在步骤314中确定的任何修改来修改生成的元数据和/或生成新的元数据。

316、318和320中的任一者或全部可以基于在步骤314中做出的确定来执行。例如，装置来自在步骤302中从其接收WSI的同一医院或医生，则步骤314可以确定允许医院访问WSI和与WSI相关联的所有信息(补充元数据和生成的元数据两者)，并且可以执行步骤316、318和320中的所有步骤。如果装置来自研究人员，则可以基于研究人员和医院之间的协作协议、联合开发协议、法律等存在相关政策，从而允许研究人员访问由医院提交的某些WSI(例如，与癌症有关的WSI)和某些补充数据或生成的元数据，而不是其他信息(例如，识别信息)，并且因此步骤314可以确定允许研究人员访问WSI以及补充信息和/或生成的元数据中的一些或全部，并且可以相应地执行步骤316以及步骤318和320。

在另一示例中，如在步骤314期间所确定的，该装置可来自未被识别或未被授权的位置、区域或用户，并且可以不执行步骤316、318、320中的任一者。在又一个示例中，基于用户身份，一些装置可以在步骤314中被确定为被授权访问生成的元数据，但是不访问WSI和/或补充数据，并且可以不执行步骤316，但是可以相应地执行步骤318和320。

图4A至图4C是根据示例性实施方案的数据摄取设备的示例性架构和该数据摄取设备到平台架构的集成。数据摄取设备的示例性架构可以提供能够在切片被数字化为图像时接收通知然后可以排队并上传新图像的数据摄取设备。一旦就绪，获取的图像可以被加密(例如，使用TLS1.2+)并被发送到安全云存储库，在那里它们将被处理。

数据摄取设备可以与一个或多个扫描仪诸如切片扫描仪104无缝地集成。传送中的数据可被加密(例如，使用带有AES-256加密的TLS1.2+经由行业标准HTTPS)。数据摄取设备可以作为开放虚拟设备(OVA)文件进行分发。

参考图4A，数据摄取可以包括WSI系统102、实验室信息系统(LIS)107和桥接器120。WSI系统102还可以包括图像管理系统(IMS)或切片管理器105、存储库103和切片扫描仪104，其中所有部件都能够在彼此之间传送和发送切片图像。

这里，可以建立或预先存在LIS107和切片管理器105之间的集成。该接口可以允许从LIS107访问数字化切片。桥接器120可以被部署和配置为消费来自从扫描仪104(诸如WSI系统102)构建的接口的所有信息。该接口可以构建在健康水平7(HL7)、快捷式医疗保健互操作资源(FHIR)、数据库、表述性状态转移(REST)应用编程接口(API)等中。

桥接器120可以被设计为独立的产品或模块，其易于作为虚拟设备被现场安装，位于扫描仪104的本地。桥接器120可以在切片被数字化时上传切片。一旦就绪，获取的图像和相关联的元数据可以被发送到安全云存储库3e进行处理。桥接器120可以被构建为与所有启用了自动化的数字切片扫描仪104无缝集成。所有传送中的数据都可以使用带有AES-256加密的TLS1.2+经由行业标准HTTPS进行加密。桥接器120可以作为开放虚拟设备(OVA)文件进行分发。

可以从LIS107获得任何补充信息。图像和相关联的信息可以从桥接器120发送到云121。该示例允许桥接器120被通知新数字化的图像并且从扫描仪104和/或切片管理器105和LIS107的组合中提取相关联的数据。

参考图4B，在WSI系统102的任何部分和LIS107之间可能不存在集成。在该选项中，WSI系统102不包含切片管理器105。这里，桥接器120可以被部署和配置为主系统，以消费来自扫描仪104和输出存储库103的数字化图像。桥接器120也可用于从LIS107检索患者和病例元数据。桥接器120然后可以向LIS107发送关于数字化图像的此信息中的任何信息，或者可以向云121发送图像和相关联的信息。该示例允许桥接器120被通知新数字化的图像并且创建与LIS 107的双向集成，以协调扫描的图像和存储在LIS107中的信息。

参考图4C，这里，可以在LIS107和WSI系统102的切片管理器105之间建立或预先存在集成，以允许从LIS107访问数字化切片。通过该接口，可以获得患者、病例和切片信息。桥接器120可以被部署和配置为消费来自针对扫描仪104系统构建的接口的所有信息。图像和相关联的信息可以从桥接器120发送到云121。通过LIS107和切片管理系统105和/或扫描仪104之间的预先存在的集成，可以开发从切片管理系统105和/或扫描仪104提取图像和相关联的元数据的机制。

图5A至图5C是根据示例性实施方案的实验室信息系统(LIS)的示例性架构以及LIS到平台架构或其他医院系统的集成。

参考图5A，LIS107可以与查看器108单向通信。一旦自动地或响应于来自用户的请求而打开查看器108，诸如HTTP的协议可以请求传递所有信息以识别病例和患者。该信息可以由LIS107发送到web产品115进行验证。可以使用SAML或用于交换认证的另一标准向医院的认证提供方109认证该信息。一旦被认证，图像和任何相关联的AI结果可以被流式传输或显示在查看器108上。该示例可以允许到病例或图像的直接链接被结合到LIS107中，从而允许查看器108作为现有工作流程的一部分被打开。

参考图5B，LIS107可以直接与查看器108通信。网络产品115也可以直接与LIS107通信，从而建立LIS107的双向集成。一旦自动地或响应于来自用户的请求而打开查看器108，诸如HTTP的协议可以请求传递所有信息以识别病例和患者。该信息可以由LIS107发送到web产品115进行验证。可以使用SAML或用于交换认证的另一标准向医院的认证提供方109认证该信息。一旦被认证，图像和任何相关联的AI结果可以被流式传输或显示在查看器108上。该示例可以允许一组API(例如，RESTAPI)，该组API可用于从平台中提取数据(例如，状态等)并允许信息传播到LIS107或任何其他现有的健康系统。LIS107可以从web产品115提供的RESTAPI中提取信息。

参考图5C，LIS107可以直接与查看器108通信。Web产品115还可以经由桥接器120与LIS107通信，从而建立LIS107的双向集成。一旦自动地或响应于来自用户的请求而打开查看器108，诸如HTTP的协议可以请求传递所有信息以识别病例和患者。该信息可以由LIS107发送到web产品115进行验证。可以使用SAML或用于交换认证的另一标准向医院的认证提供方109认证该信息。一旦被认证，图像和任何相关联的AI结果可以被流式传输或显示在查看器108上。另外，桥接器120可用于通过任何协议对LIS107或其他系统(诸如电子医疗记录(EMR)或医院系统130)进行更复杂的写入操作。该示例可允许桥接器120用于从平台中提取数据，并且允许信息传播到LIS107或任何其他现有健康系统。

图6是根据本公开的示例性实施方案的切片查看器的示例性架构。查看器可以用于体外诊断用途，作为病理学家审查和解释病理学标本或病例的数字化图像的辅助，该数字化图像可以包括关于相关联的患者的受保护的健康信息(PHI)。例如，查看器可以包括AI原生的基于web的软件产品，该软件产品促进改善对切片的数字化病理学图像的查看和导航。示例性架构可以允许用户(例如，病理学家)查看数字化切片图像或诊断病例。

示例性架构600可包括本地设置中的多个部件以及基于云计算服务(诸如云140)的多个部件。在本地设置内，可以存在诸如web应用131、工作列表132和具有对应的用户(例如，病理学家、管理员等)的管理器产品133的产品。web应用131、工作列表132和/或管理器产品133中的任何一者可以通过切片订户137向切片队列136发送切片或其他信息。另外，在具有虚拟机171的机构A处可以存在切片扫描仪104、文件系统134和数据库138。虚拟机可以包括监视器135，该监视器可以在将切片发送到切片队列136之前从文件系统134或数据库138中检索切片。

在云140中，可能需要通过WAF 110对所有图像进行筛选。然后，可以将切片发送到基于云的工作列表应用132、内部应用负载均衡器(ALB)146或外部ALB 147，或者发送到web框架172。

如果图像被发送到内部ALB 146，则内部ALB 146可以将图像发送到机构API 148。继而，机构API 148可以将图像发送到SQL实例149，图像可以存储在该SQL实例中。机构API148还可以将图像发送到病例订户152。如果自动地或响应于来自用户的请求而被请求，则病例API 152将把图像发送到可以包括主数据库154和区域数据库155的群集区域153。

如果图像被发送到外部ALB 147，则它们可以接着被发送到数据摄取设备106和/或区域主题174。图像可以从区域主题174发送到病例队列150，并且然后发送到病例订户151，或者发送到病例API 152。如上所述，病例API 152可以将图像发送到包括主数据库154和区域数据库155的群集区域153。另选地，图像可以从外部ALB 147直接发送到病例152或实例管理器149。此外，外部ALB 147可以将图像直接发送到病例队列150。

外部ALB也可以将图像发送到工作列表132或服务器141。服务器141可以包括web应用查看器142和文件系统143。文件系统143可以在服务器141上存储切片图像。服务器141可以在用户被认证之后将图像发送到web服务控制台113，该web服务控制台继而可以将图像从云140发送到活动目录170。

图像也可以从web应用查看器142发送到存储项目和用户信息以及应用日志的高速缓存144，或者发送到两个存储桶中的一个存储桶。一个存储桶可以是推断结果存储桶145，并且另一个存储桶可以是与机构A 101相关联的存储桶111。另选地，web应用查看器可以将图像发送回内部ALB 146。

如图7A和图7B所示，一个或多个实施方案可以提供用于计算病理学过程和装置(例如，前列腺癌检测)的架构。该架构可用于将AI和机器学习模型应用于来自包括取自身体部分的标本的切片的图像，并且生成与AI和机器学习模型相关的附加元数据(例如，热图)。热图可能只是计算病理学过程和装置的一个可能的返回值。虽然下面详细描述了热图，但是其他返回值可以包括覆盖图像、文本或其他信息。

热图可以是二维(2D)图像，其从切片识别图像的每个区域的癌症概率。例如，图像的每个像素可以被分配0和1之间的值，其中较高的数字对应于图像的特定区域中较高的癌症概率。

参考图7A，所公开的计算病理学过程和装置的架构700可以基于云服务提供方140。过程可以从对触发160的响应开始，该触发可以向预测模块161发送消息。预测模块161可向查看器热图164发送预测，该查看器热图可使用该预测来创建附加热图165或热图166。热图166可以被压缩并发送到结果存储桶168，并且可以另外从结果存储桶168获取热图。

预测模块161还可以将上传的切片发送到预测分类模块162。预测分类模块162可以将切片发送到附加分类队列163或者发送到预测分类167。上传的热图可以从预测分类167发送到结果存储桶168。另选地，预测分类167可以从切片存储桶169中获取前列腺切片。

参考图7B，方法710可以包括响应于触发(例如，图7A中的触发160，诸如正在被上传或扫描的文件、用户输入等)接收一个或多个消息的步骤702。例如，一个或多个消息可以被接收到通知服务中以进行排队。方法710可以包括处理、发送和/或转发一个或多个消息的步骤704。例如，步骤704可以包括处理该一个或多个消息、将该一个或多个消息发送到分类队列，以及将该一个或多个消息转发到分类工作器服务。如果出现错误，并且消息无法处理，则该消息可能会被发送到死信队列，以便稍后进行分析。

该方法可以包括，在步骤706中，将训练的机器学习模型应用于切片或全幅切片图像，并且/或者使用训练的机器学习模型执行计算，以从相关组织中识别一个或多个感兴趣的生物标记物，并且从分析中排除不相关组织。对于在分类工作器服务处接收的每个消息，可以检索切片或WSI(例如，前列腺切片)，并且可以执行计算。该计算可以使用机器学习模型来执行，该机器学习模型被训练来从相关组织(例如，癌症组织)中识别感兴趣的生物标记物，其中不相关的组织被排除在分析之外。

方法710可以包括在步骤708创建或确定返回值。返回值可以包括热图(例如，前列腺热图)，该热图示出了图像的任何部分中疾病(例如，癌症)的可能性。方法710可以包括在步骤712中将返回值(例如，作为热图)输出或上传到电子存储装置(例如，云计算环境中的图1中的存储库3e或图1中的云计算生态系统3)。此外，在计算之后，分类工作器服务可以将指示返回值(例如，热图)是否准备好或者过程是否失败的通知推回到通知服务。方法710可以在WAF(例如，图2中的WAF 110)之后执行。方法710可以与一个或多个管理资源和/或开发资源分离。方法710还可以包括禁止收集的客户数据离开执行计算、创建返回值、输出返回值的位置，或者方法710的其他步骤发生的位置。

此外，通知服务可以基于从分类工作器服务接收的通知，向查看器返回值队列(例如，查看器热图队列)发送消息。然后，消息可由返回值队列顺序或并行地处理，并且转发到返回值工作器服务(例如，热图工作器服务)。如果出现错误，并且消息无法处理，则该消息可能会被发送到死信队列，以便稍后进行分析。

对于在返回值工作器服务处接收的每个消息，可以从结果存储桶中检索返回值(例如，热图)，并且可以执行计算。根据示例，在从结果存储桶中检索热图之后，热图工作器服务可以创建压缩的bmp热图和JSON元数据，并且将其推送到结果存储桶。根据另一个示例，热图工作器服务可以将热图连同压缩的bmp热图和JSON元数据一起发送到结果存储桶。

本文公开的技术方面可以提供或执行以下特征中的任何或所有特征：(i)传送中的数据的加密(例如，使用TLS1.2+)；(ii)静态数据的存储；(iii)存储在密钥管理系统(KMS)中的加密密钥；以及/或者(iv)全磁盘(预引导)加密。加密传送中的数据可以包括传输到其服务的数据、在生态系统内传输的数据和传输回用户的数据中的任一者或任何组合。存储静态数据可以包括存储PHI(例如，AES-256加密)。例如，KMS可以是利用根据FIPS140-2标准构建的硬件模块的安全且有弹性的服务。实施全磁盘(预引导)加密可包括对处理和接收客户数据的任何或所有装置实施全磁盘加密。

可以在网络应用防火墙(WAF)(例如，图2中的WAF 110)之后提供计算病理学检测过程和装置，该网络应用防火墙可以监控传入的HTTP流量并过滤不允许的流量以防止恶意攻击(例如，注入、DDOS等)。

为了提高安全级别，本文公开的技术方面可以将生产资源与管理和开发资源分开。例如，粒度访问控制可用于禁止客户数据离开生产飞地(production enclave)。

图8是用于与本公开中描述的工作流程和平台一起使用的示例性推断架构。在推断模块内，临床切片可以被摄取到SNS平台176。切片可以被发送到调度器队列(例如，简单队列服务(SQS))177，可以在该调度器队列运行推断。推断可以被发送到调度器178和/或另外从该调度器接收。还可以从AI模块180发送输入，该AI模块可以与结果回调API 184一起设置在G4节点182上的pod上。AI模块180可以将结果发布到结果S3存储桶186，或者从摄取S3存储桶188获得输入。

调度器178可以在向K8作业API 190发送信息时另外开始作业、获得作业状态以及删除完成的作业。取决于AI模块设计，K8作业API 190可以继而将该信息发送到AI模块180。调度器178可以另外协调和运行状态，并且将对应的信息发送到调度器数据库192。

S3通知事件可以从结果S3存储桶186发送到S3事件翻译器队列193(例如，S3事件翻译器SQS)。通知事件可以被发送到S3事件翻译器194和/或另外从该S3事件翻译器接收。事件翻译器194可以另外发送上传到SNS平台176的上传的推断结果。

AI模块180可以另外将结果上传的回调发布到结果回调API 184和/或附加API196，该结果回调API和/或附加API然后可以将信息发送到SNS平台176。附加API 196可以与AI模块180、结果S3存储桶186、结果数据库181和SNS平台176通信。

SNS平台176可另外将摄取的临床切片发送到订户队列177(例如，订户SQS)，该订户队列可将推断结果发送到订户模块181。订户模块181可以写入结果索引和做出的决策，该结果索引和做出的决策可以被发送到结果数据库181。结果数据库181还可以从附加API196接收信息和/或向该附加API发送信息，该附加API可以读取结果索引和做出的决策。API196还可以将读取结果发送到S3结果存储桶186。

如图8所示，SNS平台176可以与调度器队列177和/或调度器178以及订户队列179和/或订户181通信(例如，向其发送信息)。SNS平台176可以与结果回调API 184、调度器178、订户181和事件翻译器194通信(例如，从其接收信息)。

如图9所示，装置900(例如，扫描仪104)可以包括中央处理单元(CPU)920。CPU 920可以是任何类型的处理装置，包括例如任何类型的专用或通用微处理器装置。如相关领域的技术人员将理解的，CPU 920也可以是多核/多处理器系统中的单个处理器，此类系统单独运行，或者在群集或服务器农场中运行的计算装置群集中运行。CPU 920可以连接到数据通信基础设施910，例如总线、消息队列、网络或多核消息传递方案。

装置900还可以包括主存储器940例如随机存取存储器(RAM)，并且还可以包括辅助存储器930。辅助存储器930例如只读存储器(ROM)可以是例如硬盘驱动装置或可移动存储驱动装置。此类可移动存储驱动装置可以包括例如软盘驱动装置、磁带驱动装置、光盘驱动装置、闪存等。该示例中的可移动存储驱动装置以众所周知的方式从可移动存储单元读取和/或向其写入。可移动存储装置可以包括由可移动存储驱动装置读取和写入的软盘、磁带、光盘等。相关领域的技术人员将会理解，此类可移动存储单元通常包括其中存储有计算机软件和/或数据的计算机可用存储介质。

在另选的实施方式中，辅助存储器930可以包括用于允许计算机程序或其他指令被加载到装置900中的类似装置。此类装置的示例可以包括程序卡带和盒式接口(诸如在视频游戏装置中发现的)、可移动存储器芯片(诸如EPROM或PROM)和相关联的插座，以及允许软件和数据从可移动存储单元传输到装置900的其他可移动存储单元和接口。

装置900还可以包括通信接口(“COM”)1060。通信接口960允许软件和数据在装置900和外部装置之间传输。通信接口960可以包括模型、网络接口(诸如以太网卡)、通信、PCMCIA插槽和卡等。经由通信接口960传输的软件和数据可以是信号的形式，该信号可以是电子、电磁、光学信号或能够被通信接口960接收的其他信号。这些信号可以经由装置900的通信路径提供给通信接口960，该通信路径可以使用例如电线或电缆、光纤、电话线、蜂窝电话链路、RF链路或其他通信信道来实现。

此列设备的硬件元件、操作系统和编程语言本质上是常规的，并且假定本领域技术人员对此足够熟悉。装置900还可以包括输入和输出端口650，以连接输入和输出装置诸如键盘、鼠标、触摸屏、监视器、显示器等。当然，各种服务器功能可以以分布式方式在多个类似平台上实现，以便分配处理负载。另选地，服务器可以通过一个计算机硬件平台的适当编程来实现。

参考图1至图9，本文公开的装置、系统和方法可以在组织病理学切片的数字图像上识别疑似存在癌症的病灶。当涉及形态被检测到时，本文公开的装置、系统和方法可将病理学家的注意力吸引到疑似存在癌症的病灶。本文公开的系统可以提供确定性深度学习模型，该模型已经用例如在纪念斯隆凯特琳癌症中心(MSKCC)看到和诊断的数字化苏木精和伊红(H&E)切片进行了训练。

在前列腺癌的上下文中，本文公开的装置、系统和方法(例如，全局架构100、AI模块或SDK3a、3b、3c、3d)可以识别、确定或标记疑似存在癌症的数字化H&E前列腺针活检图像或其区域以供病理学家审查。

例如，AI模块或SDK 3a、3b、3c或3d可以包括前列腺癌检测模块3b。前列腺癌检测模块3b可以分析前列腺组织或周围区域的数字图像(例如，包含数字化H&E前列腺活检和/或切除图像的全幅切片图像或WSI)。前列腺癌检测模块3b可以识别或确定接收的图像(和/或接收的图像中的哪些图像)是否疑似存在癌症，确定和/或提供其中附近的组织具有存在癌症的最大嫌疑的感兴趣点的位置，并且确定或计算等级或评分(例如，格里森评分)以量化WSI，诸如WSI的总肿瘤范围和百分比。前列腺癌检测模块3b可以进一步基于感兴趣点的位置和/或评分来确定模式。前列腺癌检测模块3b可以输出识别、确定、评分和/或感兴趣点的位置中的任一者。前列腺癌检测模块3b可以生成和/或输出附加图像，该附加图像包含癌症的预测可能性和整个组织上的每个检测模式。图10A例示了示出感兴趣区域的输出，并且图10B例示了示例性量化的输出。

作为另一示例，AI模块或SDK 3a、3b、3c或3d可以包括乳腺癌检测模块3c。乳腺癌检测模块3c可以分析乳腺组织或周围区域的数字图像(例如，包含数字化H&E乳腺活检和切除图像的全幅切片图像或WSI)。乳腺癌检测模块3c可以识别或确定接收的图像(和/或接收的图像中的哪些图像)是否疑似存在癌症，确定和/或提供其中附近的组织具有存在癌症的最大嫌疑的感兴趣点的位置，并且确定或计算等级或评分(例如，格里森评分)以量化WSI，诸如WSI的总肿瘤范围和百分比。乳腺癌检测模块3c可以进一步基于感兴趣点的位置和/或评分来确定模式。乳腺癌检测模块3c可以输出识别、确定、评分和/或感兴趣点的位置中的任一者。乳腺癌检测模块3c可以生成和/或输出附加图像，该附加图像包含癌症的预测可能性和整个组织上的每个检测模式。图10C例示了热图形式的输出。

本文公开的方面可以实现和/或增强强大的软件开发工具包(SDK)的开发、实现快速研究的工具的开发、AI解决方案的简单原型化和交付、AI原生观察生态系统、全球分销能力、来自各种临床伙伴和其他方的匿名化数字病理学切片图像的巨大储存库、可扩展的安全存储和计算基础设施。

本文公开的方面可以提供AI原生开发生态系统，以增强数据存储和存档、AI开发、可视化和注释以及共享和协作。

本文公开的方面可以提供分销、市场、分析和计费。本文公开的技术方面可以提供或增强自动化产品分析、关于使用和消费的报告、计费报告的生成、产品在全球的分销，以及对用于研究的数据的访问和/或获取。

本文公开的方面可以通过增强稳定性、可用性和支持、安全性和合规性、大规模推断以及工作流程和互操作性来增强产品化和交付。

本文公开的方面可以通过提供全幅切片图像(WSI)中的匿名化和PHI去除、数据访问和逻辑控制的管理、定制数据集创建和广泛的搜索能力、上传和下载量的监控，以及与外部个人或研究小组共享数据和在外部个人或研究小组之间协作来增强数据存储。

本文公开的方面可以通过允许各种伙伴和/或各方设计和开发他们自己的算法，通过实现开发、测试和验证，通过允许本地开发和大规模利用深度学习的能力，通过提供或允许对最先进的框架和库的访问，以及通过利用最新的GPU硬件来增强AI开发。

本文公开的方面可以增强修改、可视化和注释。本文公开的方面可以在审查或分析WSI时使用洞察或允许其他人在审查或分析WSI时获得该洞察。洞察可随用户设计和构建，并且可以是AI原生的，从而允许更丰富的体验和对AI结果的容易显示。本文公开的技术方面可以提供洞察，该洞察为病理学家提供高级注释特征。本文公开的技术方面可以提供可以在工作流程的各种阶段集成的AI解决方案。

本文公开的方面可以通过增强对来自全世界的其他研究人员和科学家的反馈的收集并且允许各种伙伴和/或各方与临床机构协作以与病理学家共享解决方案并且收集反馈以用于改进来增强共享和协作。

本文公开的方面可以通过提供扫描仪和图像不可知的生态系统来增强工作流程和/或互操作性。数据可以在没有人工干预的情况下被自动地摄取到平台中。支持与LIS系统集成可以通过一组RESTful API来实现。

本文公开的方面可以通过提供使得各方能够在全球的各种机构中验证他们的解决方案的全球云足迹，通过提供或实现医疗装置的产品化方面的深入专业知识，以及通过提供围绕谁访问AI解决方案的粒度控制来增强大规模推断。

本文公开的方面可以通过加密所有传送中数据和静止数据来增强安全性和合规性。对于每个客户和/或机构，图像可存储在不同的存储桶或容器中。本文公开的技术方面可以提供连续的安全性测试，并且可以积极地致力于HIPAA、HITRUST、GDPR、SOC2、SOC3和ISO 27001合规性。

本文公开的方面可以通过提供具有高正常运行时间的稳定和可靠的基础设施来增强稳定性和支持。

本文公开的方面可以增强软件开发工具包(SDK)的开发和训练以及唯一的、定制的和/或用户设计的或第三方算法的开发和执行。

本文公开的方面可以支持和/或提供可以支持Python开发的SDK，但是本文公开的方面不限于编程语言。本文公开的方面可以使用PyTorch库提供机器学习和深度学习开发。本文公开的方面可以利用高级硬件进行训练。

本文公开的方面可以增强大规模的部署和推断、Docker容器中的容器化解决方案以及设置有WSI用于推断和支持显示结果的容器。本文公开的方面可以利用云的弹性来支持全球所有用户。

在本公开中，对部件或模块的引用通常指逻辑上可以组合在一起以执行一个功能或一组相关功能的项目。相同的附图标记通常指相同或相似的部件。部件和模块可以在软件、硬件或软件和硬件的组合中实现。

上述工具、模块和功能可以由一个或多个处理器来执行。“存储”型介质可以包括计算机、处理器等的任何或所有有形存储器或其相关联的模块，诸如各种半导体存储器、磁带驱动装置、磁盘驱动装置等，其可以在任何时间提供用于软件编程的非暂时性存储。

软件可以通过互联网、云服务提供方或其他电信网络进行通信。例如，通信可以使得能够将软件从一个计算机或处理器加载到另一个计算机或处理器中。如本文所用，除非限于非暂时性、有形“存储”介质，否则术语诸如计算机或机器“可读介质”指的是参与向处理器提供指令以供执行的任何介质。

前面的一般描述仅仅是示例性和解释性的，而不是对本公开的限制。通过对本说明书的考虑和本文所公开的本发明的实践，本发明的其他实施方案对于本领域技术人员而言将是显而易见的。说明书和示例仅被认为是示例性的。

Claims (20)

1.一种用于处理对应于与患者相关联的医学样本的电子图像的计算机实现的方法，所述方法包括：

接收对一个或多个人工智能(AI)算法的选择；

接收与患者相关联的医学样本的一个或多个全幅切片图像；

使用所述一个或多个选择的AI算法对所述全幅切片图像执行任务，所述全幅切片图像存储在第一容器中，所述全幅切片图像源自第一用户，所述任务包括确定所述全幅切片图像中的所述医学样本的特性；

基于所述全幅切片图像的所述特性，生成与所述全幅切片图像相关联的元数据；以及

将所述元数据存储在第二容器中。

2.如权利要求1所述的方法，其中所述一个或多个选择的AI算法在云计算环境中可用的多个AI算法之中。

3.如权利要求2所述的方法，其中所述多个AI算法中的至少一个AI算法由第二用户开发，并且所述多个AI算法中的至少另一个AI算法由不同于所述第二用户的第三用户开发。

4.如权利要求3所述的方法，其中所述第二用户位于与所述第三用户不同的区域。

5.如权利要求2所述的方法，其还包括在所述多个AI算法中选择AI算法作为所述一个或多个选择的AI算法。

6.如权利要求5所述的方法，其中选择所述AI算法基于：

指示要执行的任务的类型的请求，

指示要生成的元数据的类型的请求，

用于特定AI算法的命令，

与所存储的全幅切片图像相关联的附加信息或元数据，

由所述第一用户接收的一个或多个规则或政策，

与所述多个AI算法中的所述AI算法相关联的一个或多个规则或政策；以及/或者

从一个或多个用户接收的一个或多个规则或政策，所述一个或多个用户已经开发了所述多个AI算法中的所述AI算法。

7.如权利要求1所述的方法，其还包括从第二用户接收应用所选择的AI算法来对所述全幅切片图像执行所述任务的请求。

8.如权利要求1所述的方法，其中所述AI算法获取与所述全幅切片图像相关联的补充信息，所述补充信息包括患者一般概况、患者病史、相关切片图像、放射学数据、分子数据和/或临床数据。

9.如权利要求1所述的方法，其还包括：

确定与所述第二容器相关联的一个或多个规则；

通过基于与所述第二容器相关联的所述一个或多个规则执行以下操作来生成修改的全幅切片图像和/或修改的元数据：(i)移除来自所述全幅切片图像的数据和/或移除所述元数据中的至少一些元数据；并且/或者(ii)改变来自所述全幅切片图像的数据和/或改变所述元数据中的至少一些元数据；以及

向所述用户输出所述修改的全幅切片图像和/或所述修改的元数据。

10.如权利要求1所述的方法，其还包括通过对所述全幅切片图像执行自动的基于人工智能的摄取来将所述全幅切片图像存储在第一容器中，所述全幅切片图像是从所述第一用户接收的。

11.如权利要求1所述的方法，其还包括：

从装置接收对所述全幅切片图像中的至少一个全幅切片图像的请求；

将所述装置的位置与所述第一用户和/或所述患者的位置进行比较；以及

基于所比较的位置来确定规则是否允许向所述装置发送所请求的至少一个全幅切片图像和所述元数据。

12.如权利要求11所述的方法，其还包括：

确定允许向所述装置发送所请求的至少一个全幅切片图像和所述元数据；以及

向所述装置提供所请求的至少一个全幅切片图像和所述元数据。

13.如权利要求12所述的方法，其中确定允许向所述装置发送所请求的至少一个全幅切片图像包括确定所述装置与和所述第一用户相同的机构相关联。

14.如权利要求1所述的方法，其中应用所选择的人工智能算法来执行所述任务基于与所述患者相关联的患者元数据来执行。

15.如权利要求1所述的方法，其中生成元数据还包括：

确定热图，所述热图包括对医学标本中的属性的可能性的图形预测。

16.一种用于处理对应于与患者相关联的医学样本的电子图像的系统，所述系统包括：

至少一个存储器，所述至少一个存储器存储指令；以及

至少一个处理器，所述至少一个处理器被配置为执行所述指令以执行包括以下各项的操作：

接收对一个或多个人工智能(AI)算法的选择；

接收与患者相关联的医学样本的一个或多个全幅切片图像；

使用所述一个或多个选择的AI算法对所述全幅切片图像执行任务，所述全幅切片图像存储在第一容器中，所述全幅切片图像源自第一用户，所述任务包括确定所述全幅切片图像中的所述医学样本的特性；

基于所述全幅切片图像的所述特性，生成与所述全幅切片图像相关联的元数据；以及

将所述元数据存储在第二容器中。

17.如权利要求16所述的系统，其中所述一个或多个选择的AI算法在云计算环境中可用的多个AI算法之中，所述多个AI算法中的至少一个AI算法由第二用户开发，并且所述多个AI算法中的至少另一个AI算法由不同于所述第二用户的第三用户开发。

18.如权利要求16所述的系统，其中所述操作还包括在所述多个AI算法中选择AI算法作为所述一个或多个选择的AI算法，其中选择所述AI算法基于：

指示要执行的任务的类型的请求，

指示要生成的元数据的类型的请求，

用于特定AI算法的命令，

与所存储的全幅切片图像相关联的附加信息或元数据，

由所述第一用户接收的一个或多个规则或政策，

与所述多个AI算法中的所述AI算法相关联的一个或多个规则或政策；以及/或者

从一个或多个用户接收的一个或多个规则或政策，所述一个或多个用户已经开发了所述多个AI算法中的所述AI算法。

19.一种存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时，使得所述处理器执行用于处理对应于与患者相关联的医学样本的电子图像的操作，所述操作包括：

接收对一个或多个人工智能(AI)算法的选择；

接收与患者相关联的医学样本的一个或多个全幅切片图像；

使用所述一个或多个选择的AI算法对所述全幅切片图像执行任务，所述全幅切片图像存储在第一容器中，所述全幅切片图像源自第一用户，所述任务包括确定所述全幅切片图像中的所述医学样本的特性；

基于所述全幅切片图像的所述特性，生成与所述全幅切片图像相关联的元数据；以及

将所述元数据存储在第二容器中。

20.如权利要求19所述的非暂时性计算机可读介质，其中所述一个或多个选择的AI算法在云计算环境中可用的多个AI算法之中，所述多个AI算法中的至少一个AI算法由第二用户开发，并且所述多个AI算法中的至少另一个AI算法由不同于所述第二用户的第三用户开发。