CN114616590A - 用于为数字病理学处理载玻片图像的系统和方法 - Google Patents

用于为数字病理学处理载玻片图像的系统和方法 Download PDF

Info

Publication number
CN114616590A
CN114616590A CN202080077319.8A CN202080077319A CN114616590A CN 114616590 A CN114616590 A CN 114616590A CN 202080077319 A CN202080077319 A CN 202080077319A CN 114616590 A CN114616590 A CN 114616590A
Authority
CN
China
Prior art keywords
electronic image
target electronic
target
sample
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080077319.8A
Other languages
English (en)
Inventor
J·洛克
J·苏伊
P·许夫勒
J·S·伊祖里塔-埃雷拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Paige Artificial Intelligence Co
Original Assignee
Paige Artificial Intelligence Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Paige Artificial Intelligence Co filed Critical Paige Artificial Intelligence Co
Publication of CN114616590A publication Critical patent/CN114616590A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Processing (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

公开了用于接收对应于目标样本的目标电子图像的系统和方法，该目标样本包括患者的组织样本，将机器学习系统应用于目标电子图像以确定目标样本的至少一个特性和/或目标电子图像的至少一个特性，该机器学习系统是通过处理多个训练图像以预测至少一个特性而生成的，所述训练图像包括人体组织的图像和/或算法生成的图像，以及输出基于目标样本的至少一个特性和/或目标电子图像的至少一个特性标识感兴趣区域的目标电子图像。

Description

用于为数字病理学处理载玻片图像的系统和方法
（一个或多个）相关申请
本申请要求2019年9月9日提交的美国临时申请No. 62/897,745的优先权，该美国临时申请的全部公开内容特此通过引用以其整体并入本文。
技术领域
本公开的各种实施例总体上涉及基于图像的样本分析和相关图像处理方法。更具体地，本公开的特定实施例涉及用于基于组织样本的处理图像来标识样本属性并提供综合病理学工作流程的系统和方法。
背景技术
为了在医院内或研究环境中使用数字病理学图像，对样本的组织类型、样本获取的性质（例如，前列腺穿刺活检、乳腺活检、乳腺切除等）以及样本或图像的其他相关属性进行标识和分类可能很重要。
期望存在一种基于处理组织样本图像来提供综合病理学工作流程的方式。以下公开针对用于提供用户接口和人工智能（AI）工具的系统和方法，其可以被集成到工作流程中以加速和改进病理学家的工作解决方案。
前述一般描述和以下详细描述仅是示例性和解释性的，并且不对本公开限制。本文提供的背景描述是为了总体呈现本公开上下文的目的。除非本文另有指示，否则本节中描述的材料不是本申请中权利要求的现有技术，并且不通过包含在本节中而被承认为现有技术或现有技术的建议。
发明内容
根据本公开的某些方面，公开了用于标识样本属性并基于组织样本的处理图像提供综合病理学工作流程的系统和方法。
一种用于分析对应于样本的电子图像的计算机实现的方法，包括：接收对应于目标样本的目标电子图像，所述目标样本包括患者的组织样本；将机器学习系统应用于目标电子图像，以确定目标样本的至少一个特性和/或目标电子图像的至少一个特性，机器学习系统是通过处理多个训练图像以预测至少一个特性而生成的，训练图像包括人类的图像和/或算法生成的图像；以及输出基于目标样本的至少一个特性和/或目标电子图像的至少一个特性标识感兴趣区域的目标电子图像。
一种用于分析对应于样本的电子图像的系统，包括：存储指令的存储器；以及处理器，该处理器执行指令以执行包括以下各项的过程：接收对应于目标样本的目标电子图像，该目标样本包括患者的组织样本；将机器学习系统应用于目标电子图像，以确定目标样本的至少一个特性和/或目标电子图像的至少一个特性，机器学习系统是通过处理多个训练图像以预测至少一个特性而生成的，训练图像包括人类组织的图像和/或算法生成的图像；以及输出基于目标样本的至少一个特性和/或目标电子图像的至少一个特性标识感兴趣区域的目标电子图像。
一种存储指令的非暂时性计算机可读介质，所述指令当由处理器执行时，使得处理器执行用于分析对应于样本的图像的方法，所述方法包括接收对应于目标样本的目标电子图像，目标样本包括患者的组织样本；将机器学习系统应用于目标电子图像，以确定目标样本的至少一个特性和/或目标电子图像的至少一个特性，机器学习系统是通过处理多个训练图像以预测至少一个特性而生成的，训练图像包括人类的图像和/或算法生成的图像；以及输出基于目标样本的至少一个特性和/或目标电子图像的至少一个特性标识感兴趣区域的目标电子图像。
应理解，前述一般描述和以下详细描述仅是示例性和解释性的，并且不对如权利要求书的公开实施例限制。
附图说明
并入本说明书中并构成其一部分的附图图示了各种示例性实施例，并与说明书一起用于解释所公开实施例的原理。
图1A图示了根据本公开的示例性实施例的用于确定与（一个或多个）数字病理学图像相关的样本属性或图像属性信息的系统和网络的示例性框图。
图1B图示了根据本公开的示例性实施例的疾病检测平台100的示例性框图。
图1C图示了根据本公开的示例性实施例的查看应用工具101的示例性框图。
图1D图示了根据本公开的示例性实施例的查看应用工具101的示例性框图。
图2是图示了根据本公开一个或多个示例性实施例的用于输出标识感兴趣区域的目标图像的示例性方法的流程图。
图3图示了根据本公开的示例性实施例的查看应用工具101的示例性输出。
图4图示了根据本公开的示例性实施例的查看应用工具101的叠覆工具的示例性输出。
图5图示了根据本公开的示例性实施例的查看应用工具101的工作列表工具的示例性输出。
图6图示了根据本公开的示例性实施例的查看应用工具101的载玻片托盘工具的示例性输出。
图7图示了根据本公开的示例性实施例的查看应用工具101的载玻片共享工具的示例性输出。
图8图示了根据本公开的示例性实施例的查看应用工具101的注释工具的示例性输出。
图9图示了根据本公开的示例性实施例的查看应用工具101的注释工具的示例性输出。
图10图示了根据本公开的示例性实施例的查看应用工具101的注释工具的示例性输出。
图11图示了根据本公开的示例性实施例的查看应用工具101的检查工具的示例性输出。
图12图示了根据本公开的示例性实施例的查看应用工具101的检查工具的示例性输出。
图13图示了根据本公开的示例性实施例的查看应用工具101的示例性工作流程。
图14A、14B和14C图示了根据本公开的示例性实施例的查看应用工具101的载玻片视图的示例性输出。
图15图示了根据本公开的示例性实施例的为新用户创建账户和请求咨询的示例性工作流程。
图16A和16B图示了根据本公开的示例性实施例的病理咨询仪表板的示例性输出。
图17图示了根据本公开的示例性实施例的查看应用工具101的案例视图的示例性输出。
图18描绘了可以执行本文所呈现技术的示例系统。
实施例的描述
现在将对本公开的示例性实施例进行详细参考，其示例在附图中图示。贯穿附图，将尽可能使用相同的附图标记来指代相同或相似的部分。
本文公开的系统、设备和方法通过示例方式并参考各图进行了详细描述。本文讨论的示例仅是示例，并且被提供来协助解释本文描述的装置、设备、系统和方法。除非特别指定为强制性的，否则附图中所示的或下面讨论的特征或部件都不应该被认为是对于这些设备、系统或方法中的任一个的任何特定实现的强制性的。
此外，对于所述的任何方法，无论该方法是否结合流程图进行描述，都应当理解，除非上下文另有指定或要求，否则方法执行中执行的步骤的任何显式或隐式定次序不暗示着那些步骤必须按所呈现的次序执行，但取而代之可以按不同次序或并行执行。
如本文使用的，术语“示例性”在“示例”的意义上使用，而不是在“理想”的意义上使用。此外，本文的术语“一”或“一个”不标示数量的限制，而是标示存在一个或多个所引用的项目。
病理学指代对疾病的研究。更具体地，病理学指代执行用于诊断疾病的测试和分析。例如，组织样本可以放置在载玻片上，由病理学家（例如，作为在分析组织样本以确定是否存在任何异常方面的专家的医生）在显微镜下查看。也就是说，病理样本可以被切割成多个切片、染色并制备成载玻片，以供病理学家检查并做出诊断。当不确定在载玻片上发现的诊断时，病理学家可能选订附加的切割水平、染色或其他测试，以从组织收集更多信息。然后，（一个或多个）技术人员可以创建（一个或多个）新的载玻片，其可以包含病理学家在做出诊断时使用的附加信息。创建附加的载玻片的该过程可能是耗时的，不仅因为它可能涉及取回组织块、切割它以制作新的载玻片、并且然后对载玻片染色，而且还因为它可能为多个订单分批。这可能显著延迟病理学家做出的最终诊断。此外，即使在延迟之后，仍然可能不存在（一个或多个）新的载玻片将具有足以做出诊断的信息的保证。
计算机可以用于分析组织样本的图像，以快速标识是否可能需要关于特定组织样本的附加信息，和/或向病理学家突出显示他或她可能需要更仔细查看的区域。因此，获得附加染色载玻片和测试的过程可以在病理学家审阅之前自动完成。当与自动载玻片分割和染色机配对时，这可以提供全自动化载玻片制备流水线。该自动化至少具有以下益处：（1）最小化病理学家确定载玻片不足以做出诊断所花费的时间量，（2）通过避免在选订附加的测试时和在产生附加的测试时之间的附加时间，最小化从样本获取到诊断的（平均总）时间，（3）通过当组织块（例如，病理样本）在切割台中时允许进行重新切割，来减少每次重新切割的时间量和浪费的材料量，（4）减少在载玻片制备期间所需的组织材料的量，（5）通过部分或完全自动化该过程来减少载玻片制备的成本，（6）允许载玻片的自动定制切割和染色，这将导致来自样本的更具代表性/更有信息量的载玻片，（7）允许每个组织块生成更高量的载玻片，通过减少请求病理学家进行附加测试的开销来贡献于更明智/精确的诊断，和/或（8）标识或验证数字病理学图像的（例如，关于样本类型）正确属性，等等。
使用计算机协助病理学家的过程称为计算病理学。用于计算病理学的计算方法可以包括但不限于统计分析、自主或机器学习以及AI。AI可以包括但不限于深度学习、神经网络、分类、聚类和回归算法。通过使用计算病理学，可以通过帮助病理学家改进他们的诊断准确性、可靠性、效率和可及性，从而挽救生命。例如，可以使用计算病理学来协助检测疑似癌症的载玻片，从而允许病理学家在做出最终诊断之前检查和确认他们的初始评估。
组织病理学指代对放置在载玻片上的样本的研究。例如，数字病理学图像可以由包含样本（例如，涂片）的显微镜载玻片的数字化图像组成。病理学家可以用来分析载玻片上的图像的一种方法是标识细胞核并分类细胞核是正常的（例如良性的）还是异常的（例如恶性的）。为了协助病理学家标识和分类细胞核，组织学染色可以用于使细胞可见。已经开发了许多基于染料的染色系统，包括高碘酸-希夫反应、马森三色、尼氏和亚甲蓝以及溶血素和曙红（H&E）。对于医学诊断，H&E是一种广泛使用的基于染料的方法，其中苏木精将细胞核染成蓝色，曙红将细胞质和细胞外基质染成粉红色，并且其他组织区域呈现这些颜色的变体。然而，在许多情况下，H&E染色的组织学制备物不为病理学家提供足够的信息来视觉标识可以帮助诊断或指导治疗的生物标记。在这种情形下，可以使用诸如免疫组织化学（IHC）、免疫荧光、原位杂交（ISH）或荧光原位杂交（FISH）之类的技术。IHC和免疫荧光涉及例如使用与组织中特定抗原结合的抗体，使得能够对表达感兴趣的特定蛋白质的细胞进行视觉检测，这可以揭示经训练的病理学家基于对H&E染色载玻片的分析不能可靠标识的生物标记。取决于采用的探针类型（例如，用于基因拷贝数量的DNA探针和用于评估RNA表达的RNA探针），可以采用ISH和FISH来评估基因拷贝数量或特定RNA分子的丰度。如果这些方法也不能提供足够的信息来检测一些生物标记，则可以使用组织的基因测试来确认生物标记是否存在（例如，肿瘤中特定蛋白质或基因产物的过表达，癌症中给定基因的扩增）。
可以准备数字化图像以示出染色的显微镜载玻片，这可以允许病理学家手动查看载玻片上的图像，并估计图像中染色的异常细胞的数量。然而，该过程可能是耗时的，并且可能导致标识异常的错误，因为一些异常难以检测。可以使用计算过程和设备来协助病理学家检测否则可能难以检测的异常。例如，AI可以用于从使用H&E和其他基于染料的方法染色的组织的数字图像内的显著性区域预测生物标记（诸如蛋白质和/或基因产物的过表达、特定基因的扩增或突变）。组织的图像可以是整个载玻片图像（WSI）、微阵列内的组织核心的图像或组织切片内感兴趣的所选区域的图像。使用像H&E之类的染色方法，在没有附加测试帮助的情况下，这些生物标记可能很难被人类视觉检测或量化。使用AI从组织的数字图像中推断这些生物标记具有改进患者护理同时也更快并且更便宜的潜力。
检测到的生物标记或图像然后可以单独用于推荐治疗患者的特定癌症药物或药物组合疗法，并且AI可以通过将检测到的生物标记与治疗选项数据库相关联来标识哪些药物或药物组合可能成功。这可以用于促进针对患者特定癌症的免疫治疗药物的自动推荐。此外，这可以用于使能针对特定患者子集和/或罕见癌症类型的个性化癌症治疗。
在当今的病理学领域中，可能难以贯穿组织病理学工作流程中提供相对于病理学样本制备的系统性质量控制（“QC”）和相对于诊断质量的质量保证（“QA”）。系统性质量保证是困难的，因为它是资源和时间密集型的，因为它可能需要两个病理学家的重复努力。质量保证的一些方法包括（1）第一次诊断癌症案例的第二次审阅；（2）由质量保证委员会对不一致或改变的诊断进行周期性审阅；以及（3）随机审阅案示例集。这些都是不详尽的，大多是回顾性的，并且手动的。在具有自动化和系统性的QC和QA机制的情况下，可以贯穿工作流程中确保每个案例的质量。实验室质量控制和数字病理学质量控制对于患者样本的成功纳入、处理、诊断和存档可能非常重要。对QC和QA的手动和采样方法赋予了实质性的益处。系统性的QC和QA具有提供效率和改进诊断质量的潜力。
如上所述，本公开的计算病理学过程和设备可以提供集成平台，该集成平台允许全自动化过程，该全自动化过程包括经由网络浏览器或其他用户接口摄取、处理和查看数字病理学图像，同时与实验室信息系统（LIS）集成。此外，可以使用患者数据的基于云的数据分析来聚集临床信息。数据可能来自医院、诊所、实地研究人员等，并且可以通过机器学习、计算机视觉、自然语言处理和/或统计算法进行分析，以在多个地理特异性水平上进行健康模式的实时监视和预测。
本公开提出了一种整合的工作流程，该整合的工作流程通过提供将例如载玻片评估、任务、图像分析和癌症检测AI、注释、咨询和推荐集成在一个工作站中的工作流程，来促进疾病检测和/或癌症诊断。本公开描述了工作流程中可用的各种示例性用户接口，以及可以集成到工作流程中以加速和帮助病理学家工作的AI工具。
图1A图示了根据本公开的示例性实施例的系统和网络的框图，该系统和网络用于提供使用机器学习确定和输出与（一个或多个）数字病理学图像有关的样本属性或图像属性信息的工作流程。
具体地，图1A图示了可以连接至医院、实验室和/或医生办公室等处的服务器的电子网络120。例如，医师服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125等，每个都可以通过一个或多个计算机、服务器和/或手持移动设备连接到诸如因特网的电子网络120。根据本申请的示例性实施例，电子网络120还可以连接到服务器系统127，该服务器系统127可以包括被配置为实现疾病检测平台100的处理设备，该疾病检测平台100包括查看应用工具101，该查看应用工具101用于确定和输出与（一个或多个）数字病理学图像有关的样本属性或图像属性信息，并且根据本公开的示例性实施例使用机器学习。
医师服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125可以创建或以其他方式获得一个或多个患者的（一个或多个）细胞学样本、（一个或多个）组织病理学样本、（一个或多个）细胞学样本的（一个或多个）载玻片、（一个或多个）组织病理学样本的（一个或多个）载玻片的数字化图像或其任何组合的图像。医师服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125也可以获得患者特定信息的任何组合，诸如年龄、医疗史、癌症治疗史、家族史、过去的活检或细胞学信息等。医师服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125可以通过电子网络120向服务器系统127传输数字化的载玻片图像和/或患者特定信息。（一个或多个）服务器系统127可以包括一个或多个存储设备126，用于存储从医师服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125中的至少一个接收的图像和数据。服务器系统127还可以包括用于处理存储在存储设备126中的图像和数据的处理设备。服务器系统127可以进一步包括一个或多个机器学习工具或能力。例如，根据一个实施例，处理设备可以包括用于疾病检测平台100的机器学习工具。替代地或附加地，本公开（或本公开的系统和方法的部分）可以在本地处理设备（例如，膝上型计算机）上执行。
医师服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125指代病理学家用于审阅载玻片图像的系统。在医院环境中，组织类型信息可以存储在LIS 125中。然而，正确的组织分类信息不总是与图像内容配对。附加地，即使使用LIS来访问数字病理学图像的样本类型，由于LIS的许多组成部分可能是手动输入的事实，该标签也可能是不正确的，从而留下对于误差的大裕度。根据本公开的示例性实施例，样本类型和/或其他样本信息可以在不需要访问LIS 125的情况下被标识，或者可以被标识以可能校正LIS 125。例如，第三方可以匿名访问图像内容，而LIS中没有存储对应的样本类型标签。附加地，对LIS内容的访问由于其敏感内容可能受到限制。
图1B图示了疾病检测平台100的示例性框图，其使用机器学习来确定和输出与（一个或多个）数字病理学图像相关的样本属性或图像属性信息。
具体地，图1B描绘了根据一个实施例的疾病检测平台100的部件。例如，疾病检测平台100可以包括查看应用工具101、数据摄取工具102、载玻片纳入工具103、载玻片扫描仪104、载玻片管理器105和/或存储装置106。
根据示例性实施例，如下所述，查看应用工具101可以指代用于向用户（例如，病理学家）提供与（一个或多个）数字病理学图像相关的样本属性和/或图像属性信息的过程和系统。可以通过各种输出接口（例如，屏幕、监视器、存储设备和/或网络浏览器等）来提供信息。
根据示例性实施例，数据摄取工具102指代促进将数字病理学图像传送至用于分类和处理数字病理学图像的各种工具、模块、部件和设备的过程和系统。
根据示例性实施例，载玻片纳入工具103指代用于扫描病理学图像并将其转换成数字形式的过程和系统。可以用载玻片扫描仪104扫描载玻片，并且载玻片管理器105可以将载玻片上的图像处理成数字化病理学图像，并将数字化图像存储在存储装置106中。
查看应用工具101及其每个部件可以通过网络120向服务器系统127、医师服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125传输和/或接收数字化载玻片图像和/或患者信息。此外，服务器系统127可以包括用于存储从查看应用工具101、数据摄取工具102、载玻片纳入工具103、载玻片扫描仪104和/或载玻片管理器105中的至少一个接收的图像和数据的存储设备。服务器系统127还可以包括用于处理存储在存储设备中的图像和数据的处理设备。服务器系统127可以进一步包括例如由于处理设备所致的一个或多个机器学习工具或能力。替代地或附加地，本公开（或本公开的系统和方法的部分）可以在本地处理设备（例如，膝上型计算机）上执行。
以上设备、工具和模块中的任一个可以位于可以通过一个或多个计算机、服务器和/或手持移动设备连接至电子网络120（诸如因特网或云服务提供商）的设备上。
图1C图示了根据本公开示例性实施例的查看应用工具101的示例性框图。查看应用工具101可以包括工作列表工具107、载玻片托盘工具108、载玻片共享工具109和注释工具110、检查工具111和/或叠覆工具112。工作列表工具107可以提供用于载玻片查看和/或案例管理的端到端工作流程的概览。载玻片托盘工具108可以按部分组织案例的载玻片，并提供包括案例号、人口统计信息等的高级案例信息。载玻片共享工具109可以向用户提供共享各种载玻片的能力，并包括和/或书写关于共享性质的简短评论。注释工具110可以包括画笔工具、自动画笔工具、轨迹工具、锁定工具、箭头工具、文本字段工具、细节区域工具、ROI工具、预测工具、测量工具、多重测量工具、评论工具和/或截屏工具。检查工具111可以提供检查窗口，该检查窗口以目标图像的感兴趣区域的放大视图为特征。叠覆工具可以在目标图像的感兴趣区域的放大视图上提供热图叠覆，从而标识目标图像的放大视图的组织样本上的感兴趣区域。
图1D图示了根据本公开示例性实施例的查看应用工具101的示例性框图。查看应用工具101可以包括训练图像平台131和/或目标图像平台135。
根据一个实施例，训练图像平台131可以包括训练图像纳入模块132和/或图像分析模块133。
根据一个实施例，训练图像平台131可以创建或接收用于训练机器学习系统以有效分析和分类数字病理学图像的训练图像。例如，可以从服务器系统127、医师服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125中的任一个或任何组合接收训练图像。用于训练的图像可以来自真实的源（例如，人类、动物等）或者可以来自合成源（例如，图形渲染引擎、3D模型等）。数字病理学图像的示例可以包括（a）用多种染色剂染色的数字化载玻片，诸如（但不限于）H&E、单独苏木精、IHC、分子病理学等；和/或（b）来自诸如microCT的3D成像设备的数字化组织样本。
训练图像纳入模块132可以创建或接收包括一个或多个训练图像的数据集，所述一个或多个训练图像对应于人体组织图像和图形/合成渲染图像中的任一个或二者。例如，可以从服务器系统127、医师服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125中的任一个或任何组合接收训练图像。该数据集可以保存在数字存储设备上。图像分析模块133可以分析图像以标识样本属性和/或图像属性信息（例如，样本类型、样本切割的总体质量、玻璃病理载玻片本身的总体质量和/或组织形态特性）。
根据一个实施例，目标图像平台135可以包括目标图像纳入模块136、样本检测模块137和输出接口138。目标图像平台135可以接收目标图像，并将机器学习系统应用于接收到的目标图像，以确定目标样本的特性。例如，可以从服务器系统127、医师服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125中的任一个或任何组合接收目标图像。目标图像纳入模块136可以接收对应于目标样本的目标图像。样本检测模块137可以将机器学习系统应用于目标图像，以确定目标样本的特性和/或目标图像的特性。例如，样本检测模块137可以检测目标样本的样本类型。此外，样本检测模块137可以应用机器学习系统来确定样本的区域是否包括一个或多个异常。
输出接口138可以用于输出关于目标图像和目标样本的信息。（例如输出至屏幕、监视器、存储设备、网络浏览器等）。
图2是图示根据本公开示例性实施例的提供用于标识样本信息的查看应用工具101和提供用于查看样本信息的用户接口的示例性方法的流程图。例如，示例性方法200（例如，步骤202至206）可以由查看应用工具101自动执行或者响应于来自用户（例如，医师、病理学家、技术人员等）的请求而执行。
根据一个实施例，用于标识样本信息并提供用于查看样本信息的用户接口的示例性方法200可以包括一个或多个以下步骤。在步骤202中，该方法可以包括接收对应于目标样本的目标图像，该目标样本包括患者的组织样本。例如，可以从服务器系统127、医师服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125中的任一个或任何组合接收目标图像。
在步骤204中，该方法可以包括将机器学习系统应用于目标图像，以确定目标样本的至少一个特性和/或目标图像的至少一个特性。确定目标样本的特性可以包括确定目标样本的样本信息。例如，确定特性可以包括确定目标样本中是否存在异常。
机器学习系统可以通过处理多个训练图像以预测至少一个特性来生成，并且训练图像可以包括人类组织图像和/或算法/合成生成的图像。机器学习系统可以使用用于分类和回归的机器学习方法来实现。训练输入可以包括真实或合成的图像。训练输入可以或可以不被增强（例如，通过翻转/扭曲来添加噪声或创建输入的变体）。示例性机器学习系统可以包括但不限于神经网络、卷积神经网络、随机森林、逻辑回归和最近邻中的任一个或任何组合。卷积神经网络可以直接学习在特性之间进行区分所必需的图像特征表示，当对于每个样本存在大量数据要训练时，这可以非常好地工作，而其他方法可以与传统的计算机视觉特征（例如，加速鲁棒特征（SURF）或尺度不变特征变换（SIFT ））一起使用，或者与由训练的卷积神经网络产生的学习嵌入（例如，描述符）一起使用——这可以当仅存在少量数据要训练时产生优势。可以从服务器系统127、医师服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125中的任一个或任何组合接收训练图像。该数据集可以保存在数字存储设备上。用于训练的图像可以来自真实的源（例如，人类、动物等）或者可以来自合成源（例如，图形渲染引擎、3D模型等）。数字病理学图像的示例可以包括（a）用多种染色剂染色的数字化载玻片，诸如（但不限于）H&E、IHC、分子病理学等；和/或（b）来自诸如microCT的3D成像设备数字化组织样本。
在步骤206中，该方法可以包括输出基于目标样本的至少一个特性和/或目标图像的至少一个特性标识感兴趣区域的目标图像。
用于实现机器学习算法和/或架构的不同方法可以包括但不限于（1）CNN（卷积神经网络）；（2）MIL（多实例学习）；（3） RNN（递归神经网络）；（4）经由CNN的特征聚合；和/或（5）特征提取，随后是系综方法（例如，随机森林）、线性/非线性分类器（例如，SVM（支持向量机）、MLP（多层感知器）和/或降维技术（例如，PCA（主成分分析）、LDA（线性判别分析）等）。示例特征可以包括来自CNN的矢量嵌入、来自CNN的单/多类输出、和/或来自CNN的多维输出（例如，原始图像的掩模叠覆）。CNN可以直接从像素学习分类任务的特征表示，这可以导致更好的诊断性能。当区域的详细注释或逐像素标签可用时，如果存在大量的标注数据，则可以直接训练CNN。然而，当标签仅在整个载玻片级别或在一组中的载玻片集合之上（在病理学中可以称为“部分”）时，MIL可以用于训练CNN或另一神经网络分类器，其中MIL学习对于分类任务具有诊断性的图像区域，从而导致在没有详尽注释的情况下进行学习的能力。可以对从多个图像区域（例如，图像块）提取的特征使用RNN，然后对其进行处理以做出预测。例如随机森林、SVM和许多其他方法之类的其他机器学习方法可以与CNN学习的特征、具有MIL的CNN一起使用，或者使用手工制作的图像特征（例如SIFT或SURF）来完成分类任务，但是当直接从像素训练时，它们可能表现不良。当存在大量可用的注释的训练数据时，与基于CNN的系统相比，这些方法可能表现不良。在使用所提及的任何分类器之前，可以使用降维技术作为预处理步骤，如果存在可用的很少数据，则这可能是有用的。
根据一个或多个实施例，以上算法、架构、方法、属性和/或特征中的任一个可以与其他算法、架构、方法、属性和/或特征中的任一个或全部相组合。例如，机器学习算法和/或架构（例如，神经网络方法、卷积神经网络（CNN）、递归神经网络（RNN）等）中的任一个可以用训练方法（例如，多实例学习、强化学习、主动学习等）中的任一个来训练。
以下术语的描述仅是示例性的，并且不意图以任何方式限制术语。
标签可以指代关于机器学习算法正在试图预测的至该机器学习算法的输入的信息。
对于大小NxM的给定图像，分割可以是大小NxM的另一个图像，其对于原始图像中的每个像素，分配描述该像素的类或类型的数字。例如，在WSI中，掩模中的元素可以将输入图像中的每个像素分类为属于例如背景、组织和/或未知的类。
载玻片级别信息可以指代关于载玻片的一般信息，但不一定指代该信息在载玻片中的具体位置。
启发法可以指代在给定输入的情况下确定性地产生输出的逻辑规则或函数。例如：如果预测载玻片具有存在的异常，则输出一，如果不具有，则输出0。
嵌入可以指代低维数据的概念性高维数值表示。例如，如果WSI通过CNN训练来分类组织类型，则网络最后一层上的数字可以提供包含关于载玻片的信息（例如，关于组织类型的信息）的数字阵列（例如，大约几千）。
载玻片级别预测可以指代关于载玻片作为整体的具体预测。例如，载玻片级别预测可以是载玻片包含异常。此外，载玻片级别预测可以指代在定义的类的集合之上的个体概率预测。
分类器可以指代经训练以取得输入数据并将其与类别相关联的模型和/或系统。
根据一个或多个实施例，机器学习模型和/或系统可以用不同的方式进行训练。例如，机器学习模型的训练可以通过监督训练、半监督训练、非监督训练分类器训练、混合训练和/或不确定性估计中的任一个或任何组合来执行。所使用的训练类型可以取决于数据量、数据类型和/或数据质量。下面的表1描述了一些训练类型和对应特征的非限制性列表。
表1
Figure 67852DEST_PATH_IMAGE001
监督训练可以与少量数据一起使用，为机器学习模型提供种子。在监督训练中，机器学习模型可以寻找特定的项目（例如，气泡、组织褶皱等）、标记载玻片并且对载玻片中存在多少具体项目进行量化。
根据一个实施例，示例完全监督训练可以将WSI取作输入，并可以包括分割标签。用于完全监督训练的流水线可以包括（1）1；（2）1、启发法；（3）1、4、启发法；（4）1、4、5、启发法；和/或（5）1、5、启发法。完全监督训练的优点可以是：（1）它可能需要较少的载玻片和/或（2）输出是可解释的，因为可以知道图像的哪些区域对诊断有贡献。使用完全监督训练的缺点可以是它可能需要大量的分割，这可能难以获取。
根据一个实施例，示例半监督（例如，弱监督）训练可以将WSI取作输入，并可以包括载玻片级别信息的标签。用于半监督训练的流水线可以包括（1）2；（2）2、启发法；（3）2、4、启发法；（4）2、4、5、启发法；和/或（5）2、5、启发法。使用半监督训练的优点可以是：（1）所需的标签类型可能存在于许多医院记录中；以及（2）输出是可解释的，因为可以知道图像的哪些区域对诊断贡献最大。使用半监督训练的缺点是可能难以训练。例如，系统可能需要使用诸如多实例学习、激活学习和/或分布式训练之类的训练方案以计及如下事实：关于信息在载玻片中的何处存在有限的信息，这将导致决策。
根据一个实施例，示例无监督训练可以将WSI取作输入，并且可以不需要标签。用于无监督训练的流水线可以包括（1）3、4；和/或（2）3、4、启发法。无监督训练的优点可以是它不需要任何标签。使用无监督训练的缺点可以是（1）可能难以训练。例如，它可能需要使用诸如多实例学习、激活学习和/或分布式训练的训练方案以计及如下事实：关于信息在载玻片中的何处存在有限的信息，这将导致决策；（2）可能需要附加的载玻片；和/或（3）它可能不太可解释，因为它可能输出预测和概率而不解释为什么做出该预测。
根据一个实施例，示例混合训练可以包括对上述用于完全监督训练、半监督训练和/或无监督训练的任何示例流水线进行训练，并且然后使用所得模型作为用于任何训练方法的初始点。混合训练的优点可以是：（1）它可能需要较少的数据；（2）它可能具有改进的性能；和/或（3）它可以允许不同级别标签的混合（例如，分割、载玻片级别信息、无信息）。混合训练的缺点可以是（1）训练可能更复杂和/或更昂贵；和/或（2）它可能需要更多的代码，这可能增加潜在漏洞的数量和复杂性。
根据一个实施例，示例不确定性估计可以包括在流水线末端中使用不确定性估计，针对与载玻片数据相关的任何任务，对上述用于完全监督训练、半监督训练和/或无监督训练的任何示例流水线进行训练。此外，基于测试预测中的不确定性的量，可以使用启发法或分类器来预测载玻片是否具有异常。不确定性估计的优点可以是它对分布外数据是鲁棒的。例如，当不熟悉的数据被呈现时，它仍然可能正确地预测它是不确定的。不确定性估计的缺点可能是（1）可能需要更多的数据；（2）可能具有不良的总体性能；和/或（3）它可能不太可解释，因为模型可能不一定标识载玻片或载玻片嵌入如何异常。
根据一个实施例，系综训练可以包括同时运行由上述任何示例流水线产生的模型，并通过启发法或分类器组合输出以产生鲁棒和准确的结果。系宗训练的优点可以是：（1）它对分布外数据是鲁棒的；和/或（2）它可以组合其他模型的优点和缺点，从而导致缺点的最小化（例如，监督训练模型与不确定性估计模型的组合，以及当传入数据在分布中时使用监督模型并且当数据在分布外时使用不确定性模型的启发法，等等）。系综训练的缺点可能是（1）它可能更复杂；和/或（2）训练和运行可能昂贵。
本文所述的训练技术也可以分阶段进行，其中具有较多注释的图像最初用于训练，这可以允许使用具有较少注释、较少监督等的载玻片进行更有效的后续训练。
相对于可能使用的所有训练载玻片图像，训练可以从使用注释最透彻的载玻片开始。例如，训练可以从使用监督学习开始。可以接收或确定具有相关联注释的载玻片图像的第一集合。每个载玻片可以具有标记和/或掩蔽的区域，并且可以包括诸如载玻片是否具有异常的信息。载玻片的第一集合可以被提供给训练算法，例如CNN，其可以确定载玻片的第一集合和它们相关联的注释之间的相关性。
在完成利用图像的第一集合的训练之后，可以接收或确定载玻片图像的第二集合，其具有比第一集合少的注释，例如具有部分注释。在一个实施例中，注释可能仅指示载玻片具有与其相关联的诊断或质量问题，但可能不指定可能发现什么或在哪里发现疾病等。可以使用与第一集合不同的训练算法（例如多实例学习）来训练载玻片图像的第二集合。训练数据的第一集合可以用于部分训练系统，并且可以使第二轮训练在产生准确算法方面更有效。
这样，基于训练载玻片图像的质量和类型，可以使用任何数量的算法在任何数量的阶段中进行训练。这些技术可以在接收到图像的多个训练集合的情形下使用，所述图像的多个训练集合可以具有不同的质量、注释级别和/或注释类型。
图3图示了根据示例性实施例的查看应用工具101的示例性输出300。如图3中图示的，查看应用工具101可以包括导航菜单301，该导航菜单301用于导航到工作列表工具107的工作列表视图、用于载玻片托盘工具108和载玻片共享工具109的载玻片视图、注释工具110、检查工具111和/或用于叠覆工具112的叠覆拨动。导航菜单301还可以包括用于调整视图的视图模式输入（例如，拆分屏幕以一次查看多个载玻片和/或染色）。缩放菜单302可以用于快速调整目标图像303的缩放级别。目标图像可以以任何颜色显示。例如，深色、中性色方案可以用于显示目标图像303的细节。查看应用工具101可以包括在图像中的（x，y）坐标处是否存在可能疾病的肯定/否定指示符。附加地，用户可以执行肯定/否定指示符的确认和/或编辑。
可以基于目标图像中标识的特性，使用优先化特征对载玻片进行优先化。可以使用包括默认系统和定制系统的文件夹系统来组织载玻片。查看应用工具101可以包括案例视图，该案例视图可以包括结果、说明、附件、患者信息和状态图标。案例中的载玻片可以按类型组织，并且可以用颜色编码。案例共享功能可以被设计为安全和受信的。案例可以存档以提供必要的存储空间。可能存在在单个载玻片内的质量之间切换的功能。查看应用工具101可以提供新消息和/或新载玻片的通知。状态图标可以指示案例和/或载玻片是否是新的，以及它是否已经被共享和/或选订。可能存在搜索案例、患者和/或项目的功能。查看应用工具101可以包括患者队列和/或咨询队列。
查看应用工具101可以包括查看选项，查看选项可以包括查看模式、窗口、旋转、比例尺和/或叠覆。查看应用工具101的示例性输出可以包括患者信息、载玻片信息（例如，图像概览）和/或文件信息（例如，载玻片地图）。查看模式可以包括默认视图和不同比率的查看模式。查看应用工具101可以包括荧光模式、放大镜视图、比例尺、平移和缩放功能、旋转图像功能、感兴趣的焦点和/或其他载玻片动作（例如，选订新的染色）。查看应用可以分析图像并确定患者的存活率。
查看应用工具101可以包括对载玻片和级别进行选订以及推荐载玻片的功能。例如，查看应用工具101可以包括用于选择载玻片类型、发送新的载玻片订单、接收载玻片订单确认、载玻片订单指示符、查看新的载玻片和/或将新的载玻片与先前的载玻片进行比较的选项。查看应用工具101还可以包括用于推荐级别和选择级别的功能。
根据示例性实施例，查看应用工具101可以包括使用查看应用工具101搜索相似案例的功能。例如，可以标识感兴趣的区域，可以旋转和量化感兴趣的区域，并且可以标识具有相似感兴趣区域的案例并将其附加到患者案例。
查看应用工具101可以包括提供有丝分裂计数的功能。例如，感兴趣区域可以被标识，感兴趣区域可以被移动/旋转和量化，并且具有相似感兴趣区域的案例可以被标识和附加到患者案例。查看应用工具101可以显示计数结果，计数结果包括有丝分裂和/或视觉标记的数量。标识的区域可以被缩放，并且用户可以确认和/或编辑计数结果。结果可以跨系统共享。
图4图示了根据示例性实施例的查看应用工具101的叠覆工具112的示例性输出400。叠覆工具112可以在目标图像303上提供热图叠覆401。热图叠覆可以标识目标图像的组织样本上的感兴趣区域。例如，热图叠覆可以标识AI系统预测组织样本中可能存在异常的区域。可以使用导航菜单301将预测热图叠覆可视化拨动成打开和关闭。例如，用户可以选择导航菜单上的叠覆图标将热图叠覆拨动成打开或关闭。预测热图接口可以向用户（例如病理学家）指示用户应该检查的组织上的一个或多个区域。热图叠覆可以是透明的和/或半透明的，因此用户在查看热图叠覆时可以看到底层的组织。热图叠覆可以包括不同的颜色和/或阴影，以指示检测到的疾病的严重性。在被查看的组织类型的上下文中，其他类型的叠覆可能是可用的。例如，图4图示了前列腺活检。然而，其他疾病可能需要与它们相关的不同可视化或AI系统。
图5图示了根据示例性实施例的查看应用工具101的工作列表工具107的示例性输出500。如图5中图示的，查看应用工具101可以包括工作列表501，可以通过选择导航菜单301中的工作列表图标来打开该工作列表501。主导航菜单301可以提供用于载玻片查看和/或案例管理的端到端工作流程的概览。例如，概览可以包括工作列表501，该工作列表501可以显示所有用户（例如，病理学家）的案例。这可以通过打开工作列表面板从查看器用户接口（UI）访问。在工作列表面板内，病理学家可以查看患者的医疗记录号（MRN）、患者ID号、患者姓名、疑似疾病类型、案例状态、手术日期，并从各种案例动作中进行选择，诸如查看案例细节、案例共享和/或搜索等。
图6图示了根据示例性实施例的查看应用工具101的载玻片托盘工具108的示例性输出600。如图6中图示的，导航菜单301中的载玻片图标可以打开载玻片托盘601，作为来自屏幕左侧菜单的抽屉/下拉菜单。该菜单可以呈现包括案例号、人口统计信息等的高级案例信息。案例的载玻片可以被组织成各部分，在载玻片托盘601中表示为用暗灰色的父选项卡。每个部分都可以展开以显示其内的载玻片。因此，被确定为与相同部分相关联的载玻片可以显示在彼此预定的接近度内，该部分可以是样本的预定区域或患者的预定样本区域。部分上的红点602可以是不同颜色或不同形状的指示符，其可以指示AI系统已经在该部分内的某处发现了可能的疾病（例如，癌症）。载玻片上的红点603可以指示AI系统已经在该载玻片的某处发现了可能的疾病。AI系统已经发现可能疾病的这些部分和载玻片可以被带到列表的顶部，以供用户（例如病理学家）立即查看。该工作流程可以协助病理学家更快地标识疾病。
图7图示了根据示例性实施例的查看应用工具101的载玻片共享工具109的示例性输出700。从载玻片面板，用户可以选择“共享”按钮，并选择单个、多个和/或所有载玻片进行共享。载玻片共享面板701可以定位在载玻片托盘601的右侧，并且可以允许用户输入共享的接收者、选择要包括的各种载玻片和/或书写关于共享性质的简短评论。一旦选择了发送按钮，就可以将载玻片和简要评论发送给可以接收通知以在他们的查看应用中查看这些载玻片和/或评论的接收者。用户之间的对话可以在下面描述的日志中被捕获。
图8图示了根据示例性实施例的查看应用工具101的注释工具110的示例性输出800。对于所做的每个注释，注释日志801可以捕获所做的实际注释、注释的类型、任何测量、评论、做注释的用户和/或注释的时间的视觉图像。注释日志801可以用作将在注释或感兴趣的区域的上下文内查看的咨询和非正式共享的集中视图。请求咨询的用户（例如病理学家）和咨询病理学家可以阅读、评论和/或具有特定于每个注释的正在进行的对话，每个注释都具有时间戳。用户还可以选择注释日志801内的缩略图，以在主查看器窗口内以大比例查看感兴趣的区域。
图9图示了根据示例性实施例的查看应用工具101的注释工具110的示例性输出。例如，图9中图示的注释日志包括病理学家之间讨论载玻片的对话。病理学家可以发送说明连同带注释的图像，以快速咨询载玻片上的任何感兴趣区域。
图10图示了根据示例性实施例的查看应用工具101的注释工具110的示例性输出1000。查看应用可以包括注释菜单1001中所图示的多种注释工具。例如，注释工具可以包括画笔工具、自动画笔工具、轨迹工具、锁定工具、箭头工具、文本字段工具、细节区域工具、ROI工具、预测工具、测量工具、多重测量工具、绘制聚焦区域工具、感兴趣区域工具、添加标签工具、评论工具和/或截屏工具。注释可以出于研究目的和/或以临床设置使用。例如，病理学家可能做出注释、书写评论和/或与同事分享它以取得第二意见。注释也可以在最终诊断报告中用作诊断的支持证据（例如，肿瘤是x长度的，具有y数量的有丝分裂计数，等等）。
图11图示了根据示例性实施例的查看应用工具101的检查工具111的示例性输出1100。检查工具111可以包括检查窗口1101，该检查窗口1101以目标图像的感兴趣区域的放大视图为特征。基于用户输入，检查窗口可以被拖过图像以快速检视图像。因此，病理学家可以能够以类似于当前在显微镜中如何移动载玻片的方式跨载玻片快速移动。当通过检查工具111进行查看时，用户可以快速将预测热图叠覆切换或拨动成打开和关闭。用户可以在检查工具内截取可查看的组织的截屏，并快速共享截屏。不同的注释工具也可以与诸如测量工具和/或区域的突出显示之类的检查工具一起可用。附加地，用户可以独立于主载玻片的放大级别，在检查工具内增大和减小放大倍数。
图12图示了根据示例性实施例的查看应用工具101的检查工具111的示例性输出1200。如图12中图示的，检查窗口1201可以在放大视图中显示AI输出，用于验证和协助诊断。检查窗口1201可以包括显示由AI系统预测的组织样本的特性的热图叠覆。例如，热图叠覆可以标识AI系统预测组织样本中可能存在异常的区域。
图13图示了根据示例性实施例的查看应用工具101的示例性工作流程。工作流程可以包括工作列表、案例视图和/或载玻片视图作为用户（例如病理学家）工作流程中的模式。如图13中图示的，可以从案例视图输出诊断报告，该诊断报告可以包括数字签出所必需的信息。
图14A、图14B和图14C图示了根据示例性实施例的查看应用工具101的载玻片视图的示例性输出。例如，如图14A的底部所图示的，载玻片视图工具栏1401可以以载玻片竖直取向定位在显示器的底部。载玻片可以按部分分组，并且可以显示该上下文内的相关案例信息。如图14B中图示的，工具栏1401可以定位在显示器的左侧，其中工具栏可以包括菜单项，诸如工具、缩放功能和缩略图载玻片。如图14C中图示的，两个竖直工具栏1401和1402可以定位在屏幕的左侧和右侧，这可以允许容易地访问触摸屏设备的多种功能（例如，工具和/或视图）。
图15图示了根据示例性实施例为新用户（例如，患者、医师等）创建账户的示例性工作流程来请求和接收咨询。可以通过医院网站和/或通过查看应用工具101提交创建新账户的请求。一旦创建了帐户，病理学家可以发送说明连同带注释的图像，以快速咨询载玻片上感兴趣的任何区域。患者还可以接收来自病理学家的咨询信息和/或与他们的案例相关的账单信息。如果用户是医生，则基于记账方是转诊医师、患者和/或保险公司，记账选项可能不同。如果用户是患者，则可以直接或通过保险公司向患者开账单。
图16A和图16B图示了根据示例性实施例的病理咨询仪表板的示例性输出。如图16A中图示的，新的请求和访问的咨询可以包括患者姓名、转诊医生、外部ID、内部ID、机构、请求日期、状态、更新日期和/或至附加细节的链接。咨询仪表板可以包括用于选择要发送的载玻片、发送载玻片对话框、咨询请求说明、咨询附件和/或咨询日志的功能。如图16B中图示的，咨询请求可以包括患者姓名、转诊医生、机构、请求日期、状态、更新日期和/或至关于请求的另外细节的链接。
图17图示了根据示例性实施例的查看应用工具101的案例视图的示例性输出。案例视图可以包括数字图章工作流程所必需的所有信息。附加地，如图17中图示的，注释日志可以集成到案例视图中。
如图18中所示，设备1800可以包括中央处理单元（CPU）1820。CPU 1820可以是任何类型的处理器设备，包括例如任何类型的专用或通用微处理器设备。如相关领域的技术人员将领会的，CPU 1820也可以是多核/多处理器系统中的单个处理器，这样的系统单独操作，或者在集群或服务器群中操作的计算设备集群中操作。CPU 1820可以连接到数据通信基础设施1810，例如总线、消息队列、网络或多核消息传递方案。
设备1800还可以包括主存储器1840、例如随机存取存储器（RAM），并且还可以包括辅助存储器1830。例如只读存储器（ROM）的辅助存储器1830可以是例如硬盘驱动器或可移动存储驱动器。这样的可移动存储驱动器可以包括例如软盘驱动器、磁带驱动器、光盘驱动器、闪存等。该示例中的可移动存储驱动器以公知的方式从可移动存储单元读取和/或向其写入。可移动存储单元可以包括软盘、磁带、光盘等，由可移动存储驱动器读取和向其写入。如相关领域的技术人员将领会的，这样的可移动存储单元通常包括其中存储有计算机软件和/或数据的计算机可用存储介质。
在替代实现中，辅助存储器1830可以包括其他类似装置，用于允许计算机程序或其他指令加载至设备1800中。这样的装置的示例可以包括程序盒式磁带和盒式磁带接口（诸如在视频游戏设备中发现的）、可移动存储器芯片（诸如EPROM或PROM）和相关联的插座，以及允许软件和数据从可移动存储单元传送到设备1800的其他可移动存储单元和接口。
设备1800还可以包括通信接口（“COM”）1860。通信接口1860允许软件和数据在设备1800和外部设备之间传送。通信接口1860可以包括调制解调器、网络接口（诸如以太网卡）、通信端口、PCMCIA插槽和卡等。经由通信接口1860传送的软件和数据可以是信号的形式，其可以是电子、电磁、光学或能够被通信接口1860接收的其他信号。这些信号可以经由设备1800的通信路径提供给通信接口1860，设备1800的通信路径可以使用例如电线或线缆、光纤、电话线、蜂窝电话链路、RF链路或其他通信信道来实现。
这样的设备的硬件元件、操作系统和编程语言在本质上是常规的，并且假定本领域技术人员对此足够熟悉。设备1800还可以包括输入和输出端口1850，以与诸如键盘、鼠标、触摸屏、监视器、显示器等之类的输入和输出设备连接。当然，各种服务器功能可以在多个类似的平台上以分布式方式实现，从而分配处理负载。替代地，服务器可以通过一个计算机硬件平台的适当编程来实现。
贯穿本公开内容，对部件或模块的引用通常指代逻辑上可以分组在一起以执行一项功能或一组相关功能的项目。同样的附图标记通常意图指代相同或类似的部件。部件和模块可以用软件、硬件或软件和硬件的组合来实现。
上述工具、模块和功能可以由一个或多个处理器执行。“存储”类型介质可以包括计算机、处理器等的任何或所有有形存储器，或者诸如各种半导体存储器、磁带驱动器、磁盘驱动器等之类的其相关联模块，它们可以在任何时间为软件编程提供非暂时性存储。
软件可以通过因特网、云服务提供商或其他电信网络进行通信。例如，通信可以使能将软件从一个计算机或处理器加载到另一个计算机或处理器中。如本文所使用的，除非限于非暂时性的有形“存储”介质，否则诸如计算机或机器“可读介质”之类的术语指代参与向处理器提供指令以供执行的任何介质。
前述一般描述仅是示例性和解释性描述，并且不是对本公开的限制。根据对本文公开的本发明的说明书和实践的考虑，本发明的其他实施例对于本领域技术人员而言将是清楚的。意图是说明书和示例仅被认为是示例性的。

Claims (20)

1.一种用于分析对应于样本的电子图像的计算机实现的方法，所述方法包括：
接收对应于目标样本的目标电子图像，所述目标样本包括患者的组织样本；
将机器学习系统应用于目标电子图像，以确定目标样本的至少一个特性和/或目标电子图像的至少一个特性，机器学习系统是通过处理多个训练图像以预测至少一个特性而生成的，训练图像包括人类组织的图像和/或算法生成的图像；和
输出基于目标样本的至少一个特性和/或目标电子图像的至少一个特性标识感兴趣区域的目标电子图像。
2.根据权利要求1所述的计算机实现的方法，其中，标识感兴趣区域包括在目标电子图像上显示热图叠覆。
3.根据权利要求1所述的计算机实现的方法，其中，标识感兴趣区域包括在目标电子图像上显示热图叠覆，所述热图叠覆包括基于位置包含异常的预测可能性的阴影和/或着色。
4.根据权利要求1所述的计算机实现的方法，其中，标识感兴趣区域包括在目标电子图像上显示热图叠覆，所述热图叠覆包括基于位置包含异常的预测可能性的阴影和/或着色，
其中热图叠覆是透明或半透明的。
5.根据权利要求1所述的计算机实现的方法，进一步包括在目标电子图像的至少一部分之上显示放大窗口，以及
在放大窗口中以不同于目标电子图像的放大级别的放大级别呈现目标样本的放大图像。
6.根据权利要求1所述的计算机实现的方法，进一步包括在目标电子图像的至少一部分之上显示放大窗口；和
在放大窗口中以不同于目标电子图像的放大级别的放大级别呈现目标样本的放大图像，
其中放大窗口包括用于将热图叠覆拨动到放大图像上的可选择图标。
7.根据权利要求1所述的计算机实现的方法，进一步包括：
在目标电子图像上显示标识目标样本的概览的载玻片托盘工具；
将机器学习系统应用于目标电子图像，以确定目标样本的一部分是否包含异常；和
响应于确定所述部分包含异常，在载玻片托盘工具中呈现异常的指示符。
8.根据权利要求1所述的计算机实现的方法，进一步包括：
显示注释日志，所述注释日志包括标识感兴趣区域的指示符和与感兴趣区域相关的咨询请求。
9.根据权利要求1所述的计算机实现的方法，进一步包括：
接收对应于目标样本的第二目标电子图像；
确定与目标电子图像相关联的目标样本的第一部分；
确定与第二目标电子图像相关联的目标样本的第二部分；
标识第一部分和第二部分是相同的还是叠覆的；
响应于标识所述第一部分和所述第二部分是相同的或叠覆的，以彼此预定的接近度显示目标电子图像的第一表示和第二目标电子图像的第二表示；
确定是否存在与目标电子图像相关联的感兴趣区域和/或与第二目标电子图像相关联的感兴趣区域；
响应于确定与目标电子图像相关联的感兴趣区域，显示与目标电子图像的第一表示相关联的指示符；和
响应于确定与第二目标电子图像相关联的感兴趣区域，显示与第二目标电子图像的第二表示相关联的指示符。
10. 一种用于分析对应于样本的电子图像的系统，所述系统包括：
存储指令的至少一个存储器；和
至少一个处理器，执行指令以执行包括以下各项的过程：
接收对应于目标样本的目标电子图像，所述目标样本包括患者的组织样本；
将机器学习系统应用于目标电子图像，以确定目标样本的至少一个特性和/或目标电子图像的至少一个特性，机器学习系统是通过处理多个训练图像以预测至少一个特性而生成的，训练图像包括人类组织的图像和/或算法生成的图像；和
输出基于目标样本的至少一个特性和/或目标电子图像的至少一个特性标识感兴趣区域的目标电子图像。
11.根据权利要求10所述的系统，其中，标识感兴趣区域包括在目标电子图像上显示热图叠覆。
12.根据权利要求10所述的系统，其中，标识感兴趣区域包括在目标电子图像上显示热图叠覆，所述热图叠覆包括基于位置包含异常的预测可能性的阴影和/或着色。
13.根据权利要求10所述的系统，其中，标识感兴趣区域包括在目标电子图像上显示热图叠覆，所述热图叠覆包括基于位置包含异常的预测可能性的阴影和/或着色，
其中热图叠覆是透明或半透明的。
14.根据权利要求10所述的系统，进一步包括在目标电子图像的至少一部分之上显示放大窗口，以及
在放大窗口中以不同于目标电子图像的放大级别的放大级别呈现目标样本的放大图像。
15.根据权利要求10所述的系统，进一步包括在目标电子图像的至少一部分之上显示放大窗口；和
在放大窗口中以不同于目标电子图像的放大级别的放大级别呈现目标样本的放大图像，
其中放大窗口包括用于将热图叠覆拨动到放大图像上的可选择图标。
16.根据权利要求10所述的系统，进一步包括：
在目标电子图像上显示标识目标样本的概览的载玻片托盘工具；
将机器学习系统应用于目标电子图像，以确定目标样本的一部分是否包含异常；和
响应于确定所述部分包含异常，在载玻片托盘工具中呈现异常的指示符。
17.根据权利要求10所述的系统，进一步包括：
显示注释日志，所述注释日志包括标识感兴趣区域的指示符和与感兴趣区域相关的咨询请求。
18.根据权利要求10所述的系统，进一步包括：
接收对应于目标样本的第二目标电子图像；
确定与目标电子图像相关联的目标样本的第一部分；
确定与第二目标电子图像相关联的目标样本的第二部分；
标识第一部分和第二部分是相同的还是叠覆的；
响应于标识所述第一部分和所述第二部分是相同的或叠覆的，以彼此预定的接近度显示目标电子图像的第一表示和第二目标电子图像的第二表示；
确定是否存在与目标电子图像相关联的感兴趣区域和/或与第二目标电子图像相关联的感兴趣区域；
响应于确定与目标电子图像相关联的感兴趣区域，显示与目标电子图像的第一表示相关联的指示符；和
响应于确定与第二目标电子图像相关联的感兴趣区域，显示与第二目标电子图像的第二表示相关联的指示符。
19.一种存储指令的非暂时性计算机可读介质，所述指令当由处理器执行时，使得处理器执行用于分析对应于样本的电子图像的方法，所述方法包括：
接收对应于目标样本的目标电子图像，所述目标样本包括患者的组织样本；
将机器学习系统应用于目标电子图像，以确定目标样本的至少一个特性和/或目标电子图像的至少一个特性，机器学习系统是通过处理多个训练图像以预测至少一个特性而生成的，训练图像包括人类组织的图像和/或算法生成的图像；和
输出基于目标样本的至少一个特性和/或目标电子图像的至少一个特性标识感兴趣区域的目标电子图像。
20.根据权利要求19所述的非暂时性计算机可读介质，其中，标识感兴趣区域包括在目标电子图像上显示热图叠覆，所述热图叠覆包括基于位置包含异常的预测可能性的阴影和/或着色。
CN202080077319.8A 2019-09-09 2020-09-08 用于为数字病理学处理载玻片图像的系统和方法 Pending CN114616590A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962897745P 2019-09-09 2019-09-09
US62/897745 2019-09-09
PCT/US2020/049698 WO2021050421A1 (en) 2019-09-09 2020-09-08 Systems and methods for processing images of slides for digital pathology

Publications (1)

Publication Number Publication Date
CN114616590A true CN114616590A (zh) 2022-06-10

Family

ID=72644894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080077319.8A Pending CN114616590A (zh) 2019-09-09 2020-09-08 用于为数字病理学处理载玻片图像的系统和方法

Country Status (9)

Country Link
US (2) US11551357B2 (zh)
EP (1) EP4028989A1 (zh)
JP (1) JP2022546595A (zh)
KR (1) KR20220062332A (zh)
CN (1) CN114616590A (zh)
AU (1) AU2020344517A1 (zh)
BR (1) BR112022003461A2 (zh)
CA (1) CA3147085A1 (zh)
WO (1) WO2021050421A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021144984A1 (ja) * 2020-01-17 2021-07-22 オリンパス株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
US11436713B2 (en) * 2020-02-19 2022-09-06 International Business Machines Corporation Application error analysis from screenshot
TW202213261A (zh) * 2020-09-28 2022-04-01 林易霆 無引導者機器學習模型輔助之醫病共享決策系統及其共享方法
US11663838B2 (en) * 2020-10-29 2023-05-30 PAIGE.AI, Inc. Systems and methods for processing images to determine image-based computational biomarkers from liquid specimens
WO2023278205A1 (en) * 2021-06-28 2023-01-05 Gestalt Diagnostics, LLC Methods, apparatuses, and computer-readable media for enhancing digital pathology platform
USD1027977S1 (en) 2021-06-28 2024-05-21 Gestalt Diagnostics, LLC Display screen or portion thereof having a graphical user interface
JP2024066977A (ja) * 2022-10-28 2024-05-16 京セラ株式会社 画像生成装置、画像生成方法、画像生成プログラム及び記録媒体
US20240221961A1 (en) * 2022-12-29 2024-07-04 Idexx Laboratories, Inc. Methods and Systems for Processing Pathology Data of a Patient For Pre-Screening Veterinary Pathology Samples

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1613734A4 (en) * 2003-04-04 2007-04-18 Agilent Technologies Inc VISUALIZATION OF EXPRESSION DATA ON CHROMOSOMIC GRAPHIC SCHEMES
US7694234B2 (en) * 2005-08-04 2010-04-06 Microsoft Corporation Virtual magnifying glass with on-the fly control functionalities
CA2682940A1 (en) * 2007-04-11 2008-10-23 Forth Photonics Limited A supporting structure and a workstation incorporating the supporting structure for improving, objectifying and documenting in vivo examinations of the uterus
US8463741B2 (en) * 2009-09-04 2013-06-11 Omnyx, LLC Digital pathology system
US9335894B1 (en) * 2010-03-26 2016-05-10 Open Invention Network, Llc Providing data input touch screen interface to multiple users based on previous command selections
US20120069049A1 (en) * 2010-09-16 2012-03-22 Omnyx, LLC Digital pathology image manipulation
US20120127297A1 (en) * 2010-11-24 2012-05-24 Baxi Vipul A Digital microscopy with focus grading in zones distinguished for comparable image structures
WO2015069824A2 (en) * 2013-11-06 2015-05-14 Lehigh University Diagnostic system and method for biological tissue analysis
JP6588444B2 (ja) * 2014-01-28 2019-10-09 ベンタナ メディカル システムズ， インコーポレイテッド 全スライド組織セグメント化のための適応分類
WO2015155808A1 (ja) * 2014-04-09 2015-10-15 パナソニック株式会社 情報端末の制御方法及びプログラム
JP6469977B2 (ja) * 2014-07-09 2019-02-13 オリンパス株式会社 標本観察装置および標本観察方法
CA2970129C (en) * 2015-01-31 2023-04-11 Ventana Medical Systems, Inc. Systems and methods for area-of-interest detection using slide thumbnail images
US9956054B2 (en) * 2015-06-25 2018-05-01 EchoPixel, Inc. Dynamic minimally invasive surgical-aware assistant
KR102474244B1 (ko) * 2015-11-20 2022-12-06 삼성전자주식회사 영상 표시 장치 및 그 동작방법
KR20190007445A (ko) * 2016-05-12 2019-01-22 라이프 테크놀로지스 코포레이션 이미지 캡처 및 표시를 위한 시스템, 방법 및 장치
JP6885564B2 (ja) * 2016-11-22 2021-06-16 ユニバーシダッド デ ラス パルマス デ グラン カナリア 腫瘍および／または健常組織の非侵襲的検出方法およびハイパースペクトルイメージング装置
CN110476101B (zh) * 2017-06-13 2022-02-18 谷歌有限责任公司 用于病理学的增强现实显微镜
US10937540B2 (en) * 2017-12-21 2021-03-02 International Business Machines Coporation Medical image classification based on a generative adversarial network trained discriminator
US10592779B2 (en) * 2017-12-21 2020-03-17 International Business Machines Corporation Generative adversarial network medical image generation for training of a classifier
EP3979127A1 (en) 2018-02-15 2022-04-06 Verily Life Sciences LLC Pathology predictions on unstained tissue
US10957041B2 (en) * 2018-05-14 2021-03-23 Tempus Labs, Inc. Determining biomarkers from histopathology slide images
US11508168B2 (en) * 2018-10-15 2022-11-22 Upmc Systems and methods for specimen interpretation
JP7270058B2 (ja) * 2019-03-12 2023-05-09 エフ・ホフマン－ラ・ロシュ・アクチェンゲゼルシャフト 予測的組織パターン特定のためのマルチプルインスタンスラーナ
US10970837B2 (en) * 2019-03-18 2021-04-06 Siemens Healthcare Gmbh Automated uncertainty estimation of lesion segmentation
JP2022534157A (ja) * 2019-05-29 2022-07-28 ライカ バイオシステムズ イメージング インコーポレイテッド 組織学的画像および術後腫瘍辺縁評価における腫瘍のコンピュータ支援レビュー
US11276176B2 (en) * 2019-09-04 2022-03-15 International Business Machines Corporation Intelligent boundary delineation of regions of interest of an organism from multispectral video streams using perfusion models
CN115004260A (zh) * 2019-11-18 2022-09-02 10X基因组学有限公司 用于组织分类的系统和方法
KR102492463B1 (ko) * 2020-06-24 2023-01-27 주식회사 뷰노 병변 판독 결과 표시 방법

Also Published As

Publication number Publication date
US20210073984A1 (en) 2021-03-11
US20230095896A1 (en) 2023-03-30
BR112022003461A2 (pt) 2022-05-24
AU2020344517A1 (en) 2022-03-24
US11551357B2 (en) 2023-01-10
JP2022546595A (ja) 2022-11-04
EP4028989A1 (en) 2022-07-20
CA3147085A1 (en) 2021-03-18
KR20220062332A (ko) 2022-05-16
WO2021050421A8 (en) 2022-03-24
WO2021050421A1 (en) 2021-03-18

Similar Documents

Publication Publication Date Title
CN114072879B (zh) 用于处理图像以对经处理的用于数字病理的图像进行分类的系统和方法
US11456077B2 (en) Systems and methods for processing electronic images
US11551357B2 (en) Systems and methods for processing images of slides for digital pathology
CN114207675A (zh) 用于数字病理学的用于处理图像以针对所处理的图像制备载片的系统和方法
CN115210817A (zh) 用于分析电子图像以进行质量控制的系统和方法
WO2024040179A1 (en) Systems and methods for processing images to determine biomarker levels

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination