CN117015800A - 针对全切片图像的基于注意力的多实例学习 - Google Patents

针对全切片图像的基于注意力的多实例学习 Download PDF

Info

Publication number
CN117015800A
CN117015800A CN202280019833.5A CN202280019833A CN117015800A CN 117015800 A CN117015800 A CN 117015800A CN 202280019833 A CN202280019833 A CN 202280019833A CN 117015800 A CN117015800 A CN 117015800A
Authority
CN
China
Prior art keywords
image
slice image
digital pathology
embedding
tiles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280019833.5A
Other languages
English (en)
Inventor
胡芳耀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Genentech Inc
Original Assignee
Genentech Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Genentech Inc filed Critical Genentech Inc
Publication of CN117015800A publication Critical patent/CN117015800A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/86—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using syntactic or structural representations of the image or video pattern, e.g. symbolic string recognition; using graph matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Computational Linguistics (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

在一个实施方案中，本公开提供了一种方法，所述方法包括接收全切片图像以及将所述全切片图像分割成多个图像图块。所述方法包括生成与多个图块中的每个图块相对应的特征向量，其中针对所述图块中的每一个的所述特征向量表示所述图块的嵌入。所述方法包括使用注意力网络来计算与每个嵌入特征向量相对应的权重值。所述方法包括基于所述嵌入特征向量来计算图像嵌入，其中基于与所述嵌入特征向量相对应的所述权重值对每个嵌入特征向量进行加权。所述方法包括基于所述图像嵌入来生成针对所述全切片图像的分类。

Description

针对全切片图像的基于注意力的多实例学习
相关申请的交叉引用
本申请要求于2021年3月12日提交的名称为“Attention-Based MultipleInstance Learning for Whole Slide Images”的美国临时专利申请号63/160,493的权益和优先权，所述美国临时专利申请出于所有目的通过引用以其全文并入本文。
技术领域
本公开总体上涉及用于对数字病理学图像的工具进行分析和分类。
背景技术
全切片图像(Whole Slide Image,WSI)由来自样品的图像的扫描或数字原生扫描产生。扫描和相对应的WSI通常非常大，例如，多个颜色通道中的每个通道都有100,000像素乘以100,000像素，这使得使用传统计算方法难以在整体水平上有效地分析WSI。目前处理大幅面WSI的方法包括将WSI分割成较小的部分，并使用多个处理器或其他分布式的处理来执行并行分析。分割和分布式的处理可能有助于收集对离散部分的理解，但无法生成对整个WSI的理解。
病理学家或其他训练有素的专家通常会针对所描绘组织中异常的证据来评估WSI。针对WSI的标记倾向于涉及整个图像，并且不是，例如，涉及图像的特定部分。例如，病理学家可以识别肺部的图像中的组织异常(例如，肿瘤)并且将图像标记为“异常。”然而，在大多数情况下，病理学家不会对图像进行注释以指定组织异常出现在图像中的位置。这种“全有或全无”的标记风格对于训练计算机实现算法来评估WSI不太有用。然而，即使在全图像标记下，病理学家分析也很耗时。让病理学家重新评估老样品来标记各个位置是非常耗时的。此外，许多情况并不相互排斥，因此单个WSI可能同时指示多种情况，这可能需要多个专家同时检查图像以确保标记所有异常情况。
因此，存在对WSI标签或注释的需求，该标签或注释提供超越图像作为“正常图像”或“异常图像”的二元标记的细化。另外，存在对这样的注释的需求，来查明图像的部分或图像中描绘异常的位置。
发明内容
在特定实施方案中，计算机实现方法包括接收或以其他方式访问全切片图像并将全切片图像分割成多个图块。特别地，全切片图像可以是大幅面图像，并且可以选择分割的图块的尺寸以促进有效的管理和处理。方法包括生成与多个图块中的每个图块相对应的嵌入特征向量。在特定实施方案中，使用使用自然图像训练的神经网络来生成嵌入特征向量。方法包括使用注意力网络来计算与每个嵌入特征向量相对应的权重值。方法包括根据嵌入特征向量计算图像嵌入。每个嵌入特征向量根据与嵌入特征向量相对应的权重值进行加权。在特定实施方案中，方法进一步包括在计算图像嵌入之前对权重值进行归一化。方法包括根据图像嵌入生成针对全切片图像的分类。针对全切片图像的分类可以指示在全切片图像中描绘的组织中存在一种或多种生物学异常，包括肥大、库普弗细胞异常、坏死、炎症、糖原异常、脂质异常、腹膜炎、细胞核大小不均、细胞浸润、核巨大、微肉芽肿、增生或空泡形成。针对全切片图像的分类可以包括对与全切片图像中描绘的组织相关联的潜在地毒性事件的评估。在特定实施方案中，计算机可以使用多个注意力网络来计算与每个嵌入特征向量相对应的权重值，并且从每个注意力网络生成针对全切片图像的相应的分类。在特定实施方案中，分类指示全切片图像描绘与全切片图像中描绘的组织相关联的一种或多种异常。在特定实施方案中，方法包括将针对全切片图像的分类提供给病理学家以供验证。
在特定实施方案中，计算机可以生成与全切片图像相对应的热图。热图可以包括与全切片图像的图块相对应的图块。与热图的每个图块相关联的强度值可以根据与全切片图像的相应的图块的嵌入特征向量相对应的权重值来确定。在特定实施方案中，方法进一步包括生成针对全切片图像的注释。计算机通过识别满足预定标准(诸如超过阈值)的一个或多个权重值、识别与经识别的权重值相对应的一个或多个嵌入特征向量、以及识别与经识别的嵌入特征向量相对应的一个或多个图块生成针对全切片图像的注释。可以通过标记经识别的图块或作为交互式覆盖，来提供针对全切片图像的注释以与全切片图像相关联地显示。
在特定实施方案中，计算机可以至少根据权重值来计算与针对全切片图像的分类相关联的置信分数，并且提供与针对全切片图像的分类相关联的置信度分数以用于显示。在特定实施方案中，计算机可以根据嵌入特征向量、权重值和切片嵌入特征向量来识别与针对全切片图像的分类相关联的衍生(derivative)特征。在特定实施方案中，计算机可以分别为多个全切片图像生成多个分类，并且使用这些分类作为与全切片图像相关联的真实值来训练一个或多个注意力网络以分别预测与一个或多个情况相关联的权重值。在特定实施方案中，从用户装置接收全切片图像并且方法包括将针对全切片图像的分类提供给用户装置以供显示。在特定实施方案中，从与执行该方法的数字病理学图像处理系统通信耦合的数字病理学图像生成系统接收全切片图像。
本文公开的实施方案仅是示例，并且本公开的范围不限于此。特定实施方案可以包括本文公开的实施方案的部件、元件、特征、功能、操作或步骤中的全部、一些，或者不包括任何一者。根据本发明的实施方案特别公开在针对方法、存储介质、系统和计算机程序产品的所附权利要求中，其中在一个权利要求类别中提及的任何特征(例如，方法)可以在另一个权利要求类别(例如，系统)中要求对其进行保护。仅出于形式原因选择所附权利要求中的从属物或引用物。但是，也可以要求保护任何因有意引用任何前述权利要求(特别是多个从属物)而产生的主题，因此无论在所附权利要求中选择的从属物如何，都可以公开并要求保护权利要求及其特征的任何组合。可以要求保护的主题不仅包括如所附权利要求中所列的特征的组合，还包括权利要求中的特征的任何其他组合，其中权利要求中提及的每个特征可以与权利要求中的任何其他特征或其他特征的组合相组合。此外，可以在单独的权利要求中和/或与本文描述或描绘的任何实施方案或特征或与所附权利要求的任何特征的任何组合中，要求保护本文描述或描绘的任何实施方案和特征。
附图说明
图1A-1B示出了使用多实例学习的数字病理学图像分类的示例性实施方案。
图2示出了示例性数字病理学图像处理系统和数字病理学图像生成系统。
图3示出了示例性全连接的注意力网络。
图4A-4K示出了示例性全切片图像的基于图块的热图。
图5A-5B示出了示例性经注释的全切片图像。
图6A-6D示出了为数字病理学图像训练基于注意力的网络和分类网络的示例性实施方案。
图7示出了用于数字病理学图像分类的示例性方法。
图8示出了示例性计算机系统。
具体实施方式
如本文所述，WSI是极大幅面数字图像，其可能由将物理切片数字化为高分辨率图像文件产生或者可以由医疗扫描装置直接输出。由于所捕获的图像的性质，WSI通常以尽可能高的分辨率格式保存，并且避免通常由图像压缩和操作产生的伪影而对WSI中描绘的组织的误诊。WSI通常包括比典型数字图像大几个数量级的像素，并且可能包括100,000像素x100,000像素(例如，10,000兆像素)或更大的分辨率。
WSI的分析是一个劳动密集型过程，需要具有知识和灵活性的高度专业化人员来审查WSI、识别和识别异常、对异常进行分类、标记WSI并且潜在地呈现组织的诊断。另外，因为WSI用于广泛的组织类型，具有识别异常的知识和技能的人员必须进一步专业化，以便提供准确的分析和诊断。可能从WSI检测到的组织异常包括，仅通过示例而非限制，炎症、色素沉着、变性、细胞核大小不均、肥大、有丝分裂增加、单核细胞浸润、炎性细胞浸润、炎性细胞病灶、糖原减少、糖原积累(弥漫性或集中性)、髓外骨髓生成、髓外造血、髓外红细胞生成、单细胞坏死、弥漫性坏死、明显坏死、凝固性坏死、细胞凋亡、核巨大、胆周、细胞结构增加、糖原沉积、脂质沉积、微肉芽肿、充血、库普弗细胞色素沉着、含铁血黄素增加、组织细胞增多症、增生或空泡形成等。因此，由于工作的劳动和知识密集型性质，WSI被认为是自动化某些功能的候选者。然而，WSI的大尺寸使得典型技术无效、缓慢并且昂贵。执行标准图像识别和深度学习技术是不切实际的，这些技术需要WSI的许多样品的多轮的分析以增加准确度。本文描述的技术旨在解决WSI中的自动化特征识别的问题，并且能够开发新颖的数据分析和表示技术，这些技术以前由于有详细记录的限制而不能使用WSI执行。
本文公开的系统可以基于标准WSI标签有效地生成用于特征识别的训练数据。另外，本系统可以识别WSI是否包含异常以及异常位于WSI中的何处。
图1A-1B示出了用于使用多实例学习对全切片图像(WSI)进行分类的示例性过程100。图2示出了根据本公开的一些实施方案，交互计算机系统的网络200，如本文所述，其可用于使用神经网络和基于注意力的技术对全切片图像进行分类。如图1A所示，在110处，数字病理学图像处理系统210接收全切片图像105。仅作为示例并且作为限制，数字病理学图像处理系统210可以从数字病理学图像生成系统220或者它的一个或多个部件接收全切片图像105。作为另一示例，数字病理学图像处理系统210可以从一个或多个用户装置230接收全切片图像105。用户装置230可以为经由一个或多个网络连接到数字病理学图像处理系统210的由病理学家或临床医师使用的计算机。用户装置230的用户可以使用用户装置230来上传全切片图像105或指示一个或多个其他装置将全切片图像105提供给数字病理学图像处理系统210。
在120处，数字病理学图像处理系统210例如使用图块生成模块211将全切片图像105分割成多个图块115a、115b、…115n。
在130处，数字病理学图像处理系统210例如使用图块嵌入模块212，生成使用嵌入网络125的多个图块中的每个图块的嵌入。作为示例，对于图块115a，图块嵌入模块212生成相对应的嵌入135a，对于图块115b，图块嵌入模块212生成相对应的嵌入135b，并且对于图块115n，图块嵌入模块212生成相对应的嵌入135n。如本文所描述的，嵌入可以包括图块的唯一表示，其保存关于图块的内容或上下文的一些信息。图块嵌入还可以从图块到相对应的图块嵌入空间的转换中导出，其中块嵌入空间内的不同与图块的相似性相关。例如，描绘相似主题或具有相似视觉特征的块将比描绘不同主题或具有不同视觉特征的图块在嵌入空间中定位得更近。图块嵌入可以被表示为特征向量。
如图1B所示，在140处，数字病理学图像处理系统210(例如使用权重值生成模块213)生成针对嵌入135a、135b、…135n中的每一个的权重值。例如，生成模块213的权重值生成用于嵌入135a的权重值a1、b1和c1，生成用于嵌入135b的权重值a2、b2和c3，并且生成用于嵌入135n的权重值an、bn和cn。为了生成权重值，权重值生成模块213可以在嵌入之前使用多个注意力网络145a、145b、…145c来生成用于嵌入的注意力分数，如本文所述，并且随后被归一化以用作权重值。在某些实施方案中，每个注意力网络为每个嵌入生成权重值，使得为每个嵌入生成的权重值的数量等于由权重值生成模块213使用的注意力网络的数量。
在150处，数字病理学图像处理系统210例如使用图像嵌入模块214，通过在加权组合中组合图块嵌入来计算针对全切片图像105的图像嵌入V1、V2、…Vn，使用针对每个嵌入所生成的权重值来加权相应的嵌入。在一些实施方案中，可以生成多个图像嵌入V1、V2、…Vn，例如针对每个注意力网络145a、145b、145c的一个图像嵌入。图像嵌入Vn可以被计算为加权组合Vn＝a1+a2+…+an。在一些实施方案中，可以使用所有的权重值(例如，来自所有的注意力网络的权重值)来生成单个图像嵌入。
在160处，数字病理学图像处理系统210，例如使用图像分类模块215，使用图像嵌入V1、V2、…Vn对全切片图像105进行分类。在一些实施方案中，图像分类模块215使用分类网络155来生成分类。然后将分类呈现为全切片图像的评估，其中评估等于对全切片图像中存在的一个或多个情况的预测。例如，评估可包括确定全切片图像描绘正常生物学情况或包含可诊断的生物学异常。可诊断的生物学异常可包括与肥大(例如，肝细胞肥大、库普弗细胞肥大等)、库普弗细胞(例如，库普弗细胞色素沉着、库普弗细胞肥大等)、坏死(例如，弥漫性、局灶性、凝固性、等)、糖原(例如，糖原消耗、糖原沉积等)、炎症、脂质(例如，脂质消耗、脂质沉积等)、腹膜炎以及其他病症相关联的异常。作为另一示例，评估可以包括确定一个或多个情况的指示存在于全切片图像中。可以将评估提供给数字病理学图像处理系统210的用户或操作员以供审查。还可以将评估提供给一个或多个用户装置230。
如本文所讨论，来自数字病理学图像处理系统210的输出可以按多种形式提供，包括由数字病理学图像处理系统做出的评估的简单叙述。还可以提供更高级的输出。作为示例，数字病理学图像处理系统210可以生成全切片图像的“热图”，其中热图的每个图块的值与由注意力网络生成的权重值中的一个或多个的值相关。示例性热图在图4A和4B中示出。数字病理学图像处理系统210可进一步生成针对图像的注释覆盖，其对与特定类别相关的图像或以其他方式建议用于由用户装置230的用户审查的图像的区域进行分组和识别。示例性注释覆盖在图5A和5B中示出。
图2示出了根据本公开的一些实施方案，交互计算机系统的网络200，如本文所述，其可用于使用神经网络和基于注意力的技术对全切片图像进行分类。
数字病理学图像生成系统220可以生成与特定样品相对应的一个或多个数字病理学图像，包括但不限于全切片图像。例如，由数字病理学图像生成系统220生成的图像可以包括活检样品的染色切片(stained section)。作为另一示例，由数字病理学图像生成系统220生成的图像可以包括液体样品的切片图像(例如，血涂片)。作为另一示例，由数字病理学图像生成系统220生成的图像可以包括荧光显微图，诸如描绘荧光探针已经与靶DNA或RNA序列结合之后的荧光原位杂交(FISH)的切片图像。
一些类型的样品(例如，活检组织、固体样品和/或包括组织的样品)可以由样品制备系统221处理以固定和/或嵌入该样品。样品制备系统221可以促进用固定剂(例如，液体固定剂，诸如甲醛溶液)和/或嵌入物质(例如，组织学蜡)浸润样品。例如，样品固定子系统可以通过将样品暴露于固定剂达到至少阈值时间量(例如，至少3小时、至少6小时或至少12小时)来固定样品。脱水子系统可以使样品脱水(例如，通过将固定样品和/或固定样品的一部分暴露于一种或多种乙醇溶液)并且潜在地使用清除中间剂(例如，其包括乙醇和组织学蜡)来清除脱水的样品。样品嵌入子系统可以用加热的(例如，因此呈液体状)组织学蜡来浸润样品(例如，相对应的预定义时间段的一次或多次)。组织学蜡可以包含石蜡和潜在地一种或多种树脂(例如，苯乙烯或聚乙烯)。然后可以冷却样品和蜡，并且然后可以将经蜡浸润的样品封闭。
样品切片器222可以接收固定和嵌入式样品并且可以产生一组切片(section)。样品切片器222可以将固定和嵌入式样品暴露在凉爽或寒冷的温度下。样品切片器222然后可以切割冷冻样品(或其修整版本)以产生一组切片。每个切片可以具有(例如)小于100μm、小于50μm、小于10μm或小于5μm的厚度。每个切片可以具有(例如)大于0.1μm、大于1μm、大于2μm或大于4μm的厚度。冷冻样品的切割可以在温水浴中(例如，在至少30℃、至少35℃或至少40℃的温度下)执行。
自动化染色系统223可以通过将每个切片暴露于一种或多种染色剂来促进对样品切片中的一个或多个的染色。每个切片可以被暴露于预定义体积的染色剂达预定义时间段。在一些情况下，单个切片被同时或依次暴露于多种染色剂。
可以将一个或多个染色切片中的每一个呈现给图像扫描仪224，该图像扫描仪可以捕获该切片的数字图像。图像扫描仪224可以包括显微镜相机。图像扫描仪224可以在多个放大级(例如，使用10x物镜、20x物镜、40x物镜等)来捕获数字图像。对图像的操作可以用于在期望的放大倍数范围内捕获样品的选定部分。图像扫描仪224可以进一步捕获由人类操作者经识别的注释和/或形态度量。在一些情况下，在捕获一个或多个图像之后，切片被返回到自动化染色系统223，使得切片可以被清洗、暴露于一种或多种其他染色剂并再次成像。当使用多种染色剂时，可以选择染色剂具有不同颜色配置文件，使得将图像的与吸收大量第一染色剂的第一切片部分相对应的第一区域与图像(或不同的图像)的与吸收大量第二染色剂的第二切片部分相对应的第二区域区分开来。
应当理解，在一些情况下，数字病理学图像生成系统220的一个或多个部件可以结合人类操作者进行操作。例如，人类操作者可以跨各种子系统(例如，样品制备系统221或数字病理学图像生成系统220的子系统)移动样品和/或启动或终止数字病理学图像生成系统220的一个或多个子系统、系统或部件的操作。作为另一示例，数字病理学图像生成系统的一个或多个部件(例如，样品制备系统221的一个或多个子系统)的一部分或全部可以部分或全部用人类操作者的动作代替。
此外，应当理解，虽然数字病理学图像生成系统220的各种所描述和描绘的功能和部件涉及固体和/或活检样品的处理，其他实施方案可以涉及液体样品(例如，血液样品)。例如，数字病理学图像生成系统220可以接收液体样品(例如，血液或尿液)切片，该切片包括基础切片、涂抹的液体样品和盖玻片。图像扫描仪224然后可以捕获样品切片的图像。数字病理学图像生成系统220的进一步实施方案可以涉及使用本文描述的诸如FISH的高级成像技术来捕获样品的图像。例如，一旦荧光探针已被引入样品并使其与靶序列结合，可以使用适当的成像来捕获样品的图像以供进一步分析。
给定样品可以在处理和成像期间与一个或多个用户(例如，一个或多个医师、实验室技术人员和/或医疗提供者)相关联。关联用户可以包括，例如但不限于，订购产生被成像样品的测试或活检的人、有权接收测试或活检的结果的人，或对测试或活检样品进行分析的人等。例如，用户可以对应于医师、病理学家、临床医师或受试者。用户可以使用一个或一个用户装置230来提交以下一个或多个请求(例如，其识别受试者)：由数字病理学图像生成系统220处理样品并且由数字病理学图像处理系统210处理所得图像。
数字病理学图像生成系统220可以将由图像扫描仪224所产生的图像传输回用户装置230。用户装置230随后与数字病理学图像处理系统210通信以启动图像的自动化处理。在一些情况下，数字病理学图像生成系统220将图像扫描仪224所产生的图像直接提供到数字病理学图像处理系统210，例如在用户装置230的用户的方向下。尽管未示出，但也可以使用其他中间装置(例如，连接到数字病理学图像生成系统220或数字病理学图像处理系统210的服务器的数据存储区)。除此之外，为了简单起见，在网络200中仅示出了一个数字病理学图像处理系统210、图像生成系统220和用户装置230。本公开预期使用每种类型的系统及其部件中的一者或多者而不至于背离本公开的教导。
图2所示的网络200和相关联系统可以用于其中数字病理学图像(诸如全切片图像)的扫描和评估是工作的重要组成部分的各种情境。作为示例，网络200可以与临床环境相关联，其中用户出于可能的诊断目的评估样品。用户可以使用用户装置230来审查图像，之后将图像提供到数字病理学图像处理系统210。用户可以将附加信息提供到数字病理学图像处理系统统210，该附加信息可以用于指导或指示数字病理学图像处理系统210对图像的分析。例如，用户可以提供扫描内特征的预期诊断或初步评定。用户还可以提供附加情境，注入被审查的组织类型。作为另一示例，网络200可以与正在检查的组织(例如，以确定药物的功效或潜在副作用)的实验室环境相关联。在此情境下，提交多种类型的组织进行审查以确定所述药物对全身的影响可能是司空见惯的事情。这可能会给人类扫描审查员带来特别的挑战，他们可能需要确定图像的各种情境，这可能高度依赖于被成像的组织类型。这些情境可以任选地提供到数字病理学图像处理系统210。
数字病理学图像处理系统210可以处理数字病理学图像，包括全切片图像，以对数字病理学图像进行分类并针对数字病理学图像和相关输出生成注释。图块生成模块211可以针对每个数字病理学图像定义图块的集合。为了定义图块的集合，图块生成模块211可以将数字病理学图像分割成图块的集合。如本文所体现，图块可以是非重叠的(例如，每个图块包括不包括在任何其他图块中的图像的像素)或重叠的(例如，每个图块包括包括在至少一个其他图块中的图像的像素的某一部分)。除了每个图块的尺寸和窗口的步幅(例如，图块与后续图块之间的图像距离或像素)之外，诸如是否图块重叠的特征也可以增加或减少用于分析的数据集，其中更多图块(例如，通过重叠或更小图块)增加最终输出和可视化的潜在分辨率。在一些情况下，图块生成模块211针对图像定义图块的集合，其中每个图块具有预定义尺寸和/或块之间的偏移是预定义的。此外，图块生成模块211可以针对每个图像创建具有不同尺寸、重叠、步长等的图块的多个集合。在一些实施方案中，数字病理学图像本身可以包含图块重叠，这可能是由成像技术产生的。无图块重叠的平均分割可以是平衡图块处理要求并避免影响本文讨论的嵌入生成和权重值生成的优选解决方案。可以例如通过以下来确定图块尺寸或图块偏移：针对每个尺寸/偏移计算一个或多个性能度量(例如，精确度、召回率、准确度和/或误差)，以及通过选择与高于预定阈值的一个或多个性能度量相关联和/或与一个或多个最佳(例如，高精确度、最高召回率、最高准确度和/或最低误差)性能度量相关联的图块尺寸和/或偏移。图块生成模块211还可以取决于检测到的异常的类型而定义图块尺寸。例如，图块生成模块211可以被配置为了解数字病理学图像处理系统210将搜索的组织异常的类型并且可以根据组织异常定制图块尺寸以改进检测。例如，图像生成模块211可以确定当组织异常包括搜索肺组织中的炎症或坏死时，应减小图块尺寸以提高扫描速率，而当组织异常包括肝组织中的库普弗细胞的异常时，应增加图块尺寸以增加数字病理学图像处理系统210整体分析库普弗细胞的机会。在一些情况下，图块生成模块211定义块的集合，其中对于每个图像的集合中的图块的数量、集合中的图块的尺寸、集合的图块的分辨率或其他相关属性经定义，并且对于一个或多个图像中的每一个保持恒定。
如本文所体现，图块生成模块211可以进一步沿着一个或多个颜色通道或颜色组合定义针对每个数字病理学图像的图块的集合。作为示例，由数字病理学图像处理系统210接收到的数字病理学图像可以包括大幅面多颜色通道图像，这些图像具有针对若干颜色通道中的一个指定的图像的每个像素的像素颜色值。可以使用的示例性颜色规范或颜色空间包括RGB、CMYK、HSL、HSV或HSB颜色规范。可以基于分割颜色通道和/或生成每个图块的亮度图或灰度等效值来定义图块的集合。例如，对于图像的每个片段，图块生成模块211可以提供红色图块、蓝色图块、绿色图块和/或亮度图块，或所使用的颜色规范的等效物。如本文所解释，基于图像的片段和/或片段的颜色值来分割数字病理学图像可以提高用于生成针对图块和图像的嵌入并产生图像的分类的网络的准确度和识别率。另外，数字病理学图像处理系统210，例如，使用图块生成模块211，可以在颜色规范之间转换和/或使用多个颜色规范准备图块的副本。可以基于所需类型的图像增强(例如，强调或增强特定颜色通道、饱和度水平、亮度水平等)来选择颜色规范转换。还可以选择颜色规范转换以提高数字病理学图像生成系统220和数字病理学图像处理系统210之间的兼容性。例如，特定图像扫描部件可以提供HSL颜色规范中的输出，并且在如本文所述的数字病理学图像处理系统210中使用的模型可以使用RGB图像来训练。将图块转换成兼容的颜色规范可以确保仍可以分析图块。另外，数字病理学图像处理系统可以对以特定颜色深度(例如，8位、16位等)提供的图像进行上采样或下采样，以供数字病理学图像处理系统使用。此外，数字病理学图像处理系统210可以使得根据已捕获的图像的类型(例如，荧光图像可以包括关于颜色强度的更多细节或更广泛的颜色)转换图块。
如本文所述，图块嵌入模块212可以在相对应的嵌入空间中为每个图块生成嵌入(例如135a、135b、…135n)。嵌入可以由数字病理学图像处理系统210表示为图块的特征向量。图块嵌入模块212可以使用神经网络(例如，卷积神经网络)来生成表示图像的每个图块的特征向量。在特定实施方案中，图块嵌入神经网络可以基于对基于自然(例如，非医学)图像的数据集(诸如ImageNet数据集)进行训练的ResNet图像网络。通过使用非专门的图块嵌入网络，图块嵌入模块212可以利用在有效处理图像以生成嵌入方面的已知进展。此外，使用自然图像数据集允许嵌入神经网络学习在整体水平上辨别图块片段之间的差异。
在其他实施方案中，图块嵌入模块212使用的图块嵌入网络可以是经定制以处理大幅面图像，诸如数字病理学全切片图像的大量图块的嵌入网络。另外，可以使用自定义数据集来训练由图块嵌入模块212使用的图块嵌入网络。例如，图块嵌入网络可以使用全切片图像的各种样品进行训练，或甚至使用与嵌入网络将生成嵌入的主题(例如，特定组织类型的扫描)相关的样品进行训练。使用专门的或定制的图像的集合来训练图块嵌入网络可以允许图块嵌入网络识别图块之间细微差异，这可能导致嵌入空间中的图块之间的距离更详细和准确，但代价是需要附加时间来获取图像以及训练多个图块生成网络以供图块嵌入模块212使用的计算和经济成本。图块嵌入模块212可以基于数字病理学图像处理系统210正在处理的图像的类型来从图块嵌入网络库中进行选择。
如本文所述，可以使用图块的视觉特征来从深度学习神经网络生成图块嵌入(例如，135a、135b、…135n)。可以根据与图块相关联的情境信息或根据图块中所示的内容进一步生成图块嵌入。例如，图块嵌入可以包括一个或多个特征，这些特征指示和/或对应于所描绘对象的尺寸(例如，所描绘细胞或像差的尺寸)和/或所描绘对象的密度(例如，所描绘细胞或像差的密度)。尺寸和密度可以被绝对测量(例如，宽度以像素表示或从像素转换成纳米)或相对于来自同一数字病理学图像、来自一类数字病理学图像(例如，使用类似技术或通过单个数字病理学图像生成系统或扫描仪来产生)，或来自相关的数字病理学图像系列的其他图块。此外，可以在图块嵌入模块212针对图块生成嵌入之前对图块进行分类，使得图块嵌入模块212在准备嵌入时考虑分类。
为了一致性，图块嵌入模块212产生预定义尺寸的嵌入(例如，512个元素的向量、2048字节的向量等)。图块嵌入模块212可以产生各种并且任意尺寸的嵌入。块嵌入模块212可以基于用户方向来调整嵌入的尺寸，或可以被选择，例如，以优化计算效率、准确度或其他参数。在特定实施方案中，嵌入尺寸可以基于生成嵌入的深度学习神经网络的限制或规范。较大的嵌入尺寸可以用于增加嵌入中捕获的信息量并且提高结果的质量和准确度，然而较小的嵌入尺寸可以用于提高计算效率。
权重值生成模块213可以生成针对每个图块的权重值，该权重值将与图块和相对应的嵌入相关联地使用。如本文所描述的，权重值可以是由神经网络生成的注意力分数，该神经网络接收图块嵌入作为输入并生成注意力分数作为输出，也称为注意力神经网络或简称为注意力网络。例如，注意力分数可以被定义为和/或解释为给定图块预测特定输出的程度。相对于集合中的其他图块，具有高注意力分数的图块或图块嵌入可以说已被注意力网络识别，在数字病理学图像的分类中具有高影响力。例如，注意力网络可以了解到图块或图块嵌入中的某些特征与被分类为正常或异常或指示炎症或坏死的数字病理学图像高度相关。权重值生成模块213可以根据需要使用多个注意力网络，包括针对数字病理学图像处理系统210可以检测的每一类输出中的至少一个。作为示例，权重值生成模块213可以使用如本文所描述的已经训练的一个或多个注意力网络来确定与在数字病理学图像中可检测到的多个情况中的每一个相关联的图块的关键实例。仅作为示例而非限制，权重值生成模块213可以包括被训练来检测特定诊断的网络，该特定诊断可以根据对最终用户有用的相似性或可能性来分组。例如，可以训练网络来检测包括肥大(例如，肝细胞肥大、库普弗细胞肥大等)、库普弗细胞(例如，库普弗细胞色素沉着、库普弗细胞肥大等)、坏死(例如，弥漫性、局灶性、凝固性、等)、糖原(例如，糖原消耗、糖原沉积等)、炎症、脂质(例如，脂质消耗、脂质沉积等)、腹膜炎以及在数字病理学图像中可检测到的其他病症。另外，权重值生成模块213可以包括注意力网络，该注意力网络被训练以确定数字病理学图像的图块中的异常并且为异常与正常分配总体权重值。
虽然一些实施方案可以包括具有相应的注意力分数的每个给定图块，但是其他实施方案可以包括与可以包括或包括一个或多个图块或图块的一部分的图像的区域相对应的注意力分数。例如，这样的图像区域可以延伸超出单个图块的边界或者可以具有比单个图块的周长较小的周长。注意力分数可以由对图块或图像区域内的图像相关的细节(例如，强度和/或颜色值)的处理产生。图块的上下文信息，诸如图块在数字病理学图像内的位置，也可以被注意力网络用来生成注意力分数。注意力网络接收一系列与对应于一组像素强度或嵌入空间内的位置的嵌入(例如，向量表示)。注意力网络可以包括，例如前馈网络、感知机网络(例如，多层感知机)和/或具有一个或多个全连接层的网络。神经网络可进一步包括卷积神经网络和一个或多个附加层(例如，全连接层)。
图像嵌入模块214使用图块嵌入(例如，135a、135b、…135n)和权重值来生成针对数字病理学图像(例如，全切片图像)的嵌入。图像嵌入可以采用另一个特征向量的形式来表示图像。如本文所体现，图像嵌入可以由图块嵌入的组合产生，其中由权重值生成模块213生成的权重值用于对图块嵌入进行加权。换句话说，图像嵌入可以是根据来自每个注意力网络的注意力分数对图块嵌入进行加权组合的结果。在生成图像嵌入中，图像嵌入模块214可以对图块嵌入(例如，135a、135b、…135n)和权重值应用进一步的变换和/或归一化。因此，可以生成一个或多个图像嵌入。特别地，图像嵌入模块214可以为每个注意力网络(因此评估每个情况)生成一个图像嵌入。图像嵌入模块214还可以生成一个或多个复合嵌入，其中跨注意力网络的嵌入和权重值被组合。
图像分类模块215然后处理图像嵌入以确定哪些分类应当应用于数字病理学图像。图像分类模块215可以包括或使用被训练来对来自图像嵌入的数字病理学图像进行分类的一个或多个分类网络155。例如，单个分类网络155可以被训练来识别和区分分类。在另一示例中，一个分类网络155可以用于每个目标分类或目标情况，使得每个分类网络155确定图像嵌入是否指示其主题分类或情况。所得到的分类可以被解释为对数字病理学图像的评估以及数字病理学图像包括一种或多种指定的情况的指示符的确定。例如，图像分类模块215的输出可以包括针对一系列情况的一系列二元是或否确定。输出可以进一步被组织为由是或否确定组成的向量。例如，可以用表示图像分类模块215或其部件分类网络155在特定确定中具有的置信度的置信度分数或区间来增强确定。例如，图像分类模块215可以指示数字图像85％可能包括异常细胞、80％可能不指示肥大、60％可能指示炎症等。此外，分类器网络可以包括与每个潜在的分类相关联的一组分数。然后，图像分类模块215可以在评估分数并分配置信水平之前对分数应用归一化函数(例如，softmax、平均等)。以这种方式，数字病理学图像处理系统210可以根据图像嵌入自动标记数字病理学图像，图像嵌入依次基于图块嵌入和权重值。
如本文所述，图像嵌入网络、注意力网络和分类网络可以是针对特定功能设计和训练的人工神经网络(“ANN”)。图3示出了示例ANN 300。ANN可以涉及包括一个或多个节点的计算模型。示例ANN 300包括输入层310、隐藏层320、330、340和输出层350。ANN 300的每一层可以包括一个或多个节点，诸如节点305或节点315。在特定实施方案中，ANN的一个或多个节点可以连接到ANN的另一节点。在全连接的ANN中，ANN的每个节点都连接到ANN的前一层和/或后一层的每个节点。作为示例而非限制，输入层310的每个节点可以连接到隐藏层320的每个节点，隐藏层320的每个节点可以连接到隐藏层330的每个节点，等等。在特定实施方案中，一个或多个节点是偏置节点，其可以是未连接到前一层中的任何节点并且不从前一层中的任何节点接收输入的节点。虽然图3描绘了具有特定数量的层、特定数量的节点以及节点之间的特定连接的特定ANN 300，本公开设想了具有任何合适数量的层、任何合适数量的节点以及节点之间的任何合适连接的任何合适的ANN。作为示例，图3描绘了输入层310的每个节点与隐藏层320的每个节点之间的连接，尽管在特定实施方案中，输入层310的一个或多个节点不连接到隐藏层320的一个或多个节点并且这同样应用于ANN 300的其余节点和层。
在特定实施方案中使用的ANN可以是没有循环或环路的前馈ANN，并且其中节点之间的通信从输入层开始沿一个方向流动并且逐层递进。作为示例，隐藏层320的到每个节点的输入可以包括输入层310的一个或多个节点的输出。类似地，输出层350的到每个节点的输入可以包括隐藏层340的节点的输出。在特定实施方案中使用的ANN可以是具有至少两个隐藏层的深度神经网络。在特定实施方案中使用的ANN可以是深度残差网络、包括组织成残差块的隐藏层的前馈ANN。第一残差块之后的每个残差块的输入可以是前一残差块的输出和前一残差块的输入的函数。作为示例而非限制，残差块的N输入可以表示为F(x)+x，其中F(x)是残差块N-1的输出，并且x是残差块的输入N-1。尽管本公开描述了特定ANN，但本公开设想了任何合适的ANN。
在特定实施方案中，ANN的每个节点可以包括激活函数。节点的激活函数定义或描述针对给定输入的节点的输出。在特定实施方案中，到节点的输入可以是单个输入或者可以包括一组输入。示例性激活函数可以包括恒等函数、二元阶跃函数、逻辑函数或任何其他合适的函数。针对节点的示例性激活函数k可以包括sigmoid函数双曲正切函数/>整流器F(s)＝max((0,sk)或任何其他合适的函数Fk(sk)，其中sk是到节点的输入k。
与节点相对应的激活函数的输入可以被加权。每个节点可以基于加权输入使用相对应的激活函数来生成输出。如本文所体现，节点之间的每个连接可以与权重相关联。例如，节点305与节点315之间的连接325可以具有0.4的权重系数，这指示节点315的输入是0.4(权重系数)乘以节点305的输出。更普遍地，yk节点k的输出可以是yk＝Fk(sk)，其中Fk是与节点相对应的激活函数k，sk＝∑j(wjkxj)是到节点的输入k，xj是连接到节点k的节点j的输出，以及wjk是节点j与节点k之间的权重系数。如本文所体现，到输入层310的节点的输入可以基于表示对象的向量(也称为对象的向量表示)、对象在相对应的嵌入空间中的嵌入、或其他合适的输入。尽管本公开描述了到节点的特定输入和节点的输出，但是本公开设想了ANN中任何合适的到节点的输入和节点的输出。此外，虽然本公开描述了节点之间的特定连接和权重，但是本公开设想了节点之间的任何合适的连接和权重。
在特定实施方案中，可以使用训练数据来训练ANN 300。作为示例而非限制，训练数据可以包括对ANN 300的输入和预期输出，诸如与输入相对应的真实值。例如，训练数据可以包括表示训练对象和针对训练对象的预期标签的一个或多个向量。训练通常同时或连续与多个训练对象一起出现。训练ANN可以包括通过优化目标函数来修改与ANN的节点之间的连接相关联的权重。作为示例而非限制，可以使用训练方法来反向传播误差值。误差值可以被测量为表示训练对象的每个向量之间的距离，例如，使用最小化误差的成本函数或从误差导出的值，诸如误差平方和。示例性训练方法包括但不限于共轭梯度法、梯度下降法、随机梯度下降法等。在特定实施方案中，可以使用dropout技术来训练ANN，其中暂时省略一个或多个节点，同时训练使得他们不接受输入或不产生输出。对于每个训练对象，ANN的一个或多个节点具有被省略的概率。针对特定训练对象省略的节点可能不同于针对其他训练对象省略的节点。尽管本公开描述了以特定方式训练ANN，但本公开设想了以任何合适的方式训练ANN。
权重值生成模块213可进一步将归一化函数应用于与针对图块的每个嵌入相关联的注意力分数。归一化函数可以用于归一化跨图块的权重值(例如，注意力分数)。例如，可以应用的一个归一化函数是softmax函数：
其中是输入向量，/>是针对输入向量的标准指数函数，K是多类分类器中的类别数，/>是针对输出向量的标准指数函数。softmax函数将标准指数函数应用于输入向量的每个元素，并且通过除以所有指数的总和来对值进行归一化。归一化确保输出向量的分量之和等于1。归一化函数可以包括对softmax函数的修改(例如，使用不同的指数函数)或者可以完全使用softmax函数的替代方案。
数字病理学图像处理系统210的输出生成模块216可以使用数字病理学图像、图块、图块嵌入、权重值、图像嵌入和分类以生成与作为输入接收的数字病理学图像相对应的输出。如本文所述，除了针对数字病理学图像的标签和注释之外，输出可以包括各种可视化和交互式图式。在许多实施方案中，输出将被提供给用户装置230以供显示，但在某些实施方案中，输出可以直接从数字病理学图像处理系统210访问。
在一个实施方案中，针对给定数字病理学图像的输出可以包括所谓的热图，该热图识别并突出数字病理学图像内的目标区。热图可以指示图像描绘特定病症或诊断或与特定病症或诊断相关的部分，并且可以指示此类指示的准确度或统计置信度。图4A示出了示例性热图400和同一热图的详细视图405。热图由多个单元构成。单元可以直接对应于从数字病理学图像生成的图块，或者可以对应于图块的分组(例如，如果产生的图块数量多于对热图有用的数量)。可以为每个单元分配强度值，可以跨所有单元使该强度值归一化(例如，使得单元的强度值的范围从0到1、从0到100等)。在显示的热图中，单元的强度值可以被转换为不同的颜色、图案或强度的其他视觉表示等。在图4A中所示的示例中，单元407是高强度单元(由红色图块表示)，并且单元409是低强度单元(由蓝色图块表示)。在一些实施方案中，还可以使用颜色梯度来说明不同的强度。在特定实施方案中，每个单元的强度值可以源自于或对应于由一个或多个注意力网络针对相对应的图块确定的权重值。因此，热图可以用于快速识别数字病理学图像处理系统210，并且特别是权重值生成模块213已被识别为可能包括特定情况的指示符的数字病理学图像的图块。在图4A所示的示例中，仅产生了单个热图。该热图可以基于目标分类，该分类可以是被选择为数字病理学图像中所示的最可能情况的一种，或者是由用户选择用于审查的一种。单一热图还可以包括由一个或多个注意力网络生成的权重值的组合。
因为权重值生成模块213可以使用多个注意力网络来生成注意力分数和权重值，所以输出生成模块216可以产生同等数量的热图(例如，与针对注意力网络被配置为识别情况的指示符的实例的每个分类相对应的一个热图)。图4B示出了其中已经针对单个数字病理学图像415产生的多个热图410a-410i的示例。如图4B所示，显示不同颜色的不同热图代表当注意力网络用于识别不同类型的细胞、细胞结构或组织类型时的不同结果，诸如异常(图4B，410a；图4C所示的放大版本)、肥大(图4B，410b；图4D所示的放大版本)、库普弗细胞(图4B，410c；图4E所示的放大版本)、坏死(图4B，410d；图4F所示的放大版本)、糖原(图4B，410e；图4G所示的放大版本)、炎症(图4B，410f；图4H所示的放大版本)、脂质(图4B，410g；图4I所示的放大版本)、腹膜炎(图4B，410h；图4J所示的放大版本)或其他(图4B，410i；图4K所示的放大版本)。每个热图基于图块是或包含针对相对应的注意力网络的相关联情况的指示符的可能性来指示数字病理学图像的图块的相对权重。
可由输出生成模块216产生的另一示例性输出是针对数字病理学图像的注释。注释可以自动指示用户(例如，病理学家或临床医师)在数字病理学图像内的目标区。如本文所述，针对数字病理学图像的注释的产生通常是一项困难并且耗时的任务，需要具有大量训练的个体的输入。使用由注意力网络生成的权重值，数字病理学图像处理系统210可以识别用户应该关注的包含目标情况的指示符的区域。作为示例，输出生成模块可以比较针对跨数字病理学图像的图块的集合的权重值，并且识别具有超出针对图像或针对该类型的图像的标准的权重值的图块。输出生成模块可以将权重值与阈值权重值进行比较，阈值权重值可以由用户选择或者可以由数字病理学图像处理系统210预先确定。阈值可以基于所评估的情况的类型而不同(例如，针对“异常”注释的阈值可以与“坏死”注释的阈值不同)。因此，针对输入数字病理学图像的注释可以基于针对数字病理学图像的图块的集合内的关键实例的识别。
此外，注释可以通过应用图案匹配来简化识别包含在同一数字病理学图像内的视觉匹配的过程，例如引起对跨图像包含相同异常的图块的注意。如本文所体现，在识别出目标图块之后(例如，使用权重值)，数字病理学图像处理系统210可以对经识别的图块的像素执行梯度下降，以最大化作为可能由注意力网络遗漏的经识别的图块，具有相似的视觉特征的图块的识别和关联。因此，数字病理学图像处理系统210可以学习并识别哪些视觉图案最大化针对每个目标图块的分类确定。这种识别可以在临时基础上执行，其中针对所考虑的每个数字病理学图像学习新图案，或者可以基于常见图案库。例如，数字病理学图像处理系统210可以存储针对每个分类的频繁出现的图案，并且主动将图块与那些图案进行比较以帮助识别数字病理学图像的图块和区域。
一旦图块的集合的嵌入(例如，135a、135b、…135n)被识别用于注释，数字病理学图像处理系统210就向后工作以识别与那些图块嵌入相对应的图块。例如，每个嵌入可以唯一地与图块相关联，该图块可以经由图块嵌入内的图块标识符来识别。然后，数字病理学图像处理系统210尝试在已经确定一批图块展示相同情况或标记的情况下对邻近的图块进行分组。每组图块可以被收集并准备好与相关的注释一起显示。
图5A中示出了包括注释的数字病理学图像的第一示例。数字病理学图像500可以被提供给用户装置230(未示出)用于显示。图像500可以与注释505a和505b相关联地示出，注释505a和505b被示出为围绕目标区绘制的框。因此，查看者可以容易地看到目标区周围的区域的背景。注释可以作为交互式覆盖来提供，用户可以打开或关闭该交互式覆盖。在用户装置230的接口内，用户还可以执行查看数字病理学图像的典型功能，例如缩放、平移等。
图5B示出了包括注释的数字病理学图像的第二示例。数字病理学图像510被示出为具有突出图像的部分的交互式覆盖。例如区域515a、515b和515c的突出可以用颜色编码或表示突出区域之间的相似性和差异的其他视觉标记来示出。例如，区域515b和515c可以被示出为具有相同的颜色并且被示出为与区域515a不同。这可以指示例如区域515b和515c与第一情况相关联而区域515a与第二情况相关联。颜色编码还可以用于例如向用户指示存在可用于区域的详细信息或者用户已经查看了关于区域的报告。覆盖接口可以是交互式的。例如，用户可以使用用户装置230的适当的用户输入装置来选择区域，诸如区域515c。在检测到区域选择时，覆盖可以提供关于区域的附加细节以供用户审查。如图所示，用户已选择区域515c。当检测到用户的选择时，数字病理学图像处理系统210可以提示信息框525显示在用户装置230的用户接口中。信息框可以包括与区域515c相关联的各种信息。例如，信息框可以提供关于检测到的情况以及信息处理系统210在该情况下的置信水平的详细报告。信息框可以提供关于构成区域515c的图块的信息，包括但不限于区域中的图块的数量、区域的近似大小(绝对的或相对于样品)、显示已检测到类似情况的其他图块以及其他合适的信息。信息框可进一步提供关于区域中所描绘的组织的信息，包括仅作为示例而非限制，区域尺寸、细胞尺寸、细胞核尺寸、区域中细胞之间的距离、区域中细胞核之间的距离、不同细胞类型之间的距离(例如，发炎细胞和正常细胞之间的距离、发炎细胞和肿瘤细胞之间的距离等)、表现出特定情况的区域之间的距离(例如，一个区域内坏死区域之间的距离)以及区域中一个或多个细胞与不同类型的组织或对象之间的距离(例如，细胞和最近的血管之间的距离等)。
图6A-6D示出了用于训练数字病理学图像处理系统210并且特别是用于训练用于生成权重值和用于训练由数字病理学图像处理系统210的各个子系统和模块使用的分类网络的注意力网络的示例性过程600。一般而言，训练过程涉及向数字病理学图像处理系统210提供具有真实值标签的训练数据(例如，全切片图像)，使得注意力网络学习识别将正常数据与异常数据区分开的关键实例(例如，图块)，并且使得分类网络学习识别与目标的分类正相对应的图块嵌入值。各种网络和模型的集成的使用对于数字病理学图像(诸如大型全切片图像)特别有利，因为相对非结构化的学习方法从普遍可用的标记(例如正常和异常)开始，并学习识别其图块和分类中的异常组织。这减少了识别异常组织的位置、生成注释和对其进行积极分类所需的负担。
针对这种类型的学习结构的模型可以称为多实例学习。在多实例学习中，一批实例被一起提供，作为带有标签的集合。需注意，各个实例通常没有被标记，而只有集被标记。标签通常基于存在病症。由所描述的系统采用的多实例学习技术中的基本假设为，当集合被标记为具有病症时(例如，当全切片图像被加标签为异常)，则该集合中的至少一个实例是异常的。相反，当集合被标记为不具有实例时(例如，当全切片图像被标记为正常时)，则集合中没有实例是异常的。根据这一原理和迭代训练方法，注意力网络可以学习以识别与异常切片相关的图块(或更具体地说，图块嵌入)的特征。
数字病理学图像处理系统210的训练控制器217可以控制一个或多个模型(例如，神经网络)的训练和/或由数字病理学图像处理系统210使用的功能。在一些情况下，数字病理学图像处理系统210使用的多个或所有神经网络(例如，用于生成图块嵌入的注意力网络、用于生成权重值的网络、用于基于图像嵌入对图像进行分类的网络)由训练控制器217一起训练。在一些情况下，训练控制器217可以选择性地训练模型以由数字病理学图像处理系统210使用。例如，数字病理学图像处理系统210可以使用预先配置的模型来生成图块嵌入并集中于训练注意力网络以生成权重值。
如图6A所示，在610处，训练控制器217可以选择、检索和/或访问包括数字病理学图像的(例如，全切片图像605a、605b、...、605c)集合的训练数据。训练数据进一步包括相对应的标签(例如，分别为“异常”、“异常”、“正常”)的集合。在620处，训练控制器217使得数字病理学图像处理系统210(例如使用图块生成模块211)将每个全切片图像分割成许多图块。例如，如图6A所示，全切片图像605a被分割成图块606a、606b、…、606n，全切片图像605b被分割成图块607a、607b、…、607n，并且全切片图像605c被分割成图块608a、608b、…、608n。出于训练目的，从已标记为异常的全切片图像中分割出来的图块也被标记为异常。在630处，训练控制器217使得数字病理学图像处理系统210(例如使用图块嵌入模块212)，使用嵌入网络625生成多个图块中的每个图块的嵌入。例如，如图6A所示，图块嵌入模块212生成针对图块606a的嵌入611a、针对图块607a的嵌入612a、针对图块608a的嵌入613a、针对图块606b的嵌入611b、针对图块607b的嵌入612b、针对图块608b的嵌入613b、针对606n的嵌入611n、针对图块607n的嵌入612n以及针对图块608n的嵌入613n。
图6B示出了用于训练权重值生成模块213的注意力网络以从由全切片图像生成的嵌入识别关键实例(例如，高注意力值)的过程。过程将会重复多次，每个训练周期称为一个时期。为了简单起见，仅使用一个注意力网络635来说明该过程，但是相同的技术可以同时应用于多个注意力网络。在每个时期期间，从每个全切片图像中随机采样的嵌入的选择被提供作为注意力网络635的输入。例如，训练控制器217可以使用采样函数633来选择要用于每个时期的嵌入的集合。注意力网络635为来自每个采样选择的嵌入生成注意力分数A1、A2、…An。
训练控制器217使用一个或多个损失或评分函数637来评估在该时期期间生成的注意力分数。训练控制器217可以使用损失函数，该损失函数惩罚与每个单独图像相对应的嵌入之间的注意力分数的变化或差异。基于“正常”和“异常”图像的“正常”图块之间的差异应最小化的直觉，损失函数可以惩罚为每个随机采样生成的注意力分数的分布与参考分布之间的差异。参考分布可以包括(例如)δ分布(例如，Diracδ函数)或均匀分布或高斯分布。可以执行参考分布和/或注意力分数分布的预处理，这可以包括(例如)将两个分布中的一个或两个分布移位为具有相同的质心或平均值。应当理解，替代地，注意力评分可以在生成分布之前进行预处理。损失函数可以被配置为使用(例如)Kullback-Leibler(KL)散度来表征分布之间的差异。如果注意力分数分布包括多个不同的峰值，则δ分布或均匀分布的散度可能会更显著，这可能会导致更高的罚分。虽然“正常”嵌入的注意力分数差异被最小化，但损失函数可能会奖励“异常”图块中的差异，从而有效地鼓励注意力网络学习从正常图块中识别异常图块。另一种技术可以使用损失函数来惩罚图块注意力分数之间缺乏可变性。例如，损失函数可以以倒数方式将罚分缩放为注意力分数分布与δ或均匀分布之间的K-L散度。因此，在一些情况下，不同类型(例如，相反类型)的损失用于与不同标签相关联的图块。损失函数的结果R1、R2、…Rn被提供给注意力网络635，该注意力网络应用或保存对注意力网络635的修改以优化分数。在注意力网络635被修改之后，另一个训练时期以输入图块的随机样品开始。
训练控制器217确定何时停止训练。例如，训练控制器217可以确定将注意力网络635训练一定数量的时期。作为另一示例，训练控制器217可以确定训练注意力网络635，直到损失函数指示注意力网络已经超过分布之间的散度的阈值。在一些实施例中，训练控制器217可以周期性地暂停训练并提供图块的测试集，其中适当的标签是已知的。训练控制器217可以针对测试集上的已知标签来评估注意力网络635的输出以确定注意力网络635的准确度。一旦准确度达到集合阈值，训练控制器217可以停止训练注意力网络635。
在注意力网络635被充分训练以通过将较高注意力分数与异常图块相关联来识别所提供的图块嵌入的集合的关键实例下，训练控制器217可以训练分类器网络。一旦嵌入网络625生成了嵌入，图6C和6D从图6A所示的示例继续。如图6C所示，在640处，训练控制器217使得数字病理学图像处理系统210例如使用权重值生成模块213来生成来自每个图像的针对嵌入的权重值。例如，权重值生成模块213从图像605a分别生成针对嵌入611a、611b、...、611n的权重值a1、b1、…n1，从图像605b生成针对嵌入612a、612b、...612n的权重值a2、b2、…、n2，并且从图像605c分别生成针对嵌入613a、613b、...613n的权重值a3、b3、…n3。为了生成权重值，权重值生成模块213可以使用一个或多个注意力网络635来生成如本文所描述的针对嵌入的注意力分数。注意力分数在用作权重值之前可以进一步归一化。为了简单起见，图6C中仅示出了单个注意力网络635，但也可以使用多个注意力网络(例如，经训练以识别不同情况的指标符)。
在650处，训练控制器217使得数字病理学图像处理系统210例如使用图像嵌入模块214通过以加权组合组合图块嵌入来计算每个全切片图像的图像嵌入V1、V2、…Vn，使用为每个嵌入生成的权重值来对相应的嵌入进行加权。例如，针对图像605a的图像嵌入V1可以从嵌入611a、611b、…、611n结合权重值a1、b1、…、n1生成，针对图像605b的图像嵌入V2可以从嵌入612a、612b、…、612n结合权重值a2、b2、…、n2生成，并且针对图像605c的图像嵌入Vn可以从嵌入613a、613b、…、613n结合权重值an、bn、…、nn来生成。
如图6D所示，在660处，训练控制器217可以使得数字病理学图像处理系统210(例如使用图像分类模块215)使用图像嵌入V1、V2、…Vn对图像605a、605b和605c进行分类。图像嵌入被提供作为一个或多个分类网络655的输入以生成分类。为了简单起见，仅示出了单个分类网络，尽管可以一起使用和训练多个分类网络。分类网络635基于图像嵌入生成图像分类，例如，从图像嵌入V1生成分类C1，从图像嵌入V2生成分类C2，并且从图像嵌入Vn生成分类Cn。在分类网络635要被训练以做出图像嵌入是否属于集合类别的二元确定的情况下，可以并行训练多个分类网络635以识别图像嵌入属于一系列类别。
在670处，训练控制器217访问每个被分类的图像的真实值分类。如图6D所示，真实值分类T1对应于图像605a，真实值分类T2对应于图像605b，并且真实值分类Tn对应于图像605c。真实值分类是已知的准确的或理想的分类的分类。例如，真实值分类可以作为训练图像的数据集的一部分提供，并且可以由病理学家或其他人类操作者生成。与训练注意力网络635非常相似，使用损失或评分函数675，训练控制器217将图像分类与真实值分类进行比较，并为每个图像准备结果R1、R2、…Rn。评分函数675可以惩罚不准确的分类并奖励准确的分类。此外，在分类网络635产生置信度区间的实施方案中，评分函数675可以进一步增强那些置信度，使得例如强烈置信但不准确的分类比仅轻度置信的分类受到更严重的惩罚。结果可以被反馈到分类网络635，该分类网络进行或保留改变以优化评分结果。可以使用图像嵌入的同一集合重复训练和更新分类网络，直到达到指定数目的时期或直到达到评分阈值。训练控制器还可以使用各种训练图像进行多次迭代以训练分类网络635。还可以使用预留的图像的测试集来验证分类网络。
在一些情况下，训练控制器217优先选择、检索和/或访问与特定标签相关联的训练图像。因此，训练数据集可能偏向与特定标签相关联的数字病理学图像。训练数据集可被定义为包括相对于与指示正常情况的标签相关联的图像，更多的与指示异常情况或指定的异常情况(例如，炎症和坏死)的标签相关联的图像。这样做可以考虑到将容易获得更多“正常”图像的期望，但是数字病理学图像处理系统210可以以识别异常图像为目标。
如本文所述，用于获得针对数字病理学图像(例如，全切片图像)的标签的传统过程是费力并且耗时的。数字病理学图像处理系统210和本文描述的使用和训练所述系统的方法可用于增加可用于训练数字病理学图像处理系统的各种网络的图像的集合。例如，在使用具有已知标签(潜在地包括注释)的数据进行初始训练轮次之后，数字病理学图像处理系统210可用于对没有现有标签的图像进行分类。生成的分类可以由人类代理验证，并且如果需要校正，可以使用新数据来重新训练数字病理学图像处理系统210(例如，分类网络)。可以重复这个循环，并期望提高以前未见过的示例的准确率将需要查看者的干预。另外，一旦达到指定的准确度水平，由数字病理学图像处理系统210生成的标签可以用作训练的真实值，例如，由权重值生成模块213使用的注意力网络635。
如图7示出了使用注意力网络和分类网络对包括全切片图像的数字病理学图像的图像分类的示例性方法700。方法可以开始于步骤710，其中数字病理学图像处理系统210接收或另外地访问数字病理学图像。如本文所述，数字病理学图像处理系统210可以直接从数字病理学图像生成系统接收图像或者可以从用户装置230接收图像。在其他实施方案中，数字病理学图像处理系统210可以与用于存储数字病理学图像的数据库或其他系统通信地耦合，这促进数字病理学图像处理系统210接收图像以供分析。
在步骤715处，数字病理学图像处理系统210将图分割成图块。如本文所述，预期数字病理学图像比标准图像显著更大，并且比原本对于标准图像识别和分析通常可行的要大得多(例如，大约100,000像素乘100,000像素)。为了便于分析，数字病理学图像处理系统将图像分割成图块。为了分析的目的，图块的尺寸和形状是统一的，但尺寸和形状可以是可变的。在一些实施方案中，图块可以重叠以增加图像背景被数字病理学图像处理系统210正确分析的机会。为了平衡准确执行的工作，可优选使用非重叠图块。另外，将图像分割成图块可以涉及基于与图像相关联的颜色通道或主色来分割该图像。
在步骤720处，数字病理学图像处理系统210生成与每个图块相对应的图块嵌入。图块嵌入可以将图块映射到适当的嵌入空间并且可以被认为代表图块中所示的特征。在嵌入空间内，空间邻近的图块被认为是相似的，而嵌入空间中图块之间的距离表示不相似。图块嵌入可以由嵌入网络生成，该嵌入网络接收图块(例如，图像)作为输入并产生嵌入(例如，向量表示)作为输出。嵌入网络可以在自然(例如，非医学)图像上进行训练，或者可以专门针对预期与嵌入网络中输入的图像相似的图像。使用自然图像可以提高可用训练数据的复杂性，然而使用专门的图像可以提高嵌入网络的弹性，并允许图像嵌入网络以学习辨别输入图像中的细微细节。
在步骤725处，数字病理学图像处理系统210使用一个或多个注意力网络计算针对每个图块的注意力分数。注意力分数可以由一个或多个经过专门训练的注意力网络生成。注意力网络接收图块嵌入和输入，并为每个图块嵌入生成分数，该分数指示图块的相对重要性。图块的重要性以及注意力分数是基于识别与“正常”图块不同的图块。这是基于这样的直觉：即使在描绘具有异常的组织的数字病理学图像中，绝大多数图块也会描绘看起来正常的组织。因此，注意力网络可以有效地挑选出与每个集合中其余图块不同的图块嵌入(以及图块)。可以同时使用多个注意力网络，每个注意力网络都被训练来识别以特定方式异常的图块(例如，描绘不同类型的异常)。
在步骤730处，数字病理学图像处理系统210基于相对应的注意力分数来计算针对每个嵌入的权重值。权重值与注意力分数高度相关，但可能是由归一化方法产生的，诸如应用归一化函数(例如，softmax函数)来平衡注意力分数的值并促进不同图块、图像和注意力网络之间的注意力分数的比较。
在步骤735处，数字病理学图像处理系统210基于图块嵌入和相对应的权重值来计算与图像相对应的图像嵌入。图像嵌入可作为普通大幅面数字病理学图像的有效表示，而不会丢失图像的上下文(例如，基于识别关键图块的注意力网络)。图像嵌入可以由使用权重值作为组合中的权重的图块嵌入的加权组合产生。在使用多个注意力网络来尝试识别多个情况的实施方案中，数字病理学图像处理系统210可以生成多个图像嵌入(其每个可以用于对图像进行分类)，或者数字病理学图像处理系统210可以创建基于图块嵌入和多权重值的集合的统一图像表示。
在步骤740处，数字病理学图像处理系统210使用一个或多个分类网络基于图像嵌入来生成数字病理学图像分类。分类网络可以包括人工神经网络，其接收图像嵌入作为输入并产生图像的预测分类(例如，正常、异常、描绘炎症等)或图像属于指定分类的确定(例如，在使用多个分类网络并且每个分类网络被训练以识别图像的单个分类的实施方案中)。分类网络还可以产生检测到的分类的置信度分数或区间，其可以指示分类网络的确定的程度。数字病理学图像处理系统210不限于可添加到数字病理学图像处理系统的分类的数量或类型，因此当识别用于新分类的附加训练样品时，数字病理学图像处理系统的能力可以以半模块化的方式进行扩展。
在步骤745处，数字病理学图像处理系统210可以生成针对数字病理学图像的增强的覆盖或交互式接口。增强的覆盖或交互式接口可以包括数字病理学图像的可视化，其被设计为增强图像查看者的理解，同时还提供对数字病理学图像处理系统的内部工作的洞察。例如，如本文所述，数字病理学图像处理系统210可以产生映射到数字病理学图像的图块(或相关分组)的数字病理学图像的一个或多个“热图”。热图的单元的强度可以对应于例如由注意力网络产生的注意力分数或权重值。因此，可以创建多个热图(与注意力网络中的每一个相对应的一者)，或者可以创建单个热图来说明各种注意力网络的输出。数字病理学图像处理系统210还可以产生针对数字病理学图像的注释，其识别对查看者成为目标的图像的区域。例如，使用注意力分数或权重值，数字病理学图像处理系统210可以识别图像的区域，指示由分类网络确定的与该区域相关联的图块的分类，并提供关于该区域和图块内的附加数据。系统还可以使用注释特征内的图块来对图像中的其他图块执行图像分析和识别，指示在哪里可以找到相似的特征。这些形式的输出以及许多其他形式的输出可以被设计为通过用户装置230来提供。
在步骤750处，数字病理学图像处理系统210可以基于图块嵌入、图像嵌入和/或分类来识别数字病理学图像或其中描绘的组织的衍生特征。例如，数字病理学图像处理系统210可以存储在图块嵌入中捕获的某些类型的分类或特征之间的关联和相关性。例如，数字病理学图像处理系统可以学习可以在数字病理学图像中描绘的异常类型之间的自然关联。因此，衍生特征可以用作警告或提醒用户寻找数字病理学图像中的附加特征。衍生特征还可以与数字病理学图像中的图块嵌入相关联。例如，数字病理学图像处理系统210可以存储图块嵌入或图块嵌入的图案，并且与正在评估的图像执行图案匹配以引起对先前审查的图像之间的相似性的注意。因此，数字病理学图像处理系统210可以用作识别潜在相似性和特征的工具。
在步骤755处，数字病理学图像处理系统210提供所生成的输出以供显示。所生成的输出可以包括例如数字病理学图像分类、增强覆盖或交互式接口、或其上的衍生特征和统计。可以经由例如适当配置的用户装置230将这些输出以及更多提供给用户。可以在交互接口中提供输出，这有助于用户审查由数字病理学图像处理系统210执行的分析，同时还支持用户的独立分析。例如，用户可以打开或关闭输出的各种特征，缩放、平移和以其他方式操作数字病理学图像，并提供关于分类、注释和衍生特征的反馈或笔记。
在步骤760处，数字病理学图像处理系统210可以接收关于所提供的输出的反馈。用户可以提供关于分类或注释的准确度的反馈。例如，用户可以向用户指示先前未由数字病理学图像处理系统210识别的目标区(以及其成为目标的原因)。另外，用户可以指示尚未由数字病理学图像处理系统210提议或捕获的针对图像的附加分类。还可以存储这种反馈以供用户以后访问，例如作为临床笔记。
在步骤765处，数字病理学图像处理系统210使用反馈来重新训练用于生成分类的网络中的一个或多个(例如注意力网络或分类网络)。数字病理学图像处理系统210可以使用反馈来补充对数字病理学图像处理系统210可用的数据集，其中附加益处在于反馈已由人类专家提供，这增加了该数据集的可靠性。数字病理学图像处理系统210可以基于由系统提供的分析不断地修改网络，以便提高其分类的准确度以及提高数字病理学图像处理系统识别主要目标区的速度(例如将高注意力分数归因于高描述性的图块)。因此，数字病理学图像处理系统210不是静态系统，但是可以提供持续改进并从其中受益。
特定实施方案可以在适当的情况下重复图7的方法的一个或多个步骤。尽管本公开将图7的方法的特定步骤描述并示出为以特定次序出现，但本公开设想图7的方法的任何合适的步骤以任何合适的次序出现。此外，尽管本公开描述并示出了使用注意力网络和分类网络的用于数字病理学图像的图像分类的示例性方法，包括图7的方法的特定步骤，但本公开考虑了用于使用注意力网络和分类网络的用于数字病理学图像的图像分类的任何合适的方法，包括任何合适的步骤，这些步骤可以包括图7的方法的所有、一些步骤或不包括其步骤。此外，尽管本公开描述并示出了执行图7的方法的特定步骤的特定部件、装置或系统，但本公开设想了执行图7的方法的任何合适的步骤的任何合适的部件、装置或系统的任何合适的组合。
本文所述的一般技术可以集成到各种工具和用例中。例如，如所描述，用户(例如，病理医师或临床医师)可以访问与数字病理学图像处理系统210通信的用户装置230并提供数字病理学图像以供分析。数字病理学图像处理系统210或与数字病理学图像处理系统的连接可以作为独立软件工具或包来提供，该独立软件工具或包对数字病理学图像进行自动注释和/或生成评估分析中的图像的热图。作为可以在简化的基础上购买或许可的独立工具或插件，该工具可用于增强研究或临床实验室的能力。另外，该工具可以集成到数字病理学图像生成系统的客户可用的服务中。例如，工具可以作为统一的工作流程来提供，其中执行或请求创建数字病理学图像的用户自动接收经注释的图像或等效热图。因此，除了改进数字病理学图像分析之外，这些技术还可以集成到现有系统中，以提供以前未考虑或不可能的附加特征。
此外，数字病理学图像处理系统210可以被训练和定制以用于特定环境。例如，数字病理学图像处理系统210可以经专门训练以用于提供与特定类型的组织(例如，肺、心脏、血液、肝脏等)相关的临床诊断。作为另一示例，数字病理学图像处理系统210可以被训练以辅助安全评定，例如确定与药物或其他潜在疗法性治疗相关联的毒性水平或程度。一旦被训练用于特定主题或用例，数字病理学图像处理系统210就不必限于该用例。例如，数字病理学图像处理系统可以经训练用于针对肝组织的毒性评定，但所得的模型可以应用于诊断环境。由于至少部分经标记或经注释的数字病理学图像的集相对较大，因此可以在特定环境(例如，毒性评定)中进行训练。所包含的附录涉及使用本文描述的技术执行毒性评估的结果，包括识别常见的毒性事件，并说明了与毒性评估相关的示例性输出。
图8示出了示例性计算机系统800。在特定实施方案中，一个或多个计算机系统800执行本文描述或示出的一种或多种方法的一个或多个步骤。在特定实施方案中，一个或多个计算机系统800提供本文描述或示出的功能。在特定实施方案中，在一个或多个计算机系统800上运行的软件执行本文描述或示出的一种或多种方法的一个或多个步骤，或者提供本文描述或示出的功能。特定实施方案包括一个或多个计算机系统800的一个或多个部分。在本文，在适当的情况下，对计算机系统的引用可包括计算装置，反之亦然。此外，在适当的情况下，对计算机系统的引用可包括一个或多个计算机系统。
本公开设想了任何合适的数量的计算机系统800。本公开设想了采用任何合适的物理形式的计算机系统800。作为示例而非限制，计算机系统800可以为嵌入式计算机系统、片上系统(SOC)、单板计算机系统(SBC)(诸如例如模块上计算机(COM)或模块上系统(SOM))、台式计算机系统、膝上型或笔记本计算机系统、交互式信息亭、大型机、计算机系统网格、移动电话、个人数字助理(PDA)、服务器、平板计算机系统、增强/虚拟现实装置或其中两个或更多个的组合。在适当的情况下，计算机系统800可包括一个或多个计算机系统800；可为一体的或分布式的；可跨越多个位置；可跨越多个机器；可跨越多个数据中心；或可驻留在云中，该云可包含一个或多个网络中的一个或多个云部件。在适当的情况下，一个或多个计算机系统800可在无实质性空间或时间限制的情况下执行本文描述或示出的一种或多种方法的一个或多个步骤。作为示例而非限制，一个或多个计算机系统800可实时地或以成批模式执行本文描述或示出的一种或多种方法的一个或多个步骤。在适当的情况下，一个或多个计算机系统800可在不同的时间或在不同的位置执行本文描述或示出的一种或多种方法的一个或多个步骤。
在特定实施方案中，计算机系统800包括处理器802、存储器804、存储装置806、输入/输出(I/O)接口808、通信接口810和总线812。尽管本公开描述并示出了在特定布置中具有特定数量的特定部件的特定计算机系统，但本公开设想了在任何合适的布置中具有任何合适的数量的任何合适的部件的任何合适的计算机系统。
在特定实施方案中，处理器802包括用于执行指令的硬件，诸如构成计算机程序的那些硬件。作为示例而非限制，为了执行指令，处理器802可从内部寄存器、内部高速缓存、存储器804或存储装置806检索(或提取)指令；可将这些指令解码并执行；并且然后可将一个或多个结果写入内部寄存器、内部高速缓存、存储器804或存储装置806。在特定实施方案中，处理器802可包括用于数据、指令或地址的一个或多个内部高速缓存。在适当的情况下，本公开设想了包括任何合适的数量的任何合适的内部高速缓存的处理器802。作为示例而非限制，处理器802可包括一个或多个指令高速缓存、一个或多个数据高速缓存以及一个或多个转换后备缓冲器(TLB)。指令高速缓存中的指令可为存储器804或存储装置806中的指令的副本，并且指令高速缓存可加速处理器802对那些指令的检索。数据高速缓存中的数据可为：存储器804或存储装置806中的数据的副本，以供在处理器802处执行的指令进行操作；在处理器802执行的先前指令的结果，以供在处理器802执行的后续指令进行访问或写入存储器804或存储装置806；或其他合适的数据。数据高速缓存可加速处理器802的读取或写入操作。TLB可加速处理器802的虚拟地址转换。在特定实施方案中，处理器802可包括用于数据、指令或地址的一个或多个内部寄存器。在适当的情况下，本公开设想了包括任何合适的数量的任何合适的内部寄存器的处理器802。在适当的情况下，处理器802可包括一个或多个算术逻辑单元(ALU)；可为多核处理器；或可包括一个或多个处理器802。尽管本公开描述并示出了特定处理器，但本公开设想了任何合适的处理器。
在特定实施方案中，存储器804包括主存储器，该主存储器用于存储供处理器802执行的指令或供处理器802对其进行操作的数据。作为示例而非限制，计算机系统800可将来自存储装置806或另一来源(诸如例如另一计算机系统800)的指令加载到存储器804。然后，处理器802可将来自存储器804的指令加载到内部寄存器或内部高速缓存。为了执行指令，处理器802可从内部寄存器或内部高速缓存检索指令并将这些指令解码。在指令执行期间或之后，处理器802可将一个或多个结果(其可为中间结果或最终结果)写入内部寄存器或内部高速缓存。然后，处理器802可将那些结果中的一个或多个写入存储器804。在特定实施方案中，处理器802仅执行一个或多个内部寄存器或内部高速缓存中或存储器804(而非存储装置806或其他地方)中的指令，并且仅对一个或多个内部寄存器或内部高速缓存中或存储器804(而非存储装置806或其他地方)中的数据进行操作。一个或多个存储器总线(其可各自包括地址总线和数据总线)可将处理器802耦合至存储器804。总线812可包括一个或多个存储器总线，如下所述。在特定实施方案中，一个或多个存储器管理单元(MMU)驻留在处理器802与存储器804之间，并且促进由处理器802所请求的对存储器804的访问。在特定实施方案中，存储器804包括随机存取存储器(RAM)。在适当的情况下，该RAM可为易失性存储器。在适当的情况下，该RAM可为动态RAM(DRAM)或静态RAM(SRAM)。此外，在适当的情况下，该RAM可为单端口或多端口RAM。本公开设想了任何合适的RAM。在适当的情况下，存储器804可包括一个或多个存储器804。尽管本公开描述并示出了特定存储器，但本公开设想了任何合适的存储器。
在特定实施方案中，存储装置806包括用于数据或指令的海量存储装置。作为示例而非限制，存储装置806可包括硬盘驱动器(HDD)、软盘驱动器、闪存存储器、光盘、磁光盘、磁带或通用串行总线(USB)驱动器或其中两个或更多个的组合。在适当的情况下，存储装置806可包括可移动或不可移动(或固定)介质。在适当的情况下，存储装置806可在计算机系统800的内部或外部。在特定实施方案中，存储装置806为非易失性固态存储器。在特定实施方案中，存储装置806包括只读存储器(ROM)。在适当的情况下，该ROM可为掩模编程ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存存储器或者其中两个或更多个的组合。本公开设想了采用任何合适的物理形式的海量存储装置806。在适当的情况下，存储装置806可包括一个或多个存储器控制单元，其促进处理器802与存储装置806之间的通信。在适当的情况下，存储装置806可包括一个或多个存储装置806。尽管本公开描述并示出了特定存储装置，但本公开设想了任何合适的存储装置。
在特定实施方案中，I/O接口808包括硬件、软件或两者，其提供用于在计算机系统800与一个或多个I/O装置之间进行通信的一个或多个接口。在适当的情况下，计算机系统800可包括这些I/O装置中的一者或多者。这些I/O装置中的一个或多个可实现人与计算机系统800之间的通信。作为示例而非限制，I/O装置可包括键盘、小键盘、麦克风、监视器、鼠标、打印机、扫描仪、扬声器、静止相机、触控笔、平板计算机、触摸屏、轨迹球、摄像机、另一合适的I/O装置或其中两个或更多个的组合。I/O装置可包括一个或多个传感器。本公开设想了任何合适的I/O装置以及针对它们的任何合适的I/O接口808。在适当的情况下，I/O接口808可包括一个或多个装置或软件驱动器，使得处理器802能够驱动这些I/O装置中的一者或多者。在适当的情况下，I/O接口808可包括一个或多个I/O接口808。尽管本公开描述并示出特定的I/O接口，但本公开设想了任何合适的I/O接口。
在特定实施方案中，通信接口810包括硬件、软件或两者，其提供用于在计算机系统800与一个或多个其他计算机系统800或一个或多个网络之间的通信(诸如例如基于分组的通信)的一个或多个接口。作为示例而非限制，通信接口810可包括用于与以太网或其他基于导线的网络进行通信的网络接口控制器(NIC)或网络适配器，或者用于与无线网络(诸如WI-FI网络)进行通信的无线NIC(WNIC)或无线适配器。本公开设想了任何合适的网络和针对它的任何合适的通信接口810。作为示例而非限制，计算机系统800可与自组织网络、个人局域网(PAN)、局域网(LAN)、广域网(WAN)、城域网(MAN)或者因特网的一个或多个部分或其中两个或更多个的组合进行通信。这些网络中的一个或多个的一个或多个部分可以是有线或无线的。作为示例，计算机系统800可与无线PAN(WPAN)(诸如例如BLUETOOTH WPAN)、WI-FI网络、WI-MAX网络、蜂窝电话网络(诸如例如全球移动通信系统(GSM)网络)或其他合适的无线网络或其中两个或更多个的组合。在适当的情况下，计算机系统800可包括用于这些网络中的任一个的任何合适的通信接口810。在适当的情况下，通信接口810可包括一个或多个通信接口810。尽管本公开描述并示出特定的通信接口，但本公开设想了任何合适的通信接口。
在特定实施方案中，总线812包括硬件、软件或计算机系统800的两个相互耦合的部件。作为示例而非限制，总线812可包括加速图形端口(AGP)或其他图形总线、增强型工业标准结构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、INFINIBAND互连、低引脚数(LPC)总线、存储器总线、微通道架构(MCA)总线、外围部件互连(PCI)总线、PCI-Express(PCIe)总线，串行高级技术附件(SATA)总线、视频电子设备标准协会本地(VLB)总线或另一种合适的总线或其中两个或更多个的组合。在适当的情况下，总线812可包括一个或多个总线812。尽管本公开描述并示出了特定总线，但本公开设想了任何合适的总线。
在本文，一种计算机可读的非暂时性存储介质可包括一个或多个基于半导体或其他集成电路(IC)(诸如例如现场可编程门阵列(FPGA)或专用IC(ASIC))、硬盘驱动器(HDD)、混合硬盘驱动器(HHD)、光盘、光盘驱动器(ODD)、磁光盘、磁光盘驱动器、软盘、软盘驱动器(FDD)、磁带、固态驱动器(SSD)、RAM驱动器、SECURE DIGITAL卡或驱动器、任何其他合适的计算机可读的非暂时性存储介质或其中两个或更多个的任何合适组合。在适当的情况下，计算机可读的非暂时性存储介质可为易失性存储介质、非易失性存储介质或易失性存储介质和非易失性存储介质的组合。
在本文，“或”是包含性的而非排他性的，除非另有明确说明或上下文另有说明。因此，在本文，“A或B”指“A、B或两者”，除非另有明确说明或上下文另有说明。此外，在本文，“和”既是共同的又是各自的，除非另有明确说明或上下文另有说明。因此，在本文，“A和B”是指“A和B，共同地或各自地”，除非另有明确说明或上下文另有说明。
本公开的范围涵盖本领域普通技术人员将理解的对在本文描述或示出的示例性实施方案的所有改变、替换、变化、变更和修改。本公开的范围不限于在本文描述或示出的示例性实施方案。此外，尽管本公开将本文中的相应实施方案描述和示出为包括特定的部件、元件、特征、功能、操作或步骤，但这些实施方案中的任一个可包括本领域普通技术人员将理解的在本文任何地方描述或示出的任何部件、元件、特征、功能、操作或步骤的任何组合或排列。此外，在所附权利要求书中，对设备或系统或设备或系统的部件适配为、布置为、能够、配置为、使能够、可操作为或操作为执行特定功能的引用，涵盖该设备、系统、部件，无论其或该特定功能是否被激活、开启或解锁，只要该设备、系统或部件是如此适应、布置、能够、配置、使能、可操作或操作即可。另外，尽管本公开将特定实施方案描述或示出为提供特定优点，但特定实施方案可不提供这些优点、某些优点或全部优点。

Claims (20)

1.一种计算机实现方法，其包括：
接收全切片图像；
将所述全切片图像分割成多个图块；
生成针对所述图块中的每一个的特征向量，其中针对所述图块中的每一个的所述特征向量表示针对所述图块的嵌入；
使用注意力网络来计算与所述特征向量中的每一个相对应的权重值；
基于所述特征向量来计算图像嵌入，其中基于与所述特征向量相对应的所述权重值对所述特征向量中的每一个进行加权；以及
基于所述图像嵌入来生成针对所述全切片图像的分类。
2.根据权利要求1所述的方法，其进一步包括：
生成与所述全切片图像相对应的热图，其中所述热图包括分别与多个强度值相关联的多个区域，其中所述多个区域中的一个或多个区域与所述全切片图像中的情况的指示相关联，并且其中与所述一个或多个区域相关联的相应的强度值与所述指示的统计置信度相关。
3.根据权利要求1所述的方法，其中针对所述全切片图像的所述分类指示在所述全切片图像中描绘的组织中存在一种或多种生物学异常，所述一种或多种生物学异常包括肥大、库普弗细胞异常、坏死、炎症、糖原异常、脂质异常、腹膜炎、细胞核大小不均、细胞浸润、核巨大、微肉芽肿、增生或空泡形成。
4.根据权利要求1所述的方法，其中针对所述全切片图像的所述分类包括对与所述全切片图像中描绘的组织相关联的毒性事件的评估。
5.根据权利要求1所述的方法，其进一步包括：
基于多个注意力网络中的每个注意力网络，生成针对所述全切片图像的相应的分类。
6.根据权利要求1所述的方法，其进一步包括通过以下来基于所述权重值生成针对所述全切片图像的注释：
识别满足预定标准的一个或多个权重值；
识别与经识别的权重值相对应的一个或多个特征向量；以及
识别与经识别的特征向量相对应的一个或多个图块。
7.根据权利要求6所述的方法，其进一步包括提供针对所述全切片图像的所述注释以供与所述全切片图像相关联地显示，其中提供所述注释包括标记一个或多个经识别的图块。
8.根据权利要求1所述的方法，其进一步包括：
将针对所述全切片图像的所述分类提供给病理学家以供验证。
9.根据权利要求1所述的方法，其进一步包括：
至少基于所述权重值来计算与针对所述全切片图像的所述分类相关联的置信度分数；以及
提供所述置信度分数以供与针对所述全切片图像的所述分类相关联地显示。
10.根据权利要求1所述的方法，其进一步包括：
基于所述特征向量、权重值和切片嵌入特征值来识别与针对所述全切片图像的所述分类相关联的一个或多个衍生特征。
11.根据权利要求1所述的方法，其进一步包括：
分别生成针对多个全切片图像的多个分类；以及
使用所述多个分类来训练一个或多个注意力网络以分别预测与一个或多个情况相关联的权重值。
12.根据权利要求1所述的方法，其中所述分类指示所述全切片图像描绘与所述全切片图像中描绘的组织相关联的一种或多种异常。
13.根据权利要求1所述的方法，其中从用户装置接收所述全切片图像，并且所述方法包括将针对所述全切片图像的所述分类提供给所述用户装置以供显示。
14.根据权利要求1所述的方法，其中从与执行所述方法的数字病理学图像处理系统通信地耦合的数字病理学图像生成系统接收所述全切片图像。
15.一种数字病理学图像处理系统，其包括：
一个或多个处理器；和
一个或多个计算机可读非暂时性存储介质，其耦合至所述处理器中的一个或多个并且包括指令，所述指令当由所述处理器中的一个或多个执行时可操作以使所述系统进行包括以下的操作：
接收全切片图像；
将所述全切片图像分割成多个图块；
生成针对所述图块中的每一个的特征向量，其中针对所述图块中的每一个的所述特征向量表示针对所述图块的嵌入；
使用注意力网络来计算与所述特征向量中的每一个相对应的权重值；
基于所述特征向量来计算图像嵌入，其中基于与所述特征向量相对应的所述权重值对所述特征向量中的每一个进行加权；以及
基于所述图像嵌入来生成针对所述全切片图像的分类。
16.根据权利要求15所述的数字病理学图像处理系统，其中所述指令当由所述处理器中的一个或多个执行时进一步可操作以使所述系统进行进一步包括以下的操作：
生成与所述全切片图像相对应的热图，其中所述热图包括分别与多个强度值相关联的多个区域，其中所述多个区域中的一个或多个区域与所述全切片图像中的情况的指示相关联，并且其中与所述一个或多个区域相关联的相应的强度值与所述指示的统计置信度相关。
17.根据权利要求15所述的数字病理学图像处理系统，其中针对所述全切片图像的所述分类指示在所述全切片图像中描绘的组织中存在一种或多种生物学异常，所述一种或多种生物学异常包括肥大、库普弗细胞异常、坏死、炎症、糖原异常、脂质异常、腹膜炎、细胞核大小不均、细胞浸润、核巨大、微肉芽肿、增生或空泡形成。
18.一种或多种计算机可读非暂时性存储介质，其包括指令，所述指令当由一个或多个处理器执行时，被配置成使数字病理学图像处理系统的所述一个或多个处理器进行包括以下的操作：
接收全切片图像；
将所述全切片图像分割成多个图块；
生成针对所述图块中的每一个的特征向量，其中针对所述图块中的每一个的所述特征向量表示针对所述图块的嵌入；
使用注意力网络来计算与所述特征向量中的每一个相对应的权重值；
基于所述特征向量来计算图像嵌入，其中基于与所述特征向量相对应的所述权重值对所述特征向量中的每一个进行加权；以及
基于所述图像嵌入来生成针对所述全切片图像的分类。
19.根据权利要求18所述的一种或多种计算机可读非暂时性存储介质，其中所述指令进一步配置为使所述数字病理学图像处理系统的所述一个或多个处理器进行进一步包括以下的操作：
生成与所述全切片图像相对应的热图，其中所述热图包括分别与多个强度值相关联的多个区域，其中所述多个区域中的一个或多个区域与所述全切片图像中的情况的指示相关联，并且其中与所述一个或多个区域相关联的相应的强度值与所述指示的统计置信度相关。
20.根据权利要求18所述的一种或多种计算机可读非暂时性存储介质，其中针对所述全切片图像的所述分类指示在所述全切片图像中描绘的组织中存在一种或多种生物学异常，所述一种或多种生物学异常包括肥大、库普弗细胞异常、坏死、炎症、糖原异常、脂质异常、腹膜炎、细胞核大小不均、细胞浸润、核巨大、微肉芽肿、增生或空泡形成。
CN202280019833.5A 2021-03-12 2022-03-11 针对全切片图像的基于注意力的多实例学习 Pending CN117015800A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163160493P 2021-03-12 2021-03-12
US63/160,493 2021-03-12
PCT/US2022/020059 WO2022192747A1 (en) 2021-03-12 2022-03-11 Attention-based multiple instance learning for whole slide images

Publications (1)

Publication Number Publication Date
CN117015800A true CN117015800A (zh) 2023-11-07

Family

ID=80979017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280019833.5A Pending CN117015800A (zh) 2021-03-12 2022-03-11 针对全切片图像的基于注意力的多实例学习

Country Status (6)

Country Link
US (1) US20230419491A1 (zh)
EP (1) EP4305592A1 (zh)
JP (1) JP2024513678A (zh)
KR (1) KR20230156075A (zh)
CN (1) CN117015800A (zh)
WO (1) WO2022192747A1 (zh)

Also Published As

Publication number Publication date
US20230419491A1 (en) 2023-12-28
JP2024513678A (ja) 2024-03-27
WO2022192747A1 (en) 2022-09-15
KR20230156075A (ko) 2023-11-13
EP4305592A1 (en) 2024-01-17

Similar Documents

Publication Publication Date Title
Niazi et al. Digital pathology and artificial intelligence
Li et al. A comprehensive review of computer-aided whole-slide image analysis: from datasets to feature extraction, segmentation, classification and detection approaches
US20220237788A1 (en) Multiple instance learner for tissue image classification
Zhu et al. Wsisa: Making survival prediction from whole slide histopathological images
JP7100336B2 (ja) デジタル病理学のために、画像を処理し、処理された画像を分類するためのシステムおよび方法
JP7406745B2 (ja) コンピュータ検出方法のための電子画像を処理するためのシステムおよび方法
CN110245657B (zh) 病理图像相似性检测方法及检测装置
US20220058839A1 (en) Translation of images of stained biological material
Xie et al. Deep learning for image analysis: Personalizing medicine closer to the point of care
CN116157834A (zh) 使用机器学习技术评定数字病理学图像中的特征的异质性
US11861881B2 (en) Critical component detection using deep learning and attention
CN118076970A (zh) 用于分析全载玻片图像的生物学上下文
US20240087122A1 (en) Detecting tertiary lymphoid structures in digital pathology images
El-Hossiny et al. Classification of thyroid carcinoma in whole slide images using cascaded CNN
Nigudgi et al. Lung cancer CT image classification using hybrid-SVM transfer learning approach
US20220301689A1 (en) Anomaly detection in medical imaging data
Liu et al. An optimal method for melanoma detection from dermoscopy images using reinforcement learning and support vector machine optimized by enhanced fish migration optimization algorithm
CN117015800A (zh) 针对全切片图像的基于注意力的多实例学习
Jaber et al. A deep learning-based iterative digital pathology annotation tool
US20240086460A1 (en) Whole slide image search
Fernandez-Martín et al. Uninformed Teacher-Student for hard-samples distillation in weakly supervised mitosis localization
US20230016472A1 (en) Image representation learning in digital pathology
WO2024030978A1 (en) Diagnostic tool for review of digital pathology images
JP2024503977A (ja) ペットの癌を特定するためのシステム及び方法
Cheng Itotic Cell Detection in H&e Stained Meningioma Histopathology Slides

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination