CN115471448A - 基于人工智能的胸腺瘤组织病理的分型方法及装置 - Google Patents

基于人工智能的胸腺瘤组织病理的分型方法及装置 Download PDF

Info

Publication number
CN115471448A
CN115471448A CN202210843559.5A CN202210843559A CN115471448A CN 115471448 A CN115471448 A CN 115471448A CN 202210843559 A CN202210843559 A CN 202210843559A CN 115471448 A CN115471448 A CN 115471448A
Authority
CN
China
Prior art keywords
full
layer
glass
histopathology
stage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210843559.5A
Other languages
English (en)
Inventor
陈皇
张花齐
秦晋
钟定荣
刘杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Japan Friendship Hospital
Beijing Jiaotong University
Original Assignee
China Japan Friendship Hospital
Beijing Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Japan Friendship Hospital, Beijing Jiaotong University filed Critical China Japan Friendship Hospital
Priority to CN202210843559.5A priority Critical patent/CN115471448A/zh
Publication of CN115471448A publication Critical patent/CN115471448A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于人工智能的胸腺瘤组织病理的分型方法及装置，所述方法包括获取待分型的胸腺瘤组织病理学全玻片图像；将待分型的胸腺瘤组织病理学全玻片图像输入至训练好的多路径跨尺度视觉Transformer模型中，得到分型结果；其中，交叉尺度感知Transformer模型用于对胸腺瘤组织病理学全玻片图像进行病例信息分类，全玻片图像Transformer模型用于根据病例信息分类后的胸腺瘤组织病理学全玻片图像输出胸腺瘤分型。本发明综合利用了胸腺瘤组织病理学全玻片图像，有效地模拟了病理学专家综合观察一个组织病理学全玻片图像中多个多尺度的局部图像补丁，以确定病理信息类别，进而诊断出相应的胸腺瘤分型的过程，因此可以精确地预测病理信息类别及胸腺瘤分型。

Description

基于人工智能的胸腺瘤组织病理的分型方法及装置
技术领域
本发明属于神经网络技术领域，具体涉及一种基于人工智能的胸腺瘤组织病理的分型方法及装置。
背景技术
随着近年来深度学习技术的飞速发展，目前对胸腺瘤组织病理学全玻片图像的分析不再完全依赖于医生费时费力的视觉观察和人工注释，也可以通过高效的计算机辅助诊断系统实现对全玻片图像的分析，帮助医生获得详细的胸腺瘤病理信息和准确的胸腺瘤分型结果。现有技术主要包括基于卷积神经网络的方法和基于视觉Transformer的方法，具体如下：
卷积神经网络：卷积神经网络一直是计算机视觉领域中的主流网络之一，在医学图像处理等大多数计算机视觉任务中都有出色的表现。然而，卷积神经网络本身存在一些固有的局限性，比如难以建模远程依赖关系和局部感受野。
视觉Transformer：针对上述卷积神经网络存在的问题，视觉Transformer应运而生，包括SwinTransformer、金字塔视觉Transformer、LeViT、TNT、T2T-ViT、IPT和Uformer等。相比于卷积神经网络，视觉Transformer可以更好的建模全局特征关系，在各种高级和低级视觉任务上都表现出了优异的性能。然而，现有的视觉Transformer也难以有效地用于胸腺瘤组织病理学全玻片图像的分型，主要是存在以下两个问题。其一，由于多头自注意力机制的存在，视觉Transformer的计算成本通常较大，不适合直接处理百万级分辨率的全玻片图像。其二，胸腺瘤组织病理学全玻片图像一般具有多种尺度信息，例如，10倍、20倍和40倍放大的图像。现有的视觉Transformer虽然可以有效地建模全局和局部的特征关系，但是其中大多数没有考虑图像多尺度特征之间的互补性，未能综合利用图像的多尺度信息。因此，目前对胸腺瘤组织病理学的分析无法综合多尺度信息，导致分型结果不够精确。
发明内容
有鉴于此，本发明的目的在于克服现有技术的不足，提供一种基于人工智能的胸腺瘤组织病理的分型方法及装置，以解决现有技术中胸腺瘤组织病理学的分析无法综合多尺度信息，导致分型结果不够精确的问题。
为实现以上目的，本发明采用如下技术方案：一种基于人工智能的胸腺瘤组织病理的分型方法，包括：
获取待分型的胸腺瘤组织病理学全玻片图像；
将所述待分型的胸腺瘤组织病理学全玻片图像输入至训练好的多路径跨尺度视觉Transformer模型中，得到分型结果；
其中，所述多路径跨尺度视觉Transformer模型包括交叉尺度感知Transformer模型和全玻片图像Transformer模型；所述交叉尺度感知Transformer模型用于对胸腺瘤组织病理学全玻片图像进行病例信息分类，所述全玻片图像Transformer模型用于根据病例信息分类后的胸腺瘤组织病理学全玻片图像输出胸腺瘤分型。
进一步的，所述多路径跨尺度视觉Transformer模型的训练方法，包括：
通过高通量数字扫描仪扫描预获取的胸腺癌患者的苏木精-伊红染色拨片，得到胸腺瘤组织病理学全玻片图像；
将所述全玻片图像进行多种比例的放大处理，并将放大后的全玻片图像划分为预设个数的非重叠的补丁全玻片图像；
对所述补丁全玻片图像进行胸腺瘤分型标记，标记后的补丁全玻片图像形成训练集；
将所述训练集输入预构建的多路径跨尺度视觉Transformer模型中进行训练，得到训练好的多路径跨尺度视觉Transformer模型。
进一步的，所述交叉尺度感知Transformer模型包括局部引导分支、特征聚合分支和全局引导分支三条输入路径，每个输入路径接收不同尺度的全玻片图像；
所述局部引导分支、特征聚合分支和全局引导分支均包括依次连接的卷积单元、第一阶段、第二阶段、第三阶段、连接层、全局平均池化层和全连接层；所述全局平均池化层用于预测图像补丁的病理信息类别；
所述卷积单元用于对输入的补丁全玻片图像进行卷积处理；
所述第一阶段、第二阶段及第三阶段用于对卷积处理后的补丁全玻片图像进行多尺度特征提取；
所述连接层用于融合三个分支经过三个阶段的特征提取输出的多尺度特征；
所述全局平均池化层用于预测输出图像补丁的病理信息类别；
所述全连接层用于输出预测的图像补丁的病理信息类别。
进一步的，所述第一阶段包括：依次连接的补丁合并层、多个基本Transformer块、形状重塑层和补丁合并层；所述第二阶段包括：依次连接的多个基本Transformer块、形状重塑层和补丁合并层；所述第三阶段包括：多个基本Transformer块；
所述补丁合并层用于将输入的补丁全玻片图像分割展开为非重叠的一维特征，将所述一维特征映射到预设维度大小的特征，所述补丁合并层还用于在每个阶段的最后一个基本Transformer块之后，补丁合并层对特征进行下采样，以生成层次特征表示。
进一步的，所述特征聚合分支的第一阶段、第二阶段和第三阶段还包括子连接层，每个所述子连接层用于融合三个分支的补丁合并层输出的多尺度特征。
进一步的，所述局部引导分支的基本Transformer块为具有基于窗口的多头自注意力机制的局部Transformer块；
所述特征聚合分支的基本Transformer块为具有空间缩减注意力机制的互相关注意力块；
所述全局引导分支的基本Transformer块为具有多头注意力机制的全局Transformer块。
进一步的，所述具有基于窗口的多头自注意力机制的局部Transformer块，包括：基于窗口的多头自注意力模块、基于移动窗口的多头自注意力模块、多个层归一化及多个多层感知器；
所述具有空间缩减注意力机制的互相关注意力块，包括：互相关注意力模块、空间缩减注意力谋爱、多个层归一化和多层感知器
所述具有多头注意力机制的全局Transformer块，包括多头自注意力模块、多层感知器和层归一化。
进一步的，所述互相关注意力模块，用于将来自三个分支的大小均为c×hw的特征连接起来，然后将其大小重塑为3×c×h×w，经过1×1卷积后得到特征f1；
将来自特征聚合分支的特征重塑为大小为c×1×h×w的特征f2；
特征f1和f2进行批次相乘，并通过Sigmoid激活函数生成大小为3×h×w的注意力图；
将所述注意力图分成三个单独的注意力图，大小均为1×h×w，并将特征f1分成三个单独的大小均为c×h×w的特征，与对应的注意力图进行对应元素相乘；
然后将其结果连接在一起，通过3×3的卷积生成大小为c×h×w特征，并重塑为大小为c×hw的特征，即为最终的输出结果。
进一步的，所述全玻片图像Transformer模型，包括：
依次连接的输入层、线性层、第一阶段、第二阶段、第三阶段、全局平均池化层、全连接层及输出层；
所述第一阶段、第二阶段、第三阶段均包括具有多头注意力机制的全局Transformer块。
本申请实施例提供一种基于人工智能的胸腺瘤组织病理的分型装置，包括：
获取模块，用于获取待分型的胸腺瘤组织病理学全玻片图像；
分型模块，用于将所述待分型的胸腺瘤组织病理学全玻片图像输入至训练好的多路径跨尺度视觉Transformer模型中，得到分型结果；
其中，所述多路径跨尺度视觉Transformer模型包括交叉尺度感知Transformer模型和全玻片图像Transformer模型；所述交叉尺度感知Transformer模型用于对胸腺瘤组织病理学全玻片图像进行病例信息分类，所述全玻片图像Transformer模型用于根据病例信息分类后的胸腺瘤组织病理学全玻片图像输出胸腺瘤分型。
本发明采用以上技术方案，能够达到的有益效果包括：
(1)，本发明的多路径跨尺度视觉Transformer综合利用了胸腺瘤组织病理学全玻片图像中的多尺度信息和局部病理信息。其有效地模拟了病理学专家综合观察一个组织病理学全玻片图像中多个多尺度(10倍、20倍和40倍)的局部图像补丁，以确定病理信息类别，进而诊断出相应的胸腺瘤分型的过程，因此可以精确地预测病理信息类别及胸腺瘤分型。
(2)，本发明的全玻片图像Transformer以病理信息类别为先验信息，将二维的全玻片图像转换为一维的特征矩阵输入到网络中，解决了百万级分辨率全玻片图像带来的计算成本较大的问题。
(3)，本发明所提出的多路径跨尺度视觉Transformer和全玻片图像Transformer在病理信息分类和胸腺瘤分型中分别达到了0.939和0.951的Top-1精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于人工智能的胸腺瘤组织病理的分型方法的步骤示意图；
图2为本发明基于人工智能的胸腺瘤组织病理的分型方法的流程示意图；
图3为本发明互相关注意力模块的工作流程示意图；
图4为本发明基于人工智能的胸腺瘤组织病理的分型装置的结构示意图；
图5为本发明基于人工智能的胸腺瘤组织病理的分型方法实施环境的硬件结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
胸腺上皮肿瘤(即胸腺瘤)是一种少见的原发性前纵隔肿瘤，世界卫生组织将胸腺瘤分类为A、AB、B1、B1+B2、B2、B2+B3、B3和C型。由于胸腺瘤组织病理学全玻片图像中的组织形态学特征较为复杂，并且多种不同的特征通常混杂在一起，胸腺瘤是最具有组织学分型难度的肿瘤之一。
下面结合附图介绍本申请实施例中提供的一个具体的基于人工智能的胸腺瘤组织病理的分型方法及装置。
如图1所示，本申请实施例中提供的基于人工智能的胸腺瘤组织病理的分型方法，包括：
S101，获取待分型的胸腺瘤组织病理学全玻片图像；
本申请中是通过获取胸腺癌患者的苏木精-伊红染色玻片，通过高通量数字扫描仪将这些玻片扫描制作成胸腺瘤组织病理学全玻片图像。
S102，将所述待分型的胸腺瘤组织病理学全玻片图像输入至训练好的多路径跨尺度视觉Transformer模型中，得到分型结果。
其中，所述多路径跨尺度视觉Transformer模型包括交叉尺度感知Transformer模型和全玻片图像Transformer模型；所述交叉尺度感知Transformer模型用于对胸腺瘤组织病理学全玻片图像进行病例信息分类，所述全玻片图像Transformer模型用于根据病例信息分类后的胸腺瘤组织病理学全玻片图像输出胸腺瘤分型。
基于人工智能的胸腺瘤组织病理的分型方法的工作原理为：本申请先训练好多路径跨尺度视觉Transformer模型，其中，多路径跨尺度视觉Transformer模型包括交叉尺度感知Transformer模型和全玻片图像Transformer模型，交叉尺度感知Transformer模型用于对胸腺瘤组织病理学全玻片图像进行病例信息分类，所述全玻片图像Transformer模型用于根据病例信息分类后的胸腺瘤组织病理学全玻片图像输出胸腺瘤分型，最终得到分型结果。具体的，本申请首先使用交叉尺度感知Transformer模型对与胸腺瘤分型相关的病理信息进行分类，然后使用这些病理信息作为先验知识来帮助全玻片图像Transformer模型进行胸腺瘤分型。为了充分利用全玻片图像中的多种尺度信息，将10倍、20倍和40倍放大的图像补丁，分别从三条路径输入到交叉尺度感知Transformer中。交叉尺度感知Transformer不但采用并行的多条路径从全玻片图像中捕获不同尺度的感受野特征，而且引入了互相关注意力模块来聚合这些多尺度特征，以实现跨尺度空间信息之间的互补。再者，全玻片图像Transformer模型可以有效地将二维的全玻片图像转换为具有病理信息类别标签的一维特征矩阵作为输入，进而输出胸腺瘤的具体分型。
本发明的多路径跨尺度视觉Transformer综合利用了胸腺瘤组织病理学全玻片图像中的多尺度信息和局部病理信息，有效地模拟了病理学专家综合观察一个组织病理学全玻片图像中多个多尺度(10倍、20倍和40倍)的局部图像补丁，以确定病理信息类别，进而诊断出相应的胸腺瘤分型的过程，因此可以精确地预测病理信息类别及胸腺瘤分型。本发明的全玻片图像Transformer以病理信息类别为先验信息，将二维的全玻片图像转换为一维的特征矩阵输入到网络中，解决了百万级分辨率全玻片图像带来的计算成本较大的问题。
本发明所提出的多路径跨尺度视觉Transformer和全玻片图像Transformer在病理信息分类和胸腺瘤分型中分别达到了0.939和0.951的Top-1精度。实验表明，本发明所提出的方法优于现有最先进的基于卷积神经网络的分类方法和基于Transformer的分类方法。
本发明提供的多路径跨尺度视觉Transformer，组合了交叉尺度感知Transformer与全玻片图像Transformer，用于胸腺瘤分型，可以很好的区分AB、B1、B1+B2、B2、B2+B3、B3和C型胸腺瘤，分型结果与专家注释的真实结果基本相同。其Top-1精度为0.951，平均受试者工作特征曲线下的面积为0.96，平均灵敏度为0.875(95％的置信度区间为0.528-0.970)，平均特异性为0.982(95％的置信度区间为0.911-0.992)。与现有的视觉Transformer、TNT、LeViT、CrossViT、ResNet-101、DenseNet-121、GuSA-Net、ROPsNet、CPWA-Net、IL-MCAM和全玻片图像Transformer的组合相比较，在召回率、Top-1精度、平均精度和F值四个指标上得到了最佳的结果，在准确率指标上得到了次优的结果。
本申请采用多路径跨尺度视觉Transformer，对胸腺瘤组织病理学全玻片图像进行具体分型，将分型结果应用于胸腺瘤诊断中，可为患者评估预后效果，提供有效的癌症治疗策略和靶向治疗方案。
一些实施例中，所述多路径跨尺度视觉Transformer模型的训练方法，包括：
通过高通量数字扫描仪扫描预获取的胸腺癌患者的苏木精-伊红染色拨片，得到胸腺瘤组织病理学全玻片图像；
将所述全玻片图像进行多种比例的放大处理，并将放大后的全玻片图像划分为预设个数的非重叠的补丁全玻片图像；
对所述补丁全玻片图像进行胸腺瘤分型标记，标记后的补丁全玻片图像形成训练集；
将所述训练集输入预构建的多路径跨尺度视觉Transformer模型中进行训练，得到训练好的多路径跨尺度视觉Transformer模型。
具体的，本申请中，收集了323张来自129例胸腺癌患者的苏木精-伊红染色玻片，通过高通量数字扫描仪将这些玻片扫描制作成胸腺瘤组织病理学全玻片图像。每个全玻片图像有三种放大比例，分别为10倍、20倍和40倍，并且每个全玻片图像被划分为3000个非重叠的补丁。通过经验丰富的病理学家将全玻片图像标记为八种胸腺瘤分型，并将图像补丁标记为与胸腺瘤分型相关的十类病理信息，最终形成了胸腺瘤组织病理学全玻片图像大规模数据集。
数据集共包含323张全玻片图像，其中243张图像作为训练集用于网络训练，其余80张图像作为测试集。两个子网络均使用交叉熵损失函数，动量为β1＝0.9和β2＝0.999的Adam优化器，均训练160轮。对于交叉尺度感知Transformer模型，批次大小为64，初始学习率为2e-3；对于全玻片图像Transformer，批次大小为8，初始学习率为1e-3，最终得到训练好的多路径跨尺度视觉Transformer模型。
一些实施例中，如图2所示，所述交叉尺度感知Transformer模型包括局部引导分支、特征聚合分支和全局引导分支三条输入路径，每个输入路径接收不同尺度的全玻片图像；
所述局部引导分支、特征聚合分支和全局引导分支均包括依次连接的卷积单元、第一阶段、第二阶段、第三阶段、连接层、全局平均池化层和全连接层；所述全局平均池化层用于预测图像补丁的病理信息类别；
所述卷积单元用于对输入的补丁全玻片图像进行卷积处理；
所述第一阶段、第二阶段及第三阶段用于对卷积处理后的补丁全玻片图像进行多尺度特征提取；
所述连接层用于融合三个分支经过三个阶段的特征提取输出的多尺度特征；
所述全局平均池化层用于预测输出图像补丁的病理信息类别；
所述全连接层用于输出预测的图像补丁的病理信息类别。
具体的，本申请中提供的交叉尺度感知Transformer模型是一个三分支结构，包括局部引导分支、特征聚合分支和全局引导分支，分别以40倍、20倍、10倍放大的图像补丁作为输入，然后对多尺度特征进行提取融合，实现对多尺度特征的分类进而分型，使得分型结果更加准确。
作为一种优选的实施方式，所述第一阶段包括：依次连接的补丁合并层、多个基本Transformer块、形状重塑层和补丁合并层；所述第二阶段包括：依次连接的多个基本Transformer块、形状重塑层和补丁合并层；所述第三阶段包括：多个基本Transformer块；
所述补丁合并层用于将输入的补丁全玻片图像分割展开为非重叠的一维特征，将所述一维特征映射到预设维度大小的特征，所述补丁合并层还用于在每个阶段的最后一个基本Transformer块之后，补丁合并层对特征进行下采样，以生成层次特征表示。
所述特征聚合分支的第一阶段、第二阶段和第三阶段还包括子连接层，每个所述子连接层用于融合三个分支的补丁合并层输出的多尺度特征。
优选的，所述局部引导分支的基本Transformer块为具有基于窗口的多头自注意力机制的局部Transformer块；
所述特征聚合分支的基本Transformer块为具有空间缩减注意力机制的互相关注意力块；
所述全局引导分支的基本Transformer块为具有多头注意力机制的全局Transformer块。
具体的，如图2所示，局部引导分支输入40倍放大的图像补丁，经过卷积单元处理后进入第一阶段，第一阶段包括依次连接的补丁合并层、局部Transformer块、形状重塑层及补丁合并层，然后进入第二阶段，第二阶段包括依次连接的局部Transformer块、形状重塑层和补丁合并层，然后进入第三阶段，第三阶段包括局部Transformer块，第三阶段输出至连接层、全局平均池化层级全连接层。
特征聚合分支输入20倍放大的图像补丁，经过卷积单元处理后进入第一阶段，第一阶段包括依次连接的补丁合并层、子连接层、互相关注意力块、形状重塑层及补丁合并层，然后进入第二阶段，第二阶段包括依次连接的子连接层、互相关注意力块、形状重塑层和补丁合并层，然后进入第三阶段，第三阶段包括子连接层和互相关注意力块，第三阶段输出至连接层、全局平均池化层级全连接层。
全局引导分支输入10倍放大的图像补丁，经过卷积单元处理后进入第一阶段，第一阶段包括依次连接的补丁合并层、全部Transformer块、形状重塑层及补丁合并层，然后进入第二阶段，第二阶段包括依次连接的全部Transformer块、形状重塑层和补丁合并层，然后进入第三阶段，第三阶段包括局部Transformer块，第三阶段输出至连接层、全局平均池化层级全连接层。
其中，局部引导分支、特征聚合分支及全局引导分支中每个阶段的补丁合并层输出多尺度特征后都会进入特征聚合分支中的子连接层进行融合，输出的多尺度特征。最后全连接层输出分类结果，分类结果包括梭形胸腺上皮细胞、B1胸腺上皮细胞、B2胸腺上皮细胞、B3胸腺上皮细胞、纤维间隔、红细胞、淋巴细胞、血管周围间隙、髓质区域及肿瘤。
所述具有基于窗口的多头自注意力机制的局部Transformer块，包括：基于窗口的多头自注意力模块、基于移动窗口的多头自注意力模块、多个层归一化及多个多层感知器；
所述具有空间缩减注意力机制的互相关注意力块，包括：互相关注意力模块、空间缩减注意力谋爱、多个层归一化和多层感知器
所述具有多头注意力机制的全局Transformer块，包括多头自注意力模块、多层感知器和层归一化。
具体的，本申请首先使用补丁合并层将输入的补丁分割展开为非重叠的一维特征，并将这些一维特征映射到期望维度大小的特征，分别构建局部引导分支、特征聚合分支和全局引导分支，以适应图像多尺度输入的特性。局部引导分支、特征聚合分支和全局引导分支分别使用具有基于窗口的多头自注意力机制的局部Transformer块、具有空间缩减注意力机制的交叉尺度感知Transformer块和具有多头自注意力机制的全局Transformer块作为基本Transformer块。为了有效预测输入的图像补丁的病理信息类别，特征聚合分支与局部引导分支和全局引导分支两者不同，其融合了三个不同分支中每个Transformer块的多尺度特征。特征聚合分支还包含了一个互相关注意力模块，该模块可以建模多尺度特征与潜在病理信息类别之间的关系，从而促进其中多尺度特征的融合。每个分支均包含三个阶段，在每个阶段的最后一个基本transformer块之后，使用一个补丁合并层对特征进行下采样，以生成层次特征表示。最后，使用全局平均池化层和全连接层预测输出图像补丁的病理信息类别。交叉尺度感知Transformer可以通过三种不同的非局部自注意力机制捕获更丰富的全局信息，并充分利用图像的多尺度信息。
其中，具有多头自注意力机制的全局Transformer块具有与经典Transformer块相类似的配置，包含一个多头自注意力、一个多层感知器和两个层归一化。
具有基于窗口的多头自注意力机制的局部Transformer块采用了两个连续的SwinTransformer块，分别采用基于窗口的多头自注意力和基于移位窗口的多头自注意力代替了传统的多头自注意力，延续了SwinTransformer的优势。与多头自注意力机制相比，基于窗口的多头自注意力机制更注重于非重叠局部窗口中特征关系的建模，有效提高了图像局部信息的提取率，同时显著减少了Transformer块的计算成本。
具有空间缩减注意力机制的交叉尺度感知Transformer块由一个互相关注意力模块、一个空间缩减注意力、一个多层感知器和两个层归一化组成。与全局Transformer块和局部Transformer块不同的是，该Transformer块采用了互相关注意力模块，用于聚合来自不同分支的多尺度特征，可以有效地增强潜在病理信息的表示。
一些实施例中，如图3所示，所述互相关注意力模块，用于将来自三个分支的大小均为c×hw的特征连接起来，然后将其大小重塑为3×c×h×w，经过1×1卷积后得到特征f1；
将来自特征聚合分支的特征重塑为大小为c×1×h×w的特征f2；
特征f1和f2进行批次相乘，并通过Sigmoid激活函数生成大小为3×h×w的注意力图；
将所述注意力图分成三个单独的注意力图，大小均为1×h×w，并将特征f1分成三个单独的大小均为c×h×w的特征，与对应的注意力图进行对应元素相乘；
然后将其结果连接在一起，通过3×3的卷积生成大小为c×h×w特征，并重塑为大小为c×hw的特征，即为最终的输出结果。
可以理解的是，互相关注意力模块可以综合考虑不同感受野的全局和局部特征，并通过互相关注意力机制生成的空间注意力图增强多尺度融合特征，进一步提高潜在病理信息类别的分类精度。
一些实施例中，如图2所示，所述全玻片图像Transformer模型，包括：
依次连接的输入层、线性层、第一阶段、第二阶段、第三阶段、全局平均池化层、全连接层及输出层；
所述第一阶段、第二阶段、第三阶段均包括具有多头注意力机制的全局Transformer块。
如图2所示，全玻片图像Transformer模型包括依次连接的接收特征矩阵层、线性层、第一阶段、第二阶段、第三阶段、全局平均池化层及全连接层；
其中第一阶段、第二阶段及第三阶段均包括基本Transformer块，全玻片图像Transformer模型中的基本Transformer块的结构与全局Transformer块的结构相同。
具体的，全玻片图像Transformer模型的分型流程为，随机选择每个全玻片图像固定数量的图像补丁，通过交叉尺度感知Transformer生成多尺度特征编码和病理信息类别标签，并将两者在通道维度连接，然后再连接该图像所有补丁的特征。每个全玻片图像转换成大小为M×769的具有病理先验信息的特征矩阵，其中M表示每个全玻片图像分割补丁的数量，因此Transformer的计算量明显减少。全玻片图像Transformer同样包含三个阶段，每个阶段包含两个经典transformer块。最后，使用全局平均池化层和全连接层输出胸腺瘤组织病理学全玻片图像的分型结果。
通过本申请提供的技术方案可以精确地预测病理信息类别以及胸腺瘤分型，帮助医生对患者进行有效的预后评估和治疗方案选择。包括以下有益效果：
本申请通过交叉尺度感知Transformer模型对胸腺瘤病理信息分类，无需免疫组化图像，仅使用苏木精-伊红染色的全玻片图像就可以有效地区分梭形胸腺上皮细胞、B1胸腺上皮细胞、B2胸腺上皮细胞、B3胸腺上皮细胞、纤维间隔、红细胞、淋巴细胞、血管周围间隙、髓质区域和肿瘤。其Top-1精度为0.939，平均受试者工作特征曲线下的面积为0.93，该模型与现有的视觉Transformer、TNT、LeViT、CrossViT、ResNet-101、DenseNet-121、GuSA-Net、ROPsNet、CPWA-Net、IL-MCAM相比较，在召回率、Top-1精度、平均精度和F值四个指标上都得到了最佳的结果，在准确率指标上得到了次优的结果。由于病理信息的分类结果与胸腺瘤分型密切相关，该模型输出的高精度的病理信息分类结果有助于提高后续胸腺瘤分型的准确性。
如图4所示，本申请实施例提供一种基于人工智能的胸腺瘤组织病理的分型装置，包括：
获取模块201，用于获取待分型的胸腺瘤组织病理学全玻片图像；
分型模块201，用于将所述待分型的胸腺瘤组织病理学全玻片图像输入至训练好的多路径跨尺度视觉Transformer模型中，得到分型结果；
其中，所述多路径跨尺度视觉Transformer模型包括交叉尺度感知Transformer模型和全玻片图像Transformer模型；所述交叉尺度感知Transformer模型用于对胸腺瘤组织病理学全玻片图像进行病例信息分类，所述全玻片图像Transformer模型用于根据病例信息分类后的胸腺瘤组织病理学全玻片图像输出胸腺瘤分型。
本申请提供的基于人工智能的胸腺瘤组织病理的分型装置的工作原理为，获取模块201获取待分型的胸腺瘤组织病理学全玻片图像；分型模块201将所述待分型的胸腺瘤组织病理学全玻片图像输入至训练好的多路径跨尺度视觉Transformer模型中，得到分型结果；其中，所述多路径跨尺度视觉Transformer模型包括交叉尺度感知Transformer模型和全玻片图像Transformer模型；所述交叉尺度感知Transformer模型用于对胸腺瘤组织病理学全玻片图像进行病例信息分类，所述全玻片图像Transformer模型用于根据病例信息分类后的胸腺瘤组织病理学全玻片图像输出胸腺瘤分型。
本申请提供一种计算机设备，包括：存储器和处理器，还可以包括网络接口，所述存储器存储有计算机程序，存储器可以包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。该计算机设备存储有操作系统，存储器是计算机可读介质的示例。所述计算机程序被所述处理器执行时，使得所述处理器执行基于人工智能的胸腺瘤组织病理的分型方法，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的基于人工智能的胸腺瘤组织病理的分型方法可以实现为一种计算机程序的形式，计算机程序可在如图5所示的计算机设备上运行。
一些实施例中，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：获取待分型的胸腺瘤组织病理学全玻片图像；将所述待分型的胸腺瘤组织病理学全玻片图像输入至训练好的多路径跨尺度视觉Transformer模型中，得到分型结果；其中，所述多路径跨尺度视觉Transformer模型包括交叉尺度感知Transformer模型和全玻片图像Transformer模型；所述交叉尺度感知Transformer模型用于对胸腺瘤组织病理学全玻片图像进行病例信息分类，所述全玻片图像Transformer模型用于根据病例信息分类后的胸腺瘤组织病理学全玻片图像输出胸腺瘤分型。
本申请还提供一种计算机存储介质，计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光光盘(DVD)或其他光学存储、磁盒式磁带存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
一些实施例中，本发明还提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，获取待分型的胸腺瘤组织病理学全玻片图像；将所述待分型的胸腺瘤组织病理学全玻片图像输入至训练好的多路径跨尺度视觉Transformer模型中，得到分型结果；其中，所述多路径跨尺度视觉Transformer模型包括交叉尺度感知Transformer模型和全玻片图像Transformer模型；所述交叉尺度感知Transformer模型用于对胸腺瘤组织病理学全玻片图像进行病例信息分类，所述全玻片图像Transformer模型用于根据病例信息分类后的胸腺瘤组织病理学全玻片图像输出胸腺瘤分型。
可以理解的是，上述提供的方法实施例与上述的装置实施例对应，相应的具体内容可以相互参考，在此不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令方法的制造品，该指令方法实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于人工智能的胸腺瘤组织病理的分型方法，其特征在于，包括：
获取待分型的胸腺瘤组织病理学全玻片图像；
将所述待分型的胸腺瘤组织病理学全玻片图像输入至训练好的多路径跨尺度视觉Transformer模型中，得到分型结果；
其中，所述多路径跨尺度视觉Transformer模型包括交叉尺度感知Transformer模型和全玻片图像Transformer模型；所述交叉尺度感知Transformer模型用于对胸腺瘤组织病理学全玻片图像进行病例信息分类，所述全玻片图像Transformer模型用于根据病例信息分类后的胸腺瘤组织病理学全玻片图像输出胸腺瘤分型。
2.根据权利要求1所述的方法，其特征在于，所述多路径跨尺度视觉Transformer模型的训练方法，包括：
通过高通量数字扫描仪扫描预获取的胸腺癌患者的苏木精-伊红染色拨片，得到胸腺瘤组织病理学全玻片图像；
将所述全玻片图像进行多种比例的放大处理，并将放大后的全玻片图像划分为预设个数的非重叠的补丁全玻片图像；
对所述补丁全玻片图像进行胸腺瘤分型标记，标记后的补丁全玻片图像形成训练集；
将所述训练集输入预构建的多路径跨尺度视觉Transformer模型中进行训练，得到训练好的多路径跨尺度视觉Transformer模型。
3.根据权利要求2所述的方法，其特征在于，
所述交叉尺度感知Transformer模型包括局部引导分支、特征聚合分支和全局引导分支三条输入路径，每个输入路径接收不同尺度的全玻片图像；
所述局部引导分支、特征聚合分支和全局引导分支均包括依次连接的卷积单元、第一阶段、第二阶段、第三阶段、连接层、全局平均池化层和全连接层；所述全局平均池化层用于预测图像补丁的病理信息类别；
所述卷积单元用于对输入的补丁全玻片图像进行卷积处理；
所述第一阶段、第二阶段及第三阶段用于对卷积处理后的补丁全玻片图像进行多尺度特征提取；
所述连接层用于融合三个分支经过三个阶段的特征提取输出的多尺度特征；
所述全局平均池化层用于预测输出图像补丁的病理信息类别；
所述全连接层用于输出预测的图像补丁的病理信息类别。
4.根据权利要求3所述的方法，其特征在于，
所述第一阶段包括：依次连接的补丁合并层、多个基本Transformer块、形状重塑层和补丁合并层；所述第二阶段包括：依次连接的多个基本Transformer块、形状重塑层和补丁合并层；所述第三阶段包括：多个基本Transformer块；
所述补丁合并层用于将输入的补丁全玻片图像分割展开为非重叠的一维特征，将所述一维特征映射到预设维度大小的特征，所述补丁合并层还用于在每个阶段的最后一个基本Transformer块之后，补丁合并层对特征进行下采样，以生成层次特征表示。
5.根据权利要求4所述的方法，其特征在于，
所述特征聚合分支的第一阶段、第二阶段和第三阶段还包括子连接层，每个所述子连接层用于融合三个分支的补丁合并层输出的多尺度特征。
6.根据权利要求4所述的方法，其特征在于，
所述局部引导分支的基本Transformer块为具有基于窗口的多头自注意力机制的局部Transformer块；
所述特征聚合分支的基本Transformer块为具有空间缩减注意力机制的互相关注意力块；
所述全局引导分支的基本Transformer块为具有多头注意力机制的全局Transformer块。
7.根据权利要求6所述的方法，其特征在于，
所述具有基于窗口的多头自注意力机制的局部Transformer块，包括：基于窗口的多头自注意力模块、基于移动窗口的多头自注意力模块、多个层归一化及多个多层感知器；
所述具有空间缩减注意力机制的互相关注意力块，包括：互相关注意力模块、空间缩减注意力谋爱、多个层归一化和多层感知器
所述具有多头注意力机制的全局Transformer块，包括多头自注意力模块、多层感知器和层归一化。
8.根据权利要求7所述的方法，其特征在于，
所述互相关注意力模块，用于将来自三个分支的大小均为c×hw的特征连接起来，然后将其大小重塑为3×c×h×w，经过1×1卷积后得到特征f1；
将来自特征聚合分支的特征重塑为大小为c×1×h×w的特征f2；
特征f1和f2进行批次相乘，并通过Sigmoid激活函数生成大小为3×h×w的注意力图；
将所述注意力图分成三个单独的注意力图，大小均为1×h×w，并将特征f1分成三个单独的大小均为c×h×w的特征，与对应的注意力图进行对应元素相乘；
然后将其结果连接在一起，通过3×3的卷积生成大小为c×h×w特征，并重塑为大小为c×hw的特征，即为最终的输出结果。
9.根据权利要求1所述的方法，其特征在于，所述全玻片图像Transformer模型，包括：
依次连接的输入层、线性层、第一阶段、第二阶段、第三阶段、全局平均池化层、全连接层及输出层；
所述第一阶段、第二阶段、第三阶段均包括具有多头注意力机制的全局Transformer块。
10.一种基于人工智能的胸腺瘤组织病理的分型装置，其特征在于，包括：
获取模块，用于获取待分型的胸腺瘤组织病理学全玻片图像；
分型模块，用于将所述待分型的胸腺瘤组织病理学全玻片图像输入至训练好的多路径跨尺度视觉Transformer模型中，得到分型结果；
其中，所述多路径跨尺度视觉Transformer模型包括交叉尺度感知Transformer模型和全玻片图像Transformer模型；所述交叉尺度感知Transformer模型用于对胸腺瘤组织病理学全玻片图像进行病例信息分类，所述全玻片图像Transformer模型用于根据病例信息分类后的胸腺瘤组织病理学全玻片图像输出胸腺瘤分型。
CN202210843559.5A 2022-07-18 2022-07-18 基于人工智能的胸腺瘤组织病理的分型方法及装置 Pending CN115471448A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210843559.5A CN115471448A (zh) 2022-07-18 2022-07-18 基于人工智能的胸腺瘤组织病理的分型方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210843559.5A CN115471448A (zh) 2022-07-18 2022-07-18 基于人工智能的胸腺瘤组织病理的分型方法及装置

Publications (1)

Publication Number Publication Date
CN115471448A true CN115471448A (zh) 2022-12-13

Family

ID=84366096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210843559.5A Pending CN115471448A (zh) 2022-07-18 2022-07-18 基于人工智能的胸腺瘤组织病理的分型方法及装置

Country Status (1)

Country Link
CN (1) CN115471448A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116485792A (zh) * 2023-06-16 2023-07-25 中南大学 组织病理学亚型预测方法及成像方法
CN117115572A (zh) * 2023-10-25 2023-11-24 杭州医策科技有限公司 基于全局特征和局部特征的组织切片分类方法和系统
CN117496323A (zh) * 2023-12-27 2024-02-02 泰山学院 基于Transformer的多尺度二阶病理图像分类方法及系统
CN117522877A (zh) * 2024-01-08 2024-02-06 吉林大学 一种基于视觉自注意力的胸部多疾病诊断模型的构建方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116485792A (zh) * 2023-06-16 2023-07-25 中南大学 组织病理学亚型预测方法及成像方法
CN116485792B (zh) * 2023-06-16 2023-09-15 中南大学 组织病理学亚型预测方法及成像方法
CN117115572A (zh) * 2023-10-25 2023-11-24 杭州医策科技有限公司 基于全局特征和局部特征的组织切片分类方法和系统
CN117115572B (zh) * 2023-10-25 2024-01-30 杭州医策科技有限公司 基于全局特征和局部特征的组织切片分类方法和系统
CN117496323A (zh) * 2023-12-27 2024-02-02 泰山学院 基于Transformer的多尺度二阶病理图像分类方法及系统
CN117496323B (zh) * 2023-12-27 2024-03-29 泰山学院 基于Transformer的多尺度二阶病理图像分类方法及系统
CN117522877A (zh) * 2024-01-08 2024-02-06 吉林大学 一种基于视觉自注意力的胸部多疾病诊断模型的构建方法
CN117522877B (zh) * 2024-01-08 2024-04-05 吉林大学 一种基于视觉自注意力的胸部多疾病诊断模型的构建方法

Similar Documents

Publication Publication Date Title
Yan et al. Breast cancer histopathological image classification using a hybrid deep neural network
Qin et al. Highly accurate dichotomous image segmentation
US10460150B2 (en) Deep learning automated dermatopathology
CN115471448A (zh) 基于人工智能的胸腺瘤组织病理的分型方法及装置
JP2022500744A (ja) 細胞画像の分析のためのコンピュータ実装方法、コンピュータプログラム製品およびシステム
Yi et al. Automated red blood cells extraction from holographic images using fully convolutional neural networks
Kodipalli et al. An inception‐ResNet deep learning approach to classify tumours in the ovary as benign and malignant
CN111899252B (zh) 基于人工智能的病理图像处理方法和装置
Megjhani et al. Population-scale three-dimensional reconstruction and quantitative profiling of microglia arbors
Yamanakkanavar et al. A novel M-SegNet with global attention CNN architecture for automatic segmentation of brain MRI
Delibasoglu et al. Improved U-Nets with inception blocks for building detection
Lee et al. DeepHCS++: Bright-field to fluorescence microscopy image conversion using multi-task learning with adversarial losses for label-free high-content screening
Rauf et al. Attention-guided multi-scale deep object detection framework for lymphocyte analysis in IHC histological images
Anand et al. Deep learning based automated diagnosis of skin diseases using dermoscopy
CN115210779A (zh) 生物样品中对象的系统性表征
Heinrich et al. Demystifying the black box: A classification scheme for interpretation and visualization of deep intelligent systems
Otálora et al. Image magnification regression using densenet for exploiting histopathology open access content
Bozkurt et al. Skin strata delineation in reflectance confocal microscopy images using recurrent convolutional networks with attention
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
Scheurer et al. Semantic segmentation of histopathological slides for the classification of cutaneous lymphoma and eczema
CN114972202A (zh) 一种基于轻量级的神经网络的Ki67病理细胞快速检测计数方法
Rauf et al. Lymphocyte detection for cancer analysis using a novel fusion block based channel boosted CNN
Saha Classification of Parkinson’s disease using MRI data and deep learning convolution neural networks
Kalyani et al. Deep learning-based detection and classification of adenocarcinoma cell nuclei
Goutham et al. Brain tumor classification using Efficientnet-B0 model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination