CN115063592A - 一种基于多尺度的全扫描病理特征融合提取方法及系统 - Google Patents

一种基于多尺度的全扫描病理特征融合提取方法及系统 Download PDF

Info

Publication number
CN115063592A
CN115063592A CN202210980583.3A CN202210980583A CN115063592A CN 115063592 A CN115063592 A CN 115063592A CN 202210980583 A CN202210980583 A CN 202210980583A CN 115063592 A CN115063592 A CN 115063592A
Authority
CN
China
Prior art keywords
foreground
pathological
image
feature extraction
full
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210980583.3A
Other languages
English (en)
Other versions
CN115063592B (zh
Inventor
黄海亮
朱闻韬
金源
薛梦凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202210980583.3A priority Critical patent/CN115063592B/zh
Publication of CN115063592A publication Critical patent/CN115063592A/zh
Application granted granted Critical
Publication of CN115063592B publication Critical patent/CN115063592B/zh
Priority to JP2023006840A priority patent/JP7499364B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多尺度的全扫描病理特征融合提取方法及系统，本发明通过使用多尺度的全扫描病理特征融合提取的方式，借用多尺度的方案使得特征提取拥有更全面的信息，既有全局的整体信息，又有局部的详细信息。再结合注意力机制的加权融合方案，使得最终获取的特征，重点更加突出，更能代表全扫描病理图像。通过本发明，可以更好的获取全扫描病理图像的整体特征，从而可以协助病理科医生进行病理诊断、帮助临床医生更好的使用多模态信息进行疾病诊断时，提高多模态融合分析的准确性。

Description

一种基于多尺度的全扫描病理特征融合提取方法及系统
技术领域
本发明涉及医学影像领域，具体涉及一种基于多尺度的全扫描病理特征融合提取方法及系统。
背景技术
随着医疗技术的不断发展，病理检查已经大量应用于临床工作及科学研究，在临床方面，病理检查主要进行尸体病理检查及手术病理检查。手术病理检查的目的，一是为了明确诊断及验证术前的诊断，提高临床的诊断水平；二是诊断明确后，可决定下步治疗方案及预后估计，进而提高临床的治疗水平。通过临床病例分析，也可获得大量极有价值的科研资料。在手术病理检查时，主要通过从患者身体病变部位取出的小块组织制作成病理切片后通过病理染色技术进行染色，然后通过显微镜对其细胞形态学及组织病理学等检查来确定患者的病变性质，做出病理诊断，称为活体组织检查。即用以检查机体器官、组织或细胞中的病理改变的病理形态学方法，是所有检查之中诊断准确率最高的一种检查方法，是公认的“金标准”。
以往对于病理的诊断，需要专业的病理科医生在显微镜上通过不断的移动病理切片来寻找病变的细胞，以此来确定疾病进行诊断。随着病理切片扫描仪的出现，可以通过图像拼接技术将一整个病理切片的所有视野都拼接成一个分辨率超高的数字病理图像，这将大大解放病理医生需要长期趴在显微镜上寻找病变细胞的操作，也为将人工智能技术引入到病理诊断中提供了可能。
随着深度学习技术的不断发展，深度学习不仅在计算机视觉领域取得了成功，在医疗领域的应用也越来越广泛，如分类、检测和分割、配准和检索等方面，且都取得了较好的效果。深度学习可以自动的从大量的数据中去学习特定任务的显著性高阶特征，从而完成特定的任务。然而由于病理图像的分辨率非常高，且受到硬件设备的限制，现有的深度学习网络并不能一次性将整个全扫描病理图像输入到深度学习网络中，现有的常规操作是将全扫描病理图像切成若干个固定大小的patch块，然后再输入到深度学习网络中，依次进行计算。这种方式在病理图像的诊断、细胞分割等任务中，拥有良好的表现。然而深度学习的发展已经在向多模态的方向进展，此时如果依旧使用上面的模式，每个patch块单独进行计算，那么在特征提取的时候一张全扫描的病理图像将会获取若干个病理特征，这将对多模态方案中的特征融合带来巨大的挑战。现有的解决方案有，随机选取一个病理特征用于多模态特征融合，或者根据特征间的欧氏距离或者聚类的方案从中选取一个具有代表性的病理特征。这些方案虽然可以有效解决多模态特征融合中一对多的情况，但是这些方案并未考虑到这些特征选择的方式是否是最优的选择。这些方案归根到底是使用任意一个从全扫描病理图像中切下来的patch块的特征，但是这一个块只能表示全扫描病理图像当前位置或者周边位置的特征信息，并不能很好有效的囊括整个全扫描病理图像的特征信息。除此之外，还有另一种方案，就是将所有patch块的病理特征直接求平均，该方法可以很好的包含所有病理特征，但同时也有很大的可能会将主要的特征隐藏，并不是一个较优的病理特征提取方案。因此在使用深度学习技术，协助病理科医生进行病理诊断、临床医生更好的使用多模态信息进行疾病诊断时，如何更好的获取一整张全扫描病理图像的特征尤为重要。
发明内容
本发明的目的在于针对现有技术的不足，提出了一种基于多尺度的全扫描病理特征融合提取系统及构建方法，通过借助全扫描病理图像高分辨率的特性，使用多尺度的方案，从多个分辨率维度进行特征融合提取，从而有效的获取全扫描病理图像的主要特征信息，以帮助后续多模态信息诊断的使用。
本发明的目的是通过以下技术方案来实现的：
一种基于多尺度的全扫描病理特征融合提取方法，包括：
（1）将待处理的全扫描病理图像分割成多个前景病理图像；
（2）对每张前景病理图像一一进行特征提取，获得对应的前景病理图像特征；其中，对每张前景病理图像进行特征提取的方法具体如下：
对待处理的前景病理图像降采样，获得低分辨率的前景病理图像；
将待处理的前景病理图像进行分割获得多个图像块；
将低分辨率的前景病理图像、多个图像块分别输入至训练好的第一特征提取网络和第二特征提取网络进行特征提取，并将每个图像块提取的特征与低分辨率的前景病理图像提取的特征进行拼接，然后融合，获得对应的前景病理图像特征；
（3）将多个前景病理图像对应的前景病理图像特征进行融合获得全扫描病理图像的融合特征。
进一步地，所述将待处理的全扫描病理图像分割成多个前景病理图像，具体为：
获取待处理的全扫描病理图像的前景掩模；
按照设定的图像大小使用滑动的方式在全扫描病理图像上截取patch图像，若截取的patch图像有3个或3个以上的顶点落在所述前景掩模内，保留对应的patch图像即为前景病理图像，否则丢弃。
进一步地，所述第一特征提取网络和第二特征提取网络均由依次连接的特征提取模块、空间注意力模块组成。
进一步地，将低分辨率的前景病理图像、多个图像块分别输入至训练好的第一特征提取网络和第二特征提取网络进行特征提取，同时基于对应的空间注意力模块输出低分辨率的前景病理图像、多个图像块对应的空间注意分数；将每个图像块提取的特征与低分辨率的前景病理图像提取的特征进行拼接，然后将多个图像块对应的空间注意分数作为权重对拼接后的特征进行加权融合获得对应的前景病理图像特征。
进一步地，所述将多个前景病理图像对应的前景病理图像特征进行融合获得全扫描病理图像的融合特征，具体为：
将低分辨率的前景病理图像对应的空间注意分数作为权重将多个前景病理图像对应的前景病理图像特征进行加权融合获得全扫描病理图像的融合特征。
进一步地，所述第一特征提取网络通过如下方法训练获得：
获取第一训练数据集，其中，所述第一训练数据集的每个样本为一张经降采样处理的低分辨率的前景病理图像；
将所述第一训练数据集的每个样本输入至第一特征提取网络中进行特征提取，提取的特征由一全连接分类器分类获得预测的分类结果，通过最小化预测的分类结果与真值的损失函数对第一特征提取网络和全连接分类器进行训练，训练完成获得训练好的第一特征提取网络；
所述第二特征提取网络通过如下方法训练获得：
获取第二训练数据集，其中，所述第二训练数据集的每个样本为一张前景病理图像分割获得的图像块；
将所述第二训练数据集的每个样本输入至第二特征提取网络中进行特征提取，提取的特征由一全连接分类器分类获得预测的分类结果，通过最小化预测的分类结果与真值的损失函数对第二特征提取网络和全连接分类器进行训练，训练完成获得训练好的第二特征提取网络；
一种基于多尺度的全扫描病理特征融合提取系统，包括：
数据预处理模块，用于将待处理的全扫描病理图像分割成多个前景病理图像；
特征提取模块，用于对每张前景病理图像一一进行特征提取，获得对应的前景病理图像特征；其中，对每张前景病理图像进行特征提取的方法具体如下：
对待处理的前景病理图像降采样，获得低分辨率的前景病理图像；
将待处理的前景病理图像进行分割获得多个图像块；
将低分辨率的前景病理图像、多个图像块分别输入至训练好的第一特征提取网络和第二特征提取网络进行特征提取，并将每个图像块提取的特征与低分辨率的前景病理图像提取的特征进行拼接，然后融合，获得对应的前景病理图像特征；
特征融合模块，用于将多个前景病理图像对应的前景病理图像特征进行融合获得全扫描病理图像的融合特征。
进一步地，所述第一特征提取网络和第二特征提取网络均由依次连接的特征提取模块、空间注意力模块组成。
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的基于多尺度的全扫描病理特征融合提取方法。
一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时实现如上述的基于多尺度的全扫描病理特征融合提取方法。
本发明的有益效果是：本发明通过使用多尺度的全扫描病理特征融合提取的方式，借用多尺度的方案使得特征提取拥有更全面的信息，既有全局的整体信息，又有局部的详细信息。再结合注意力机制的加权融合方案，使得最终获取的特征，重点更加突出，更能代表全扫描病理图像。通过本发明，可以更好的获取全扫描病理图像的整体特征，从而可以协助病理科医生进行病理诊断、帮助临床医生更好的使用多模态信息进行疾病诊断时，提高多模态融合分析的准确性。
附图说明
图1是基于多尺度的全扫描病理特征融合提取方法的流程图；
图2是计算全扫描病理图像前景mask的流程图；
图3是使用多尺度方法进行特征提取的模块示意图；
图4是本发明基于多尺度的全扫描病理特征融合提取系统结构图；
图5是本发明一种电子设备结构图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。
在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
图1是本发明提供的一种基于多尺度的全扫描病理特征融合提取方法的流程图，如图1所示，本发明方法包括：
（1）将待处理的全扫描病理图像分割成多个前景病理图像；
作为一优选的实施方案，该步骤具体为：
（1.1）首先获取待处理的全扫描病理图像的前景掩模；
病理图像的扫描是通过数据病理全切片扫描仪对制作的病理载玻片进行全扫描，故扫描出来的图片中有大量的载玻片背景，而非组织部位，这些部位对于全扫描病理特征融合提取并无实际意义，并且全扫描病理图片因为分辨率较高，这些背景将会大大影响网络的计算速度。因此，首先计算出全扫描病理图像的前景掩模（mask），将其提取出来用于后续的计算。获取待处理的全扫描病理图像的前景掩模可以采用图像二值化方法，示例性地，本实施例的前景mask计算方法流程如图2所示，包括以下步骤：
a、为了方便快捷并且更准确的获取病理全扫描图像的前景mask，首先将病理图像的颜色空间从RGB格式转换成HSV格式；
b、对HSV格式的病理图像使用中值滤波器，平滑边缘并滤除掉一些背景噪声；
c、对滤除噪声的病理图像进行二值化操作，此时可以将前景大致抠出来，但是可能会存在较多孔洞；
d、使用闭运算的形态学操作将步骤c中所得到的二值图中的孔洞填充，以此来获取较好的前景mask；
e、根据步骤d中孔洞填充后的二值图，获取前景mask的边缘轮廓，用于后续的病理patch选择。
（1.2）由于全扫描病理图像的高分辨率特性，将其直接输入到深度卷积神经网络中进行特征提取是非常不现实的，因而，通常将其分割成多个切片即前景病理图像，然后分别进行特征提取。一般地，同一张全扫描病理图像分割的前景病理图像的大小一致，大小依据用于特征提取的深度卷积神经网络及实际需求进行设定，例如，可以设置为1152×1152等。分割的方法具体为：
按照设定的图像大小使用滑动的方式在全扫描病理图像上截取patch图像，若截取的patch图像有3个或3个以上的顶点落在所述前景掩模内，保留对应的patch图像即为前景病理图像，否则丢弃。
（2）对每张前景病理图像一一进行特征提取，获得对应的前景病理图像特征；其中，对每张前景病理图像进行特征提取的方法流程如图3所示，具体为：
对待处理的前景病理图像降采样，获得低分辨率的前景病理图像；
将待处理的前景病理图像进行分割获得多个图像块；
将低分辨率的前景病理图像、多个图像块分别输入至训练好的第一特征提取网络和第二特征提取网络进行特征提取，并将每个图像块提取的特征与低分辨率的前景病理图像提取的特征进行拼接，然后融合，获得对应的前景病理图像特征。
（3）将多个前景病理图像对应的前景病理图像特征进行融合获得全扫描病理图像的融合特征。
本发明方法通过使用多尺度的方案提取每个病理前景图像的主要特征，再进行融合，使得每个病理前景图像的特征既有全局的整体信息，又有局部的详细信息。最后对多个前景病理图像对应的前景病理图像特征进行融合，使得最终获取的特征，重点更加突出，更能代表全扫描病理图像。
进一步地，在第一特征提取网络和第二特征提取网络中引入空间注意力机制，所述第一特征提取网络和第二特征提取网络均由依次连接的特征提取模块、空间注意力模块组成，分别基于训练好的第一特征提取网络和第二特征提取网络对低分辨率的前景病理图像、多个图像块进行特征提取的同时，基于对应的空间注意力模块输出低分辨率的前景病理图像、多个图像块对应的空间注意分数，将第一特征提取网络提取的低分辨率的前景病理图像的特征分别与第二特征提取网络提取的每个图像块的特征进行拼接，获得多个拼接后的特征，再将多个图像块对应的空间注意分数作为权重将多个拼接后的特征进行加权融合，获得该前景病理图像特征。最后，将低分辨率的前景病理图像对应的空间注意分数作为权重将多个前景病理图像对应的前景病理图像特征进行加权融合，可以更好的突出主要特征，获得更好的全扫描病理图像的融合特征。
通过本发明，可以更好的获取全扫描病理图像的整体特征，从而可以协助病理科医生进行病理诊断、帮助临床医生更好的使用多模态信息进行疾病诊断时，提高多模态融合分析的准确性。
其中，第一特征提取网络和第二特征提取网络均是基于获取的训练数据集，以病理图像的诊断分类结果为目标进行训练获得的，下面以基于肺腺癌鳞癌的全扫描病理图像的特征提取为例，对所述第一特征提取网络和第二特征提取网络的训练、及本发明方法作进一步说明。
第一特征提取网络和第二特征提取网络的训练：
步骤一：获取训练数据集：
所述训练数据集可以为有标注的公开训练集（如TCGA的公开数据集等）或自行收集的数据集，自行收集的数据集通过如下方法获取：
按照肿瘤类别，分别收集肺腺癌鳞癌相关的全扫描病理图像，本实施例中使用数字病理全切片扫描仪在40×物镜下对病理切片组织进行全扫描，得到全扫描病理图像IWSI，同时医生对每张全扫描病理图像进行病理肿瘤区域标注。
因为病理切片的染色，随着时间的推移，以及不同人员的染色操作，都会造成一定的色彩差异，这些色彩差异对于专业的临床医生来说是较容易解决的，但对于计算机来说，这将会对诊断分析结果产生较大的影响。故为了减少这种色彩差异对深度神经网络的影响，对所有采集到的全扫描病理图像IWSI进行颜色归一化操作。具体地：根据临床医生的推荐选取一张染色效果较好的病理图像，作为目标全扫描病理图像，使用改进后的结构保持颜色归一化（SPCN）技术，将其他全扫描病理图像的颜色都归一化到目标全扫描病理图像的同一颜色水平上，以此来降低颜色的差异对于后续网络性能的影响。
将每张归一化后的全扫描病理图像分割成多个前景病理图像。
使用降采样的方法将前景病理图像的长宽分别降低，得到低分辨的前景病理图像，长宽降低的比例可以根据需求设定，本实施例中长宽分别降低为原来的0.5，即分辨率降低为576×576。所有低分辨的前景病理图像构成第一训练数据集，其中每张低分辨的前景病理图像作为一个样本。
将待处理的前景病理图像进行分割获得多个图像块；其中，图像块的大小与低分辨率的前景病理图像大小一致，本实施例中将前景病理图像按照图像长宽的中点平分为四块大小为576×576的高分辨率的图像块。所有图像块构成第二训练数据集，其中每张图像块作为一个样本。
步骤二：使用获取的训练数据集对第一特征提取网络和第二特征提取网络进行预训练。本实施例中，第一特征提取网络和第二特征提取网络均包括特征提取模块以及注意力模块，其中特征提取模块选用Resnet18的特征提取部分；注意力模块可以选择不进行通道注意力机制的训练，仅仅使用空间注意力机制即可；将空间注意力机制直接插入到Resnet-18特征提取部分之后即为本实施例的第一特征提取网络和第二特征提取网络的网络结构，训练时，第一特征提取网络和第二特征提取网络还连接有全连接分类器，具体结构如表1所示。
特征提取网络的预训练的方法如下：
将构建的第一训练数据集的每个样本输入至第一特征提取网络中进行特征提取，提取的特征由一全连接分类器分类获得预测的分类结果，通过最小化预测的分类结果与真值的损失函数对第一特征提取网络和全连接分类器进行训练，训练完成后保存网络参数，获得训练好的第一特征提取网络；
同样地，将构建的第二训练数据集的每个样本输入至第二特征提取网络中进行特征提取，提取的特征由一全连接分类器分类获得预测的分类结果，通过最小化预测的分类结果与真值的损失函数对第二特征提取网络和全连接分类器进行训练，训练完成后保存网络参数，获得训练好的第二特征提取网络。
表1 引入空间注意力机制的ResNet-18网络结构
Figure 180859DEST_PATH_IMAGE001
其中num_class表示诊断分类的数量，在本实施例中为3，分别为腺癌、鳞癌还有正常组织；
基于多尺度的全扫描病理特征融合：
（1）将待处理的全扫描病理图像分割成多个前景病理图像，前景病理图像的大小为1152×1152；
（2）对每张前景病理图像一一进行特征提取，获得对应的前景病理图像特征；其中，对每张前景病理图像进行特征提取的方法具体如下：
（2.1）对前景病理图像降采样至分辨率为576×576的低分辨率的前景病理图像；
（2.2）将待处理的前景病理图像进行分割获得4个大小为576×576的图像块；
（2.3）将低分辨率的前景病理图像作为训练好的第一特征提取网络的输入，输出 获得低分辨率的前景病理图像的特征
Figure 566841DEST_PATH_IMAGE002
和特征注意力分数为
Figure 815419DEST_PATH_IMAGE003
；将4个大小为576 ×576的图像块分别作为训练好的第二特征提取网络的输入，输出获得4个图像块的特征
Figure 679470DEST_PATH_IMAGE004
、
Figure 959754DEST_PATH_IMAGE005
、
Figure 251058DEST_PATH_IMAGE006
、
Figure 721354DEST_PATH_IMAGE007
和特征注意力分数
Figure 654675DEST_PATH_IMAGE008
、
Figure 526816DEST_PATH_IMAGE009
、
Figure 989021DEST_PATH_IMAGE010
、
Figure 212192DEST_PATH_IMAGE011
。根据网络结构，所有得到的特征大小都为1×512。
（2.4）将低分辨率的前景病理图像
Figure 418046DEST_PATH_IMAGE002
分别与4个高分辨率的图像块的特征
Figure 410273DEST_PATH_IMAGE004
、
Figure 308958DEST_PATH_IMAGE005
、
Figure 19425DEST_PATH_IMAGE006
、
Figure 28970DEST_PATH_IMAGE007
进行拼接构成4个多尺度的特征向量，记作
Figure 875703DEST_PATH_IMAGE012
、
Figure 679711DEST_PATH_IMAGE013
、
Figure 877474DEST_PATH_IMAGE014
、
Figure 428060DEST_PATH_IMAGE015
，其大小都为1×1024。
（2.5）将4个图像块对应的低分辨率的注意力分数
Figure 394879DEST_PATH_IMAGE008
、
Figure 635367DEST_PATH_IMAGE009
、
Figure 54847DEST_PATH_IMAGE010
、
Figure 406194DEST_PATH_IMAGE011
作为权重对拼接的4个多尺度的特征向量进行加权融合，获得该前景病理图像特 征；
（3）将低分辨率的空间注意力分数
Figure 227520DEST_PATH_IMAGE003
作为对应前景病理图像特征的注意力权 重，对所有的前景病理图像特征进行加权融合操作，即获得全扫描病理图像的融合特征向 量。
本发明方法获得的融合特征向量，可用于病理图像分类及疾病诊断。
与前述基于多尺度的全扫描病理特征融合方法的实施例相对应，本发明还提供了基于多尺度的全扫描病理特征融合系统的实施例。
参见图4，本发明实施例提供的一种基于多尺度的全扫描病理特征融合提取系统，包括：
数据预处理模块，用于将待处理的全扫描病理图像分割成多个前景病理图像；
特征提取模块，用于对每张前景病理图像一一进行特征提取，获得对应的前景病理图像特征；其中，对每张前景病理图像进行特征提取的方法具体如下：
对前景病理图像降采样，获得低分辨率的前景病理图像；
将待处理的前景病理图像进行分割获得多个图像块；
将低分辨率的前景病理图像、多个图像块分别输入至训练好的第一特征提取网络和第二特征提取网络进行特征提取，并将每个图像块提取的特征与低分辨率的前景病理图像提取的特征进行拼接，然后融合，获得对应的前景病理图像特征；
特征融合模块，用于将多个前景病理图像对应的前景病理图像特征进行融合获得全扫描病理图像的融合特征。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明系统用于构建全扫描病理图像分类装置，具体地，全扫描病理图像分类装置，包括：
基于多尺度的全扫描病理特征融合提取系统，用于融合提取获得全扫描病理图像的融合特征；
分类模块，用于基于全扫描病理图像的融合特征获得分类结果；分类模块可以为如前所述的全连接分类器等。
本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的基于多尺度的全扫描病理特征融合方法。
电子设备作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的从硬件层面而言，如图5 所示，为本发明基于多尺度的全扫描病理特征融合系统所在任意具备数据处理能力的设备的一种硬件结构图，除了图5所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的基于多尺度的全扫描病理特征融合方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备，例如所述设备上配备的插接式硬盘、智能存储卡( Smart Media Card,SMC ) 、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其他不同形式的变化或变动。这里无需也无法把所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围。

Claims (10)

1.一种基于多尺度的全扫描病理特征融合提取方法，其特征在于，包括：
（1）将待处理的全扫描病理图像分割成多个前景病理图像；
（2）对每张前景病理图像一一进行特征提取，获得对应的前景病理图像特征；其中，对每张前景病理图像进行特征提取的方法具体如下：
对待处理的前景病理图像降采样，获得低分辨率的前景病理图像；
将待处理的前景病理图像进行分割获得多个图像块；
将低分辨率的前景病理图像、多个图像块分别输入至训练好的第一特征提取网络和第二特征提取网络进行特征提取，并将每个图像块提取的特征与低分辨率的前景病理图像提取的特征进行拼接，然后融合，获得对应的前景病理图像特征；
（3）将多个前景病理图像对应的前景病理图像特征进行融合获得全扫描病理图像的融合特征。
2.根据权利要求1所述的方法，其特征在于，所述将待处理的全扫描病理图像分割成多个前景病理图像，具体为：
获取待处理的全扫描病理图像的前景掩模；
按照设定的图像大小使用滑动的方式在全扫描病理图像上截取patch图像，若截取的patch图像有3个或3个以上的顶点落在所述前景掩模内，保留对应的patch图像即为前景病理图像，否则丢弃。
3.根据权利要求1所述的方法，其特征在于，所述第一特征提取网络和第二特征提取网络均由依次连接的特征提取模块、空间注意力模块组成。
4.根据权利要求3所述的方法，其特征在于，将低分辨率的前景病理图像、多个图像块分别输入至训练好的第一特征提取网络和第二特征提取网络进行特征提取，同时基于对应的空间注意力模块输出低分辨率的前景病理图像、多个图像块对应的空间注意分数；将每个图像块提取的特征与低分辨率的前景病理图像提取的特征进行拼接，然后将多个图像块对应的空间注意分数作为权重对拼接后的特征进行加权融合获得对应的前景病理图像特征。
5.根据权利要求3所述的方法，其特征在于，所述将多个前景病理图像对应的前景病理图像特征进行融合获得全扫描病理图像的融合特征，具体为：
将低分辨率的前景病理图像对应的空间注意分数作为权重将多个前景病理图像对应的前景病理图像特征进行加权融合获得全扫描病理图像的融合特征。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述第一特征提取网络通过如下方法训练获得：
获取第一训练数据集，其中，所述第一训练数据集的每个样本为一张经降采样处理的低分辨率的前景病理图像；
将所述第一训练数据集的每个样本输入至第一特征提取网络中进行特征提取，提取的特征由一全连接分类器分类获得预测的分类结果，通过最小化预测的分类结果与真值的损失函数对第一特征提取网络和全连接分类器进行训练，训练完成获得训练好的第一特征提取网络；
所述第二特征提取网络通过如下方法训练获得：
获取第二训练数据集，其中，所述第二训练数据集的每个样本为一张前景病理图像分割获得的图像块；
将所述第二训练数据集的每个样本输入至第二特征提取网络中进行特征提取，提取的特征由一全连接分类器分类获得预测的分类结果，通过最小化预测的分类结果与真值的损失函数对第二特征提取网络和全连接分类器进行训练，训练完成获得训练好的第二特征提取网络。
7.一种基于多尺度的全扫描病理特征融合提取系统，其特征在于，包括：
数据预处理模块，用于将待处理的全扫描病理图像分割成多个前景病理图像；
特征提取模块，用于对每张前景病理图像一一进行特征提取，获得对应的前景病理图像特征；其中，对每张前景病理图像进行特征提取的方法具体如下：
对待处理的前景病理图像降采样，获得低分辨率的前景病理图像；
将待处理的前景病理图像进行分割获得多个图像块；
将低分辨率的前景病理图像、多个图像块分别输入至训练好的第一特征提取网络和第二特征提取网络进行特征提取，并将每个图像块提取的特征与低分辨率的前景病理图像提取的特征进行拼接，然后融合，获得对应的前景病理图像特征；
特征融合模块，用于将多个前景病理图像对应的前景病理图像特征进行融合获得全扫描病理图像的融合特征。
8.根据权利要求7所述的系统，其特征在于，所述第一特征提取网络和第二特征提取网络均由依次连接的特征提取模块、空间注意力模块组成。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-6任一项所述的基于多尺度的全扫描病理特征融合提取方法。
10.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时实现如权利要求1-6任一项所述的基于多尺度的全扫描病理特征融合提取方法。
CN202210980583.3A 2022-08-16 2022-08-16 一种基于多尺度的全扫描病理特征融合提取方法及系统 Active CN115063592B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210980583.3A CN115063592B (zh) 2022-08-16 2022-08-16 一种基于多尺度的全扫描病理特征融合提取方法及系统
JP2023006840A JP7499364B2 (ja) 2022-08-16 2023-01-19 マルチスケールに基づく全スライド病理特徴融合抽出方法、システム、電子機器及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210980583.3A CN115063592B (zh) 2022-08-16 2022-08-16 一种基于多尺度的全扫描病理特征融合提取方法及系统

Publications (2)

Publication Number Publication Date
CN115063592A true CN115063592A (zh) 2022-09-16
CN115063592B CN115063592B (zh) 2022-12-06

Family

ID=83207919

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210980583.3A Active CN115063592B (zh) 2022-08-16 2022-08-16 一种基于多尺度的全扫描病理特征融合提取方法及系统

Country Status (2)

Country Link
JP (1) JP7499364B2 (zh)
CN (1) CN115063592B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630386A (zh) * 2023-06-12 2023-08-22 新疆生产建设兵团医院 Cta扫描图像处理方法及其系统
CN117576425A (zh) * 2024-01-17 2024-02-20 南京掌控网络科技有限公司 一种窜拍图像检测的方法和系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111985536A (zh) * 2020-07-17 2020-11-24 万达信息股份有限公司 一种基于弱监督学习的胃镜病理图像分类方法
CN112348059A (zh) * 2020-10-23 2021-02-09 北京航空航天大学 基于深度学习的多种染色病理图像分类方法及系统
WO2021196632A1 (zh) * 2020-03-30 2021-10-07 中国科学院深圳先进技术研究院 一种全景数字病理图像智能分析系统及方法
CN113486981A (zh) * 2021-07-30 2021-10-08 西安电子科技大学 基于多尺度特征注意力融合网络的rgb图像分类方法
US20210390338A1 (en) * 2020-06-15 2021-12-16 Dalian University Of Technology Deep network lung texture recogniton method combined with multi-scale attention
CN114255386A (zh) * 2021-12-23 2022-03-29 国家电网有限公司信息通信分公司 一种数据处理方法及装置
CN114299324A (zh) * 2021-12-01 2022-04-08 万达信息股份有限公司 一种基于多尺度域对抗网络的病理图像分类方法及系统
CN114445356A (zh) * 2022-01-19 2022-05-06 上海交通大学 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
CN114581366A (zh) * 2021-12-30 2022-06-03 山东师范大学 基于注意力机制的视网膜静脉阻塞炫彩图像分类系统
CN114638292A (zh) * 2022-03-10 2022-06-17 中国医学科学院北京协和医院 一种基于多尺度分析的人工智能病理辅助诊断系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021196632A1 (zh) * 2020-03-30 2021-10-07 中国科学院深圳先进技术研究院 一种全景数字病理图像智能分析系统及方法
US20210390338A1 (en) * 2020-06-15 2021-12-16 Dalian University Of Technology Deep network lung texture recogniton method combined with multi-scale attention
CN111985536A (zh) * 2020-07-17 2020-11-24 万达信息股份有限公司 一种基于弱监督学习的胃镜病理图像分类方法
CN112348059A (zh) * 2020-10-23 2021-02-09 北京航空航天大学 基于深度学习的多种染色病理图像分类方法及系统
CN113486981A (zh) * 2021-07-30 2021-10-08 西安电子科技大学 基于多尺度特征注意力融合网络的rgb图像分类方法
CN114299324A (zh) * 2021-12-01 2022-04-08 万达信息股份有限公司 一种基于多尺度域对抗网络的病理图像分类方法及系统
CN114255386A (zh) * 2021-12-23 2022-03-29 国家电网有限公司信息通信分公司 一种数据处理方法及装置
CN114581366A (zh) * 2021-12-30 2022-06-03 山东师范大学 基于注意力机制的视网膜静脉阻塞炫彩图像分类系统
CN114445356A (zh) * 2022-01-19 2022-05-06 上海交通大学 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
CN114638292A (zh) * 2022-03-10 2022-06-17 中国医学科学院北京协和医院 一种基于多尺度分析的人工智能病理辅助诊断系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XIAN ZHONG ET AL: "Attention-guided image captioning with adaptive global and local feature fusion", 《JOURNAL OF VISUAL COMMUNICATION AND IMAGE REPRESENTATION》 *
张墺琦: "基于注意力机制的组织病理图像分割方法研究", 《中国优秀硕士学位论文全文数据库》 *
陈金广等: "面向方面级情感分类的特征融合学习网络", 《模式识别与人工智能》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630386A (zh) * 2023-06-12 2023-08-22 新疆生产建设兵团医院 Cta扫描图像处理方法及其系统
CN116630386B (zh) * 2023-06-12 2024-02-20 新疆生产建设兵团医院 Cta扫描图像处理方法及其系统
CN117576425A (zh) * 2024-01-17 2024-02-20 南京掌控网络科技有限公司 一种窜拍图像检测的方法和系统
CN117576425B (zh) * 2024-01-17 2024-04-16 南京掌控网络科技有限公司 一种窜拍图像检测的方法和系统

Also Published As

Publication number Publication date
JP2024027078A (ja) 2024-02-29
JP7499364B2 (ja) 2024-06-13
CN115063592B (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
Sebai et al. MaskMitosis: a deep learning framework for fully supervised, weakly supervised, and unsupervised mitosis detection in histopathology images
Oskal et al. A U-net based approach to epidermal tissue segmentation in whole slide histopathological images
CN112150428B (zh) 一种基于深度学习的医学图像分割方法
Jose et al. Generative adversarial networks in digital pathology and histopathological image processing: a review
CN115063592B (zh) 一种基于多尺度的全扫描病理特征融合提取方法及系统
CN111798425B (zh) 基于深度学习的胃肠道间质瘤中核分裂象智能检测方法
Veta et al. Detecting mitotic figures in breast cancer histopathology images
Tang et al. Segnet-based gland segmentation from colon cancer histology images
Hu et al. A state-of-the-art survey of artificial neural networks for whole-slide image analysis: from popular convolutional neural networks to potential visual transformers
Ali et al. Skin lesion segmentation and classification for ISIC 2018 by combining deep CNN and handcrafted features
Hossain et al. Tissue artifact segmentation and severity assessment for automatic analysis using wsi
CN112529892A (zh) 消化道内镜病变图像检测方法、系统和计算机存储介质
Kanwal et al. Quantifying the effect of color processing on blood and damaged tissue detection in whole slide images
CN113538422B (zh) 一种基于染色强度矩阵的病理图像自动分类方法
Alzubaidi et al. Multi-class breast cancer classification by a novel two-branch deep convolutional neural network architecture
Sun et al. Detection of breast tumour tissue regions in histopathological images using convolutional neural networks
Balasundaram et al. Automated Detection and Classification of Breast Cancer Nuclei with Deep Convolutional Neural Network.
Das et al. Attention-UNet architectures with pretrained backbones for multi-class cardiac MR image segmentation
CN111798426B (zh) 用于移动端的胃肠道间质瘤中核分裂象深度学习检测系统
Rezazadeh et al. Multi-task learning for gland segmentation
Saumiya et al. Unified automated deep learning framework for segmentation and classification of liver tumors
Sharma et al. Deep Learning for Predicting Pediatric Crohn's Disease Using Histopathological Imaging
Dulau et al. Connected-components-based post-processing for retinal vessels deep-learning segmentation
Wei et al. Application of U-net with variable fractional order gradient descent method in rectal tumor segmentation
Ahmad et al. Laryngeal cancer lesion segmentation in p63 immunohistochemically stained histology images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant