CN114170206B - 兼顾空间信息相关性的乳腺病理图像癌变性质判读方法及装置 - Google Patents

兼顾空间信息相关性的乳腺病理图像癌变性质判读方法及装置 Download PDF

Info

Publication number
CN114170206B
CN114170206B CN202111519585.4A CN202111519585A CN114170206B CN 114170206 B CN114170206 B CN 114170206B CN 202111519585 A CN202111519585 A CN 202111519585A CN 114170206 B CN114170206 B CN 114170206B
Authority
CN
China
Prior art keywords
small
probability
image
canceration
breast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111519585.4A
Other languages
English (en)
Other versions
CN114170206A (zh
Inventor
郑魁
丁维龙
朱筱婕
赵樱莉
朱峰龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Paiying Medical Technology Co ltd
Original Assignee
Shanghai Paiying Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Paiying Medical Technology Co ltd filed Critical Shanghai Paiying Medical Technology Co ltd
Priority to CN202111519585.4A priority Critical patent/CN114170206B/zh
Publication of CN114170206A publication Critical patent/CN114170206A/zh
Application granted granted Critical
Publication of CN114170206B publication Critical patent/CN114170206B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50—Clinical applications
    • A61B6/502—Clinical applications involving diagnosis of breast, i.e. mammography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Abstract

本发明公开了一种兼顾空间信息相关性的乳腺病理图像癌变性质判读方法，包括：提取乳腺病理图像的组织区域，将组织区域切割成像素值尺寸相同的小图；采用色彩迁移的染色标准化方法对所切割的小图进行处理，获得染色标准化后的小图；将染色标准化后的小图输入至卷积神经网络模型，获取每一个小图的中心点坐标及其对应的癌变概率；基于乳腺病理图像的空间信息，修正小图的癌变概率，获得修正后的小图中心点坐标及其癌变概率；基于修正后的小图中心点坐标及其癌变概率，生成乳腺病理图像对应的预测热力图；将预测热力图输入至随机森林模型中，获得乳腺病理图像是否癌变的二分类结果。应用本发明实施例，为医生提供辅助诊断工具，提升了诊断效率。

Description

兼顾空间信息相关性的乳腺病理图像癌变性质判读方法及 装置
技术领域
本发明涉及医学影像诊断技术领域，尤其涉及一种兼顾空间信息相关性的乳腺病理图像癌变性质判读方法及装置。
背景技术
乳腺癌是女性中最常见的癌症，且发病率呈年轻化趋势。癌症的早发现以及早期病变时的及时诊断和治疗，可以降低发病率，控制病情的发展。自病理切片以数字图像的形式保存以来，病理学家开始利用全切片图像分析患者病情。但是，人工阅片需专家耗费长时间逐张审阅病理片。由于病理图像之间存在较大的差异，病理医生的水平参差不齐，人工阅片远远不能满足临床患者对病理诊断工作精准高效的需求。随着人工智能技术的不断发展，基于深度学习的辅助诊断可以缓解上述问题。
在深度学习方法中，分块采样是一种对乳腺病理图像癌变性质判读的主流方法。分块采样首先将乳腺病理图像的组织区域进行分块，再对这些分块进行特征提取，最后聚合特征，得到乳腺病理图像的癌变性质。然而，现有的乳腺病理图像癌变性质判定方法多利用卷积神经网络，只提取最后一层深层特征进行识别，而深层特征只描述高层语义特征，而丢失了纹理特征、边缘轮廓等浅层特征。此外，由于病理图像的某一分块与其周围临近的其他分块具有相关性，而现有的使用分块采样的方式对病理图像性质进行判读的方法，多未考虑这些空间信息的相关性，从而导致模型判别的准确率较低。
近年来，有多名学者利用深度学习方法对病理图像的识别进行了研究，比如，Y.Yu等人设计了一个具有15层的CNN模型来对医学图像进行分类和识别。将卷积神经网络分类与图像数据分割相结合，以产生细粒度的检测模型。Bardou D等人比较了人工特征提取和卷积神经网络在同一个数据集上的分类效果，其提出的CNN结构在二分类和多分类任务中效果良好。明涛等人以Resnet为基础添加多尺度通道重校准模型，设计了msSE-ResNet卷积神经网络，丰富了网络中的特征并且提高了特征的利用率。中国专利CN111680553A提供一种基于深度可分离卷积的病理图像识别方法及系统。然而，上述方法基本通过增加网络深度或其他方式来提取深层的特征，往往没有考虑描述纹理、边缘轮廓的浅层特征。并且，由于病理图像的某一分块与其四周的其他分块都有相关性，而上述基于分块采样对病理图像进行识别的方法，也未考虑病理图像空间信息的相关性，这会影响模型的准确率。
目前，高层语义特征和浅层特征融合的方式在其他图像处理领域已有一定的应用。比如，顾佳等人针对冠脉计算机断层扫描血管造影图像中存在大量噪声以及基础分割模型的分割结果较粗糙的问题，提出全局特征及多层次特征聚合网络。陈朋等人针对密度大、分布不均匀、遮挡严重的人群密度视觉检测，提出一种基于多层次特征融合网络的人群密度估计方法，用来解决人群密度估计难的问题。Cai X等人[]提出一种基于深度学习的动作识别方法，该方法使用多级特征融合机制，有助于充分利用卷积神经网络中间层的细节特征。侯媛媛等人[8]提出了一个基于卷积神经网络多层特征融合的服装图像检索模型，该模型提高了服装图像检索准确率。然而，现有的多数多层特征融合的方法都是在血管造影、人体行为等其他图像领域上的应用，这些领域图像的特点与病理图像的特点是截然不同的，因此现有研究的方法无法完全移植到病理图像领域进行直接应用。鉴于病理图像的专业性和复杂性，需要设计新的多特征融合的病理图像识别方法。
发明内容
本发明的目的在于提供一种兼顾空间信息相关性的乳腺病理图像癌变性质判读方法及装置，将浅层特征和高层语义特征进行融合，然后联合病理图像的空间信息，利用修正策略获得更精确的分块图像的癌变概率，实现对乳腺病理图像全图癌变性质的判定。有效提升乳腺病理图像癌变性质的识别准确率，为病理医生提供辅助诊断工具，减轻其工作量，提升诊断效率。
为了实现上述目的，本发明提供一种兼顾空间信息相关性的乳腺病理图像癌变性质判读方法，包括：
提取乳腺病理图像的组织区域，将所述组织区域切割成像素值尺寸相同的小图；
采用色彩迁移的染色标准化方法对所切割的小图进行处理，获得染色标准化后的小图；
将所述染色标准化后的小图输入至卷积神经网络模型，获取每一个小图的中心点坐标及其对应的癌变概率；
基于所述乳腺病理图像的空间信息，修正小图的癌变概率，获得修正后的小图中心点坐标及其癌变概率；
基于修正后的小图中心点坐标及其癌变概率，生成所述乳腺病理图像对应的预测热力图；
将所述预测热力图输入至随机森林模型中，获得所述乳腺病理图像是否癌变的二分类结果。
一种实现方式中，所述提取乳腺病理图像的组织区域，将所述组织区域切割成像素值尺寸相同的小图的步骤：
使用图像掩码的方法提取乳腺病理图像的组织区域；
以像素值为512×512的滑动窗口以及像素值为512的步长，从组织区域左上角开始，以设定的顺序，将所有组织区域切割成像素值为512×512的小图，并获取每个小图的中心点坐标。
一种实现方式中，卷积神经网络模型的构建步骤，包括：
从Stem层、Inception-resnet-A层提取网络的浅层特征，从Inception-resnet-B层和Inception-resnet-C层提取网络的深层特征；
使用通道注意力机制和空间注意力机制对所有提取到的浅层特征和深层特征进行筛选，提取关键特征；
利用上采样和拼接融合方法，获取浅层特征和深层特征融合后的特征，并将融合后的特征输入全连接层进行识别。
一种实现方式中，所述基于所述乳腺病理图像的空间信息，修正小图的癌变概率，获得修正后的小图中心点坐标及其癌变概率的步骤：
对于每一张小图ai，获取其相邻的八张小图，将该小图ai以及相邻的小图输入卷积神经网络模型中进行癌变性质判读，得到其相对应小图癌变概率，对于小图ai的癌变概率pi的修正策略包括：
(1)若小图ai判定为阳性，且在多张小图，若第一数量位于第一范围之间，则设定小图ai的新癌变概率为原癌变概率与第一设定值之差，其中，第一数量为多张小图中癌变概率均不大于第一预设值的小图数量；
(2)若小图ai判定为阳性，且在多张小图，若第二数量位于第二范围之间，则设定小图ai的新癌变概率为原癌变概率与第二设定值之差，其中，第二数量为多张小图中癌变概率均不大于第二预设值的小图数量；
(3)若小图ai判定为阴性，且在多张小图中，若第三数量位于第三范围之间，则设定小图ai的新癌变概率为原癌变概率与第三设定值之和，其中，第三数量为多张小图中癌变概率均大于第三预设值的小图数量；
(4)若小图ai判定为阴性，且在多张小图中，若第四数量位于第四范围之间，则设定小图ai的新癌变概率为原癌变概率与第四设定值之和，其中，第四数量为多张小图中癌变概率均大于第四预设值的小图数量。
一种具体实现中，对于小图ai的癌变概率pi的修正策略包括：
对于每一张小图ai，获取其相邻的八张小图；
(1)若ai判定为阳性，且在小图ai+1～ai+8中，满足7≤SUM(pi+1～pi+8＜0.5)≤8，则设定ai的概率为pi＝pi-0.5，SUM(pi+1～pi+8＜0.5)表示范围为i+1至i+8的小图中概率小于0.5的小图数量；
(2)若ai判定为阳性，且在小图ai+1～ai+8中，满足5≤SUM(pi+1～pi+8＜0.5)≤6，则设定ai的概率为pi＝pi-0.3，；
(3)若ai判定为阴性，且在小图ai+1～ai+8中，满足7≤SUM(pi+1～pi+8≥0.5)≤8，则设定ai的概率为pi＝pi+0.5，SUM(pi+1～pi+8≥0.5)表示范围为i+1至i+8的小图中概率不小于0.5的小图数量；
(4)若ai判定为阴性，且在小图ai+1～ai+8中，满足5≤SUM(pi+1～pi+8≥0.5)≤6，则设定ai的概率为pi＝pi+0.3。
一种实现方式中，所述基于修正后的小图中心点坐标及其癌变概率，生成所述乳腺病理图像对应的预测热力图的步骤：
将所述乳腺病理图像的组织区域提取的每一个小图作为乳腺病理图像中的一个像素，并由卷积神经网络识别模型赋予每一个小图数值，所述数值为0到1之间的概率值，以第一颜色代表高概率、第二颜色代表低概率的利用小图的坐标信息对每个像素进行赋值，以得到预测概率热力图，所述高概率为概率值高于第一预设阈值的概率值，所述低概率为概率值不高于第二预设阈值的概率值，所述第二预设阈值不大于所述第一预设阈值。
一种实现方式中，所述将所述预测热力图输入至随机森林模型中，获得所述乳腺病理图像是否癌变的二分类结果的步骤：
从预测概率热力图中提取几何和形态学特征信息，将所提取的几何和形态学特征信息输入随机森林模型中，得出所述乳腺病理图像是否癌变的二分类结果。
一种兼顾空间信息相关性的乳腺病理图像癌变性质判读装置，所述装置包括处理器、以及通过通信总线与处理器连接的存储器；其中，
所述存储器，用于存储计算机程序；
所述处理器，用于执行计算机程序时，以实现任一项所述的兼顾空间信息相关性的乳腺病理图像癌变性质判读方法。
应用本发明实施例提供的一种兼顾空间信息相关性的乳腺病理图像癌变性质判读方法，具备的有益效果如下：
(1)针对只考虑深层特征而丢失浅层特征的问题,本发明从Stem层、Inception-resnet-A层提取网络的浅层特征，从Inception-resnet-B层和Inception-resnet-C层提取网络的深层特征，解决以往未将高层语义特征和浅层特征进行融合而导致识别准确率不高的问题。
(2)针对多层特征融合中未筛选关键特征的问题，本发明基于注意力机制提取关键特征，并采用上采样技术实现浅层特征与深层特征的融合；然后，将融合后的特征输入全连接层进行最终分类，获得小图的癌变概率；可以使网络模型专注于关键特征，减少网络模型的计算量。
(3)针对未考虑病理图像的空间信息，只进行一次图像癌变性质判定的问题，本发明提出基于空间信息相关性计算的小图癌变概率修正策略，对小图癌变概率进行修正，从而获得更精确的小图癌变概率。
本发明可以有效提升乳腺病理图像癌变性质的识别准确率，为病理医生提供辅助诊断工具，减轻其工作量，提升诊断效率。
附图说明
图1是本发明实施例一种兼顾空间信息相关性的乳腺病理图像癌变性质判读方法的一种流程示意图。
图2是乳腺组织病理图像分类流程图。
图3是本发明卷积神经网络模型的结构示意图。
图4是小图的位置关系图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。
如图1本发明提供一种兼顾空间信息相关性的乳腺病理图像癌变性质判读方法，包括：
S110，提取乳腺病理图像的组织区域，将所述组织区域切割成像素值尺寸相同的小图。
需要说明的是，先使用图像掩码的方法提取乳腺病理图像的组织区域，再以像素值为512×512的滑动窗口以及像素值为512的步长，从组织区域左上角开始，以从左到右、从上到下的方式，将所有组织区域切割成像素值为512×512的小图，并记录每个小图的中心点坐标。
具体的，使用Otsu算法提取所述乳腺病理图像的组织部位的感兴趣区域，以像素值为512×512的滑动窗口以及像素值为512的步长，从组织区域左上角开始，以从左到右、从上到下的方式，将感兴趣区域切割成像素值为512×512的尺寸的小图。
S120，采用色彩迁移的染色标准化方法对所切割的小图进行处理，获得染色标准化后的小图。
可以理解的是，本发明采用染色标准化方法对所切割的小图进行处理，以均衡HE染色方法中不同病理图像之间的染色差异。具体的，染色标准化方法是指采用Reinhard方法来均衡HE染色方法中不同病理图像之间的染色差异。它主要是根据lαβ颜色空间中各通道互相不关联的特点，利用一组适用于各颜色分量的色彩迁移公式，较好地实现了彩色图像之间的色彩迁移。
S130，将所述染色标准化后的小图输入至卷积神经网络模型，获取每一个小图的中心点坐标及其对应的癌变概率。
具体步骤如附图2所示，在乳腺病理图像分类中，首先，使用Otsu算法提取所述乳腺病理图像的组织区域；再以滑动窗口的方式从乳腺组织病理图像中提取小区域组织图像，并对小图进行染色标准化；然后将小图输入到训练完毕的卷积神经网络模型，获取小图的中心点坐标及其癌变概率；最后融合小图周围的空间信息，修正小图的癌变概率，获得最终结果。
需要说明的是，本发明设计的卷积神经网络识别模型，以Inception-ResNet-v2为基础网络，构建一个多特征融合的模型。如图3。具体步骤如下：
(1)从Stem层、Inception-resnet-A层提取网络的浅层特征，从Inception-resnet-B层和Inception-resnet-C层提取网络的深层特征；
(2)使用通道注意力机制和空间注意力机制对所有提取到的浅层特征和深层特征进行筛选，提取关键特征；
(3)利用上采样和拼接融合方法，获取浅层特征和深层特征融合后的特征，并将融合后的特征输入全连接层进行识别。
附图3中的Stem、Inception-resnet-A、Reduction-A、Inception-resnet-B、Reduction-B、Inception-resnet-C模块结构与原始Inception-Resnet-v2模块结构相同。本发明优化的网络结构如附图3所示，经过染色标准化的小图在输入网络模型之后，会从Stem层和Inception-resnet-A层中提取浅层特征，从Inception-resnet-B层和Inception-resnet-C层提取深层特征，通过上采样方法将这些特征拼接融合输入全连接层，最后输出结果。
可以理解的是，遍历染色标准化后的小图，通过本发明设计的卷积神经网络识别模型对小图癌变性质进行判读。首先，将小图输入卷积神经网络模型中，然后通过一系列的卷积池化等操作，最后输出每个小图的中心点坐标及其癌变概率。在具体的实施中，卷积神经网络识别模型在训练过程中根据每次训练迭代结果对学习率等参数进行自动微调。
S140，基于所述乳腺病理图像的空间信息，修正小图的癌变概率，获得修正后的小图中心点坐标及其癌变概率。
需要说明的是，为了修正一次判定的错误，去除离异点，本发明提出基于空间信息相关性计算的小图癌变概率修正策略。基于摩尔近邻思想，对S130的输出识别结果进行修正，获得更精确的小图中心点坐标及其癌变概率。
具体步骤如下：对于每一张小图ai，获取其相邻的八张小图ai+1～ai+8，小图的位置如图4。将九张小图输入卷积神经网络模型中进行癌变性质判读，得到其相对应小图癌变概率。对于小图ai的癌变概率pi的修正策略如下：
(1)若小图ai判定为阳性，且在小图ai+1～ai+8中，满足7≤SUM(pi+1～pi+8＜0.5)≤8，则设定ai的概率为pi＝pi-0.5(即设定后的癌变概率pi为原小图ai的癌变概率pi减去0.5)，SUM(pi+1～pi+8＜0.5)表示范围为i+1至i+8的小图中概率小于0.5的小图数量；
(2)若小图ai判定为阳性，且在小图ai+1～ai+8中，满足5≤SUM(pi+1～pi+8＜0.5)≤6，则设定ai的概率为pi＝pi-0.3(即设定后的癌变概率pi为原小图ai的癌变概率pi减去0.3)；
(3)若小图ai判定为阴性，且在小图ai+1～ai+8中，满足7≤SUM(pi+1～pi+8≥0.5)≤8，则设定ai的概率为pi＝pi+0.5(即设定后的癌变概率pi为原小图ai的癌变概率pi加上0.5)，SUM(pi+1～pi+8≥0.5)表示范围为i+1至i+8的小图中概率不小于0.5的小图数量；
(4)若小图ai判定为阴性，且在小图ai+1～ai+8中，满足5≤SUM(pi+1～pi+8≥0.5)≤6，则设定ai的概率为pi＝pi+0.3(即设定后的癌变概率pi为原小图ai的癌变概率pi加上0.3)。
S150，基于修正后的小图中心点坐标及其癌变概率，生成所述乳腺病理图像对应的预测热力图。
可以理解的是，乳腺病理图像的组织区域提取的小图，视为乳腺病理图像中的一个像素，并由卷积神经网络识别模型赋予一个0到1之间的概率值，然后以红色代表高概率、蓝色代表低概率的方式，利用修正后的小图的坐标信息对每个像素进行赋值，从而得到预测概率热力图。
S160，将所述预测热力图输入至随机森林模型中，获得所述乳腺病理图像是否癌变的二分类结果。
需要说明的是，随机森林模型判别过程具体包括从预测概率热力图中提取几何和形态学特征信息(如癌细胞区域的数量，恶性肿瘤区域面积和周长的最值、平均值和方差，恶性肿瘤区域占整个组织区域的百分比和密度值等)，然后将以上提取的特征信息输入随机森林模型中，得出乳腺病理图像是否癌变的二分类结果。
本发明通过对乳腺病理图像的癌变性质的判读，判断其是否为阳性，可以辅助医生诊断，有效减轻其工作量，尽量避免出现误诊、漏诊等情况。
一种兼顾空间信息相关性的乳腺病理图像癌变性质判读装置，所述装置包括处理器、以及通过通信总线与处理器连接的存储器；其中，
所述存储器，用于存储计算机程序；
所述处理器，用于执行计算机程序时，以实现任一项所述的兼顾空间信息相关性的乳腺病理图像癌变性质判读方法。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (6)

1.一种兼顾空间信息相关性的乳腺病理图像癌变性质判读方法，其特征在于，包括：
提取乳腺病理图像的组织区域，将所述组织区域切割成像素值尺寸相同的小图；
采用色彩迁移的染色标准化方法对所切割的小图进行处理，获得染色标准化后的小图；
将所述染色标准化后的小图输入至卷积神经网络模型，获取每一个小图的中心点坐标及其对应的癌变概率；
基于所述乳腺病理图像的空间信息，修正小图的癌变概率，获得修正后的小图中心点坐标及其癌变概率；
基于修正后的小图中心点坐标及其癌变概率，生成所述乳腺病理图像对应的预测热力图；
将所述预测热力图输入至随机森林模型中，获得所述乳腺病理图像是否癌变的二分类结果；
对于小图ai的癌变概率pi的修正策略的步骤，具体包括：
对于每一张小图ai，获取其相邻的八张小图；
(1)若ai判定为阳性，且在小图ai+1～ai+8中，满足7≤SUM(pi+1～pi+8＜0.5)≤8，则设定ai的概率为pi＝pi-0.5，SUM(pi+1～pi+8＜0.5)表示范围为i+1至i+8的小图中概率小于0.5的小图数量；
(2)若ai判定为阳性，且在小图ai+1～ai+8中，满足5≤SUM(pi+1～pi+8＜0.5)≤6，则设定ai的概率为pi＝pi-0.3；
(3)若ai判定为阴性，且在小图ai+1～ai+8中，满足7≤SUM(pi+1～pi+8≥0.5)≤8，则设定ai的概率为pi＝pi+0.5，SUM(pi+1～pi+8≥0.5)表示范围为i+1至i+8的小图中概率不小于0.5的小图数量；
(4)若ai判定为阴性，且在小图ai+1～ai+8中，满足5≤SUM(pi+1～pi+8≥0.5)≤6，则设定ai的概率为pi＝pi+0.3。
2.根据权利要求1所述的一种兼顾空间信息相关性的乳腺病理图像癌变性质判读方法，其特征在于，所述提取乳腺病理图像的组织区域，将所述组织区域切割成像素值尺寸相同的小图的步骤：
使用图像掩码的方法提取乳腺病理图像的组织区域；
以像素值为512×512的滑动窗口以及像素值为512的步长，从组织区域左上角开始，以设定的顺序，将所有组织区域切割成像素值为512×512的小图，并获取每个小图的中心点坐标。
3.根据权利要求1所述的一种兼顾空间信息相关性的乳腺病理图像癌变性质判读方法，其特征在于，卷积神经网络模型的构建步骤，包括：
从Stem层、Inception-resnet-A层提取网络的浅层特征，从Inception-resnet-B层和Inception-resnet-C层提取网络的深层特征；
使用通道注意力机制和空间注意力机制对所有提取到的浅层特征和深层特征进行筛选，提取关键特征；
利用上采样和拼接融合方法，获取浅层特征和深层特征融合后的特征，并将融合后的特征输入全连接层进行识别。
4.根据权利要求1-3任一项所述的一种兼顾空间信息相关性的乳腺病理图像癌变性质判读方法，其特征在于，所述基于修正后的小图中心点坐标及其癌变概率，生成所述乳腺病理图像对应的预测热力图的步骤：
将所述乳腺病理图像的组织区域提取的每一个小图作为乳腺病理图像中的一个像素，并由卷积神经网络识别模型赋予每一个小图数值，所述数值为0到1之间的概率值，以第一颜色代表高概率、第二颜色代表低概率，利用小图的坐标信息对每个像素进行赋值，以得到预测概率热力图，所述高概率为概率值高于第一预设阈值的概率值，所述低概率为概率值不高于第二预设阈值的概率值，所述第二预设阈值不大于所述第一预设阈值。
5.根据权利要求1所述的一种兼顾空间信息相关性的乳腺病理图像癌变性质判读方法，其特征在于，所述将所述预测热力图输入至随机森林模型中，获得所述乳腺病理图像是否癌变的二分类结果的步骤：
从预测概率热力图中提取几何和形态学特征信息，将所提取的几何和形态学特征信息输入随机森林模型中，得出所述乳腺病理图像是否癌变的二分类结果。
6.一种兼顾空间信息相关性的乳腺病理图像癌变性质判读装置，其特征在于，所述装置包括处理器、以及通过通信总线与处理器连接的存储器；其中，
所述存储器，用于存储计算机程序；
所述处理器，用于执行计算机程序时，以实现如权利要求1至5中任一项所述的兼顾空间信息相关性的乳腺病理图像癌变性质判读方法。
CN202111519585.4A 2021-12-13 2021-12-13 兼顾空间信息相关性的乳腺病理图像癌变性质判读方法及装置 Active CN114170206B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111519585.4A CN114170206B (zh) 2021-12-13 2021-12-13 兼顾空间信息相关性的乳腺病理图像癌变性质判读方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111519585.4A CN114170206B (zh) 2021-12-13 2021-12-13 兼顾空间信息相关性的乳腺病理图像癌变性质判读方法及装置

Publications (2)

Publication Number Publication Date
CN114170206A CN114170206A (zh) 2022-03-11
CN114170206B true CN114170206B (zh) 2023-01-24

Family

ID=80485971

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111519585.4A Active CN114170206B (zh) 2021-12-13 2021-12-13 兼顾空间信息相关性的乳腺病理图像癌变性质判读方法及装置

Country Status (1)

Country Link
CN (1) CN114170206B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270666A (zh) * 2020-11-03 2021-01-26 辽宁工程技术大学 基于深度卷积神经网络的非小细胞肺癌病理切片识别方法
CN112632315A (zh) * 2020-12-30 2021-04-09 珠海大横琴科技发展有限公司 一种遥感图像检索的方法和装置
WO2021126370A1 (en) * 2019-12-20 2021-06-24 Genentech, Inc. Automated tumor identification and segmentation with medical images

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10366491B2 (en) * 2017-03-08 2019-07-30 Siemens Healthcare Gmbh Deep image-to-image recurrent network with shape basis for automatic vertebra labeling in large-scale 3D CT volumes
CN112614093A (zh) * 2020-12-10 2021-04-06 西北工业大学深圳研究院 基于多尺度空间注意力网络的乳腺病理图像分类方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021126370A1 (en) * 2019-12-20 2021-06-24 Genentech, Inc. Automated tumor identification and segmentation with medical images
CN112270666A (zh) * 2020-11-03 2021-01-26 辽宁工程技术大学 基于深度卷积神经网络的非小细胞肺癌病理切片识别方法
CN112632315A (zh) * 2020-12-30 2021-04-09 珠海大横琴科技发展有限公司 一种遥感图像检索的方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于卷积块注意力模块的图像描述生成模型;余海波;《计算机系统应用》;20210731;第194-200页 *
深度学习在组织病理学中的应用综述;金旭;《中国图象图形学报》;20200827;同上 *
金旭.深度学习在组织病理学中的应用综述.《中国图象图形学报》.2020, *

Also Published As

Publication number Publication date
CN114170206A (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
CN111798462B (zh) 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
US11688065B2 (en) Lesion detection artificial intelligence pipeline computing system
WO2022089221A1 (zh) 医学图像分割方法、装置、设备、系统及计算机存储介质
US11749401B2 (en) Seed relabeling for seed-based segmentation of a medical image
WO2021114130A1 (zh) 一种无监督自适应乳腺病变分割方法
US11688063B2 (en) Ensemble machine learning model architecture for lesion detection
Kumar et al. Robust and automated lung nodule diagnosis from CT images based on fuzzy systems
Ashwin et al. Efficient and reliable lung nodule detection using a neural network based computer aided diagnosis system
US20220138956A1 (en) Refining Lesion Contours with Combined Active Contour and Inpainting
WO2022089473A1 (en) Multiple operating point false positive removal for lesion identification
US11694329B2 (en) Logistic model to determine 3D z-wise lesion connectivity
Dutande et al. Deep residual separable convolutional neural network for lung tumor segmentation
CN114463248A (zh) 用于医学图像的基于种子的分割的种子重新标记
CN114972362A (zh) 一种基于RMAU-Net网络的医学图像自动分割方法与系统
CN111723817A (zh) 一种肺结节辅助检测方法
CN114092450A (zh) 一种基于胃镜检查视频的实时图像分割方法、系统、装置
CN114581698A (zh) 一种基于空间交叉注意力机制特征融合的目标分类方法
CN114170206B (zh) 兼顾空间信息相关性的乳腺病理图像癌变性质判读方法及装置
CN112419253A (zh) 数字病理图像分析方法、系统、设备及存储介质
CN114882282A (zh) 基于mri和ct图像的结直肠癌治疗效果的神经网络预测方法
CN114359308A (zh) 一种基于边缘响应与非线性损失的主动脉夹层分割方法
CN114842030A (zh) 一种多尺度语义匹配的膀胱肿瘤图像分割方法
Sun et al. A comparison of segmentation methods in gastric histopathology images
Chen et al. MSCA-UNet: multi-scale channel attention-based UNet for segmentation of medical ultrasound images
Subramanya et al. Deep learning for histopathological segmentation of smooth muscle in the urinary bladder

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant