CN116993703A - 一种基于深度学习的乳腺cem图像病灶识别系统及设备 - Google Patents

一种基于深度学习的乳腺cem图像病灶识别系统及设备 Download PDF

Info

Publication number
CN116993703A
CN116993703A CN202311006439.0A CN202311006439A CN116993703A CN 116993703 A CN116993703 A CN 116993703A CN 202311006439 A CN202311006439 A CN 202311006439A CN 116993703 A CN116993703 A CN 116993703A
Authority
CN
China
Prior art keywords
image
feature
breast
cem
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311006439.0A
Other languages
English (en)
Inventor
毛宁
陈玉倩
张海程
华臻
周恒�
林凡
郑甜甜
谢海柱
马恒
王琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yantai Yuhuangding Hospital Yantai Yuhuangding Hospital Affiliated To Qingdao University
Original Assignee
Yantai Yuhuangding Hospital Yantai Yuhuangding Hospital Affiliated To Qingdao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yantai Yuhuangding Hospital Yantai Yuhuangding Hospital Affiliated To Qingdao University filed Critical Yantai Yuhuangding Hospital Yantai Yuhuangding Hospital Affiliated To Qingdao University
Priority to CN202311006439.0A priority Critical patent/CN116993703A/zh
Publication of CN116993703A publication Critical patent/CN116993703A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于深度学习的乳腺CEM图像病灶识别系统及设备，涉及医学影像处理领域。通过获取原始CEM图像的低能图和减影图并进行预处理，标注出图像乳腺区域中的病灶，分别用两个ResNet50网络提取低能图和减影图的初步提取特征；进行双模态辅助特征融合并得到多尺度金字塔特征层；每一个金字塔特征层后都连接一个带有注意力机制的检测头对乳腺病灶进行最终的定位和分类。本发明基于深度学习方法，实现了基于多模态的CEM图像对乳腺病灶的快速检测定位和分类，提升了乳腺病灶识别效率和精度。

Description

一种基于深度学习的乳腺CEM图像病灶识别系统及设备
技术领域
本发明涉及医学影像处理技术领域，特别是涉及一种基于深度学习的乳腺CEM图像病灶识别系统及设备。
背景技术
CEM(Contrast Enhanced Mammography，对比增强乳腺X线摄影)是近几年新兴的一项影像学技术，它将乳腺X线摄影与静脉注射碘对比剂进行结合，首先静脉注射对比剂，利用碘对比剂的K缘效应(33.2KeV附近衰减特征有明显差异)进行高能量(高于33.2KeV)和低能量(低于33.2KeV)曝光得到高能图和低能图。接着利用碘和乳腺组织在这两个能级的X射线衰减差异来抑制背景乳腺组织，对低能和高能图像进行特定的加权重组(减影)，最终得到双侧乳腺头尾位、内外斜位的低能图及减影图。其中低能图拥有和乳腺X线摄影影像相似的形态细节，而减影图中去除了周围正常重叠腺体，使病灶显示更加清晰。因此，CEM图像在提供肿瘤形态影像的同时，又可提供肿瘤灌注信息。
目前已经存在很多基于自然图像开发的目标识别方法能够准确快速的定位并识别目标物体，然而和自然图像相比，乳腺成像中关键信息占比小，有时病变和非病变通常具有相似的外观，需要网络关注更多细粒度类别的特征，很显然如果将基于自然图像开发的识别算法直接迁移到乳腺医学图像上使用是不合理的。另外，目前CEM图像中的多模态信息缺乏有效利用。因此，本领域亟需研发一种专门针对双模态CEM图像同时进行乳腺病灶快速检测和分类的方法。
发明内容
针对上述背景技术中提出的问题，本发明提供一种基于深度学习的乳腺CEM图像病灶识别系统及设备，以实现基于CEM图像对乳腺病灶的快速定位检测和分类，提升乳腺病灶识别精度。
为实现上述目的，本发明提供了如下方案：
一方面，本发明提供一种基于深度学习的乳腺CEM图像病灶识别系统，包括：
图像收集及预处理模块，用于获取CEM图像并进行图像预处理，得到预处理后的样本图像；所述CEM图像包括双侧乳腺头尾位和内外斜位的低能图及减影图；所述预处理后的样本图像包括预处理后的低能图和减影图；
初步特征提取模块，用于将预处理后的低能图和减影图分别输入到两个相同的ResNet50深度学习分支网络中进行初步特征提取，得到不同尺度的初步提取特征；
多模态特征融合模块，用于利用多模态特征融合网络对不同尺度的初步提取特征进行特征融合，得到不同尺度的双模态融合特征；
多尺度金字塔特征融合模块，用于将不同尺度的双模态融合特征输入多尺度金字塔特征融合网络，融合得到多尺度金字塔特征层；
检测头病灶识别模块，用于将多尺度金字塔特征层输入对应检测头，输出乳腺病灶识别结果；所述检测头包括回归子网络和分类子网络；所述乳腺病灶识别结果包括病灶位置和类别。
可选地，所述图像收集及预处理模块，具体包括：
标签标注单元，用于在获取的CEM图像中标注出病灶感兴趣区域以生成病灶的位置标签，同时将标注的病灶标注良恶性以作为分类标签；
二值化单元，用于对带有标签的CEM图像进行二值化处理，得到二值化图像；
裁剪及缩放单元，用于从二值化图像中裁剪出包含乳腺前景区域的最小外接矩形区域并缩放至统一大小，得到缩放后图像；
归一化单元，用于对缩放后图像进行归一化处理，得到归一化图像；
图像叠加单元，用于将三张相同的单通道归一化图像叠加在一起，得到预处理后的样本图像。
可选地，所述初步特征提取模块，具体包括：
初步特征提取单元，用于将预处理后的低能图和减影图分别输入到两个相同的ResNet50深度学习分支网络中，首先经过3×3卷积层和最大池化层得到256×256大小的特征图，然后又经过三个结构相同的残差模块分别得到特征尺寸为128×128、64×64以及32×32大小的特征图，共同构成四种不同尺度的初步提取特征。
可选地，所述多模态特征融合模块，具体包括：
多模态特征融合单元，用于针对特征尺寸为128×128、64×64以及32×32大小的特征图，将同一尺度的低能图和减影图对应的特征图先分别经过相同的双卷积注意力机制得到双卷积注意力特征；随后将减影图的双卷积注意力特征通过1-sigmoid(双卷积注意力特征)的方式进行特征取反得到其反向特征；然后将减影图的反向特征与低能图的双卷积注意力特征进行逐元素相乘的运算，得到新的合成辅助特征；最后将原始减影图对应的特征图同合成辅助特征进行逐元素相加，得到不同尺度的双模态融合特征。
可选地，所述多尺度金字塔特征融合模块，具体包括：
多尺度金字塔特征融合单元，用于将不同尺度的双模态融合特征通过邻近的插值2倍上采样算法自顶向下生成和下一级融合特征大小相同的特征图，接着通过横向进行相加融合操作，在融合之后再采用3*3的卷积核对每个融合结果进行卷积消除上采样的混叠效应，最后得到自顶向下为32×32、64×64以及128×128大小的多尺度金字塔特征。
可选地，所述检测头病灶识别模块，具体包括：
病灶位置识别单元，用于将多尺度金字塔特征输入对应的回归子网络，输出病灶位置；
病灶类别识别单元，用于将多尺度金字塔特征输入对应的分类子网络，输出病灶类别。
另一方面，本发明提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现一种基于深度学习的乳腺CEM图像病灶识别方法；所述基于深度学习的乳腺CEM图像病灶识别方法，包括：
获取CEM图像并进行图像预处理，得到预处理后的样本图像；所述CEM图像包括双侧乳腺头尾位和内外斜位的低能图及减影图；所述预处理后的样本图像包括预处理后的低能图和减影图；
将预处理后的低能图和减影图分别输入到两个相同的ResNet50深度学习分支网络中进行初步特征提取，得到不同尺度的初步提取特征；
利用多模态特征融合网络对不同尺度的初步提取特征进行特征融合，得到不同尺度的双模态融合特征；
将不同尺度的双模态融合特征输入多尺度金字塔特征融合网络，融合得到多尺度金字塔特征层；
将多尺度金字塔特征层输入对应检测头，输出乳腺病灶识别结果；所述检测头包括回归子网络和分类子网络；所述乳腺病灶识别结果包括病灶位置和类别。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供了一种基于深度学习的乳腺CEM图像病灶识别系统及设备，通过获取原始CEM图像的低能图和减影图并进行预处理，标注出图像乳腺区域中的病灶，分别用两个ResNet50网络提取低能图和减影图的初步提取特征；进行双模态辅助特征融合并得到多尺度金字塔特征层；每一个金字塔特征层后都连接一个带有注意力机制的检测头对乳腺病灶进行最终的定位和分类。本发明基于深度学习方法，实现了基于多模态的CEM图像对乳腺病灶的快速检测定位和分类，提升了乳腺病灶识别效率和精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于深度学习的乳腺CEM图像病灶识别系统的结构示意图；
图2为本发明基于深度学习的乳腺CEM图像病灶识别系统的图像处理过程示意图；
图3为本发明多模态特征融合网络的特征处理过程示意图；
图4为本发明双卷积注意力机制的特征处理过程示意图；
图5为本发明双卷积注意力机制中通道注意力操作的特征处理过程示意图；
图6为本发明双卷积注意力机制中空间注意力操作的特征处理过程示意图；
图7为本发明检测头的特征处理过程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
通常减影图中的病灶轮廓显示更清晰，该特征可以帮助网络更好的定位病灶位置；而低能图中往往提供了更加丰富的乳腺及钙化信息，对病灶的分类更有帮助；然而目前并没有研究针对CEM图像提出能充分学习两种模态的互补信息的方法。本发明的目的是提供一种基于深度学习的乳腺CEM图像病灶识别系统及设备，以实现基于CEM图像对乳腺病灶的快速定位检测和分类，提升乳腺病灶识别精度。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明一种基于深度学习的乳腺CEM图像病灶识别系统的结构示意图。参见图1，一种基于深度学习的乳腺CEM图像病灶识别系统，包括：
图像收集及预处理模块101，用于获取CEM图像并进行图像预处理，得到预处理后的样本图像。
本发明共收集了在2019-2022年期间于烟台毓璜顶医院接受了对比增强乳腺X线摄影的1790例患者的乳腺成像，每例CEM图像都包括双侧乳腺头尾位和内外斜位的低能图及减影图，共4幅图像。为了进一步扩充数据集，本发明中将每位患者的两个视图(双侧乳腺头尾位和内外斜位)分别作为两例样本，每例样本都包含一幅低能图和一幅减影图。即本发明中，所述CEM图像包括双侧乳腺头尾位和内外斜位的低能图及减影图；所述预处理后的样本图像也对应包括预处理后的低能图和减影图。
具体地，所述图像收集及预处理模块，具体包括：
标签标注单元，用于在获取的CEM图像中标注出病灶感兴趣区域以生成病灶的位置标签，同时将标注的病灶标注良恶性以作为分类标签。
具体地，使用图形标注工具LableMe以矩形框的方式标注病灶感兴趣区域，然后LableMe会通过定位到矩形框的位置自动获取到矩形框的左上顶点坐标(Xmin，Ymin)和右下顶点坐标(Xmax，Ymax)，该坐标即可作为病灶的位置标签信息。同时将勾画的病灶标注良恶性以作为分类标签。其中位置标签用于模型的检测任务训练，分类标签用于分类任务训练。制作网络的训练标签是因为深度学习网络训练的时候需要真实标签来作为约束去引导训练模型，使得预测结果越来越靠近真实值。由于大部分病灶在减影图上显示更清晰，因此病灶的勾画主要在减影图上进行，减影图上显示不明显的病灶则在低能图的辅助下勾画，来自同例样本的低能图和减影图中肿块坐标和分类标签信息共用。
二值化单元，用于对带有标签的CEM图像进行二值化处理，得到二值化图像。
对于原始低能图和减影图，确定一个最佳阈值将原始图像的像素值划分为两组并使这两组像素值的类间方差最大，然后将大于该阈值的像素点的值设为255(乳腺区域)，小于该值的像素点的值设为0(背景区域)，从而将原始图像二值化，使乳腺部分和背景区域分离，得到原始低能图或减影图对应的二值化图像。
裁剪及缩放单元，用于从二值化图像中裁剪出包含乳腺前景区域的最小外接矩形区域并缩放至统一大小，得到缩放后图像。
具体地，通过python中numpy包里集成的nonzero方法，从二值化图像中识别出非零的像素点并返回其坐标，然后根据返回的最小和最大坐标确定一个刚好可以包含乳腺前景区域的最小外接矩形区域，并将其从原图上剪切下来并缩放至512×1024大小，得到缩放后图像。
归一化单元，用于对缩放后图像进行归一化处理，得到归一化图像。
具体地，将剪切下来的缩放后图像通过公式进行归一化处理，得到归一化图像。其中xi为图像像素点值，min(x)和max(x)分别为图像像素的最大值与最小值。
图像叠加单元，用于将三张相同的单通道归一化图像叠加在一起，得到预处理后的样本图像。
CEM的低能图和减影图都是单通道图像，通过叠加低能图-低能图-低能图能够变成一个三通道的低能图，减影图也是这样。因此本发明将低能图或减影图对应的三张相同的单通道归一化图像叠加在一起，得到三通道的RGB图像，作为预处理后的低能图或减影图。
对图像做以上裁剪、归一化以及缩放等处理时，原来对应的病灶标签坐标也随原始图像像素信息改变做相同的操作进行计算转换，确保图像经过预处理后原始病灶位置坐标仍然能同预处理后的图像对应起来。
初步特征提取模块102，用于将预处理后的低能图和减影图分别输入到两个相同的ResNet50深度学习分支网络中进行初步特征提取，得到不同尺度的初步提取特征。
具体地，将预处理好的低能图和减影图分别输入到两个相同的ResNet50深度学习分支网络中进行初步特征提取，首先经过3×3卷积层和最大池化层得到了第一层256×256大小的特征层，然后下面又经过了三个结构相同的残差模块分别得到了特征尺寸为128×128、64×64以及32×32大小的特征层，最终得到如图2左半部分所示的低能图和减影图的四种不同尺度的特征图。
多模态特征融合模块103，用于利用多模态特征融合网络对不同尺度的初步提取特征进行特征融合，得到不同尺度的双模态融合特征。
只有准确跟踪到病灶的位置，才能有目的性地进行更精准的分类。相比于低能图，减影图中的病灶轮廓显示更清晰，更适合做检测任务。而低能图中往往提供了更加丰富的乳腺及钙化信息，对病灶的分类更有帮助。因此，本发明开发了一种以减影图为主要融合支路，以低能图为辅助融合支路的多模态特征融合网络，以充分利用CEM图像信息实现更加精准的病灶检测和分类。
图3示出了本发明多模态特征融合网络的特征处理过程，由于底层特征尺寸较大，其融合计算会产生过多的计算量，因此只对上面的三层128×128、64×64以及32×32大小的特征做了融合。对应在同一尺度上的低能图和减影图的初步提取特征，先分别经过相同的双卷积注意力机制得到双卷积注意力特征，随后将减影图的双卷积注意力特征向量通过激活函数映射为0-1的值，接着用1减去该值，即通过1-sigmoid(双卷积注意力)的方式进行特征取反得到其反向特征，然后与低能图的双卷积注意力特征进行逐元素相乘的运算又得到新的合成辅助特征，最后将原始的减影图的初步提取特征同合成辅助特征逐元素相加得到双模态融合特征。
图4示出了本发明双卷积注意力机制的特征处理过程，该机制通过自适应地集成局部特征及其全局依赖性，基于自我约束机制捕获丰富的上下文依赖关系。如图4所示，每一层的低能图和减影图特征在融合之前，先通过双卷积注意力操作，在空间和通道的双重维度上叠加卷积注意力思想，通过给定一个中间特征图，分别沿着两个独立的维度(通道和空间)依次推断注意力图，然后将注意力图与输入特征图相乘再进行另一种注意力操作，最后通过相加将特征做进一步整合，得到了最终的双卷积注意力特征。
图5示出了本发明双卷积注意力机制中通道注意力操作的特征处理过程。如图5所示，首先对输入特征图分别做两次reshape，分别得到特征图1和2，然后又对输入特征图reshape到和它们相同的尺度和通道后又做了转置(transpose)得到特征图3，接着将特征图3和其中一条支路上reshape后的特征图2相乘然后通过softmax函数，将得到的特征向量与特征1做乘积再乘以尺度系数B，再reshape为原来形状(其中B初始化为0，并逐渐的学习分配到更大的权重)，最后同输入特征进行逐元素相加的运算，得到最终赋予了通道注意力权重的特征，即通道注意力特征。
图6示出了本发明双卷积注意力机制中空间注意力操作的特征处理过程。如图6所示，输入特征图首先分别经过了3个卷积层得到3个特征图A、B、C，然后做相同的reshape，之后将reshape后的C的转置与reshape后的B相乘再通过softmax，然后将得到的特征向量和reshape后的特征图A做相乘运算，乘以尺度系数再reshape为原形状，最后与输入特征向量相加得到最终的输出特征，该特征每个位置的值是原始特征每个位置的加权求和得到的。其中尺度系数初始化为0，随着逐渐的学习会逐渐变更权重。
多尺度金字塔特征融合模块104，用于将不同尺度的双模态融合特征输入多尺度金字塔特征融合网络，融合得到多尺度金字塔特征层。
具体地，将不同尺度的双模态融合特征输入多尺度金字塔特征融合网络中，融合的各层特征通过邻近的插值2倍上采样(upsampling)算法自顶向下生成和下一级融合特征相同大小的特征图，接着通过横向进行相加融合操作，在融合之后再采用3*3的卷积核对每个融合结果进行卷积消除上采样的混叠效应，最后得到了自顶向下为32×32、64×64以及128×128的多尺度金字塔特征。
检测头病灶识别模块105，用于将多尺度金字塔特征层输入对应检测头，输出乳腺病灶识别结果。
图7示出了本发明检测头的特征处理过程。如图2所示，每一层金字塔特征层后都跟有一个检测头，三层金字塔特征后的检测头共享权重。
如图7所示，每个检测头包含一个回归子网络和一个分类子网络。在回归子网络里，首先将输入的金字塔特征通过空间注意力机制给所有特征赋予不同的空间注意力权重，然后经过四个3*3卷积层，最终再通过一个3*3卷积进行特征预测，输出4*k通道的特征，其中k为anchor个数，最终输出的4*k个特征向量为检测框位置信息与置信分数。检测头中回归子网络的作用是定位乳腺肿瘤坐标位置，输出为检测框坐标信息。这里的anchor可以理解为是锚框，也就是初步预测的检测框信息。
如图7所示，分类子网络中，先将输入的特征通过通道注意力机制给所有特征赋予不同的通道注意力权重，然后同回归子网络相同，经过四个3*3卷积层，最终经过一个3*3卷积和softmax函数，预测输出a*k通道的特征向量；其中a为类别数，这里的类别包括肿瘤的良性和恶性，所以a的取值应为2，k为锚框(anchor)个数。
另外，在确定最终检测框时，每一个anchor与事先标注好的GT Box(真实位置坐标标签)进行比对，通过公式计算它们之间的IoU值(交并比)，如果IoU大于0.5，则视为正样本，小于0.5则为负样本，最后从剩下的正样本anchor中选择置信分数最高的作为最终检测框，即识别出了病灶位置和病灶类别。
本发明提供的一种基于多模态的对比增强乳腺X线摄影图像的乳腺病灶识别系统，结合双卷积注意力机制进行多模态辅助特征融合，以充分利用低能图和减影图的多模态和上下文信息，在CEM图像上快速定位乳腺病灶并做出准确分类，极大提高了乳腺病灶识别效率和精度。
进一步地，本发明实施例还提供一种电子设备，该电子设备可以包括：处理器、通信接口、存储器和通信总线。其中，处理器、通信接口、存储器通过通信总线完成相互间的通信。处理器可以调用存储器中的计算机程序，以执行所述的基于深度学习的乳腺CEM图像病灶识别方法，包括：
S1：获取CEM图像并进行图像预处理，得到预处理后的样本图像；所述CEM图像包括双侧乳腺头尾位和内外斜位的低能图及减影图；所述预处理后的样本图像包括预处理后的低能图和减影图。
具体地，在获取的CEM图像中标注出病灶感兴趣区域以生成病灶的位置标签，同时将标注的病灶标注良恶性以作为分类标签；对带有标签的CEM图像进行二值化处理，得到二值化图像；从二值化图像中裁剪出包含乳腺前景区域的最小外接矩形区域并缩放至统一大小，得到缩放后图像；对缩放后图像进行归一化处理，得到归一化图像；将三张相同的单通道归一化图像叠加在一起，得到预处理后的样本图像。
S2：将预处理后的低能图和减影图分别输入到两个相同的ResNet50深度学习分支网络中进行初步特征提取，得到不同尺度的初步提取特征。
具体地，将预处理后的低能图和减影图分别输入到两个相同的ResNet50深度学习分支网络中，首先经过3×3卷积层和最大池化层得到256×256大小的特征图，然后又经过三个结构相同的残差模块分别得到特征尺寸为128×128、64×64以及32×32大小的特征图，共同构成四种不同尺度的初步提取特征。
S3：利用多模态特征融合网络对不同尺度的初步提取特征进行特征融合，得到不同尺度的双模态融合特征。
具体地，针对特征尺寸为128×128、64×64以及32×32大小的特征图，将同一尺度的低能图和减影图对应的特征图先分别经过相同的双卷积注意力机制得到双卷积注意力特征；随后将减影图的双卷积注意力特征通过1-sigmoid(双卷积注意力特征)的方式进行特征取反得到其反向特征；然后将减影图的反向特征与低能图的双卷积注意力特征进行逐元素相乘的运算，得到新的合成辅助特征；最后将原始减影图对应的特征图同合成辅助特征进行逐元素相加，得到不同尺度的双模态融合特征。
S4：将不同尺度的双模态融合特征输入多尺度金字塔特征融合网络，融合得到多尺度金字塔特征层。
具体地，将不同尺度的双模态融合特征通过邻近的插值2倍上采样算法自顶向下生成和下一级融合特征大小相同的特征图，接着通过横向进行相加融合操作，在融合之后再采用3*3的卷积核对每个融合结果进行卷积消除上采样的混叠效应，最后得到自顶向下为32×32、64×64以及128×128大小的多尺度金字塔特征。
S5：将多尺度金字塔特征层输入对应检测头，输出乳腺病灶识别结果；所述检测头包括回归子网络和分类子网络；所述乳腺病灶识别结果包括病灶位置和类别。
具体地，将多尺度金字塔特征输入对应的回归子网络，输出病灶位置；将多尺度金字塔特征输入对应的分类子网络，输出病灶类别。
此外，上述的存储器中的计算机程序通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个非暂态计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于深度学习的乳腺CEM图像病灶识别系统，其特征在于，包括：
图像收集及预处理模块，用于获取CEM图像并进行图像预处理，得到预处理后的样本图像；所述CEM图像包括双侧乳腺头尾位和内外斜位的低能图及减影图；所述预处理后的样本图像包括预处理后的低能图和减影图；
初步特征提取模块，用于将预处理后的低能图和减影图分别输入到两个相同的ResNet50深度学习分支网络中进行初步特征提取，得到不同尺度的初步提取特征；
多模态特征融合模块，用于利用多模态特征融合网络对不同尺度的初步提取特征进行特征融合，得到不同尺度的双模态融合特征；
多尺度金字塔特征融合模块，用于将不同尺度的双模态融合特征输入多尺度金字塔特征融合网络，融合得到多尺度金字塔特征层；
检测头病灶识别模块，用于将多尺度金字塔特征层输入对应检测头，输出乳腺病灶识别结果；所述检测头包括回归子网络和分类子网络；所述乳腺病灶识别结果包括病灶位置和类别。
2.根据权利要求1所述的基于深度学习的乳腺CEM图像病灶识别系统，其特征在于，所述图像收集及预处理模块，具体包括：
标签标注单元，用于在获取的CEM图像中标注出病灶感兴趣区域以生成病灶的位置标签，同时将标注的病灶标注良恶性以作为分类标签；
二值化单元，用于对带有标签的CEM图像进行二值化处理，得到二值化图像；
裁剪及缩放单元，用于从二值化图像中裁剪出包含乳腺前景区域的最小外接矩形区域并缩放至统一大小，得到缩放后图像；
归一化单元，用于对缩放后图像进行归一化处理，得到归一化图像；
图像叠加单元，用于将三张相同的单通道归一化图像叠加在一起，得到预处理后的样本图像。
3.根据权利要求2所述的基于深度学习的乳腺CEM图像病灶识别系统，其特征在于，所述初步特征提取模块，具体包括：
初步特征提取单元，用于将预处理后的低能图和减影图分别输入到两个相同的ResNet50深度学习分支网络中，首先经过3×3卷积层和最大池化层得到256×256大小的特征图，然后又经过三个结构相同的残差模块分别得到特征尺寸为128×128、64×64以及32×32大小的特征图，共同构成四种不同尺度的初步提取特征。
4.根据权利要求3所述的基于深度学习的乳腺CEM图像病灶识别系统，其特征在于，所述多模态特征融合模块，具体包括：
多模态特征融合单元，用于针对特征尺寸为128×128、64×64以及32×32大小的特征图，将同一尺度的低能图和减影图对应的特征图先分别经过相同的双卷积注意力机制得到双卷积注意力特征；随后将减影图的双卷积注意力特征通过1-sigmoid(双卷积注意力特征)的方式进行特征取反得到其反向特征；然后将减影图的反向特征与低能图的双卷积注意力特征进行逐元素相乘的运算，得到新的合成辅助特征；最后将原始减影图对应的特征图同合成辅助特征进行逐元素相加，得到不同尺度的双模态融合特征。
5.根据权利要求4所述的基于深度学习的乳腺CEM图像病灶识别系统，其特征在于，所述多尺度金字塔特征融合模块，具体包括：
多尺度金字塔特征融合单元，用于将不同尺度的双模态融合特征通过邻近的插值2倍上采样算法自顶向下生成和下一级融合特征大小相同的特征图，接着通过横向进行相加融合操作，在融合之后再采用3*3的卷积核对每个融合结果进行卷积消除上采样的混叠效应，最后得到自顶向下为32×32、64×64以及128×128大小的多尺度金字塔特征。
6.根据权利要求5所述的基于深度学习的乳腺CEM图像病灶识别系统，其特征在于，所述检测头病灶识别模块，具体包括：
病灶位置识别单元，用于将多尺度金字塔特征输入对应的回归子网络，输出病灶位置；
病灶类别识别单元，用于将多尺度金字塔特征输入对应的分类子网络，输出病灶类别。
7.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现一种基于深度学习的乳腺CEM图像病灶识别方法；所述基于深度学习的乳腺CEM图像病灶识别方法包括：
获取CEM图像并进行图像预处理，得到预处理后的样本图像；所述CEM图像包括双侧乳腺头尾位和内外斜位的低能图及减影图；所述预处理后的样本图像包括预处理后的低能图和减影图；
将预处理后的低能图和减影图分别输入到两个相同的ResNet50深度学习分支网络中进行初步特征提取，得到不同尺度的初步提取特征；
利用多模态特征融合网络对不同尺度的初步提取特征进行特征融合，得到不同尺度的双模态融合特征；
将不同尺度的双模态融合特征输入多尺度金字塔特征融合网络，融合得到多尺度金字塔特征层；
将多尺度金字塔特征层输入对应检测头，输出乳腺病灶识别结果；所述检测头包括回归子网络和分类子网络；所述乳腺病灶识别结果包括病灶位置和类别。
8.根据权利要求7所述的电子设备，其特征在于，所述存储器为非暂态计算机可读存储介质。
CN202311006439.0A 2023-08-11 2023-08-11 一种基于深度学习的乳腺cem图像病灶识别系统及设备 Pending CN116993703A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311006439.0A CN116993703A (zh) 2023-08-11 2023-08-11 一种基于深度学习的乳腺cem图像病灶识别系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311006439.0A CN116993703A (zh) 2023-08-11 2023-08-11 一种基于深度学习的乳腺cem图像病灶识别系统及设备

Publications (1)

Publication Number Publication Date
CN116993703A true CN116993703A (zh) 2023-11-03

Family

ID=88529996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311006439.0A Pending CN116993703A (zh) 2023-08-11 2023-08-11 一种基于深度学习的乳腺cem图像病灶识别系统及设备

Country Status (1)

Country Link
CN (1) CN116993703A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117830751A (zh) * 2024-03-06 2024-04-05 苏州凌影云诺医疗科技有限公司 一种基于DenseNet的肠息肉LST形态识别方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117830751A (zh) * 2024-03-06 2024-04-05 苏州凌影云诺医疗科技有限公司 一种基于DenseNet的肠息肉LST形态识别方法和装置
CN117830751B (zh) * 2024-03-06 2024-05-07 苏州凌影云诺医疗科技有限公司 一种基于DenseNet的肠息肉LST形态识别方法和装置

Similar Documents

Publication Publication Date Title
Souza et al. An automatic method for lung segmentation and reconstruction in chest X-ray using deep neural networks
Ying et al. Thyroid nodule segmentation in ultrasound images based on cascaded convolutional neural network
CN112241966B (zh) 多任务多分类的胸部器官分割模型建立、分割方法及系统
Hu et al. Skinsam: Empowering skin cancer segmentation with segment anything model
JP2022518446A (ja) 深層学習に基づく医用画像検出方法及び装置、電子機器及びコンピュータプログラム
Ates et al. Dual cross-attention for medical image segmentation
EP4177828A1 (en) Method and system for domain knowledge augmented multi-head attention based robust universal lesion detection
CN109754007A (zh) 前列腺手术中外包膜智能检测和预警方法及系统
CN113344951A (zh) 一种边界感知双重注意力引导的肝段分割方法
CN117422715B (zh) 一种基于全局信息的乳腺超声肿瘤病变区域检测方法
CN114332572B (zh) 基于显著图引导分层密集特征融合网络用于提取乳腺病变超声图像多尺度融合特征参数方法
Zhao et al. D2a u-net: Automatic segmentation of covid-19 lesions from ct slices with dilated convolution and dual attention mechanism
CN116993703A (zh) 一种基于深度学习的乳腺cem图像病灶识别系统及设备
Liu et al. Automatic segmentation algorithm of ultrasound heart image based on convolutional neural network and image saliency
CN114155232A (zh) 颅内出血区域检测方法、装置、计算机设备及存储介质
Hou et al. Mass segmentation for whole mammograms via attentive multi-task learning framework
Wu et al. Continuous refinement-based digital pathology image assistance scheme in medical decision-making systems
CN118351300A (zh) 基于U-Net模型的危机器官自动勾画方法及系统
Wang et al. A novel automatic acne detection and severity quantification scheme using deep learning
Lu et al. Regional perception and multi-scale feature fusion network for cardiac segmentation
Alamir et al. Difference-of-Gaussian generative adversarial network for segmenting breast arterial calcifications in mammograms
Wang et al. DPAM-PSPNet: ultrasonic image segmentation of thyroid nodule based on dual-path attention mechanism
Zhao et al. Mms-net: multi-level multi-scale feature extraction network for medical image segmentation
CN113379691B (zh) 一种基于先验引导的乳腺病灶深度学习分割方法
WO2022227193A1 (zh) 肝脏区域分割方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination