CN115423806B - 一种基于多尺度跨路径特征融合的乳腺肿块检测方法 - Google Patents

一种基于多尺度跨路径特征融合的乳腺肿块检测方法 Download PDF

Info

Publication number
CN115423806B
CN115423806B CN202211372903.3A CN202211372903A CN115423806B CN 115423806 B CN115423806 B CN 115423806B CN 202211372903 A CN202211372903 A CN 202211372903A CN 115423806 B CN115423806 B CN 115423806B
Authority
CN
China
Prior art keywords
feature
image
fusion
feature map
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211372903.3A
Other languages
English (en)
Other versions
CN115423806A (zh
Inventor
谈玲
梁颖
夏景明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202211372903.3A priority Critical patent/CN115423806B/zh
Publication of CN115423806A publication Critical patent/CN115423806A/zh
Application granted granted Critical
Publication of CN115423806B publication Critical patent/CN115423806B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种基于多尺度跨路径特征融合的乳腺肿块检测方法，获取待检测的乳腺钼靶X线图像，将待检测的乳腺钼靶X线图像输入到已训练好的理想网络模型中，对理想网络模型的输出结果进行解码，得到若干个预测框，对这些预测框做ID_NMS非极大值抑制操作，最后输出该乳腺图像中所含肿块的BI‑RADS等级，并框出该肿块的具体位置。优点：本发明在识别该乳腺图像包含哪一病变等级的肿块的同时，输出包含该肿块的矩形位置框。输入图像不需要经过医生标记，X线图像原图就可进行肿块检测；本发明能够使网络在扩大感受野的同时减少参数量，提高模型检测的精度和速度。

Description

一种基于多尺度跨路径特征融合的乳腺肿块检测方法
技术领域
本发明涉及一种基于多尺度跨路径特征融合的乳腺肿块检测方法，属于图像处理技术领域。
背景技术
乳腺癌是女性发病率最高的癌症之一，其死亡率远高于其他女性癌症。定期的乳腺检查可以有效降低乳腺癌发病率。乳腺钼靶X线摄影是公认的早期诊断乳腺癌的标准筛查方式。乳腺钼靶X线摄影成像清晰，对比度高，而且成本低，适合日常体检时乳腺癌早期筛查和诊断。然而在实际诊断过程中，由于医生的扫描手法和仪器固有的伪影噪声，容易出现误诊、漏诊等现象。计算机辅助诊断是很好的辅助医疗手段，它能有效降低误诊率和漏诊率。乳腺肿块是乳腺癌的重要诊断依据之一。它在X线图像中呈类圆形，密度多数情况下比较致密，周围有薄层晕环，部分恶性肿块边缘呈针状。乳腺肿块检测分为肿块位置检测和BI-RADS等级分类。位置检测用于在乳腺X线图像中找到所有可疑乳腺肿块区域的位置，BI-RADS等级分类用于判断这些可疑肿块按照严重程度属于哪一病变等级。由于乳腺肿块边缘复模糊且与周围正常组织纹理相似，在乳腺X线图像中检测肿块是一项极具挑战的工作。
传统的乳腺肿块检测方法利用传统图像处理操作，先手工提取特征，再将特征输入到分类器。现有技术中提出把乳腺肿块检测转化为分类问题，他们将微波乳腺传感转换为概率映射，再通过支持向量机（SVM）方法得到存在肿块的后验概率。现有技术中还提出通过线性变换滤波器对乳腺图像进行数据增强，再通过局部自适应阈值方法分割图像中的乳腺肿块。现有技术中还使用图像模板匹配方法检测肿块。上述的这些传统的研究方法检测效果差，且计算复杂，手工提取的特征对不同病灶的描述具有局限性。近几年在深度学习的发展下，研究者们将深度学习用于乳腺肿块检测中。基于CNN的深度学习可以从输入图像中针对不同的任务，自适应提取最有效的特征。现有技术中提出RCNN采用区域建议网络（Region Proposal Networks）生成2000个候选框，并将这些区域归一化为统一大小，再将这些候选框中的图片送入卷积神经网络中提取特征，通过支持向量机方法进行分类，最后通过前馈网络回归目标的边界框。现有技术将YOLO方法应用到乳腺肿块检测上，可以在一个网络中同时检测和分类乳腺肿块，提高了检测效率，但是这种方法容易忽视小肿块，对于边缘不规则的肿块，检测结果假阳性率高。现有技术还提出一种混合模型，该方法通过滑动窗口从每个图像生成的两个热图当作分类器的附加视图，以提高分类性能。
现有关于乳腺肿块的研究方向大多数聚焦于肿块病变等级分类，而忽略了肿块位置检测。因此，需要在乳腺肿块位置的定位和病变等级的分类方面进行深入研究，以期同时获得肿块的位置和病变等级。
发明内容
本发明所要解决的技术问题是克服现有技术的缺陷，提供一种基于多尺度跨路径特征融合的乳腺肿块检测方法。
为解决上述技术问题，本发明提供一种基于多尺度跨路径特征融合的乳腺肿块检测方法，包括：
获取待检测的乳腺钼靶X线图像，将待检测的乳腺钼靶X线图像输入到已训练好的理想网络模型中，对理想网络模型的输出结果进行解码，得到若干个预测框，对这些预测框做ID_NMS非极大值抑制操作，最后输出该乳腺图像中所含肿块的BI-RADS等级，并框出该肿块的具体位置；
得到所述已训练好的理想网络模型的过程，包括：
获取乳腺钼靶X线图像训练集；
从乳腺钼靶X线图像训练集提取乳腺钼靶X线图像，对乳腺钼靶X线图像进行预处理，将乳腺区域与黑色背景分离，得到乳腺区域图像；
利用图像融合的方法对乳腺区域图像进行扩充得到图像数据集；对图像数据集使用形态学方法进行数据增强，得到加深对比度后的乳腺图像；
利用预先构建的主干特征提取网络对加深对比度后的乳腺图像进行初步特征提取，生成若干个不同尺寸的原始特征图；
将不同尺寸的原始特征图输入到增强模块，进行特征再提取和特征增强，得到不同尺寸的增强特征图；
将提取到的不同尺寸的增强特征图输入到跨路径特征融合模块，得到多尺度跨路径特征融合特征图；
将多尺度跨路径特征融合特征图输入到预测模块，对多尺度跨路径特征融合特征图是否存在肿块、肿块分类和定位进行初步预测结果；根据初步预测结果的肿块分类、内含肿块概率及先验框与地面真值框之间的交并比IoU，计算训练损失和；不断进行神经网络的训练，降低模型损失，当模型损失低于预设值时，得到训练好的理想网络模型。
进一步的，所述对乳腺钼靶X线图像进行预处理，将乳腺区域与黑色背景分离，得到乳腺区域图像，包括：
S11、用最大类间方差法对乳腺钼靶X线图像进行分割，将乳腺区域变成白色部分，得到包括乳腺区域和背景黑色区域的二值图；
S12、计算二值图中的连通区域，选取最大连通区域就是乳腺区域；计算该连通区域的最小外接矩形并剪切，得到乳腺区域图像。
进一步的，所述利用图像融合的方法对乳腺区域图像进行扩充得到图像数据集；对图像数据集使用形态学方法进行数据增强，得到加深对比度后的乳腺图像，包括：
S21、根据医生标注的肿块矩形框左上角和右下角的像素值，得到要裁剪的矩形框的宽高；在乳腺区域图像中随机裁剪与肿块矩形框相同大小的正常组织矩形区域，得到正常组织区域图像；
S22、将随机裁剪出来的正常组织区域图像与肿块矩形框对应的肿块区域图像进行像素融合，获得一张与原肿块图像相同病变等级，但肿块位置不一样的乳腺图像；
S23、重复S21- S22步骤n次，将数据集增大至原来的n+1倍，获得图像数据集；
S24、依据图像数据集中的乳腺区域图像生成图像直方图，对图像数据集中的乳腺区域图像的像素值进行排序，将直方图左端m%的位置当作最小像素值，直方图右端m%的位置当作最大像素值，重新计算图像中所有像素值，让其分布在新范围中，输出加深对比度后的乳腺图像；重新计算图像中所有像素值的计算公式为：
Figure 571814DEST_PATH_IMAGE001
其中，
Figure 100002_DEST_PATH_IMAGE002
为新像素值，P max 为新范围的最大像素值；P min 为新范围的最小像素值；P old 为像素点的原像素值。
进一步的，所述利用预先构建的主干特征提取网络对加深对比度后的乳腺图像进行初步特征提取，生成若干个不同尺寸的原始特征图，包括：
S31、对加深对比度后的乳腺图像进行切片操作，在一张加深对比度后的乳腺图像中每隔一个像素取一个值，获得12个独立的通道层，将这12个独立的通道层进行堆叠，通过1×1卷积层增加通道数；
S32、基于CSPDarknet网络改进得到所述主干特征提取网络，包括：
去除CSPDarknet网络中的最大池化层和最后的SPP结构，CSPDarknet网络中的下采样层替换为3×3卷积层；将CSPDarknet网络中的CSP_X结构中的普通残差块换成深度可分离残差块，所述深度可分离残差块依次包含3×3逐通道卷积、激活函数和1×1逐点卷积；将替换为3×3卷积层的下采样层和基于深度可分离残差块的CSP_X结构结合组成Resblock块；
S33、选取后三个Resblock输出的原始特征图，分辨率为80×80、40×40、20×20，得到三个不同尺寸的原始特征图。
进一步的，所述CSP_X结构包括深度可分离卷积和X个残差单元，残差单元的个数根据当前特征图的大小而改变，深层特征图残差单元个数比浅层特征图少。
进一步的，所述将不同尺寸的原始特征图输入到增强模块，进行特征再提取和特征增强，得到不同尺寸的增强特征图，包括：
S41、选取分辨率为80×80、40×40或20×20的原始特征图输入MSA模块；MSA模块分为多尺度特征提取MSFE模块和注意力机制CSA模块；
S42、原始特征图依次进入多尺度特征提取MSFE模块，该多尺度特征提取MSFE模块将输入特征图按通道数分成4组，第一组特征图保持不变，第二组特征图经过3×3卷积进一步提取特征，第三组特征图结合第二组生成的新特征图相加经过3×3卷积，第四组特征图结合第三组的卷积结果进入3×3卷积层；最后将生成的4个新特征图通道融合成新特征图；将新特征图与原始特征图融合，生成多尺度特征图；
进一步的，所述将不同尺寸的原始特征图输入到增强模块，进行特征再提取和特征增强，得到不同尺寸的增强特征图，包括：
S43、将多尺度特征图输入注意力机制CSA模块，注意力机制CSA模块包括串联的通道注意力模块和空间注意力模块；多尺度特征图经过全局平均池化将特征图每层通道图压缩成1×1，再通过一维快速卷积层建立跨通道信息依赖关系得到通道注意力特征图；根据输入的多尺度特征图的通道数自适应计算一维卷积层的卷积核大小k channel 为：
Figure 647087DEST_PATH_IMAGE003
/>
其中，in_ch为输入特征图的通道数量；γ是调节系数；
将一维快速卷积生成的通道注意力特征图通过激活函数生成通道注意力图，再将该通道注意力图与输入的多尺度特征图相乘得到加权特征图；将加权特征图分别经过全局最大池化和全局平均池化，对全局最大池化和全局平均池化后获得的两个特征图进行融合连接和卷积层降维，再通过激活函数生成空间注意力图，最后将该空间注意力图与输入的加权特征图相乘，得到在通道和空间两个维度进行注意力加权的分辨率为80×80、40×40或20×20的增强特征图。
进一步的，所述将提取到的不同尺寸的增强特征图输入到跨路径特征融合模块，得到多尺度跨路径特征融合特征图，包括：
S51、选取分辨率分别为80×80、40×40、20×20的增强特征图，输入CP_FPN模块的输入；
S52、利用CP_FPN模块将分辨率为20×20的增强特征图输入深度可分离卷积块得到20×20的初级融合特征图一，对初级融合特征图一进行最邻近插值放大处理后，与40×40的增强特征图进行融合得到40×40的初级融合特征图二，并将初级融合特征图二作为下一步特征融合的深层特征，与下一级80×80增强特征图继续进行特征融合，得到80×80的初级融合特征图三；完成第一条自深向浅的特征融合路径，得到20×20的初级融合特征图一、40×40的初级融合特征图二和80×80的初级融合特征图三；
将初级融合特征图三作为第二条自浅向深的特征融合路径的输入，对其进行卷积下采样，并融合自深向浅路径中的初级融合特征图二、MSA模块输出中40×40的增强特征图，得到40×40的高级融合特征图一；将高级融合特征图一作为下一步特征融合的浅层特征，卷积下采样后与前条路径的初级融合特征图一、MSA模块输出的20×20的增强特征图进行特征融合，得到20×20的高级融合特征图二；
S53、将初级融合特征图三、高级融合特征图一和高级融合特征图二分别通过3×3深度可分离卷积块，最终得到分辨率为80×80、40×40、20×20的多尺度跨路径特征融合特征图。
进一步的，所述将多尺度跨路径特征融合特征图输入到预测模块，对多尺度跨路径特征融合特征图是否存在肿块、肿块分类和定位进行初步预测结果；根据初步预测结果的肿块分类、内含肿块概率及先验框与地面真值框之间的交并比IoU，计算训练损失和；不断进行神经网络的训练，降低模型损失，当模型损失低于预设值时，得到训练好的理想网络模型，包括：
S61、在多尺度跨路径特征融合特征图f×f×n中设置f×f个特征点，每个特征点设置不同大小的先验框，根据医生标注文件对乳腺图像进行标定真值框，第一个f表示多尺度跨路径特征融合特征图的长，第二个f表示多尺度跨路径特征融合特征图的宽，n表示多尺度跨路径特征融合特征图的通道；
计算各个先验框与真值框的IoU值，将IoU值大于预设阈值的先验框作为正样本，小于预设阈值的先验框作为负样本；
S62、将多尺度跨路径特征融合特征图分别依次输入两个3×3深度可分离卷积块和一个1×1卷积块，得到该多尺度跨路径特征融合特征图对应的初步预测结果，最终的通道数和肿块分类类别数、每一个特征层上每一个特征点存在的先验框个数相关；输出的初步预测结果包括每一个特征点的先验框内部包含肿块的概率、先验框中心点相较于特征点的偏移和先验框相较于真值框的宽高参数、先验框内部肿块类别的概率；
S63、根据输出的初步预测结果和真值框，计算损失和
Figure 529592DEST_PATH_IMAGE004
，表示为：
Figure 100002_DEST_PATH_IMAGE005
其中，L conf 为先验框包含肿块的置信度损失函数；L loc 为正样本先验框的定位损失函数；L cls 是正样本先验框的肿块类别损失函数；c是平衡系数，用于平衡正负样本比例不均；
Figure 945659DEST_PATH_IMAGE006
其中，F是该特征图对应的特征点的数量；M是每个特征点对应先验框的数量；x ij 为第i个特征点的第j个先验框包含肿块的概率；y ij 为第i个特征点的第j个先验框属于正样本的概率；
Figure 100002_DEST_PATH_IMAGE007
其中，IoU是预测框与真值框的交集；ρ(•)代表欧式距离；d gt 是真值框的中心点位置；d pre 是先验框的中心点位置；l是两个边界框并集的最小外接矩形的对角线距离；
Figure 825891DEST_PATH_IMAGE008
其中，N是正样本先验框的数量；num_cls是肿块类别数量；
Figure DEST_PATH_IMAGE009
=｛0,1｝，为第i个正样本先验框对应的真值框是否属于p类别，p表示第p个肿块类别；/>
Figure 450776DEST_PATH_IMAGE010
为第i个正样本先验框属于第p个肿块类别的概率；
S64、不断降低损失和，当模型损失低于预设值时，得到理想网络模型。
进一步的，所述对理想网络模型的输出结果进行解码，得到若干个预测框，对这些预测框做ID_NMS非极大值抑制操作，包括：
S71、根据输出结果中的每个先验框包含肿块概率设置阈值，概率大于阈值的先验框当作预测框，概率小于阈值的先验框舍弃；将每个预测框的位置和类别参数提取出来，作为解码模块的输入；
S72、解码模块对预测框的位置和所包含肿块的类别进行解码，将预测框的相对中心点位置和宽高参数解码成预测框的四角坐标，肿块类别信息的one-hot编码解码为某一类肿块BI-RADS等级；
S73、对预测框做ID_NMS非极大值抑制操作，同时考虑IoU和预测框中心点距离两个因素；按照预测框包含肿块的置信度大小，对预测框进行降序排列；选取置信度最高的预测框，计算置信度最高的预测框与其他预测框的IoU值；当IoU值小于预设阈值时，保留该预测框；当IoU值大于预设阈值时，计算这两个预测框中心点的欧式距离，若中心点距离大于预设距离阈值，保留该预测框；若中心点距离小于预设距离阈值，则舍弃该预测框，得到最终的乳腺肿块预测结果。
本发明所达到的有益效果：
（1）本发明主要用于计算机辅助乳腺肿块诊断。由于该领域的乳腺肿块检测方法主要集中于用医生标记好的病灶区域作为输入，识别该病灶区域为哪一病变等级的肿块，而实际医疗设备扫描的X线图像是一副完整的附带大面积黑色背景的乳腺图像，并没有标记好的病灶区域。本发明提出的基于多尺度跨路径特征融合的乳腺肿块检测模型针对这个问题，在识别该乳腺图像包含哪一病变等级的肿块的同时，输出包含该肿块的矩形位置框。输入图像不需要经过医生标记，X线图像原图就可进行肿块检测。
（2）根据本发明提供的网络结构在现有的特征提取网络的基础上，在特征图末端加入了多尺度特征提取模块和注意力模块，并将网络中的普通的残差模块换成深度可分离的残差块，使网络在扩大感受野的同时减少参数量，提高模型检测的精度和速度。
附图说明
图1为本发明基于多尺度跨路径特征融合的乳腺肿块检测方法的流程图；
图2为本发明乳腺肿块检测网络的整体网络模块图；
图3为本发明乳腺肿块检测网络中基于深度可分离卷积的CSP_X结构示意图；
图4为本发明乳腺肿块检测网络中多尺度特征提取模块的结构示意图；
图5为本发明乳腺肿块检测网络中注意力模块的结构示意图；
图6为本发明乳腺肿块检测网络中跨路径特征融合模块的结构示意图；
图7为本发明乳腺肿块检测网络中预测模块的结构示意图；
图8为本发明方法与其他方法的损失值收敛情况；
图9为本发明方法与其他方法的平均精度均值的比较示意图；
图10为本发明方法与其他方法的受试者工作特征曲线的对比图；
图11为医生标注结果示意图；
图12为本发明检测结果示意图；
图13为YOLOv5检测结果示意图；
图14为Mask RCNN检测结果示意图；
图15为RCNN检测结果示意图；
图16为SSD检测结果示意图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
如图1所示，本发明涉及一种基于多尺度跨路径特征融合的乳腺肿块检测方法，所述方法具体包括以下步骤:
S1，对乳腺钼靶X线图像进行预处理，实现乳腺区域与黑色背景分离，得到乳腺区域图像，最大程度地减少图像冗余部分，具体如下：
S11，通过OpenCV库中的threshold函数将钼靶图像转换为二值图，根据二值图计算最大连通区域，最大连通区域的部分就是乳腺；用findContours函数找到乳腺区域的轮廓信息，用minAreaRect函数得到乳腺轮廓最小外接矩形的四点坐标；对坐标进行排序，得到初步最小外接矩形；
S12，对于乳腺轮廓不与图像边界平行的图像，按照初步最小外接矩形直接裁剪会遗漏图像边缘信息；根据初步最小外接矩形的四点坐标，计算矩形的长宽，生成一个相同大小且与图像边界平行的新矩形；计算新旧矩形四角坐标之间的映射关系，根据映射关系修改新矩形坐标，使其完全包含乳腺区域，得到乳腺区域的最终最小外接矩形。
S2，用图像融合的方法扩充预处理后的图像数据集；再对扩充后的数据集图像使用形态学进行数据增强，增强乳腺图像内部组织对比度，具体如下：
S21，每一张乳腺图像都有一个XML文件，XML文件中存储着图像所含的肿块类别及位置信息；根据肿块的位置信息计算出肿块包围框左上角和右下角坐标，在乳腺区域随机截取一个相同大小的正常组织矩形框，并设置截取的矩形框不能超过图像边界；使用图像融合的方法将正常组织部分与肿块部分进行像素融合，并生成对应的XML文件，该XML文件包含交换后的肿块位置信息和类别；重复以上步骤11次，将原数据集100张图片扩充到1200张；按照8：2的比例，扩充后的数据集分为训练集和测试集；
S22，生成图像直方图，将左端5%的位置当作最小像素值，右端5%的位置当作最大像素值，重新计算图像中所有像素值，让其分布在新范围中，输出加深对比度后的乳腺图像。新像素值计算公式为：
Figure 809076DEST_PATH_IMAGE001
其中，P max 为新范围的最大像素值；P min 为新范围的最小像素值；P old 为像素点的原像素值；
S23，在乳腺图像右方填充黑色边使其调整为正方形，用resize函数把任意尺寸的图像统一大小至640×640像素，完成模型输入图像的预处理操作。
S3，构建主干特征提取网络DP_CSPDarknet，对增强后的乳腺图像进行初步特征提取，具体如下：
S31，对图像进行切片操作，在一张图像中每个通道每隔一个像素取一个值，获得12个分辨率为320×320像素的独立通道层，将这12个独立的通道层进行通道堆叠，通过1×1卷积层增加通道数；
S32，基于CSPDarknet网络改进，如图2所示，去除网络中的最大池化层和最后的SPP结构，下采样替换为卷积核为3，步长为2，padding填充为1的卷积层，可以降低最大池化造成的特征损失；将CSPDarknet网络中的CSP_X结构中的普通残差块换成深度可分离残差块实现轻量化网络；基于深度可分离的CSP_X结构如图3所示；深度可分离残差块依次包含3×3逐通道卷积、激活函数和1×1逐点卷积；CSP_X结构包括深度可分离卷积和X个残差单元，残差单元的个数根据当前特征图的大小而改变，深层特征图残差单元个数比浅层特征图少，目的是减少深层特征图的信息损失；将下采样层和基于深度可分离残差块的CSP_X结构结合组成Resblock块；将Resblock结构中堆叠的CSP结构个数分别设置为2，3，3，1；
S33，选取最后三个Resblock输出的原始特征图，尺寸分别为（80，80，256）、（40，40，512）、（20，20，1024）。
S4，所述步骤S4中将不同尺寸的原始特征图输入到MSA模块，进行特征再提取和特征增强，具体如下：
S41，选取分辨率为80×80、40×40、20×20的特征图输入MSA模块；MSA模块分为多尺度特征提取MSFE模块和注意力机制CSA模块；
S42, 三个特征图分别进入MSFE多尺度特征提取模块；如图4所示，该多尺度特征提取模块将输入特征图按通道数分成4组，第一组特征图保持不变，第二组特征图经过3×3卷积进一步提取特征，第三组特征图结合第二组的特征提取结果图再次经过3×3卷积提取特征，第四组特征图结合第三组的特征提取结果进入3×3卷积层提取特征；最后将4组生成的4个新特征图通道融合成新的特征图，新特征图融合了3×3、5×5、7×7感受野的特征提取结果。并加入残差结构，将新特征图与原始输入特征图融合，生成多尺度特征图；既扩大了感受野，也保留了原始特征；
S43，在多尺度特征图后引入CSA注意力机制，该注意力机制基于ECA注意力机制和CBAM注意力机制做出改进，由串联的通道注意力模块和空间注意力模块构成；如图5所示；特征图先经过全局平均池化将特征图每层通道压缩成1×1，再通过一维快速卷积建立跨通道信息依赖关系，减少网络参数量；一维快速卷积核大小随着输入特征层通道大小而变化。根据输入特征图的通道数自适应计算一维卷积层的卷积核大小k channel 为：
Figure 281646DEST_PATH_IMAGE003
其中in_ch为输入特征图的通道数量；γ是调节系数，用来调节跨通道交互的覆盖率，γ=2；
将一维快速卷积生成的特征图通过sigmoid激活函数将值固定在0-1之间，得到输入特征层每一个通道的权值，即通道注意力图，代表各特征层的重要程度；再将该通道注意力图与输入特征图相乘得到加权后的特征图；将加权后的特征图分别经过全局最大池化和全局平均池化，对获得的两个特征图进行concat融合连接和1×1卷积层降维，然后通过sigmoid激活函数生成空间注意力图，最后将该空间注意力图与输入的加权特征图相乘，得到在通道和空间两个维度进行注意力加权的特征图。
S5，将增强后的若干个特征图输入到跨路径特征融合CP_FPN模块，得到多尺度跨路径特征融合后的特征图。具体如下：
S51，选取分辨率分别为80×80、40×40、20×20的特征图，作为CP_FPN模块的输入；
S52，CP_FPN模块结合双向融合和特征跨路径级联的思想，建立自下向上和自上向下的双向路径；如图6所示。将分辨率为20×20的深层特征图输入卷积块进行最邻近插值放大处理，与40×40的特征图进行融合得到融合后的特征图，并将融合后的特征图作为下一步特征融合的深层特征，进行最邻近插值放大处理后与下一级浅层特征80×80的特征图进行特征融合，完成第一条自深向浅的特征融合路径；结果得到与原输入特征图相同分辨率的初级融合特征图，将初级融合特征图作为第二条自浅向深的特征融合路径的输入，继续对分辨率为80×80的初级融合特征图进行卷积下采样，并融合自深向浅路径中40×40的融合特征图、MSA模块输出的40×40特征图，得到分辨率为40×40的融合特征图；将该融合特征图作为下一步特征融合的浅层特征，进行卷积下采样与自深向浅路径中的80×80特征图、MSA模块输出的80×80特征图进行通道融合，得到分辨率为80×80的融合特征图；
S53，最终得到尺寸为（80，80，256）、（40，40，512）、（20，20，1024）的融合特征图，将其作为预测模块的输入。
S6，将融合特征图输入到预测模块，对图像是否存在肿块、肿块分类和定位进行初步预测；根据初步预测的肿块分类、内含肿块概率及先验框与地面真值框之间的交并比IoU，计算训练损失和。具体如下：
S61，在融合特征图像f×f×n中设置f×f个特征点，每个特征点设置3个不同大小的先验框，根据医生标注文件对乳腺图像标定真值框，计算各个先验框与真值框的IoU值，将IoU值大于预设阈值的先验框作为正样本，此处预设阈值为0.5，小于预设阈值的先验框作为负样本；
S62，将融合特征图f×f×n经过两个串联的3×3卷积块和一个1×1卷积块，得到该融合特征图对应的初步预测结果，如图7所示，最终的通道数和肿块分类类别数、每一个特征层上每一个特征点存在的先验框个数相关；输出的初步预测结果包括每一个特征点的先验框内部包含肿块的概率、先验框中心点相较于特征点的偏移和预测框的宽高参数、先验框内部肿块类别的概率；最终输出的初步预测结果大小为[f,f,m×(1+4+num_class)]，其中f表示特征图的尺寸，m表示该层特征图的每个特征点包含的先验框数量，1为某个特征点包含的某个先验框内部包含肿块的概率，4是先验框的中心点相对位置和宽高参数，num_ class是肿块分类的类别数；
S63，根据得到的训练结果和真值框，计算损失和，网络损失函数为：
Figure 316467DEST_PATH_IMAGE005
其中，L conf 为先验框包含肿块的置信度损失函数；L loc 为正样本先验框的定位损失函数；L cls 是正样本先验框的肿块类别损失函数；c是平衡系数，用来平衡正负样本比例不均；
Figure 5812DEST_PATH_IMAGE006
其中，F是该特征图对应的特征点的数量；M是每个特征点对应先验框的数量；x ij 为第i个特征点的第j个先验框包含肿块的概率；y ij 为第i个特征点的第j个先验框属于正样本的概率；
Figure 167803DEST_PATH_IMAGE007
其中，IoU是预测框与真值框的交集；ρ(•)代表欧式距离；d gt 是真值框的中心点位置；d pre 是先验框的中心点位置；l是两个边界框并集的最小外接矩形的对角线距离；
Figure 760458DEST_PATH_IMAGE008
其中，N是正样本数量；num_cls是肿块类别数量；
Figure 440881DEST_PATH_IMAGE009
=｛0,1｝，为第i个正样本先验框对应的真值框是否属于p类别，p表示第p个肿块类别；/>
Figure 384567DEST_PATH_IMAGE010
为第i个正样本先验框属于第p个肿块类别的概率；pos表示正样本先验框集合。
S7，将待检测的乳腺图像输入到已训练好的网络模型中，对理想模型输出结果进行解码，得到若干个预测框，对这些预测框做ID_NMS非极大值抑制操作，最后输出该乳腺图像中所含肿块的BI-RADS等级，并框出该肿块的具体位置。具体如下：
S71、根据输出结果中的每个先验框包含肿块概率设置阈值，概率大于阈值的先验框当作预测框，概率小于阈值的先验框舍弃，预设阈值为0.5。将每个预测框的位置和类别参数提取出来，作为解码模块的输入；
S72、解码模块对预测框的位置和所包含肿块的类别进行解码，将预测框的相对中心点位置和宽高参数解码成预测框的四角坐标，肿块类别信息的one-hot编码解码为某一类肿块BI-RADS等级；
S73、对若干个预测框做ID_NMS非极大值抑制操作。同时考虑IoU和预测框中心点距离两个因素。按照预测框包含肿块的置信度大小，对预测框进行降序排列。选取置信度最高的预测框，计算置信度最高的预测框与其他预测框的IoU值；当IoU值小于预设阈值时，保留该预测框；当IoU值大于预设阈值时，计算这两个预测框中心点的欧式距离，若中心点距离大于预设阈值，表示这两个预测框预测的可能不是同一肿块，保留该预测框；若中心点距离小于预设阈值，则舍弃该预测框；最后得到筛选后的预测框，即最终的乳腺肿块预测结果。
为了验证本发明方法的有效性，现运用一个实验例对本发明方法进行验证说明，具体如下：
首先，使用乳腺钼靶X线图像数据集的训练集对本方法的网络模型进行训练。
数据集：使用INBREAST数据集，共100张图片，经过本发法提出了图像融合方法扩充数据集后，数据集图片数量增至1200张。使用其中960张图片作为训练集对本方法提出的网络模型进行训练，使用剩下的240张图片作为测试集对网络的检测结果进行测试。
实验参数：batch设为8，momentum设为0.9.学习率采用指数衰减方法，初始学习率设为0.001，衰减系数设为0.9。
实验环境：显卡Nvidia GeForce RTX 2080 Ti，pytorch1.6，python3.7。
实验结果：训练模型损失值直至收敛。本发明采用平均精度(AP)和平均精度均值(mAP)来评估检测的效果。图8为本发明应用实施例和YOLOv5、Mask RCNN、RCNN、SSD四种目前最常用目标检测方法的损失值收敛情况。如图8所示，本方法的损失值更容易收敛且更稳定，较其他方法而言波动更小。图9为本发明方法与其他方法的平均精度均值的比较示意图。如图9所示，本发明方法在2、3、4a、4b、4c这五个病变类别的AP值均高于其他方法，这五个病变等级是最常见的乳腺病变等级，虽然在病变等级5和6中本发明方法平均精度略差于其他方法，但所有类别的平均精度均值mAP较SSD提高了5.1%，较YOLOv5提高了2.5%，验证了本方法的有效性。所以本发明方法在早期筛查乳腺癌中有更好的效果。图10为本发明方法与其他方法的受试者工作特征曲线(ROC)的对比图。本方法有更高的AUC值，表明本方法模型的泛化能力更好。图11-图16为本方法与其他方法对乳腺肿块检测结果的对比图。其中图11中的标记框为真值框，即手工标签。图12中的标记框为本发明方法检测出的肿块区域。图13为YOLOv5检测结果。图14为Mask RCNN检测结果。图15为RCNN检测结果。图16为SSD检测结果。标记框上方的文字为该标记框内肿块的BI-RADS病变等级。从肿块检测结果对比可知本发明方法能精确地检测出肿块的位置和病变等级，较其他方法而言，本发明方法的识别效果更精准，有效排除错误框的干扰。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (8)

1.一种基于多尺度跨路径特征融合的乳腺肿块检测方法，其特征在于，包括：
获取待检测的乳腺钼靶X线图像，将待检测的乳腺钼靶X线图像输入到已训练好的理想网络模型中，对理想网络模型的输出结果进行解码，得到若干个预测框，对这些预测框做ID_NMS非极大值抑制操作，最后输出该乳腺图像中所含肿块的BI-RADS等级，并框出该肿块的具体位置；
得到所述已训练好的理想网络模型的过程，包括：
获取乳腺钼靶X线图像训练集；
从乳腺钼靶X线图像训练集提取乳腺钼靶X线图像，对乳腺钼靶X线图像进行预处理，将乳腺区域与黑色背景分离，得到乳腺区域图像；
利用图像融合的方法对乳腺区域图像进行扩充得到图像数据集；对图像数据集使用形态学方法进行数据增强，得到加深对比度后的乳腺图像；
利用预先构建的主干特征提取网络对加深对比度后的乳腺图像进行初步特征提取，生成若干个不同尺寸的原始特征图；
将不同尺寸的原始特征图输入到增强模块，进行特征再提取和特征增强，得到不同尺寸的增强特征图；
将提取到的不同尺寸的增强特征图输入到跨路径特征融合模块，得到多尺度跨路径特征融合特征图；
将多尺度跨路径特征融合特征图输入到预测模块，对多尺度跨路径特征融合特征图是否存在肿块、肿块分类和定位进行初步预测结果；根据初步预测结果的肿块分类、内含肿块概率及先验框与地面真值框之间的交并比IoU，计算训练损失和；不断进行神经网络的训练，降低模型损失，当模型损失低于预设值时，得到训练好的理想网络模型；
所述利用预先构建的主干特征提取网络对加深对比度后的乳腺图像进行初步特征提取，生成若干个不同尺寸的原始特征图，包括：
S31、对加深对比度后的乳腺图像进行切片操作，在一张加深对比度后的乳腺图像中每隔一个像素取一个值，获得12个独立的通道层，将这12个独立的通道层进行堆叠，通过1×1卷积层增加通道数；
S32、基于CSPDarknet网络改进得到所述主干特征提取网络，包括：
去除CSPDarknet网络中的最大池化层和最后的SPP结构，CSPDarknet网络中的下采样层替换为3×3卷积层；将CSPDarknet网络中的CSP_X结构中的普通残差块换成深度可分离残差块，所述深度可分离残差块依次包含3×3逐通道卷积、激活函数和1×1逐点卷积；将替换为3×3卷积层的下采样层和基于深度可分离残差块的CSP_X结构结合组成Resblock块；
S33、选取后三个Resblock输出的原始特征图，分辨率为80×80、40×40、20×20，得到三个不同尺寸的原始特征图；
所述将不同尺寸的原始特征图输入到增强模块，进行特征再提取和特征增强，得到不同尺寸的增强特征图，包括：
S41、选取分辨率为80×80、40×40或20×20的原始特征图输入MSA模块；MSA模块分为多尺度特征提取MSFE模块和注意力机制CSA模块；
S42、原始特征图依次进入多尺度特征提取MSFE模块，该多尺度特征提取MSFE模块将输入特征图按通道数分成4组，第一组特征图保持不变，第二组特征图经过3×3卷积进一步提取特征，第三组特征图结合第二组生成的新特征图相加经过3×3卷积，第四组特征图结合第三组的卷积结果进入3×3卷积层；最后将生成的4个新特征图通道融合成新特征图；将新特征图与原始特征图融合，生成多尺度特征图。
2.根据权利要求1所述的基于多尺度跨路径特征融合的乳腺肿块检测方法，其特征在于，所述对乳腺钼靶X线图像进行预处理，将乳腺区域与黑色背景分离，得到乳腺区域图像，包括：
S11、用最大类间方差法对乳腺钼靶X线图像进行分割，将乳腺区域变成白色部分，得到包括乳腺区域和背景黑色区域的二值图；
S12、计算二值图中的连通区域，选取最大连通区域就是乳腺区域；计算该连通区域的最小外接矩形并剪切，得到乳腺区域图像。
3.根据权利要求1所述的基于多尺度跨路径特征融合的乳腺肿块检测方法，其特征在于，所述利用图像融合的方法对乳腺区域图像进行扩充得到图像数据集；对图像数据集使用形态学方法进行数据增强，得到加深对比度后的乳腺图像，包括：
S21、根据医生标注的肿块矩形框左上角和右下角的像素值，得到要裁剪的矩形框的宽高；在乳腺区域图像中随机裁剪与肿块矩形框相同大小的正常组织矩形区域，得到正常组织区域图像；
S22、将随机裁剪出来的正常组织区域图像与肿块矩形框对应的肿块区域图像进行像素融合，获得一张与原肿块图像相同病变等级，但肿块位置不一样的乳腺图像；
S23、重复S21- S22步骤n次，将数据集增大至原来的n+1倍，获得图像数据集；
S24、根据图像数据集中的乳腺区域图像生成图像直方图，对图像数据集中的乳腺区域图像的像素值进行排序，将直方图左端m%的位置当作最小像素值，直方图右端m%的位置当作最大像素值，重新计算图像中所有像素值，让其分布在新范围中，输出加深对比度后的乳腺图像；重新计算图像中所有像素值的计算公式为：
Figure DEST_PATH_IMAGE001
其中， P new 为新像素值，P max 为新范围的最大像素值；P min 为新范围的最小像素值；P old 为像素点的原像素值。
4.根据权利要求1所述的基于多尺度跨路径特征融合的乳腺肿块检测方法，其特征在于，所述CSP_X结构包括深度可分离卷积和X个残差单元，残差单元的个数根据当前特征图的大小而改变，深层特征图残差单元个数比浅层特征图少。
5.根据权利要求1所述的基于多尺度跨路径特征融合的乳腺肿块检测方法，其特征在于，所述将不同尺寸的原始特征图输入到增强模块，进行特征再提取和特征增强，得到不同尺寸的增强特征图，包括：
S43、将多尺度特征图输入注意力机制CSA模块，注意力机制CSA模块包括串联的通道注意力模块和空间注意力模块；多尺度特征图经过全局平均池化将特征图每层通道图压缩成1×1，再通过一维快速卷积层建立跨通道信息依赖关系得到通道注意力特征图；根据输入的多尺度特征图的通道数自适应计算一维卷积层的卷积核大小k channel 为：
Figure DEST_PATH_IMAGE002
其中，in_ch为输入特征图的通道数量；γ是调节系数；
将一维快速卷积生成的通道注意力特征图通过激活函数生成通道注意力图，再将该通道注意力图与输入的多尺度特征图相乘得到加权特征图；将加权特征图分别经过全局最大池化和全局平均池化，对全局最大池化和全局平均池化后获得的两个特征图进行融合连接和卷积层降维，再通过激活函数生成空间注意力图，最后将该空间注意力图与输入的加权特征图相乘，得到在通道和空间两个维度进行注意力加权的分辨率为80×80、40×40或20×20的增强特征图。
6.根据权利要求5所述的基于多尺度跨路径特征融合的乳腺肿块检测方法，其特征在于，所述将提取到的不同尺寸的增强特征图输入到跨路径特征融合模块，得到多尺度跨路径特征融合特征图，包括：
S51、选取分辨率分别为80×80、40×40、20×20的增强特征图，输入CP_FPN模块的输入；
S52、利用CP_FPN模块将分辨率为20×20的增强特征图输入深度可分离卷积块得到20×20的初级融合特征图一，对初级融合特征图一进行最邻近插值放大处理后，与40×40的增强特征图进行融合得到40×40的初级融合特征图二，并将初级融合特征图二作为下一步特征融合的深层特征，与下一级80×80增强特征图继续进行特征融合，得到80×80的初级融合特征图三；完成第一条自深向浅的特征融合路径，得到20×20的初级融合特征图一、40×40的初级融合特征图二和80×80的初级融合特征图三；
将初级融合特征图三作为第二条自浅向深的特征融合路径的输入，对其进行卷积下采样，并融合自深向浅路径中的初级融合特征图二、MSA模块输出中40×40的增强特征图，得到40×40的高级融合特征图一；将高级融合特征图一作为下一步特征融合的浅层特征，卷积下采样后与前条路径的初级融合特征图一、MSA模块输出的20×20的增强特征图进行特征融合，得到20×20的高级融合特征图二；
S53、将初级融合特征图三、高级融合特征图一和高级融合特征图二分别通过3×3深度可分离卷积块，最终得到分辨率为80×80、40×40、20×20的多尺度跨路径特征融合特征图。
7.根据权利要求1所述的基于多尺度跨路径特征融合的乳腺肿块检测方法，其特征在于，所述将多尺度跨路径特征融合特征图输入到预测模块，对多尺度跨路径特征融合特征图是否存在肿块、肿块分类和定位进行初步预测结果；根据初步预测结果的肿块分类、内含肿块概率及先验框与地面真值框之间的交并比IoU，计算训练损失和；不断进行神经网络的训练，降低模型损失，当模型损失低于预设值时，得到训练好的理想网络模型，包括：
S61、在多尺度跨路径特征融合特征图f×f×n中设置f×f个特征点，每个特征点设置不同大小的先验框，根据医生标注文件对乳腺图像进行标定真值框，第一个f表示多尺度跨路径特征融合特征图的长，第二个f表示多尺度跨路径特征融合特征图的宽，n表示多尺度跨路径特征融合特征图的通道；
计算各个先验框与真值框的IoU值，将IoU值大于预设阈值的先验框作为正样本，小于预设阈值的先验框作为负样本；
S62、将多尺度跨路径特征融合特征图分别依次输入两个3×3深度可分离卷积块和一个1×1卷积块，得到该多尺度跨路径特征融合特征图对应的初步预测结果，最终的通道数和肿块分类类别数、每一个特征层上每一个特征点存在的先验框个数相关；输出的初步预测结果包括每一个特征点的先验框内部包含肿块的概率、先验框中心点相较于特征点的偏移和先验框相较于真值框的宽高参数、先验框内部肿块类别的概率；
S63、根据输出的初步预测结果和真值框，计算损失和L sum ，表示为：
Figure DEST_PATH_IMAGE003
其中，L conf 为先验框包含肿块的置信度损失函数；L loc 为正样本先验框的定位损失函数；L cls 是正样本先验框的肿块类别损失函数；c是平衡系数，用于平衡正负样本比例不均；
Figure DEST_PATH_IMAGE004
其中，F是该特征图对应的特征点的数量；M是每个特征点对应先验框的数量；x ij 为第i个特征点的第j个先验框包含肿块的概率；y ij 为第i个特征点的第j个先验框属于正样本的概率；
Figure DEST_PATH_IMAGE005
其中，IoU是预测框与真值框的交集；ρ(•)代表欧式距离；d gt 是真值框的中心点位置；d pre 是先验框的中心点位置；l是两个边界框并集的最小外接矩形的对角线距离；
Figure DEST_PATH_IMAGE006
其中，N是正样本先验框的数量；num_cls是肿块类别数量；
Figure DEST_PATH_IMAGE007
=｛0,1｝，为第i个正样本先验框对应的真值框是否属于p类别，p表示第p个肿块类别；
Figure DEST_PATH_IMAGE008
为第i个正样本先验框属于第p个肿块类别的概率；pos表示正样本先验框集合；
S64、不断降低损失和，当模型损失低于预设值时，得到理想网络模型。
8.根据权利要求1所述的基于多尺度跨路径特征融合的乳腺肿块检测方法，其特征在于，所述对理想网络模型的输出结果进行解码，得到若干个预测框，对这些预测框做ID_NMS非极大值抑制操作，包括：
S71、根据输出结果中的每个先验框包含肿块概率设置阈值，概率大于阈值的先验框当作预测框，概率小于阈值的先验框舍弃；将每个预测框的位置和类别参数提取出来，作为解码模块的输入；
S72、解码模块对预测框的位置和所包含肿块的类别进行解码，将预测框的相对中心点位置和宽高参数解码成预测框的四角坐标，肿块类别信息的one-hot编码解码为某一类肿块BI-RADS等级；
S73、对预测框做ID_NMS非极大值抑制操作，同时考虑IoU和预测框中心点距离两个因素；按照预测框包含肿块的置信度大小，对预测框进行降序排列；选取置信度最高的预测框，计算置信度最高的预测框与其他预测框的IoU值；当IoU值小于预设阈值时，保留该预测框；当IoU值大于预设阈值时，计算这两个预测框中心点的欧式距离，若中心点距离大于预设距离阈值，保留该预测框；若中心点距离小于预设距离阈值，则舍弃该预测框，得到最终的乳腺肿块预测结果。
CN202211372903.3A 2022-11-03 2022-11-03 一种基于多尺度跨路径特征融合的乳腺肿块检测方法 Active CN115423806B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211372903.3A CN115423806B (zh) 2022-11-03 2022-11-03 一种基于多尺度跨路径特征融合的乳腺肿块检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211372903.3A CN115423806B (zh) 2022-11-03 2022-11-03 一种基于多尺度跨路径特征融合的乳腺肿块检测方法

Publications (2)

Publication Number Publication Date
CN115423806A CN115423806A (zh) 2022-12-02
CN115423806B true CN115423806B (zh) 2023-03-24

Family

ID=84207488

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211372903.3A Active CN115423806B (zh) 2022-11-03 2022-11-03 一种基于多尺度跨路径特征融合的乳腺肿块检测方法

Country Status (1)

Country Link
CN (1) CN115423806B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116777893B (zh) * 2023-07-05 2024-05-07 脉得智能科技(无锡)有限公司 一种基于乳腺超声横纵切面特征结节的分割与识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102289657A (zh) * 2011-05-12 2011-12-21 西安电子科技大学 基于视觉注意机制的乳腺x线影像肿块检测系统
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN110232396A (zh) * 2019-04-09 2019-09-13 贵州大学 X射线乳腺影像深度学习分类方法
CN110766670A (zh) * 2019-10-18 2020-02-07 厦门粉红思黛医学科技有限公司 一种基于深度卷积神经网络的乳腺钼靶图像肿瘤定位算法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410219B (zh) * 2018-10-09 2021-09-03 山东大学 一种基于金字塔融合学习的图像分割方法、装置和计算机可读存储介质
CN110674866B (zh) * 2019-09-23 2021-05-07 兰州理工大学 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法
CN114332572B (zh) * 2021-12-15 2024-03-26 南方医科大学 基于显著图引导分层密集特征融合网络用于提取乳腺病变超声图像多尺度融合特征参数方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102289657A (zh) * 2011-05-12 2011-12-21 西安电子科技大学 基于视觉注意机制的乳腺x线影像肿块检测系统
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN110232396A (zh) * 2019-04-09 2019-09-13 贵州大学 X射线乳腺影像深度学习分类方法
CN110766670A (zh) * 2019-10-18 2020-02-07 厦门粉红思黛医学科技有限公司 一种基于深度卷积神经网络的乳腺钼靶图像肿瘤定位算法

Also Published As

Publication number Publication date
CN115423806A (zh) 2022-12-02

Similar Documents

Publication Publication Date Title
CN109447065B (zh) 一种乳腺影像识别的方法及装置
EP3432263B1 (en) Semantic segmentation for cancer detection in digital breast tomosynthesis
US10839510B2 (en) Methods and systems for human tissue analysis using shearlet transforms
CN109363698B (zh) 一种乳腺影像征象识别的方法及装置
CN110309860B (zh) 基于卷积神经网络对肺结节的恶性程度进行分类的方法
CN109363699B (zh) 一种乳腺影像病灶识别的方法及装置
CN111862044B (zh) 超声图像处理方法、装置、计算机设备和存储介质
CN107451615A (zh) 基于Faster RCNN的甲状腺乳头状癌超声图像识别方法及系统
CN110853011B (zh) 用于肺结节检测的卷积神经网络模型的构建方法
CN112700461B (zh) 一种肺结节检测和表征类别识别的系统
CN112862808A (zh) 一种基于深度学习的乳腺癌超声图像的可解释性识别方法
CN109363697B (zh) 一种乳腺影像病灶识别的方法及装置
US20230005140A1 (en) Automated detection of tumors based on image processing
CN104933709A (zh) 基于先验信息的随机游走ct肺组织图像自动分割方法
CN112669254A (zh) 基于全身骨扫描影像的深度学习摄护腺癌骨转移辨识系统
CN110766670A (zh) 一种基于深度卷积神经网络的乳腺钼靶图像肿瘤定位算法
CN114332572B (zh) 基于显著图引导分层密集特征融合网络用于提取乳腺病变超声图像多尺度融合特征参数方法
CN112053325A (zh) 一种乳腺肿块图像处理和分类系统
CN112184684A (zh) 一种改进的YOLO-v3算法及其在肺结节检测中的应用
CN115423806B (zh) 一种基于多尺度跨路径特征融合的乳腺肿块检测方法
Jiang et al. Breast cancer detection and classification in mammogram using a three-stage deep learning framework based on PAA algorithm
CN114202002A (zh) 一种基于改进FasterRCNN算法的肺结节检测装置
CN114638800A (zh) 一种基于改进Faster-RCNN的头影标记点定位方法
CN111209917A (zh) 一种肺炎检测装置
US20210398282A1 (en) Digital tissue segmentation using image entropy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant