CN117115515A - 一种数字乳腺三维断层摄影结构扭曲病灶图像处理方法 - Google Patents

一种数字乳腺三维断层摄影结构扭曲病灶图像处理方法 Download PDF

Info

Publication number
CN117115515A
CN117115515A CN202310988475.5A CN202310988475A CN117115515A CN 117115515 A CN117115515 A CN 117115515A CN 202310988475 A CN202310988475 A CN 202310988475A CN 117115515 A CN117115515 A CN 117115515A
Authority
CN
China
Prior art keywords
image
dimensional
dbt
convolution
distortion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310988475.5A
Other languages
English (en)
Inventor
何子龙
李悦
曾伟雄
秦耿耿
陈卫国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southern Hospital Southern Medical University
Original Assignee
Southern Hospital Southern Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southern Hospital Southern Medical University filed Critical Southern Hospital Southern Medical University
Priority to CN202310988475.5A priority Critical patent/CN117115515A/zh
Publication of CN117115515A publication Critical patent/CN117115515A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种数字乳腺三维断层摄影结构扭曲病灶图像处理方法，包括：获取乳腺DBT图像训练集，对乳腺DBT图像训练集进行预处理；根据乳腺DBT图像训练集，获取输入数据；对输入数据进行结构扭曲病灶概率的检测，获得二维候选区域；对二维候选区域进行聚合，获得三维候选序列；对三维候选序列进行检测，得到良恶性分类结果。采用大量医学影像数据进行训练，得到具有优秀性能的图像处理和检测分类模型，用于乳腺DBT结构扭曲的检出及良恶性检测分类，能够快速、准确地对乳腺DBT图像中的结构扭曲病灶进行图像处理和检测，提高典型与非典型结构扭曲的检出率，能够帮助医生更加快速、精准地发现结构扭曲病灶。

Description

一种数字乳腺三维断层摄影结构扭曲病灶图像处理方法
技术领域
本发明涉及人工智能技术领域，涉及一种病灶自动检测与图像处理方法，尤其是一种数字乳腺三维断层摄影结构扭曲病灶图像处理方法。
背景技术
降低乳腺癌发病率，筛查和预防是关键。
结构扭曲(Architectural Distortion)是一种细微的乳腺X线摄影发现，根据第5版美国放射学会报告和数据系统指南词条描述，结构扭曲是指从一点发出放射状影，线状毛刺起源于同一点呈放射状，中心无明确肿块，也可呈局灶性收缩、实质边缘扭曲、或术后改变，可伴随征象(可为肿块、不对称、钙化的伴随征象)。结构扭曲可由多种恶性或非恶性原因引起，而恶性的阳性预测值约为75％。临床上多种乳腺疾病可出现结构扭曲征象，如硬化性腺病、乳腺囊性增生、术后瘢痕、乳腺炎症及恶性病变(浸润性导管癌、浸润性小叶癌、导管原位癌等)。结构扭曲可能是乳腺癌的最早表现，也是假阴性乳腺X线摄影上最常见漏诊的异常征象之一。
乳腺数字三维断层摄影技术(Digital Breast Tomosynthesis，DBT)通过多角度摄影成像，从而降低乳腺组织重叠，减少组织结构噪声影响。基于多角度摄影成像，提高了病变的检出和定位定性的能力。与全视野数字化乳腺X线摄影(Full-field digitalmammography，FFDM)相比，DBT是一种较新的成像技术，已被证明可以提高癌症检出率并降低筛查召回率。单独使用DBT提高了结构扭曲病灶检出，但相对的也提高了假阳性，联合FFDM使用可以降低假阳性率，提高医生的诊断准确性。但是，筛查流程中加入DBT的步骤，假阳性的风险提高导致召回更多患者，从而因为假阳性召回患者过多，潜在地降低筛查效率。单独DBT检测的发现的异常恶性肿瘤的风险是更为显著的，据报道接近50％，但这也有不足之处，DBT成像层数多，不可避免的增加影像医生日常工作量，增加阅读疲劳可能性，有可能引起结构扭曲病灶漏检，降低检出率。可知，目前缺乏针对数字乳腺三维断层摄影结构扭曲病灶的图像处理方法。
发明内容
本发明的目的在于针对上述问题，本发明提出一种数字乳腺三维断层摄影结构扭曲病灶图像处理方法，可有效解决数字乳腺三维断层摄影结构扭曲病灶的检出率低和筛查召回率高的问题。
本发明所采取的技术方案是：
第一方面，本发明实施例提供了一种数字乳腺三维断层摄影结构扭曲病灶图像处理方法，所述数字乳腺三维断层摄影结构扭曲病灶图像处理方法包括：
获取乳腺DBT图像训练集，对所述乳腺DBT图像训练集进行预处理；
根据所述乳腺DBT图像训练集，获取输入数据；所述输入数据为原始灰度DBT层面图片、Gabor幅度图、Gabor方向场的x分量、Gabor方向场的y分量、收敛图；
对所述输入数据进行结构扭曲病灶概率的检测，获得二维候选区域；
对所述二维候选区域进行聚合，获得三维候选序列；
对所述三维候选序列进行检测，得到良恶性分类结果。
进一步地，所述获取乳腺DBT图像训练集，对所述乳腺DBT图像训练集进行预处理这一步骤，具体包括：
将乳腺DBT图像进行裁剪，去除图像中的不包含乳腺组织的空气区域，获得裁剪图像；
对所述裁剪图像进行标注，获得标注图像；
对所述标注图像的胸肌边缘进行标记，获得标记图像；
对所述标记图像进行翻转；
通过Gabor滤波和收敛度计算对所述标记图像进行处理。
进一步地，所述对所述裁剪图像进行标注，获得标注图像这一步骤，具体包括：
对所述裁剪图像的每个结构扭曲病灶层面以及所述结构扭曲病灶层面的上面两层和下面两层进行标注，获得标注图像。
进一步地，所述对所述标注图像的胸肌边缘进行标记，获得标记图像这一步骤，具体包括：
对所述标注图像中的每个内外斜位DBT层面，使用一条直线将断层图像中乳腺面积最大的层面进行胸肌边缘标记，获得标记图像。
进一步地，所述对所述标记图像进行翻转这一步骤，具体包括：
将所有右侧乳腺DBT图像进行翻转，使得所有所述DBT图像中的乳腺区域都位于左侧。
进一步地，所述对所述输入数据进行结构扭曲病灶概率的检测，获得二维候选区域这一步骤，具体包括：
通过基于Fast-R-CNN架构模型对所述标记图像进行二维检测，得到具有二维候选区域的图像；所述Fast-R-CNN架构包括特征提取器、区域候选网络(RPN)和R-CNN head；所述R-CNN head包括三个全连接层，具有ReLU的激活函数、分类分支和回归分支；所述二维候选区域是带有结构扭曲病灶概率分数的边界框。
进一步地，所述通过基于Fast-R-CNN架构模型对所述标记图像进行二维检测，得到具有二维候选区域的图像这一步骤，包括：
将所述原始灰度DBT层面图片和所有预处理结果合并输入所述模型；
对所述基于Fast-R-CNN架构模型设计五个输入通道；将所述原始灰度DBT层面图片输入至第一通道，通过z-score方法对所述第一通道进行归一化；将所述Gabor幅度图设置输入至第二通道，通过使用直方图均衡化和z-score归一化对所述第二通道进行处理；将所述Gabor方向场的x分量输入至第三通道；将所述Gabor方向场的y分量输入至第四通道；将所述收敛图输入至第五通道，取值范围为0～1；
设置DBT图像中的预选区域；
通过非最大抑制的方法处理所述DBT图像中的所述预选区域；
对于每个所述预选区域，将感兴趣区域汇集成7×7的特征地图；
所述分类分支给出所述预选区域的结构扭曲概率得分，所述回归分支调整所述预选区域的边界框；将所述边界框使用概率来命名，设置为结构扭曲可能区域的得分。
进一步地，所述通过基于Fast-R-CNN架构模型对所述标记图像进行二维检测，得到具有二维候选区域的图像这一步骤，还包括：
将每个所述预选区域的连续层面设置一个概率偏差度，通过基于接近最大响应值的概率分数的标准差来计算度量值；
通过纤维腺体比例测量法、位置分位数、候选区域到胸大肌的距离三种方法将结构扭曲病灶定位于纤维腺体组织范围内，降低结构扭曲检出的假阳性率；
所述特征提取器包含形变卷积，调整卷积核的大小和形状，根据可学习的偏移量进行调整；
通过规则卷积得到特征图；
在所述特征提取器中使用形变卷积代替正则卷积，以获得更具有代表性的结构扭曲图像病灶特征；
所述R-CNN head识别所述预选区域是真实的结构扭曲病灶还是阴性样本；
得到具有二维候选区域的图像。
进一步地，所述对所述二维候选区域进行聚合，获得三维候选序列这一步骤，具体包括：
通过基于密度特征的空间聚类方法，对所述具有二维候选区域的图像进行二维结构扭曲候选区域聚合，将上下方向的相邻候选区域的层面进行叠加，得到三维序列；
通过三维的开闭操作来连接候选区域间的空白层面，将所述三维序列中只占据一个或两个层面的三维候选区域进行去除；
将每个候选区域的三维边界框和该后续区域的二维层面进行最大概率评分，得到所述三维序列中的所述三维候选序列。
进一步地，所述对所述三维候选序列进行检测，得到良恶性分类结果这一步骤，具体包括：
通过ResNet 101网络对所述结构扭曲病灶进行良恶性分类，得到良恶性分类结果；
所述ResNet 101网络残差结构主分支包括两层3x 3的卷积层，主分支使用的卷积层包括第一卷积层、第二卷积层、第三卷积层；
所述第一卷积层是1x 1的卷积层，用来压缩channel维度；所述第二卷积层是3x 3的卷积层；所述第三卷积层是1x 1的卷积层，用来还原channel维度；
所述残差结构所对应的虚线残差结构在捷径分支上有一层1x1的卷积层，卷积核个数与主分支上的所述第三卷积层的卷积核个数相同。
第二方面，本发明实施例还提供了一种数字乳腺三维断层摄影结构扭曲病灶图像处理方法的实现装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的基于温度波动性原理的硬件木马的实现方法。
第三方面，本发明实施例还提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如上述第一方面所述的数字乳腺三维断层摄影结构扭曲病灶图像处理方法。
本发明的有益效果是：本发明采用大量医学影像数据进行训练，得到具有优秀性能的图像处理和检测分类模型，用于乳腺DBT结构扭曲的检出及良恶性检测，在临床上能够快速、准确地对乳腺DBT图像中的结构扭曲病灶进行图像处理和检测，并为临床医生提供重要的参考价值，提高典型与非典型结构扭曲的检出率，能够帮助医生更加快速、精准地发现结构扭曲病灶。
附图说明
图1是本发明实施例提供的数字乳腺三维断层摄影结构扭曲病灶图像处理方法的流程图；
图2是本发明实施例提供的原始层面样例、Gabor幅度、Gabor方向场、收敛图；
图3是本发明实施例提供的概率偏差计算示意图；
图4(a)-图4(c)是本发明实施例提供的通过解剖学先验知识降低结构扭曲检测假阳性率的效果图；
图5(a)是本发明实施例提供的常规卷积示意图；
图5(b)是本发明实施例提供的可形变卷积示意图；
图5(c)是本发明实施例提供的特征提取器的示意图；
图6是本发明实施例提供的RPN工作流程及锚点示意图；
图7(a)-图7(c)是本发明实施例提供的10折交叉验证中可变形和常规卷积的FROC曲线示意图；图7(a)为所有独立的测试用例；图7(b)为典型结构扭曲和负序列；图7(c)为非典型结构扭曲和阴性序列；
图8是本发明实施例提供的ResNet在独立测试集上区分结构扭曲良恶性的ROC曲线示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
考虑到要提升数字乳腺三维断层摄影结构扭曲病灶的图像检测与分类效率和准确率，本发明实施例的数字乳腺三维断层摄影结构扭曲病灶图像处理方法能够自动识别和定位影像中的各种结构和异常，可以根据不同的特征和模式将影像进行分类，支持对影像的方便存储和管理。它可以自动提取和标记影像中的重要信息，将其存储在结构化的数据库中，方便医生和研究人员进行查询和回顾。
下面结合附图，对本发明实施例作进一步阐述。
第一方面，本发明实施例提供了一种数字乳腺三维断层摄影结构扭曲病灶图像处理方法。
本实施例公开了一种数字乳腺三维断层摄影结构扭曲病灶图像处理方法，能够提高图像处理模型对结构扭曲病灶的检出率。具体地，该方法包括但不限于以下所有步骤。
本发明实施例公开了一种数字乳腺三维断层摄影结构扭曲病灶图像处理方法，具体地，参考图1，该方法包括：
S100、获取乳腺DBT图像训练集，对乳腺DBT图像训练集进行预处理；
S200、根据乳腺DBT图像训练集，获取输入数据；输入数据为原始灰度DBT层面图片、Gabor幅度图、Gabor方向场的x分量、Gabor方向场的y分量、收敛图；
S300、对输入数据进行结构扭曲病灶概率的检测，获得二维候选区域；
S400、对二维候选区域进行聚合，获得三维候选序列；
S500、对三维候选序列进行检测，得到良恶性分类结果。
可以理解的是，本发明实施例提出了一种新的基于深度学习方法的结构扭曲检测与分类模型，能够解决现有图像处理模型检测与分类能力低的问题。
可以理解的是，结构扭曲的检测模型主要包括二维检测和三维聚合两个模块。
本实施例具体公开了步骤S100获取乳腺DBT图像训练集，对乳腺DBT图像训练集进行预处理这一步骤，具体包括：
S110、将乳腺DBT图像进行裁剪，去除图像中的不包含乳腺组织的空气区域，获得裁剪图像；
S120、对裁剪图像进行标注，获得标注图像；
S130、对标注图像的胸肌边缘进行标记，获得标记图像；
S140、对标记图像进行翻转；
S150、通过Gabor滤波和收敛度计算对标记图像进行处理。
可以理解的是，参考图2，本发明实施例需要对DBT图像进行预处理，通过Gabor滤波和收敛度计算完成初步的图像预处理工作，Gabor滤波器是一种良好的线提取器，其代表的是一个二维高斯函数和振荡的乘积。描述Gabor内核的数学公式如下：
x′＝xcosγ-ysinγ,y′＝xsinγ+ycosγ
其中(x,y)为核内像素坐标；σx和σy是高斯函数的标准差；σ是振荡的波长；λ是方向参数，控制pre-的方向转让行；σx，σy，和λ同时确定对象线的宽度和长度；将公式(1)中的余弦函数转换为正弦函数，得到Gabor滤波核的虚部；在每个层面中，必须考虑纤维腺组织沿不同方向的分布；因此，参数λ获得从0°，1°，2°，…，179°，180°这样过滤结果可以获得用Gγ(u,v)表示坐标(u,v)方向为λ的滤波结果，可以得到Gabor幅值M。
本实施例具体公开了步骤S120对裁剪图像进行标注，获得标注图像这一步骤，具体包括：
S121、对裁剪图像的每个结构扭曲病灶层面以及结构扭曲病灶层面的上面两层和下面两层进行标注，获得标注图像。
可以理解的是，在结构扭曲病灶最明显的层面上用矩形边框标注每个结构扭曲病灶，以及它的上面两层和下面两层，即共有五个连续的图像层面标注了结构扭曲的位置信息。
本实施例具体公开了步骤S130对标注图像的胸肌边缘进行标记，获得标记图像这一步骤，具体包括：
S131、对标注图像中的每个内外斜位DBT层面，使用一条直线将断层图像中乳腺面积最大的层面进行胸肌边缘标记，获得标记图像。
可以理解的是，对于每个内外斜位DBT层面，使用一条直线在断层图像中乳房面积最大的层面上标记胸肌边缘。
本实施例具体公开了步骤S140对标记图像进行翻转这一步骤，具体包括：
S141、将所有右侧乳腺DBT图像进行翻转，使得所有DBT图像中的乳腺区域都位于左侧。
本实施例具体公开了步骤S300对输入数据进行结构扭曲病灶概率的检测，获得二维候选区域这一步骤，具体包括：
S310、通过基于Fast-R-CNN架构模型对标记图像进行二维检测，得到具有二维候选区域的图像；Fast-R-CNN架构包括特征提取器、区域候选网络(RPN)和R-CNN head；R-CNNhead包括三个全连接层，具有ReLU的激活函数、分类分支和回归分支；二维候选区域是带有结构扭曲病灶概率分数的边界框。
可以理解的是，二维检测基于一个Fast-R-CNN架构，包括三个子模块：特征提取器、区域候选网络(RegionProposal Network,RPN)和R-CNN head。
本实施例具体公开了步骤S310通过基于Fast-R-CNN架构模型对标记图像进行二维检测，得到具有二维候选区域的图像这一步骤，包括：
S311、将原始灰度DBT层面图片和所有预处理结果合并输入模型；
S312、对基于Fast-R-CNN架构模型设计五个输入通道；将原始灰度DBT层面图片输入至第一通道，通过z-score方法对第一通道进行归一化；将Gabor幅度图设置输入至第二通道，通过使用直方图均衡化和z-score归一化对第二通道进行处理；将Gabor方向场的x分量输入至第三通道；将Gabor方向场的y分量输入至第四通道；将收敛图输入至第五通道，取值范围为0～1；
S313、设置DBT图像中的预选区域；
S314、通过非最大抑制的方法处理DBT图像中的预选区域；
S315、对于每个预选区域，将感兴趣区域汇集成7×7的特征地图；
S316、分类分支给出预选区域的结构扭曲概率得分，回归分支调整预选区域的边界框；将边界框使用概率来命名，设置为结构扭曲可能区域的得分。
可以理解的是，图2为原始层面样例、Gabor幅度、Gabor方向场、收敛图。箭头显示位置结构扭曲(结构扭曲)的层面。本例中使用的Gabor滤波器参数为A＝16.σy＝8.9948。σy＝17.9895。y＝45°。收敛度是在外圈半径为200像素、内圈半径为60像素的环内计算的。由于结构扭曲具有典型的径向模式，在收敛图中可以看出结构扭曲中心具有较高的响应。
可以理解的是，将原始灰度层面和所有预处理结果合并输入模型；为模型设计了五通道输入，第一个通道是原始灰度DBT层面图片，使用z-score方法进行归一化；第二个通道是Gabor幅度图，使用直方图均衡化和z-score归一化进行处理；第三和第四个通道分别为Gabor方向场的x分量和y分量；最后一个通道为收敛图，取值范围为0～1；
由于预选区域在图像中相互重叠，采用非最大抑制的方法，以0.7为交集超过联合阈值；
R-CNN head由三个全连接层组成，具有ReLU的激活函数和两个分支：一个是分类分支，另一个是回归分支；
对于每个预选区域，一个感兴趣区域将其汇集成一个7×7的特征地图；
分类分支给出该预选区域的结构扭曲概率得分，回归分支调整该预选区域的边界框；用概率来命名这样的边界框作为“结构扭曲可能区域”的得分。
本实施例具体公开了步骤S310通过基于Fast-R-CNN架构模型对标记图像进行二维检测，得到具有二维候选区域的图像这一步骤，还包括：
S317、将每个预选区域的连续层面设置一个概率偏差度，通过基于接近最大响应值的概率分数的标准差来计算度量值；
S318、通过纤维腺体比例测量法、位置分位数、候选区域到胸大肌的距离三种方法将结构扭曲病灶定位于纤维腺体组织范围内，降低结构扭曲检出的假阳性率；
S319、特征提取器包含形变卷积，调整卷积核的大小和形状，根据可学习的偏移量进行调整；
S31A、通过规则卷积得到特征图；
S31B、在特征提取器中使用形变卷积代替正则卷积，以获得更具有代表性的结构扭曲图像病灶特征；
S31C、R-CNN head识别预选区域是真实的结构扭曲病灶还是阴性样本；
S31D、得到具有二维候选区域的图像。
可以理解的是，参照图3，为每个候选对象区域的连续层面定义了一个概率偏差度，这个度量值基于接近最大响应值的概率分数的标准差来计算。
设置了一个阈值(0.1)，某些只在一个或两个层面中获得高概率分数的候选对象区域，则被判定为假阳性序列；
可以理解的是，参照图4(a)-图4(c)，为通过解剖学先验知识降低结构扭曲检测假阳性率的效果图；其中，图4(a)为乳房解剖示意图，以胸肌线为直角坐标系，建立从胸大肌到乳头的垂直线，以胸大肌为坐标轴；图4(b)中，与候选建筑或建筑变形的距离计算示意图胸肌中心点；图4(c)中，上下方向位置分位数计算，候选分位数数字乳腺断层成像(DBT)序列包含n个层面，层面i的位置分位数为(iin)。
可以理解的是，参考图4(a)-图4(c)，通过纤维腺体比例测量法、位置分位数、候选区域到胸大肌的距离三种方法将结构扭曲病灶定位于纤维腺体组织范围内，而非脂肪、皮肤、胸大肌等组织；假设使用一条直线来表示胸大肌的边缘，那么一个直角坐标系就是由乳头到胸大肌的垂直线组成的。坐标系统的轴分别命名为肌肉轴和乳头轴；即通过解剖学先验知识降低结构扭曲检出的假阳性率。
可以理解的是，参照图5(a)-图5(c)，分别为常规卷积、可形变卷积以及本发明中使用的特征提取器的示意图，其中，ReLU：整流线性单元激活函数；H：输入图像的高度；W：输入图像的宽度。
可以理解的是，参照图5(a)-图5(c)，本发明实施例设计并加入了一种具有自适应感受野的更为灵活的特征提取器，其内包含的形变卷积可以自动调整核的大小和形状，根据可学习的偏移量进行调整；
可以理解的是，参照图5(a)-图5(c)，提出了一个3×3-卷积核来体现形变卷积机制；相对于卷积核中心，该卷积核元素的坐标可以表示为集合(1，1)}；对于特征图I中的像素p0，通过规则卷积得到下一个特征图y(p0)；y(p0)的计算过程为：
形变卷积的核心思路是使用一个分支来计算偏移量，并修改卷积核的大小和形状；首先通过常规的3×3卷积层对输入特征图I进行卷积，生成一个与输入图具有相同高度和宽度的偏移图，并包含18个通道；这18个值表示内核中每个位置的9个元素在水平和垂直方向上的偏移量；像素p0处的偏移量用Roff集合表示；集合f的Rof可以写成集合{(Δx1，Δy1)，(Δx2，Δy2)，…，(Δx9，Δy9)}；随后，可变形核在像素p0处的卷积结果为：
其中pn∈R，Δpn∈Rof f集合；形变卷积依赖于常规卷积分支来预测卷积核中每个元素的偏移量；这个偏移分支是网络的一部分，在训练过程中，它的权重值与网络的其他权重值同步学习；在可形变卷积设计中，偏移值没有明确的约束；然而，由于偏移量是由一个常规卷积分支输出的，该分支的接收域是有限的；因此，偏移量的值可能受到隐式约束；因为偏移量可以是连续的值，坐标p0+pn+Δpn可能不是整数；所以进行双线性插值，得到I(p0+pn+Δpn)；此外，不同的特征导致不同位置的偏移量不同，形变卷积是位于特定位置的；形变卷积的输入和输出大小与规则卷积相同；所以，在特征提取器中可以使用形变卷积代替正则卷积，以获得更具有代表性的结构扭曲图像病灶特征；
将原始特征提取器中最后一层(第13层)的3×3-规定卷积核替换为3×3-形变卷积核。
可以理解的是，参照图6，加入了区域候选网络(RPN)自动为检测网络生成ROI，包括滑动窗口、中间层、分类层、回归层和锚点；
特征提取器在上一步生成了一个512个通道的特征图；
3×3大小的滑动窗口在特征图上滑动；
初始ROI在RPN中称为“锚点”；在每个滑动位置，九个锚点以不同的纵横比和尺寸被确定；对于每个锚点，在特征图中选取[0.5，1，2]的长径比，选取[8，16，32]的大小；
中间层为卷积层，内核大小为3×3，后面是一个ReLU激活函数。这一层使用当前滑动窗口中的特征作为输入和输出一个大小为1×1×512的新特征映射；
R-CNN head用于识别预选区域是真实的结构扭曲病灶还是阴性样本；
首先，对每个预选区域进行ROI池化操作，生成一个固定大小的特征图7×7×512；
两个全连接层将特征维度从7×7×512降低到4096；
两个平行的全连接层对边界框是否构成一个真正的结构扭曲病灶进行分类，以便在必要时对潜在的结构扭曲的边界框进行调整；
最后，这种带有结构扭曲病灶概率分数的边界框是二维候选区域。
本实施例具体公开了步骤S400对二维候选区域进行聚合，获得三维候选序列这一步骤，具体包括：
S410、通过基于密度特征的空间聚类方法，对具有二维候选区域的图像进行二维结构扭曲候选区域聚合，将上下方向的相邻候选区域的层面进行叠加，得到三维序列；
S420、通过三维的开闭操作来连接候选区域间的空白层面，将三维序列中只占据一个或两个层面的三维候选区域进行去除；
S430、将每个候选区域的三维边界框和该后续区域的二维层面进行最大概率评分，得到三维序列中的三维候选序列。
可以理解的是，上述步骤S300-S31D在DBT序列图像的二维层面中产生了大量独立的预选结构扭曲病灶区域；然而，由于DBT是一种三维成像技术，因此必须识别出在三维连续层面上的预选结构扭曲区域；
使用基于密度特征的空间聚类方法，基于二维图像中心点，将同一DBT序列图像中的所有二维结构扭曲候选区域聚合。随后，将上下方向的相邻候选区域的层面进行叠加，得到多个三维序列；
进行三维的开闭操作来连接候选区域间的空白层面，并去除在DBT序列中只占据一个或两个层面的三维候选区域；
计算每个候选区域的三维边界框和该后续区域的二维层面上最大概率评分，它们在DBT序列中形成一个三维候选序列。
本实施例具体公开了步骤S500对三维候选序列进行检测，得到良恶性分类结果这一步骤，具体包括：
S510、通过ResNet 101网络对结构扭曲病灶进行良恶性分类，得到良恶性分类结果；
ResNet 101网络残差结构主分支包括两层3x 3的卷积层，主分支使用的卷积层包括第一卷积层、第二卷积层、第三卷积层；
第一卷积层是1x 1的卷积层，用来压缩channel维度；第二卷积层是3x 3的卷积层；第三卷积层是1x 1的卷积层，用来还原channel维度；
残差结构所对应的虚线残差结构在捷径分支上有一层1x1的卷积层，卷积核个数与主分支上的第三卷积层的卷积核个数相同。
可以理解的是，参照图7(a)-图7(c)，为本发明实施例提供的10折交叉验证中可变形和常规卷积的FROC曲线示意图，其中，图7(a)为所有独立的测试用例；图7(b)为典型结构扭曲和负序列；图7(c)为非典型结构扭曲和阴性序列，本发明实施例使用结构扭曲检测模型可以检出典型与非典型的结构扭曲。
可以理解的是，本发明在结构扭曲检测模型之后嵌入了一个已训练好的ResNet101网络，来对检测出的结构扭曲病灶进行良恶性分类；
该网络的残差结构主分支是由两层3x 3的卷积层组成，主分支使用了三个卷积层，第一个是1x 1的卷积层，用来压缩channel维度，第二个是3x 3的卷积层，第三个是1x 1的卷积层用来还原channel维度；该残差结构所对应的虚线残差结构同样在捷径分支上有一层1x1的卷积层，它的卷积核个数与主分支上的第三层卷积层卷积核个数相同，注意每个卷积层的步距；
可以理解的是，参照图8，该网络最后可输出图像中结构扭曲病灶的良恶性分类结果。
可以理解的是，系统包含乳腺DBT结构扭曲的检测模型与诊断模型；检测模型用于对乳腺DBT图像中的典型结构物扭曲与非典型结构扭曲进行精准检测；诊断模型用于对检测结果中的结构扭曲进行分析，输出病灶的良恶性诊断结果。
发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：
本发明采用大量医学影像数据进行训练，得到具有优秀性能的检测及分类模型，用于乳腺DBT结构扭曲的检出及良恶性分类，能够快速、准确地对乳腺DBT图像中的结构扭曲病灶进行检出和分类，并为临床医生提供重要的参考价值，提高典型与非典型结构扭曲的检出率，发现结构扭曲并进行分类更加快速、精准。
第二方面，本发明实施例还提供了一种数字乳腺三维断层摄影结构扭曲病灶图像处理方法的实现装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述第一方面的数字乳腺三维断层摄影结构扭曲病灶图像处理方法。
处理器和存储器可以通过总线或者其他方式连接。存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实现上述实施例的数字乳腺三维断层摄影结构扭曲病灶图像处理方法所需的非暂态软件程序以及指令存储在存储器中，当被处理器执行时，执行上述实施例中的数字乳腺三维断层摄影结构扭曲病灶图像处理方法。
第三方面，本发明实施例还提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，处理器可执行的程序在由处理器执行时用于执行如上述第一方面的数字乳腺三维断层摄影结构扭曲病灶图像处理方法。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本发明权利要求所限定的范围内。

Claims (10)

1.一种数字乳腺三维断层摄影结构扭曲病灶图像处理方法，其特征在于，所述数字乳腺三维断层摄影结构扭曲病灶图像处理方法包括：
获取乳腺DBT图像训练集，对所述乳腺DBT图像训练集进行预处理；
根据所述乳腺DBT图像训练集，获取输入数据；所述输入数据为原始灰度DBT层面图片、Gabor幅度图、Gabor方向场的x分量、Gabor方向场的y分量、收敛图；
对所述输入数据进行结构扭曲病灶概率的检测，获得二维候选区域；
对所述二维候选区域进行聚合，获得三维候选序列；
对所述三维候选序列进行检测，得到良恶性分类结果。
2.根据权利要求1所述的数字乳腺三维断层摄影结构扭曲病灶图像处理方法，其特征在于，所述获取乳腺DBT图像训练集，对所述乳腺DBT图像训练集进行预处理这一步骤，具体包括：
将乳腺DBT图像进行裁剪，去除图像中的不包含乳腺组织的空气区域，获得裁剪图像；
对所述裁剪图像进行标注，获得标注图像；
对所述标注图像的胸肌边缘进行标记，获得标记图像；
对所述标记图像进行翻转；
通过Gabor滤波和收敛度计算对所述标记图像进行处理。
3.根据权利要求2所述的数字乳腺三维断层摄影结构扭曲病灶图像处理方法，其特征在于，所述对所述裁剪图像进行标注，获得标注图像这一步骤，具体包括：
对所述裁剪图像的每个结构扭曲病灶层面以及所述结构扭曲病灶层面的上面两层和下面两层进行标注，获得标注图像。
4.根据权利要求2所述的数字乳腺三维断层摄影结构扭曲病灶图像处理方法，其特征在于，
所述对所述标注图像的胸肌边缘进行标记，获得标记图像这一步骤，具体包括：
对所述标注图像中的每个内外斜位DBT层面，使用一条直线将断层图像中乳腺面积最大的层面进行胸肌边缘标记，获得标记图像。
5.根据权利要求2所述的数字乳腺三维断层摄影结构扭曲病灶图像处理方法，其特征在于，所述对所述标记图像进行翻转这一步骤，具体包括：
将所有右侧乳腺DBT图像进行翻转，使得所有所述DBT图像中的乳腺区域都位于左侧。
6.根据权利要求1所述的数字乳腺三维断层摄影结构扭曲病灶图像处理方法，其特征在于，所述对所述输入数据进行结构扭曲病灶概率的检测，获得二维候选区域这一步骤，具体包括：
通过基于Fast-R-CNN架构模型对所述标记图像进行二维检测，得到具有二维候选区域的图像；所述Fast-R-CNN架构包括特征提取器、区域候选网络(RPN)和R-CNN head；所述R-CNN head包括三个全连接层，具有ReLU的激活函数、分类分支和回归分支；所述二维候选区域是带有结构扭曲病灶概率分数的边界框。
7.根据权利要求6所述的数字乳腺三维断层摄影结构扭曲病灶图像处理方法，其特征在于，所述通过基于Fast-R-CNN架构模型对所述标记图像进行二维检测，得到具有二维候选区域的图像这一步骤，包括：
将所述原始灰度DBT层面图片和所有预处理结果合并输入所述模型；
对所述基于Fast-R-CNN架构模型设计五个输入通道；将所述原始灰度DBT层面图片输入至第一通道，通过z-score方法对所述第一通道进行归一化；将所述Gabor幅度图设置输入至第二通道，通过使用直方图均衡化和z-score归一化对所述第二通道进行处理；将所述Gabor方向场的x分量输入至第三通道；将所述Gabor方向场的y分量输入至第四通道；将所述收敛图输入至第五通道，取值范围为0～1；
设置DBT图像中的预选区域；
通过非最大抑制的方法处理所述DBT图像中的所述预选区域；
对于每个所述预选区域，将感兴趣区域汇集成7×7的特征地图；
所述分类分支给出所述预选区域的结构扭曲概率得分，所述回归分支调整所述预选区域的边界框；将所述边界框使用概率来命名，设置为结构扭曲可能区域的得分。
8.根据权利要求7所述的数字乳腺三维断层摄影结构扭曲病灶图像处理方法，其特征在于，还包括：
将每个所述预选区域的连续层面设置一个概率偏差度，通过基于接近最大响应值的概率分数的标准差来计算度量值；
通过纤维腺体比例测量法、位置分位数、候选区域到胸大肌的距离三种方法将结构扭曲病灶定位于纤维腺体组织范围内，降低结构扭曲检出的假阳性率；
所述特征提取器包含形变卷积，调整卷积核的大小和形状，根据可学习的偏移量进行调整；
通过规则卷积得到特征图；
在所述特征提取器中使用形变卷积代替正则卷积，以获得更具有代表性的结构扭曲图像病灶特征；
所述R-CNN head识别所述预选区域是真实的结构扭曲病灶还是阴性样本；
得到具有二维候选区域的图像。
9.根据权利要求1所述的数字乳腺三维断层摄影结构扭曲病灶图像处理方法，其特征在于，
所述对所述二维候选区域进行聚合，获得三维候选序列这一步骤，具体包括：
通过基于密度特征的空间聚类方法，对所述具有二维候选区域的图像进行二维结构扭曲候选区域聚合，将上下方向的相邻候选区域的层面进行叠加，得到三维序列；
通过三维的开闭操作来连接候选区域间的空白层面，将所述三维序列中只占据一个或两个层面的三维候选区域进行去除；
将每个候选区域的三维边界框和该后续区域的二维层面进行最大概率评分，得到所述三维序列中的所述三维候选序列。
10.根据权利要求1所述的数字乳腺三维断层摄影结构扭曲病灶图像处理方法，其特征在于，
所述对所述三维候选序列进行检测，得到良恶性分类结果这一步骤，具体包括：
通过ResNet 101网络对所述结构扭曲病灶进行良恶性分类，得到良恶性分类结果；
所述ResNet 101网络残差结构主分支包括两层3x 3的卷积层，主分支使用的卷积层包括第一卷积层、第二卷积层、第三卷积层；
所述第一卷积层是1x 1的卷积层，用来压缩channel维度；所述第二卷积层是3x 3的卷积层；所述第三卷积层是1x 1的卷积层，用来还原channel维度；
所述残差结构所对应的虚线残差结构在捷径分支上有一层1x1的卷积层，卷积核个数与主分支上的所述第三卷积层的卷积核个数相同。
CN202310988475.5A 2023-08-07 2023-08-07 一种数字乳腺三维断层摄影结构扭曲病灶图像处理方法 Pending CN117115515A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310988475.5A CN117115515A (zh) 2023-08-07 2023-08-07 一种数字乳腺三维断层摄影结构扭曲病灶图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310988475.5A CN117115515A (zh) 2023-08-07 2023-08-07 一种数字乳腺三维断层摄影结构扭曲病灶图像处理方法

Publications (1)

Publication Number Publication Date
CN117115515A true CN117115515A (zh) 2023-11-24

Family

ID=88793988

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310988475.5A Pending CN117115515A (zh) 2023-08-07 2023-08-07 一种数字乳腺三维断层摄影结构扭曲病灶图像处理方法

Country Status (1)

Country Link
CN (1) CN117115515A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110674866A (zh) * 2019-09-23 2020-01-10 兰州理工大学 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法
CN114092463A (zh) * 2021-11-29 2022-02-25 杭州电子科技大学 数字乳腺断层影像病灶定位装置
CN114972322A (zh) * 2022-06-24 2022-08-30 浙江树人学院 联合ffdm图像与dbt图像的乳腺微钙化簇检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110674866A (zh) * 2019-09-23 2020-01-10 兰州理工大学 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法
CN114092463A (zh) * 2021-11-29 2022-02-25 杭州电子科技大学 数字乳腺断层影像病灶定位装置
CN114972322A (zh) * 2022-06-24 2022-08-30 浙江树人学院 联合ffdm图像与dbt图像的乳腺微钙化簇检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LI, YUE等: "Deep learning of mammary gland distribution for architectural distortion detection in digital breast tomosynthesis", 《PHYSICS IN MEDICINE & BIOLOGY》, vol. 66, no. 3, 29 January 2021 (2021-01-29), pages 1 - 18, XP020359767, DOI: 10.1088/1361-6560/ab98d0 *

Similar Documents

Publication Publication Date Title
Dandıl et al. Artificial neural network-based classification system for lung nodules on computed tomography scans
US7865002B2 (en) Methods and apparatus for computer automated diagnosis of mammogram images
US5657362A (en) Automated method and system for computerized detection of masses and parenchymal distortions in medical images
US9959617B2 (en) Medical image processing apparatus and breast image processing method thereof
Lu et al. Automatic optic disc detection from retinal images by a line operator
CN109753997B (zh) 一种ct图像中的肝脏肿瘤自动精确鲁棒分割方法
CN101576997B (zh) 基于二次三维区域生长的腹部器官分割方法
CN107440730A (zh) 乳房影像对位方法与影像处理装置
US7248728B2 (en) Abnormal shadow detecting system
CN106875409B (zh) 一种轻量型切口疝补片三维超声图像特征提取方法
CN102934126A (zh) 放射摄影图像中的微钙化检测和分级
JPH11501538A (ja) 医用画像において病巣を検出する方法及びシステム
CN101103924A (zh) 基于乳腺x线摄片的乳腺癌计算机辅助诊断方法及其系统
US9808217B2 (en) Breast cancer detection system, breast cancer detection method, breast cancer detection program, and computer-readable recording medium having breast cancer detection program recorded thereon
Yin et al. A robust method for segmenting pectoral muscle in mediolateral oblique (MLO) mammograms
CN114092450A (zh) 一种基于胃镜检查视频的实时图像分割方法、系统、装置
CN113780421B (zh) 基于人工智能的脑部pet影像识别方法
CN112529900B (zh) 匹配乳腺图像中roi的方法、装置、终端与存储介质
CN116485819B (zh) 一种耳鼻喉检查图像分割方法及系统
CN117115515A (zh) 一种数字乳腺三维断层摄影结构扭曲病灶图像处理方法
CN105956587A (zh) 一种基于形状约束的膝关节磁共振图像序列半月板自动提取方法
JP2024507290A (ja) 弱教師あり深層学習人工知能を利用した乳房超音波診断の方法及びシステム｛Ｍｅｔｈｏｄ ａｎｄ ｓｙｓｔｅｍ ｆｏｒ ｂｒｅａｓｔ ｕｌｔｒａｓｏｎｉｃ ｉｍａｇｅ ｄｉａｇｎｏｓｉｓ ｕｓｉｎｇ ｗｅａｋｌｙ－ｓｕｐｅｒｖｉｓｅｄ ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ｝
CN116934885A (zh) 肺部分割方法、装置、电子设备及存储介质
Timp Analysis of Temporal Mammogram Pairs to Detect and Characterise Mass Lesions.
da Cruz Automatic analysis of mammography images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination