CN117974672A - 基于全局信息的乳腺超声肿瘤病变区域检测方法及装置 - Google Patents

基于全局信息的乳腺超声肿瘤病变区域检测方法及装置 Download PDF

Info

Publication number
CN117974672A
CN117974672A CN202410390772.4A CN202410390772A CN117974672A CN 117974672 A CN117974672 A CN 117974672A CN 202410390772 A CN202410390772 A CN 202410390772A CN 117974672 A CN117974672 A CN 117974672A
Authority
CN
China
Prior art keywords
loss function
unit
image
distillation
lesion area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410390772.4A
Other languages
English (en)
Other versions
CN117974672B (zh
Inventor
刘卓晟
张维纬
吴晓琳
郭毓锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaqiao University
Original Assignee
Huaqiao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaqiao University filed Critical Huaqiao University
Priority to CN202410390772.4A priority Critical patent/CN117974672B/zh
Publication of CN117974672A publication Critical patent/CN117974672A/zh
Application granted granted Critical
Publication of CN117974672B publication Critical patent/CN117974672B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30068Mammography; Breast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明公开了一种基于全局信息的乳腺超声肿瘤病变区域检测方法及装置,涉及目标检测领域,包括:构建基于YOLOv5网络的乳腺超声肿瘤病变区域检测模型,构建高秩特征蒸馏模块和通道相关性关系蒸馏模块,将乳腺超声肿瘤病变区域检测模型的骨干网络的第三单元输出的低维图像特征和第四单元输出的高维图像特征均输入高秩特征蒸馏模块和通道相关性关系蒸馏模块,以构建高秩特征蒸馏损失函数和通道相关性蒸馏损失函数,并加入YOLOv5网络的损失函数中构建总损失函数,基于总损失函数训练得到经训练的乳腺超声肿瘤病变区域检测模型;将乳腺超声肿瘤灰度图像输入经训练的乳腺超声肿瘤病变区域检测模型,得到乳腺超声肿瘤病变区域,解决存在误检、漏检问题。

Description

基于全局信息的乳腺超声肿瘤病变区域检测方法及装置
技术领域
本发明涉及目标检测领域,具体涉及一种基于全局信息的乳腺超声肿瘤病变区域检测方法及装置。
背景技术
超声检查由于其成本低、非电离辐射、实时性、重复性好等优点,现已被广泛用于乳腺肿瘤诊疗任务。然而,乳腺超声图像存在噪声严重、对比度低、特征复杂等问题,同时诊断过程会受到医生经验和知识水平的限制和影响,易导致误诊和漏诊。基于深度学习的乳腺超声肿瘤检测方法通过医学图像处理技术,结合计算机的分析计算,辅助医生发现并诊断病灶,具有客观性强、操作效率高等优点,对临床诊断具有积极意义。
近年来,基于深度学习的乳腺病变区域检测研究有了较大进展。但由于超声图像目前的成像方式,容易受到斑点噪声和回波扰动的影响,存在散斑噪声大和对比度低的特性,导致图像的前景和背景区分度不高,从而对诊断产生混杂影响,这也加大了医生的诊断难度,造成对乳腺超声肿瘤图像检测的不准确。
发明内容
本申请的目的在于针对上述提到的技术问题提出一种基于全局信息的乳腺超声肿瘤病变区域检测方法及装置,实现对乳腺超声肿瘤图像中存在误检漏检问题的优化,提高模型对重叠目标的注意力,从全局信息获取乳腺超声肿瘤病变区域,提高检测的识别率和准确性。
第一方面,本发明提供了一种基于全局信息的乳腺超声肿瘤病变区域检测方法,包括以下步骤:
获取乳腺超声肿瘤图像并进行预处理,得到乳腺超声肿瘤灰度图像;
构建基于YOLOv5网络的乳腺超声肿瘤病变区域检测模型,在乳腺超声肿瘤病变区域检测模型的训练过程中,构建高秩特征蒸馏模块和通道相关性关系蒸馏模块,乳腺超声肿瘤病变区域检测模型的骨干网络包括依次连接的第一单元、第二单元、第三单元和第四单元,将第三单元输出的低维图像特征和第四单元输出的高维图像特征均输入高秩特征蒸馏模块,并构建高秩特征蒸馏损失函数,将第三单元输出的低维图像特征和第四单元输出的高维图像特征均输入通道相关性关系蒸馏模块,并构建通道相关性蒸馏损失函数,将高秩特征蒸馏损失函数和通道相关性蒸馏损失函数与YOLOv5网络的损失函数结合构建得到总损失函数,基于总损失函数对乳腺超声肿瘤病变区域检测模型进行训练,得到经训练的乳腺超声肿瘤病变区域检测模型;
将乳腺超声肿瘤灰度图像输入经训练的乳腺超声肿瘤病变区域检测模型,得到乳腺超声肿瘤病变区域。
作为优选,第一单元包括依次连接的第一CBS模块和第二CBS模块,第二单元包括依次连接的第一C3模块、第三CBS模块和第二C3模块,第三单元包括第四CBS模块,第四单元包括依次连接的第三C3模块、第五CBS模块、第四C3模块和SPPF模块,高维图像特征为SPPF模块的输出特征。
作为优选,将第三单元输出的低维图像特征和第四单元输出的高维图像特征均输入高秩特征蒸馏模块,并构建高秩特征蒸馏损失函数,具体包括:
将高维图像特征输入特征图秩计算函数,计算出以通道维度为单位的特征图像的秩值,并将结果存放于维度为/>的二维向量/>,计算公式如下:
其中,表示特征图秩计算函数,w和h分别表示高维图像特征的宽 和高,表示高维图像特征的通道维度;
将二维向量中的秩值进行降序排列,根据排序结果对高维图像特征中以通道维度为单位的特征图像进行重要性排序,并获得重要性排序后的特征图像,计算公式如下:
根据低维图像特征的通道维度提取重要性排序后的特征图像/>中对应通道维度的特征图像/>,采用自适应卷积调整器对特征图像/>的宽和高进行调整,得到与低维图像特征/>具有相同的宽和高的特征图像/>
计算低维图像特征与特征图像/>之间的L2范数,构建得到高秩特征蒸馏损失函数/>,计算公式如下:
其中,表示L2范数,/>表示自适应卷积调整器。
作为优选,将第三单元输出的低维图像特征和第四单元输出的高维图像特征均输入通道相关性关系蒸馏模块,并构建通道相关性蒸馏损失函数,具体包括:
计算高维图像特征的通道相关性矩阵/>,计算公式如下:
其中,表示高维图像特征/>中第m通道的特征图像,/>表示高维图像特征/>中第n通道的特征图像,/>表示特征映射函数,用以将二维特征向量映射为长度为hw的向量,/>表示内积函数,用以度量输入图像的通道维度之间的相关性;
采用自适应卷积调整器对低维图像特征的宽、高和通道维度进行调整,得到与高维图像特征/>具有相同的宽、高和通道维度的特征图像/>,计算特征图像的通道相关性矩阵/>,计算公式如下:
计算与/>之间的L2范数,构建得到通道相关性蒸馏损失函数/>,计算公式如下:
作为优选,总损失函数的计算公式如下:
其中,表示总损失函数,/>表示置信度损失,/> 表示矩形框损失,/>表示分类损失,/>表示高秩特征蒸馏损失函数,/>表示通道相关性蒸馏损失函数,/>、/>、/>、/>、/>分别表示置信度损失、矩形框损失、分类损失、高秩特征蒸馏损失函数和通道相关性蒸馏损失函数的权重系数。
作为优选,获取乳腺超声肿瘤图像并进行预处理,得到乳腺超声肿瘤灰度图像,具体包括:
去除乳腺超声肿瘤图像的四周的标注信息,并增强图像对比度,增强对比度的计算公式为:
其中,为乳腺超声肿瘤图像的原始像素值,为对应增强对比度处理后的像素 值,表示对数函数,常数C用于使变换后的图像的灰度动态范围符合要求。
第二方面,本发明提供了一种基于全局信息的乳腺超声肿瘤病变区域检测装置,包括:
图像处理模块,被配置为获取乳腺超声肿瘤图像并进行预处理,得到乳腺超声肿瘤灰度图像;
模型训练模块,被配置为构建基于YOLOv5网络的乳腺超声肿瘤病变区域检测模型,在乳腺超声肿瘤病变区域检测模型的训练过程中,构建高秩特征蒸馏模块和通道相关性关系蒸馏模块,乳腺超声肿瘤病变区域检测模型的骨干网络包括依次连接的第一单元、第二单元、第三单元和第四单元,将第三单元输出的低维图像特征和第四单元输出的高维图像特征均输入高秩特征蒸馏模块,并构建高秩特征蒸馏损失函数,将第三单元输出的低维图像特征和第四单元输出的高维图像特征均输入通道相关性关系蒸馏模块,并构建通道相关性蒸馏损失函数,将高秩特征蒸馏损失函数和通道相关性蒸馏损失函数与YOLOv5网络的损失函数结合构建得到总损失函数,基于总损失函数对乳腺超声肿瘤病变区域检测模型进行训练,得到经训练的乳腺超声肿瘤病变区域检测模型;
预测模块,被配置为将乳腺超声肿瘤灰度图像输入经训练的乳腺超声肿瘤病变区域检测模型,得到乳腺超声肿瘤病变区域。
第三方面,本发明提供了一种电子设备,包括一个或多个处理器;存储装置,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面,本发明提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
第五方面,本发明提供了一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
相比于现有技术,本发明具有以下有益效果:
(1)本发明提出的基于全局信息的乳腺超声肿瘤病变区域检测方法在乳腺超声肿瘤病变区域检测模型的骨干网络中采用高秩特征蒸馏模块与通道相关性关系蒸馏模块,引导乳腺超声肿瘤病变区域检测模型充分学习与拟合输入数据,增强对乳腺肿瘤病变区域特有的位置信息与图像语义信息的关注(通道间相关性信息),以便高维特征图像和低维特征图像之间进行充分的信息交换,提高乳腺超声肿瘤图像的检测能力。
(2)本发明提出的基于全局信息的乳腺超声肿瘤病变区域检测方法在乳腺超声肿瘤病变区域检测模型中引入知识蒸馏技术,通过高秩特征蒸馏模块与通道相关性蒸馏模型,以引导第四单元从特征语义层面与通道相关性层面获得与第三单元相近的特征提取能力,进而提升整体模型的全局信息提取能力,增强对乳腺肿瘤病变区域特有的语义信息与空间信息的关注,提高乳腺超声肿瘤图像的检测能力。
(3)本发明提出的基于全局信息的乳腺超声肿瘤病变区域检测方法从全局信息获取乳腺超声肿瘤病变区域,实现对乳腺超声肿瘤图像中存在误检漏检问题的优化,提高模型对重叠目标的注意力,提高检测的识别率和准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请的实施例的基于全局信息的乳腺超声肿瘤病变区域检测方法的流程示意图;
图2为本申请的实施例的基于全局信息的乳腺超声肿瘤病变区域检测方法的乳腺超声肿瘤病变区域检测模型的训练流程示意图;
图3为本申请的实施例的基于全局信息的乳腺超声肿瘤病变区域检测装置的示意图;
图4为本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
图1示出了本申请的实施例提供的一种基于全局信息的乳腺超声肿瘤病变区域检测方法,包括以下步骤:
S1,获取乳腺超声肿瘤图像并进行预处理,得到乳腺超声肿瘤灰度图像。
在具体的实施例中,获取乳腺超声肿瘤图像并进行预处理,得到乳腺超声肿瘤灰度图像,具体包括:
去除乳腺超声肿瘤图像的四周的标注信息,并增强图像对比度,增强对比度的计算公式为:
其中,为乳腺超声肿瘤图像的原始像素值,为对应增强对比度处理后的像素 值,表示对数函数,常数C用于使变换后的图像的灰度动态范围符合要求。
具体的,采用对数函数对乳腺超声肿瘤图像进行灰度变换,并增强图像的对比度,
S2,构建基于YOLOv5网络的乳腺超声肿瘤病变区域检测模型,在乳腺超声肿瘤病变区域检测模型的训练过程中,构建高秩特征蒸馏模块和通道相关性关系蒸馏模块,乳腺超声肿瘤病变区域检测模型的骨干网络包括依次连接的第一单元、第二单元、第三单元和第四单元,将第三单元输出的低维图像特征和第四单元输出的高维图像特征均输入高秩特征蒸馏模块,并构建高秩特征蒸馏损失函数,将第三单元输出的低维图像特征和第四单元输出的高维图像特征均输入通道相关性关系蒸馏模块,并构建通道相关性蒸馏损失函数,将高秩特征蒸馏损失函数和通道相关性蒸馏损失函数与YOLOv5网络的损失函数结合构建得到总损失函数,基于总损失函数对乳腺超声肿瘤病变区域检测模型进行训练,得到经训练的乳腺超声肿瘤病变区域检测模型。
在具体的实施例中,第一单元包括依次连接的第一CBS模块和第二CBS模块,第二单元包括依次连接的第一C3模块、第三CBS模块和第二C3模块,第三单元包括第四CBS模块,第四单元包括依次连接的第三C3模块、第五CBS模块、第四C3模块和SPPF模块,高维图像特征为SPPF模块的输出特征。
具体的,参考图2,乳腺超声肿瘤病变区域检测模型采用YOLOv5网络,YOLOv5网络的骨干网络采用由上至下依次布置的第一单元、第二单元、第三单元和第四单元,主要起到特征提取的作用,并且由高秩特征蒸馏模块和通道相关性关系蒸馏模块协助构建总损失函数。其中,第二单元位于上层,包括C3结构、CBS结构、C3结构;第三单元位于中层,为CBS结构;第四单元位于下层,包括C3结构、CBS结构、C3结构和快速空间金字塔池化结构(SPFF模块),获得经由第四单元和第三单元获得高维图像特征与低维图像特征,将高维图像特征与低维图像特征均输入高秩特征蒸馏模块与通道相关性关系蒸馏模块,协助乳腺超声肿瘤病变区域检测模型构建总损失函数,以引导第三单元从特征语义层面与通道相关性层面获得与第四单元相近的特征提取能力,进而提升整体模型的全局信息提取能力,使乳腺超声肿瘤病变区域检测模型在前向推理过程中更加关注乳腺超声肿瘤病变区域。也就是说,分别计算高秩特征蒸馏损失函数和通道相关性关系蒸馏损失函数并加入到YOLOv5网络的原有损失函数中,一同参与网络的反向传播,目的是提升网络的特征提取能力。颈部网络采用相互融合的FPN网络和PANET网络,得到多个维度特征图;头部网络采用CBS结构输出基于全局信息预测的乳腺超声肿瘤病变区域。第四单元输出的高维特征图像作为FPN网络的输入,该输入依次经过CBS结构和上采样后与第三单元输出的低维特征图像匹配后进行维度拼接,拼接结果再依次通过C3结构和CBS结构后完成特征融合,得到第一融合特征图;第一融合特征图继续进行上采样后与第二单元的输出匹配后进行维度拼接,拼接结果再通过C3结构完成特征融合,得到第二融合特征图,第二融合特征图输入头部网络,经过CBS结构,作为第一层输出特征图;将第二融合特征图经过CBS结构后与第一融合特征图经过C3结构和CBS结构的输出匹配后进行维度拼接,拼接结果再通过C3结构完成特征融合,得到第三融合特征图,第三融合特征图输入头部网络,经过CBS结构,作为第二层输出特征图;将第三融合特征图经过CBS结构后与高维特征图像经过CBS结构的输出匹配后进行维度拼接,拼接结果再通过C3结构完成特征融合,得到第四融合特征图,第四融合特征图输入头部网络,经过CBS结构,作为第三层输出特征图。
本申请的实施例利用知识蒸馏和目标检测的结合,实现对乳腺超声肿瘤图像中存在误检漏检问题的优化,提高检测的识别率和准确性。
在具体的实施例中,将第三单元输出的低维图像特征和第四单元输出的高维图像特征均输入高秩特征蒸馏模块,并构建高秩特征蒸馏损失函数,具体包括:
将高维图像特征输入特征图秩计算函数,计算出以通道维度为单位的特征图像的秩值,并将结果存放于维度为/>的二维向量/>,计算公式如下:
其中,表示特征图秩计算函数,w和h分别表示高维图像特征的宽 和高,表示高维图像特征的通道维度;
将二维向量中的秩值进行降序排列,根据排序结果对高维图像特征中以通道维度为单位的特征图像进行重要性排序,并获得重要性排序后的特征图像,计算公式如下:
根据低维图像特征的通道维度提取重要性排序后的特征图像/>中对应通道维度的特征图像/>,采用自适应卷积调整器对特征图像/>的宽和高进行调整,得到与低维图像特征/>具有相同的宽和高的特征图像/>
计算低维图像特征与特征图像/>之间的L2范数,构建得到高秩特征蒸馏损失函数/>,计算公式如下:
其中,表示L2范数,/>表示自适应卷积调整器。
在具体的实施例中,将第三单元输出的低维图像特征和第四单元输出的高维图像特征均输入通道相关性关系蒸馏模块,并构建通道相关性蒸馏损失函数,具体包括:
计算高维图像特征的通道相关性矩阵/>,计算公式如下:
其中,表示高维图像特征/>中第m通道的特征图像,/>表示高维图像特征/>中第n通道的特征图像,/>表示特征映射函数,用以将二维特征向量映射为长度为hw的向量,/>表示内积函数,用以度量输入图像的通道维度之间的相关性;
采用自适应卷积调整器对低维图像特征的宽、高和通道维度进行调整,得到与高维图像特征/>具有相同的宽、高和通道维度的特征图像/>,计算特征图像的通道相关性矩阵/>,计算公式如下:
计算与/>之间的L2范数,构建得到通道相关性蒸馏损失函数/>计算公式如下:
在具体的实施例中,总损失函数的计算公式如下:
其中,表示总损失函数,/>表示置信度损失,/>表示矩形框损失,/>表示分类损失,/>表示高秩特征蒸馏损失函数,/>表示通道相关性蒸馏损失函数,/>、/>、/>、/>、/>分别表示置信度损失、矩形框损失、分类损失、高秩特征蒸馏损失函数和通道相关性蒸馏损失函数的权重系数。
具体的,在乳腺超声肿瘤病变区域检测模型的训练过程中,首先获取乳腺超声肿瘤图像,对乳腺超声肿瘤图像进行预处理并标注制作成数据集,预处理包括去除乳腺超声肿瘤图像四周的标注信息并增强图像对比度。高秩特征蒸馏模块和通道相关性关系蒸馏模块仅仅只在乳腺超声肿瘤病变区域检测模型的训练过程中使用到。
高秩特征蒸馏模块是以高维图像特征的秩值作为重要性评估指标,将输入特征图秩计算函数/>,以通道为单位计算特征图像的秩值,并将结果存放于/>。高维图像特征/>以三维的形式/>图像中进行传输(忽略了批处理量,即batch_size维度)。高维图像特征/>是三维特征图,通过/>函数计算特征图像的秩值,即可获得的二维向量/>,其维度为/>,c表示通道维度,此时该二维向量中蕴含1024个数值。每个数值对应该通道维度的特征图像的秩值,通过数值排序函数对该二维向量进行降序排序,便可得到以通道维度为单位的特征图像的重要性排序结果,进一步获得重要性排序后的特征图像/>。接着依据第三单元输出的低维特征图像的通道维度,提取/>中对应通道维度的特征图像/>,进而完成对高维特征图像的降维,此时/>的尺寸为(20×20×512);再者,使用大小为1×1的自适应卷积调整器对/>的宽和高两个维度进行调整,进而获得与/>相同尺寸的特征图像,此时调整后的/>的尺寸为(40×40×512);计算/>与/>之间的L2范数完成高秩特征蒸馏,最终得到高秩特征蒸馏损失函数。
而通道相关性关系蒸馏模块中先计算高维图像特征的通道相关性矩阵,再计算低维特征图像/>的通道相关性矩阵,此时低维特征图像/>与高维图像特征之间存在尺寸不匹配,通过使用大小为1×1的自适应卷积调整器/>对/>的三个维度进行调整,以获得与/>相同尺寸的特征图像,进而完成通道相关性矩阵的计算。计算/>与/>之间的L2范数进而完成通道相关性蒸馏,得到通道相关性蒸馏损失函数。
通过加入高秩特征蒸馏损失函数和通道相关性蒸馏损失函数以构建基于全局信息的总损失函数,即在YOLOv5网络的原有损失函数的基础上,将高秩特征蒸馏损失函数和通道相关性蒸馏损失函数加入进去,YOLOv5网络的原有损失函数包括置信度损失、矩形框损失和分类损失。
S3,将乳腺超声肿瘤灰度图像输入经训练的乳腺超声肿瘤病变区域检测模型,得到乳腺超声肿瘤病变区域。
具体的,将经训练的乳腺超声肿瘤病变区域检测模型部署在服务器中,便可实时将乳腺超声肿瘤灰度图像输入经训练的乳腺超声肿瘤病变区域检测模型,以检测到乳腺超声肿瘤病变区域。
以上步骤S1-S3并不一定代表步骤之间的顺序,而是步骤符号表示,步骤间的顺序可调整。
进一步参考图3,作为对上述各图所示方法的实现,本申请提供了一种基于全局信息的乳腺超声肿瘤病变区域检测装置的一个实施例,该装置实施例与图1所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
本申请实施例提供了一种基于全局信息的乳腺超声肿瘤病变区域检测装置,包括:
图像处理模块1,被配置为获取乳腺超声肿瘤图像并进行预处理,得到乳腺超声肿瘤灰度图像;
模型训练模块2,被配置为构建基于YOLOv5网络的乳腺超声肿瘤病变区域检测模型,在乳腺超声肿瘤病变区域检测模型的训练过程中,构建高秩特征蒸馏模块和通道相关性关系蒸馏模块,乳腺超声肿瘤病变区域检测模型的骨干网络包括依次连接的第一单元、第二单元、第三单元和第四单元,将第三单元输出的低维图像特征和第四单元输出的高维图像特征均输入高秩特征蒸馏模块,并构建高秩特征蒸馏损失函数,将第三单元输出的低维图像特征和第四单元输出的高维图像特征均输入通道相关性关系蒸馏模块,并构建通道相关性蒸馏损失函数,将高秩特征蒸馏损失函数和通道相关性蒸馏损失函数与YOLOv5网络的损失函数结合构建得到总损失函数,基于总损失函数对乳腺超声肿瘤病变区域检测模型进行训练,得到经训练的乳腺超声肿瘤病变区域检测模型;
预测模块3,被配置为将乳腺超声肿瘤灰度图像输入经训练的乳腺超声肿瘤病变区域检测模型,得到乳腺超声肿瘤病变区域。
图4为本发明实施例提供的电子设备的硬件结构示意图。如图4所示,本实施例的电子设备包括:处理器401以及存储器402;其中存储器402,用于存储计算机执行指令;处理器401,用于执行存储器存储的计算机执行指令,以实现上述实施例中电子设备所执行的各个步骤。具体可以参见前述方法实施例中的相关描述。
可选地,存储器402既可以是独立的,也可以跟处理器401集成在一起。
当存储器402独立设置时,该电子设备还包括总线403,用于连接存储器402和处理器401。
本发明实施例还提供一种计算机存储介质,计算机存储介质中存储有计算机执行指令,当处理器执行计算机执行指令时,实现如上的方法。
本发明实施例还提供一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时,实现如上的方法。
在本发明所提供的实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能模块的形式实现的集成的模块,可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器执行本申请各个实施例方法的部分步骤。
应理解,上述处理器可以是中央处理单元(Central Processing Unit,简称CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器,也可能还包括非易失性存储NVM,例如至少一个磁盘存储器,还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
总线可以是工业标准体系结构(Industry Standard Architecture,简称ISA)总线、外部设备互连(Peripheral Component Interconnect,简称PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture,简称EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits,简称ASIC)中。当然,处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于全局信息的乳腺超声肿瘤病变区域检测方法,其特征在于,包括以下步骤:
获取乳腺超声肿瘤图像并进行预处理,得到乳腺超声肿瘤灰度图像;
构建基于YOLOv5网络的乳腺超声肿瘤病变区域检测模型,在所述乳腺超声肿瘤病变区域检测模型的训练过程中,构建高秩特征蒸馏模块和通道相关性关系蒸馏模块,所述乳腺超声肿瘤病变区域检测模型的骨干网络包括依次连接的第一单元、第二单元、第三单元和第四单元,将所述第三单元输出的低维图像特征和所述第四单元输出的高维图像特征均输入所述高秩特征蒸馏模块,并构建高秩特征蒸馏损失函数,将所述第三单元输出的低维图像特征和所述第四单元输出的高维图像特征均输入所述通道相关性关系蒸馏模块,并构建通道相关性蒸馏损失函数,将所述高秩特征蒸馏损失函数和通道相关性蒸馏损失函数与所述YOLOv5网络的损失函数结合构建得到总损失函数,基于所述总损失函数对所述乳腺超声肿瘤病变区域检测模型进行训练,得到经训练的乳腺超声肿瘤病变区域检测模型;
将所述乳腺超声肿瘤灰度图像输入所述经训练的乳腺超声肿瘤病变区域检测模型,得到乳腺超声肿瘤病变区域。
2.根据权利要求1所述的基于全局信息的乳腺超声肿瘤病变区域检测方法,其特征在于,所述第一单元包括依次连接的第一CBS模块和第二CBS模块,所述第二单元包括依次连接的第一C3模块、第三CBS模块和第二C3模块,所述第三单元包括第四CBS模块,所述第四单元包括依次连接的第三C3模块、第五CBS模块、第四C3模块和SPPF模块,所述高维图像特征为所述SPPF模块的输出特征。
3.根据权利要求1所述的基于全局信息的乳腺超声肿瘤病变区域检测方法,其特征在于,所述将所述第三单元输出的低维图像特征和所述第四单元输出的高维图像特征均输入所述高秩特征蒸馏模块,并构建高秩特征蒸馏损失函数,具体包括:
将高维图像特征输入特征图秩计算函数,计算出以通道维度为单位的特征图像的秩值,并将结果存放于维度为/>的二维向量/>,计算公式如下:
其中,表示特征图秩计算函数,w和h分别表示所述高维图像特征/>的宽和高,/>表示所述高维图像特征/>的通道维度;
将所述二维向量中的秩值进行降序排列,根据排序结果对所述高维图像特征/>中以通道维度为单位的特征图像进行重要性排序,并获得重要性排序后的特征图像/>,计算公式如下:
根据低维图像特征的通道维度提取重要性排序后的特征图像/>中对应通道维度的特征图像/>,采用自适应卷积调整器对所述特征图像/>的宽和高进行调整,得到与所述低维图像特征/>具有相同的宽和高的特征图像/>
计算所述低维图像特征与特征图像/>之间的L2范数,构建得到高秩特征蒸馏损失函数/>,计算公式如下:
其中,表示L2范数,/>表示所述自适应卷积调整器。
4.根据权利要求1所述的基于全局信息的乳腺超声肿瘤病变区域检测方法,其特征在于,所述将所述第三单元输出的低维图像特征和所述第四单元输出的高维图像特征均输入所述通道相关性关系蒸馏模块,并构建通道相关性蒸馏损失函数,具体包括:
计算高维图像特征的通道相关性矩阵/>,计算公式如下:
其中,表示高维图像特征/>中第m通道的特征图像,/>表示高维图像特征/>中第n通道的特征图像,/>表示特征映射函数,用以将二维特征向量映射为长度为hw的向量,/>表示内积函数,用以度量输入图像的通道维度之间的相关性;
采用自适应卷积调整器对低维图像特征的宽、高和通道维度进行调整,得到与所述高维图像特征/>具有相同的宽、高和通道维度的特征图像/>,计算特征图像的通道相关性矩阵/>,计算公式如下:
计算与/>之间的L2范数,构建得到通道相关性蒸馏损失函数/>,计算公式如下:
5.根据权利要求1所述的基于全局信息的乳腺超声肿瘤病变区域检测方法,其特征在于,所述总损失函数的计算公式如下:
其中,表示总损失函数,/>表示置信度损失,/> 表示矩形框损失,/>表示分类损失,/>表示高秩特征蒸馏损失函数,/>表示通道相关性蒸馏损失函数,/>、/>、/>、/>、/>分别表示置信度损失、矩形框损失、分类损失、高秩特征蒸馏损失函数和通道相关性蒸馏损失函数的权重系数。
6.根据权利要求1所述的基于全局信息的乳腺超声肿瘤病变区域检测方法,其特征在于,所述获取乳腺超声肿瘤图像并进行预处理,得到乳腺超声肿瘤灰度图像,具体包括:
去除所述乳腺超声肿瘤图像的四周的标注信息,并增强图像对比度,增强对比度的计算公式为:
其中,为所述乳腺超声肿瘤图像的原始像素值,/>为对应增强对比度处理后的像素值,/>表示对数函数,常数C用于使变换后的图像的灰度动态范围符合要求。
7.一种基于全局信息的乳腺超声肿瘤病变区域检测装置,其特征在于,包括:
图像处理模块,被配置为获取乳腺超声肿瘤图像并进行预处理,得到乳腺超声肿瘤灰度图像;
模型训练模块,被配置为构建基于YOLOv5网络的乳腺超声肿瘤病变区域检测模型,在所述乳腺超声肿瘤病变区域检测模型的训练过程中,构建高秩特征蒸馏模块和通道相关性关系蒸馏模块,所述乳腺超声肿瘤病变区域检测模型的骨干网络包括依次连接的第一单元、第二单元、第三单元和第四单元,将所述第三单元输出的低维图像特征和所述第四单元输出的高维图像特征均输入所述高秩特征蒸馏模块,并构建高秩特征蒸馏损失函数,将所述第三单元输出的低维图像特征和所述第四单元输出的高维图像特征均输入所述通道相关性关系蒸馏模块,并构建通道相关性蒸馏损失函数,将所述高秩特征蒸馏损失函数和通道相关性蒸馏损失函数与所述YOLOv5网络的损失函数结合构建得到总损失函数,基于所述总损失函数对所述乳腺超声肿瘤病变区域检测模型进行训练,得到经训练的乳腺超声肿瘤病变区域检测模型;
预测模块,被配置为将所述乳腺超声肿瘤灰度图像输入所述经训练的乳腺超声肿瘤病变区域检测模型,得到乳腺超声肿瘤病变区域。
8.一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-6中任一所述的方法。
10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-6中任一所述的方法。
CN202410390772.4A 2024-04-02 2024-04-02 基于全局信息的乳腺超声肿瘤病变区域检测方法及装置 Active CN117974672B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410390772.4A CN117974672B (zh) 2024-04-02 2024-04-02 基于全局信息的乳腺超声肿瘤病变区域检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410390772.4A CN117974672B (zh) 2024-04-02 2024-04-02 基于全局信息的乳腺超声肿瘤病变区域检测方法及装置

Publications (2)

Publication Number Publication Date
CN117974672A true CN117974672A (zh) 2024-05-03
CN117974672B CN117974672B (zh) 2024-06-18

Family

ID=90864744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410390772.4A Active CN117974672B (zh) 2024-04-02 2024-04-02 基于全局信息的乳腺超声肿瘤病变区域检测方法及装置

Country Status (1)

Country Link
CN (1) CN117974672B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118505705A (zh) * 2024-07-18 2024-08-16 华侨大学 基于特征蒸馏的多尺度骨肉瘤ct图像病变区域检测方法
CN118587217A (zh) * 2024-08-06 2024-09-03 华侨大学 基于特征相关性的骨肉瘤ct图像病变区域检测方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097512A (zh) * 2019-04-16 2019-08-06 四川大学 基于Wasserstein生成对抗网络的三维MRI图像去噪模型的构建方法及应用
CN110689089A (zh) * 2019-10-12 2020-01-14 电子科技大学 用于深度学习多类别医疗图像分类的主动增量训练方法
CN111368995A (zh) * 2020-02-14 2020-07-03 中国科学院深圳先进技术研究院 一种基于序列推荐系统的通用网络压缩框架和压缩方法
CN113052211A (zh) * 2021-03-11 2021-06-29 天津大学 一种基于特征的秩和通道重要性的剪枝方法
CN114049357A (zh) * 2021-09-08 2022-02-15 匀熵科技(无锡)有限公司 一种基于特征集关联度的乳腺超声分割方法
CN114298287A (zh) * 2022-01-11 2022-04-08 平安科技(深圳)有限公司 基于知识蒸馏的预测方法和装置、电子设备、存储介质
CN117312325A (zh) * 2023-11-28 2023-12-29 中国科学技术大学 基于知识蒸馏的量化索引构建方法、装置及设备
CN117422715A (zh) * 2023-12-18 2024-01-19 华侨大学 一种基于全局信息的乳腺超声肿瘤病变区域检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097512A (zh) * 2019-04-16 2019-08-06 四川大学 基于Wasserstein生成对抗网络的三维MRI图像去噪模型的构建方法及应用
CN110689089A (zh) * 2019-10-12 2020-01-14 电子科技大学 用于深度学习多类别医疗图像分类的主动增量训练方法
CN111368995A (zh) * 2020-02-14 2020-07-03 中国科学院深圳先进技术研究院 一种基于序列推荐系统的通用网络压缩框架和压缩方法
CN113052211A (zh) * 2021-03-11 2021-06-29 天津大学 一种基于特征的秩和通道重要性的剪枝方法
CN114049357A (zh) * 2021-09-08 2022-02-15 匀熵科技(无锡)有限公司 一种基于特征集关联度的乳腺超声分割方法
CN114298287A (zh) * 2022-01-11 2022-04-08 平安科技(深圳)有限公司 基于知识蒸馏的预测方法和装置、电子设备、存储介质
CN117312325A (zh) * 2023-11-28 2023-12-29 中国科学技术大学 基于知识蒸馏的量化索引构建方法、装置及设备
CN117422715A (zh) * 2023-12-18 2024-01-19 华侨大学 一种基于全局信息的乳腺超声肿瘤病变区域检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118505705A (zh) * 2024-07-18 2024-08-16 华侨大学 基于特征蒸馏的多尺度骨肉瘤ct图像病变区域检测方法
CN118587217A (zh) * 2024-08-06 2024-09-03 华侨大学 基于特征相关性的骨肉瘤ct图像病变区域检测方法及系统

Also Published As

Publication number Publication date
CN117974672B (zh) 2024-06-18

Similar Documents

Publication Publication Date Title
Pinaya et al. Unsupervised brain imaging 3D anomaly detection and segmentation with transformers
CN106682435B (zh) 一种多模型融合自动检测医学图像中病变的系统及方法
CN117974672B (zh) 基于全局信息的乳腺超声肿瘤病变区域检测方法及装置
CN111291825B (zh) 病灶分类模型训练方法、装置、计算机设备和存储介质
Iqbal et al. MDA-Net: Multiscale dual attention-based network for breast lesion segmentation using ultrasound images
Li et al. Automated measurement network for accurate segmentation and parameter modification in fetal head ultrasound images
WO2023138190A1 (zh) 目标检测模型的训练方法及对应的检测方法
CN117078692B (zh) 一种基于自适应特征融合的医疗超声图像分割方法及系统
CN116228690A (zh) 基于pet-ct的胰腺癌与自身性免疫性胰腺炎自动辅助诊断方法
CN114549538A (zh) 一种基于空间信息与特征通道的脑肿瘤医学图像分割方法
CN112508884A (zh) 一种癌变区域综合检测装置及方法
Cheng et al. DSGMFFN: Deepest semantically guided multi-scale feature fusion network for automated lesion segmentation in ABUS images
CN113256622A (zh) 基于三维图像的目标检测方法、装置及电子设备
CN113408595B (zh) 病理图像处理的方法、装置、电子设备及可读存储介质
Baldeon-Calisto et al. DistilIQA: Distilling vision transformers for no-reference perceptual CT image quality assessment
CN114782407A (zh) 基于卷积神经网络的胎儿超声关键切面识别方法及装置
CN114937044A (zh) 一种轻量化图像分割方法、装置及存储介质
Mani Deep learning models for semantic multi-modal medical image segmentation
CN113362350A (zh) 癌症病历图像的分割方法、装置、终端设备和存储介质
Li et al. DiffCAS: Diffusion based multi-attention network for segmentation of 3D coronary artery from CT angiography
CN113408596B (zh) 病理图像的处理方法、装置、电子设备及可读存储介质
CN117078664B (zh) 计算机可读存储介质、超声图像质量评估装置及电子设备
Kou et al. FDTR: Weakening feature disparity transformer for accurate multicategory computed tomography image segmentation
CN117726822B (zh) 基于双分支特征融合的三维医学图像分类分割系统及方法
CN118196102B (zh) 基于双网络去影的乳腺超声肿瘤病变区域检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant