CN117911418B - 基于改进yolo算法的病灶检测方法、系统及存储介质 - Google Patents

基于改进yolo算法的病灶检测方法、系统及存储介质 Download PDF

Info

Publication number
CN117911418B
CN117911418B CN202410316967.4A CN202410316967A CN117911418B CN 117911418 B CN117911418 B CN 117911418B CN 202410316967 A CN202410316967 A CN 202410316967A CN 117911418 B CN117911418 B CN 117911418B
Authority
CN
China
Prior art keywords
module
image
improved
attention
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410316967.4A
Other languages
English (en)
Other versions
CN117911418A (zh
Inventor
鲁明丽
谢浩杰
徐本连
王明明
施健
顾苏杭
朱培逸
吴妹英
刘静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changshu Institute of Technology
Original Assignee
Changshu Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changshu Institute of Technology filed Critical Changshu Institute of Technology
Priority to CN202410316967.4A priority Critical patent/CN117911418B/zh
Publication of CN117911418A publication Critical patent/CN117911418A/zh
Application granted granted Critical
Publication of CN117911418B publication Critical patent/CN117911418B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于改进YOLO算法的病灶检测方法、系统及存储介质，包括：确定需要确定病灶的医学图像；基于改进的YOLO算法网络架构搭建用于病灶检测的深度神经网络模型，改进后的主干网络包括双水平路由注意模块、C3模块、卷积层和SPPF模块，用于对图像进行特征提取，以得到共享特征图；改进后的头部网络包括PANet和FPNet网络与嵌入的Swin Transformer模块，用于融合主干网络输出的特征图，获取和处理来自多个尺度的特征信息；使用训练好的用于病灶检测的深度神经网络模型对图像进行病灶检测。不仅提高了网络模型对于小目标病灶检测的准确度，而且拥有更高的召回率。

Description

基于改进YOLO算法的病灶检测方法、系统及存储介质
技术领域
本发明属于图像处理技术领域，本发明涉及一种基于改进YOLO算法的病灶检测方法、系统及存储介质。
背景技术
随着医学影像技术和图像处理技术的快速发展，基于医学影像进行的病灶检测、病灶定位以及病灶分类等操作日益成为预防及治疗疾病的重要手段。在疾病的诊断过程中，快速且精准地确定医学影像中的病灶区域的具体位置是进行疾病诊断操作的基础前提，其重要性不言而喻。例如肺结核病作为一种以呼吸道为途径传染的疾病，其传染速度快，且患病初期若不能及时的检测出来并治愈，后期致死率极高。因此，在患病初期诊断出肺结核病灶极其重要。目前，专业放射科医生在应对正常大小的肺结核病灶诊断时就需要耗费巨大的精力，而对于微小的病灶，在繁重的工作下更容易被忽略。
现有的肺结核的诊断系统主要依托于通用的深度学习方法，由于在肺部影像中例如肺结节和空洞类型的肺结核病灶多为微小病灶，直接应用到医学图像容易导致漏检率高，检测效果差，此类辅助诊断系统甚至在一些存在微小病灶的病人上加大医生的精力投入。
发明内容
本发明的目的在于提供一种基于改进YOLO算法的病灶检测方法、系统及存储介质，在YOLOv5的基本框架上进行改进，不仅提高了网络模型对于小目标病灶检测的准确度，而且拥有更高的召回率，能进一步辅助医生诊断微小病灶。
实现本发明目的的技术解决方案为：
一种基于改进YOLO算法的病灶检测方法，包括以下步骤：
S01：确定需要确定病灶的医学图像；
S02：基于改进的YOLO算法网络架构，搭建用于病灶检测的深度神经网络模型，所述改进的YOLO算法网络架构包括在YOLOv5的基本框架上改进，改进后的主干网络包括双水平路由注意模块、C3模块、卷积层和SPPF模块，用于对图像进行特征提取，以得到共享特征图；改进后的头部网络包括PANet和FPNet网络与嵌入的Swin Transformer模块，用于融合主干网络输出的特征图，获取和处理来自多个尺度的特征信息；
S03：使用训练好的用于病灶检测的深度神经网络模型对图像进行病灶检测。
优选的技术方案中，所述步骤S01确定需要确定病灶的医学图像之前包括：
S11：使用训练好的U-Net网络模型对病灶区域进行初步分割，得到粗略的病灶区域，通过数字图像处理技术连接最大连通区域，从而得到完整的病灶区域；
S12：对得到的病灶区域进行数据增强，所述数据增强包括旋转、平移、镜像、图片亮暗变换和高斯模糊；
图像旋转公式为，其中是原图像中的像素点坐标；是对应像素点经过旋转变换后输出图像像素点的坐标；为图像旋转角度；
图像平移公式为：，其中，为图像沿轴和轴方向的平移量；图像垂直镜像变换公式为：，图像水平镜像变换公式分别为：；其中，和分别代表图像的长度和宽度，为原图像坐标，为变换后的坐标。图像亮暗变换公式为：，其中为原图像像素，为输出图像像素，和表示像素位于第行和第列，参数和为增益和偏差参数，分别控制对比度和亮度；
高斯模糊变换公式为：，其中是模糊半径，是正态分布的标准偏差。
优选的技术方案中，所述步骤S02中所述改进后的主干网络包括卷积层、C3模块和双水平路由注意模块，在最后一个有效特征层后端衔接一个SPPF模块获得来自不同尺寸池化核采集的特征信息，主干网络最后输出64×64、32×32和16×16三种尺度的特征图以供后续加强特征提取的头部网络使用。
优选的技术方案中，所述双水平路由注意模块在开始时使用了一个3x3的深度卷积来隐式编码相对位置信息，然后，依次应用扩展率为e的双层路由注意模块和2层MLP模块，分别进行跨位置关系和按位置嵌入，最后得到输出信息；所述双层路由注意模块的构建方法包括：
S21：区域划分和输入投影，给定一个二维输入特征映射，首先将其划分为S×S个不重叠区域，其中每个区域包含个特征向量。此时X变换为，之后通过线性映射获得，， ：
，，
其中，为实数矩阵的集合，H、W为特征图的高和宽，C为通道数，，，分别是query，key，value的投影权重。
S22：带有向图的区域到区域路由，在粗粒度Token上计算注意力权重，然后仅取其中的Top k区域作为相关区域参与细粒度的运算。首先通过分别对Q和K应用每个区域的平均值，导出区域级query和key，即和。然后，通过和转之间的矩阵乘法，导出区域间亲和图的邻接矩阵：
可衡量两个区域在语义上的相关程度。接下来通过只保留每个区域的top-k连接来修剪亲和力图。具体而言，使用逐行topk算子导出路由索引矩阵：
其中，的第i行包含第i个区域最相关区域的k个指标。
S23：Token-to-Token关注，将每个Token最相关的Topk粗粒度区域作为键和值参与最终的运算：
，
其中，，是聚集key和value的张量，然后，对聚集后的K-V使用注意力操作：
。
其中，表示使用深度可分离卷积进行参数化。
优选的技术方案中，所述步骤S02中病灶检测的深度神经网络模型使用NWD损失函数评价真实框和预测框的物体类别置信度损失，用于对融合后的高级语义特征进行回归计算，最终得到待检测病灶的预测矩形框，NWD损失函数通过高斯分布建模得到Wasserstein距离度量，并根据Wasserstein距离度量获取NWD损失函数。
优选的技术方案中，通过以下步骤构建边界框的高斯分布建模：
S51：对于水平边界框，其中，和分别表示中心坐标、宽度和高度，其内接椭圆方程为：
其中，是椭圆的中心坐标，，是沿和轴的半轴长度，二维高斯分布的概率密度函数为：
其中，、和表示高斯分布的坐标、均值向量和协方差矩阵；当满足时，椭圆方程将是二维高斯分布的密度等值线，因此，水平边界框建模为二维高斯分布，其中：
此外，边界框A和B之间的相似性转换为两个高斯分布之间的分布距离。
优选的技术方案中，Wasserstein距离度量的计算方法为：
对于两个二维高斯分布和，和之间的二阶Wasserstein距离为：
其中，是Frobenius范数，、均值向量，、协方差矩阵；
对于从边界框和建模的高斯分布和，简化为：
；
其中，，,分别表示边界框A的中心坐标、宽度和高度，，和分别表示边界框B的中心坐标、宽度和高度。
优选的技术方案中，NWD损失函数计算公式为：
其中，C是与数据集密切相关的常数。
本发明还公开了一种基于改进YOLO算法的病灶检测系统，包括：
医学图像获取模块，确定需要确定病灶的医学图像；
病灶检测的深度神经网络模型构建模块，基于改进的YOLO算法网络架构，搭建用于病灶检测的深度神经网络模型，所述改进的YOLO算法网络架构包括在YOLOv5的基本框架上改进，改进后的主干网络包括双水平路由注意模块、C3模块、卷积层和SPPF模块，用于对图像进行特征提取，以得到共享特征图；改进后的头部网络包括PANet和FPNet网络与嵌入的Swin Transformer模块，用于融合主干网络输出的特征图，获取和处理来自多个尺度的特征信息；
检测模块，使用训练好的用于病灶检测的深度神经网络模型对图像进行病灶检测。
本发明又公开了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被执行时实现上述的基于改进YOLO算法的病灶检测方法。
本发明与现有技术相比，其显著优点为：
1、本发明基于改进的YOLO算法实现对微小病灶的精准检测，该方法不仅提高了网络模型对于小目标病灶检测的准确度，而且拥有更高的召回率。能进一步辅助医生诊断微小病灶，进一步提升患病初期的检测效率，进而降低患者延误治疗和误诊的风险，同时也减轻了医务人员的工作强度。
2、在YOLOv5的基本框架上进行改进，改进主要包括在主干网络使用Biformer模块进一步增强对小目标病灶特征的提取性能。在头部网络使用基于Swin Transformer模块提升头部网络对小目标的特征处理能力。整体网络使用NWD损失函数评价真实框和预测框的物体类别置信度损失，从而进一步弱化不同大小矩形框的差异。
附图说明
图1为本实施例基于改进YOLO算法的病灶检测方法的流程图；
图2为基于改进YOLO算法网络的总体结构示意图；
图3为Biformer模块的总体结构图；
图4为Swin Transformer模块的总体结构图；
图5为基于改进YOLO算法的肺结核微小病灶检测方法的流程示意图。
具体实施方式
本发明的原理是：在YOLOv5的基本框架上进行改进，改进主要包括在主干网络使用Biformer模块进一步增强对小目标病灶特征的提取性能。在头部网络使用基于SwinTransformer模块提升头部网络对小目标的特征处理能力。整体网络使用NWD损失函数评价真实框和预测框的物体类别置信度损失，从而进一步弱化不同大小矩形框的差异。该方法不仅提高了网络模型对于小目标病灶检测的准确度，而且拥有更高的召回率，能进一步辅助医生诊断微小病灶。
实施例：
如图1所示，一种基于改进YOLO算法的病灶检测方法，包括以下步骤：
S01：确定需要确定病灶的医学图像；
S02：基于改进的YOLO算法网络架构，搭建用于病灶检测的深度神经网络模型，所述改进的YOLO算法网络架构包括在YOLOv5的基本框架上改进，改进后的主干网络包括双水平路由注意模块、C3模块、卷积层和SPPF模块，用于对图像进行特征提取，以得到共享特征图；改进后的头部网络包括PANet和FPNet网络与嵌入的Swin Transformer模块，用于融合主干网络输出的特征图，获取和处理来自多个尺度的特征信息；
S03：使用训练好的用于病灶检测的深度神经网络模型对图像进行病灶检测。
主干网络使用双水平路由注意模块进一步增强特征提取性能。在头部网络使用基于Swin Transformer模块提升头部网络对小目标的特征处理能力。
一较佳的实施例中，步骤S01确定需要确定病灶的医学图像之前包括：
S11：使用训练好的U-Net网络模型对病灶区域进行初步分割，得到粗略的病灶区域，通过数字图像处理技术连接最大连通区域，从而得到完整的病灶区域；
S12：对得到的病灶区域进行数据增强，所述数据增强包括旋转、平移、镜像、图片亮暗变换和高斯模糊；
图像旋转公式为，其中是原图像中的像素点坐标；是对应像素点经过旋转变换后输出图像像素点的坐标；为图像旋转角度；
图像平移公式为：，其中，为图像沿轴和轴方向的平移量；图像垂直镜像变换公式为：，图像水平镜像变换公式分别为：；其中，和分别代表图像的长度和宽度，为原图像坐标，为变换后的坐标。图像亮暗变换公式为：，其中为原图像像素，为输出图像像素，和表示像素位于第行和第列，参数和为增益和偏差参数，分别控制对比度和亮度；
高斯模糊变换公式为：，其中是模糊半径，是正态分布的标准偏差。
一较佳的实施例中，如图2所示，步骤S02中所述改进后的主干网络包括卷积层、C3模块和双水平路由注意模块（Biformer模块），在最后一个有效特征层后端衔接一个SPPF模块获得来自不同尺寸池化核采集的特征信息，主干网络最后输出64×64、32×32和16×16三种尺度的特征图以供后续加强特征提取的头部网络使用。
如图4所示，Swin Transformer模块可以捕获全局信息和丰富的上下文信息。每个Swin Transformer模块编码器包含两个子层，第一个子层是多头注意层，第二个子层是全连接层。在每个子层之间使用残差连接，最后得到输出信息。
一较佳的实施例中，如图3所示，双水平路由注意模块在开始时使用了一个3x3的深度卷积来隐式编码相对位置信息，然后，依次应用扩展率为e的双层路由注意模块和2层MLP模块，分别进行跨位置关系和按位置嵌入，最后得到输出信息；所述双层路由注意模块的构建方法包括：
S21：区域划分和输入投影，给定一个二维输入特征映射，其中，H，W为特征图的高和宽，C为通道数。首先将其划分为S×S个不重叠区域，其中每个区域包含个特征向量。此时X变换为，之后通过线性映射获得，， ：
，，
其中，，，分别表示query，key，value，，，分别是query，key，value的投影权重。
S22：带有向图的区域到区域路由，在粗粒度Token上计算注意力权重，然后仅取其中的Top k区域作为相关区域参与细粒度的运算。首先通过分别对Q和K应用每个区域的平均值，导出区域级query和key，即和。然后，通过和转置之间的矩阵乘法，导出区域间亲和图的邻接矩阵：
可衡量两个区域在语义上的相关程度。接下来通过只保留每个区域的top-k连接来修剪亲和力图。具体而言，使用逐行topk算子导出路由索引矩阵：
其中，的第i行包含第i个区域最相关区域的k个指标。
S22：Token-to-Token关注，将每个Token最相关的Topk粗粒度区域作为键和值参与最终的运算：
，
其中，，是聚集key和value的张量，然后，对聚集后的K-V使用注意力操作：
；
其中，表示使用深度可分离卷积进行参数化。
一较佳的实施例中，步骤S02中病灶检测的深度神经网络模型使用NWD损失函数评价真实框和预测框的物体类别置信度损失，用于对融合后的高级语义特征进行回归计算，最终得到待检测病灶的预测矩形框，NWD损失函数通过高斯分布建模得到Wasserstein距离度量，并根据Wasserstein距离度量获取NWD损失函数。
需要说明的是，Wasserstein距离度量又叫推土机距离度量。
一较佳的实施例中，通过以下步骤构建边界框的高斯分布建模：
S51：对于水平边界框，其中，和分别表示中心坐标、宽度和高度，其内接椭圆方程为：
其中，是椭圆的中心坐标，，是沿和轴的半轴长度，二维高斯分布的概率密度函数为：
其中，、和表示高斯分布的坐标、均值向量和协方差矩阵；当满足时，椭圆方程将是二维高斯分布的密度等值线，因此，水平边界框建模为二维高斯分布，其中：
此外，边界框A和B之间的相似性转换为两个高斯分布之间的分布距离。
一较佳的实施例中，Wasserstein距离度量的计算方法为：
对于两个二维高斯分布和，和之间的二阶Wasserstein距离为：
其中，是Frobenius范数，、均值向量，、协方差矩阵；
对于从边界框和建模的高斯分布和，简化为：
；
其中，，，分别表示边界框A的中心坐标、宽度和高度，，和分别表示边界框B的中心坐标、宽度和高度。
一较佳的实施例中，NWD损失函数计算公式为：
其中，C是与数据集密切相关的常数。
另一实施例中，一种计算机存储介质，其上存储有计算机程序，所述计算机程序被执行时实现上述的基于改进YOLO算法的病灶检测方法。
该基于改进YOLO算法的病灶检测方法可以采用上述的任一种的基于改进YOLO算法的病灶检测方法，具体实现这里不再赘述。
又一实施例中，一种基于改进YOLO算法的病灶检测系统，包括：
医学图像获取模块，确定需要确定病灶的医学图像；
病灶检测的深度神经网络模型构建模块，基于改进的YOLO算法网络架构，搭建用于病灶检测的深度神经网络模型，所述改进的YOLO算法网络架构包括在YOLOv5的基本框架上改进，改进后的主干网络包括双水平路由注意模块、C3模块、卷积层和SPPF模块，用于对图像进行特征提取，以得到共享特征图；改进后的头部网络包括PANet和FPNet网络与嵌入的Swin Transformer模块，用于融合主干网络输出的特征图，获取和处理来自多个尺度的特征信息；
检测模块，使用训练好的用于病灶检测的深度神经网络模型对图像进行病灶检测。
具体的，如图5所示，下面以肺结核病灶为例对基于改进YOLO算法的病灶检测系统的工作流程说明如下：
步骤1：获取患者的CT图像，本发明以CT图像切片厚度1.25mm和5mm为标准回顾性纳入了来自合作医院的肺部CT图像原始数据，每张图片的大小为512*512，将DICOM格式的CT图像转换为卷积神经网络要求的JPG格式以便用于网络训练。
步骤2：肺实质分割，使用训练好的U-Net网络模型对肺部区域进行初步分割，最终得到粗略的肺实质区域，之后，通过数字图像处理技术连接最大连通区域，从而得到完整的肺实质区域。
步骤3：图像标注，使用LabelImg标注图像中的肺结核病灶，本发明所使用的数据均由专业放射科医生手动进行标注，得到的数据均按照8:1:1的比例划分为训练集、验证集和测试集，用于网络训练和模型评估。
步骤4：数据增强，由于医学图像数据的特殊性，本发明采用的数据增强主要为旋转、平移、镜像、图片亮暗变换、高斯模糊等不改变病灶生物特征的方法。增强倍数为10倍。图像旋转公式为，其中是原图像中的像素点坐标；是对应像素点经过旋转变换后输出图像像素点的坐标；为图像旋转角度。
图像平移公式为：，其中，为图像沿轴和轴方向的平移量。
图像垂直镜像变换公式为：，图像水平镜像变换公式分别为：。
图像亮暗变换公式为：，其中为原图像像素，为输出图像像素，和表示像素位于第行和第列，参数和通常称为增益和偏差参数，分别控制对比度和亮度。
高斯模糊变换公式为：，其中是模糊半径，是正态分布的标准偏差，最后得到增强后的训练数据集。
步骤5：网络模型构建，基于改进YOLOv5的基本框架，搭建用于肺结核微小病灶精准检测的深度神经网络模型，如图2所示，改进主要包括在主干网络使用双水平路由注意模块进一步增强特征提取性能。在头部网络使用基于Swin Transformer模块提升头部网络对小目标的特征处理能力。整体网络使用基于归一化Wasserstein距离度量的损失函数评价真实框和预测框的物体类别置信度损失。
（1）改进后的主干网络采用双水平路由注意模块、C3模块、卷积层和SPPF模块进行搭建，用于对肺结核病灶图像进行特征提取，以得到共享特征图。主干网络整体由卷积层、C3模块和双水平路由注意模块构建，具体的，可以由5个卷积层、3个C3模块和18个双水平路由注意模块构建主干网络，并在最后一个有效特征层后端衔接一个SPPF模块获得来自不同尺寸池化核采集的特征信息，主干网络最后输出 64×64、32×32 和 16×16 三种尺度的特征图以供后续加强特征提取的头部网络使用。双水平路由的注意力模块是一种动态的、查询感知的稀疏注意力机制，其关键思想是在粗糙区域级别过滤掉大部分不相关的键值对，以便只保留一小部分路由区域。并在这些路由区域的联合中应用细粒度的token-to-token注意力。
如图3所示，Biformer 模块整体架构主要包括如下步骤：
Biformer 模块在开始时使用了一个3x3的深度卷积来隐式编码相对位置信息。然后，依次应用扩展率为e的双层路由注意模块和2层MLP模块，分别进行跨位置关系和按位置嵌入，最后得到输出信息。
可通过以下步骤构建所述双层路由注意模块：
a. 区域划分和输入投影，将特征图划分为S×S个不重叠区域并进行线性映射：
，，
b. 带有向图的区域到区域路由。在粗粒度Token上计算注意力权重，然后仅取其中的Top k区域作为相关区域参与细粒度的运算。
c. Token-to-Token关注。将每个Token最相关的Top k粗粒度区域作为键和值参与最终的运算。为了增强局部性，在值上用了一个深度卷积。
，
（2）改进后的头部网络使用PANet和FPNet网络与嵌入的Swin Transformer检测头模块进行搭建，用于融合主干网络输出的特征图，获取和处理来自多个尺度的特征信息。PANet和FPNet为YOLOv5原本的结构，Swin Transformer检测头可以捕获全局信息和丰富的上下文信息。如图4所示，每个Swin Transformer模块编码器包含两个子层。第一个子层是多头注意层，第二个子层是全连接层。在每个子层之间使用剩余连接。Transformer model编码器块增加了捕捉不同本地信息的能力。它还可以探索具有自我注意机制的特征表示潜力。
（3）整体网络使用基于归一化Wasserstein距离度量的损失函数评价真实框和预测框的物体类别置信度损失，用于对融合后的高级语义特征进行回归计算，最终得到待检测患者肺结核病灶的预测矩形框和类别信息。
可通过以下步骤构建所述边界框的高斯分布建模：
对于水平边界框，其中，和分别表示中心坐标、宽度和高度。其内接椭圆方程可以表示为：
其中是椭圆的中心坐标，，是沿和轴的半轴长度。因此，，，，。二维高斯分布的概率密度函数由下式给出：
其中、和表示高斯分布的坐标、均值向量和协方差矩阵。当满足时椭圆方程将是二维高斯分布的密度等值线。因此，水平边界框可以建模为二维高斯分布，其中：
此外，边界框A和B之间的相似性可以转换为两个高斯分布之间的分布距离。
可通过以下步骤构建高斯Wasserstein距离度量：
对于两个二维高斯分布和，和之间的二阶Wasserstein距离定义为：
其中是Frobenius范数。
此外，对于从边界框和建模的高斯分布和，可以简化为：
可通过以下公式获取所述NWD损失函数：
其中C是与数据集密切相关的常数。
步骤6：数据训练，将步骤4中数据增强后的训练数据集纳入改进后的YOLO神经网络进行训练，训练时引入yolov5s预训练模型作为迁移学习预训练模型训练，将训练轮数设为200轮，批大小设为4，取200次迭代中的最优训练模型。
步骤7：模型验证，使用步骤3中的验证数据集，通过YOLOv5识别到的锚框与专业医生标注的锚框对比，神经网络根据对比验证的结果生成相应的报告。包含查全率，查准率，平均精度均值(mAP)和F1分数等指标用来评估模型的整体性能。其中平均精度均针对病灶查准率的平均值，其余各指标对应计算公式为：
其中TP，TN，FP和FN分别表示真阳性，真阴性，假阳性和假阴性。
相比于直接将数据纳入YOLOv5神经网络训练的，本发明对于微小病灶的检测表现更优。
步骤8：病灶检测，使用训练好的最优模型对肺结核患者的CT图像进行检测，以矩形框方式将CT图像中的肺结核病灶识别出来。
可以为放射科医生在肺结核微小病灶诊断尤其是患病初期病灶还很小的时候提供巨大帮助，提升诊断效率。实现对肺结核微小病灶的精准检测，该方法不仅提高了网络模型对于小目标病灶检测的准确度，而且拥有更高的召回率。
上述实施例为本发明优选地实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种基于改进YOLO算法的病灶检测方法，其特征在于，包括以下步骤：
S01：确定需要确定病灶的医学图像；
S02：基于改进的YOLO算法网络架构，搭建用于病灶检测的深度神经网络模型，所述改进的YOLO算法网络架构包括在YOLOv5的基本框架上改进，改进后的主干网络包括双水平路由注意模块、C3模块、卷积层和SPPF模块，用于对图像进行特征提取，以得到共享特征图；改进后的头部网络包括PANet和FPNet网络与嵌入的Swin Transformer模块，用于融合主干网络输出的特征图，获取和处理来自多个尺度的特征信息；所述双水平路由注意模块在开始时使用了一个3x3的深度卷积来隐式编码相对位置信息，然后，依次应用扩展率为e的双层路由注意模块和2层MLP模块，分别进行跨位置关系和按位置嵌入，最后得到输出信息；所述双层路由注意模块的构建方法包括：
S21：区域划分和输入投影，给定一个二维输入特征映射，首先将其划分为S×S个不重叠区域，其中每个区域包含个特征向量，即将X变换为，之后通过线性映射获得，， ：
，，；
其中，为实数矩阵的集合，H、W为特征图的高和宽，C为通道数，，，分别表示query，key，value，，，分别是query，key，value的投影权重；
S22：带有向图的区域到区域路由，在粗粒度Token上计算注意力权重，然后取其中的k个区域作为相关区域参与细粒度的运算：
,
,
其中，和为区域级query和key，为区域间亲和图的邻接矩阵，为路由索引矩阵；
S23：Token-to-Token关注，将每个Token最相关的k个粗粒度区域作为键和值参与最终的运算：
，,
其中，，是聚集key和value的张量，然后，对聚集后的K-V使用注意力操作：
；
其中，为注意力操作，表示使用深度可分离卷积进行参数化；
S03：使用训练好的用于病灶检测的深度神经网络模型对图像进行病灶检测。
2.根据权利要求1所述的基于改进YOLO算法的病灶检测方法，其特征在于，所述步骤S01确定需要确定病灶的医学图像之前包括：
S11：使用训练好的U-Net网络模型对病灶区域进行初步分割，得到粗略的病灶区域，通过数字图像处理技术连接最大连通区域，从而得到完整的病灶区域；
S12：对得到的病灶区域进行数据增强，所述数据增强包括旋转、平移、镜像、图片亮暗变换和高斯模糊；
图像旋转公式为，其中是原图像中的像素点坐标；是对应像素点经过旋转变换后输出图像像素点的坐标；为图像旋转角度；
图像平移公式为：，其中，为图像沿轴和轴方向的平移量；图像垂直镜像变换公式为：，图像水平镜像变换公式分别为：；其中，和分别代表图像的长度和宽度，为原图像坐标，为变换后的坐标，图像亮暗变换公式为：，其中为原图像像素，为输出图像像素，和表示像素位于第行和第列，参数和为增益和偏差参数，分别控制对比度和亮度；
高斯模糊变换公式为：，其中是模糊半径，是正态分布的标准偏差。
3.根据权利要求1所述的基于改进YOLO算法的病灶检测方法，其特征在于，所述步骤S02中所述改进后的主干网络包括卷积层、C3模块和双水平路由注意模块，在最后一个有效特征层后端衔接一个SPPF模块获得来自不同尺寸池化核采集的特征信息，主干网络最后输出64×64、32×32和16×16三种尺度的特征图以供后续加强特征提取的头部网络使用。
4.根据权利要求1所述的基于改进YOLO算法的病灶检测方法，其特征在于，所述步骤S02中病灶检测的深度神经网络模型使用NWD损失函数评价真实框和预测框的物体类别置信度损失，用于对融合后的高级语义特征进行回归计算，最终得到待检测病灶的预测矩形框，NWD损失函数通过高斯分布建模得到Wasserstein距离度量，并根据Wasserstein距离度量获取NWD损失函数。
5.根据权利要求4所述的基于改进YOLO算法的病灶检测方法，其特征在于，通过以下步骤构建边界框的高斯分布建模：
S51：对于水平边界框，其中，和分别表示中心坐标、宽度和高度，其内接椭圆方程为：
,
其中，是椭圆的中心坐标，，是沿和轴的半轴长度，二维高斯分布的概率密度函数为：
,
其中，、和表示高斯分布的坐标、均值向量和协方差矩阵；当满足时，椭圆方程将是二维高斯分布的密度等值线，因此，水平边界框建模为二维高斯分布，其中：
,
此外，边界框A和B之间的相似性转换为两个高斯分布之间的分布距离。
6.根据权利要求4所述的基于改进YOLO算法的病灶检测方法，其特征在于，Wasserstein距离度量的计算方法为：
对于两个二维高斯分布和，和之间的二阶Wasserstein距离为：
,
其中，是Frobenius范数，、均值向量，、协方差矩阵；
对于从边界框和建模的高斯分布和，简化为：；
其中，，，分别表示边界框A的中心坐标、宽度和高度，，和分别表示边界框B的中心坐标、宽度和高度。
7.根据权利要求6所述的基于改进YOLO算法的病灶检测方法，其特征在于，NWD损失函数计算公式为：
，
其中，C是与数据集密切相关的常数。
8.一种基于改进YOLO算法的病灶检测系统，其特征在于，包括：
医学图像获取模块，确定需要确定病灶的医学图像；
病灶检测的深度神经网络模型构建模块，基于改进的YOLO算法网络架构，搭建用于病灶检测的深度神经网络模型，所述改进的YOLO算法网络架构包括在YOLOv5的基本框架上改进，改进后的主干网络包括双水平路由注意模块、C3模块、卷积层和SPPF模块，用于对图像进行特征提取，以得到共享特征图；改进后的头部网络包括PANet和FPNet网络与嵌入的Swin Transformer模块，用于融合主干网络输出的特征图，获取和处理来自多个尺度的特征信息；所述双水平路由注意模块在开始时使用了一个3x3的深度卷积来隐式编码相对位置信息，然后，依次应用扩展率为e的双层路由注意模块和2层MLP模块，分别进行跨位置关系和按位置嵌入，最后得到输出信息；所述双层路由注意模块的构建方法包括：
S21：区域划分和输入投影，给定一个二维输入特征映射，首先将其划分为S×S个不重叠区域，其中每个区域包含个特征向量，即将X变换为，之后通过线性映射获得，， ：
，，；
其中，为实数矩阵的集合，H、W为特征图的高和宽，C为通道数，，，分别表示query，key，value，，，分别是query，key，value的投影权重；
S22：带有向图的区域到区域路由，在粗粒度Token上计算注意力权重，然后取其中的k个区域作为相关区域参与细粒度的运算：
,
,
其中，和为区域级query和key，为区域间亲和图的邻接矩阵，为路由索引矩阵；
S23：Token-to-Token关注，将每个Token最相关的k个粗粒度区域作为键和值参与最终的运算：
，,
其中，，是聚集key和value的张量，然后，对聚集后的K-V使用注意力操作：
；
其中，为注意力操作，表示使用深度可分离卷积进行参数化；
检测模块，使用训练好的用于病灶检测的深度神经网络模型对图像进行病灶检测。
9.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时实现权利要求1-7任一项所述的基于改进YOLO算法的病灶检测方法。
CN202410316967.4A 2024-03-20 2024-03-20 基于改进yolo算法的病灶检测方法、系统及存储介质 Active CN117911418B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410316967.4A CN117911418B (zh) 2024-03-20 2024-03-20 基于改进yolo算法的病灶检测方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410316967.4A CN117911418B (zh) 2024-03-20 2024-03-20 基于改进yolo算法的病灶检测方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN117911418A CN117911418A (zh) 2024-04-19
CN117911418B true CN117911418B (zh) 2024-06-21

Family

ID=90687622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410316967.4A Active CN117911418B (zh) 2024-03-20 2024-03-20 基于改进yolo算法的病灶检测方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN117911418B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118711180A (zh) * 2024-08-30 2024-09-27 南昌大学第二附属医院 一种疟原虫图像检测方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677362A (zh) * 2022-04-08 2022-06-28 四川大学 基于改进YOLOv5的表面缺陷检测方法
CN114821466A (zh) * 2022-04-07 2022-07-29 浙江大学 一种基于改进yolo模型的轻型室内火灾识别方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458833B (zh) * 2019-08-15 2023-07-11 腾讯科技（深圳）有限公司 基于人工智能的医学图像处理方法、医学设备和存储介质
CN115937089A (zh) * 2022-10-18 2023-04-07 重庆生物智能制造研究院 一种基于改进yolov5病灶检测模型的训练检测方法
CN116452697B (zh) * 2023-06-16 2023-09-15 常熟理工学院 继发性肺结核病灶检测方法和系统
CN117422913A (zh) * 2023-10-23 2024-01-19 电子科技大学 一种改进的ct图像肺结节检测方法、设备及存储介质
CN117523203B (zh) * 2023-11-27 2024-07-12 太原理工大学 一种基于Transformer半监督算法的蜂窝肺病灶图像分割识别方法
CN117710760B (zh) * 2024-02-06 2024-05-17 广东海洋大学 残差的注意神经网络用于胸部x线病灶检测的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821466A (zh) * 2022-04-07 2022-07-29 浙江大学 一种基于改进yolo模型的轻型室内火灾识别方法
CN114677362A (zh) * 2022-04-08 2022-06-28 四川大学 基于改进YOLOv5的表面缺陷检测方法

Also Published As

Publication number Publication date
CN117911418A (zh) 2024-04-19

Similar Documents

Publication Publication Date Title
CN111476292B (zh) 医学图像分类处理人工智能的小样本元学习训练方法
CN111612754B (zh) 基于多模态图像融合的mri肿瘤优化分割方法及系统
CN110363138B (zh) 模型训练方法、图像处理方法、装置、终端及存储介质
WO2018120942A1 (zh) 一种多模型融合自动检测医学图像中病变的系统及方法
CN111738363B (zh) 基于改进的3d cnn网络的阿尔茨海默病分类方法
CN110059697B (zh) 一种基于深度学习的肺结节自动分割方法
CN117911418B (zh) 基于改进yolo算法的病灶检测方法、系统及存储介质
CN110599528A (zh) 一种基于神经网络的无监督三维医学图像配准方法及系统
CN111968138B (zh) 基于3d动态边缘不敏感性损失函数的医学图像分割方法
CN114897914B (zh) 基于对抗训练的半监督ct图像分割方法
CN111640120A (zh) 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法
Li et al. Automated measurement network for accurate segmentation and parameter modification in fetal head ultrasound images
CN111325750B (zh) 一种基于多尺度融合u型链神经网络的医学图像分割方法
CN112800237B (zh) 基于知识图谱嵌入表示的预测方法、装置和计算机设备
US11996198B2 (en) Determination of a growth rate of an object in 3D data sets using deep learning
WO2024021523A1 (zh) 基于图网络的大脑皮层表面全自动分割方法及系统
CN112149717A (zh) 基于置信度加权的图神经网络训练方法及装置
CN112861659B (zh) 一种图像模型训练方法、装置及电子设备、存储介质
WO2023044605A1 (zh) 极端环境下脑结构的三维重建方法、装置及可读存储介质
CN115423754A (zh) 一种图像分类方法、装置、设备及存储介质
CN112132878A (zh) 基于卷积神经网络的端到端大脑核磁共振图像配准方法
CN114612660A (zh) 一种基于多特征融合点云分割的三维建模方法
CN116091490A (zh) 一种基于YOLOv4-CA-CBAM-K-means++-SIOU的肺结节检测方法
CN116228792A (zh) 一种医学图像分割方法、系统及电子装置
CN113421228A (zh) 一种基于参数迁移的甲状腺结节识别模型训练方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant