CN116681663B - 基于深度学习的静脉石检测方法及装置 - Google Patents

基于深度学习的静脉石检测方法及装置 Download PDF

Info

Publication number
CN116681663B
CN116681663B CN202310619408.6A CN202310619408A CN116681663B CN 116681663 B CN116681663 B CN 116681663B CN 202310619408 A CN202310619408 A CN 202310619408A CN 116681663 B CN116681663 B CN 116681663B
Authority
CN
China
Prior art keywords
layer
convolution
batch normalization
image
convolutional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310619408.6A
Other languages
English (en)
Other versions
CN116681663A (zh
Inventor
何强
蔡雨薇
龚霞
范新东
熊屏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jianghan University
Original Assignee
Jianghan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jianghan University filed Critical Jianghan University
Priority to CN202310619408.6A priority Critical patent/CN116681663B/zh
Publication of CN116681663A publication Critical patent/CN116681663A/zh
Application granted granted Critical
Publication of CN116681663B publication Critical patent/CN116681663B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于深度学习的静脉石检测方法及装置，该方法包括：获取标注有静脉石区域的图像样本；将所述图像样本输入至预设的深度学习网络模型进行训练，得到最优训练权重，基于所述最优训练权重以及所述深度学习网络模型，得到静脉石图像检测网络模型；将待识别超声图像输入至所述静脉石图像检测网络模型，得到标注有静脉石信息的图像；其中，所述静脉石图像检测网络模型，包括：主干特征提取部分、加强特征融合部分和目标检测输出部分。本发明可以解决静脉畸形中静脉石难以识别的技术问题。

Description

基于深度学习的静脉石检测方法及装置
技术领域
本发明涉及图像识别技术领域，具体涉及一种基于深度学习的静脉石检测方法及装置。
背景技术
判断静脉畸形一般是通过对目标对象的灰度超声图像以及挤压前和挤压后的彩色血流超声图像进行识别判断，但是超声图像特征不易分辨、纹理丰富、累及面积广、边界模糊、彩色血流超声图像中常产生伪影等因素引起的检测和识别困难，影响诊断结果。静脉石是静脉畸形灰阶超声图像中重要的诊断特征，从静脉畸形的灰度超声图像中诊断出静脉石能为判别静脉畸形提供可靠诊断依据。静脉石常出现于四肢末端等血液流速低的静脉畸形处，在超声图像中存在和背景超声特征类似、目标较小、人工可能漏检等识别难点，临床识别存在一定难度。
发明内容
有鉴于此，有必要提供一种基于深度学习的静脉石检测方法及装置，用以解决静脉畸形中静脉石难以识别的技术问题。
为了实现上述目的，本发明提供了一种基于深度学习的静脉石检测方法，包括：
获取标注有静脉石区域的图像样本；
将所述图像样本输入至预设的深度学习网络模型进行训练，得到最优训练权重，基于所述最优训练权重以及所述深度学习网络模型，得到静脉石图像检测网络模型；
将待识别超声图像输入至所述静脉石图像检测网络模型，得到标注有静脉石信息的图像；
其中，所述静脉石图像检测网络模型，包括：主干特征提取部分、加强特征融合部分和目标检测输出部分；
所述主干特征提取部分包括1个对输入图像进行初步处理的卷积层和5组依次连接的卷积层和主干集中卷积块，最下层的主干集中卷积块连接有快速特征金字塔；
所述加强特征融合部分包括自底向上的特征融合路径及对应的自顶向下的特征融合路径；
所述自底向上的特征融合路径包括3个依次连接的第一融合模块，所述第一融合模块包括依次连接的卷积层、上采样层、拼接层和加强集中卷积块；
所述自顶向下的特征融合路径包括3个依次连接的第二融合模块，所述第二融合模块包括依次连接的卷积层、拼接层和加强集中卷积块；
所述目标检测部分包括4个卷积层，所述4个卷积层中分别与所述自底向上的特征融合路径的最上层加强集中卷积块以及所述自顶向下的特征融合路径的3个加强集中卷积块连接。
进一步地，所述获取标注有静脉石区域的图像样本，包括：
获取静脉畸形灰度超声图像，对所述静脉畸形灰度超声图像进行分类和筛选，得到含有静脉石的灰度超声图像；
对所述含有静脉石的灰度超声图像进行预处理，得到标注后静脉石区域的图像样本。
进一步地，所述对所述含有静脉石的灰度超声图像进行预处理，得到标注后静脉石区域的图像样本，包括：
对所述含有静脉石的灰度超声图像进行预处理，隐去所述含有静脉石的灰度超声图像中的个人身份信息，得到去敏图像；
将所述去敏图像进行裁剪，得到灰度超声图像成像区域图像；
对所述灰度超声图像成像区域图像进行标注，得到标注后静脉石区域的图像样本。
进一步地，所述主干特征提取部分的主干集中卷积块激活函数为SiLU。
进一步地，所述主干集中卷积块包括：第一卷积批标准化层、第二卷积批标准化层、第三卷积批标准化层、主干瓶颈块、第一拼接层；
其中，所述第一卷积批标准化层、所述主干瓶颈块、所述第一拼接层、所述第二卷积批标准化层依次连接，所述第三卷积批标准化层的输出端与所述第一拼接层的输入端连接；
所述主干瓶颈块包括第四卷积批标准化层和第五卷积批标准化层，所述第四卷积批标准化层的输出端与所述第五卷积批标准化层的输入端连接，且所述第四卷积批标准化层的输入端还与所述第五卷积批标准化层的输出端相加连接。
进一步地，所述快速特征金字塔模块，包括：第六卷积批标准化层、第七卷积批标准化层、第一最大池化层、第二最大池化层、第三最大池化层以及第二拼接层；
其中，所述第一最大池化层、所述第二最大池化层以及所述第三最大池化层依次连接，所述第六卷积批标准化层、所述第二拼接层以及所述第七卷积批标准化层依次连接，所述第六卷积批标准化层还与所述第一最大池化层连接，且所述第一最大池化层、所述第二最大池化层以及所述第三最大池化层还均与所述第二拼接层连接。
进一步地，所述加强集中卷积块，包括：第八卷积批标准化层、第九卷积批标准化层、第十卷积批标准化层、加强瓶颈块以及第三拼接层；
其中，所述第八卷积批标准化层、所述加强瓶颈块、所述第三拼接层、所述第九卷积批标准化层依次连接，所述第十卷积批标准化层的输出端与所述第三拼接层的输入端连接。
本发明还提供一种基于深度学习的静脉石检测装置，包括：
获取模块，用于获取标注有静脉石区域的图像样本；
训练模块，用于将所述图像样本输入至预设的深度学习网络模型进行训练，得到最优训练权重，基于所述最优训练权重以及所述深度学习网络模型，得到静脉石图像检测网络模型；
识别模块，用于将待识别超声图像输入至所述静脉石图像检测网络模型，得到标注有静脉石信息的图像；
其中，所述静脉石图像检测网络模型，包括：主干特征提取部分、加强特征融合部分和目标检测输出部分；
所述主干特征提取部分包括1个对输入图像进行初步处理的卷积层和5组依次连接的卷积层和主干集中卷积块，最下层的主干集中卷积块连接有快速特征金字塔；
所述加强特征融合部分包括自底向上的特征融合路径及对应的自顶向下的特征融合路径；
所述自底向上的特征融合路径包括3个依次连接的第一融合模块，所述第一融合模块包括依次连接的卷积层、上采样层、拼接层和加强集中卷积块；
所述自顶向下的特征融合路径包括3个依次连接的第二融合模块，所述第二融合模块包括依次连接的卷积层、拼接层和加强集中卷积块；
所述目标检测部分包括4个卷积层，所述4个卷积层中分别与所述自底向上的特征融合路径的最上层加强集中卷积块以及所述自顶向下的特征融合路径的3个加强集中卷积块连接。
本发明还提供一种电子设备，包括存储器和处理器，其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以实现如上述任意一项所述的基于深度学习的静脉石检测方法中的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的基于深度学习的静脉石检测方法。
采用上述实现方式的有益效果是：本发明提供的基于深度学习的静脉石检测方法及装置，通过将标注有静脉石区域的图像样本，输入至预设的深度学习网络模型进行训练，得到最优训练权重，基于所述最优训练权重以及所述深度学习网络模型，得到静脉石图像检测网络模型，从而对待识别超声图像进行检测识别。
其中，所述静脉石图像检测网络模型，包括：主干特征提取部分、加强特征融合部分和目标检测输出部分。该网络模型能实现自动检测和识别静脉石，达到判别静脉畸形的目的。通过静脉石诊断静脉畸形，能为判别静脉畸形提供可靠诊断依据，提高静脉石的识别正确率和静脉畸形的判别正确率。
在网络模型的主干特征提取部分中对训练函数、结构进行调整，使用多路径的残差结构拼接和融合不同尺度的特征，增强了特征提取的效果。在网络模型的加强特征融合部分使用自底向上和自顶向下两条特征融合路径，自底向上特征融合有助于传达特征强定位信息，自顶向下有助于传达特征强语义信息，增强了特征融合的效果。
在网络模型的主干特征提取部分和加强特征融合部分中均增加了不同尺度的残差结构和多尺度卷积操作，从多尺度空间对超声图像中的特征进行提取和融合，增强了网络模型对局部和整体特征提取的能力和融合的效果。
通过增加网络模型中不同尺度的目标检测输出层，在多个尺度下对目标进行检测和识别，使训练模型更好的拟合不同尺寸大小的目标，提升了目标检测的效果，从而解决静脉畸形中静脉石难以识别的技术问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的基于深度学习的静脉石检测方法的一实施例的流程示意图；
图2为本发明提供的训练深度学习网络模型的示意图；
图3为本发明提供的超声图像数据预处理的示意图；
图4为本发明提供的主干集中卷积块的示意图；
图5为本发明提供的快速特征金字塔模块的示意图；
图6为本发明提供的加强集中卷积块的示意图；
图7为本发明提供的基于深度学习的静脉石检测方法的另一实施例的流程示意图；
图8是本发明提供的基于深度学习的静脉石检测装置的原理框图；
图9为本发明提供的电子设备的一个实施例结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本申请实施例的描述中，除非另有说明， “多个”的含义是两个或两个以上。
本发明实施例中术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。
在本发明实施例中出现的对步骤进行的命名或者编号，并不意味着必须按照命名或者编号所指示的时间/逻辑先后顺序执行方法流程中的步骤，已经命名或者编号的流程步骤可以根据要实现的技术目的变更执行次序，只要能达到相同或者相似的技术效果即可。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其他实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其他实施例相结合。
本发明提供了一种基于深度学习的静脉石检测方法及装置，以下分别进行说明。
如图1所示，本发明提供一种基于深度学习的静脉石检测方法，包括：
步骤110、获取标注有静脉石区域的图像样本；
步骤120、将所述图像样本输入至预设的深度学习网络模型进行训练，得到最优训练权重，基于所述最优训练权重以及所述深度学习网络模型，得到静脉石图像检测网络模型；
步骤130、将待识别超声图像输入至所述静脉石图像检测网络模型，得到标注有静脉石信息的图像；
其中，如图2所示，所述静脉石图像检测网络模型，包括：主干特征提取部分、加强特征融合部分和目标检测输出部分；
所述主干特征提取部分包括1个对输入图像进行初步处理的卷积层和5组依次连接的卷积层和主干集中卷积块，最下层的主干集中卷积块连接有快速特征金字塔；
所述加强特征融合部分包括自底向上的特征融合路径及对应的自顶向下的特征融合路径；
所述自底向上的特征融合路径包括3个依次连接的第一融合模块，所述第一融合模块包括依次连接的卷积层、上采样层、拼接层和加强集中卷积块；
所述自顶向下的特征融合路径包括3个依次连接的第二融合模块，所述第二融合模块包括依次连接的卷积层、拼接层和加强集中卷积块；
所述目标检测部分包括4个卷积层，所述4个卷积层中分别与所述自底向上的特征融合路径的最上层加强集中卷积块以及所述自顶向下的特征融合路径的3个加强集中卷积块连接。
可以理解的是，通过上述步骤得到标注有静脉石信息的图像，进一步可以用于判别静脉畸形。
进行深度学习网络模型搭建，本发明使用的训练和检测网络模型一致，共分为三个部分：主干特征提取部分、加强特征融合部分和目标检测输出部分。
主干特征提取部分包含残差结构和多尺度卷积操作，首先经过一次卷积对输入图像进行初步处理，然后进行五次卷积、输入到主干集中卷积块的操作。其中主干集中卷积块是去掉了残差输出后的卷积模块，将拼接后的标准卷积模块中的激活函数从LeakyReLU换成了SiLU，主干集中卷积块中的主干瓶颈块将通道数减少再扩大（默认减小到一半），以获取特征（共使用两个标准卷积模块），其输入和输出通道数不发生改变。再输入到快速金字塔模块中，使用不同池化核大小的最大池化操作继续提取特征，提高网络的感受野。完成主干特征提取部分后，得到四个初步的特征图像。将所有特征图像输入到加强特征融合部分，该部分包括自底向上和自顶向上两条特征融合路径。
首先进行自底向上的特征融合操作，将第四个特征图像进行多尺度卷积和上采样操作，再与第三个特征图像进行拼接，输入到加强特征融合部分的加强集中卷积块中。加强集中卷积块与主干集中卷积块的区别在于：主干集中卷积块会进行多个特征层相加操作，而加强集中卷积块不进行多个特征层的相加操作。自底向上特征融合共进行三次卷积、上采样、拼接和输入到加强集中卷积块中的操作，传达强定位特征。
接着进行自顶向下的特征融合路径，将完成自底向上融合的特征层输入到自顶向下的特征融合部分进行卷积，与自底向上特征融合路径中尺寸相同的特征层拼接后，输入到加强集中卷积块中，共进行三次卷积、拼接和输入到加强集中卷积块中的操作，传达强语义信息。
最后选取自底向上特征融合中最后一个加强集中卷积组的输出层以及每一个自顶向下特征融合中的加强集中卷积块的输出作为目标检测输出部分的输出层，在不同尺度大小的输出进行目标检测。
最后将所有尺度空间中的识别结果进行融合，与标注信息进行比较，不断更新训练数据，得到最优训练权重。
将静脉石原始灰度超声图像和标注信息输入到构建好的深度学习网络模型中进行训练，获取最优训练权重。
将需要进行检测和识别的疑似属于静脉畸形的超声图像输入到静脉石图像检测网络模型中，使用最优训练权重进行检测和识别，输出标有静脉石的区域及名称的灰度超声图像，作为临床医生诊断的辅助依据。
在一些实施例中，所述获取标注有静脉石区域的图像样本，包括：
获取静脉畸形灰度超声图像，对所述静脉畸形灰度超声图像进行分类和筛选，得到含有静脉石的灰度超声图像；
对所述含有静脉石的灰度超声图像进行预处理，得到标注后静脉石区域的图像样本。
可以理解的是，静脉畸形灰度超声图像可以是不同类型的图像，有的图像包含有静脉石，有的图像不包含有静脉石，因此，需要对获取的静脉畸形灰度超声图像进行分类和筛选。
对含有静脉石的灰度超声图像进行预处理，消除图像中无关的信息，保留有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，从而改进特征抽取、图像分割、匹配和识别的可靠性。
在一些实施例中，所述对所述含有静脉石的灰度超声图像进行预处理，得到标注后静脉石区域的图像样本，包括：
对所述含有静脉石的灰度超声图像进行预处理，隐去所述含有静脉石的灰度超声图像中的个人身份信息，得到去敏图像；
将所述去敏图像进行裁剪，得到灰度超声图像成像区域图像；
对所述灰度超声图像成像区域图像进行标注，得到标注后静脉石区域的图像样本。
可以理解的是，对所有灰度超声图像进行预处理，隐去每个人的个人信息后，将超声图像进行裁剪，只保留灰度超声图像成像区域，对含有静脉石的区域进行标注。其中，生成最终的图像样本即标签图像的流程如图3所示。
在一些实施例中，所述主干特征提取部分的主干集中卷积块激活函数为SiLU。
可以理解的是，SiLU激活函数也即是sigmoid 加权线性单元。
在一些实施例中，如图4所示，所述主干集中卷积块包括：第一卷积批标准化层、第二卷积批标准化层、第三卷积批标准化层、主干瓶颈块、第一拼接层；
其中，所述第一卷积批标准化层、所述主干瓶颈块、所述第一拼接层、所述第二卷积批标准化层依次连接，所述第三卷积批标准化层的输出端与所述第一拼接层的输入端连接；
所述主干瓶颈块包括第四卷积批标准化层和第五卷积批标准化层，所述第四卷积批标准化层的输出端与所述第五卷积批标准化层的输入端连接，且所述第四卷积批标准化层的输入端还与所述第五卷积批标准化层的输出端相加连接。
在一些实施例中，如图5所示，所述快速特征金字塔模块，包括：第六卷积批标准化层、第七卷积批标准化层、第一最大池化层、第二最大池化层、第三最大池化层以及第二拼接层；
其中，所述第一最大池化层、所述第二最大池化层以及所述第三最大池化层依次连接，所述第六卷积批标准化层、所述第二拼接层以及所述第七卷积批标准化层依次连接，所述第六卷积批标准化层还与所述第一最大池化层连接，且所述第一最大池化层、所述第二最大池化层以及所述第三最大池化层还均与所述第二拼接层连接。
在一些实施例中，如图6所示，所述加强集中卷积块，包括：第八卷积批标准化层、第九卷积批标准化层、第十卷积批标准化层、加强瓶颈块以及第三拼接层；
其中，所述第八卷积批标准化层、所述加强瓶颈块、所述第三拼接层、所述第九卷积批标准化层依次连接，所述第十卷积批标准化层的输出端与所述第三拼接层的输入端连接。
在一些实施例中，基于深度学习的静脉石检测方法流程如图7所示，采集超声图像数据后进行预处理，构建模块进行检测和识别。
综上所述，本发明提出了一种基于改进yolov5深度学习网络模型对静脉畸形中的静脉石灰度超声图像检测和识别方法。首先，从采集的病患超声图像，分类并筛选出进行训练的静脉石灰度超声图像，将所有灰度超声图像隐去个人信息，通过裁剪只保留灰度超声图像成像区域，并对所有图像进行标注；然后将原始超声图像及其标注信息作为一组训练数据，输入到训练网络模型中，通过有残差结构多尺度卷积的主干特征提取部分中进行降尺度特征提取后，将提取的特征输入有残差结构和多尺度卷积的加强特征融合部分进行自底向上和自顶向下的特征融合。接着从融合特征中选取不同尺度的目标特征层作为输出，进行目标检测与识别。最后将所有尺度空间中的识别结果进行融合，与标注信息进行比较，不断更新训练数据，得到最优训练权重。
将需要检测的静脉石灰度超声图像输入到检测网络模型中，使用训练出的最优权重进行检测和识别，输出标有静脉石的区域及名称的灰度超声图像，作为临床医生诊断的辅助依据。实验结果表明，该方法识别静脉石的精确率达到94.7%，召回率达到89.5%，mAPval 50达到94.3%，mAPval 50-95达到52.9%。
本发明提供的基于深度学习的静脉石检测方法，通过将标注有静脉石区域的图像样本，输入至预设的深度学习网络模型进行训练，得到最优训练权重，基于所述最优训练权重以及所述深度学习网络模型，得到静脉石图像检测网络模型，从而对待识别超声图像进行检测识别。
其中，所述静脉石图像检测网络模型，包括：主干特征提取部分、加强特征融合部分和目标检测输出部分。该网络模型能实现自动检测和识别静脉石，达到判别静脉畸形的目的。通过静脉石诊断静脉畸形，能为判别静脉畸形提供可靠诊断依据，提高静脉石的识别正确率和静脉畸形的判别正确率。
在网络模型的主干特征提取部分中对训练函数、结构进行调整，使用多路径的残差结构拼接和融合不同尺度的特征，增强了特征提取的效果。在网络模型的加强特征融合部分使用自底向上和自顶向下两条特征融合路径，自底向上特征融合有助于传达特征强定位信息，自顶向下有助于传达特征强语义信息，增强了特征融合的效果。
在网络模型的主干特征提取部分和加强特征融合部分中均增加了不同尺度的残差结构和多尺度卷积操作，从多尺度空间对超声图像中的特征进行提取和融合，增强了网络模型对局部和整体特征提取的能力和融合的效果。
通过增加网络模型中不同尺度的目标检测输出层，在多个尺度下对目标进行检测和识别，使训练模型更好的拟合不同尺寸大小的目标，提升了目标检测的效果，从而解决静脉畸形中静脉石难以识别的技术问题，通过自动检测和识别静脉石，从而判别静脉畸形。
如图8所示，本发明还提供一种基于深度学习的静脉石检测装置800，包括：
获取模块810，用于获取标注有静脉石区域的图像样本；
训练模块820，用于将所述图像样本输入至预设的深度学习网络模型进行训练，得到最优训练权重，基于所述最优训练权重以及所述深度学习网络模型，得到静脉石图像检测网络模型；
识别模块830，用于将待识别超声图像输入至所述静脉石图像检测网络模型，得到标注有静脉石信息的图像；
其中，所述静脉石图像检测网络模型，包括：主干特征提取部分、加强特征融合部分和目标检测输出部分；
所述主干特征提取部分包括1个对输入图像进行初步处理的卷积层和5组依次连接的卷积层和主干集中卷积块，最下层的主干集中卷积块连接有快速特征金字塔；
所述加强特征融合部分包括自底向上的特征融合路径及对应的自顶向下的特征融合路径；
所述自底向上的特征融合路径包括3个依次连接的第一融合模块，所述第一融合模块包括依次连接的卷积层、上采样层、拼接层和加强集中卷积块；
所述自顶向下的特征融合路径包括3个依次连接的第二融合模块，所述第二融合模块包括依次连接的卷积层、拼接层和加强集中卷积块；
所述目标检测部分包括4个卷积层，所述4个卷积层中分别与所述自底向上的特征融合路径的最上层加强集中卷积块以及所述自顶向下的特征融合路径的3个加强集中卷积块连接。
上述实施例提供的基于深度学习的静脉石检测装置可实现上述基于深度学习的静脉石检测方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述基于深度学习的静脉石检测方法实施例中的相应内容，此处不再赘述。
如图9所示，本发明还相应提供了一种电子设备900。该电子设备900包括处理器901、存储器902及显示器903。图9仅示出了电子设备900的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
存储器902在一些实施例中可以是电子设备900的内部存储单元，例如电子设备900的硬盘或内存。存储器902在另一些实施例中也可以是电子设备900的外部存储设备，例如电子设备900上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。
进一步地，存储器902还可既包括电子设备900的内部储存单元也包括外部存储设备。存储器902用于存储安装电子设备900的应用软件及各类数据。
处理器901在一些实施例中可以是一个中央处理器（Central Processing Unit，CPU），微处理器或其他数据处理芯片，用于运行存储器902中存储的程序代码或处理数据，例如本发明中的基于深度学习的静脉石检测方法。
显示器903在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。显示器903用于显示在电子设备900的信息以及用于显示可视化的用户界面。电子设备900的部件901-903通过系统总线相互通信。
在本发明的一些实施例中，当处理器901执行存储器902中的基于深度学习的静脉石检测方法程序时，可实现以下步骤：
获取标注有静脉石区域的图像样本；
将所述图像样本输入至预设的深度学习网络模型进行训练，得到最优训练权重，基于所述最优训练权重以及所述深度学习网络模型，得到静脉石图像检测网络模型；
将待识别超声图像输入至所述静脉石图像检测网络模型，得到标注有静脉石信息的图像；
其中，所述静脉石图像检测网络模型，包括：主干特征提取部分、加强特征融合部分和目标检测输出部分；
所述主干特征提取部分包括1个对输入图像进行初步处理的卷积层和5组依次连接的卷积层和主干集中卷积块，最下层的主干集中卷积块连接有快速特征金字塔；
所述加强特征融合部分包括自底向上的特征融合路径及对应的自顶向下的特征融合路径；
所述自底向上的特征融合路径包括3个依次连接的第一融合模块，所述第一融合模块包括依次连接的卷积层、上采样层、拼接层和加强集中卷积块；
所述自顶向下的特征融合路径包括3个依次连接的第二融合模块，所述第二融合模块包括依次连接的卷积层、拼接层和加强集中卷积块；
所述目标检测部分包括4个卷积层，所述4个卷积层中分别与所述自底向上的特征融合路径的最上层加强集中卷积块以及所述自顶向下的特征融合路径的3个加强集中卷积块连接。
应当理解的是：处理器901在执行存储器902中的基于深度学习的静脉石检测方法程序时，除了上面的功能之外，还可实现其他功能，具体可参见前面相应方法实施例的描述。
进一步地，本发明实施例对提及的电子设备900的类型不作具体限定，电子设备900可以为手机、平板电脑、个人数字助理(personaldigitalassistant，PDA)、可穿戴设备、膝上型计算机（laptop）等便携式电子设备。便携式电子设备的示例性实施例包括但不限于搭载IOS、android、microsoft或者其他操作系统的便携式电子设备。上述便携式电子设备也可以是其他便携式电子设备，诸如具有触敏表面（例如触控面板）的膝上型计算机（laptop）等。还应当理解的是，在本发明其他一些实施例中，电子设备900也可以不是便携式电子设备，而是具有触敏表面（例如触控面板）的台式计算机。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于深度学习的静脉石检测方法，该方法包括：
获取标注有静脉石区域的图像样本；
将所述图像样本输入至预设的深度学习网络模型进行训练，得到最优训练权重，基于所述最优训练权重以及所述深度学习网络模型，得到静脉石图像检测网络模型；
将待识别超声图像输入至所述静脉石图像检测网络模型，得到标注有静脉石信息的图像；
其中，所述静脉石图像检测网络模型，包括：主干特征提取部分、加强特征融合部分和目标检测输出部分；
所述主干特征提取部分包括1个对输入图像进行初步处理的卷积层和5组依次连接的卷积层和主干集中卷积块，最下层的主干集中卷积块连接有快速特征金字塔；
所述加强特征融合部分包括自底向上的特征融合路径及对应的自顶向下的特征融合路径；
所述自底向上的特征融合路径包括3个依次连接的第一融合模块，所述第一融合模块包括依次连接的卷积层、上采样层、拼接层和加强集中卷积块；
所述自顶向下的特征融合路径包括3个依次连接的第二融合模块，所述第二融合模块包括依次连接的卷积层、拼接层和加强集中卷积块；
所述目标检测部分包括4个卷积层，所述4个卷积层中分别与所述自底向上的特征融合路径的最上层加强集中卷积块以及所述自顶向下的特征融合路径的3个加强集中卷积块连接。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，程序可存储于计算机可读存储介质中。其中，计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上对本发明所提供的基于深度学习的静脉石检测方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种基于深度学习的静脉石检测方法，其特征在于，包括：
获取标注有静脉石区域的图像样本；
将所述图像样本输入至预设的深度学习网络模型进行训练，得到最优训练权重，基于所述最优训练权重以及所述深度学习网络模型，得到静脉石图像检测网络模型；
将待识别超声图像输入至所述静脉石图像检测网络模型，得到标注有静脉石信息的图像；
其中，所述静脉石图像检测网络模型，包括：主干特征提取部分、加强特征融合部分和目标检测输出部分；
所述主干特征提取部分包括1个对输入图像进行初步处理的卷积层和5组依次连接的卷积层和主干集中卷积块，最下层的主干集中卷积块连接有快速特征金字塔；
所述加强特征融合部分包括自底向上的特征融合路径及对应的自顶向下的特征融合路径；
所述自底向上的特征融合路径包括3个依次连接的第一融合模块，所述第一融合模块包括依次连接的卷积层、上采样层、拼接层和加强集中卷积块；
所述自顶向下的特征融合路径包括3个依次连接的第二融合模块，所述第二融合模块包括依次连接的卷积层、拼接层和加强集中卷积块；
所述目标检测部分包括4个卷积层，所述4个卷积层中分别与所述自底向上的特征融合路径的最上层加强集中卷积块以及所述自顶向下的特征融合路径的3个加强集中卷积块连接；
所述主干集中卷积块包括：第一卷积批标准化层、第二卷积批标准化层、第三卷积批标准化层、主干瓶颈块、第一拼接层；
其中，所述第一卷积批标准化层、所述主干瓶颈块、所述第一拼接层、所述第二卷积批标准化层依次连接，所述第三卷积批标准化层的输出端与所述第一拼接层的输入端连接；
所述主干瓶颈块包括第四卷积批标准化层和第五卷积批标准化层，所述第四卷积批标准化层的输出端与所述第五卷积批标准化层的输入端连接，且所述第四卷积批标准化层的输入端还与所述第五卷积批标准化层的输出端相加连接；
所述快速特征金字塔模块，包括：第六卷积批标准化层、第七卷积批标准化层、第一最大池化层、第二最大池化层、第三最大池化层以及第二拼接层；
其中，所述第一最大池化层、所述第二最大池化层以及所述第三最大池化层依次连接，所述第六卷积批标准化层、所述第二拼接层以及所述第七卷积批标准化层依次连接，所述第六卷积批标准化层还与所述第一最大池化层连接，且所述第一最大池化层、所述第二最大池化层以及所述第三最大池化层还均与所述第二拼接层连接；
所述加强集中卷积块，包括：第八卷积批标准化层、第九卷积批标准化层、第十卷积批标准化层、加强瓶颈块以及第三拼接层；
其中，所述第八卷积批标准化层、所述加强瓶颈块、所述第三拼接层、所述第九卷积批标准化层依次连接，所述第十卷积批标准化层的输出端与所述第三拼接层的输入端连接。
2.根据权利要求1所述的基于深度学习的静脉石检测方法，其特征在于，所述获取标注有静脉石区域的图像样本，包括：
获取静脉畸形灰度超声图像，对所述静脉畸形灰度超声图像进行分类和筛选，得到含有静脉石的灰度超声图像；
对所述含有静脉石的灰度超声图像进行预处理，得到标注后静脉石区域的图像样本。
3.根据权利要求2所述的基于深度学习的静脉石检测方法，其特征在于，所述对所述含有静脉石的灰度超声图像进行预处理，得到标注后静脉石区域的图像样本，包括：
对所述含有静脉石的灰度超声图像进行预处理，隐去所述含有静脉石的灰度超声图像中的个人身份信息，得到去敏图像；
将所述去敏图像进行裁剪，得到灰度超声图像成像区域图像；
对所述灰度超声图像成像区域图像进行标注，得到标注后静脉石区域的图像样本。
4.根据权利要求1所述的基于深度学习的静脉石检测方法，其特征在于，所述主干特征提取部分的主干集中卷积块激活函数为SiLU。
5.一种基于深度学习的静脉石检测装置，其特征在于，包括：
获取模块，用于获取标注有静脉石区域的图像样本；
训练模块，用于将所述图像样本输入至预设的深度学习网络模型进行训练，得到最优训练权重，基于所述最优训练权重以及所述深度学习网络模型，得到静脉石图像检测网络模型；
识别模块，用于将待识别超声图像输入至所述静脉石图像检测网络模型，得到标注有静脉石信息的图像；
其中，所述静脉石图像检测网络模型，包括：主干特征提取部分、加强特征融合部分和目标检测输出部分；
所述主干特征提取部分包括1个对输入图像进行初步处理的卷积层和5组依次连接的卷积层和主干集中卷积块，最下层的主干集中卷积块连接有快速特征金字塔；
所述加强特征融合部分包括自底向上的特征融合路径及对应的自顶向下的特征融合路径；
所述自底向上的特征融合路径包括3个依次连接的第一融合模块，所述第一融合模块包括依次连接的卷积层、上采样层、拼接层和加强集中卷积块；
所述自顶向下的特征融合路径包括3个依次连接的第二融合模块，所述第二融合模块包括依次连接的卷积层、拼接层和加强集中卷积块；
所述目标检测部分包括4个卷积层，所述4个卷积层中分别与所述自底向上的特征融合路径的最上层加强集中卷积块以及所述自顶向下的特征融合路径的3个加强集中卷积块连接；
所述主干集中卷积块包括：第一卷积批标准化层、第二卷积批标准化层、第三卷积批标准化层、主干瓶颈块、第一拼接层；
其中，所述第一卷积批标准化层、所述主干瓶颈块、所述第一拼接层、所述第二卷积批标准化层依次连接，所述第三卷积批标准化层的输出端与所述第一拼接层的输入端连接；
所述主干瓶颈块包括第四卷积批标准化层和第五卷积批标准化层，所述第四卷积批标准化层的输出端与所述第五卷积批标准化层的输入端连接，且所述第四卷积批标准化层的输入端还与所述第五卷积批标准化层的输出端相加连接；
所述快速特征金字塔模块，包括：第六卷积批标准化层、第七卷积批标准化层、第一最大池化层、第二最大池化层、第三最大池化层以及第二拼接层；
其中，所述第一最大池化层、所述第二最大池化层以及所述第三最大池化层依次连接，所述第六卷积批标准化层、所述第二拼接层以及所述第七卷积批标准化层依次连接，所述第六卷积批标准化层还与所述第一最大池化层连接，且所述第一最大池化层、所述第二最大池化层以及所述第三最大池化层还均与所述第二拼接层连接；
所述加强集中卷积块，包括：第八卷积批标准化层、第九卷积批标准化层、第十卷积批标准化层、加强瓶颈块以及第三拼接层；
其中，所述第八卷积批标准化层、所述加强瓶颈块、所述第三拼接层、所述第九卷积批标准化层依次连接，所述第十卷积批标准化层的输出端与所述第三拼接层的输入端连接。
6.一种电子设备，其特征在于，包括存储器和处理器，其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以实现如权利要求1至4中任意一项所述的基于深度学习的静脉石检测方法中的步骤。
7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的基于深度学习的静脉石检测方法。
CN202310619408.6A 2023-05-29 2023-05-29 基于深度学习的静脉石检测方法及装置 Active CN116681663B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310619408.6A CN116681663B (zh) 2023-05-29 2023-05-29 基于深度学习的静脉石检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310619408.6A CN116681663B (zh) 2023-05-29 2023-05-29 基于深度学习的静脉石检测方法及装置

Publications (2)

Publication Number Publication Date
CN116681663A CN116681663A (zh) 2023-09-01
CN116681663B true CN116681663B (zh) 2025-02-25

Family

ID=87778457

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310619408.6A Active CN116681663B (zh) 2023-05-29 2023-05-29 基于深度学习的静脉石检测方法及装置

Country Status (1)

Country Link
CN (1) CN116681663B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949570A (zh) * 2021-03-26 2021-06-11 长春工业大学 一种基于残差注意力机制的指静脉识别方法
CN114937201A (zh) * 2022-07-04 2022-08-23 中国海洋大学三亚海洋研究院 一种海洋生物目标检测算法模型的搭建方法及识别方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110738141A (zh) * 2019-09-26 2020-01-31 五邑大学 一种静脉识别的方法、装置、设备及存储介质
CN112651326B (zh) * 2020-12-22 2022-09-27 济南大学 一种基于深度学习的驾驶员手部检测方法及系统
CN115471746A (zh) * 2022-08-26 2022-12-13 中船航海科技有限责任公司 一种基于深度学习的船舶目标识别检测方法
CN115965587A (zh) * 2022-12-01 2023-04-14 江汉大学 脉管病理超声图像的识别方法、装置及电子设备
CN115810157B (zh) * 2022-12-19 2025-08-12 南京航空航天大学 一种基于轻量级特征融合的无人机目标检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949570A (zh) * 2021-03-26 2021-06-11 长春工业大学 一种基于残差注意力机制的指静脉识别方法
CN114937201A (zh) * 2022-07-04 2022-08-23 中国海洋大学三亚海洋研究院 一种海洋生物目标检测算法模型的搭建方法及识别方法

Also Published As

Publication number Publication date
CN116681663A (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
CN110033018B (zh) 图形相似度判断方法、装置及计算机可读存储介质
CN110245657B (zh) 病理图像相似性检测方法及检测装置
WO2021217857A1 (zh) 切片缺陷检测方法、装置、电子设备及可读存储介质
US11600088B2 (en) Utilizing machine learning and image filtering techniques to detect and analyze handwritten text
CN112164082A (zh) 基于3d卷积神经网络分割多模态mr脑部图像方法
WO2018201647A1 (zh) 视网膜病变程度等级检测方法、装置及存储介质
CN111476290A (zh) 检测模型训练方法、淋巴结检测方法、装置、设备及介质
CN112991281B (zh) 视觉检测方法、系统、电子设备及介质
CN116958957A (zh) 多模态特征提取网络的训练方法及三维特征表示方法
CN113963238A (zh) 多任务感知识别模型的构建方法以及多任务感知识别方法
CN113435377A (zh) 一种医疗手掌静脉图像采集监控方法及系统
CN113344873B (zh) 一种血管分割方法、装置及计算机可读介质
CN115953393A (zh) 基于多任务学习的颅内动脉瘤检测系统、设备及存储介质
CN113836297B (zh) 文本情感分析模型的训练方法及装置
CN110851349A (zh) 页面异常显示的检测方法、终端设备及存储介质
CN116681663B (zh) 基于深度学习的静脉石检测方法及装置
CN112614107A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN116468690B (zh) 基于深度学习的浸润性非粘液性肺腺癌的亚型分析系统
CN111191561A (zh) 用于非机动车的重识别的方法、装置及计算机存储介质
CN118297967A (zh) 图像处理方法、装置、设备及介质
CN113361584B (zh) 模型训练的方法及装置、肺动脉高压的测量方法及装置
You et al. Figure content analysis for improved biomedical article retrieval
CN115965587A (zh) 脉管病理超声图像的识别方法、装置及电子设备
CN115295171A (zh) 一种miRNA-癌症关联方法及相关装置
Nalla et al. Influence of Convolutional Neural Network Depth on the Efficacy of Automated Breast Cancer Screening Systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant