CN117809122A - 一种颅内大血管图像的处理方法、系统、电子设备及介质 - Google Patents

一种颅内大血管图像的处理方法、系统、电子设备及介质 Download PDF

Info

Publication number
CN117809122A
CN117809122A CN202410223590.8A CN202410223590A CN117809122A CN 117809122 A CN117809122 A CN 117809122A CN 202410223590 A CN202410223590 A CN 202410223590A CN 117809122 A CN117809122 A CN 117809122A
Authority
CN
China
Prior art keywords
image
interest
region
target
intracranial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410223590.8A
Other languages
English (en)
Other versions
CN117809122B (zh
Inventor
荆京
李艳辉
丁玲玲
张烁
刘盼
刘子阳
李子孝
王拥军
刘涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Beijing Tiantan Hospital
Original Assignee
Beihang University
Beijing Tiantan Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University, Beijing Tiantan Hospital filed Critical Beihang University
Priority to CN202410223590.8A priority Critical patent/CN117809122B/zh
Publication of CN117809122A publication Critical patent/CN117809122A/zh
Application granted granted Critical
Publication of CN117809122B publication Critical patent/CN117809122B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14Vascular patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Vascular Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开一种颅内大血管图像的处理方法、系统、电子设备及介质,涉及图像处理领域,该方法包括:获取待识别目标和样本受试者的颅内大血管原始影像;根据颅内大血管原始影像,应用脑血管分割模型得到脑血管掩码图像;计算脑血管掩码图像的感兴趣区域以及边界框;根据感兴趣区域的边界框,从颅内大血管原始影像中选择对应的感兴趣区域;分别对掩码图像感兴趣区域和原始影像感兴趣区域进行预处理,得到待处理图像;对样本受试者的待处理图像中的目标区域进行标注;应用训练集对卷积神经网络模型进行训练得到脑血管闭塞分类模型;将待识别目标的待处理图像输入至脑血管闭塞分类模型得到目标区域识别结果。本发明能够提高目标区域识别的准确度。

Description

一种颅内大血管图像的处理方法、系统、电子设备及介质
技术领域
本发明涉及图像处理技术领域,特别是涉及一种颅内大血管图像的处理方法、系统、电子设备及介质。
背景技术
颅内大血管闭塞快速确认或排除大血管闭塞存在的常用方法之一是CT血管造影,这是一个三分钟的快速检查,可以很容易地在非对比头部CT检查后进行,可以三维显示颅内的血管系统,对于闭塞性血管病变提供重要的诊断依据。放射科医生通常会在尽可能短的时间内评估CTA图像,然而,具体的时间取决于多种因素,包括图像的质量、放射科医生的经验和工作负荷,以及医院的工作流程。此外,闭塞发生的位置和严重程度也会影响评估的时间。
深度学习是机器学习的一种,对卷积神经网络来说三维的CT血管造影特征十分稀疏,如果将三维图像输入卷积神经网络可能得不到有意义的目标识别结果,所以选择一种合适的输入是非常有必要的。
在预处理方面,最大强度投影(MIPs)已被用于促进CT血管造影中突发大血管闭塞的检测。最大强度投影是一种医学成像信息的三维重建技术,将一定厚度(即CT层厚)中最大CT值的体素投影到背景平面上,以显示所有或部分强化密度高的血管、骨骼、肺部肿块以及明显强化的软组织病灶。另外,还有研究先用粗糙的血管分割算法来增强图像稀疏血管特征的表达,再从分割结果中获得最大强度投影图像。
当前的颅内大血管闭塞识别和分类一般都依靠繁琐的预处理方式,这些都会造成信息丢失,例如分割网络未识别出血管像素点或者在进行最大强度投影时出现了未剥离干净的颅骨体素。
发明内容
本发明的目的是提供一种颅内大血管图像的处理方法、系统、电子设备及介质,能够提高目标区域识别的准确度。
为实现上述目的,本发明提供了如下方案:一种颅内大血管图像的处理方法,所述处理方法包括:获取待识别目标和样本受试者的颅内大血管原始影像;所述颅内大血管原始影像为3D脑部CT血管造影图像。
根据所述颅内大血管原始影像,应用脑血管分割模型,得到所述待识别目标和所述样本受试者的脑血管掩码图像。
计算所述脑血管掩码图像的感兴趣区域以及所述感兴趣区域的边界框,得到所述待识别目标和所述样本受试者的掩码图像感兴趣区域。
根据所述感兴趣区域的边界框,从所述颅内大血管原始影像中选择对应的感兴趣区域,得到所述待识别目标和所述样本受试者的原始影像感兴趣区域。
分别对所述掩码图像感兴趣区域和所述原始影像感兴趣区域进行预处理,得到所述待识别目标和所述样本受试者的待处理图像;所述预处理包括缩放、归一化和拼接。
对所述样本受试者的待处理图像中的目标区域进行标注,得到所述样本受试者的标注后的图像。
应用训练集对卷积神经网络模型进行训练,得到脑血管闭塞分类模型;所述训练集包括所述样本受试者的待处理图像和对应的所述样本受试者的标注后的图像。
将所述待识别目标的待处理图像输入至脑血管闭塞分类模型,得到目标区域识别结果。
可选地,所述脑血管分割模型为nnunet模型。
可选地,分别对所述掩码图像感兴趣区域和所述原始影像感兴趣区域进行预处理,得到所述待识别目标和所述样本受试者的待处理图像,具体包括:将所述掩码图像感兴趣区域和所述原始影像感兴趣区域进行缩放,得到尺寸一致的掩码图像感兴趣区域和原始影像感兴趣区域。
对尺寸一致的所述掩码图像感兴趣区域和所述原始影像感兴趣区域进行归一化,得到归一化后的所述掩码图像感兴趣区域和所述原始影像感兴趣区域。
对归一化后的所述掩码图像感兴趣区域和所述原始影像感兴趣区域进行拼接,得到所述待识别目标和所述样本受试者的待处理图像。
可选地,应用最大最小值归一化方法对尺寸一致的所述掩码图像感兴趣区域和所述原始影像感兴趣区域进行归一化。
可选地,所述处理方法还包括:对所述训练集进行数据增强;所述数据增强包括随机缩放、随机旋转和随机平移。
可选地,所述卷积神经网络模型的结构包括依次连接的一个特征提取器、两个一维线性层和Sigmoid激活函数。
所述特征提取器包括依次连接的第一提取模块、第二提取模块、第三提取模块、第四提取模块、第五提取模块和第六提取模块;所述第一提取模块包括依次连接的一个卷积单元和一个基于注意力机制的残差块;所述第二提取模块、所述第三提取模块、所述第四提取模块、所述第五提取模块和所述第六提取模块均包括依次连接的一个最大池化层、一个所述卷积单元和一个所述基于注意力机制的残差块;所述卷积单元包括依次连接的卷积层、分组归一化层和ReLU激活函数;所述基于注意力机制的残差块包括依次连接的两个卷积层和一个通道注意力机制模块。
可选地,所述卷积神经网络模型的训练过程,具体包括:对所述样本受试者的标注后的图像应用标签平滑的正则化处理,得到平滑后的标签。
将所述样本受试者的待处理图像输入至所述卷积神经网络模型,得到输出标签。
根据所述平滑后的标签和所述输出标签,计算多类别标签的交叉熵损失。
根据所述多类别标签的交叉熵损失对所述卷积神经网络模型进行训练。
一种颅内大血管图像的处理系统,应用上述的颅内大血管图像的处理方法,所述处理系统包括获取模块、分割模块、计算模块、选择模块、预处理模块、标注模块、训练模块和分类模块。
获取模块,用于获取待识别目标和样本受试者的颅内大血管原始影像;所述颅内大血管原始影像为3D脑部CT血管造影图像。
分割模块,用于根据所述颅内大血管原始影像,应用脑血管分割模型,得到所述待识别目标和所述样本受试者的脑血管掩码图像。
计算模块,用于计算所述脑血管掩码图像的感兴趣区域以及所述感兴趣区域的边界框,得到所述待识别目标和所述样本受试者的掩码图像感兴趣区域。
选择模块,用于根据所述感兴趣区域的边界框,从所述颅内大血管原始影像中选择对应的感兴趣区域,得到所述待识别目标和所述样本受试者的原始影像感兴趣区域。
预处理模块,用于分别对所述掩码图像感兴趣区域和所述原始影像感兴趣区域进行预处理,得到所述待识别目标和所述样本受试者的待处理图像;所述预处理包括缩放、归一化和拼接。
标注模块,用于对所述样本受试者的待处理图像中的目标区域进行标注,得到所述样本受试者的标注后的图像。
训练模块,用于应用训练集对卷积神经网络模型进行训练,得到脑血管闭塞分类模型;所述训练集包括所述样本受试者的待处理图像和对应的所述样本受试者的标注后的图像。
分类模块,用于将所述待识别目标的待处理图像输入至脑血管闭塞分类模型,得到目标区域识别结果。
一种电子设备,包括存储器及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述电子设备执行上述的颅内大血管图像的处理方法。
一种计算机可读存储介质,其存储有计算机程序,所述计算机程序被处理器执行时实现上述的颅内大血管图像的处理方法。
根据本发明提供的具体实施例,本发明公开了以下技术效果:本发明首先利用脑血管分割模型对原始三维CT血管造影进行分割,然后将原始三维CT血管造影和分割后的图像信息相结合,应用训练集对卷积神经网络模型进行训练得到脑血管闭塞分类模型,其中,训练集包括样本受试者的原始三维CT血管造影和分割后的图像信息相结合后的图像以及对应的标注后的图像;将待识别目标的原始三维CT血管造影和分割后的图像信息相结合后的图像输入至脑血管闭塞分类模型,从而得到目标区域识别结果,实现了提高目标区域识别准确度的目的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明脑血管CT造影影像经过处理后得到掩码结果的过程示意图。
图2为本发明脑血管闭塞分类模型结构示意图。
图3为本发明基于残差网络设计的CNN架构示意图。
图4为本发明颅内大血管图像的处理方法的实际应用工作流程图。
图5为本发明颅内大血管图像的处理方法流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种颅内大血管图像的处理方法、系统、电子设备及介质,能够提高目标区域识别的准确度。
本发明的技术总体路线为:首先,使用一个预训练好的较准确的脑血管分割模型对初始脑部CT血管造影图像进行分割,得到脑血管掩码;然后,根据掩码计算出感兴趣区域的边界框,利用边界框对脑血管CT造影影像和掩码进行预处理,构建好分类网络输入;再基于多任务多标签分类学习的方法,采用适当的损失函数对分类模型进行训练;最后,集成预训练的脑血管分割模型和脑血管闭塞分类模型,对待识别目标的初始脑部CT血管造影图像的目标区域进行识别。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一:如图5所示,本发明提供了一种颅内大血管图像的处理方法,所述处理方法包括步骤S1-步骤S8。
步骤S1:获取待识别目标和样本受试者的颅内大血管原始影像;所述颅内大血管原始影像为3D脑部CT血管造影图像。
步骤S2:根据所述颅内大血管原始影像,应用脑血管分割模型,得到所述待识别目标和所述样本受试者的脑血管掩码图像。
具体地,所述脑血管分割模型为nnunet模型。
步骤S3:计算所述脑血管掩码图像的感兴趣区域以及所述感兴趣区域的边界框,得到所述待识别目标和所述样本受试者的掩码图像感兴趣区域。
步骤S4:根据所述感兴趣区域的边界框,从所述颅内大血管原始影像中选择对应的感兴趣区域,得到所述待识别目标和所述样本受试者的原始影像感兴趣区域。
步骤S5:分别对所述掩码图像感兴趣区域和所述原始影像感兴趣区域进行预处理,得到所述待识别目标和所述样本受试者的待处理图像;所述预处理包括缩放、归一化和拼接。
S5具体包括步骤S51-步骤S53。
步骤S51:将所述掩码图像感兴趣区域和所述原始影像感兴趣区域进行缩放,得到尺寸一致的掩码图像感兴趣区域和原始影像感兴趣区域。
步骤S52:对尺寸一致的所述掩码图像感兴趣区域和所述原始影像感兴趣区域进行归一化,得到归一化后的所述掩码图像感兴趣区域和所述原始影像感兴趣区域。
具体地,应用最大最小值归一化方法对像素尺寸一致的所述掩码图像感兴趣区域和所述原始影像感兴趣区域进行归一化。
步骤S53:对归一化后的所述掩码图像感兴趣区域和所述原始影像感兴趣区域进行拼接,得到所述待识别目标和所述样本受试者的待处理图像。
步骤S6:对所述样本受试者的待处理图像中的目标区域进行标注,得到所述样本受试者的标注后的图像。
步骤S7:应用训练集对卷积神经网络模型进行训练,得到脑血管闭塞分类模型;所述训练集包括所述样本受试者的待处理图像和对应的所述样本受试者的标注后的图像。
对卷积神经网络模型进行训练之前,所述处理方法还包括:对所述训练集进行数据增强;所述数据增强包括随机缩放、随机旋转和随机平移。
在实际应用中,考虑到在实际情况下,由于人体差异、成像过程可能会导致影像的不一致性,本发明一共采用了随机缩放、随机旋转、随机平移三种基本的数据增强方式。为了确保仅引起较小的影像变化,将缩放、旋转角度、平移的范围分别设置在0.9到1.2、-30°到30°、-10到10之间。注意,为了保证造影影像和掩码是一一对应的关系,在训练时要对二者做相同的数据增强处理。
另外,针对本发明的应用场景,即机器、环境、注射造影剂时间等因素,图像中脑血管区域会出现黯淡、模糊等情况,导致模型可能难以关注到感兴趣区域。为了增强模型对这种现象的适应能力,本发明利用掩码对原图脑血管区域进行灰度值调整,调整因子设置在0.9到1.2之间。
增强数据集的多样性在深度学习中是常用的数据处理方式,可以提高计算机视觉模型的性能,帮助模型更好地泛化到不同的图像变化情况。
作为一个具体地实施方式,如图2所示,所述卷积神经网络模型的结构包括依次连接的一个特征提取器、两个一维线性层和Sigmoid激活函数。
所述特征提取器包括依次连接的第一提取模块、第二提取模块、第三提取模块、第四提取模块、第五提取模块和第六提取模块;所述第一提取模块包括依次连接的一个卷积单元和一个基于注意力机制的残差块;所述第二提取模块、所述第三提取模块、所述第四提取模块、所述第五提取模块和所述第六提取模块均包括依次连接的一个最大池化层、一个卷积单元和一个所述基于注意力机制的残差块;所述卷积单元包括依次连接的卷积层、分组归一化层和ReLU激活函数;所述基于注意力机制的残差块包括依次连接的两个卷积层和一个通道注意力机制模块。具体地,所述基于注意力机制的残差块包括依次连接的两个相同的卷积层和一个通道注意力机制模块。在本发明中,第一提取模块为图3中的阶段1;第二提取模块为图3中的阶段2;第三提取模块为图3中的阶段3;第四提取模块为图3中的阶段4;第五提取模块为图3中的阶段5;第六提取模块为图3中的阶段6。通道注意力机制模块为图3中的SE模块;基于注意力机制的残差块为图3中的残差SE模块;一个卷积单元为图3中的3×3×3的3D卷积核。
在实际应用中,本发明中的脑血管闭塞分类模型使用固定大小的三维脑血管CT造影影像和对应大小的脑血管掩码作为输入。将二者沿通道方向拼接后直接输入特征提取器(Feature Extractor),然后将提取到的特征映射矢量化为一个特征向量。最后的两个闭塞分类头是分别使用一个一维线性层加上Sigmoid激活函数,最终输出为属于每个类别的概率值组成的向量,即长度分别为2和4的向量。
本发明的脑血管闭塞分类模型的输入包括脑血管CT造影影像及其经过脑血管分割模型后得到的脑血管掩码。脑血管分割网络训练采用现在的nnunet框架,没有进行任何修改,只需要将数据集进行预处理,然后送入该框架网络训练,就可以得到不错的分割效果。
如图1所示,结合原图和掩码,可以还原出脑血管的纹理,在图1中采用了灰度图表达,用于清晰地展示纹理情况。通过原图和掩码图的灰度纹理图的叠加对比得到的叠加对比图,可以看到掩码部分可以较正确的表征原图中血管所在区域。
将3D脑部影像和脑血管掩码在通道维度进行连接,组成最终的网络输入。进一步地,设图像的形状表示为(W,H,D,C)-->(图像宽度,图像高度,图像深度,通道数),一个3D脑部影像形状为(W,H,D,1),则经过前述脑血管分割模型后得到的脑血管掩码的形状也为(W,H,D,1),将二者在最后一个维度叠加,则形成了(W,H,D,2)的图像。所述的通道图像叠加方式,主要是为了方便将数据送入网络进行训练。
特征提取器可以通过卷积、池化和其他操作来从输入数据中学习和提取信息,本发明基于残差网络设计了如图3所示的CNN架构。该架构包含六个相似的阶段,每个阶段均包含一个卷积单元和一个自定义的基于注意力机制的残差块(Res-SE block)。卷积单元包含步长为1的3×3×3卷积层,一个3D的Group Normalization(GN)层和一个ReLU激活。另外,从第二个阶段开始,卷积单元前均添加了一个步长为2的2×2×2最大池化层。在第一个卷积块中,特征通道的数量被设置为4,并在进入到下一个卷积块之后对其进行加倍,以推断出一个足够丰富的血管信息表征。Res-SE block首先进行两次相同的卷积操作,后续的SE block可以计算出一组权重,这组权重应用于输入可以增强通道间的特征重要性。SEblock首先执行全局平均池化(Global Average Pooling)得到当前特征图的全局压缩特征向量,然后通过两层全连接得到每个通道的权值,利用权重值对特征图进行加权,最后将利用残差连接将加权后的特征图与Res-SE block的输入特征图相加,组成新的特征图继续进行下一个阶段的计算。这样的设计可以显式地建模网络演化特征通道之间的相互依赖关系来提高网络生成的表示的质量,同时还能缓解梯度消失和爆炸的问题,使训练更加稳定。
进一步地,所述卷积神经网络模型的训练过程,具体包括:对所述样本受试者的标注后的图像应用标签平滑的正则化处理,得到平滑后的标签。
将所述样本受试者的待处理图像输入至所述卷积神经网络模型,得到输出标签。
根据所述平滑后的标签和所述输出标签,计算多类别标签的交叉熵损失。
根据所述多类别标签的交叉熵损失对所述卷积神经网络模型进行训练。
在实际应用中,本发明采用的损失函数基于多类别交叉熵损失(MulticlassCross-Entropy Loss)做了一些改进。在计算损失函数前,针对地面真值标签采用了标签平滑的正则化处理。它通常应用于分类问题,特别是针对具有硬标签(one-hot编码)的问题。标签平滑的核心思想是,不将目标标签设置为严格的0或1,而是将它们调整为介于0和1之间的概率分布。这样做的目的是降低模型对训练数据的过拟合,使其更具鲁棒性。本发明使用如下公式进行标签平滑,得到软标签:
其中,是原始硬标签(即地面真值标签),是由专业放射科医生给样本标注的目标标签,设置为严格的0和1(1即表示对应血管段出现闭塞,0表示无闭塞),/>是平滑因子(本发明中取值为0.1),/>表示当前分类任务的类别数。进一步地,若放射科诊断某样本出现L-ICA、R-ICA闭塞,则二分类任务中/>为[0,1],四分类任务中/>为[1,1,0,0],经过标签平滑后,两种分类任务的/>分别为[0.05,0.95]、[0.925,0.925,0.025,0.025]。
然后,用如下公式计算平滑后的地面真值标签和网络输出标签/>的多类别软标签交叉熵损失。
其中,和/>为两个布尔掩码,分别表示/>中小于等于/>的值和大于等于/>的值。/>是一个非常接近零的小数,可以设置为1e-7或1e-6,用于避免在深度学习中出现除的数值不稳定性的情况,过滤标签中的无效值。/>为Hadamard乘积(逐元素乘积,一种二元运算),/>表示对张量中的元素进行逐元素logsumexp操作后取均值;为交叉熵损失。
本发明采用二分类和四分类同步训练的多任务学习(Multi-task Learning)结构,则最终的损失定义为如下公式。其中、/>分别为二分类软标签交叉熵损失和四分类软标签交叉熵损失,其中/>、/>分别是不同分类任务的损失权重的调节因子(本发明中取值为0.25,0.75)。
步骤S8:将所述待识别目标的待处理图像输入至脑血管闭塞分类模型,得到目标区域识别结果。
如图4所示,本发明提供的颅内大血管图像的处理方法的主要工作流程如下:(1)获取原始影像.具体地,原始影像为3D脑部CT血管造影图像。
(2)将所述原始图像输入预训练的脑血管分割模型得到脑血管掩码。
具体地,使用一个较准确的脑血管分割网络,对包含上下文信息的图像进行分割,得到该原始3D脑部CT血管造影图像的脑血管分割掩码。训练采用现在的nnunet框架,没有进行任何修改,只需要将数据集进行预处理,然后送入该框架网络训练,就可以得到不错的分割效果。
(3)通过上述脑血管掩码计算感兴趣区域的边界框。
具体地,边界框用于标识和框定感兴趣区域在视觉数据中的位置。利用上述掩码信息,可以找到一个能够将脑血管全部框定在内的最小的三维边界框,为了减少分割模型的边界误差同时不忽略原始影像的血管边缘组织信息,沿x,y,z轴的6个方向各扩大10个体素点。
(4)构建分类网络输入图像。
具体地,对原始图像和脑血管掩码进行预处理,一方面可以提高深度学方法预测大脑年龄的预测精度,另一方面加快了处理分析的速度,具有高效性与易用性。上述预处理包括(4.1)-(4.3)。
(4.1)利用边界框对原始影像和脑血管掩码进行框选,再将二者的形状缩放至256×256×128。
(4.2)窗宽归一化:为了更好的显示血管细节,将窗宽定为[-1024,2048],即CT值小于-1024的部分和大于2048的部分都分别被设定成窗宽的上下限。然后利用最大最小值归一化(公式如下)将影像所有的像素的缩放至0到1之间。式中为3D图像/>的某一像素点灰度值,/>和/>分别表示图像/>的像素最小值和最大值。
(4.3)将预处理后的脑部影像和脑血管掩码在通道维度进行连接,组成维度为[256,256,128,2]的网络输入。
(5)构建脑血管闭塞分类模型。
(6)利用影像和掩码数据,结合医生标注信息,采用多任务多标签分类损失函数对分类模型进行训练,选取分类精度高、泛化性能强的模型进行保存。
(7)使用训练好的脑血管闭塞分类模型,结合前述预训练的脑血管分割模型,对颅内大血管闭塞患者进行分类识别,为临床后续的治疗提供支持。
本发明具有以下优势:1、本发明使用深度学习的方法,能够仅通过CT血管造影对颅内大血管闭塞进行识别和分类,不需要复杂的预处理步骤。
2、本发明提出一种多任务学习的分类网络架构,二分类和四分类任务同时进行,能够提高分类结果的精度。
3、本发明使用深度学习的方法,通过CT血管造影对颅内大血管闭塞进行识别和分类,可为临床医生判读影像诊断闭塞的初步筛查提供辅助。具体地,利用深度学习技术,将左侧颈内动脉(L-ICA)、右侧颈内动脉(R-ICA)、大脑中动脉M1段左枝(L-M1)和右枝(R-M1)这4类大血管闭塞发生时的具体血管作为目标区域进行识别。
4、本发明提出的方法不需要复杂的图像预处理步骤,整个流程只需要原始的CT血管造影数据,不易出现信息丢失,提高了识别结果的准确性。
实施例二:为了执行上述实施例一对应的方法,以实现相应的功能和技术效果,下面提供一种颅内大血管图像的处理系统,所述处理系统包括获取模块、分割模块、计算模块、选择模块、预处理模块、标注模块、训练模块和分类模块。
获取模块,用于获取待识别目标和样本受试者的颅内大血管原始影像;所述颅内大血管原始影像为3D脑部CT血管造影图像。
分割模块,用于根据所述颅内大血管原始影像,应用脑血管分割模型,得到所述待识别目标和所述样本受试者的脑血管掩码图像。
计算模块,用于计算所述脑血管掩码图像的感兴趣区域以及所述感兴趣区域的边界框,得到所述待识别目标和所述样本受试者的掩码图像感兴趣区域。
选择模块,用于根据所述感兴趣区域的边界框,从所述颅内大血管原始影像中选择对应的感兴趣区域,得到所述待识别目标和所述样本受试者的原始影像感兴趣区域。
预处理模块,用于分别对所述掩码图像感兴趣区域和所述原始影像感兴趣区域进行预处理,得到所述待识别目标和所述样本受试者的待处理图像;所述预处理包括缩放、归一化和拼接。
标注模块,用于对所述样本受试者的待处理图像中的目标区域进行标注,得到所述样本受试者的标注后的图像。
训练模块,用于应用训练集对卷积神经网络模型进行训练,得到脑血管闭塞分类模型;所述训练集包括所述样本受试者的待处理图像和对应的所述样本受试者的标注后的图像。
分类模块,用于将所述待识别目标的待处理图像输入至脑血管闭塞分类模型,得到目标区域识别结果。
实施例三:本发明实施例提供一种电子设备,包括存储器及处理器,所述存储器用于存储计算机程序,所述处理器运行计算机程序以使电子设备执行实施例一的颅内大血管图像的处理方法。
可选地,上述电子设备可以是服务器。
另外,本发明实施例还提供一种计算机可读存储介质,其存储有计算机程序,该计算机程序被处理器执行时实现实施例一的颅内大血管图像的处理方法。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种颅内大血管图像的处理方法,其特征在于,所述处理方法包括:
获取待识别目标和样本受试者的颅内大血管原始影像;所述颅内大血管原始影像为3D脑部CT血管造影图像;
根据所述颅内大血管原始影像,应用脑血管分割模型,得到所述待识别目标和所述样本受试者的脑血管掩码图像;
计算所述脑血管掩码图像的感兴趣区域以及所述感兴趣区域的边界框,得到所述待识别目标和所述样本受试者的掩码图像感兴趣区域;
根据所述感兴趣区域的边界框,从所述颅内大血管原始影像中选择对应的感兴趣区域,得到所述待识别目标和所述样本受试者的原始影像感兴趣区域;
分别对所述掩码图像感兴趣区域和所述原始影像感兴趣区域进行预处理,得到所述待识别目标和所述样本受试者的待处理图像;所述预处理包括缩放、归一化和拼接;
对所述样本受试者的待处理图像中的目标区域进行标注,得到所述样本受试者的标注后的图像;
应用训练集对卷积神经网络模型进行训练,得到脑血管闭塞分类模型;所述训练集包括所述样本受试者的待处理图像和对应的所述样本受试者的标注后的图像;
将所述待识别目标的待处理图像输入至脑血管闭塞分类模型,得到目标区域识别结果。
2.根据权利要求1所述的颅内大血管图像的处理方法,其特征在于,所述脑血管分割模型为nnunet模型。
3.根据权利要求1所述的颅内大血管图像的处理方法,其特征在于,分别对所述掩码图像感兴趣区域和所述原始影像感兴趣区域进行预处理,得到所述待识别目标和所述样本受试者的待处理图像,具体包括:
将所述掩码图像感兴趣区域和所述原始影像感兴趣区域进行缩放,得到尺寸一致的掩码图像感兴趣区域和原始影像感兴趣区域;
对尺寸一致的所述掩码图像感兴趣区域和所述原始影像感兴趣区域进行归一化,得到归一化后的所述掩码图像感兴趣区域和所述原始影像感兴趣区域;
对归一化后的所述掩码图像感兴趣区域和所述原始影像感兴趣区域进行拼接,得到所述待识别目标和所述样本受试者的待处理图像。
4.根据权利要求3所述的颅内大血管图像的处理方法,其特征在于,应用最大最小值归一化方法对尺寸一致的所述掩码图像感兴趣区域和所述原始影像感兴趣区域进行归一化。
5.根据权利要求1所述的颅内大血管图像的处理方法,其特征在于,所述处理方法还包括:
对所述训练集进行数据增强;所述数据增强包括随机缩放、随机旋转和随机平移。
6.根据权利要求1所述的颅内大血管图像的处理方法,其特征在于,所述卷积神经网络模型的结构包括依次连接的一个特征提取器、两个一维线性层和Sigmoid激活函数;
所述特征提取器包括依次连接的第一提取模块、第二提取模块、第三提取模块、第四提取模块、第五提取模块和第六提取模块;所述第一提取模块包括依次连接的一个卷积单元和一个基于注意力机制的残差块;所述第二提取模块、所述第三提取模块、所述第四提取模块、所述第五提取模块和所述第六提取模块均包括依次连接的一个最大池化层、一个所述卷积单元和一个所述基于注意力机制的残差块;所述卷积单元包括依次连接的卷积层、分组归一化层和ReLU激活函数;所述基于注意力机制的残差块包括依次连接的两个卷积层和一个通道注意力机制模块。
7.根据权利要求1所述的颅内大血管图像的处理方法,其特征在于,所述卷积神经网络模型的训练过程,具体包括:
对所述样本受试者的标注后的图像应用标签平滑的正则化处理,得到平滑后的标签;
将所述样本受试者的待处理图像输入至所述卷积神经网络模型,得到输出标签;
根据所述平滑后的标签和所述输出标签,计算多类别标签的交叉熵损失;
根据所述多类别标签的交叉熵损失对所述卷积神经网络模型进行训练。
8.一种颅内大血管图像的处理系统,其特征在于,所述处理系统包括:
获取模块,用于获取待识别目标和样本受试者的颅内大血管原始影像;所述颅内大血管原始影像为3D脑部CT血管造影图像;
分割模块,用于根据所述颅内大血管原始影像,应用脑血管分割模型,得到所述待识别目标和所述样本受试者的脑血管掩码图像;
计算模块,用于计算所述脑血管掩码图像的感兴趣区域以及所述感兴趣区域的边界框,得到所述待识别目标和所述样本受试者的掩码图像感兴趣区域;
选择模块,用于根据所述感兴趣区域的边界框,从所述颅内大血管原始影像中选择对应的感兴趣区域,得到所述待识别目标和所述样本受试者的原始影像感兴趣区域;
预处理模块,用于分别对所述掩码图像感兴趣区域和所述原始影像感兴趣区域进行预处理,得到所述待识别目标和所述样本受试者的待处理图像;所述预处理包括缩放、归一化和拼接;
标注模块,用于对所述样本受试者的待处理图像中的目标区域进行标注,得到所述样本受试者的标注后的图像;
训练模块,用于应用训练集对卷积神经网络模型进行训练,得到脑血管闭塞分类模型;所述训练集包括所述样本受试者的待处理图像和对应的所述样本受试者的标注后的图像;
分类模块,用于将所述待识别目标的待处理图像输入至脑血管闭塞分类模型,得到目标区域识别结果。
9.一种电子设备,其特征在于,包括存储器及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述电子设备执行根据权利要求1至7中任一项所述的颅内大血管图像的处理方法。
10.一种计算机可读存储介质,其特征在于,其存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的颅内大血管图像的处理方法。
CN202410223590.8A 2024-02-29 2024-02-29 一种颅内大血管图像的处理方法、系统、电子设备及介质 Active CN117809122B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410223590.8A CN117809122B (zh) 2024-02-29 2024-02-29 一种颅内大血管图像的处理方法、系统、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410223590.8A CN117809122B (zh) 2024-02-29 2024-02-29 一种颅内大血管图像的处理方法、系统、电子设备及介质

Publications (2)

Publication Number Publication Date
CN117809122A true CN117809122A (zh) 2024-04-02
CN117809122B CN117809122B (zh) 2024-06-04

Family

ID=90423807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410223590.8A Active CN117809122B (zh) 2024-02-29 2024-02-29 一种颅内大血管图像的处理方法、系统、电子设备及介质

Country Status (1)

Country Link
CN (1) CN117809122B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118628724A (zh) * 2024-08-14 2024-09-10 绍兴文理学院 一种基于弱标签数据的图像兴趣区域提取方法及系统

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447168A (zh) * 2018-11-05 2019-03-08 江苏德劭信息科技有限公司 一种基于深度特征和视频目标检测的安全帽佩戴检测方法
CN110827242A (zh) * 2019-10-23 2020-02-21 华中科技大学 一种基于卷积神经网络的颅内动脉瘤检测方法及系统
CN112967295A (zh) * 2021-03-10 2021-06-15 中国科学院深圳先进技术研究院 一种基于残差网络和注意力机制的图像处理方法及系统
CN113935943A (zh) * 2021-09-02 2022-01-14 杭州脉流科技有限公司 颅内动脉瘤识别检测的方法、装置、计算机设备和存储介质
WO2022063199A1 (zh) * 2020-09-24 2022-03-31 上海健康医学院 一种肺结节自动检测方法、装置及计算机系统
CN114387464A (zh) * 2021-12-01 2022-04-22 杭州脉流科技有限公司 基于ivus影像的易损斑块识别方法、计算机设备、可读存储介质和程序产品
CN114694038A (zh) * 2022-04-11 2022-07-01 中国矿业大学 基于深度学习的高分辨率遥感影像分类方法及系统
CN115482248A (zh) * 2022-09-22 2022-12-16 推想医疗科技股份有限公司 图像分割方法、装置、电子设备及存储介质
CN116152492A (zh) * 2023-01-12 2023-05-23 西北大学 基于多重注意力融合的医学图像分割方法
CN116416428A (zh) * 2023-01-10 2023-07-11 山东大学 基于三维卷积神经网络和ct图像的骨量识别方法及系统
CN116612283A (zh) * 2023-06-02 2023-08-18 湖南大学 一种基于大卷积核骨干网络的图像语义分割方法
CN116935035A (zh) * 2023-07-20 2023-10-24 上海大学 感兴趣目标的分割方法、装置、介质及电子设备
CN117078711A (zh) * 2022-05-05 2023-11-17 上海微创卜算子医疗科技有限公司 医学图像分割方法、系统、电子设备和存储介质
CN117197456A (zh) * 2023-08-28 2023-12-08 北京航空航天大学 一种面向he染色的病理图像细胞核同时分割分类方法
CN117274768A (zh) * 2023-07-31 2023-12-22 鹏城实验室 目标检测网络的训练方法、目标检测方法及相关装置
WO2023246921A1 (zh) * 2022-06-23 2023-12-28 京东方科技集团股份有限公司 目标属性识别方法、模型训练方法和装置
CN117523208A (zh) * 2024-01-08 2024-02-06 暨南大学 基于图像语义分割与分类的身份识别方法与系统

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447168A (zh) * 2018-11-05 2019-03-08 江苏德劭信息科技有限公司 一种基于深度特征和视频目标检测的安全帽佩戴检测方法
CN110827242A (zh) * 2019-10-23 2020-02-21 华中科技大学 一种基于卷积神经网络的颅内动脉瘤检测方法及系统
WO2022063199A1 (zh) * 2020-09-24 2022-03-31 上海健康医学院 一种肺结节自动检测方法、装置及计算机系统
CN112967295A (zh) * 2021-03-10 2021-06-15 中国科学院深圳先进技术研究院 一种基于残差网络和注意力机制的图像处理方法及系统
CN113935943A (zh) * 2021-09-02 2022-01-14 杭州脉流科技有限公司 颅内动脉瘤识别检测的方法、装置、计算机设备和存储介质
CN114387464A (zh) * 2021-12-01 2022-04-22 杭州脉流科技有限公司 基于ivus影像的易损斑块识别方法、计算机设备、可读存储介质和程序产品
CN114694038A (zh) * 2022-04-11 2022-07-01 中国矿业大学 基于深度学习的高分辨率遥感影像分类方法及系统
CN117078711A (zh) * 2022-05-05 2023-11-17 上海微创卜算子医疗科技有限公司 医学图像分割方法、系统、电子设备和存储介质
WO2023246921A1 (zh) * 2022-06-23 2023-12-28 京东方科技集团股份有限公司 目标属性识别方法、模型训练方法和装置
CN115482248A (zh) * 2022-09-22 2022-12-16 推想医疗科技股份有限公司 图像分割方法、装置、电子设备及存储介质
CN116416428A (zh) * 2023-01-10 2023-07-11 山东大学 基于三维卷积神经网络和ct图像的骨量识别方法及系统
CN116152492A (zh) * 2023-01-12 2023-05-23 西北大学 基于多重注意力融合的医学图像分割方法
CN116612283A (zh) * 2023-06-02 2023-08-18 湖南大学 一种基于大卷积核骨干网络的图像语义分割方法
CN116935035A (zh) * 2023-07-20 2023-10-24 上海大学 感兴趣目标的分割方法、装置、介质及电子设备
CN117274768A (zh) * 2023-07-31 2023-12-22 鹏城实验室 目标检测网络的训练方法、目标检测方法及相关装置
CN117197456A (zh) * 2023-08-28 2023-12-08 北京航空航天大学 一种面向he染色的病理图像细胞核同时分割分类方法
CN117523208A (zh) * 2024-01-08 2024-02-06 暨南大学 基于图像语义分割与分类的身份识别方法与系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
任湘;张朋;范明;厉力华;: "基于卷积神经网络的乳腺癌分子分型预测研究", 杭州电子科技大学学报(自然科学版), no. 05, 15 September 2018 (2018-09-15) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118628724A (zh) * 2024-08-14 2024-09-10 绍兴文理学院 一种基于弱标签数据的图像兴趣区域提取方法及系统

Also Published As

Publication number Publication date
CN117809122B (zh) 2024-06-04

Similar Documents

Publication Publication Date Title
US9968257B1 (en) Volumetric quantification of cardiovascular structures from medical imaging
CN111008984B (zh) 医学影像中正常器官的轮廓线自动勾画方法
Saad et al. Image segmentation for lung region in chest X-ray images using edge detection and morphology
Shang et al. Vascular active contour for vessel tree segmentation
CN117809122B (zh) 一种颅内大血管图像的处理方法、系统、电子设备及介质
CN113012173A (zh) 基于心脏mri的心脏分割模型和病理分类模型训练、心脏分割、病理分类方法及装置
CN116503607B (zh) 一种基于深度学习的ct图像分割方法和系统
CN110570394A (zh) 医学图像分割方法、装置、设备及存储介质
Biswas et al. Chest X-ray enhancement to interpret pneumonia malformation based on fuzzy soft set and Dempster–Shafer theory of evidence
CN113160120A (zh) 基于多模态融合与深度学习的肝脏血管分割方法及系统
Ravichandran et al. 3D inception U-Net for aorta segmentation using computed tomography cardiac angiography
CN116452579B (zh) 一种基于胸片图像的肺动脉高压智能评估方法和系统
CN117036253B (zh) 用于对分割脑血管的分割模型进行训练的方法和相关产品
Delmoral et al. Segmentation of pathological liver tissue with dilated fully convolutional networks: A preliminary study
CN112862785B (zh) Cta影像数据识别方法、装置及存储介质
CN112862786B (zh) Cta影像数据处理方法、装置及存储介质
CN112862787B (zh) Cta影像数据处理方法、装置及存储介质
CN115908888A (zh) 一种介入手术机器人基于Unet的DSA图像序列的血管介入器械跟踪方法
CN112766333B (zh) 医学影像处理模型训练方法、医学影像处理方法及装置
CN112801964B (zh) 肺部ct图像的多标签智能检测方法、装置、设备和介质
CN111462067B (zh) 图像分割方法及装置
Sunitha et al. Fuzzy based dynamic histogram equalization for enhancing quality of registered medical image
Al-Eiadeh Automatic lung field segmentation using robust deep learning criteria
Khastavaneh et al. Automated segmentation of abnormal tissues in medical images
Cui et al. Multi-perspectives 2D Spine CT images segmentation of 3D fuse algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant