CN113935943A - 颅内动脉瘤识别检测的方法、装置、计算机设备和存储介质 - Google Patents

颅内动脉瘤识别检测的方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN113935943A
CN113935943A CN202111026385.5A CN202111026385A CN113935943A CN 113935943 A CN113935943 A CN 113935943A CN 202111026385 A CN202111026385 A CN 202111026385A CN 113935943 A CN113935943 A CN 113935943A
Authority
CN
China
Prior art keywords
dimensional
positive
negative sample
sample image
image blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111026385.5A
Other languages
English (en)
Inventor
鲁伟
刘爱华
朱家懿
佟鑫
向建平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Arteryflow Technology Co ltd
Original Assignee
Arteryflow Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Arteryflow Technology Co ltd filed Critical Arteryflow Technology Co ltd
Priority to CN202111026385.5A priority Critical patent/CN113935943A/zh
Publication of CN113935943A publication Critical patent/CN113935943A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种颅内动脉瘤识别检测的方法、装置、计算机设备和存储介质，所述方法包括：获得原始颅内影像的正、负样本图像块，所述正、负样本图像块为三维图像块；利用三维语义分割模型处理所述正、负样本图像块，输出相应的检测结果，所述三维语义分割模型基于卷积神经网络，通过Transformer模块、编码器和解码器构建得到，所述三维语义分割模型的处理过程依据正、负样本图像块的规格分为多个阶段，所述编码器与解码器在相同阶段中通过第一类路径耦合连接，所述第一类路径为与三维图像块的单维向量相对应的多条路径。本申请能更好地针对正、负样本图像块做特征提取，提高了微小动脉瘤的检出率，保持了原始颅内图像间的连贯性，提高了层与层之间的连续性。

Description

颅内动脉瘤识别检测的方法、装置、计算机设备和存储介质
技术领域
本申请涉及医疗领域和图像处理的交叉领域，特别是涉及一种颅内动脉瘤识别检测的方法、装置、计算机设备和存储介质。
背景技术
颅内动脉瘤是最常见的脑血管疾病之一。颅内动脉瘤虽然包括“瘤”的字样，但却不属于肿瘤，而是由于先天发育异常或后天损伤等因素导致局部的颅内动脉管壁损害；在血流动力学和其他因素的共同作用下，逐渐扩张形成的异常膨出，是一种脑血管疾病。颅内动脉瘤在人群中的发病率约为2％～7％，任何年龄段均可发病，40～60岁是发病的年龄高峰期。
由颅内动脉瘤破裂所导致的蛛网膜下腔出血(SAH)具有极高的致残率和致死率，占所有卒中的5％～10％，其中80％的SAH是由于颅内动脉瘤破裂导致。从某种程度上来说，动脉瘤就像是埋在颅内的一颗“不定时炸弹”。所以，快速、准确的对颅内动脉瘤进行早期筛查至关重要。
颅内动脉瘤常规检查手段是颅内CT造影(CTA)、颅内数字减影造影(DSA)和颅内MR造影(MRA)，其中CTA作为颅内CT一站式检查方式之一，其成像速度快、分辨率较高，是常用的动脉瘤检查手段。传统的人工阅片和筛查技术效率低下且漏检率较高，近年来基于人工智能和深度学习技术的自动化动脉瘤筛查与检测相关研究逐渐广泛起来。
医学杂志JAMA Network Open剘刊在2019年公开了《使用HeadXNet模型进行深度学习辅助的脑动脉瘤诊断(Deep Learning-Assisted Diagnosis of Cerebral AneurysmsUsing the HeadXNet Model)》，提出基于CTA的动脉瘤检测模型HeadXNet，经过实验发现配备了HeadXNet动脉瘤辅助诊断系统的医生，诊断动脉瘤的准确率要明显高于没有算法辅助的医生。
张龙江等人在Nature Communications杂志于2020年11月公开了《一种临床适用的深度学习模型，用于检测计算机断层扫描血管造影图像中的颅内动脉瘤(A clinicallyapplicable deep-learning model for detecting intracranial aneurysm incomputed tomography angiography images)》，提出基于CTA影像的动脉瘤检测模型DAResUNet，该模型以多个卷积神经网络(CNN)结构设计进行拼接，以DSA影像作为动脉瘤诊断标签的金标准，设计了多个对比临床对比实验，最终的模型敏感性高达0.97，在独立的外部验证集上敏感性也有0.85，并且对于5mm以下的小动脉瘤也有较高的检出率。
在MR影像动脉瘤诊断方面，Daiju等人于2019年6月公开了《MR血管造影的深度学习：脑动脉瘤的自动检测(Deep Learning for MR Angiography:Automated Detection ofCerebral Aneurysms.)》，提出了MRA影像的AneuDect模型，在内部和外部验证集上分别有0.91和0.93的敏感性。
上述现有的各技术方案中，虽然基于深度学习进行颅内动脉瘤检测已有一定的研究，但总体存在以下技术问题：第一，动脉瘤在整个CTA影像上所占区域很小，实际检测时背景区域和动脉瘤目标区域之间的比例是严重失衡的，这导致一些小或微小动脉瘤检出率低下；第二，目前基于经典的3D UNet网络结构设计对CTA影像动脉瘤的长期依赖捕捉效果欠佳，层与层之间的连续性还有待进一步提升。
发明内容
基于此，有必要针对上述技术问题，提供一种颅内动脉瘤识别检测方法。
本申请颅内动脉瘤识别检测的方法，包括：
获得原始颅内影像的正、负样本图像块，所述正、负样本图像块为三维图像块；
利用三维语义分割模型处理所述正、负样本图像块，输出相应的检测结果，所述三维语义分割模型基于卷积神经网络，通过Transformer模块、编码器和解码器构建得到，所述三维语义分割模型的处理过程依据正、负样本图像块的规格分为多个阶段，所述编码器与解码器在相同阶段中通过第一类路径耦合连接，所述第一类路径为与三维图像块的单维向量相对应的多条路径。
可选的，所述编码器与解码器分别包括多个编码块与多个解码块，相同阶段中至少一部分所述编码块与所述解码块通过第一类路径耦合连接，至少另一部分所述编码块与所述解码块通过第二类路径耦合连接，且所述第二类路径为长程跳跃连接。
可选的，所述第一类路径包括Transformer模块；所述第二类路径包括Transformer模块。
可选的，各个阶段下，解码块通过第一类路径接收正、负样本图像块的单维向量，并对单维向量拼接融合为一组，所述解码器以三维特征图的方式输出检测结果。
可选的，还包括对正、负样本图像块进行数据增强处理和去骨处理，
所述数据增强处理包括随机仿射变换处理，所述随机仿射变换处理包括沿所述三维图像块的一个维度或多个维度旋转任意角度；
所述三维语义分割模型接收经过数据增强处理和去骨处理的正、负样本图像块，输出检测结果。
可选的，所述数据处理还包括随机重定向轴方向处理。
可选的，所述获得原始颅内影像的正、负样本图像块，具体包括：
依次接收和标注原始颅内影像，得到标注的影像数据，对标注的影像数据进行图像矩阵化处理获得三维影像数据；
利用三维影像数据提取动脉瘤在三维空间的临界线，根据临界线区别并获得三维影像数据的正、负样本图像块，正样本图像块处于动脉瘤所在区域，所述负样本图像块处于非动脉瘤所在区域。
本申请还提供一种颅内动脉瘤识别检测的装置，所述装置包括：
接收模块，用于获得原始颅内影像的正、负样本图像块，所述正、负样本图像块为三维图像块；
检测模块，利用三维语义分割模型处理所述正、负样本图像块，输出相应的检测结果，所述三维语义分割模型基于卷积神经网络，通过Transformer模块、编码器和解码器构建得到，所述三维语义分割模型的处理过程依据正、负样本图像块的规格分为多个阶段，所述编码器与解码器在相同阶段中通过第一类路径耦合连接，所述第一类路径为与三维图像块的单维向量相对应的多条路径。
本申请还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现本申请所述的颅内动脉瘤识别检测的方法。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请所述的颅内动脉瘤识别检测的方法。
本申请颅内动脉瘤识别检测的方法至少具有以下效果之一：
本申请基于卷积神经网络并在主干网络选择上做出创新，利用2D CNN网络改写为3D CNN网络的方式，将原始颅内影像的正、负样本图像块改写为单维向量再将输出结果恢复为三维特征图，能够更好地针对正、负样本图像块做特征提取，提高了微小动脉瘤的检出率，保持了原始颅内CTA图像间的连贯性，提高了层与层之间的连续性；
本申请使用数据增强处理和去骨处理(数据增强处理包括随机仿射变换处理和/或随机重定向轴方向处理)有效了提升三维语义分割模型的表现，增强了鲁棒性，进一步提高优化检测的准确率。
附图说明
图1为本申请一实施例中颅内动脉瘤识别检测方法中获取正、负样本图像块的流程示意图；
图2为本申请一实施例中颅内动脉瘤识别检测方法的流程示意图；
图3为图1所示的流程中原始颅内影像的示意图；
图4为图1所示的流程中动脉瘤标注结果的示意图；
图5为本申请一实施例中颅内动脉瘤预测输出结果的示意图；
图6(a)为本申请一实施例颅内动脉瘤识别检测的方法获得的待数据增广处理的Nifti影像；
图6(b)～图6(d)为本申请一实施例颅内动脉瘤识别检测的方法在数据增广过程中获得的动脉瘤原始颅内影像的示意图；
图7为图2所示的流程中所述三维语义分割模型的网络结构示意图；
图8为图7中加入的Transformer结构的示意图；
图9为本申请一实施例中颅内动脉瘤识别检测装置的结构框图。
具体实施方式
颅内影像检测的目的是高效准确地完成颅内动脉瘤的识别与检测，但现有技术中，小或微小动脉瘤的检出率低，不同层之间的连续性差，鲁棒性较低。
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。
为解决上述技术问题，参阅图1及图2，本申请一实施例中提供一种颅内动脉瘤识别检测的方法，具体包括步骤：
步骤S10，获得原始颅内影像的正、负样本图像块，正、负样本图像块为三维图像块；
在一个实施例中，步骤S10具体包括步骤S11～步骤S13；
步骤S11，获取原始颅内CTA影像；
步骤S12，去除颅骨组织后标注；
步骤S13，获得正、负样本图像块。
具体地，在步骤S10中，依次接收和标注原始颅内影像，得到标注的影像数据，对标注的影像数据进行图像矩阵化处理获得三维影像数据；利用三维影像数据提取动脉瘤在三维空间的临界线，根据临界线区别并获得三维影像数据的正、负样本图像块，正样本图像块处于动脉瘤所在区域，负样本图像块处于非动脉瘤所在区域。
进一步地，步骤S10包括获取若干CTA影像和去骨CTA影像作为原始训练图片，与标注好的对应标签共同构建成初始图像集；根据动脉瘤ROI获取正负样本比例为1:3的等大图像块。
可以理解，依次接收和标注原始颅内影像的格式可以是Dicom或者Nifti，图像矩阵化处理针对的图像格式Nifti；如果原始颅内影像的格式为Nifti则不需要转换，如果原始颅内影像的格式为Dicom，则需要将图像Dicom序列转换为Nifti格式，后经重采样得到相同尺寸的图像块并读取图像矩阵，得到的矩阵尺寸为(1,64,64,64)，尺寸单位为像素。本实施例中，原始颅内影像的格式优选为Dicom格式，如图3所示的原始CTA影像。
依次接收和标注原始颅内影像可以是获取CTA影像及对应标签，具体包括：首先在原始序列中手动选择符合要求的CTA影像，然后通过图像剪影技术获取去骨CTA并将该结果反馈给专家组进行数据标注，根据图像特征及诊断经验将动脉瘤所在区域轮廓手动勾勒出来，获得如图4所示的标签图(图像标注的Ground Truth)，形成一一对应的可用数据集。
可以理解，获得正、负样本图像块的方法为，根据动脉瘤ROI(region ofinterest，感兴趣区域)提取正负样本数据，具体包括：首先根据标签矩阵划分图像的正负样本区域，即动脉瘤与其他颅内组织间通过不同像素值加以区分，动脉瘤所在位置视为正样本。然后计算正样本ROI，从三维空间的x、y、z三个不同维度记录临界点坐标，以此进行图像块重采样。在一个实施例中，通过顺序采样和随机采样两种形式，获取正负样本比例为1:3的图像块，大小均为64×64×64，正、负样本的图像块规格单位为像素，下文如无特殊说明，规格大小的单位以像素为准。
为增强检测过程的鲁棒性，在一个实施例中，步骤S10还包括对正、负样本图像块进行数据增强处理和去骨处理，数据增强处理包括随机仿射变换处理，随机仿射变换处理包括沿三维图像块的一个维度或多个维度旋转任意角度；三维语义分割模型接收经过数据增强处理和去骨处理的正、负样本图像块，输出检测结果。
在一个实施例中，数据处理还包括随机重定向轴方向处理。可以理解，随机仿射变换和随机重定向轴属于三维数据随机变换方法。具体地，应用三维数据随机变换方法的方式为选择在线数据增强的策略进行图像预处理。首先对图像块进行随机重定向轴方向，默认轴标签为左(L)、右(R)、后(P)、前(A)、下(I)、上(S)。例如，将初始的“RPI”重定向至“PRI”方向。其次对图像块进行随机仿射变换，具体为随机角度旋转，每一次都可认为是沿x、y、z轴分别随机旋转α，β，γ角度；如图6所示，图6(a)为获得的Nifti影像，图6(b)为经过重定向轴方向的影像，图6(c)、图6(d)分别为旋转四十五度和九十度的影像。最后使用通过剪影技术得到的去骨CTA影像作为补充数据，即随机选取一部分去骨图像作为原始输入，增强模型表现力。
在一个实施方式中，三维数据增广处理包括依次进行的随机仿射变换处理和随机重定向轴处理。为增加待检测的正、负样本图像块的可靠性，进一步地，在经过三维数据增广处理之后，正、负样本图像块还经过图像归一化和向量化的操作处理，完成数据前期处理。
现有技术中，由于适用于三维医学图像的数据增强方式相对较少，但其对模型结果的影响却至关重要。所以在应用了数据增广处理的各实施例中，通过重定向轴方向、随机仿射变换、随机选取去骨CTA的处理，有效提升了模型的表现，增强了其鲁棒性。
步骤S20，基于卷积神经网络，通过Transformer模块、编码器和解码器构建三维语义分割模型；
本实施例中，三维语义分割模型具体为Res-Trans U-Net模型，编码器和解码器均能够改变正、负样本图像块的规格，编码器与解码器分别包括多个编码块与多个解码块；所述Res-Trans U-Net模型沿用U型设计思想，在对称的编解码结构中加入Transformer模块统筹各阶段特征。
编码器以2D ResNet-50为原型，使用3D CNN完成搭建；解码器由卷积和反卷积共同构成，可逐步恢复特征图尺寸。编码器上述Res-Trans U-Net是将CNN与Transformer结构相结合得到。关于卷积神经网络CNN、2D ResNet-50、3D CNN与Transformer结构均属于现有技术中常用的网络模型、模块，在此不做赘述性解释。
本实施例中编码器以2D ResNet-50作为原型，共包含四个编码块。具体地，使用3DCNN搭建残差瓶颈块。该瓶颈块由三个卷积块和一个短程跳跃连接构成，第一卷积块的结构由1×1卷积、批归一化层、ReLU激活层串联形成；第二卷积块的结构由3×3卷积、批归一化层、ReLU激活层串联形成；第三卷积块与第一卷积块结构相同；短程跳跃连接是将第一卷积块的输入特征图与第三卷积块的输出特征出相加得到。解码器共包含四个解码块，均由两个3×3的卷积层和一个反卷积层串连构成，且每个卷积层后均加入BN批归一化层和ReLU激活层。
步骤S30，依据正、负样本图像块的规格将三维语义分割模型的处理过程分为多个阶段，编码器与解码器在相同阶段中通过第一类路径耦合连接，第一类路径为与三维图像块的单维向量相对应的多条路径。
本实施例中，编码器根据三维图像块在三维空间的不同维度，将正、负样本图像块划分为多个维度的单维向量。具体地，将正、负样本图像块的三维特征图划分改变为一维向量；划分单维向量的数量，例如可以是根据正、负样本图像块的三个维度划分为三种单维向量。
可以理解，由于编码器与解码器都能够改变正、负样本图像块的规格；以编码器为例，每经过一个编码块，特征图尺寸减小一半；相对应的解码器每经过一个解码块，特征图尺寸增加一倍。如图7所示，相同阶段下，正、负样本图像块的规格相同。本实施例中，由于编码块和解码块的数量相同且均为四个，所以划分为四个阶段。相同阶段下，编码块和解码块通过第一类路径耦合连接，耦合连接即可以是直接连接，也可以是系统性连接，系统性连接包括间接连接和引入其他参数的连接。第一类路径包括多条路径，每一条第一类路径对应上述的一种单维向量；和上述三种单维向量相匹配，第一类路径可以是三条。
本申请在主干网络的选择上做出创新，现有技术中通常使用CNN模型处理二维图像居多，本申请为了保持三维CTA图像间的连贯性，将2D CNN网络改写为3D形式，可更好地针对三维图像块做特征提取。具体来说，通过在相同阶段下对单维向量进行特征融合，能够更好地针对正、负样本图像块做特征提取、提高微小动脉瘤的检出率、保持原始颅内CTA图像间的连贯性、提高层与层之间的连续性。
作为一种优选方式，使用3D CNN搭建残差瓶颈块的编码块在每个阶段分别重复3、4、6、3次。
在一个实施例中，相同阶段中至少一部分所述编码块与所述解码块通过第一类路径耦合连接，至少另一部分所述编码块与所述解码块通过第二类路径耦合连接，且所述第二类路径为长程跳跃连接。
本实施例进一步通过第二类路径保持同阶段特征间的联系，以构建三维语义分割模型实现颅内动脉瘤的检测任务。Transformer模块与第二类路径的输入均来自编码器各阶段的输出(各阶段均对应一个编码块)，即编码器的各阶段特征图还可以通过第二类路径与相同阶段的解码块(各阶段均对应一个解码块)特征图相融合以优化图像细节。第二类路径具体为长程跳跃连接。
本实施例中，通过第二类路径辅助增强第一类路径，依靠三维图像(第二类路径)与一维向量(第一类路径)的耦合作用，进一步保持了原始颅内CTA图像间的连贯性，提高了层与层之间的连续性。可以理解，如果算法仅依赖第一类路径，则输入图像损失掉的信息将不能得到很好地恢复，这对于三维图像而言会大大降低分割精度，因此需要第二类路径加以辅助；若算法只依赖于第二类路径，则将损失大量全局信息，也会造成分割效果不准确的问题。本实施例中，所述Res-Trans U-Net模型包括编码器、解码器、长程跳跃连接以及Transformer模块。
具体地，相同阶段下，编码器与解码器通过Transformer模块耦合连接，具体包括：第一类路径包括Transformer模块；第二类路径包括Transformer模块。如图7所示，第一类路径通过Transformer模块连接相对应的编码块与解码块；第二类路径通过Transformer模块连接相对应的编码块与解码块。
步骤S40，利用三维语义分割模型处理所述正、负样本图像块，输出相应的检测结果。
具体地，三维语义分割模型接收正、负样本图像块，依次通过多个串连的编码块、多个串连的解码块，输出检测结果。
可以理解，在各编码块与各解码块的整个工作流程中，依次进行四次的图像规格缩小(通过编码块实现)、四次的图像规格放大(通过解码块实现)；在具体阶段的划分上，如图7所示，在四次依次的规格缩小和规格放大的过程上，分为四个阶段。可以理解，第一次规格缩小的阶段和第四次规格放大的阶段相同，同属于第一阶段；第二次规格缩小的阶段和第三次规格放大的阶段相同，同属于第二阶段；第三次规格缩小的阶段和第二次规格放大的阶段相同，同属于第三阶段；第四次规格缩小的阶段和第一次规格放大的阶段相同，同属于第四阶段。
本实施例中，三维语义分割模型接收的正、负样本图像块优选为经过数据增强后的图像块；具体地，正、负样本图像的大小为1×64×64×64，输出则为同尺寸的分割预测图，如图5所示，类别数为二分类。
可以理解，各个阶段下，解码块通过第一类路径接收正、负样本图像块的单维向量，并对单维向量拼接融合为一组，所述解码器以三维特征图的方式输出检测结果。
具体地，第二条路径则是先将特征图变为一维向量，再把来自不同阶段的特征向量共同输入到Transformer模块中。第二条路径总共包括6个重复的Transformer结构。向量在输入时首先通过拼接的方式融合为一组向量，输出时再恢复成三维特征图。Transformer结构如图8所示，完整的Multi-Trans 3D-UNet网络结构图(本申请各实施例所述的三维语义分割模型)如图7所示。编码器输入正、负样本图像块(1，D，H，W)，解码块输出检测结果(2，D，H，W)。
在一个实施例中，还包括通过上述的三维语义分割模型测试颅内动脉瘤识别检测方法的准确度。包括：使用训练好的三维语义分割模型对CTA影像进行颅内动脉瘤检测，以预测结果(如图5所示)和真实标签(如图4所示)之间的交并比作为主要指标，同时从完整病例和具体病灶两个不同维度分别测试模型敏感度。
可以理解，通过测试三维语义分割模型能够综合获得上述步骤S10～S50中，步骤次序、步骤数量以及步骤具体细节的变化，在本申请发明构思的基础上进行优化，以获得最优技术方案。
步骤S20～步骤S40可以归纳为：利用三维语义分割模型处理所述正、负样本图像块，输出相应的检测结果，所述三维语义分割模型基于卷积神经网络，通过Transformer模块、编码器和解码器构建得到，所述三维语义分割模型的处理过程依据正、负样本图像块的规格分为多个阶段，所述编码器与解码器在相同阶段中通过第一类路径耦合连接，所述第一类路径为与三维图像块的单维向量相对应的多条路径。
总结，本申请基于注意力机制网络搭建一种自动检测颅内动脉瘤的深度学习算法，具体地，是要通过设计三维图像增广方法来提升动脉瘤检测算法的精度。该算法针对原始颅内三维影像，并在数据处理阶段引入多种三维图像增广方法以提升算法鲁棒性，达到优化检测准确率的目的。本申请在模型结构上做出创新，提出Res-Trans U-Net网络模型。编码器使用3D CNN搭建ResNet作为主路径，该网络在图像特征提取方面具有强大能力；以长程跳跃和Transformer模块作为特征融合的手段，本申请同时应用三维图像特征融合、单维图像特征融合、三维数据增广处理；有效利用编码器各阶段的输出结果。经实验证明，在针对颅内动脉瘤的检测任务中，本申请建立的Res-Trans U-Net模型(三维语义分割模型)具有良好表现，能够实现本申请发明内容部分所述的技术效果。
应该理解的是，虽然图1-2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，提供了一种颅内动脉瘤识别检测的装置，包括：接收模块、划分模块、构建模块、连接模块和检测模块，其中：
接收模块，用于获得原始颅内影像的正、负样本图像块，所述正、负样本图像块为三维图像块；
检测模块，利用三维语义分割模型处理所述正、负样本图像块，输出相应的检测结果，所述三维语义分割模型基于卷积神经网络，通过Transformer模块、编码器和解码器构建得到，所述三维语义分割模型的处理过程依据正、负样本图像块的规格分为多个阶段，所述编码器与解码器在相同阶段中通过第一类路径耦合连接，所述第一类路径为与三维图像块的单维向量相对应的多条路径。
关于颅内动脉瘤识别检测的装置的具体限定可以参见上文中对于颅内动脉瘤识别检测的方法的限定，在此不再赘述。上述颅内动脉瘤识别检测的装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种颅内动脉瘤识别检测的方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现本申请各实施例所述的颅内动脉瘤识别检测的方法。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
步骤S10，获得原始颅内影像的正、负样本图像块，正、负样本图像块为三维图像块；
步骤S20，基于卷积神经网络，通过Transformer模块、编码器和解码器构建三维语义分割模型；
步骤S30，依据正、负样本图像块的规格将三维语义分割模型的处理过程分为多个阶段，编码器与解码器在相同阶段中通过第一类路径耦合连接，第一类路径为与三维图像块的单维向量相对应的多条路径。
步骤S40，利用三维语义分割模型处理所述正、负样本图像块，输出相应的检测结果。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本申请各实施例所述的颅内动脉瘤识别检测的方法。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
步骤S10，获得原始颅内影像的正、负样本图像块，正、负样本图像块为三维图像块；
步骤S20，基于卷积神经网络，通过Transformer模块、编码器和解码器构建三维语义分割模型；
步骤S30，依据正、负样本图像块的规格将三维语义分割模型的处理过程分为多个阶段，编码器与解码器在相同阶段中通过第一类路径耦合连接，第一类路径为与三维图像块的单维向量相对应的多条路径。
步骤S40，利用三维语义分割模型处理所述正、负样本图像块，输出相应的检测结果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。不同实施例中的技术特征体现在同一附图中时，可视为该附图也同时披露了所涉及的各个实施例的组合例。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.颅内动脉瘤识别检测的方法，其特征在于，包括：
获得原始颅内影像的正、负样本图像块，所述正、负样本图像块为三维图像块；
利用三维语义分割模型处理所述正、负样本图像块，输出相应的检测结果，所述三维语义分割模型基于卷积神经网络，通过Transformer模块、编码器和解码器构建得到，所述三维语义分割模型的处理过程依据正、负样本图像块的规格分为多个阶段，所述编码器与解码器在相同阶段中通过第一类路径耦合连接，所述第一类路径为与三维图像块的单维向量相对应的多条路径。
2.根据权利要求1所述的颅内动脉瘤识别检测的方法，其特征在于，所述编码器与解码器分别包括多个编码块与多个解码块，相同阶段中至少一部分所述编码块与所述解码块通过第一类路径耦合连接，至少另一部分所述编码块与所述解码块通过第二类路径耦合连接，且所述第二类路径为长程跳跃连接。
3.根据权利要求2所述的颅内动脉瘤识别检测的方法，其特征在于，
所述第一类路径包括Transformer模块；
所述第二类路径包括Transformer模块。
4.根据权利要求1所述的颅内动脉瘤识别检测的方法，其特征在于，
各个阶段下，解码块通过第一类路径接收正、负样本图像块的单维向量，并对单维向量拼接融合为一组，所述解码器以三维特征图的方式输出检测结果。
5.根据权利要求1所述的颅内动脉瘤识别检测的方法，其特征在于，还包括对正、负样本图像块进行数据增强处理和去骨处理，
所述数据增强处理包括随机仿射变换处理，所述随机仿射变换处理包括沿所述三维图像块的一个维度或多个维度旋转任意角度；
所述三维语义分割模型接收经过数据增强处理和去骨处理的正、负样本图像块，输出检测结果。
6.根据权利要求5所述的颅内动脉瘤识别检测的方法，其特征在于，所述数据处理还包括随机重定向轴方向处理。
7.根据权利要求1所述的颅内动脉瘤识别检测的方法，其特征在于，所述获得原始颅内影像的正、负样本图像块，具体包括：
依次接收和标注原始颅内影像，得到标注的影像数据，对标注的影像数据进行图像矩阵化处理获得三维影像数据；
利用三维影像数据提取动脉瘤在三维空间的临界线，根据临界线区别并获得三维影像数据的正、负样本图像块，正样本图像块处于动脉瘤所在区域，所述负样本图像块处于非动脉瘤所在区域。
8.颅内动脉瘤识别检测的装置，其特征在于，所述装置包括：
接收模块，用于获得原始颅内影像的正、负样本图像块，所述正、负样本图像块为三维图像块；
检测模块，利用三维语义分割模型处理所述正、负样本图像块，输出相应的检测结果，所述三维语义分割模型基于卷积神经网络，通过Transformer模块、编码器和解码器构建得到，所述三维语义分割模型的处理过程依据正、负样本图像块的规格分为多个阶段，所述编码器与解码器在相同阶段中通过第一类路径耦合连接，所述第一类路径为与三维图像块的单维向量相对应的多条路径。
9.计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202111026385.5A 2021-09-02 2021-09-02 颅内动脉瘤识别检测的方法、装置、计算机设备和存储介质 Pending CN113935943A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111026385.5A CN113935943A (zh) 2021-09-02 2021-09-02 颅内动脉瘤识别检测的方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111026385.5A CN113935943A (zh) 2021-09-02 2021-09-02 颅内动脉瘤识别检测的方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN113935943A true CN113935943A (zh) 2022-01-14

Family

ID=79274869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111026385.5A Pending CN113935943A (zh) 2021-09-02 2021-09-02 颅内动脉瘤识别检测的方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN113935943A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972751A (zh) * 2022-05-11 2022-08-30 平安科技（深圳）有限公司 一种医学图像识别方法、电子设备、存储介质
CN117274557A (zh) * 2023-11-20 2023-12-22 首都师范大学 三维图像的数据增强方法、装置、电子设备及存储介质
CN117809122A (zh) * 2024-02-29 2024-04-02 北京航空航天大学 一种颅内大血管图像的处理方法、系统、电子设备及介质
CN117974654A (zh) * 2024-03-29 2024-05-03 杭州脉流科技有限公司 冠脉图像分割方法、装置、计算机设备和存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972751A (zh) * 2022-05-11 2022-08-30 平安科技（深圳）有限公司 一种医学图像识别方法、电子设备、存储介质
CN117274557A (zh) * 2023-11-20 2023-12-22 首都师范大学 三维图像的数据增强方法、装置、电子设备及存储介质
CN117274557B (zh) * 2023-11-20 2024-03-26 首都师范大学 三维图像的数据增强方法、装置、电子设备及存储介质
CN117809122A (zh) * 2024-02-29 2024-04-02 北京航空航天大学 一种颅内大血管图像的处理方法、系统、电子设备及介质
CN117809122B (zh) * 2024-02-29 2024-06-04 北京航空航天大学 一种颅内大血管图像的处理方法、系统、电子设备及介质
CN117974654A (zh) * 2024-03-29 2024-05-03 杭州脉流科技有限公司 冠脉图像分割方法、装置、计算机设备和存储介质
CN117974654B (zh) * 2024-03-29 2024-06-11 杭州脉流科技有限公司 冠脉图像分割方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN110838124B (zh) 用于分割具有稀疏分布的对象的图像的方法、系统和介质
CN113935943A (zh) 颅内动脉瘤识别检测的方法、装置、计算机设备和存储介质
CN111160367B (zh) 图像分类方法、装置、计算机设备和可读存储介质
CN110310256B (zh) 冠脉狭窄检测方法、装置、计算机设备和存储介质
US20180260951A1 (en) Deep Image-to-Image Recurrent Network with Shape Basis for Automatic Vertebra Labeling in Large-Scale 3D CT Volumes
US11645753B2 (en) Deep learning-based multi-site, multi-primitive segmentation for nephropathology using renal biopsy whole slide images
Zhu et al. A 3d coarse-to-fine framework for automatic pancreas segmentation
Li et al. Automated measurement network for accurate segmentation and parameter modification in fetal head ultrasound images
CN110717905B (zh) 脑部图像检测方法、计算机设备和存储介质
US11229377B2 (en) System and method for next-generation MRI spine evaluation
CN111369542A (zh) 血管标记方法、图像处理系统和存储介质
CN109712163B (zh) 冠脉提取方法、装置、图像处理工作站和可读存储介质
CN110969623B (zh) 一种肺部ct多征象自动检测方法、系统、终端及存储介质
WO2022032824A1 (zh) 图像分割方法、装置、设备及存储介质
CN113012155A (zh) 髋关节图像中骨骼分割方法、电子设备及存储介质
Sokooti et al. Hierarchical prediction of registration misalignment using a convolutional LSTM: Application to chest CT scans
CN110751187A (zh) 异常区域图像生成网络的训练方法和相关产品
CN115330669A (zh) 预测解剖结构的疾病量化参数的计算机实现的方法、系统及存储介质
CN114693671B (zh) 基于深度学习的肺结节半自动分割方法、装置、设备及介质
CN115100185A (zh) 图像处理方法、装置、计算机设备和存储介质
CN116469545A (zh) 使用医学图像进行辅助疾病预测的方法、装置及设备
Pal et al. A fully connected reproducible SE-UResNet for multiorgan chest radiographs segmentation
CN111160441B (zh) 分类方法、计算机设备和存储介质
Qin et al. Residual block-based multi-label classification and localization network with integral regression for vertebrae labeling
CN113379770B (zh) 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination