CN113706451A - 颅内动脉瘤识别检测的方法、装置、系统和计算机可读存储介质 - Google Patents

颅内动脉瘤识别检测的方法、装置、系统和计算机可读存储介质 Download PDF

Info

Publication number
CN113706451A
CN113706451A CN202110766723.2A CN202110766723A CN113706451A CN 113706451 A CN113706451 A CN 113706451A CN 202110766723 A CN202110766723 A CN 202110766723A CN 113706451 A CN113706451 A CN 113706451A
Authority
CN
China
Prior art keywords
aneurysm
intracranial
sample image
positive
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110766723.2A
Other languages
English (en)
Other versions
CN113706451B (zh
Inventor
向建平
刘爱华
朱家懿
佟鑫
鲁伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Arteryflow Technology Co ltd
Original Assignee
Arteryflow Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Arteryflow Technology Co ltd filed Critical Arteryflow Technology Co ltd
Priority to CN202110766723.2A priority Critical patent/CN113706451B/zh
Publication of CN113706451A publication Critical patent/CN113706451A/zh
Application granted granted Critical
Publication of CN113706451B publication Critical patent/CN113706451B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请颅内动脉瘤识别检测的方法、装置、系统和计算机可读存储介质，颅内动脉瘤识别检测的方法包括：依次接收和标注原始颅内的CTA影像，得到标注的影像数据；利用标注的影像数据提取动脉瘤在三维空间的边界像素点，依据边界像素点区别影像数据的正样本图像块和负样本图像块，所述正样本图像块为动脉瘤所在区域，所述负样本图像块为非动脉瘤所在区域；利用深度学习模型检测正、负样本图像块中的颅内动脉瘤，输出检测结果。本申请利用深度学习模型中编码器和解码器的算法同时处理正、负样本图像块，提升小动脉瘤检出率；以深度学习模型引入的长程跳跃连接算法为主、以长程跳跃连接算法引入的短程跳跃连接算为辅，解决了不同层之间的连续性差的问题。

Description

颅内动脉瘤识别检测的方法、装置、系统和计算机可读存储 介质
技术领域
本申请涉及医疗领域、图像处理领域、深度学习算法领域，特别是涉及一种颅内动脉瘤识别检测的方法、装置、系统和计算机可读存储介质。
背景技术
颅内动脉瘤是最常见的脑血管疾病之一。颅内动脉瘤虽然包括“瘤”的字样，但却不属于肿瘤，而是由于先天发育异常或后天损伤等因素导致局部的颅内动脉管壁损害；在血流动力学和其他因素的共同作用下，逐渐扩张形成的异常膨出，是一种脑血管疾病。颅内动脉瘤在人群中的发病率约为2％～7％，任何年龄段均可发病，40～60岁是发病的年龄高峰期。
由颅内动脉瘤破裂所导致的蛛网膜下腔出血(SAH)具有极高的致残率和致死率，占所有卒中的5％～10％，其中80％的SAH是由于颅内动脉瘤破裂导致。从某种程度上来说，动脉瘤就像是埋在颅内的一颗“不定时炸弹”。所以，快速、准确的对颅内动脉瘤进行早期筛查至关重要。
颅内动脉瘤常规检查手段是颅内CT造影(CTA)、颅内数字减影造影(DSA)和颅内MR造影(MRA)，其中CTA作为颅内CT一站式检查方式之一，其成像速度快、分辨率较高，是常用的动脉瘤检查手段。传统的人工阅片和筛查技术效率低下且漏检率较高，近年来基于人工智能和深度学习技术的自动化动脉瘤筛查与检测相关研究逐渐广泛起来。
医学杂志JAMANetwork Open剘刊在2019年公开了《使用HeadXNet模型进行深度学习辅助的脑动脉瘤诊断(Deep Learning-Assisted Diagnosis of Cerebral AneurysmsUsing the HeadXNet Model)》，提出基于CTA的动脉瘤检测模型HeadXNet，经过实验发现配备了HeadXNet动脉瘤辅助诊断系统的医生，诊断动脉瘤的准确率要明显高于没有算法辅助的医生。
张龙江等人在Nature Communications杂志于2020年11月公开了《一种临床适用的深度学习模型，用于检测计算机断层扫描血管造影图像中的颅内动脉瘤(A clinicallyapplicable deep-learning model for detecting intracranial aneurysm incomputed tomography angiography images)》，提出基于CTA影像的动脉瘤检测模型DAResUNet，该模型以多个卷积神经网络(CNN)结构设计进行拼接，以DSA影像作为动脉瘤诊断标签的金标准，设计了多个对比临床对比实验，最终的模型敏感性高达0.97，在独立的外部验证集上敏感性也有0.85，并且对于5mm以下的小动脉瘤也有较高的检出率。
在MR影像动脉瘤诊断方面，Daiju等人于2019年6月公开了《MR血管造影的深度学习：脑动脉瘤的自动检测(Deep Learning for MR Angiography:Automated Detection ofCerebral Aneurysms.)》，提出了MRA影像的AneuDect模型，在内部和外部验证集上分别有0.91和0.93的敏感性。
公开号为CN109919961A的中国专利公开了一种改进的3D UNet网络用来检测CTA动脉瘤。该技术方案中，基于数据增强(旋转、翻转和平移)扩充样本，作为数据增加模块；基于patch的方式来做动脉瘤的检测和分割，作为采样模块；基于ResNet经典分类算法构建检测模块，用以捕获多尺度特征信息。
上述现有的各技术方案中，虽然基于深度学习进行颅内动脉瘤检测已有一定的研究，但总体存在以下技术问题：第一，动脉瘤在整个CTA影像上所占区域很小，实际检测时背景区域和动脉瘤目标区域之间的比例是严重失衡的，这导致一些小或微小动脉瘤检出率低下(例如上述的数据增加模块仅单纯通过旋转、翻转和平移扩充样本，是增加样本数量，属于在数量方面的优化)；第二，目前基于经典的3D UNet网络结构设计对CTA影像动脉瘤的长期依赖捕捉效果欠佳，层与层之间的连续性还有待进一步提升。
发明内容
为解决小或微小动脉瘤检出率低下，以及动脉瘤长期依赖捕捉效果欠佳、不同层之间的连续性差的问题，本申请提供一种颅内动脉瘤识别检测的方法。
本申请颅内动脉瘤识别检测的方法，包括：
依次接收和标注原始颅内的CTA影像，得到标注的影像数据；
利用标注的影像数据提取动脉瘤在三维空间的边界像素点，依据边界像素点区别影像数据的正样本图像块和负样本图像块，所述正样本图像块为动脉瘤所在区域，所述负样本图像块为非动脉瘤所在区域；
利用深度学习模型检测正、负样本图像块中的颅内动脉瘤，输出检测结果。
可选的，所述依次接收和标注原始颅内的CTA影像，得到标注的影像数据，具体包括：
接收所述原始颅内的CTA影像；
对所述CTA影像进行图像预处理；
去除经过图像预处理之后的CTA影像的颅骨组织结构，得到去骨后的CTA影像；
接收区域划分指令，划分去骨后的CTA影像，得到标注的影像数据。
可选的，所述各边界像素点的大小规格为多种。
可选的，所述深度学习模型为基于3D-Trans-UNet的语义分割模型；
所述语义分割模型包括带有多个Transformer结构的长程跳跃连接算法；
所述Transformer结构以特征编码和位置编码作为整体加入长程跳跃连接算法。
可选的，所述特征编码和位置编码依次经过第一算法块和第二算法块；
所述第一算法块由多头注意力机制、融合归一层组成；
所述第二算法块由多层感知机制、融合归一层组成；
所述第一算法块与所述第二算法整体的输入输出之间引用短程跳跃连接算法。
可选的，所述深度学习模型包括编码器和解码器；
所述编码器接收正、负样本图像块，利用卷积算法采样深入提取正、负样本图像块特征；
所述解码器基于编码器提取的正、负样本图像块特征，利用反卷积算法采样输出检测结果。
可选的，根据所述深度学习模型检测过程中的正、负样本图像块的规格，将检测过程分为多个阶段；
相同阶段下，正、负样本图像块的规格相同；
不同阶段下，正、负样本图像块的规格不同；
相同阶段下，所述长程跳跃连接算法插入Transformer结构，用以实现相同阶段的正、负样本图像块的特征融合。
可选的，相同阶段下，所述长程跳跃连接算法插入Transformer结构重复进行，重复次数为一次或多次；
不同阶段下，所述长程跳跃连接算法插入Transformer结构的次数不完全相同。
本申请还提供一种深度学习模型的训练方法，所述深度学习模型为本申请所述的深度学习模型，所述训练方法为重复测试本申请所述的颅内动脉瘤识别检测方法。
本申请还提供一种颅内动脉瘤识别检测的装置，包括计算机存储器、计算机处理器、以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机处理器执行所述计算机程序时，实现本申请所述的颅内动脉瘤识别检测的方法。
本申请还提供一种颅内动脉瘤识别检测的系统，包括终端以及服务器，所述服务器包括计算机存储器、计算机处理器、以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述服务器从终端获取原始颅内的CTA影像；所述计算机处理器执行所述计算机程序时，实现本申请所述的颅内动脉瘤识别检测的方法。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被计算机处理器执行时实现本申请所述的颅内动脉瘤识别检测的方法。
本申请颅内动脉瘤识别检测的方法至少具有以下效果之一：
通过定位CTA图像的边界像素点区分正、负样本图像块，利用深度学习模型中编码器和解码器的算法同时处理正、负样本图像块，提升小动脉瘤检出率；
以深度学习模型引入的长程跳跃连接算法为主、以长程跳跃连接算法引入的短程跳跃连接算为辅，保证了数据的完整性和关联性，解决了不同层之间的连续性差的问题。
附图说明
图1为本申请一实施例中颅内动脉瘤识别检测方法的流程示意图；
图2为图1所示的流程中获取的原始颅内的CTA影像的示意图；
图3～图4为图1所示的流程中CTA影像动脉瘤标注结果的示意图；
图5～图6为图1所示的流程中CTA影像动脉瘤预测输出结果的示意图；
图7为本申请一实施例中颅内动脉瘤识别检测方法中使用的深度学习模型的网络结构示意图；
图8为图7中加入的Transformer结构的示意图；
图9为本申请一实施例深度学习模型的训练方法；
图10为图1所示方法流程中的应用环境示意图；
图11为本申请一实施例中颅内动脉瘤识别检测的系统结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。
颅内CTA影像检测的目的是高效准确地完成颅内动脉瘤的识别与检测，但现有技术中，小或微小动脉瘤的检出率低，不同层之间的连续性差。
为解决上述技术问题，参阅图1，本申请一实施例中提供一种颅内动脉瘤识别检测的方法，包括：
依次接收和标注原始颅内的CTA影像，得到标注的影像数据，具体包括，
依次接收和记录病例序列号；病例序列号用来记录原始颅内的CTA影像的来源病例。
接收原始颅内的CTA影像。CTA影像为三维影像，也可以理解为由多层的二维影像相叠加而形成。二维的CTA影像如图2所示。
对CTA影像进行图像预处理。图像预处理指常规数据预处理，包括调整窗宽、窗位、以及图片归一化、数据向量化。
去除经过图像预处理之后的CTA影像的颅骨组织结构，得到去骨后的CTA影像。去除方式例如可以是剪影技术，对于CTA影像而言，剪影技术为CTA剪影技术。
接收区域划分指令，划分去骨后的CTA影像，得到标注的影像数据。区域划分指令由外部输入，例如可以是由临床医生专家组基于去骨的CTA影像进行动脉瘤标注，勾勒出疑似存在动脉瘤的区域，即得到标注的影像数据。
利用标注的影像数据提取动脉瘤在三维空间的边界像素点，依据边界像素点区别影像数据的正样本图像块和负样本图像块，正样本图像块为动脉瘤所在区域，负样本图像块为非动脉瘤所在区域。
预测区域为接受划分区域指令后预测区域的结果。标注的影像数据中，区域划分指令是划分疑似存在动脉瘤的区域，包括将疑似存在动脉瘤的区域定义为正样本图像块，将其他区域定义为负样本图像块。参见背景技术可以理解，划分区域占据整个检测区域的比例较小；通过区域划分指令寻找动脉瘤的边界，有助于提高运算的速度。
标注的影像数据为标签图，标签图与原始CTA影像构建成初始图像集。
正样本存在的整体区域可以理解为正样本ROI(Region of Interest)，ROI为现有技术中图像处理常用术语，在此不做赘述。通过传统图像矩阵计算方法提取正样本ROI，在CTA影像三维空间的三个不同维度(X、Y、Z)上分别找到正样本图像块的像素点的临界值作为ROI边界，称为边界像素点。各边界像素点的大小规格为多种。可以理解，由于像素本身的成像原因，为了保证检测样本的准确性，不同位置的边界像素点可以不同；由于边界像素点数量较多，也允许出现部分边界像素点的大小规格相同的情况。
可以理解，每张图像的ROI大小不唯一。将计算得到的ROI坐标与上述对应的病例序列号共同写入文本文件保存，后续将以该文件作为标准进行图像块的提取工作。
利用深度学习模型检测正、负样本图像块中的颅内动脉瘤，输出检测结果。
本申请深度学习模型是由TransUNet改进得到的Multi-Trans 3D-UNet模型。TransUNet为现有技术中用于医学图像分割的Transformers编码器，3D-UNet为现有技术中图像分割的处理方式，在此均不进行赘述。
本申请深度学习模型在TransUNet的基础修改Transformer结构的引入策略(多种和/或多个)进行模型创新和结果优化，改进得到Multi-Trans 3D-UNet模型，Multi-Trans3D-UNet模型为具有编解码结构的语义分割模型，语义分割模型具体为二分类语义分割模型，用以完成颅内动脉瘤的识别与检测。本申请的深度学习模型由深度学习算法构建形成，基于深度学习方法设计新的网络结构解决上述技术问题。
下面具体解释深度学习模型的工作过程和机理：
深度学习模型为基于3D-Trans-UNet的语义分割模型；3D-Trans-UNet的语义分割模型具体指语义分割模型包括带有多个Transformer结构的长程跳跃连接算法。其中，Transformer结构以特征编码和位置编码作为整体加入长程跳跃连接算法。
特征编码和位置编码依次经过第一算法块和第二算法块；第一算法块由多头注意力机制、融合归一层组成；第二算法块由多层感知机制、融合归一层组成；第一算法块与第二算法整体的输入输出之间引用短程跳跃连接算法。
深度学习模型包括编码器和解码器；编码器接收正、负样本图像块，利用卷积算法采样深入提取正、负样本图像块特征；解码器基于编码器提取的正、负样本图像块特征，利用反卷积算法采样输出检测结果。
根据深度学习模型检测过程中的正、负样本图像块的规格，将检测过程分为多个阶段；
相同阶段下，正、负样本图像块的规格相同；
不同阶段下，正、负样本图像块的规格不同；
相同阶段下，长程跳跃连接算法插入Transformer结构，用以实现相同阶段的正、负样本图像块的特征融合。
相同阶段下，所述长程跳跃连接算法插入Transformer结构重复进行，重复次数为一次或多次；
不同阶段下，所述长程跳跃连接算法插入Transformer结构的次数不完全相同。作为优选，根据深度学习模型检测过程中的正、负样本图像块的规格，将检测过程分为四个阶段。可以理解，也可以根据依次进行的卷积次数和/或依次进行的反卷积次数将检测过程分为多个阶段。
深度学习模型接收标注的影像数据和原始CTA影像(在步骤流程中已保存的文本文件)，在原始CTA影像中进行图像块的采样工作。具体切分数量和图像块大小可作为超参数进行动态调整。例如，在一个可选方案中，确定上述参数分别为，正样本和负样本图像块数量各100张，每个图像块大小为64×64×64的规格大小，单位例如可以是像素、毫米等其他常见图像尺寸计量单位。下文表述均省略单位表述。
深度学习模型接收相同数量的正样本图像和负样本图像。
正样本图像通过在已知ROI区域内随机采样的方式获得，负样本则是在ROI区域外通过随机采样和顺序采样两种方式共同提取，最终负样本总数量应与正样本总数量保持一致。基于CTA原始影像和对应标签图获取动脉瘤正、负样本图像块，每个图像块大小均为1×64×64×64。深度学习模型接收和处理各图像块。
编码器阶段对各图像块进行卷积运算，解码器阶段对完成卷积运算各图像块进行反卷积运算。在编码器和解码器的整个阶段，图像块的大小分为几种类别。作为一种优选方式，卷积和反卷积两种算法的步长和卷积块大小均相同。具体方案例如可以是：
在编码器阶段，编码器阶段通过4次步长为2的3×3卷积完成下采样，达到深入提取图片特征的目的。所述编码器共包括4个编码块和4次下采样操作。每个编码块均由两个3×3的卷积块构成，卷积块包含一个3×3卷积层，且卷积层后加入BN批归一化层和ReLU激活层；下采样选择步长为2的卷积实现。
解码器阶段选择反卷积操作完成上采样，将特征图尺寸逐步恢复成64×64×64大小，最终输出2×64×64×64大小的分割预测图。解码器共包括4个解码块和4次上采样操作。每个解码块均由两个3×3的卷积块构成，卷积块包含一个3×3卷积层，且卷积层后加入BN批归一化层和ReLU激活层；上采样选择步长为2的反卷积实现。BN批归一化层和ReLU激活层均属于现有技术知识，在此不做赘述。输出分割预测图为检测结果。如果CTA影像中经深度学习模型检测确实存在动脉瘤，则该区域用白色进行标注提醒，作为检测结果，从而辅助医生快速准确的诊断颅内动脉瘤。
为解决层与层之间连续性差的问题，本申请一实施例中，参阅图7、图8，加入带有Transformer结构的长程跳跃连接实现同阶段的特征融合，在恢复特征图细节的同时完成全局信息的进一步提取，以达到提升模型整体表现的目的。
例如，长程跳跃连接包括4条路径，每个路径中插入重复次数不相同的Transformer结构。在不同阶段下，长程跳跃连接算法的次数不完全相同或完全相同。
本实施例中，在4次依次的卷积和反卷积的过程上(先通过编码器完成卷积运算再通过解码器完成反卷积运算)，分为四个阶段。可以理解，第一次卷积的阶段和第四次反卷积的阶段相同，同属于第一阶段；第二次卷积的阶段和第三次反卷积的阶段相同，同属于第二阶段；第三次卷积的阶段和第二次反卷积的阶段相同，同属于第三阶段；第四次卷积的阶段和第一次反卷积的阶段相同，同属于第四阶段。
如图8所示，各阶段中，正、负样本图像块的规格相同。例如第二阶段中，编码模块2进行第二次卷积，解码模块2进行第三次卷积；编码模块2输出的正、负样本图像块的规格与解码模块2输入的正、负样本图像块的规格相同。
相同阶段下，Transformer结构与编码器和/或解码器耦接。可以理解为，耦接可以是直接连接，也可以是系统性连接；系统性连接包括间接连接和引入其他参数的连接。例如第二阶段中，Transformer结构耦接在编码模块2与解码模块2之间。具体地，第二阶段中插入的Transformer结构与编码模块2直接连接、与解码模块2耦接。
为获得更高的检测率，作为一种优选方式，在依次进行的四个阶段中，插入Transformer结构重复次数依次为2、2、4、6次。经测试，2、2、4、6次为最好效果的超参数版本，在此重复测试下的检测率最高。可以理解，由于卷积和反卷积过程中图像块的大小发生改变，通过在相同阶段插入Transformer结构作为长程跳跃连接，能够提升整个检测流程中层与层的连续性。
为辅助提升层与层的连续性，参阅图7、图8，在一实施例中，Transformer以特征编码和位置编码作为整体输入，依次经过两个核心算法块。第一算法块由多头注意力机制、融合归一层组成，第二算法块由多层感知机制、融合归一层组成，且均在模块的输入输出间引入短程跳跃连接。本实施例中，Transformer结构的核心算法块流程如图7所示。短程跳跃连接将相同阶段下的解码器和编码器进行耦接。具体的，在各个阶段中，短程跳跃连接通过上述两个核心算法块将Transformer结构特征和解码模块特征整合输入相对应的解码模块中。可以理解，短程跳跃连接作为辅助，连接了不同的阶段，进一步增强了层与层的连续性。
本发明设计了一种深度学习语义分割模型Multi-Trans 3D-UNet，如图8所示。该模型在TransUNet结构的基础上，修改Transformer结构的引入策略进行模型创新和结果优化，构建具有编解码结构的二分类语义分割模型，完成颅内动脉瘤的识别与检测。该模型包括4个编码器模块，4个解码器模块，以及带有Transformer结构的长程跳跃连接。
所述编码器模块均以上一个编码器模块的输出作为输入，每经过一个编码器模块，特征图尺寸将减小一半；所述解码器模块均以上一个解码器模块的输出和对应长程跳跃连接Transformer结构的输出结果共同作为输入，每经过一个解码器模块，特征图尺寸将增大一倍；所述长程跳跃连接共包括4条路径，每个路径中插入重复次数不相同的Transformer结构，当前方案下分别重复2、2、4、6次。Transformer以特征编码和位置编码作为整体输入，依次经过两个核心算法块。第一算法块由多头注意力机制、融合归一层组成，第二算法块由多层感知机、融合归一层组成，且均在模块的输入输出间引入短程跳跃连接。Transformer结构如图7所示。本申请实施例中，CTA影像动脉瘤检测输出结果如图5～图6所示。
本另一实施例中，参阅图9，本申请还提供一种深度学习模型的训练方法，深度学习模型为上述的深度学习模型，训练方法为重复测试上述的颅内动脉瘤识别检测的方法。本深度学习模型的训练方法用以提高颅内动脉瘤识别检测的检出率。具体包括：
获取若干CTA影像作为原始训练图片；进入训练过程前，对图像块做常规数据预处理；以对应的去骨CTA进行动脉瘤区域标注(数据标注)，提取动脉瘤正样本ROI，获取等量正、负样本图像块；将原始CTA影像与标签(标注后的影像数据)构建成初始图像集；使用训练好的模型对CTA影像进行动脉瘤识别与检测(构建深度学习算法并检测)。通过训练上述深度学习模型，测试和提高算法的准确率，具体表现为提高颅内动脉瘤识别检测的方法检出率。
可以理解，虽然图1及图9的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1及图9中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本申请提供的颅内动脉瘤识别检测的方法，可以应用于如图10所示的应用环境中。其中，终端102通过网络与服务器104通过网络进行通信。
服务器104接收原始颅内的CTA影像和病例序列号；终端102接收区域划分指令；服务器执行上述的颅内动脉瘤识别检测的方法；服务器可以输出检测结果，检测结果可以通过终端102接收，也可以通过其他设备接收；例如可以是网络通信输出检测结果到接收端。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在另一实施例中，还提供一种颅内动脉瘤识别检测的装置，包括计算机存储器、计算机处理器、以及存储在计算机存储器中并可在计算机处理器上执行的计算机程序，计算机处理器执行计算机程序时，实现上述的颅内动脉瘤识别检测的方法。
关于颅内动脉瘤识别检测的装置的具体限定可以参见上文中对于颅内动脉瘤识别检测方法的限定，在此不再赘述。上述颅内动脉瘤识别检测的装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。例如，处理器可以调用执行图像预处理、卷积与反卷积算法、以及长程跳跃连接算法和短程跳跃连接算法等。
颅内动脉瘤识别检测的系统，包括终端以及服务器，服务器包括计算机存储器、计算机处理器、以及存储在计算机存储器中并可在计算机处理器上执行的计算机程序，服务器从终端获取原始颅内CTA影像；计算机处理器执行计算机程序时，实现上述的颅内动脉瘤识别检测的方法。
在另一实施例中，参阅图11，本申请还提供一种计算机设备，该计算机设备设置有颅内动脉瘤识别检测的装置、并运行有颅内动脉瘤识别检测的系统，该计算机设备可以是服务器，其内部结构图如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储颅内动脉瘤识别检测的方法、深度学习模型训练方法的全部工作流程的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种颅内动脉瘤识别检测的方法。
在另一实施例中，本申请还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被计算机处理器执行时实现上述的颅内动脉瘤识别检测的方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
总结，本申请应用深度学习算法构建语义分割模型，对CTA影像中的颅内动脉瘤区域进行识别与检测。以往的深度学习模型用于处理2D图像居多，本申请针对CTA影像的特点选择构建3D分割模型，在最大程度上保证了数据的完整性和关联性，能够更好的捕捉层与层之间的长程依赖和连续性，在提升动脉瘤的识别准确率上发挥了作用。
不仅如此，本申请在模型结构上做出创新。主干部分选择TransUNet结构(基于Transformer的UNet结构)，该网络结构在处理医学影像数据中具有深刻表现，在长程跳跃连接中加入多个Transformer结构进行全局信息提取和优化。Transformer起源于自然语言处理方向，有着强大的学习能力。经实验证明，将该思想引入计算机视觉领域同样具有良好的推理能力，有助于进一步提升分割效果。
本申请在长程跳跃连接中加入重复次数不等的Transformer结构，选择2、2、4、6作为最好的超参数版本。该思想类似于经典分类算法中ResNet构建的瓶颈层，将得到的特征图利用加深后的Transformer结构保持长距离信息间的关联，达到有效提升分割准确率的目的。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。不同实施例中的技术特征体现在同一附图中时，可视为该附图也同时披露了所涉及的各个实施例的组合例。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.颅内动脉瘤识别检测的方法，其特征在于，包括：
依次接收和标注原始颅内的CTA影像，得到标注的影像数据；
利用标注的影像数据提取动脉瘤在三维空间的边界像素点，依据边界像素点区别影像数据的正样本图像块和负样本图像块，所述正样本图像块为动脉瘤所在区域，所述负样本图像块为非动脉瘤所在区域；
利用深度学习模型检测正、负样本图像块中的颅内动脉瘤，输出检测结果。
2.根据权利要求1所述的颅内动脉瘤识别检测的方法，其特征在于，所述依次接收和标注原始颅内的CTA影像，得到标注的影像数据，具体包括：
接收所述原始颅内的CTA影像；
对所述CTA影像进行图像预处理；
去除经过图像预处理之后的CTA影像的颅骨组织结构，得到去骨后的CTA影像；
接收区域划分指令，划分去骨后的CTA影像，得到标注的影像数据。
3.根据权利要求1所述的颅内动脉瘤识别检测的方法，其特征在于，所述深度学习模型为基于3D-Trans-UNet的语义分割模型；
所述语义分割模型包括带有多个Transformer结构的长程跳跃连接算法；
所述Transformer结构以特征编码和位置编码作为整体加入长程跳跃连接算法。
4.根据权利要求3所述的颅内动脉瘤识别检测的方法，其特征在于，所述特征编码和位置编码依次经过第一算法块和第二算法块；
所述第一算法块由多头注意力机制、融合归一层组成；
所述第二算法块由多层感知机制、融合归一层组成；
所述第一算法块与所述第二算法整体的输入输出之间引用短程跳跃连接算法。
5.根据权利要求1所述的颅内动脉瘤识别检测的方法，其特征在于，所述深度学习模型包括编码器和解码器；
所述编码器接收正、负样本图像块，利用卷积算法采样深入提取正、负样本图像块特征；
所述解码器基于编码器提取的正、负样本图像块特征，利用反卷积算法采样输出检测结果。
6.根据权利要求3所述的颅内动脉瘤识别检测的方法，其特征在于，根据所述深度学习模型检测过程中的正、负样本图像块的规格，将检测过程分为多个阶段；
相同阶段下，正、负样本图像块的规格相同；
不同阶段下，正、负样本图像块的规格不同；
相同阶段下，所述长程跳跃连接算法插入Transformer结构，用以实现相同阶段的正、负样本图像块的特征融合。
7.根据权利要求6所述的颅内动脉瘤识别检测的方法，其特征在于，相同阶段下，所述长程跳跃连接算法插入Transformer结构重复进行，重复次数为一次或多次；
不同阶段下，所述长程跳跃连接算法插入Transformer结构的次数不完全相同。
8.颅内动脉瘤识别检测的装置，包括计算机存储器、计算机处理器、以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于，所述计算机处理器执行所述计算机程序时，实现如权利要求1～7任一项所述的颅内动脉瘤识别检测的方法。
9.颅内动脉瘤识别检测的系统，包括终端以及服务器，所述服务器包括计算机存储器、计算机处理器、以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于，所述服务器从终端获取原始颅内的CTA影像；
所述计算机处理器执行所述计算机程序时，实现如权利要求1～7任一项所述的颅内动脉瘤识别检测的方法。
10.计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被计算机处理器执行时实现如权利要求1～7任一项所述的颅内动脉瘤识别检测的方法。
CN202110766723.2A 2021-07-07 2021-07-07 颅内动脉瘤识别检测的方法、装置、系统和计算机可读存储介质 Active CN113706451B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110766723.2A CN113706451B (zh) 2021-07-07 2021-07-07 颅内动脉瘤识别检测的方法、装置、系统和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110766723.2A CN113706451B (zh) 2021-07-07 2021-07-07 颅内动脉瘤识别检测的方法、装置、系统和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113706451A true CN113706451A (zh) 2021-11-26
CN113706451B CN113706451B (zh) 2024-07-12

Family

ID=78648681

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110766723.2A Active CN113706451B (zh) 2021-07-07 2021-07-07 颅内动脉瘤识别检测的方法、装置、系统和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113706451B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998674A (zh) * 2022-05-12 2022-09-02 南京航空航天大学 基于对比增强超声影像的肿瘤病灶边界标识及等级分类的装置和方法
CN115471734A (zh) * 2022-09-23 2022-12-13 中国农业大学 木质包装ippc标识的辩伪方法、装置及服务器
CN117392137A (zh) * 2023-12-13 2024-01-12 山东科技大学 一种颅内动脉瘤图像检测方法、系统、设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191476A (zh) * 2018-09-10 2019-01-11 重庆邮电大学 基于U-net网络结构的生物医学图像自动分割新方法
CN109919961A (zh) * 2019-02-22 2019-06-21 北京深睿博联科技有限责任公司 一种用于颅内cta图像中动脉瘤区域的处理方法及装置
CN110363797A (zh) * 2019-07-15 2019-10-22 东北大学 一种基于过度形变抑制的pet与ct图像配准方法
WO2020083375A1 (en) * 2018-10-26 2020-04-30 Union Strong (Beijing) Technology Co. Ltd. Method and System for Measuring Morphological Parameters of An Intracranial Aneurysm Image
CN111445478A (zh) * 2020-03-18 2020-07-24 吉林大学 一种用于cta图像的颅内动脉瘤区域自动检测系统和检测方法
WO2020151149A1 (zh) * 2019-01-23 2020-07-30 平安科技（深圳）有限公司 微动脉瘤自动检测方法、装置及计算机可读存储介质
CN112257547A (zh) * 2020-10-19 2021-01-22 国网浙江杭州市萧山区供电有限公司 一种基于深度学习的变电站安全措施识别方法
WO2021039339A1 (ja) * 2019-08-30 2021-03-04 キヤノン株式会社 情報処理装置、情報処理方法、情報処理システム及びプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191476A (zh) * 2018-09-10 2019-01-11 重庆邮电大学 基于U-net网络结构的生物医学图像自动分割新方法
WO2020083375A1 (en) * 2018-10-26 2020-04-30 Union Strong (Beijing) Technology Co. Ltd. Method and System for Measuring Morphological Parameters of An Intracranial Aneurysm Image
US20210272274A1 (en) * 2018-10-26 2021-09-02 Union Strong (Beijing) Technology Co. Ltd. Method and system for measuring morphological parameters of an intracranial aneurysm image
WO2020151149A1 (zh) * 2019-01-23 2020-07-30 平安科技（深圳）有限公司 微动脉瘤自动检测方法、装置及计算机可读存储介质
CN109919961A (zh) * 2019-02-22 2019-06-21 北京深睿博联科技有限责任公司 一种用于颅内cta图像中动脉瘤区域的处理方法及装置
CN110363797A (zh) * 2019-07-15 2019-10-22 东北大学 一种基于过度形变抑制的pet与ct图像配准方法
WO2021039339A1 (ja) * 2019-08-30 2021-03-04 キヤノン株式会社 情報処理装置、情報処理方法、情報処理システム及びプログラム
CN111445478A (zh) * 2020-03-18 2020-07-24 吉林大学 一种用于cta图像的颅内动脉瘤区域自动检测系统和检测方法
CN112257547A (zh) * 2020-10-19 2021-01-22 国网浙江杭州市萧山区供电有限公司 一种基于深度学习的变电站安全措施识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王俊豪;罗轶凤;: "通过细粒度的语义特征与Transformer丰富图像描述", 华东师范大学学报(自然科学版), no. 05, 25 September 2020 (2020-09-25) *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998674A (zh) * 2022-05-12 2022-09-02 南京航空航天大学 基于对比增强超声影像的肿瘤病灶边界标识及等级分类的装置和方法
CN115471734A (zh) * 2022-09-23 2022-12-13 中国农业大学 木质包装ippc标识的辩伪方法、装置及服务器
CN115471734B (zh) * 2022-09-23 2023-04-25 中国农业大学 木质包装ippc标识的辩伪方法、装置及服务器
CN117392137A (zh) * 2023-12-13 2024-01-12 山东科技大学 一种颅内动脉瘤图像检测方法、系统、设备及介质
CN117392137B (zh) * 2023-12-13 2024-02-13 山东科技大学 一种颅内动脉瘤图像检测方法、系统、设备及介质

Also Published As

Publication number Publication date
CN113706451B (zh) 2024-07-12

Similar Documents

Publication Publication Date Title
US10482603B1 (en) Medical image segmentation using an integrated edge guidance module and object segmentation network
US10430946B1 (en) Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques
CN109993726B (zh) 医学图像的检测方法、装置、设备和存储介质
CN108665457B (zh) 图像识别方法、装置、存储介质及计算机设备
KR101857624B1 (ko) 임상 정보를 반영한 의료 진단 방법 및 이를 이용하는 장치
CN113706451A (zh) 颅内动脉瘤识别检测的方法、装置、系统和计算机可读存储介质
JP2023540910A (ja) 病変検出のための共同訓練を伴う接続機械学習モデル
CN110827242B (zh) 一种基于卷积神经网络的颅内动脉瘤检测方法及系统
CN111179231A (zh) 图像处理方法、装置、设备和存储介质
CN113935943A (zh) 颅内动脉瘤识别检测的方法、装置、计算机设备和存储介质
CN112991315A (zh) 一种血管病变的识别方法、系统、存储介质及电子设备
CN115423754A (zh) 一种图像分类方法、装置、设备及存储介质
CN116051826A (zh) 基于dsa影像连续帧序列的冠脉血管分割方法、计算机设备和可读存储介质
CN112862745A (zh) 基于人工神经网络的组织病变识别的训练方法及训练系统
JP2024027078A (ja) マルチスケールに基づく全スライド病理特徴融合抽出方法、システム、電子機器及び記憶媒体
CN115249228A (zh) 胸部x射线图像识别方法、装置、计算机设备和存储介质
Pal et al. A fully connected reproducible SE-UResNet for multiorgan chest radiographs segmentation
CN117011522A (zh) 基于深度对比学习的胎儿脑mri分割方法
CN116129184A (zh) 多期相病灶分类方法、装置、设备及可读存储介质
CN113379770B (zh) 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置
CN115908888A (zh) 一种介入手术机器人基于Unet的DSA图像序列的血管介入器械跟踪方法
CN115496765A (zh) 脑区的图像处理方法、装置、计算机设备及存储介质
Maram et al. Brain tumour detection on brats 2020 using u-net
CN114998582A (zh) 一种冠脉血管的分割方法、装置及存储介质
CN114612373A (zh) 一种图像识别方法及服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant