CN114764788B - 一种颅内动脉狭窄检测方法及系统 - Google Patents

一种颅内动脉狭窄检测方法及系统 Download PDF

Info

Publication number
CN114764788B
CN114764788B CN202210318143.1A CN202210318143A CN114764788B CN 114764788 B CN114764788 B CN 114764788B CN 202210318143 A CN202210318143 A CN 202210318143A CN 114764788 B CN114764788 B CN 114764788B
Authority
CN
China
Prior art keywords
image
dimension
feature
mip
branch unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210318143.1A
Other languages
English (en)
Other versions
CN114764788A (zh
Inventor
李子孝
刘涛
张栗源
王拥军
濮月华
荆京
程健
刘子阳
吴振洲
张喆
朱万琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Beijing Tiantan Hospital
Original Assignee
Beihang University
Beijing Tiantan Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University, Beijing Tiantan Hospital filed Critical Beihang University
Priority to CN202210318143.1A priority Critical patent/CN114764788B/zh
Publication of CN114764788A publication Critical patent/CN114764788A/zh
Application granted granted Critical
Publication of CN114764788B publication Critical patent/CN114764788B/zh
Priority to US18/127,902 priority patent/US20230316509A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02007—Evaluating blood vessel condition, e.g. elasticity, compliance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Physiology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Vascular Medicine (AREA)
  • Cardiology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明涉及一种本发明提供的颅内动脉狭窄检测方法和系统，属于图像处理技术领域。本发明通过采用基于自适应三重注意力模块的检测模型，基于预处理医学图像得到的第一MIP图像和第二MIP图像得到动脉狭窄检测结果后，依据动脉狭窄检测结果中的目标类别信息生成辅助报告和可视化结果，以能够解决现有人工判读方法易受医生主观经验影响和费时费力的问题，进而提高颅内动脉狭窄检测的准确性和效率。并且，本发明通过在YOLOv4的主干网络中插入自适应三重注意力模块，能够实现对高维特征重点区域的关注，降低无关特征的关注，提供检测模型的表征能力。

Description

一种颅内动脉狭窄检测方法及系统
技术领域
本发明涉及图像处理技术领域，特别是涉及一种颅内动脉狭窄检测方法及系统。
背景技术
目前市面上针对颅内动脉对象的软件主要包括RapidAI和ICafe两款软件。由RapidAI公司开发的RapidLVO软件，软件功能主要是用于识别颅内动脉大动脉闭塞，不能提供狭窄的检测和识别。iCafe软件的主要功能是用于对颅内动脉进行特征提取，将提取到的特征作为生物标记物进行后续的分析，因此不能提供动脉狭窄制动检测的功能。
现在临床上基于TOF-MRA影像的颅内动脉狭窄筛查和识别仍以人工判读方法为主。然而，颅内动脉狭窄的筛查工作量繁重，同时人工判读严重依赖医生的主观判断和临床经验。基于此，本领域亟需提供一种能够对动脉狭窄进行精确检测的检测方法或系统。
发明内容
本发明的目的是提供一种颅内动脉狭窄检测方法及系统，以提供动脉狭窄检测的精确性，进而弥补现有技术的空白。
为实现上述目的，本发明提供了如下方案：
一种颅内动脉狭窄检测方法，包括：
对颅内动脉的医学图像进行预处理得到第一MIP图像和第二MIP图像；
将所述第一MIP图像和所述第二MIP图像均输入至检测模型，得到动脉狭窄检测结果；所述检测模型为训练好的YOLOvessel模型；所述YOLOvessel模型为在YOLOv4网络模型的主干网络的每一跨阶段残差模块后插入自适应三重注意力模块而得到的网络模型；所述动脉狭窄检测结果包括：目标类别信息、目标位置信息和置信度分数；
基于预设的键值对信息，根据所述目标类别信息生成辅助报告；
对所述动脉狭窄检测结果进行可视化处理，得到可视化结果。
优选地，所述对颅内动脉的医学图像进行预处理得到第一MIP图像和第二MIP图像，具体包括：
对所述颅内动脉的医学图像进行格式转换，得到格式转换图像；
采用SimpleITK工具包，对所述格式转换图像进行重采样处理得到采样图像；
采用dcm2nii工具包，对所述采样图像进行重定向处理得到LSP空间图像；
按预设角度旋转所述LSP空间图像得到旋转图像；
采用最大密度投影算法处理所述LSP空间图像得到第一初始MIP图像；
采用最大密度投影算法处理所述旋转图像得到第二初始MIP图像；
采用自适应阈值算法对所述第一初始MIP图像和所述第二初始MIP图像执行图像二值化，得到第一二值化图像和第二二值化图像；
分别获取所述第一二值化图像的边界点的坐标和第二二值化图像的边界点的坐标，并确定所述第一二值化图像的中心点坐标和所述第二二值化图像的中心点坐标；
基于所述第一二值化图像的中心点坐标对所述第一初始MIP图像进行裁剪得到所述第一MIP图像；
基于所述第二二值化图像的中心点坐标对所述第二初始MIP图像进行裁剪得到所述第二MIP图像。
优选地，所述预设角度为135度。
优选地，所述自适应三重注意力模块包括：第一分支单元、第二分支单元、第三分支单元和加权单元；
所述第一分支单元的输入、所述第二分支单元的输入和所述第三分支单元的输入均为跨阶段残差模块的输出；所述加权单元的输入为所述第一分支单元的输出、所述第二分支单元的输出和所述第三分支单元的输出。
优选地，所述第一分支单元的数据处理过程为：
对维度为C*H*W的输入特征进行维度变换，得到维度为H*C*W的特征；
对所述维度为H*C*W的特征进行Z池化处理，得到维度为2*C*W的特征；
对所述维度为2*C*W的特征进行3*3空洞卷积和BatchNorm处理，得到维度为1*C*W的特征；
采用Sigmoid激活函数基于所述维度为1*C*W的特征得到第一注意力权重；
将所述第一注意力权重与所述维度为H*C*W的特征相乘后，进行维度转换得到第一输出特征；所述第一输出特征的维度为C*H*W。
优选地，所述第二分支单元的数据处理过程为：
对维度为C*H*W的输入特征进行维度交换，得到维度为W*H*C的特征；
对所述维度为W*H*C的特征进行Z池化处理，得到维度为2*H*C的特征；
对所述维度为2*H*C的特征进行3*3空洞卷积和BatchNorm处理，得到维度为1*H*C的特征；
采用Sigmoid激活函数基于所述维度为1*H*C的特征得到第二注意力权重；
将所述第二注意力权重与所述维度为W*H*C的特征相乘后，进行维度转换得到第二输出特征；所述第二输出特征的维度为C*H*W。
优选地，所述第三分支单元的数据处理过程为：
对维度为C*H*W的输入特征进行Z池化处理，得到维度为2*H*W的特征；
对所述维度为2*H*W的特征进行3*3空洞卷积和BatchNorm处理，得到维度为1*H*W的特征；
采用Sigmoid激活函数基于所述维度为1*H*W的特征得到第三注意力权重；
将所述第三注意力权重与所述维度为C*H*W的输入特征相乘，得到第三输出特征。
优选地，所述加权单元的输出特征为T：T＝1/3*(a1*T1+a2*T2+a3*T3)；
其中，a1为第一权重系数，T1为第一分支单元的输出特征，a2为第二权重系数，T2为第二分支单元的输出特征，a3为第三权重系数，T3为第三分支单元的输出特征。
优选地，所述对所述动脉狭窄检测结果进行可视化处理，得到可视化结果，具体包括：
根据所述动脉狭窄检测结果在所述第一MIP图像和所述第二MIP图像上绘制边界框；
在所述边界框上标注目标类别名称和置信度分数。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供的颅内动脉狭窄检测方法，通过采用基于自适应三重注意力模块的检测模型，基于预处理医学图像得到的第一MIP图像和第二MIP图像得到动脉狭窄检测结果后，依据动脉狭窄检测结果中的目标类别信息生成辅助报告和可视化结果，以能够解决现有人工判读方法易受医生主观经验影响和费时费力的问题，进而提高颅内动脉狭窄检测的准确性和效率。并且，本发明通过在YOLOv4的主干网络中插入自适应三重注意力模块，能够实现对高维特征重点区域的关注，降低无关特征的关注，提供检测模型的表征能力。
对应于上述提供的颅内动脉狭窄检测方法，本发明还提供了一种颅内动脉狭窄检测系统，该系统包括：
预处理子系统，用于对颅内动脉的医学图像进行预处理得到第一MIP图像和第二MIP图像；
动脉狭窄检测子系统，用于将所述第一MIP图像和所述第二MIP图像均输入至检测模型，得到动脉狭窄检测结果；所述检测模型为训练好的YOLOvessel模型；所述YOLOvessel模型为在YOLOv4网络模型的主干网络的每一跨阶段残差模块后插入自适应三重注意力模块而得到的网络模型；所述动脉狭窄检测结果包括：目标类别信息、目标位置信息和置信度分数；
信息解析子系统，用于基于预设的键值对信息，根据所述目标类别信息生成辅助报告；
可视化子系统，用于对所述动脉狭窄检测结果进行可视化处理，得到可视化结果。
因本发明提供的颅内动脉狭窄检测系统实现的技术效果与上述提供的颅内动脉狭窄检测方法实现的技术效果相同，故在此不再进行赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的颅内动脉狭窄检测方法的流程图；
图2为本发明实施例提供的图像旋转示意图；
图3为本发明实施例提供的自适应三重注意力模块的结构示意图；
图4为本发明实施例提供的颅内动脉狭窄检测系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种颅内动脉狭窄检测方法及系统，以提供动脉狭窄检测的精确性，进而弥补现有技术的空白。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本发明提供的颅内动脉狭窄检测方法，包括：
步骤100：对颅内动脉的医学图像进行预处理得到第一MIP图像和第二MIP图像。颅内动脉的医学图像可以是3D TOF-MRA影像数据。该步骤在实施过程中，可以包括：
步骤1000：对颅内动脉的医学图像进行格式转换，得到格式转换图像。进行格式转换之后，统一输出格式为NIfTI格式，文件后缀.nii或.nii.gz。
步骤1001：采用SimpleITK工具包，对格式转换图像进行重采样处理得到采样图像。
步骤1002：采用dcm2nii工具包，对采样图像进行重定向处理得到LSP空间图像。例如，得到的LSP空间图像的空间分辨率可以是0.3mm*0.3mm*0.3mm。
步骤1003：按预设角度旋转LSP空间图像得到旋转图像。例如，预设角度选择135度时，旋转过程如图2所示，图2中黑点为数据的三维空间中心点，旋转轴为经过该点且平行于上下表面的直线。
步骤1004：采用最大密度投影算法处理LSP空间图像得到第一初始MIP图像。
步骤1005：采用最大密度投影算法处理旋转图像得到第二初始MIP图像。
步骤1006：采用自适应阈值算法对第一初始MIP图像和第二初始MIP图像执行图像二值化，得到第一二值化图像和第二二值化图像。
步骤1007：分别获取第一二值化图像的边界点的坐标和第二二值化图像的边界点的坐标，并确定第一二值化图像的中心点坐标和第二二值化图像的中心点坐标。在确定边界点坐标时，可以只确定上、下、左、右四个边界点的坐标。
步骤1008：基于第一二值化图像的中心点坐标对第一初始MIP图像进行裁剪得到第一MIP图像。
步骤1009：基于第二二值化图像的中心点坐标对第二初始MIP图像进行裁剪得到第二MIP图像。裁剪得到的第一MIP图像和第二MIP图像的尺寸大小可以为416*416像素。
步骤101：将第一MIP图像和第二MIP图像均输入至检测模型，得到动脉狭窄检测结果。检测模型为训练好的YOLOvessel模型。YOLOvessel模型为在YOLOv4网络模型的主干网络的每一跨阶段残差模块后插入自适应三重注意力模块而得到的网络模型。动脉狭窄检测结果包括：目标类别信息、目标位置信息和置信度分数。
步骤102：基于预设的键值对信息，根据目标类别信息生成辅助报告。具体的，输入两张MIP图像，通过检测模型执行预测，得到目标类别信息。将得到的两个目标类别信息的结果合并，然后去重。通过人工标注时预设的键值对信息(编号、类别名称)，将目标类别信息的编号，对应为文字版辅助报告信息。
步骤103：对动脉狭窄检测结果进行可视化处理，得到可视化结果。具体的，根据动脉狭窄检测结果在第一MIP图像和第二MIP图像上绘制边界框。在边界框上标注目标类别名称和置信度分数。
进一步，传统的三重注意力模块，在三个分支中采用了7*7大小的卷积核，在融合三个分支特征时，仅通过简单的取平均的方法，将三个分支的通道的权重默认为1:1:1，使得输出的结果存在精确度低和数据处理效率低的问题。为了解决这一问题，本发明在构建自适应三重注意力模块时，引入3个可学习参数权重，对三个分支的输出特征进行加权平均，使模型更关注更有价值的信息编码。具体的，如图3所示，本发明采用的自适应三重注意力模块包括：第一分支单元、第二分支单元、第三分支单元和加权单元。
第一分支单元的输入、第二分支单元的输入和第三分支单元的输入均为跨阶段残差模块的输出。加权单元的输入为第一分支单元的输出、第二分支单元的输出和第三分支单元的输出。
其中，A、第一分支单元的数据处理过程为：
对维度为C*H*W的输入特征进行维度变换，得到维度为H*C*W的特征。
对维度为H*C*W的特征进行Z池化处理，得到维度为2*C*W的特征。
对维度为2*C*W的特征进行3*3空洞卷积和BatchNorm处理，得到维度为1*C*W的特征。
采用Sigmoid激活函数基于维度为1*C*W的特征得到第一注意力权重。
将第一注意力权重与维度为H*C*W的特征相乘后，进行维度转换得到第一输出特征。第一输出特征的维度为C*H*W。
B、第二分支单元的数据处理过程为：
对维度为C*H*W的输入特征进行维度交换，得到维度为W*H*C的特征。
对维度为W*H*C的特征进行Z池化处理，得到维度为2*H*C的特征。
对维度为2*H*C的特征进行3*3空洞卷积和BatchNorm处理，得到维度为1*H*C的特征。
采用Sigmoid激活函数基于维度为1*H*C的特征得到第二注意力权重。
将第二注意力权重与维度为W*H*C的特征相乘后，进行维度转换得到第二输出特征。第二输出特征的维度为C*H*W。
C、第三分支单元的数据处理过程为：
对维度为C*H*W的输入特征进行Z池化处理，得到维度为2*H*W的特征。
对维度为2*H*W的特征进行3*3空洞卷积和BatchNorm处理，得到维度为1*H*W的特征。
采用Sigmoid激活函数基于维度为1*H*W的特征得到第三注意力权重。
将第三注意力权重与维度为C*H*W的输入特征相乘，得到第三输出特征。
基于上述处理过程，加权单元的输出特征为T：T＝1/3*(a1*T1+a2*T2+a3*T3)。其中，a1为第一权重系数，T1为第一分支单元的输出特征，a2为第二权重系数，T2为第二分支单元的输出特征，a3为第三权重系数，T3为第三分支单元的输出特征。
显然，在YOLOv4的主干网络中插入自适应三重注意力模块，能够实现对高维特征重点区域的关注、降低无关特征的关注，进而提高了模型的表征能力和在颅内动脉狭窄检测任务上的准确率。
进一步，为了提高检测准确性，本发明还对YOLOvessel模型进行训练得到检测模型的过程进行了优化，具体如下：
S1：准备3D TOF-MRA的原始影像数据。
S2：通过图像预处理过程，得到MIP样本图像。
S3：通过数据增强方法，基于MIP样本图像生成新的训练样本。数据增强方法包括图像旋转和图像水平镜像。
在生成训练样本过程中，通过图像标注软件LabelImg对MIP样本图像进行数据标注，生成于标注图片文件同名的txt文件。
具体的，在MIP图像上的标注目标(键值对信息)包括：0(颈内动脉颅内段，狭窄率0-49％)、1(颈内动脉颅内段，狭窄率50％-99％)、2(颈内动脉颅内段，狭窄率100％)、3(大脑中动脉M1段，狭窄率0-49％)、4(大脑中动脉M1段，狭窄率50％-99％)、5(大脑中动脉M1段，狭窄率100％)、6(大脑中动脉M2段，狭窄率0-49％)、7(大脑中动脉M2段，狭窄率50％-99％)、8(大脑中动脉M2段，狭窄率100％)、9(大脑前动脉A1段，狭窄率0-49％)、10(大脑前动脉A1段，狭窄率50％-99％)、11(大脑前动脉A1段，狭窄率100％)、12(大脑前动脉A2段，狭窄率0-49％)、13(大脑前动脉A2段，狭窄率50％-99％)、14(大脑前动脉A2段，狭窄率100％)、15(大脑后动脉P1段，狭窄率0-49％)、16(大脑后动脉P1段，狭窄率50％-99％)、17(大脑后动脉P1段，狭窄率100％)、18(大脑后动脉P2段，狭窄率0-49％)、19(大脑后动脉P2段，狭窄率50％-99％)、20(大脑后动脉P2段，狭窄率100％)、20(大脑后动脉P2段，狭窄率100％)、21(基底动脉，狭窄率0-49％)、22(基底动脉，狭窄率50-99％)、23(基底动脉，狭窄率100％)、24(椎动脉V4段，狭窄率0-49％)、25(椎动脉V4段，狭窄率50-99％)、26(椎动脉V4段，狭窄率100％)，共27类狭窄目标。基于这一标注内容，本发明可以实现颅内动脉9段动脉(颈内动脉颅内段、大脑中动脉M1段、大脑中动脉M2段、大脑前动脉A1段、大脑前动脉A2段、大脑后动脉P1段、大脑后动脉P2段、基底动脉、椎动脉V4段)的狭窄检测。实现三种不同严重程度的分级，轻度(0-49％狭窄率)、中度(50％-69％)、重度(70％-99％)。
通过得到的样本数据，利用YOLOvessel算法进行训练，通过YOLO的CNN网络将输入的MIP图片划分成S*S个网格，S涉及三种不同的尺寸，生成检测模型。具体的，
S4：按照7:3的比例通过随机划分的方法将训练样本划分为训练集和验证集，训练集用于训练YOLOvessel模型，验证集用于保存效果最好的YOLOvessel模型。
S5：通过修改学习率和迭代次数参数，用训练集进行模型训练，利用损失函数并通过反向传播算法不断优化。损失函数包括位置损失函数、类别损失函数以及置信度损失函数。具体的，位置损失函数采用CIoU损失函数，类别损失函数采用交叉熵损失函数，置信度损失函数采用交叉熵损失函数。
基于上述得到的检测模型，在上述可视化过程中，边界框的绘制过程为：
S1：输入一张任意大小的图片(第一MIP图像或第二MIP图像)，固定图片的长宽比缩放至固定尺寸，满足边长是32的倍数，形成归一化图像输入网络。
S2：通过YOLO的CNN网络将图片划分成S*S个网格，对于边界框中心点落在该网格内的目标，预测得到b个边界框，每个边界框对应(cn+5)个值，其中，cn表示检测目标的类别数，5个值分别对应x偏移量、y偏移量、宽度缩放系数和边界框的高度缩放系数以及检测目标的置信度分数。
S3：对预测得到的b个边界框进行解码。将每个网格点加上对应的x偏移量和y偏移量得到预测框的中心，然后利用先验框和宽度高度缩放因子计算预测框的宽和高，确定目标的位置信息。其中，先验框通过对数据集标签中的边界框长和宽信息聚类获得。目标类别信息通过获取网络输出的类别信息(包括cn个数值)的最大值索引来确定。
S4：通过预设的置信度分数阈值，筛选出置信度分数在阈值以上的边界框，反之舍弃。
S5：通过非极大值抑制(NMS)算法，对于同一个目标的多个预测边界框，筛选出置信度最高的边界框，然后将其他结果和该边界框计算IoU值，当IoU值大于预设的IoU阈值时删除该边界框，反之保留。
S6：通过目标位置信息的中心点坐标、边界框宽度和高度，计算出边界框左上角坐标(x1，y1)和右下角坐标信息(x2，y2)。
S7：通过OpenCV工具包，利用得到的左上角坐标和右上角坐标信息，在图片相应位置绘制矩形框，并在框上写明目标类别信息和置信度分数。
此外，对应于上述提供的颅内动脉狭窄检测方法，本发明还提供了一种颅内动脉狭窄检测系统，如图4所示，该系统包括：
预处理子系统400，用于对颅内动脉的医学图像进行预处理得到第一MIP图像和第二MIP图像。
动脉狭窄检测子系统401，用于将第一MIP图像和第二MIP图像均输入至检测模型，得到动脉狭窄检测结果。检测模型为训练好的YOLOvessel模型。YOLOvessel模型为在YOLOv4网络模型的主干网络的每一跨阶段残差模块后插入自适应三重注意力模块而得到的网络模型。动脉狭窄检测结果包括：目标类别信息、目标位置信息和置信度分数。
信息解析子系统402，用于基于预设的键值对信息，根据目标类别信息生成辅助报告。
可视化子系统403，用于对动脉狭窄检测结果进行可视化处理，得到可视化结果。
下面通过一个实施例，对本发明上述提供的颅内动脉狭窄检测系统的实施过程进行说明。
S01：生成训练样本：将准备好的MRA数据作为训练样本，每个样本通过预处理子系统生成两个视角的MIP图像。
S02：构造自适应三重注意力模块：将特征输入三个不同的分支分别对通道维度和空间维度的注意力建模，然后，通过引入一个可学习参数对三个分支的特征进行聚合，得到自适应三重注意力模块。
S03：以YOLOv4算法为基础，在主干网络CSPDarknet53的每个跨阶段残差模块后面插入自适应三重注意力，得到YOLOvessel网络。
S04：生成检测模型：通过步骤S01得到的训练样本，利用YOLOvessel算法进行训练，通过YOLO的CNN网络将输入的MIP图片划分成S*S个网格，S涉及三种不同的尺寸，生成检测模型。
S05：将临床采集到的3D TOF-MRA影像数据，通过步骤S01的预处理子系统生成MIP图像M1和M2。
S06：动脉狭窄检测子系统调用步骤S04中生成的检测模型文件，对步骤S05中的M1图像执行检测，获得M1图像中的目标类别信息、目标位置信息和置信度分数。然后，动脉狭窄检测子系统调用步骤S04中生成的检测模型，对步骤S05中的M2执行检测，获得M2图像中的目标类别信息、目标位置信息和置信度分数。
S07：通过信息解析子系统，输入的步骤S06中的目标类别信息，根据预设的键值对信息，得到辅助报告信息。
S08：通过可视化子系统，输入的步骤S06中的目标类别信息、目标位置信息和置信度信息，在步骤S05中的M1图像和M2图像上绘制边界框，并写明目标类别名称及置信度分数，得到可视化结果。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种颅内动脉狭窄检测方法，其特征在于，包括：
对颅内动脉的医学图像进行预处理得到第一MIP图像和第二MIP图像；
将所述第一MIP图像和所述第二MIP图像均输入至检测模型，得到动脉狭窄检测结果；所述检测模型为训练好的YOLOvessel模型；所述YOLOvessel模型为在YOLOv4网络模型的主干网络的每一跨阶段残差模块后插入自适应三重注意力模块而得到的网络模型；所述动脉狭窄检测结果包括：目标类别信息、目标位置信息和置信度分数；
基于预设的键值对信息，根据所述目标类别信息生成辅助报告；
对所述动脉狭窄检测结果进行可视化处理，得到可视化结果；
所述对颅内动脉的医学图像进行预处理得到第一MIP图像和第二MIP图像，具体包括：
对所述颅内动脉的医学图像进行格式转换，得到格式转换图像；
采用SimpleITK工具包，对所述格式转换图像进行重采样处理得到采样图像；
采用dcm2nii工具包，对所述采样图像进行重定向处理得到LSP空间图像；
按预设角度旋转所述LSP空间图像得到旋转图像；
采用最大密度投影算法处理所述LSP空间图像得到第一初始MIP图像；
采用最大密度投影算法处理所述旋转图像得到第二初始MIP图像；
采用自适应阈值算法对所述第一初始MIP图像和所述第二初始MIP图像执行图像二值化，得到第一二值化图像和第二二值化图像；
分别获取所述第一二值化图像的边界点的坐标和第二二值化图像的边界点的坐标，并确定所述第一二值化图像的中心点坐标和所述第二二值化图像的中心点坐标；
基于所述第一二值化图像的中心点坐标对所述第一初始MIP图像进行裁剪得到所述第一MIP图像；
基于所述第二二值化图像的中心点坐标对所述第二初始MIP图像进行裁剪得到所述第二MIP图像；
所述自适应三重注意力模块包括：第一分支单元、第二分支单元、第三分支单元和加权单元；
所述第一分支单元的输入、所述第二分支单元的输入和所述第三分支单元的输入均为跨阶段残差模块的输出；所述加权单元的输入为所述第一分支单元的输出、所述第二分支单元的输出和所述第三分支单元的输出；
所述加权单元的输出特征为T：T＝1/3*(a1*T1+a2*T2+a3*T3)；
其中，a1为第一权重系数，T1为第一分支单元的输出特征，a2为第二权重系数，T2为第二分支单元的输出特征，a3为第三权重系数，T3为第三分支单元的输出特征。
2.根据权利要求1所述的颅内动脉狭窄检测方法，其特征在于，所述预设角度为135度。
3.根据权利要求1所述的颅内动脉狭窄检测方法，其特征在于，所述第一分支单元的数据处理过程为：
对维度为C*H*W的输入特征进行维度变换，得到维度为H*C*W的特征；
对所述维度为H*C*W的特征进行Z池化处理，得到维度为2*C*W的特征；
对所述维度为2*C*W的特征进行3*3空洞卷积和BatchNorm处理，得到维度为1*C*W的特征；
采用Sigmoid激活函数基于所述维度为1*C*W的特征得到第一注意力权重；
将所述第一注意力权重与所述维度为H*C*W的特征相乘后，进行维度转换得到第一输出特征；所述第一输出特征的维度为C*H*W。
4.根据权利要求1所述的颅内动脉狭窄检测方法，其特征在于，所述第二分支单元的数据处理过程为：
对维度为C*H*W的输入特征进行维度交换，得到维度为W*H*C的特征；
对所述维度为W*H*C的特征进行Z池化处理，得到维度为2*H*C的特征；
对所述维度为2*H*C的特征进行3*3空洞卷积和BatchNorm处理，得到维度为1*H*C的特征；
采用Sigmoid激活函数基于所述维度为1*H*C的特征得到第二注意力权重；
将所述第二注意力权重与所述维度为W*H*C的特征相乘后，进行维度转换得到第二输出特征；所述第二输出特征的维度为C*H*W。
5.根据权利要求1所述的颅内动脉狭窄检测方法，其特征在于，所述第三分支单元的数据处理过程为：
对维度为C*H*W的输入特征进行Z池化处理，得到维度为2*H*W的特征；
对所述维度为2*H*W的特征进行3*3空洞卷积和BatchNorm处理，得到维度为1*H*W的特征；
采用Sigmoid激活函数基于所述维度为1*H*W的特征得到第三注意力权重；
将所述第三注意力权重与所述维度为C*H*W的输入特征相乘，得到第三输出特征。
6.根据权利要求1所述的颅内动脉狭窄检测方法，其特征在于，所述对所述动脉狭窄检测结果进行可视化处理，得到可视化结果，具体包括：
根据所述动脉狭窄检测结果在所述第一MIP图像和所述第二MIP图像上绘制边界框；
在所述边界框上标注目标类别名称和置信度分数。
7.一种颅内动脉狭窄检测系统，其特征在于，包括：
预处理子系统，用于对颅内动脉的医学图像进行预处理得到第一MIP图像和第二MIP图像；
动脉狭窄检测子系统，用于将所述第一MIP图像和所述第二MIP图像均输入至检测模型，得到动脉狭窄检测结果；所述检测模型为训练好的YOLOvessel模型；所述YOLOvessel模型为在YOLOv4网络模型的主干网络的每一跨阶段残差模块后插入自适应三重注意力模块而得到的网络模型；所述动脉狭窄检测结果包括：目标类别信息、目标位置信息和置信度分数；
信息解析子系统，用于基于预设的键值对信息，根据所述目标类别信息生成辅助报告；
可视化子系统，用于对所述动脉狭窄检测结果进行可视化处理，得到可视化结果；
所述对颅内动脉的医学图像进行预处理得到第一MIP图像和第二MIP图像，具体包括：
对所述颅内动脉的医学图像进行格式转换，得到格式转换图像；
采用SimpleITK工具包，对所述格式转换图像进行重采样处理得到采样图像；
采用dcm2nii工具包，对所述采样图像进行重定向处理得到LSP空间图像；
按预设角度旋转所述LSP空间图像得到旋转图像；
采用最大密度投影算法处理所述LSP空间图像得到第一初始MIP图像；
采用最大密度投影算法处理所述旋转图像得到第二初始MIP图像；
采用自适应阈值算法对所述第一初始MIP图像和所述第二初始MIP图像执行图像二值化，得到第一二值化图像和第二二值化图像；
分别获取所述第一二值化图像的边界点的坐标和第二二值化图像的边界点的坐标，并确定所述第一二值化图像的中心点坐标和所述第二二值化图像的中心点坐标；
基于所述第一二值化图像的中心点坐标对所述第一初始MIP图像进行裁剪得到所述第一MIP图像；
基于所述第二二值化图像的中心点坐标对所述第二初始MIP图像进行裁剪得到所述第二MIP图像；
所述自适应三重注意力模块包括：第一分支单元、第二分支单元、第三分支单元和加权单元；
所述第一分支单元的输入、所述第二分支单元的输入和所述第三分支单元的输入均为跨阶段残差模块的输出；所述加权单元的输入为所述第一分支单元的输出、所述第二分支单元的输出和所述第三分支单元的输出；
所述加权单元的输出特征为T：T＝1/3*(a1*T1+a2*T2+a3*T3)；
其中，a1为第一权重系数，T1为第一分支单元的输出特征，a2为第二权重系数，T2为第二分支单元的输出特征，a3为第三权重系数，T3为第三分支单元的输出特征。
CN202210318143.1A 2022-03-29 2022-03-29 一种颅内动脉狭窄检测方法及系统 Active CN114764788B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210318143.1A CN114764788B (zh) 2022-03-29 2022-03-29 一种颅内动脉狭窄检测方法及系统
US18/127,902 US20230316509A1 (en) 2022-03-29 2023-03-29 Intracranial artery stenosis detection method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210318143.1A CN114764788B (zh) 2022-03-29 2022-03-29 一种颅内动脉狭窄检测方法及系统

Publications (2)

Publication Number Publication Date
CN114764788A CN114764788A (zh) 2022-07-19
CN114764788B true CN114764788B (zh) 2022-12-16

Family

ID=82364857

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210318143.1A Active CN114764788B (zh) 2022-03-29 2022-03-29 一种颅内动脉狭窄检测方法及系统

Country Status (2)

Country Link
US (1) US20230316509A1 (zh)
CN (1) CN114764788B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116612087B (zh) * 2023-05-22 2024-02-23 山东省人工智能研究院 一种基于YOLOv5-LA的冠脉CTA狭窄检测方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109938764A (zh) * 2019-02-28 2019-06-28 佛山原子医疗设备有限公司 一种基于深度学习的自适应多部位扫描成像方法及其系统
CN111445478A (zh) * 2020-03-18 2020-07-24 吉林大学 一种用于cta图像的颅内动脉瘤区域自动检测系统和检测方法
CN111528845A (zh) * 2020-04-16 2020-08-14 北京康兴顺达科贸有限公司 单侧大脑中动脉重度狭窄/闭塞的asl图像处理方法
CN111553887A (zh) * 2020-04-14 2020-08-18 沈阳先进医疗设备技术孵化中心有限公司 桥血管评价信息获取方法及装置
CN111667456A (zh) * 2020-04-28 2020-09-15 北京理工大学 一种冠状动脉x光序列造影中血管狭窄检测方法及装置
CN112967293A (zh) * 2021-03-04 2021-06-15 首都师范大学 一种图像语义分割方法、装置及存储介质
CN112990116A (zh) * 2021-04-21 2021-06-18 四川翼飞视科技有限公司 基于多注意力机制融合的行为识别装置、方法和存储介质
CN113313728A (zh) * 2021-06-16 2021-08-27 首都医科大学附属北京天坛医院 一种颅内动脉分割方法及系统
CN114049519A (zh) * 2021-11-17 2022-02-15 江西航天鄱湖云科技有限公司 一种光学遥感图像场景分类方法
CN114187491A (zh) * 2022-02-17 2022-03-15 中国科学院微电子研究所 一种遮挡物体检测方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657124B (zh) * 2021-07-14 2023-06-30 内蒙古工业大学 基于循环共同注意力Transformer的多模态蒙汉翻译方法
CN113362329B (zh) * 2021-08-11 2021-11-19 北京航空航天大学杭州创新研究院 病灶检测模型的训练方法及识别图像中的病灶的方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109938764A (zh) * 2019-02-28 2019-06-28 佛山原子医疗设备有限公司 一种基于深度学习的自适应多部位扫描成像方法及其系统
CN111445478A (zh) * 2020-03-18 2020-07-24 吉林大学 一种用于cta图像的颅内动脉瘤区域自动检测系统和检测方法
CN111553887A (zh) * 2020-04-14 2020-08-18 沈阳先进医疗设备技术孵化中心有限公司 桥血管评价信息获取方法及装置
CN111528845A (zh) * 2020-04-16 2020-08-14 北京康兴顺达科贸有限公司 单侧大脑中动脉重度狭窄/闭塞的asl图像处理方法
CN111667456A (zh) * 2020-04-28 2020-09-15 北京理工大学 一种冠状动脉x光序列造影中血管狭窄检测方法及装置
CN112967293A (zh) * 2021-03-04 2021-06-15 首都师范大学 一种图像语义分割方法、装置及存储介质
CN112990116A (zh) * 2021-04-21 2021-06-18 四川翼飞视科技有限公司 基于多注意力机制融合的行为识别装置、方法和存储介质
CN113313728A (zh) * 2021-06-16 2021-08-27 首都医科大学附属北京天坛医院 一种颅内动脉分割方法及系统
CN114049519A (zh) * 2021-11-17 2022-02-15 江西航天鄱湖云科技有限公司 一种光学遥感图像场景分类方法
CN114187491A (zh) * 2022-02-17 2022-03-15 中国科学院微电子研究所 一种遮挡物体检测方法和装置

Also Published As

Publication number Publication date
CN114764788A (zh) 2022-07-19
US20230316509A1 (en) 2023-10-05

Similar Documents

Publication Publication Date Title
CN110705583B (zh) 细胞检测模型训练方法、装置、计算机设备及存储介质
WO2017020723A1 (zh) 一种字符分割方法、装置及电子设备
CN112184657A (zh) 一种肺结节自动检测方法、装置及计算机系统
EP3664019A1 (en) Information processing device, information processing program, and information processing method
WO2021237909A1 (zh) 一种表格还原方法、装置、设备及存储介质
CN110070531B (zh) 用于检测眼底图片的模型训练方法、眼底图片的检测方法及装置
CN110348435B (zh) 一种基于区域候选网络的目标检测方法及系统
CN110956632B (zh) 钼靶图像中胸大肌区域自动检测方法及装置
CN111598875A (zh) 甲状腺结节自动检测模型构建方法、系统及装置
CN112365973B (zh) 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统
CN112001401B (zh) 用于实例分割的模型及训练方法，实例分割网络
CN112509003B (zh) 解决目标跟踪框漂移的方法及系统
CN113077419A (zh) 用于髋关节ct影像识别的信息处理方法及装置
CN114764788B (zh) 一种颅内动脉狭窄检测方法及系统
Asheghi et al. A comprehensive review on content-aware image retargeting: From classical to state-of-the-art methods
CN112115878B (zh) 一种基于烟雾区域密度的森林火灾烟雾根节点检测方法
CN113034528A (zh) 基于影像组学的靶区及危及器官勾画轮廓准确性检验方法
CN111597845A (zh) 一种二维码检测方法、装置、设备及可读存储介质
CN106600587A (zh) 肺部ct图像辅助检测处理装置
CN115392937A (zh) 一种用户欺诈风险识别方法、装置、电子设备及存储介质
CN115100494A (zh) 一种病灶图像的识别方法、装置、设备及可读存储介质
CN112418220A (zh) 一种单字检测方法、装置、设备及介质
CN114283431B (zh) 一种基于可微分二值化的文本检测方法
CN113763313A (zh) 文本图像的质量检测方法、装置、介质及电子设备
CN113343866A (zh) 表格信息的识别方法及装置、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant