CN114565577A - 一种基于多模态影像组学的颈动脉易损性分级方法及系统 - Google Patents

一种基于多模态影像组学的颈动脉易损性分级方法及系统 Download PDF

Info

Publication number
CN114565577A
CN114565577A CN202210191799.1A CN202210191799A CN114565577A CN 114565577 A CN114565577 A CN 114565577A CN 202210191799 A CN202210191799 A CN 202210191799A CN 114565577 A CN114565577 A CN 114565577A
Authority
CN
China
Prior art keywords
carotid
magnetic resonance
carotid artery
nuclear magnetic
image sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210191799.1A
Other languages
English (en)
Inventor
刘治
曹艳坤
米加
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202210191799.1A priority Critical patent/CN114565577A/zh
Publication of CN114565577A publication Critical patent/CN114565577A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明属于医学影像识别领域，提供了一种基于多模态影像组学的颈动脉易损性分级方法及系统。该方法包括，获取至少颈动脉超声图像和核磁共振图像中的一种；基于至少颈动脉超声图像和核磁共振图像中的一种，采用颈动脉斑块分级模型，得到颈动脉斑块的易损性等级；所述颈动脉斑块分级模型包括：多尺度特征融合网络和注意力分类网络；其中，所述多尺度特征融合网络用于基于颈动脉超声图像样本和颈动脉核磁共振图像样本，将提取的颈动脉超声图像样本特征和颈动脉核磁共振图像样本特征进行融合，得到融合特征；所述注意力分类网络用于基于融合特征和颈动脉超声图像样本特征/颈动脉核磁共振图像样本特征，得到颈动脉斑块的易损性等级。

Description

一种基于多模态影像组学的颈动脉易损性分级方法及系统
技术领域
本发明属于医学影像识别领域，尤其涉及一种基于多模态影像组学的颈动脉易损性分级方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
颈动脉斑块的出现是颈动脉粥样硬化过程中常见的病理现象，与缺血性脑血管病的发生密切相关。尸解研究证实，在颈动脉粥样硬化的基础上，易损斑块不可预测地突然破损、血小板激活、血栓形成是缺血性脑血管病重要的发病机制。颈动脉彩超是颈动脉斑块的常规检查方法，可对斑块进行厚度和长度的测量，根据回声的性质对斑块成分进行初步的判断。
易损斑块的病理学分类：①具有破裂倾向的易损斑块：大的脂质核心、薄的纤维帽，并有大量包括巨噬细胞在内的炎性细胞浸润；②纤维破裂，表面继发性血栓形成，造成血管不全闭塞，存在早期血栓机化；③富含糖蛋白基质和平滑肌细胞的斑块，斑块表面易发生糜烂；④表面出现显著糜烂的斑块，表面血小板血栓形成，造成血管不完全闭塞；⑤IPH造成斑块短时间内明显增大，管腔狭窄程度迅速恶化；⑥钙化结节向管腔内突起；⑦慢性狭窄性斑块伴严重钙化，陈旧性血栓形成和偏心性管腔。
传统B超是目前临床应用最方便、研究最多的识别易损斑块的手段，可提供IMT、斑块的部位、数量、面积大小、内部回声、管径大小及管腔狭窄程度等信息，能检测斑块的钙化、出血、坏死、脂质及纤维组织。根据斑块内部的回声特点，可将斑块分为均匀低回声、中回声、高回声和不均质回声。低回声区域被认为是以脂质沉积为主区，斑块内不规则无回声区域被认为是斑块出血区，而内膜表面不平整、局部有凹陷、回声以低回声为主的区域被视为溃疡区。易损斑块以低均质性回声为主，而无症状性斑块以高回声、不均质回声为主。
二维超声在临床应用中受到肯定，但有一定的局限性：①受检测者主观判断影响较大，在不同操作者间结果的差异较大；②鉴别斑块内成分能力差，超声分辨率尚不足以对富含脂质的斑块IPH及斑块内新生血管进行准确的鉴别；③难以检测颈动脉分叉部以上血管，位置较深体型肥胖者或管腔透射较差者加上多种伪像的存在导致二维超声容易遗漏一些低回声斑块，且高回声钙化斑块可对声波产生干扰，影响图像质量；④声像图显示的是某局部的横断面，对斑块的空间位置和构型很难在一幅图上清晰显示，因此其识别易损斑块的作用受到一定限制。
高分辨颈动脉磁共振成像(HRMRI)目前在评价体颈动脉粥样硬化斑块方面的应用愈发受到重视，因为这项检查不仅可以显示血管狭窄程度、斑块大小和溃疡，还能提供斑块成分、纤维帽厚度和血管壁特征等易损性指标，已成为目前临床识别易损斑块最具有前景的辅助检查手段。但是由于MRI价格昂贵，操作不便，且有一定的辐射性，也有一定的局限性。
发明内容
为了解决上述背景技术中存在的技术问题，本发明提供一种基于多模态影像组学的颈动脉易损性分级方法及系统，其通过构建易损斑块分级模型，通过向模型中输入至少颈动脉超声图像和核磁共振图像中的一种，得出超高准确率的颈动脉斑块的易损性等级。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种基于多模态影像组学的颈动脉易损性分级方法。
一种基于多模态影像组学的颈动脉易损性分级方法，包括：
获取至少颈动脉超声图像和核磁共振图像中的一种；
基于至少颈动脉超声图像和核磁共振图像中的一种，采用颈动脉斑块分级模型，得到颈动脉斑块的易损性等级；
所述颈动脉斑块分级模型包括：多尺度特征融合网络和注意力分类网络；其中，所述多尺度特征融合网络用于基于颈动脉超声图像样本和颈动脉核磁共振图像样本，将提取的颈动脉超声图像样本特征和颈动脉核磁共振图像样本特征进行融合，得到融合特征；所述注意力分类网络用于基于融合特征和颈动脉超声图像样本特征/颈动脉核磁共振图像样本特征，得到颈动脉斑块的易损性等级。
本发明的第二个方面提供一种基于多模态影像组学的颈动脉易损性分级系统。
一种基于多模态影像组学的颈动脉易损性分级系统，包括：
数据获取模块，其被配置为：获取至少颈动脉超声图像和核磁共振图像中的一种；
输出模块，其被配置为：基于至少颈动脉超声图像和核磁共振图像中的一种，采用颈动脉斑块分级模型，得到颈动脉斑块的易损性等级；
模型构建模块，其被配置为：所述颈动脉斑块分级模型包括：多尺度特征融合网络和注意力分类网络；其中，所述多尺度特征融合网络用于基于颈动脉超声图像样本和颈动脉核磁共振图像样本，将提取的颈动脉超声图像样本特征和颈动脉核磁共振图像样本特征进行融合，得到融合特征；所述注意力分类网络用于基于融合特征和颈动脉超声图像样本特征/颈动脉核磁共振图像样本特征，得到颈动脉斑块的易损性等级。
本发明的第三个方面提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一个方面所述的基于多模态影像组学的颈动脉易损性分级方法中的步骤。
本发明的第四个方面提供一种计算机设备。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一个方面所述的基于多模态影像组学的颈动脉易损性分级方法中的步骤。
与现有技术相比，本发明的有益效果是：
本发明通过构建易损斑块分级模型，通过向模型中输入至少颈动脉超声图像和核磁共振图像中的一种，得出超高准确率的颈动脉斑块的易损性等级。
本发明通过MRI确定标签，结合超声设备的便携性，可以定量的分析颈动脉斑块的易损性，从而指导下一步的治疗过程。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明示出的基于多模态影像组学的颈动脉易损性分级方法的框架图；
图2是本发明示出的模型训练模块的结构图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
需要注意的是，附图中的流程图和框图示出了根据本公开的各种实施例的方法和系统的可能实现的体系架构、功能和操作。应当注意，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分可以包括一个或多个用于实现各个实施例中所规定的逻辑功能的可执行指令。也应当注意，在有些作为备选的实现中，方框中所标注的功能也可以按照不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，或者它们有时也可以按照相反的顺序执行，这取决于所涉及的功能。同样应当注意的是，流程图和/或框图中的每个方框、以及流程图和/或框图中的方框的组合，可以使用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以使用专用硬件与计算机指令的组合来实现。
实施例一
如图1所示，本实施例提供了一种基于多模态影像组学的颈动脉易损性分级方法，本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器和系统，并通过终端和服务器的交互实现。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务器、云通信、中间件服务、域名服务、安全服务CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。本实施例中，该方法包括以下步骤：
获取至少颈动脉超声图像和核磁共振图像中的一种；
基于至少颈动脉超声图像和核磁共振图像中的一种，采用颈动脉斑块分级模型，得到颈动脉斑块的易损性等级；
所述颈动脉斑块分级模型包括：多尺度特征融合网络和注意力分类网络；其中，所述多尺度特征融合网络用于基于颈动脉超声图像样本和颈动脉核磁共振图像样本，将提取的颈动脉超声图像样本特征和颈动脉核磁共振图像样本特征进行融合，得到融合特征；所述注意力分类网络用于基于融合特征和颈动脉超声图像样本特征/颈动脉核磁共振图像样本特征，得到颈动脉斑块的易损性等级。
如图1所示，本实施例包括：数据采集模块1、标签制作模块2、特征融合模块3以及结果输出模块4。
数据采集模块1用来采集病人的超声图像信息，核磁共振影像信息。
标签制作模块2用来根据超声表现和核磁共振表现进行易损性分级标签制作。
模型训练模块3用来进行基于多模态多任务的分类模型训练。
结果输出模块4用来输出超声分级结果和核磁共振分级结果。
其中，所述超声采集模块1包括但不限于掌上超声设备，不同于传统超声设备的主机+探头的产品形式，把主机缩小到只是一块很小的、内置于探头内部的电路板，变成只是一个“探头”就相当于一台B超，只需借助随身携带安装了超声APP软件的手机、平板电脑进行显示，图像由探头内置wifi传输到手机/平板。
所述标签制作模块2是指基于MRI图像，让三位专业的核磁共振科专家对图像的易损性分级，根据颈动脉粥样硬化斑块MRI分型标准分成以下几级：0级为动脉壁厚度接近正常，无钙化；1级为内膜弥漫增厚或小的无钙化偏心性斑块；2级为含有较大的坏死脂质核、覆有纤维帽的斑块，可伴有少量钙化，在T1W及PDWI上可表现为均匀一致高信号，而在T2WI上表现为非均匀性高信号；3型为斑块表面溃疡或斑块内出血、血栓形成块；4级为无脂质核心的纤维化斑块，可伴有小的钙化。基于超声图像，让三位超声科专家对超声图像的易损性进行分级，超声图像特征主要有不均匀回声、内膜表面不平整、局部有凹陷、回声以低回声为主四种主要表现类型，当含有不包括任何一个表现时，易损性为0级，含有1种表现时为1级，含有2种表现时为2级，含有3种表现时为3级，含有4种表现时为4级。
所述模型训练模块3如图2所示，首先将颈动脉核磁共振图像和颈动脉超声图像分别送入多尺度特征融合网络，在多尺度特征融合网络中，对两种图像中的三个卷积层进行特征融合，然后将融合的结果和原来的高层卷积特征一起送入各自的注意力分类网络中，最后输出易损性分级结果。
具体地，得到融合特征的具体过程包括：
采用多尺度特征融合网络对分别提取颈动脉超声图像样本的第一层特征和颈动脉核磁共振图像样本的第一层特征，然后将动脉超声图像样本的第一层特征和颈动脉核磁共振图像样本的第一层特征进行融合，得到第一层融合特征；
采用多尺度特征融合网络对分别提取颈动脉超声图像样本的第二层特征和颈动脉核磁共振图像样本的第二层特征，然后将颈动脉超声图像样本的第二层特征、颈动脉核磁共振图像样本的第二层特征和第一层融合特征进行融合，得到第二层融合特征；
采用多尺度特征融合网络对分别提取颈动脉超声图像样本的第三层特征和颈动脉核磁共振图像样本的第三层特征，然后将颈动脉超声图像样本的第三层特征、颈动脉核磁共振图像样本的第三层特征和第二层融合特征进行融合，得到第三层融合特征，即所述融合特征。
作为一种或多种实施方式，所述特征融合指的是，首先将两个特征层进行连接然后经过下采样层和softmax层根据共同标签指导训练权重网络，得到新的权重特征层。
作为一种或多种实施方式，所述核磁共振注意力分类网络是将从核磁共振图像中提取出的高层特征和融合后的特征并联后根据标签指导学习权重值，然后训练得到输出结果。
作为一种或多种实施方式，所述超声图像注意力分类网络是将从超声图像中提取出的高层特征和融合后的特征并联后根据标签指导学习权重值，然后训练得到输出结果。
作为一种或多种实施方式，所述结果输出模块4是根据分级模型输出超声影像和核磁共振影像的0-4级的分级结果，其中，0级为稳定斑块，4级为极不稳定斑块。
实施例二
本实施例提供了一种基于多模态影像组学的颈动脉易损性分级系统。
一种基于多模态影像组学的颈动脉易损性分级系统，包括：
数据获取模块，其被配置为：获取至少颈动脉超声图像和核磁共振图像中的一种；
输出模块，其被配置为：基于至少颈动脉超声图像和核磁共振图像中的一种，采用颈动脉斑块分级模型，得到颈动脉斑块的易损性等级；
模型构建模块，其被配置为：所述颈动脉斑块分级模型包括：多尺度特征融合网络和注意力分类网络；其中，所述多尺度特征融合网络用于基于颈动脉超声图像样本和颈动脉核磁共振图像样本，将提取的颈动脉超声图像样本特征和颈动脉核磁共振图像样本特征进行融合，得到融合特征；所述注意力分类网络用于基于融合特征和颈动脉超声图像样本特征/颈动脉核磁共振图像样本特征，得到颈动脉斑块的易损性等级。
此处需要说明的是，上述数据获取模块、输出模块和模型构建模块与实施例一中的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的基于多模态影像组学的颈动脉易损性分级方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的基于多模态影像组学的颈动脉易损性分级方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多模态影像组学的颈动脉易损性分级方法，其特征在于，包括：
获取至少颈动脉超声图像和核磁共振图像中的一种；
基于至少颈动脉超声图像和核磁共振图像中的一种，采用颈动脉斑块分级模型，得到颈动脉斑块的易损性等级；
所述颈动脉斑块分级模型包括：多尺度特征融合网络和注意力分类网络；其中，所述多尺度特征融合网络用于基于颈动脉超声图像样本和颈动脉核磁共振图像样本，将提取的颈动脉超声图像样本特征和颈动脉核磁共振图像样本特征进行融合，得到融合特征；所述注意力分类网络用于基于融合特征和颈动脉超声图像样本特征/颈动脉核磁共振图像样本特征，得到颈动脉斑块的易损性等级。
2.根据权利要求1所述的基于多模态影像组学的颈动脉易损性分级方法，其特征在于，在提取颈动脉超声图像样本特征和颈动脉核磁共振图像样本特征之前包括：对所述颈动脉超声图像样本进行分级，得到针对超声的四种颈动脉斑块的易损性等级；对所述颈动脉核磁共振图像样本进行分级，得到针对核磁共振的四种颈动脉斑块的易损性等级。
3.根据权利要求2所述的基于多模态影像组学的颈动脉易损性分级方法，其特征在于，根据针对超声的四种颈动脉斑块的易损性等级对所述颈动脉超声图像样本制作标签，得到针对超声的四种颈动脉斑块的易损性标签；针对核磁共振的四种颈动脉斑块的易损性等级对所述颈动脉核磁共振图像样本制作标签，得到针对核磁共振的四种颈动脉斑块的易损性标签。
4.根据权利要求1所述的基于多模态影像组学的颈动脉易损性分级方法，其特征在于，所述得到融合特征的具体过程包括：
采用多尺度特征融合网络对分别提取颈动脉超声图像样本的第一层特征和颈动脉核磁共振图像样本的第一层特征，然后将动脉超声图像样本的第一层特征和颈动脉核磁共振图像样本的第一层特征进行融合，得到第一层融合特征；
采用多尺度特征融合网络对分别提取颈动脉超声图像样本的第二层特征和颈动脉核磁共振图像样本的第二层特征，然后将颈动脉超声图像样本的第二层特征、颈动脉核磁共振图像样本的第二层特征和第一层融合特征进行融合，得到第二层融合特征；
采用多尺度特征融合网络对分别提取颈动脉超声图像样本的第三层特征和颈动脉核磁共振图像样本的第三层特征，然后将颈动脉超声图像样本的第三层特征、颈动脉核磁共振图像样本的第三层特征和第二层融合特征进行融合，得到第三层融合特征，即所述融合特征。
5.根据权利要求1所述的基于多模态影像组学的颈动脉易损性分级方法，其特征在于，所述注意力分类网络包括：超声图像注意力分类网络和核磁共振注意力分类网络。
6.根据权利要求4所述的基于多模态影像组学的颈动脉易损性分级方法，其特征在于，所述超声图像注意力分类网络用于将多尺度特征融合网络提取的颈动脉超声图像样本的高层特征与融合特征并联后，根据标签指导学习权重值，然后训练得到颈动脉斑块的易损性等级。
7.根据权利要求4所述的基于多模态影像组学的颈动脉易损性分级方法，其特征在于，所述核磁共振注意力分类网络用于将多尺度特征融合网络提取的颈动脉核磁共振图像样本的高层特征与融合特征并联后，根据标签指导学习权重值，然后训练得到颈动脉斑块的易损性等级。
8.一种基于多模态影像组学的颈动脉易损性分级系统，其特征在于，包括：
数据获取模块，其被配置为：获取至少颈动脉超声图像和核磁共振图像中的一种；
输出模块，其被配置为：基于至少颈动脉超声图像和核磁共振图像中的一种，采用颈动脉斑块分级模型，得到颈动脉斑块的易损性等级；
模型构建模块，其被配置为：所述颈动脉斑块分级模型包括：多尺度特征融合网络和注意力分类网络；其中，所述多尺度特征融合网络用于基于颈动脉超声图像样本和颈动脉核磁共振图像样本，将提取的颈动脉超声图像样本特征和颈动脉核磁共振图像样本特征进行融合，得到融合特征；所述注意力分类网络用于基于融合特征和颈动脉超声图像样本特征/颈动脉核磁共振图像样本特征，得到颈动脉斑块的易损性等级。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的基于多模态影像组学的颈动脉易损性分级方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的基于多模态影像组学的颈动脉易损性分级方法中的步骤。
CN202210191799.1A 2022-02-28 2022-02-28 一种基于多模态影像组学的颈动脉易损性分级方法及系统 Pending CN114565577A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210191799.1A CN114565577A (zh) 2022-02-28 2022-02-28 一种基于多模态影像组学的颈动脉易损性分级方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210191799.1A CN114565577A (zh) 2022-02-28 2022-02-28 一种基于多模态影像组学的颈动脉易损性分级方法及系统

Publications (1)

Publication Number Publication Date
CN114565577A true CN114565577A (zh) 2022-05-31

Family

ID=81715587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210191799.1A Pending CN114565577A (zh) 2022-02-28 2022-02-28 一种基于多模态影像组学的颈动脉易损性分级方法及系统

Country Status (1)

Country Link
CN (1) CN114565577A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116705297A (zh) * 2023-06-07 2023-09-05 广州华科盈医疗科技有限公司 一种基于多信息处理的颈动脉检测仪
CN117496563A (zh) * 2024-01-03 2024-02-02 脉得智能科技(无锡)有限公司 颈动脉斑块易损性分级方法、装置、电子设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116705297A (zh) * 2023-06-07 2023-09-05 广州华科盈医疗科技有限公司 一种基于多信息处理的颈动脉检测仪
CN116705297B (zh) * 2023-06-07 2024-01-23 广州华科盈医疗科技有限公司 一种基于多信息处理的颈动脉检测仪
CN117496563A (zh) * 2024-01-03 2024-02-02 脉得智能科技(无锡)有限公司 颈动脉斑块易损性分级方法、装置、电子设备及存储介质
CN117496563B (zh) * 2024-01-03 2024-03-19 脉得智能科技(无锡)有限公司 颈动脉斑块易损性分级方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
KR101992057B1 (ko) 혈관 투영 영상을 이용한 뇌질환 진단 방법 및 시스템
CN114565577A (zh) 一种基于多模态影像组学的颈动脉易损性分级方法及系统
Lawley et al. 4D flow magnetic resonance imaging: role in pediatric congenital heart disease
CN110335236B (zh) 心脏医学图像的处理方法、处理装置、处理系统和介质
CN107945878A (zh) 一种基于放射组学的肝静脉压力梯度计算模型的构建方法
US20200074625A1 (en) Functional measurements in echocardiography
JP7325411B2 (ja) 心エコー図を分析する方法及び装置
Gahungu et al. Current challenges and recent updates in artificial intelligence and echocardiography
US20180317881A1 (en) Automating ultrasound examination of a vascular system
CN108742679A (zh) 结节检测装置和方法
JP2022554297A (ja) 生理パラメータに基づき血管評定パラメータを取得する方法、装置及び記憶媒体
Sehly et al. Artificial Intelligence in echocardiography: the time is now
Kampaktsis et al. Artificial intelligence in atherosclerotic disease: Applications and trends
Zahnd et al. Dynamic block matching to assess the longitudinal component of the dense motion field of the carotid artery wall in B‐mode ultrasound sequences—Association with coronary artery disease
Li et al. RPS‐Net: An effective retinal image projection segmentation network for retinal vessels and foveal avascular zone based on OCTA data
CN113693611A (zh) 基于机器学习的心电数据分类方法及装置
CN109242836A (zh) 疾病预测方法、装置以及存储介质
Morales et al. 4D flow magnetic resonance imaging for left atrial haemodynamic characterization and model calibration
Montalt-Tordera et al. Automatic segmentation of the great arteries for computational hemodynamic assessment
Viqar et al. Opto-UNet: Optimized UNet for Segmentation of Varicose Veins in Optical Coherence Tomography
CN110706808A (zh) 动脉瘤破裂状态预测方法和装置
Calvieri et al. Left Ventricular Adverse Remodeling in Ischemic Heart Disease: Emerging Cardiac Magnetic Resonance Imaging Biomarkers
Yang et al. Cyclic bending contributes to high stress in a human coronary atherosclerotic plaque and rupture risk: in vitro experimental modeling and ex vivo MRI-based computational modeling approach
CN113792740B (zh) 眼底彩照的动静脉分割方法、系统、设备及介质
Wang et al. GLUNet: global-local fusion U-net for 2D medical image segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination