CN117496563B - 颈动脉斑块易损性分级方法、装置、电子设备及存储介质 - Google Patents

颈动脉斑块易损性分级方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN117496563B
CN117496563B CN202410004041.1A CN202410004041A CN117496563B CN 117496563 B CN117496563 B CN 117496563B CN 202410004041 A CN202410004041 A CN 202410004041A CN 117496563 B CN117496563 B CN 117496563B
Authority
CN
China
Prior art keywords
feature
classification
model
sub
adopting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410004041.1A
Other languages
English (en)
Other versions
CN117496563A (zh
Inventor
石一磊
赵星
胡敬良
牟立超
侯雨
陈咏虹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maide Intelligent Technology Wuxi Co ltd
Original Assignee
Maide Intelligent Technology Wuxi Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maide Intelligent Technology Wuxi Co ltd filed Critical Maide Intelligent Technology Wuxi Co ltd
Priority to CN202410004041.1A priority Critical patent/CN117496563B/zh
Publication of CN117496563A publication Critical patent/CN117496563A/zh
Application granted granted Critical
Publication of CN117496563B publication Critical patent/CN117496563B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本申请提供一种颈动脉斑块易损性分级方法、装置、电子设备及存储介质，其中，颈动脉斑块易损性分级方法包括：获取待分级斑块的超声造影图像；采用分级模型的特征提取子模型，提取超声造影图像的分类特征图；采用分级模型的分类子模型，根据分类特征图获取待分级斑块的斑块易损性分级结果。上述方案采用第一预设权重阈值弱化钙化点显影特征对分类特征图的影响，采用第二预设权重阈值弱化钙化点显影特征对通道信息交互的影响，提高斑块内微血管的识别准确率，有利于改善斑块易损性分级的准确性。

Description

颈动脉斑块易损性分级方法、装置、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种颈动脉斑块易损性分级方法、装置、电子设备及存储介质。
背景技术
颈动脉粥样硬化是缺血性卒中的重要发病基础，大部分缺血性卒中是由于颈动脉粥样硬化血栓形成所导致的，其发生与颈动脉斑块的易损性密切相关。斑块内部新生微血管的分布情况是影响斑块破损风险的重要因素，这使得利用斑块内新生微血管对斑块易损性分级变得具有临床意义。
目前，在采用神经网络对斑块易损性进行分级评估的相关方案中，容易混淆微血管显影与钙化点显影，从而导致对微血管的识别准确率较差，进而降低斑块易损性分级准确性。
发明内容
本申请实施例的目的在于提供一种颈动脉斑块易损性分级方法、装置、电子设备及存储介质，用以改善斑块内微血管识别准确率，从而提高斑块易损性分级准确性。
第一方面，本申请实施例提供一种颈动脉斑块易损性分级方法，该方法包括：获取待分级斑块的超声造影图像；采用分级模型的特征提取子模型，提取所述超声造影图像的分类特征图；采用所述分级模型的分类子模型，根据所述分类特征图获取所述待分级斑块的斑块易损性分级结果；
所述采用分级模型的特征提取子模型，提取所述超声造影图像的分类特征图，包括：根据所述特征提取子模型中特征融合子模块所学习的特征通道权重，提取所述超声造影图像的分类特征图；所述超声造影图像中钙化点显影特征的所述特征通道权重为低于第一预设权重阈值的权重值；
所述采用分级模型的特征提取子模型，提取所述超声造影图像的分类特征图，还包括：采用所述特征提取子模型中信息交互子模块所学习的信息交互权重，对所述超声造影图像中各通道特征进行通道信息交互，获取交互特征图；所述钙化点显影特征的所述信息交互权重为低于第二预设权重阈值的权重值。
在上述方案的实现过程中，采用分级模型的特征提取子模型来提取超声造影图像的分类特征图，特征提取子模型则根据特征提取子模型中特征融合子模块所学习的特征通道权重来提取超声造影图像的分类特征图，并在特征融合子模块在对通道特征进行融合时控制钙化点显影特征的特征通道权重为低于第一预设权重阈值的权重，从而使得特征提取子模型能够学习钙化点显影特征并弱化钙化点显影特征对分类特征图的影响，从而提高微血管的识别准确率，从而有利于改善斑块易损性分级的准确性；同时，在对超声造影图像中各通道特征进行通道信息交互时，采用第二预设权重阈值弱化钙化点显影特征对通道信息交互的影响，使得特征提取子模型所提取的分类特征图能够弱化钙化点显影特征，从而提高对微血管识别准确率，进而改善斑块易损性分级准确性。
在第一方面的一种实现方式中，在所述采用所述特征提取子模型中信息交互子模块所学习的信息交互权重，对所述超声造影图像中各通道特征进行通道信息交互，获取交互特征图之前，所述方法还包括：采用所述特征提取子模型中第一特征提取子模块的若干个并列的卷积层分别提取若干个不同尺度的第一特征图；将若干个不同尺度的所述第一特征图按通道拼接，获取第一融合特征图。
在上述方案的实现过程中，采用若干个并列的卷积层来提取不同尺度的第一特征图，通过将不同尺度的第一特征图拼接为第一融合特征图，能够丰富分类特征图的信息，有利于改善上述特征提取子模型对微血管的识别准确性以及模型的鲁棒性。
在第一方面的一种实现方式中，所述采用所述特征提取子模型中信息交互子模块所学习的信息交互权重，对所述超声造影图像中各通道特征进行通道信息交互，获取交互特征图，包括：采用信息交互子模块中的全局平均池化层对所述第一融合特征图进行全局平均池化处理，获取第一全局描述特征图；采用所述信息交互子模块中的卷积层在所述第一全局描述特征图中提取信息交互权重。
在上述方案的实现过程中，采用全局平均池化层配合卷积层提取信息交互权重，从而使得信息交互子模块融合信息交互权重来对各通道特征进行通道信息交互，弱化了钙化点显影特征在信息交互时对其他通道特征的影响，有利于改善颈动脉斑块易损性分级方法的分级准确性。
在第一方面的一种实现方式中，在所述根据所述特征提取子模型中特征融合子模块所学习的特征通道权重，提取所述超声造影图像的分类特征图之前，所述方法还包括：采用所述特征提取子模型中第二特征提取子模块的第一分支层和第二分支层分别提取第一分支特征图和第二分支特征图；融合所述第一分支特征图和所述第二分支特征图，获取第二融合特征图。
在上述方案的实现过程中，采用第一分支层和第二分支层分别学习第一分支特征图和第二分支特征图，通过融合第一分支特征图和第二分支特征图，能够获得具有丰富微血管显影特征语义信息的第二融合特征图，从而提高对微血管显影特征的识别准确率，进而改善斑块易损性分级的准确性。
在第一方面的一种实现方式中，所述根据所述特征提取子模型中特征融合子模块所学习的特征通道权重，提取所述超声造影图像的分类特征图，包括：采用特征融合子模块中的全局平均池化层对所述第二融合特征图进行全局平均池化处理，获取第二全局描述特征图；采用所述特征融合子模块中的多层感知机在所述第二全局描述特征图中提取特征通道权重。
在上述方案的实现过程中，采用全局平均池化层配合多层感知机提取特征通道权重，从而使得特征融合子模块融合特征通道权重来对各通道特征进行融合，弱化了钙化点显影特征在特征融合时的对融合特征的影响，有利于改善颈动脉斑块易损性分级方法的分级准确性。
在第一方面的一种实现方式中，所述方法还包括：以标注有微血管显影和钙化点显影的训练集图像为输入，以所述训练集图像的分级标签为输出，以损失函数最小为训练目标，对所述分级模型进行训练，获得训练后的所述分级模型。
在上述方案的实现过程中，以标注有微血管显影和钙化点显影的训练集图像为输入，以分级标签为输出，对分级模型进行训练，从而使得分级模型能够区分微血管显影和钙化点显影，并弱化钙化点显影特征在特征融合和信息交互时的影响，有利于改善颈动脉斑块易损性分级方法的分级准确性。
第二方面，本申请实施例提供一种颈动脉斑块易损性分级装置，包括：
超声造影图像获取单元，用于获取待分级斑块的超声造影图像；
分类特征图提取单元，用于采用分级模型的特征提取子模型，提取所述超声造影图像的分类特征图；
分类单元，用于采用所述分级模型的分类子模型，根据所述分类特征图获取所述待分级斑块的斑块易损性分级结果；
所述分类特征图提取单元，具体用于：
根据所述特征提取子模型中特征融合子模块所学习的特征通道权重，提取所述超声造影图像的分类特征图；所述超声造影图像中钙化点显影特征的所述特征通道权重为低于第一预设权重阈值的权重值；
所述分类特征图提取单元，具体用于：
采用所述特征提取子模型中信息交互子模块所学习的信息交互权重，对所述超声造影图像中各通道特征进行通道信息交互，获取交互特征图；所述钙化点显影特征的所述信息交互权重为低于第二预设权重阈值的权重值。
第三方面，本申请实施例提供一种电子设备，包括：处理器、存储器和通信总线，其中所述处理器和所述存储器通过所述通信总线完成相互间的通信；所述存储器中存储有可被所述处理器执行的计算机程序指令，所述计算机程序指令被所述处理器读取并运行时，执行第一方面或第一方面的任意一种可能的实现方式提供的方法。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行第一方面或第一方面的任意一种可能的实现方式提供的方法。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的颈动脉斑块易损性分级方法的流程示意图；
图2为本申请实施例提供的分级模型的结构示意图；
图3为本申请实施例提供的第一特征提取模块的结构示意图；
图4为本申请实施例提供的第一特征提取子模块的结构示意图；
图5为本申请实施例提供的信息交互子模块的结构示意图；
图6为本申请实施例提供的第二特征提取子模块的结构示意图；
图7为本申请实施例提供的特征融合子模块的结构示意图；
图8为本申请实施例提供的分级模型的另一结构示意图；
图9为本申请实施例提供的颈动脉斑块易损性分级装置的结构示意图；
图10为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。以下实施例仅用于更加清楚地说明本申请的技术方案，因此只作为示例，而不能以此来限制本申请的保护范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。
在本申请实施例的描述中，技术术语“第一”“第二”等仅用于区别不同对象，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量、特定顺序或主次关系。在本申请实施例的描述中，“多个”的含义是两个以上，除非另有明确具体的限定。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
超声造影检查使用造影剂作为血管的示踪剂，通过造影剂产生的非线性高强度谐波信号，突出显影血管与其他组织之间的反差，从而清晰的反映斑块内微血管的生成和密度，因此超声造影技术能够对斑块内新生血管的分布情况进行无创检查，在临床上已逐渐成为检查斑块内新生血管的常规方法。
若斑块内部出现钙化，钙化点在超声造影下同样也会高亮显影，因此极易将钙化点显影与微血管显影进行混淆，而相关技术中采用神经网络对斑块易损性进行分级评估的方案中，并未针对钙化点显影与微血管显影进行详细区分，从而导致对微血管的识别准确率较差，进而降低斑块易损性分级准确性。
基于此，本申请实施例提供一种颈动脉斑块易损性分级方法，该方法采用分级模型的特征提取子模型来提取超声造影图像的分类特征图，特征提取子模型则根据特征提取子模型中特征融合子模块所学习的特征通道权重来提取超声造影图像的分类特征图，并在特征融合子模块在对通道特征进行融合时控制钙化点显影特征的特征通道权重为低于第一预设权重阈值的权重，从而使得特征提取子模型能够区分钙化点显影特征并弱化钙化点显影特征对分类特征图的影响，从而提高微血管的识别准确率，从而有利于改善斑块易损性分级的准确性。
请参见图1，本申请实施例提供一种颈动脉斑块易损性分级方法，该方法包括：
步骤S110：获取待分级斑块的超声造影图像；
步骤S120：采用分级模型的特征提取子模型，提取超声造影图像的分类特征图；
步骤S130：采用分级模型的分类子模型，根据分类特征图获取待分级斑块的斑块易损性分级结果。
需要指出的是，上述步骤S130所获取的斑块易损性分级结果并不能直接对疾病进行诊断，本申请实施例所获取的斑块易损性分级结果仅是一种中间参数。
上述步骤S120包括：
根据特征提取子模型中特征融合子模块所学习的特征通道权重，提取超声造影图像的分类特征图。其中，超声造影图像中钙化点显影特征的特征通道权重为低于第一预设权重阈值的权重值。
上述斑块是指在人体的颈动脉内部上形成的一层沉积物，主要有胆固醇、脂肪、钙盐等物质组成，这些物质会逐渐积累在动脉内部上，形成一个固定的斑块，从而阻碍血液的正常流动，导致血管硬化。上述超声造影图像即是采用超声造影技术所获取的斑块图像。
可以理解的是，上述第一预设权重阈值是一个数值较小的阈值，通过第一预设权重阈值可以将钙化点显影特征的特征通道权重限制在较小数值，从而在进行特征通道融合时弱化钙化点显影特征的影响，提高对微血管显影特征的识别准确率，进而改善斑块易损性分级准确性。
下面对上述分级模型进行详细介绍：
请参见图2，上述颈动脉斑块易损性分级方法采用分级模型200对斑块易损性进行分级，分级模型200包括特征提取子模型210和分类子模型220，其中，特征提取子模型210的输入为超声造影图像，输出为分类特征图，分类子模型220的输入为分类特征图，输出为斑块易损性分级结果。其中，特征提取子模型210可以包括：
第一特征提取模块211；
第二特征提取模块212，包括第一特征提取子模块212-1和信息交互子模块212-2；
第三特征提取模块213，包括第二特征提取子模块213-1和特征融合子模块213-2。
请参见图3，上述第一特征提取模块211包括16个卷积层和1个深度可分离卷积层SepConv，其中，16个卷积层中每个卷积层均包含有卷积、批归一化和激活三种操作。
卷积操作的卷积核尺寸可以设置为3x3，卷积步长可以设置为1或2，步长为2的卷积操作主要用于实现下采样。
激活操作可以采用Mish激活函数，该激活函数能够抑制梯度消失，防止出现过拟合，从而提高模型的精度，具体公式为：
其中，表示激活函数的输出，/>表示激活函数的输入。
另外，卷积层中设置有跳跃连接，以防止在训练过程中出现梯度消失的问题。
在上述分级模型200的应用阶段，上述第一特征提取模块211的输入可以为待分级斑块的尺寸大小为224×224的超声造影图像，经过16个卷积层处理后，获得大小为56×56的特征图。
特征图随后输入深度可分离卷积层进行特征提取，在保证精度的同时减少计算量。深度可分离卷积层由深度卷积和点卷积组成，在深度卷积中，为特征图/>的每个通道特征图设置一卷积核大小为3×3的卷积操作来过滤信息。在点卷积中，使用卷积核大小为1×1的卷积操作来计算深度卷积输出信息的线性组合，得到大小为56×56的特征图。
下面将结合对颈动脉斑块易损性分级方法的详细描述来深入介绍上述分级模型200。
可以理解的是，上述特征提取子模型210在提取分类特征图时可以通过通道信息交互的方式来融合不同通道中的信息，而在融合不同通道中的信息时可以采用如下方案来弱化钙化点显影特征对通道信息交互的影响。
上述步骤S120还包括：采用特征提取子模型中信息交互子模块212-2所学习的信息交互权重，对超声造影图像中各通道特征进行通道信息交互，获取交互特征图。其中，钙化点显影特征的信息交互权重为低于第二预设权重阈值的权重值。
可以理解的是，上述第二预设权重阈值是一个数值较小的阈值，通过第二预设权重阈值可以将钙化点显影特征的信息交互权重限制为较小数值。
上述方案在对超声造影图像中各通道特征进行通道信息交互时，采用第二预设权重阈值弱化钙化点显影特征对通道信息交互的影响，使得特征提取子模型所提取的分类特征图能够弱化钙化点显影特征，从而提高对微血管识别准确率，进而改善斑块易损性分级准确性。
作为上述颈动脉斑块易损性分级方法的一种可选实施方式，在采用特征提取子模型中信息交互子模块所学习的信息交互权重，对超声造影图像中各通道特征进行通道信息交互，获取交互特征图之前，还包括：采用特征提取子模型中第一特征提取子模块212-1的若干个并列的卷积层分别提取若干个不同尺度的第一特征图；将若干个不同尺度的第一特征图按通道拼接，获取第一融合特征图。
请参见图4，并列卷积层的数量可以为三个，特征图输入第一特征提取子模块212-1后首先由一个卷积核大小为3×3的常规卷积层进行特征提取，从而降低通道数量，随即分别输入到三个并列的卷积层中进行特征提取，其中，三个并列的卷积层中包括一个卷积核为1×1的常规卷积层和两个卷积核大小为3×3的空洞卷积层，空洞率可以分别设置为2和3，空洞卷积的空洞率表示卷积核中各个参数值之间的间隔。在获取三个并列的卷积层的输出后，采用拼接层对三个卷积层的输出按通道进行拼接，获取第一融合特征图。最后采用一个卷积核大小为1×1的卷积层融合各个通道的信息并降低通道数量，获得大小为56×56的特征图/>。
可以理解的是，上述空洞卷积可以在一定程度上影响卷积操作的感受野大小，帮助模型更好地提取图像的局部与全局特征，提升模型对微血管显影特征的提取与分类效果。空洞卷积的卷积核尺寸可由如下公式计算得到：
其中，表示空洞率；/>为原始卷积核尺寸；/>表示空洞卷积核尺寸。
上述方案采用若干个并列的卷积层来提取不同尺度的第一特征图，通过将不同尺度的第一特征图拼接为第一融合特征图，能够丰富分类特征图的信息，有利于改善上述特征提取子模型对微血管的识别准确性以及模型的鲁棒性。
作为上述颈动脉斑块易损性分级方法的一种可选实施方式，采用特征提取子模型中信息交互子模块所学习的信息交互权重，对超声造影图像中各通道特征进行通道信息交互，获取交互特征图，包括：采用信息交互子模块212-2中的全局平均池化层对第一融合特征图进行全局平均池化处理，获取第一全局描述特征图；采用信息交互子模块中的卷积层在所述第一全局描述特征图中提取信息交互权重。
请参见图5，上述信息交互子模块212-2包括一个全局平均池化层、三个一维卷积层以及一个卷积步长为2的卷积层，特征图输入信息交互子模块212-2后，首先采用全局平均池化层对特征图/>进行全局平均池化处理，即对每一通的64×64个元素求平均值，获得尺寸为1×1的第一全局描述特征图，随后使用三个一维卷积层对第一全局描述特征图进行信息提取，在一维卷积层中，使用sigmoid激活函数进行激活操作，获得特征通道权重向量/>，向量/>的长度与特征图/>的通道数量相等。三个一维卷积层能够使各个通道与彼此临近的三个通道之间实现局部的跨通道信息交互，有效避免了全通道信息交互所带来的低效冗余信息。向量/>表征了不同通道的重要性，用于降低钙化点显影特征在特征提取子模型中的比重，并指导特征提取子模型学习不同风险级别的微血管显影特征。随后，将向量/>与特征图/>相乘，即将向量/>的元素值与特征图/>对应通道上的每一个元素相乘，获得大小为64×64的特征图，再将其输入到一个卷积步长为2的卷积层进行下采样，并融合各个通道的权重信息，获得尺寸为32×32的特征图/>。
上述方案采用全局平均池化层配合卷积层提取信息交互权重，从而使得信息交互子模块融合信息交互权重来对各通道特征进行通道信息交互，弱化了钙化点显影特征在信息交互时对其他通道特征的影响，有利于改善颈动脉斑块易损性分级方法的分级准确性。
作为上述颈动脉斑块易损性分级方法的一种可选实施方式，在根据特征提取子模型中特征融合子模块所学习的特征通道权重，提取超声造影图像的分类特征图之前，还包括：采用特征提取子模型210中第二特征提取子模块213-1的第一分支层和第二分支层分别提取第一分支特征图和第二分支特征图；融合第一分支特征图和所述第二分支特征图，获取第二融合特征图。
请参见图6，上述第二特征提取子模块213-2包括第一分支层、第二分支层、拼接层和一个卷积核大小为1×1的卷积层，其中，第一分支层包括三个卷积核大小为3×3的卷积层，三个卷积层中的第二个卷积层为空洞率为2的空洞卷积层，其余两个为常规卷积层。第二分支层可以为第二分支层输入图像的直接复用。
特征图输入第二特征提取子模块213-2后，首先将特征图/>按通道等分为两部分，分别作为第一分支输入特征图和第二分支输入特征图，其中，第一分支输入特征图依次输入到三个卷积核大小为3×3的卷积层中，经过三个卷积层处理，获取第一分支特征图；第二分支输入特征图输入第二分支层，第二分支层直接对第二分支输入特征图进行复用，获取第二分支特征图。将第一分支特征图和第二分支特征图按通道拼接，获取第二融合特征图，拼接后采用一个卷积核大小为1×1的卷积层交换融合各个通道的信息，获得特征图/>。
可以理解的是，上述第一分支层可以用于学习微血管显影的次要语义特征，而第二分支层可以用于学习微血管显影的主要语义特征，从而丰富微血管显影特征信息。
上述方案采用第一分支层和第二分支层分别学习第一分支特征图和第二分支特征图，通过融合第一分支特征图和第二分支特征图，能够获得具有丰富微血管显影特征语义信息的第二融合特征图，从而提高对微血管显影特征的识别准确率，进而改善斑块易损性分级的准确性。
作为上述颈动脉斑块易损性分级方法的一种可选实施方式，根据特征提取子模型中特征融合子模块所学习的特征通道权重，提取超声造影图像的分类特征图，包括：采用特征融合子模块213-2中的全局平均池化层对第二融合特征图进行全局平均池化处理，获取第二全局描述特征图；采用特征融合子模块中的多层感知机在第二全局描述特征图中提取特征通道权重。
请参见图7，上述特征融合子模块213-2包括全局平均池化层、多层感知机和一个卷积步长为2的卷积层。特征图输入特征融合子模块213-2后，首先对特征图/>进行全局平均池化处理，即对每一通道的32×32个元素求平均值，得到尺寸大小为1×1的第二全局描述特征图，随后将第二全局描述特征图输入到一个由全连接层组成的多层感知机中进行计算，多层感知机学习每个通道的激励，从而为每个通道分配一个权重系数，获得特征通道权重向量/>，向量/>的长度与特征图/>的通道数量相等。向量/>用于指导特征提取子模型210对不同显影特征的学习，当学习到微血管显影特征时，赋予较高权重，而当学习到钙化点显影特征时则赋予较低权重。通过向量/>，可以让网络更好的区分微血管显影与钙化点显影特征，并提取到更精确的信息，从而提升风险分级的准确率。随后，将向量/>与特征图/>相乘，即将向量/>的元素值与特征图/>对应通道行的每一个元素相乘，获得大小为32×32的特征图，再将其输入到一个卷积步长为2的卷积层进行下采样，并融合各个通道的权重信息，得到大小为16×16的特征图/>。
上述方案采用全局平均池化层配合多层感知机提取特征通道权重，从而使得特征融合子模块融合特征通道权重来对各通道特征进行融合，弱化了钙化点显影特征在特征融合时的对融合特征的影响，有利于改善颈动脉斑块易损性分级方法的分级准确性。
需要指出的是，请参见图8，上述特征提取子模型210还可以包括第四特征提取模块214和第五特征提取模块215。第四特征提取模块214和第五特征提取模块215分别为第二特征提取模块212和第三特征提取模块213的复用，其区别点在于，第四特征提取模块214和第五特征提取模块215中最后一个卷积层的卷积步长均设置为1，即不再进行下采样，最终获得大小为16×16的特征图。
上述特征提取子模型所提取的分类特征图可以采用上述特征图，也可以采用特征图/>，特征图/>可以更加快速的获得，而特征图/>则包含有更加丰富且层次更高的特征，有利于进一步改善斑块内微血管的识别准确率。
下面对分类子模型进行详细介绍：
在分类子模型中，首先采用一个全局平均池化层对分类特征图进行全局平均池化处理，再由多个全连接层进行线性变换计算。最后一个全连接层输出三个值，这三个值经过Softmax激活函数处理之后就分别代表输入斑块图像为0级、1级和2级风险的概率值。比较表示0级、1级和2级风险的三个概率值，以概率最大者作为最终模型的输出结果，即认为待分级斑块属于该易损性等级。
下面对上述模型的训练方式进行介绍：
作为上述颈动脉斑块易损性分级方法的一种可选实施方式，上述颈动脉斑块易损性分级方法还包括：以标注有微血管显影和钙化点显影的训练集图像为输入，以训练集图像的分级标签为输出，以损失函数最小为训练目标，对分级模型进行训练，获得训练后的分级模型。
可以理解的是，上述训练集图像可以为由超声造影设备所获取的颈动脉超声造影图像，在获取训练集图像后，可以由专业人员对收集的超声造影图像进行标注，标注内容包括斑块轮廓、微血管显影、钙化点显影以及斑块对应的易损性分级（可以采用三级分类法，即将等级划分为：0级、1级、2级）。
可以理解的是，在采用训练集图像进行训练前，可以在超声造影图像中将斑块裁剪出来，并将裁剪后的图像尺寸大小调整为224×224，随后对该图像进行标准化处理，将像素值缩放到[0,1]之间。
在进行训练时，可以将数据集划分为训练集、验证集和测试集。利用训练集优化模型的参数，同时在验证集上验证模型的准确性。训练过程可以采用Adam优化器，损失函数可以采用交叉熵损失函数，根据计算资源大小设置每一批次训练图像的个数batch-size，同时根据训练情况设置迭代次数，初始学习率，学习率变化策略等超参数。综合模型损失值、训练轮次和在验证集上的准确率，确定最优模型的参数。
上述方案以标注有微血管显影和钙化点显影的训练集图像为输入，以分级标签为输出，对分级模型进行训练，从而使得分级模型能够区分微血管显影和钙化点显影，并弱化钙化点显影特征在特征融合和信息交互时的影响，有利于改善颈动脉斑块易损性分级方法的分级准确性。
请参见图9，基于同一发明构思，本申请实施例中还提供一种颈动脉斑块易损性分级装置300，该装置包括：
超声造影图像获取单元310，用于获取待分级斑块的超声造影图像；
分类特征图提取单元320，用于采用分级模型的特征提取子模型，提取所述超声造影图像的分类特征图；
分类单元330，用于采用所述分级模型的分类子模型，根据所述分类特征图获取所述待分级斑块的斑块易损性分级结果；
所述分类特征图提取单元320，具体用于：
根据所述特征提取子模型中特征融合子模块所学习的特征通道权重，提取所述超声造影图像的分类特征图；所述超声造影图像中钙化点显影特征的所述特征通道权重为低于第一预设权重阈值的权重值。
上述分类特征图提取单元320还用于：采用所述特征提取子模型中信息交互子模块所学习的信息交互权重，对所述超声造影图像中各通道特征进行通道信息交互，获取交互特征图；所述钙化点显影特征的所述信息交互权重为低于第二预设权重阈值的权重值。
作为上述颈动脉斑块易损性分级装置的一种可选实施方式，上述分类特征图提取单元320还用于：在所述采用所述特征提取子模型中信息交互子模块所学习的信息交互权重，对所述超声造影图像中各通道特征进行通道信息交互，获取交互特征图之前，采用所述特征提取子模型中第一特征提取子模块的若干个并列的卷积层分别提取若干个不同尺度的第一特征图；将若干个不同尺度的所述第一特征图按通道拼接，获取第一融合特征图。
作为上述颈动脉斑块易损性分级装置的一种可选实施方式，上述分类特征图提取单元320还用于：采用信息交互子模块中的全局平均池化层对所述第一融合特征图进行全局平均池化处理，获取第一全局描述特征图；采用所述信息交互子模块中的卷积层在所述第一全局描述特征图中提取信息交互权重。
作为上述颈动脉斑块易损性分级装置的一种可选实施方式，上述分类特征图提取单元320还用于：采用所述特征提取子模型中第二特征提取子模块的第一分支层和第二分支层分别提取第一分支特征图和第二分支特征图；融合所述第一分支特征图和所述第二分支特征图，获取第二融合特征图。
作为上述颈动脉斑块易损性分级装置的一种可选实施方式，上述分类特征图提取单元320还用于：采用特征融合子模块中的全局平均池化层对所述第二融合特征图进行全局平均池化处理，获取第二全局描述特征图；采用所述特征融合子模块中的多层感知机在所述第二全局描述特征图中提取特征通道权重。
作为上述颈动脉斑块易损性分级装置的一种可选实施方式，上述颈动脉斑块易损性分级装置300还包括：
模型训练模块，用于以标注有微血管显影和钙化点显影的训练集图像为输入，以所述训练集图像的分级标签为输出，以损失函数最小为训练目标，对所述分级模型进行训练，获得训练后的所述分级模型。
图10为本申请实施例提供的一种电子设备的示意图。参照图10，电子设备400包括：处理器410、存储器420以及通信接口430，这些组件通过通信总线440和/或其他形式的连接机构（未示出）互连并相互通讯。
其中，存储器420包括一个或多个（图中仅示出一个），其可以是，但不限于，随机存取存储器（RandomAccessMemory，简称RAM），只读存储器（Read Only Memory，简称ROM），可编程只读存储器（Programmable Read-Only Memory，简称PROM），可擦除可编程只读存储器（Erasable Programmable Read-Only Memory，简称EPROM），电可擦除可编程只读存储器（Electric Erasable Programmable Read-Only Memory，简称EEPROM）等。处理器410以及其他可能的组件可对存储器420进行访问，读和/或写其中的数据。
处理器410包括一个或多个（图中仅示出一个），其可以是一种集成电路芯片，具有信号的处理能力。上述的处理器410可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、微控制单元（Micro Controller Unit，简称MCU）、网络处理器(NetworkProcessor，简称NP)或者其他常规处理器；还可以是专用处理器，包括数字信号处理器(DigitalSignalProcessor,简称DSP)、专用集成电路(ApplicationSpecific Integrated Circuits，简称ASIC)、现场可编程门阵列(Field ProgrammableGate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
通信接口430包括一个或多个（图中仅示出一个），可以用于和其他设备进行直接或间接地通信，以便进行数据的交互。例如，通信接口430可以是以太网接口；可以是移动通信网络接口，例如3G、4G、5G网络的接口；还是可以是具有数据收发功能的其他类型的接口。
在存储器420中可以存储一个或多个计算机程序指令，处理器410可以读取并运行这些计算机程序指令，以实现本申请实施例提供的颈动脉斑块易损性分级方法以及其他期望的功能。
可以理解，图10所示的结构仅为示意，电子设备400还可以包括比图10中所示更多或者更少的组件，或者具有与图10所示不同的配置。图10中所示的各组件可以采用硬件、软件或其组合实现。例如，电子设备400可以是单台服务器（或其他具有运算处理能力的设备）、多台服务器的组合、大量服务器的集群等，并且，既可以是物理设备也可以是虚拟设备。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被计算机的处理器读取并运行时，执行本申请实施例提供的颈动脉斑块易损性分级方法。例如，计算机可读存储介质可以实现为图10中电子设备400中的存储器420。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.一种颈动脉斑块易损性分级方法，其特征在于，所述方法包括：
获取待分级斑块的超声造影图像；
采用分级模型的特征提取子模型，提取所述超声造影图像的分类特征图；
采用所述分级模型的分类子模型，根据所述分类特征图获取所述待分级斑块的斑块易损性分级结果；
所述采用分级模型的特征提取子模型，提取所述超声造影图像的分类特征图，包括：
根据所述特征提取子模型中特征融合子模块所学习的特征通道权重，提取所述超声造影图像的分类特征图；所述超声造影图像中钙化点显影特征的所述特征通道权重为低于第一预设权重阈值的权重值；
所述采用分级模型的特征提取子模型，提取所述超声造影图像的分类特征图，还包括：
采用所述特征提取子模型中信息交互子模块所学习的信息交互权重，对所述超声造影图像中各通道特征进行通道信息交互，获取交互特征图；所述钙化点显影特征的所述信息交互权重为低于第二预设权重阈值的权重值；
所述采用所述分级模型的分类子模型，根据所述分类特征图获取所述待分级斑块的斑块易损性分级结果，包括：
采用所述分级模型的分类子模型，在所述分类特征图中识别微血管显影和钙化点显影；
根据所述微血管显影和所述钙化点显影，获取所述待分级斑块的斑块易损性分级结果。
2.根据权利要求1所述的颈动脉斑块易损性分级方法，其特征在于，在所述采用所述特征提取子模型中信息交互子模块所学习的信息交互权重，对所述超声造影图像中各通道特征进行通道信息交互，获取交互特征图之前，所述方法还包括：
采用所述特征提取子模型中第一特征提取子模块的若干个并列的卷积层分别提取若干个不同尺度的第一特征图；
将若干个不同尺度的所述第一特征图按通道拼接，获取第一融合特征图。
3.根据权利要求2所述的颈动脉斑块易损性分级方法，其特征在于，所述采用所述特征提取子模型中信息交互子模块所学习的信息交互权重，对所述超声造影图像中各通道特征进行通道信息交互，获取交互特征图，包括：
采用信息交互子模块中的全局平均池化层对所述第一融合特征图进行全局平均池化处理，获取第一全局描述特征图；
采用所述信息交互子模块中的卷积层在所述第一全局描述特征图中提取信息交互权重。
4.根据权利要求1所述的颈动脉斑块易损性分级方法，其特征在于，在所述根据所述特征提取子模型中特征融合子模块所学习的特征通道权重，提取所述超声造影图像的分类特征图之前，所述方法还包括：
采用所述特征提取子模型中第二特征提取子模块的第一分支层和第二分支层分别提取第一分支特征图和第二分支特征图；
融合所述第一分支特征图和所述第二分支特征图，获取第二融合特征图。
5.根据权利要求4所述的颈动脉斑块易损性分级方法，其特征在于，所述根据所述特征提取子模型中特征融合子模块所学习的特征通道权重，提取所述超声造影图像的分类特征图，包括：
采用特征融合子模块中的全局平均池化层对所述第二融合特征图进行全局平均池化处理，获取第二全局描述特征图；
采用所述特征融合子模块中的多层感知机在所述第二全局描述特征图中提取特征通道权重。
6.根据权利要求1~5中任一项所述的颈动脉斑块易损性分级方法，其特征在于，所述方法还包括：
以标注有微血管显影和钙化点显影的训练集图像为输入，以所述训练集图像的分级标签为输出，以损失函数最小为训练目标，对所述分级模型进行训练，获得训练后的所述分级模型。
7.一种颈动脉斑块易损性分级装置，其特征在于，包括：
超声造影图像获取单元，用于获取待分级斑块的超声造影图像；
分类特征图提取单元，用于采用分级模型的特征提取子模型，提取所述超声造影图像的分类特征图；
分类单元，用于采用所述分级模型的分类子模型，根据所述分类特征图获取所述待分级斑块的斑块易损性分级结果；
所述分类特征图提取单元，具体用于：
根据所述特征提取子模型中特征融合子模块所学习的特征通道权重，提取所述超声造影图像的分类特征图；所述超声造影图像中钙化点显影特征的所述特征通道权重为低于第一预设权重阈值的权重值；
所述分类特征图提取单元，具体用于：
采用所述特征提取子模型中信息交互子模块所学习的信息交互权重，对所述超声造影图像中各通道特征进行通道信息交互，获取交互特征图；所述钙化点显影特征的所述信息交互权重为低于第二预设权重阈值的权重值；
所述分类单元，具体用于：
采用所述分级模型的分类子模型，在所述分类特征图中识别微血管显影和钙化点显影；
根据所述微血管显影和所述钙化点显影，获取所述待分级斑块的斑块易损性分级结果。
8.一种电子设备，其特征在于，包括：处理器、存储器和通信总线，其中，所述处理器和所述存储器通过所述通信总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1~6中任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机指令，所述计算机指令被计算机运行时，使所述计算机执行如权利要求1~6中任一项所述的方法。
CN202410004041.1A 2024-01-03 2024-01-03 颈动脉斑块易损性分级方法、装置、电子设备及存储介质 Active CN117496563B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410004041.1A CN117496563B (zh) 2024-01-03 2024-01-03 颈动脉斑块易损性分级方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410004041.1A CN117496563B (zh) 2024-01-03 2024-01-03 颈动脉斑块易损性分级方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN117496563A CN117496563A (zh) 2024-02-02
CN117496563B true CN117496563B (zh) 2024-03-19

Family

ID=89674774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410004041.1A Active CN117496563B (zh) 2024-01-03 2024-01-03 颈动脉斑块易损性分级方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN117496563B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114565577A (zh) * 2022-02-28 2022-05-31 山东大学 一种基于多模态影像组学的颈动脉易损性分级方法及系统
CN116912708A (zh) * 2023-07-20 2023-10-20 重庆邮电大学 一种基于深度学习的遥感影像建筑物提取方法
CN117252890A (zh) * 2023-10-09 2023-12-19 攀枝花市中西医结合医院 颈动脉斑块分割方法、装置、设备及介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI446897B (zh) * 2011-08-19 2014-08-01 Ind Tech Res Inst 超音波影像對齊裝置及其方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114565577A (zh) * 2022-02-28 2022-05-31 山东大学 一种基于多模态影像组学的颈动脉易损性分级方法及系统
CN116912708A (zh) * 2023-07-20 2023-10-20 重庆邮电大学 一种基于深度学习的遥感影像建筑物提取方法
CN117252890A (zh) * 2023-10-09 2023-12-19 攀枝花市中西医结合医院 颈动脉斑块分割方法、装置、设备及介质

Also Published As

Publication number Publication date
CN117496563A (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
US20220051405A1 (en) Image processing method and apparatus, server, medical image processing device and storage medium
CN110335259B (zh) 一种医学影像识别方法、装置和存储介质
CN110490239B (zh) 图像质控网络的训练方法、质量分类方法、装置及设备
CN108806792A (zh) 深度学习面诊系统
CN112102321A (zh) 一种基于深度卷积神经网络的病灶图像分割方法及系统
CN111667459B (zh) 一种基于3d可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质
CN112037171B (zh) 基于多模态特征融合的多任务mri脑瘤图像分割方法
US20210406687A1 (en) Method for predicting attribute of target object based on machine learning and related device
CN112308131B (zh) 样本拒识方法、装置、设备及存储介质
CN113610118B (zh) 一种基于多任务课程式学习的青光眼诊断方法、装置、设备及方法
CN114372564A (zh) 用于对象分级的模型训练方法、对象分级方法及装置
JP6345332B1 (ja) 分類装置、分類方法、プログラム、ならびに、情報記録媒体
CN114494263B (zh) 融合临床信息的医学影像病变检测方法、系统及设备
CN111899259A (zh) 一种基于卷积神经网络的前列腺癌组织微阵列分级方法
CN115187566A (zh) 基于mra影像的颅内动脉瘤检测方法及装置
CN111863247A (zh) 基于结构磁共振影像的大脑年龄级联精炼预测方法及系统
CN111340794A (zh) 冠状动脉狭窄的量化方法及装置
Fu et al. Automatic grading of Diabetic macular edema based on end-to-end network
CN117496563B (zh) 颈动脉斑块易损性分级方法、装置、电子设备及存储介质
CN113256622A (zh) 基于三维图像的目标检测方法、装置及电子设备
CN116704591A (zh) 眼轴预测模型的训练方法、眼轴预测方法和装置
CN115547502B (zh) 基于时序数据的血透病人风险预测装置
Xian et al. Automatic tongue image quality assessment using a multi-task deep learning model
CN114649092A (zh) 基于半监督学习和多尺度特征融合的辅助诊断方法及装置
CN114049544A (zh) 基于特征比对的人脸质量评估方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant