CN110766651A - 颈动脉斑块的性质判别方法、训练方法及超声设备 - Google Patents

颈动脉斑块的性质判别方法、训练方法及超声设备 Download PDF

Info

Publication number
CN110766651A
CN110766651A CN201910837153.4A CN201910837153A CN110766651A CN 110766651 A CN110766651 A CN 110766651A CN 201910837153 A CN201910837153 A CN 201910837153A CN 110766651 A CN110766651 A CN 110766651A
Authority
CN
China
Prior art keywords
property
video
matrix
carotid plaque
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910837153.4A
Other languages
English (en)
Other versions
CN110766651B (zh
Inventor
李璐
赵明昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Chison Medical Technologies Co Ltd
Original Assignee
Wuxi Chison Medical Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Chison Medical Technologies Co Ltd filed Critical Wuxi Chison Medical Technologies Co Ltd
Priority to CN201910837153.4A priority Critical patent/CN110766651B/zh
Publication of CN110766651A publication Critical patent/CN110766651A/zh
Application granted granted Critical
Publication of CN110766651B publication Critical patent/CN110766651B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，具体涉及颈动脉斑块的性质判别方法、训练方法及超声设备。其中，颈动脉斑块的性质判别方法包括获取超声造影视频中颈动脉斑块的特征值；其中，所述颈动脉斑块的特征值包括颈动脉斑块的光流特征值；根据所述颈动脉斑块的特征值，利用性质判别模型预测所述颈动脉斑块的性质及其对应的概率；基于预测出的性质及其对应的概率，确定被检体的所述颈动脉斑块的性质。通过颈动脉斑块的特征值，并基于特征值对颈动脉斑块的性质进行预测，即，通过超声设备就可完成对颈动脉斑块的性质的预测，且该预测是依赖于颈动脉斑块的特征值，因此，该颈动脉斑块的性质判别方法可以在保证判别准确的基础上，提高判别的效率。

Description

颈动脉斑块的性质判别方法、训练方法及超声设备
技术领域
本发明涉及图像处理技术领域，具体涉及颈动脉斑块的性质判别方法、训练方法及超声设备。
背景技术
对于超声造影视频中斑块的判别而言，一般是人工依次查看各个视频，通过经验确定斑块的性质。超声造影是一种通过观察实质性脏器内血流灌注情况来判断组织器官占位性病变的性质及血流动力学特点的诊断方法。由于是纯血池造影剂，造影剂微泡的直径相当于红细胞大小，不会外溢至血管壁外，因此能够显示斑块内微血流情况，对斑块内新生血管情况进行评价，能进一步判断斑块的性质。
然而，临床中对不同性质颈动脉斑块的判别主要是医生经验判断，这受到诊疗经验、思维方式等影响。不同医生对同一性质颈动脉斑块的判断可能会有差异。不同性质的颈动脉斑块组织产生的超声造影图像可能具有相似性，不易区分。因此，现有通过人工方式对颈动脉斑块的判别的方法导致颈动脉斑块的判别的效率较低。
发明内容
有鉴于此，本发明实施例提供了一种颈动脉斑块的性质判别方法、训练方法及超声设备，以解决现有颈动脉斑块的性质判别方法的效率较低的问题。
根据第一方面，本发明实施例提供了一种颈动脉斑块的性质判别方法，该方法包括：
获取超声造影视频中颈动脉斑块的特征值；其中，所述颈动脉斑块的特征值包括所述颈动脉斑块光流特征值；
根据所述颈动脉斑块的特征值，预测所述颈动脉斑块的性质及其对应的概率；
基于预测出的性质及其对应的概率，确定被检体的所述颈动脉斑块的性质。
本发明实施例提供的颈动脉斑块的性质判别方法，通过提取颈动脉斑块的特征值，并基于特征值对颈动脉斑块的性质进行预测，即，通过超声设备就可完成对颈动脉斑块的性质的预测，且该预测是依赖于颈动脉斑块的特征值，因此，该颈动脉斑块的性质判别方法可以在保证判别准确的基础上，提高判别的效率。
结合第一方面，在第一方面第一实施方式中，所述获取颈动脉斑块的特征值，包括：
获取超声造影视频及其对应的光流视频；
划分所述超声造影视频以及所述光流视频，以得到预设数量的视频对；
提取每组视频中所述颈动脉斑块的特征，得到所述每组视频对中颈动脉斑块的特征值，以形成特征值矩阵。
本发明实施例提供的颈动脉斑块的性质判别方法，由于光流视频中每帧表示的是超声造影视频中对象的运动信息，超声造影视频中每帧表示的是对象的纹理等静态信息，将静态信息与动态信息结合，可以提高判别的准确性；此外，由于超声造影视频中相邻两帧之间相似度可能较高，而且超声造影视频的长度可能比较长，导致计算量较大，因此通过对超声造影视频以及对应的光流视频进行采样，减少视频中图像的帧数，同时视频中的信息损失较小，可以提高处理效率。
结合第一方面第一实施方式，在第一方面第二实施方式中，所述根据所述颈动脉斑块的特征值，利用性质判别模型预测所述颈动脉斑块的性质及其对应的概率，包括：
对所述特征值矩阵进行全连接处理，确定对应于所述每组视频对的注意力，以得到注意力矩阵；其中，所述注意力的大小用于表示关注程度的大小；
基于所述特征值矩阵以及所述注意力矩阵，预测所述颈动脉斑块的性质及其对应的概率。
本发明实施例提供的颈动脉斑块的性质判别方法，利用每组视频对的特征值得到注意力矩阵，通过注意力的大小表示关注程度的大小，再基于注意力矩阵以及特征值矩阵结合，对相应特征的特征值进行增强或减弱，以提高判别的准确性。
结合第一方面第二实施方式，在第一方面第三实施方式中，所述基于所述特征值矩阵以及所述注意力矩阵，预测所述颈动脉斑块的性质及其对应的概率，包括：
对所述特征值矩阵进行全连接以及归一化处理，得到第一性质矩阵；其中，第一性质矩阵中的元素用于表示所述每组视频对对应于各个预测性质的概率；
计算所述第一性质矩阵与所述注意力矩阵的乘积，以得到第二性质矩阵；
基于所述第二性质矩阵，计算每个所述预测性质的概率之和，以得到所述颈动脉斑块的预测性质及其对应的概率。
本发明实施例提供的颈动脉斑块的性质判别方法，将注意力矩阵作用于视频对的预测性质上，以使得注意力大的视频对的预测性质概率增强，注意力小的视频对的预测性质概率减弱，提高判别的准确性。
结合第一方面第三实施方式，在第一方面第四实施方式中，所述基于预测出的性质及其对应的概率，确定被检体的所述颈动脉斑块的性质的步骤之后，还包括：
基于所述第一性质矩阵，判断每组视频对对应于所述确定出的性质的概率是否大于第一阈值；
当所述视频对对应于所述确定出的性质的概率大于第一阈值时，确定所述超声造影视频中对应于所述视频对的位置为关键帧的位置，以标注出所述关键帧。
本发明实施例提供的颈动脉斑块的性质判别方法，在确定出颈动脉斑块的性质之后，再确定出关键帧的位置；即，将超声造影视频中的关键帧反馈给用户，以便于用户利用关键帧的位置对颈动脉斑块的性质进行再次确定。
结合第一方面第二实施方式，在第一方面第五实施方式中，所述对所述每组视频对的特征值进行全连接处理，确定对应于每组视频对的注意力，包括：
对所述特征值矩阵进行第一全连接处理，得到第一特征矩阵；
基于所述第一特征矩阵进行第二全连接处理，得到第二特征矩阵；
对所述第二特征矩阵进行归一化处理，得到对应于每组视频对的注意力。
结合第一方面第五实施方式，在第一方面第六实施方式中，所述基于所述特征值矩阵以及所述注意力矩阵，预测所述颈动脉斑块的性质及其对应的概率，包括：
计算所述特征值矩阵与所述注意力矩阵的乘积，以得到第三特征矩阵；其中，所述第三特征矩阵中的元素用于表示每组视频对的特征值；
基于所述第三特征矩阵，计算所述颈动脉斑块各个特征的特征值之和，以得到第四特征矩阵；
对所述第四特征矩阵进行全连接处理，以得到第三性质矩阵；其中，所述第三性质矩阵中的元素用于表示所述颈动脉斑块各个特征对应于各个预测性质的概率；
对所述第三性质矩阵进行归一化处理，以得到所述颈动脉斑块的预测性质及其对应的概率。
本发明实施例提供的颈动脉斑块的性质判别方法，将注意力矩阵作用于视频对的特征值上，以使得注意力大的视频对的特征值增大，注意力小的视频对的特征值减小，提高判别的准确性。
结合第一方面第一实施方式，在第一方面第七实施方式中，所述根据所述颈动脉斑块的特征值，利用性质判别模型预测所述颈动脉斑块的性质及其对应的概率，包括：
对所述特征值矩阵进行至少一次全连接处理，以得到第五性质矩阵；其中，第五性质矩阵中的元素用于表示每组视频对对应于各个预测性质的概率；
基于所述第五性质矩阵，确定所述颈动脉斑块的预测性质及其对应的概率。
结合第一方面第七实施方式，在第一方面第八实施方式中，所述基于所述第五性质矩阵，确定所述颈动脉斑块的预测性质及其对应的概率，包括：
对于每个所述预测性质，提取概率最大的前N个概率值；
分别计算提取出的概率值的平均值，以得到所述颈动脉斑块的预测性质及其对应的概率。
结合第一方面第六实施方式，或第七实施方式，在第一方面第九实施方式中，所述基于预测出的性质及其对应的概率，确定被检体的所述颈动脉斑块的性质的步骤之后，还包括：
提取所述第五性质矩阵，或计算特征值矩阵与对第四特征矩阵进行全连接处理的全连接层参数的乘积，以得到每组视频对对应于各个预测性质的概率；
对于每组视频对，提取与确定出的性质对应概率；
基于所述预设数量，对提取出的概率进行上采样，以得到每组视频对中每个视频图像帧对应的概率；
判断所述视频图像帧对应的概率是否大于第二阈值；
当所述视频图像帧对应的概率是否大于第二阈值时，确定所述视频图像帧为关键帧，以标注出所述关键帧。
本发明实施例提供的颈动脉斑块的性质判别方法，对提取出的概率进行上采样，确定出每组视频对中每个视频图像帧对应的概率，确定出关键帧的位置，便于后续用户基于标注出的关键帧进行性质的确认。
结合第一方面，在第一方面第十实施方式中，所述获取颈动脉斑块的特征值，包括：
获取超声造影视频及其对应的光流视频；
将所述超声造影视频及其对应的光流视频输入训练好的特征提取模型中，以得到所述颈动脉斑块的特征值；其中，所述特征提取模型是基于卷积神经网络模型构建的。
本发明实施例提供的颈动脉斑块的性质判别方法，通过将利用训练好的特征提取模型对超声造影视频及其对应的光流视频进行特征提取(即，采用迁移学习方法进行特征提取)，能够避免人工标注的工作量，提高判别的效率。
根据第二方面，本发明实施例还提供了一种训练颈动脉斑块的性质判别模型的方法，包括：
获取若干个样本超声造影视频中颈动脉斑块的特征值，以及每个样本超声造影视频中颈动脉斑块的目标性质；其中，所述颈动脉斑块的特征值包括所述颈动脉斑块的光流特征值；
将所述颈动脉斑块的特征值输入性质判别模型中，以得到对应于所述中颈动脉斑块的预测性质及其对应的概率；
基于所述目标性质以及对应的预测性质，对所述性质判别模型中的参数进行更新；其中，更新后的性质判别模型用于根据超声造影视频中颈动脉斑块的特征值预测所述颈动脉斑块的性质及其对应的概率。
本发明实施例提供的训练颈动脉斑块的性质判别模型的方法，在得到样本超声造影视频的预测性质时，是通过提取颈动脉斑块的特征值，并基于特征值对颈动脉斑块的性质进行预测，即，通过超声设备就可完成对颈动脉斑块的性质的预测，且该预测是依赖于颈动脉斑块的特征值，可以在保证判别准确的基础上，提高判别的效率，从而提高训练的效率。
结合第二方面，在第二方面第一实施方式中，所述基于所述目标性质以及对应的预测性质，对所述性质判别模型中的参数进行更新，包括：
利用所述目标性质以及对应的预测性质，计算损失函数的值；
基于所述损失函数的值，利用反向传播算法对所述性质判别模型中的参数进行更新。
根据第三方面，本发明实施例还提供了一种超声设备，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行本发明第一方面，或第一方面任一项实施方式中所述的颈动脉斑块的性质判别方法，或本发明第二方面，或第二方面任一项实施方式中所述的训练颈动脉斑块的性质判别模型的方法。
根据第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行本发明第一方面，或第一方面任一项实施方式中所述的颈动脉斑块的性质判别方法，或本发明第二方面，或第二方面任一项实施方式中所述的训练颈动脉斑块的性质判别模型的方法。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种颈动脉斑块的性质判别方法的流程图；
图2是根据本发明实施例的又一种颈动脉斑块的性质判别方法的流程图；
图3是根据本发明实施例的注意力矩阵的确定方法的流程图；
图4a是根据本发明实施例的一种预测颈动脉斑块的性质及其对应的概率的方法流程图；
图4b是根据本发明实施例的又一种预测颈动脉斑块的性质及其对应的概率的方法流程图；
图5a是根据本发明实施例的一种确定关键帧的位置的方法流程图；
图5b是根据本发明实施例的又一种确定关键帧的位置的方法流程图；
图6a是根据本发明实施例的一种分类及定位模型的结构示意图；
图6b是根据本发明实施例的又一种分类及定位模型的结构示意图；
图6c是根据本发明实施例的又一种分类及定位模型的结构示意图；
图7是根据本发明实施例的又一种颈动脉斑块的性质判别方法的流程图；
图8是根据本发明实施例的一种训练颈动脉斑块的性质判别模型的方法流程图；
图9是根据本发明实施例的又一种训练颈动脉斑块的性质判别模型的方法流程图；
图10是根据本发明实施例的又一种颈动脉斑块的性质判别方法的流程图；
图11是根据本发明实施例的颈动脉斑块性质的判别装置的结构框图；
图12是根据本发明实施例的训练颈动脉斑块性质的判别模型的装置的结构框图；
图13是本发明实施例提供的超声设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例中所述的颈动脉斑块的性质判别方法是基于超声造影视频中颈动脉斑块的特征值，对颈动脉斑块的性质进行预测，并基于预测性质确定被检体的颈动脉斑块的性质。
根据本发明实施例，提供了一种颈动脉斑块的性质判别方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种颈动脉斑块的性质判别方法，可用于超声设备中，图1是根据本发明实施例的颈动脉斑块的性质判别方法的流程图，如图1所示，该流程包括如下步骤：
S11，获取超声造影视频中颈动脉斑块的特征值。
其中，所述颈动脉斑块的特征值包括颈动脉斑块的光流特征值。
所述的光流特征值为光流特征的特征值，对于颈动脉斑块的光流特征而言，可以是将超声造影视频转化为单通道的灰度视频，采用光流算法计算超声造影视频中每帧图像上所有像素点的光流，例如可以采用Gunner Farneback方法，或者TV-L1方法，计算得到视频中每帧图像对应的光流图像，以形成光流视频。再对光流视频进行颈动脉斑块的特征提取，从而就可以得到颈动脉斑块的光流特征。其中，光流视频表示超声造影视频图像中像素点的移动信息，包含水平方向和竖直方向。
超声设备可以从外界直接获取到颈动脉斑块的特征值，即特征值的计算是在外界计算得到，并导入到超声设备中的；也可以是，超声设备中预先训练有特征提取模型，将超声造影视频及其对应的光流视频输入至该特征提取模型中，即可得到各个特征的特征值。
所述的颈动脉斑块中各个特征可以是根据实际情况进行提取，例如，可以提取颈动脉斑块的形状、颜色、大小或其他特征。对于颈动脉斑块的具体特征在此并不做任何限制，可以根据实际情况进行具体设置。
在此对超声设备是如何获取到颈动脉斑块的特征值并不做任何限定，只需保证其能够获取到即可。在下文中将对该步骤进行详细描述。
S12，根据颈动脉斑块的特征值，利用性质判别模型预测颈动脉斑块的性质及其对应的概率。
超声设备在S11中得到颈动脉斑块的特征值以后，可以采用性质判别模型预测颈动脉斑块的性质及其对应的概率。例如，所述的性质判别模型可以是全连接层所形成的模型，也可以采用其他类型的判别模型等等。
在此对性质判别模型的类型或结构并不做任何限定，只需保证超声设备是根据颈动脉斑块的特征值进行预测性质的。即，该性质判别模型的输入为颈动脉斑块的特征值，输出为颈动脉斑块的预测性质及其对应的概率。其中，在下文中将对该步骤进行详细描述，下文中关于该步骤的描述也是对应于该性质判别模型的结构描述。例如，下文所述的全连接处理，即对应于判别模型中的全连接层；归一化处理，即对应于判别模型中的归一化层等等。即，通过数据流的处理过程表示出性质判别模型的结构。
S13，基于预测出的性质及其对应的概率，确定被检体的颈动脉斑块的性质。
超声设备在预测出颈动脉斑块的性质及其对应的概率之后，可以将最大概率值对应的预测性质作为被检体的颈动脉斑块的性质；也可以对各个预测性质对应的概率值进行均值计算，以得到各个预测性质概率均值，并将最大概率均值对应的预测性质作为被检体的颈动脉斑块的性质；也可以是超声设备得到的就是颈动脉斑块的各个预测性质及其对应的概率等等。
本实施例提供的颈动脉斑块的性质判别方法，通过提取颈动脉斑块的特征值，并基于特征值对颈动脉斑块的性质进行预测，即，通过超声设备就可完成对被检体的颈动脉斑块的性质的预测，且该预测是依赖于颈动脉斑块的特征值，因此，该颈动脉斑块的性质判别方法可以在保证判别准确的基础上，提高判别的效率。
在本实施例中提供了一种颈动脉斑块的性质判别方法，可用于上述的超声设备，图2是根据本发明实施例的颈动脉斑块的性质判别方法的流程图，如图2所示，该流程包括如下步骤：
S21，获取超声造影视频中颈动脉斑块的特征值。
其中，所述颈动脉斑块的特征值包括光流特征值。
由于超声造影视频的长度较长，导致计算量较大，因此在进行超声造影视频中颈动脉斑块的特征提取之前，超声设备需要对超声造影视频及其对应的光流视频进行采样，减少视频中图像的帧数后划分。具体地，可以包括以下步骤：
S211，获取超声造影视频及其对应的光流视频。
关于光流视频的描述请参见图1所示实施例的S11，在此不再赘述。
可选地，在超声设备执行S212之前，超声设备对获取到的超声造影视频进行性质预测之前的预处理；当然下文所述的预处理过程也可以是在S211之前已经处理完成的，即S211中获取到的视频(超声造影视频及其对应的光流视频)已经是预处理之后的视频。
对于预处理而言，将获取到的彩色三通道的超声造影视频宽度和高度统一限定为224像素和224像素，可以选择是否保持原视频的高宽比例，其中，现在超声造影视频中每帧造影图像的尺寸为224*224*3。将同一尺寸的超声造影视频中像素点x的取值归一化，归一化后像素点的取值即为x_new，x_new＝(x/225)*2-1，即像素点的取值范围限制为[0，1]。
将224*224*3的超声造影视频转化为单通道的灰度造影视频，即224*224*1的视频；基于灰度造影视频，计算超声造影视频对应的光流视频，选择经典的光流算法计算视频中每帧图像上所有像素点的光流，如Gunnar Farneback方法或者TV-L1方法，计算得到的光流视频中每帧光流图像的尺寸为224*224*2；光流视频表示造影图像中像素点的移动信息，包含水平方向和竖直方向；将光流视频中像素点的取值归一化，归一化后的像素点记为y_new，y_new＝y/255-0.5，即将像素点的取值范围限制为[-0.5，0.5]。
S212，划分超声造影视频以及光流视频，以得到预设数量的视频对。
超声设备将超声造影视频以及光流视频划分成相同的若干段，记为K段。即，将超声造影视频以及光流视频划分为K段。例如，可以按照经验，每段取16帧，K就是总帧数除以16再取整的结果。
其中，可选地，由于超声造影视频相邻两帧之间相似度可能较高，因此在划分之前，可以选择在整段超声造影视频中按固定间隔抽取帧，即采样，再进行光流视频的转化，以及划分。
S213，提取每组视频对中颈动脉斑块的特征，得到每组视频对中颈动脉斑块的特征值，以形成特征值矩阵。
超声设备依次对划分得到的每组视频对中颈动脉斑块进行特征提取，即可得到每组视频对中颈动脉斑块的特征值；所谓的视频对可以理解为超声造影视频中的一段视频以及对应的光流视频中的一段视频。
其中，例如需要提取的特征数量总共有F个，那么可以认为从超声造影视频中提取颈动脉斑块的F/2个特征，从光流视频中提取颈动脉斑块的F/2个特征，从而得到特征值矩阵，那么特征值矩阵可以采用K*F矩阵表示。具体特征值矩阵如表1所示：
表1特征值矩阵
Figure BDA0002192540670000111
如表1所示，表1中的每一行表示每组视频对，每一列表示每个特征；表1中的元素Zij表示第i组视频对中颈动脉斑块对应于第j个特征的特征值。其中，特征1至F/2为超声造影视频中颈动脉斑块的特征，特征F/2+1至F为光流视频中颈动脉斑块的特征。当然，对于特征1至F的划分并不限于此，也可以是超声造影视频中颈动脉斑块的特征数量大于光流视频中颈动脉斑块的特征数量，或者超声造影视频中颈动脉斑块的特征数量小于光流视频中数量的特征数量。
关于特征的提取，可以通过训练得到特征提取模型，也可以直接采用现有的特征提取模型进行。在本实施例中采用现有的特征提取模型进行特征提取的，这是由于获取到的超声造影视频有限，人工标注工作量大、专业性强，耗时耗力，而已经存在在数十万个自然图像视频上训练好的分类卷积神经网络模型，所以考虑迁移学习方法；迁移学习方法即利用训练好的分类模型提取用于预测性质的颈动脉斑块的特征，该特征能较好地将不同性质的颈动脉斑块区分开来。将超声造影视频和光流视频分出的K段视频配对输入预训练好的经典的卷积神经网络，如膨胀3D卷积网络、双流网络、时间段网络等；提取到K*F的特征，其中前F/2列特征为超声造影视频中颈动脉斑块的特征，后F/2列为光流视频中颈动脉斑块的特征。
S22，根据颈动脉斑块的特征值，利用性质判别模型预测颈动脉斑块的性质及其对应的概率。
超声设备在得到K*F的特征值矩阵之后，利用该特征值矩阵计算出注意力矩阵，用于表示关注程度的大小。再将注意力矩阵与特征值矩阵结合，从而预测出颈动脉斑块的性质及其对应的概率。具体地，S22包括以下步骤：
S221，对特征值矩阵进行全连接处理，确定对应于每组视频对的注意力，以得到注意力矩阵。
其中，所述注意力的大小用于表示关注程度的大小。
超声设备可以采用两种方式得到注意力矩阵，所得到的注意力矩阵为K*1的矩阵，可以参见表2所示：
表2注意力矩阵
视频对 注意力
1 A<sub>1</sub>
2 A<sub>2</sub>
… …
K A<sub>K</sub>
表2示出了每组视频对对应的注意力的大小，该注意力矩阵中的元素Ak表示第K组视频对对应的注意力的大小。
其中，超声设备可以采用如下方式得到注意力矩阵：
(1)进行一次全连接处理
超声设备基于K*F的特征值矩阵，得到K*1的注意力矩阵；即，设置全连接层(该全连接层为F*1的矩阵)，利用该全连接层对K*F的特征值矩阵进行全连接处理，从而可以得到K*1的注意力矩阵。该注意力矩阵可以参见表2所示：
(2)进行两次全连接处理
具体地，如图3所示，上述S221可以采用如下步骤实现：
S2211，对特征值矩阵进行第一全连接处理，得到第一特征矩阵。
超声设备对特征值矩阵进行第一全连接处理(其中，全连接层采用F*F的矩阵表示)，得到K*F的第一特征矩阵。
S2212，基于第一特征矩阵进行第二全连接处理，得到第二特征矩阵。
超声设备可以直接对第一特征矩阵进行第二全连接处理(其中，该全连接层采用F*1的矩阵表示)，得到K*1的第二特征矩阵。
也可以先对第一特征矩阵进行激活处理，即在全连接层后面连接有激活层，然后再进行第二全连接处理。
S2213，对第二特征矩阵进行归一化处理，得到对应于每组视频对的注意力。
超声设备在得到第二特征矩阵之后，对第二特征矩阵进行归一化处理之后，即可得到K*1的注意力矩阵。
S222，基于特征值矩阵以及注意力矩阵，预测颈动脉斑块的性质及其对应的概率。
超声设备在S221中确定出注意力矩阵之后，可以将K*1的注意力矩阵作用于K*F的特征值矩阵上，也可以将K*1的注意力矩阵作用于由特征值矩阵得到的第一性质矩阵上，从而得到颈动脉斑块的预测性质及其对应的概率。具体地，包括分为以下两种情况分别进行描述：
(1)将注意力作用于由特征值矩阵得到的第一性质矩阵上
如图4a，上述S222可以采用如下步骤实现：
S1.1，对特征值矩阵进行全连接以及归一化处理，得到第一性质矩阵。
其中，第一性质矩阵中的元素用于表示每组视频对中颈动脉斑块对应于各个预测性质的概率。
超声设备采用F*C的全连接层，对K*F的特征值矩阵进行全连接处理，其中，C表示颈动脉斑块所有可能的性质(例如，易损、稳定等等)。在全连接层之后连接有归一化层用于对全连接层的输出结果进行归一化处理，以得到第一性质矩阵。
其中，第一性质矩阵可以如表3所示：
表3第一性质矩阵
Figure BDA0002192540670000141
表3示出了每组视频对中颈动脉斑块对应于各个可能的性质的概率值，例如L21表示第2组视频对对应于性质1的概率。
S1.2，计算第一性质矩阵与注意力矩阵的乘积，以得到第二性质矩阵。
将K*1的注意力矩阵作用于K*C的第一性质矩阵上，即计算K*1的注意力矩阵与K*C的第一性质矩阵的乘积，从而可以得到K*C的第二性质矩阵。
S1.3，基于第二性质矩阵，计算每个预测性质的概率之和，以得到超声造影视频的预测性质及其对应的概率。
请参见表3，第二性质矩阵与第一性质矩阵的形式相同，不同的是矩阵中各个元素的具体数值。将注意力矩阵作用于视频对的预测性质上，以使得注意力大的视频对的预测性质概率增强，注意力小的视频对的预测性质概率减弱，提高判别的准确性。
超声设备在得到第二性质矩阵之后，计算每个预测性质的概率之和。例如请参见表3，可以计算第二性质矩阵中每一列的和，即计算所有视频对在各个预测性质中的概率之和，从而得到整个待处理超声造影视频中颈动脉斑块在各个预测性质下的概率，可以采用C*1的矩阵表示。具体地，可以如表4所示：
表4预测性质及其对应的概率
Figure BDA0002192540670000142
表4示出了整个超声造影视频中颈动脉斑块在各个预测性质下的概率值，例如lC表示整个超声造影视频中颈动脉斑块在预测性质C下的概率值。
(2)将注意力作用于特征值矩阵上
如图4b所示，上述S222可以采用如下步骤实现：
S2.1，计算特征值矩阵与注意力矩阵的乘积，以得到第三特征矩阵。
其中，所述第三特征矩阵中的元素用于表示每组视频对的特征值。
将注意力矩阵作用于特征值矩阵上，即超声设备计算K*F的特征值矩阵与K*1的注意力矩阵的乘积，得到K*F的第三特征矩阵。其中，第三特征矩阵中的元素为注意力作用后的每组视频对各个特征的特征值。其中，可以参见表1，第三特征矩阵的大小与表1所示的特征值矩阵相同，不同的是矩阵中每个元素的值。
S2.2，基于第三特征矩阵，计算颈动脉斑块各个特征的特征值之和，以得到第四特征矩阵。
对于每个特征计算所有视频对中的颈动脉斑块在该特征下的特征值之和，请参见表1，可以计算第三特征矩阵中每列之和，从而得到F*1的第四特征矩阵。其中，第四特征矩阵如表5所示：
表5第四特征矩阵
特征 特征值
1 z<sub>1</sub>
2 z<sub>2</sub>
… …
F z<sub>F</sub>
表5示出了每个特征对应的特征值的大小，该第四特征矩阵中的元素zF表示第F个特征对应的特征值。
S2.3，对第四特征矩阵进行全连接处理，以得到第三性质矩阵。
其中，所述第三性质矩阵中的元素用于表示颈动脉斑块各个预测性质的概率。
超声设备采用F*C的全连接层对F*1的第四特征矩阵进行全连接处理，从而可以得到第三性质矩阵。其中，关于第三性质矩阵可以参见表3。
S2.4，对第三性质矩阵进行归一化处理，以得到颈动脉斑块的预测性质及其对应的概率。
超声设备对第三性质矩阵中的元素进行归一化处理，可以得到整个超声造影视频中的颈动脉斑块对应于各个预测性质的概率。
S23，基于预测出的性质及其对应的概率，确定被检体的颈动脉斑块的性质。
超声设备在得到整个超声造影视频中的颈动脉斑块对应于各个预测性质的概率之后，可以将概率值最大的预测性质作为被检体的颈动脉斑块的性质；也可以采用其他方式确定被检体的颈动脉斑块的性质。
本实施例提供的颈动脉斑块的性质判别方法，将注意力矩阵作用于视频对的特征值上，以使得注意力大的视频对的特征值增大，注意力小的视频对的特征值减小，提高判别的准确性；或者，将注意力矩阵作用于视频对的预测性质上，以使得注意力大的视频对的预测性质概率增强，注意力小的视频对的预测性质概率减弱，提高判别的准确性。
作为本实施例的一种可选实施方式，在S23之后还可以包括：确定关键帧的位置的步骤。
具体地，超声设备在确定出颈动脉斑块的性质为c_pred，可以再进行超声造影视频中关键帧的位置的确定。在确定出关键帧的位置之后，可以标注出关键帧，以便于用户基于标注出的关键帧对该超声造影视频中颈动脉斑块的性质进行再次确认。具体地，可以采用如下两种方式进行关键帧位置的确定，当然关键帧位置的确定并不限于此，此次仅仅是说明以下两种方式可以确定出关键帧的位置。
(1)上述确定关键帧的位置的步骤包括：
Sa.1，基于第一性质矩阵，判断每组视频对对应于确定出的性质的概率是否大于第一阈值。
请参见表3，第一性质矩阵用于表示每组视频对中的颈动脉斑块对应于各个预测性质的概率。超声设备可以从第一性质矩阵中提取出预测性质为确定出的性质的概率，并判断该概率是否大于第一阈值。
当视频对对应于确定出的性质的概率是否大于第一阈值时，执行Sa.2；否则，继续提取第一性质矩阵中的下一个视频对，执行Sa.1。
Sa.2，确定超声造影视频中对应于所述视频对的位置为关键帧的位置，以标注出关键帧。
(2)如图5a所示，上述确定关键帧的位置的步骤包括：
Sb.1，从注意力矩阵中筛选出注意力大于第三阈值的视频对。
请参见表2，注意力矩阵用于表示每组视频对对应的注意力的大小，超声设备对每组视频对对应的注意力大小进行判断，以第三阈值为基准值，从注意力矩阵中筛选出注意力大于第三阈值的视频对。例如，所有视频对中注意力大于第三阈值的视频对总共有a组(a<K)，从注意力矩阵中筛选出a组视频对。
Sb.2，基于筛选出的视频对以及确定出的性质，从第一性质矩阵中提取出相应的视频对及其对应于确定出的性质的概率。
超声设备利用a组视频对，以及确定出颈动脉斑块的性质为c_pred，从第一性质矩阵中相应数据的提取。具体地，请参见表3，首先可以从第一性质矩阵中筛选出性质为c_pred的列，在此基础上，再筛选出a组视频对，从而可以得到注意力大于第三阈值，且预测性质为确定出的性质的视频对及其对应的概率。
Sb.3，判断提取出的视频对对应于确定出的性质的概率是否大于第四阈值。
超声设备再以第四阈值为基准，对Sb.2中提取出的视频对对应于确定出的性质的概率进行判断。当提取出的视频对对应于确定出的性质的概率大于第四阈值时，执行Sb.4；否则，继续进行下一个视频对的判断。
Sb.4，确定超声造影视频中对应于提取出的视频对的位置为关键帧的位置，以标注出关键帧。
当提取出的视频对对应于确定出的性质的概率大于第四阈值时，确定出该视频对中的视频在超声造影视频中的位置即为关键帧的位置。后续可以在超声造影视频中定位到该位置，并标注出来，以便于后续进行人工确认。
(2)如图5b所示，上述确定关键帧的位置的步骤包括：
Sc.1，计算特征值矩阵与对第四特征矩阵进行全连接处理的全连接层参数的乘积，以得到每组视频对中颈动脉斑块对应于各个预测性质的概率。
请参见S2.3，对第四特征矩阵进行全连接处理的全连接层参数为F*C的矩阵，超声设备计算该F*C的矩阵与特征值矩阵(可以表示为K*F的矩阵)的乘积，从而可以得到每组视频对对应于各个预测性质的概率(可以表示为K*C)。
Sc.2，对于每组视频对，提取与确定出的性质对应概率。
在得到每组视频对对应于各个预测性质的概率之后，从中提取与确定出的性质c_pred对应的概率，即得到K*1的矩阵，即每组视频对中预测性质为c_pred的概率。
Sc.3，基于预设数量，对提取出的概率进行上采样，以得到每组视频对中每个视频图像帧对应的概率。
超声设备按照划分超声造影视频的数量(例如，以16帧作为一组)，那么所述的上采样是基于16帧进行的。对c.2中得到的K*1的矩阵中各个概率进行上采样，以得到每组视频对中每个视频图像帧对应的概率。
Sc.4，判断视频图像帧对应的概率是否大于第二阈值。
当视频图像帧对应的概率大于第二阈值时，执行Sc.5；否则，继续执行Sc.4。
Sc.5，确定视频图像帧为关键帧，以标注出所述关键帧。
将K*1的概率上采样到(16*k)*1，表示完整的超声造影视频中每帧图像属于确定出的性质的概率，选择概率大于一定阈值的图像帧对应的时间点位置，将连续图像帧的起始时间和结束时间作为定位的结果，该结果可能包含多段图像帧。
作为颈动脉斑块的性质判别方法的一个具体应用实例，如图6a所示，图6a示出了对超声造影视频进行分类及定位的模型结构。
先对迁移学习得到的视频的特征进行全连接和归一化操作，全连接层的参数个数为F*C个；归一化操作指将全连接操作得到的K*C的特征的每行的数值进行归一化，使其和为1，即每个视频段属于不同视频性质的概率之和为1；软选择指进行全连接操作(全连接的参数为F*1)，基于K*F的特征得到K*1的注意力，注意力指神经网络对不同的K个视频段的关注程度；注意力数值越大，表示视频段的重要性越大；接着将注意力作用于前面归一化层的K*C的特征，即将注意力大的视频段的特征增强，注意力小的视频段的特征减弱，得到的结果的尺寸仍然是K*C；再将以上结果每列求和，得到1*C的结果，这就是完整视频属于不同性质的概率。
如图6a中的“测试阶段：分类”，该操作基于视频属于不同的C种性质的概率，选择概率最大的性质为预测性质c_pred；预测完整造影视频中显示斑块性质的关键帧位置的方法对应图6a中的“测试阶段：定位”，该操作基于K*1的注意力和K*C的特征，先设置第四阈值过滤注意力小于该值的视频段，再在K*C的特征中选择过滤后的视频段所在的行和c_pred所在的列，假设过滤后剩余a段视频段，则在a*1的特征中选择特征值大于等于第一阈值的视频段作为显示斑块性质的关键帧位置。
作为本实施例的另一个具体应用实例，如图6b所示，图6b示出了对超声造影视频中颈动脉斑块进行分类及定位的模型结构。
先对迁移学习得到的视频的特征进行两次全连接操作，两次全连接操作后分别跟着Relu激活层和归一化层；与图6a所述的分类和定位神经网络类似，得到K*1的注意力；与图6a所述的分类和定位神经网络不同的是，该注意力作用在迁移学习得到的视频的特征上，得到F*1的特征，该特征表示每个特征的重要性；紧接着是参数为F*C的全连接层，得到完整视频属于不同性质的未归一化的概率，尺寸为C*1；将以上概率归一化后得到完整视频属于不同性质的概率，概率之和为1；得到该概率后，与图6a所述的分类和定位神经网络类似。
如图6b中的“测试阶段：分类”，该分类方法和图6a所述的分类和定位神经网络的分类方法相同；预测完整造影视频中显示斑块性质的关键帧位置的方法对应图6b中的“测试阶段：定位”，该操作基于全连接层的F*C的参数和迁移学习的视频的F*K的特征得到，将以上两者进行矩阵相乘操作，得到K*C的特征，根据预测的超声视频的性质c_pred选择K*C的特征中相应的列,即得到K*1的概率，将K*1的概率上采样到(16*k)*1，表示完整的超声视频中每帧图像属于超声视频的性质的概率，选择概率大于一定阈值的图像帧对应的时间点位置，将连续图像帧的起始时间和结束时间作为定位的结果，该结果可能包含多段图像帧。
在本实施例中提供了一种颈动脉斑块的性质判别方法，可用于上述的超声设备，图7是根据本发明实施例的颈动脉斑块的性质判别方法的流程图，如图7所示，该流程包括如下步骤：
S31，获取超声造影视频中颈动脉斑块的特征值。
其中，所述颈动脉斑块的特征值包括颈动脉斑块的光流特征值。
详细请参见图2所示实施例的S21，在此不再赘述。
S32，根据颈动脉斑块的特征值，预测颈动脉斑块的性质及其对应的概率。
超声设备可以通过全连接处理对颈动脉斑块的性质进行预测，具体地上述S32可以包括如下步骤：
S321，对特征值矩阵进行至少一次全连接处理，以得到第五性质矩阵。
其中，第五性质矩阵中的元素用于表示每组视频对中颈动脉斑块对应于各个预测性质的概率。
对特征值矩阵的全连接处理可以进行一次，也可以是两次，或三次等等，具体可以根据实际情况进行具体设置。可选地，以两次为例，其中在第一次全连接处理时，对应的全连接层可以表示为F*F的参数矩阵，将特征值矩阵(可以表示为K*F的矩阵)经过该F*F的参数矩阵之后，得到K*F的矩阵；在该全连接层之后，还可以先经过激活(可以表述为激活层)以及随机失活(可以表述为随机失活层)处理，再进行第二次全连接处理。其中第二次全连接处理时，对应的全连接层可以表示为F*C的参数矩阵，C表示预测性质的数量。通过该全连接层对超声造影视频中颈动脉斑块进行分类，在分类之后再进行归一化处理，以得到第五性质矩阵(可以表示为K*C的矩阵)。关于第五性质矩阵的表示形式可以参见表3所示的第一性质矩阵，第五性质矩阵中的每个元素表示的是每组视频对对应于各个预测性质的概率。
S322，基于第五性质矩阵，确定颈动脉斑块的预测性质及其对应的概率。
具体地，S322可以包括如下步骤：
(1)对于每个预测性质，提取概率最大的前N个概率值。
请参见表3，每个预测性质对应于K个视频对会得到K个概率值，那么超声设备从K个概率值中提取概率最大的前N个概率值，从而可以得到的概率值矩阵可以表示为N*C的矩阵。
(2)分别计算提取出的概率值的平均值，以得到颈动脉斑块的预测性质及其对应的概率。
在得到N*C的矩阵之后，在依次计算每个预测性质对应的概率平均值，从而可以得到颈动脉斑块的预测性质及其对应的概率，例如，可以采用1*C的矩阵表示。
S33，基于预测出的性质及其对应的概率，确定被检体的颈动脉斑块的性质。
详细请参见图2所示实施例的S23，在此不再赘述。
S34，确定关键帧的位置，以标注出关键帧。
对于关键帧位置的确定方式可以参见图5b，具体地，上述S34可以包括：
S341，提取第五性质矩阵。
如S322所示，第五性质矩阵中的元素用于表示每组视频对对应于各个预测性质的概率。
S342，对于每组视频对，提取与确定出的性质对应概率。
详细请参见图5b中的Sc.2，在此不再赘述。
S343，基于预设数量，对提取出的概率进行上采样，以得到每组视频对中每个视频图像帧对应的概率。
详细请参见图5b中的Sc.3，在此不再赘述。
S344，判断视频图像帧对应的概率是否大于第四阈值。
当视频图像帧对应的概率大于第四阈值时，执行S345；否则，继续执行S344。
S345，确定视频图像帧为关键帧，以标注出关键帧。
详细请参见图5b中的Sc.5，在此不再赘述。
本实施例提供的颈动脉斑块的性质判别方法，对提取出的概率进行上采样，确定出每组视频对中每个视频图像帧对应的概率，确定出关键帧的位置，便于后续用户基于标注出的关键帧进行性质的确认。
作为本实施例的一个具体应用实例，如图6c所示，图6c示出了对颈动脉斑块的性质进行判别及定位的模型结构。
对迁移学习得到的视频的特征进行两次全连接操作后，得到K*C的特征；其中第一次全连接的参数个数为F*F个，而且第一次全连接后紧随着Relu激活层和随机失活层来提高神经网络的泛化能力；第二次全连接参数个数为F*C个，C是超声造影视频所有可能的性质的个数。基于K*C的特征进行硬选择和归一化操作的示意图如图6c；图中箭头左边部分即表示K*C的特征，每行对应每种性质，每列对应每个视频段；硬选择是基于K*C的特征中数值的大小，选择每行前m名的特征数值，即图中打钩的位置；某位置(k列,c行)处的特征的数值大表示第k个视频段对第c种视频性质的响应大，即第k个视频段属于第c种性质的概率大；所以硬选择选择每行前m名的特征数值，即选择每种视频性质响应最大的m个视频段；归一化是指选择好每类最大的m个响应后，每类取m个响应的均值作为每类的响应，然后将每类的响应归一化，得到每类的概率，归一化后的每类的概率相加之和为1；此处每类的概率即完整的超声视频属于每类的概率，视频属于每类的概率可以用一个1*C的向量表示，这个完整视频级别的1*C的概率来自于K段视频段的概率。
如图6c，即使用硬选择的方法；硬选择方法得到图中箭头右侧的视频属于每种性质的概率后，选择概率最大的性质作为视频的预测性质c_pred；预测完整造影视频中显示斑块性质的关键帧位置的方法对应图2中的“测试阶段：定位”，该操作基于第二个全连接层输出的K*C的特征，根据预测的超声视频的性质c_pred选择K*C的特征中相应的列,即得到K*1的概率，将K*1的概率上采样到(16*k)*1，表示完整的超声视频中每帧图像属于超声视频的性质的概率，选择概率大于一定阈值的图像帧对应的时间点位置，将连续图像帧的起始时间和结束时间作为定位的结果，该结果可能包含多段图像帧。
根据本发明实施例，提供了一种训练颈动脉斑块的性质判别模型的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种训练颈动脉斑块的性质判别模型的方法，可用于上述的超声设备，图8是根据本发明实施例的训练颈动脉斑块的性质判别模型的方法的流程图，如图8所示，该流程包括如下步骤：
S41，获取若干个样本超声造影视频中颈动脉斑块的特征值，以及每个样本超声造影视频中颈动脉斑块的目标性质。
其中，所述颈动脉斑块的特征值包括光流特征值。
关于颈动脉斑块的特征值的获取可以参见图1所示实施例的S11，在此不再赘述。
对于每个样本超声造影视频而言，可以在样本超声造影视频中标注出颈动脉斑块，以及确定出该颈动脉斑块的目标性质。
S42，将颈动脉斑块的特征值输入性质判别模型中，以得到对应于样本超声造影视频中颈动脉斑块的预测性质及其对应的概率。
该性质判别模型用于基于输入的特征值，预测该颈动脉斑块的性质及其对应的概率。可选地，关于基于输入的特征值预测颈动脉斑块的性质及其对应的概率的具体方法可以参见上文所述的颈动脉斑块的性质判别方法中关于颈动脉斑块的特征值预测颈动脉斑块的性质及其对应的概率的相关描述，在此不再赘述。当然，也可以采用其他方式基于输入的特征值预测颈动脉斑块的性质及其对应的概率。
S43，基于目标性质以及对应的预测性质，对性质判别模型中的参数进行更新。
其中，更新后的性质判别模型用于根据颈动脉斑块的特征值预测颈动脉斑块的性质及其对应的概率。
在得到样本超声造影视频的预测性质之后，提取该样本超声造影视频的目标性质，再利用损失函数计算预测性质与目标性质的损失函数的值；后续可以采用反向传播算法对性质判别模型中的参数进行更新，也可以采用强化学习算法对性质判别模型中的参数进行更新，直至满足预设条件为止。其中，所述的预设条件可以为迭代次数，也可以设置一个损失函数的预设值，等等。在满足预设条件得到的更新后的性质判别模型可以用于对超声造影视频中的颈动脉斑块的性质进行判别，即可以称之为颈动脉斑块的性质判别模型。
在此对采用何种方式对参数进行更新并不做任何限制。
本实施例提供的训练颈动脉斑块的性质判别模型的方法，在得到颈动脉斑块的预测性质时，是通过提取颈动脉斑块的特征值，并基于特征值对颈动脉斑块的性质进行预测，即，通过超声设备就可完成对颈动脉斑块的性质的预测，且该预测是依赖于颈动脉斑块的特征值，可以在保证判别准确的基础上，提高判别的效率，从而提高训练的效率。
在本实施例中提供了一种训练颈动脉斑块的性质判别模型的方法，可用于上述的超声设备，图9是根据本发明实施例的训练颈动脉斑块的性质判别模型的方法流程图，如图9所示，该流程包括如下步骤：
S51，获取若干个样本超声造影视频中颈动脉斑块的特征值，以及每个样本超声造影视频中颈动脉斑块的目标性质。
该S51可以采用如下步骤实现：
(1)获取完整的目标超声造影视频，如颈动脉超声造影视频
整段是为了区别于在专业医生的协助下从患者完整的超声造影视频中截取出能显示造影视频中斑块性质的关键帧位置对应的小段视频，这对应于剪辑过的超声造影视频中颈动脉斑块的分类问题；剪辑过的超声造影视频中颈动脉斑块的分类问题，去除了跟斑块性质无关的视频帧；与超声造影长视频中颈动脉斑块分类及定位问题相比，神经网络的训练难度降低。
(2)裁剪视频
剪除原始的超声造影视频中包含的患者的个人信息、医院的信息、检查的信息、超声设备信息等。
(3)人工标记视频中决定颈动脉斑块性质的关键帧的位置，标记视频的性质
多位专家医生共同观察获取的超声造影视频的影像特征，找到显示视频性质的关键帧位置，记录连续关键帧的起始时间位置和结束时间位置即可；一个超声造影视频可能有多对标注的起始时间位置和结束时间位置；而且专家基于关键帧的信息将视频中颈动脉斑块进行分类，如将斑块性质分为稳定和易损。
(4)对裁剪后的视频进行预处理
将裁剪后的彩色三通道的超声造影视频宽度和高度统一限定为224像素和224像素，可以选择是否保持原视频的高宽比例，现在超声造影视频中每帧造影图像的尺寸为224*224*3；将同一尺寸的超声造影视频中像素点x的取值归一化，归一化后像素点的取值记为x_new，x_new＝(x/255)*2-1，即将像素点的取值范围限制为[0,1]；
将224*224*3的超声造影视频转化为单通道的灰度造影视频，即224*224*1的视频；基于灰度造影视频，计算超声造影视频对应的光流视频，选择经典的光流算法计算视频中每帧图像上所有像素点的光流，如Gunnar Farneback方法或者TV-L1方法，计算得到的光流视频中每帧光流图像的尺寸为224*224*2；光流视频表示造影图像中像素点的移动信息，包含水平方向和竖直方向；将光流视频中像素点的取值归一化，归一化后的像素点记为y_new，y_new＝y/255-0.5，即将像素点的取值范围限制为[-0.5,0.5]。
(5)将获取到的超声造影视频分成训练集和测试集
按3:1的比例随机划分获取到的超声造影视频，训练集用于训练弱监督学习的神经网络，测试集用于测试训练好的神经网络的效果
(6)用经预处理过的训练集超声造影视频训练弱监督学习的神经网络，处理流程如图10所示。先将测试集中的超声视频按训练集提取迁移学习特征的方式进行处理，每个完整超声视频得到其特征；然后将该特征输入不同分类网络，预测斑块的位置和性质。
(7)采用迁移学习方法学习视频的特征
首先将每个超声造影视频和光流视频分成相同的若干段，记为K段；因为获取到的超声造影视频有限，人工标注工作量大、专业性强，耗时耗力，而已经存在在数十万个自然图像视频上训练好的分类卷积神经网络模型，所以考虑迁移学习方法；迁移学习方法即利用训练好的分类模型提取用于性质判别的颈动脉斑块的特征，该特征能较好地将不同性质的颈动脉斑块区分开来。将超声造影视频和光流视频分出的K段视频配对输入预训练好的经典的卷积神经网络，如膨胀3D卷积网络、双流网络、时间段网络等；提取到K*F的特征，其中前F/2列特征为超声造影视频中颈动脉斑块的特征，后F/2列为光流视频中颈动脉斑块的特征。因为超声造影视频相邻两帧之间相似度可能较高，而且完整的长造影视频的长度可能比较长，导致计算量较大，所以可以选择在整段长超声造影视频中按固定间隔抽取帧，再分为K段，再计算视频的特征。
S52，将颈动脉斑块的特征值输入性质判别模型中，以得到对应于颈动脉斑块的预测性质及其对应的概率。
利用迁移学习得到视频的K*F的特征后，即可训练性质判别模型根据这些特征来判断颈动脉斑块的性质和关键帧位置。为此本发明实施例提供了若干种分类模型，由于该分类模型只利用标注的视频的性质信息对性质判别模型进行训练，因此也可以称之为弱监督学习的分类和定位的神经网络。每种分类和定位的神经网络的输入都是提取到的能表示视频特点的复杂特征，即K*F的特征。
关于分类模型的架构，以及具体实现过程请参见图2以及图7所示实施例的描述，在此不再赘述。
S53，基于目标性质以及对应的预测性质，对性质判别模型中的参数进行更新。
其中，更新后的性质判别模型用于根据颈动脉斑块的特征值预测颈动脉斑块的性质及其对应的概率。
分类网络得到训练集中每个完整视频的性质后，即可与专家医生标注好的视频的性质进行对比，计算两者间的差距，即计算神经网络的损失。具体地，上述S53可以包括如下步骤：
S531，利用目标性质以及对应的预测性质，计算损失函数的值。
其中，损失函数可以采用交叉熵损失函数；将神经网络预测的完整视频属于不同性质的概率表示为pred，pred＝(pred_1，pred_2，...，pred_c，...，pred_C)；假设专家医生标注的颈动脉斑块性质信息为性质c，则颈动脉斑块性质的标注信息表示为truth＝(0，0，...，1，...，0)；交叉熵损失的计算公式为：
Figure BDA0002192540670000271
其中，truth(c)为目标性质，即视频性质的标注信息；pred(c)为预测性质对应的概率。
预测视频性质的分布和标注的目标性质的分布越接近，交叉熵损失越小，网络的预测能力越强。
当然，损失函数的选择并不限于此，也可以采用其他损失函数。
S532，基于损失函数的值，利用反向传播算法对性质判别模型中的参数进行更新。
基于损失函数计算分类网络的损失，采用反向传播算法训练分类网络、学习分类网络的参数；交叉熵损失越大，参数更新越大，否则参数更新越小，直到交叉熵损失逐渐下降，直到收敛，参数达到最优化。
上述实施例中在涉及具体尺寸时，均是以一种可能的尺寸来举例说明，实际实现时，还可能有其他各种可能的尺寸，本实施例对此并不做限定。
在本实施例中还提供了一种颈动脉斑块性质的判别装置，或训练颈动脉斑块性质的判别模型的装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
本实施例提供一种颈动脉斑块性质的判别装置，如图11所示，包括：
第一获取模块61，用于获取超声造影视频的特征值；其中，所述超声造影视频的特征值包括光流特征值。
预测模块62，用于根据所述超声造影视频的特征值，利用性质判别模型预测所述超声造影视频的性质及其对应的概率。
性质确定模块63，用于基于预测出的性质及其对应的概率，确定所述超声造影视频的性质。
本实施例还提供一种训练颈动脉斑块性质的判别模型的装置，如图12所示，包括：
第二获取模块71，用于获取若干个样本超声造影视频的特征值，以及每个样本超声造影视频的目标性质；其中，所述样本超声造影视频的特征值包括光流特征值；
预测性质模块72，用于将所述样本超声造影视频输入性质判别模型中，以得到对应于所述颈动脉斑块的预测性质及其对应的概率；
参数更新模块73，用于基于所述目标性质以及对应的预测性质，对所述性质判别模型中的参数进行更新；其中，更新后的性质判别模型用于根据颈动脉斑块的特征值预测所述颈动脉斑块的性质及其对应的概率。
本实施例中的颈动脉斑块性质的判别装置或训练颈动脉斑块性质的判别模型的装置是以功能单元的形式来呈现，这里的单元是指ASIC电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。
上述各个模块的更进一步的功能描述与上述对应实施例相同，在此不再赘述。
本发明实施例还提供一种超声设备，具有上述图11所示的颈动脉斑块性质的判别装置，或图12所示的训练颈动脉斑块性质的判别模型的装置。
请参阅图13，图13是本发明可选实施例提供的一种超声设备的结构示意图，如图13所示，该超声设备可以包括：至少一个处理器81，例如CPU(Central Processing Unit，中央处理器)，至少一个通信接口83，存储器84，至少一个通信总线82。其中，通信总线82用于实现这些组件之间的连接通信。其中，通信接口83可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口83还可以包括标准的有线接口、无线接口。存储器84可以是高速RAM存储器(Random Access Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器84可选的还可以是至少一个位于远离前述处理器81的存储装置。其中处理器81可以结合图11或图12所描述的装置，存储器84中存储应用程序，且处理器81调用存储器84中存储的程序代码，以用于执行上述任一方法步骤。
其中，通信总线82可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。通信总线82可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器84可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器84还可以包括上述种类的存储器的组合。
其中，处理器81可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。
其中，处理器81还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic,缩写：GAL)或其任意组合。
可选地，存储器84还用于存储程序指令。处理器81可以调用程序指令，实现如本申请图1、2以及7实施例中所示的颈动脉斑块的性质判别方法，或实现如本申请图8以及9实施例中所示的训练颈动脉斑块的性质判别模型的方法。
本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的颈动脉斑块的性质判别方法，或训练颈动脉斑块的性质判别模型的方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (15)

1.一种颈动脉斑块的性质判别方法，其特征在于，包括：
获取超声造影视频中颈动脉斑块的特征值；其中，所述颈动脉斑块的特征值包括所述颈动脉斑块的光流特征值；
根据所述颈动脉斑块的特征值，利用性质判别模型预测所述颈动脉斑块的性质及其对应的概率；
基于预测出的性质及其对应的概率，确定被检体的所述颈动脉斑块的性质。
2.根据权利要求1所述的方法，其特征在于，所述获取超声造影视频中颈动脉斑块的特征值，包括：
获取超声造影视频及其对应的光流视频；
划分所述超声造影视频以及所述光流视频，以得到预设数量的视频对；
提取每组视频对中所述颈动脉斑块的特征，得到所述每组视频对中颈动脉斑块的特征值，以形成特征值矩阵。
3.根据权利要求2所述的方法，其特征在于，所述根据所述颈动脉斑块的特征值，利用性质判别模型预测所述颈动脉斑块的性质及其对应的概率，包括：
对所述特征值矩阵进行全连接处理，确定对应于所述每组视频对的注意力，以得到注意力矩阵；其中，所述注意力的大小用于表示关注程度的大小；
基于所述特征值矩阵以及所述注意力矩阵，预测所述颈动脉斑块的性质及其对应的概率。
4.根据权利要求3所述的方法，其特征在于，所述基于所述特征值矩阵以及所述注意力矩阵，预测所述颈动脉斑块的性质及其对应的概率，包括：
对所述特征值矩阵进行全连接以及归一化处理，得到第一性质矩阵；其中，第一性质矩阵中的元素用于表示所述每组视频对对应于各个预测性质的概率；
计算所述第一性质矩阵与所述注意力矩阵的乘积，以得到第二性质矩阵；
基于所述第二性质矩阵，计算每个所述预测性质的概率之和，以得到所述颈动脉斑块的预测性质及其对应的概率。
5.根据权利要求4所述的方法，其特征在于，所述基于预测出的性质及其对应的概率，确定被检体的所述颈动脉斑块的性质的步骤之后，还包括：
基于所述第一性质矩阵，判断每组视频对对应于所述确定出的性质的概率是否大于第一阈值；
当所述视频对对应于所述确定出的性质的概率大于第一阈值时，确定所述超声造影视频中对应于所述视频对的位置为关键帧的位置，以标注出所述关键帧。
6.根据权利要求3所述的方法，其特征在于，所述对所述每组视频对的特征值进行全连接处理，确定对应于每组视频对的注意力，包括：
对所述特征值矩阵进行第一全连接处理，得到第一特征矩阵；
基于所述第一特征矩阵进行第二全连接处理，得到第二特征矩阵；
对所述第二特征矩阵进行归一化处理，得到对应于每组视频对的注意力。
7.根据权利要求6所述的方法，其特征在于，所述基于所述特征值矩阵以及所述注意力矩阵，预测所述颈动脉斑块的性质及其对应的概率，包括：
计算所述特征值矩阵与所述注意力矩阵的乘积，以得到第三特征矩阵；其中，所述第三特征矩阵中的元素用于表示每组视频对的特征值；
基于所述第三特征矩阵，计算所述颈动脉斑块各个特征的特征值之和，以得到第四特征矩阵；
对所述第四特征矩阵进行全连接处理，以得到第三性质矩阵；其中，所述第三性质矩阵中的元素用于表示所述颈动脉斑块各个特征对应于各个预测性质的概率；
对所述第三性质矩阵进行归一化处理，以得到所述颈动脉斑块的预测性质及其对应的概率。
8.根据权利要求2所述的方法，其特征在于，所述根据所述颈动脉斑块的特征值，利用性质判别模型预测所述颈动脉斑块的性质及其对应的概率，包括：
对所述特征值矩阵进行至少一次全连接处理，以得到第五性质矩阵；其中，第五性质矩阵中的元素用于表示每组视频对对应于各个预测性质的概率；
基于所述第五性质矩阵，确定所述颈动脉斑块的预测性质及其对应的概率。
9.根据权利要求8所述的方法，其特征在于，所述基于所述第五性质矩阵，确定所述颈动脉斑块的预测性质及其对应的概率，包括：
对于每个所述预测性质，提取概率最大的前N个概率值；
分别计算提取出的概率值的平均值，以得到所述颈动脉斑块的预测性质及其对应的概率。
10.根据权利要求7或8所述的方法，其特征在于，所述基于预测出的性质及其对应的概率，确定被检体的所述颈动脉斑块的性质的步骤之后，还包括：
提取所述第五性质矩阵，或计算特征值矩阵与对第四特征矩阵进行全连接处理的全连接层参数的乘积，以得到每组视频对对应于各个预测性质的概率；
对于每组视频对，提取与确定出的性质对应概率；
基于所述预设数量，对提取出的概率进行上采样，以得到每组视频对中每个视频图像帧对应的概率；
判断所述视频图像帧对应的概率是否大于第二阈值；
当所述视频图像帧对应的概率是否大于第二阈值时，确定所述视频图像帧为关键帧，以标注出所述关键帧。
11.根据权利要求1所述的方法，其特征在于，所述获取超声造影视频中颈动脉斑块的特征值，包括：
获取超声造影视频；
将所述超声造影视频输入训练好的特征提取模型中，以得到所述颈动脉斑块的特征值；其中，所述特征提取模型是基于卷积神经网络模型构建的。
12.一种训练颈动脉斑块的性质判别模型的方法，其特征在于，包括：
获取若干个样本超声造影视频中颈动脉斑块的特征值，以及每个样本超声造影视频中颈动脉斑块的目标性质；其中，所述颈动脉斑块的特征值包括所述颈动脉斑块的光流特征值；
将所述颈动脉斑块的特征值输入性质判别模型中，以得到对应于所述颈动脉斑块的预测性质及其对应的概率；
基于所述目标性质以及对应的预测性质，对所述性质判别模型中的参数进行更新；其中，更新后的性质判别模型用于根据超声造影视频中颈动脉斑块的特征值预测所述颈动脉斑块的性质及其对应的概率。
13.根据权利要求12所述的方法，其特征在于，所述基于所述目标性质以及对应的预测性质，对所述性质判别模型中的参数进行更新，包括：
利用所述目标性质以及对应的预测性质，计算损失函数的值；
基于所述损失函数的值，利用反向传播算法对所述性质判别模型中的参数进行更新。
14.一种超声设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-11中任一项所述的颈动脉斑块的性质判别方法，或权利要求12-13中任一项所述的训练颈动脉斑块的性质判别模型的方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-11中任一项所述的颈动脉斑块的性质判别方法，或权利要求12-13中任一项所述的训练颈动脉斑块的性质判别模型的方法。
CN201910837153.4A 2019-09-05 2019-09-05 超声设备 Active CN110766651B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910837153.4A CN110766651B (zh) 2019-09-05 2019-09-05 超声设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910837153.4A CN110766651B (zh) 2019-09-05 2019-09-05 超声设备

Publications (2)

Publication Number Publication Date
CN110766651A true CN110766651A (zh) 2020-02-07
CN110766651B CN110766651B (zh) 2022-07-12

Family

ID=69330422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910837153.4A Active CN110766651B (zh) 2019-09-05 2019-09-05 超声设备

Country Status (1)

Country Link
CN (1) CN110766651B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114092744A (zh) * 2021-11-26 2022-02-25 山东大学 一种颈动脉超声图像斑块分类检测方法及系统
CN117036480A (zh) * 2023-08-17 2023-11-10 脉得智能科技(无锡)有限公司 一种颈动脉斑块定位方法、检测方法、装置及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160235373A1 (en) * 2015-02-13 2016-08-18 Siemens Aktiengesellschaft Plaque vulnerability assessment in medical imaging
CN109241829A (zh) * 2018-07-25 2019-01-18 中国科学院自动化研究所 基于时空注意卷积神经网络的行为识别方法及装置
CN109376696A (zh) * 2018-11-28 2019-02-22 北京达佳互联信息技术有限公司 视频动作分类的方法、装置、计算机设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160235373A1 (en) * 2015-02-13 2016-08-18 Siemens Aktiengesellschaft Plaque vulnerability assessment in medical imaging
CN106056126A (zh) * 2015-02-13 2016-10-26 西门子公司 医学成像中的斑块易损性评定
CN109241829A (zh) * 2018-07-25 2019-01-18 中国科学院自动化研究所 基于时空注意卷积神经网络的行为识别方法及装置
CN109376696A (zh) * 2018-11-28 2019-02-22 北京达佳互联信息技术有限公司 视频动作分类的方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
宁彬等: "基于双流神经网络的颈动脉粥样硬化斑块稳定性区分方法", 《中国卒中杂志》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114092744A (zh) * 2021-11-26 2022-02-25 山东大学 一种颈动脉超声图像斑块分类检测方法及系统
CN114092744B (zh) * 2021-11-26 2024-05-17 山东大学 一种颈动脉超声图像斑块分类检测方法及系统
CN117036480A (zh) * 2023-08-17 2023-11-10 脉得智能科技(无锡)有限公司 一种颈动脉斑块定位方法、检测方法、装置及电子设备
CN117036480B (zh) * 2023-08-17 2024-06-04 脉得智能科技(无锡)有限公司 一种颈动脉斑块定位方法、检测方法、装置及电子设备

Also Published As

Publication number Publication date
CN110766651B (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
CN110232383B (zh) 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统
US10706333B2 (en) Medical image analysis method, medical image analysis system and storage medium
WO2019200753A1 (zh) 病变监测方法、装置、计算机设备和存储介质
KR102058884B1 (ko) 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법
KR102100698B1 (ko) 앙상블 학습 알고리즘을 이용한 인공지능 기반 진단 보조 시스템
JP7462055B2 (ja) 脳の磁気共鳴画像における白質高信号域の自動セグメント化のための方法およびシステム
Nurmaini et al. Accurate detection of septal defects with fetal ultrasonography images using deep learning-based multiclass instance segmentation
JP2023511300A (ja) 医用画像における解剖学的構造を自動的に発見するための方法及びシステム
WO2013088144A1 (en) Probability mapping for visualisation and analysis of biomedical images
EP3964136A1 (en) System and method for guiding a user in ultrasound assessment of a fetal organ
Maiora et al. Abdominal CTA image analisys through active learning and decision random forests: Aplication to AAA segmentation
KR20190114384A (ko) 신경망을 기반으로 하는 피부 병변 진단 장치 및 방법
CN110766651B (zh) 超声设备
CN113012163A (zh) 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质
CN110991254A (zh) 超声图像视频分类预测方法及系统
CN110751629A (zh) 一种心肌影像分析装置及设备
KR102100699B1 (ko) 병변 통합 학습 모델을 구축하는 장치와 방법, 및 상기 병변 통합 학습 모델을 사용하여 병변을 진단하는 장치와 방법
Delmoral et al. Segmentation of pathological liver tissue with dilated fully convolutional networks: A preliminary study
CN116129184A (zh) 多期相病灶分类方法、装置、设备及可读存储介质
CN112862785B (zh) Cta影像数据识别方法、装置及存储介质
CN112862786B (zh) Cta影像数据处理方法、装置及存储介质
JP2020010804A (ja) 医用画像診断支援装置、プログラム及び医用画像診断支援方法
Atlas et al. Deep learning enabled hemorrhage detection in retina with DPFE and splat segmentation in fundus images
Hassanin et al. Automatic localization of Common Carotid Artery in ultrasound images using Deep Learning
Ahmed et al. Intracranial Hemorrhage Detection using CNN-LSTM Fusion Model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant