CN110310271A - 颈动脉斑块的性质判别方法、存储介质及超声装置 - Google Patents
颈动脉斑块的性质判别方法、存储介质及超声装置 Download PDFInfo
- Publication number
- CN110310271A CN110310271A CN201910583400.2A CN201910583400A CN110310271A CN 110310271 A CN110310271 A CN 110310271A CN 201910583400 A CN201910583400 A CN 201910583400A CN 110310271 A CN110310271 A CN 110310271A
- Authority
- CN
- China
- Prior art keywords
- video
- image
- network
- ultrasonic contrast
- markup information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 40
- 238000002604 ultrasonography Methods 0.000 claims abstract description 25
- 210000005036 nerve Anatomy 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims description 64
- 230000002776 aggregation Effects 0.000 claims description 11
- 238000004220 aggregation Methods 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000006073 displacement reaction Methods 0.000 claims description 8
- 238000002601 radiography Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 238000013145 classification model Methods 0.000 claims description 7
- 238000006116 polymerization reaction Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 abstract description 8
- 238000002583 angiography Methods 0.000 abstract description 7
- 238000003745 diagnosis Methods 0.000 abstract description 5
- 238000012545 processing Methods 0.000 abstract description 5
- 238000004451 qualitative analysis Methods 0.000 abstract description 5
- 239000003814 drug Substances 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 210000001367 artery Anatomy 0.000 description 4
- 230000004069 differentiation Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 210000003462 vein Anatomy 0.000 description 3
- 206010008092 Cerebral artery thrombosis Diseases 0.000 description 2
- 208000005189 Embolism Diseases 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 206010008190 Cerebrovascular accident Diseases 0.000 description 1
- 206010019468 Hemiplegia Diseases 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 208000006011 Stroke Diseases 0.000 description 1
- 201000007201 aphasia Diseases 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000002308 calcification Effects 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005489 elastic deformation Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
- G06T2207/10121—Fluoroscopy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明涉及超声医学影像处理技术领域，具体公开了一种颈动脉斑块的性质判别方法，其中，所述颈动脉斑块的性质判别方法包括：获取包括颈动脉斑块的超声造影视频；通过第一神经网络识别所述超声造影视频，得到血管造影视频，所述血管造影视频包括所述超声造影视频中有斑块的血管所在区域的图像流；通过特征提取模型提取所述血管造影视频中的图像特征；通过第二神经网络识别图像特征，得到有斑块的性质类别。本发明还公开了一种存储介质及超声装置。本发明提供的颈动脉斑块的性质判别方法及装置能够有效识别出有斑块的性质类别，实现了对颈动脉斑块的定性分析，从而为医护人员对颈动脉斑块的分析和诊断提供重要的依据。
Description
技术领域
本发明涉及超声图像处理技术领域，尤其涉及一种颈动脉斑块的性质判别方法、用于存储执行颈动脉斑块的性质判别方法的程序指令的存储介质和包括该存储介质的超声装置。
背景技术
颈动脉斑块的危害与斑块的性质、部位及形状有关。颈动脉斑块包括易损斑块、稳定斑块。其中，颈动脉易损斑块的主要危害是缺血性脑卒中。易损斑块又称软斑块、不稳定斑块，斑块形状不规则，易脱落，脱落后可随着血流堵塞脑血管，引起缺血性脑卒中，导致患者出现半身不遂、失语、眼歪嘴斜等症状。而稳定斑块患者，斑块钙化，较结实，不易脱落及破裂，故而不易引起脑血管的栓塞。颈动脉斑块的易损性与脑血管等疾病的发生有密切的关联，而目前，对颈动脉斑块性质的检测尚且没有一种非常准确、快速而简单的方法，常用的是通过使用超声造影(CEUS)检查发现颈动脉斑块内新生血管的增强程度来判别，这比传统二维超声可以更加准确判断斑块的性质。传统的二维超声只可以看到斑块的位置，大小，形态，回声等特征，斑块内部特征却无法检测到，CEUS除了可以显示斑块的大小，形态，边缘和残余官腔，还可以显示斑块内的新生血管，斑块内新生血管对于斑块的易损/稳定性判定有一定的参考作用，对于有新生血管的斑块，容易破裂出血，造成斑块破裂脱落，而颈动脉斑块破裂脱落形成栓子梗塞脑血管是造成脑卒中最主要的原因之一。因此，对于颈动脉斑块的易损性判别研究具有临床意义。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一，提供一种颈动脉斑块的性质判别方法、用于存储执行颈动脉斑块的性质判别方法的程序指令的存储介质和包括该存储介质的超声装置，以解决现有技术中的问题。
作为本发明的第一个方面，提供一种颈动脉斑块的性质判别方法，其中，所述颈动脉斑块的性质判别方法包括：
所述颈动脉斑块的性质判别方法包括：
获取包括颈动脉斑块的超声造影视频；
通过第一神经网络识别所述超声造影视频，得到血管视频，所述血管视频包括所述超声造影视频中有斑块的血管所在区域的图像流；
通过特征提取模型提取所述血管视频中的图像特征；
通过第二神经网络识别图像特征，得到血管中斑块的性质类别。
可选的，所述颈动脉斑块的性质判别方法还包括：
获取训练样本，所述训练样本包括n个训练超声造影视频以及每个训练超声造影视频的标注信息，所述标注信息包括第一标注信息和第二标注信息，所述第一标注信息用于标注所述训练超声造影视频中有斑块的血管所在的位置，所述第二标注信息用于标注所述训练超声造影视频中斑块的性质类别，n为大于等于2的整数；
根据所述n个训练超声造影视频和所述第一标注信息训练第一初始化网络，得到所述第一神经网络；
根据所述n个训练超声造影视频和所述第二标注信息训练第二初始化网络，得到所述第二神经网络。
作为本发明的第二个方面，提供了一种颈动脉斑块的性质判别方法，所述颈动脉斑块的性质判别方法包括：
获取训练样本，所述训练样本包括n个训练超声造影视频以及每个训练超声造影视频的第一标注信息和第二标注信息，所述第一标注信息用于标注所述训练超声造影视频中有斑块的血管所在的位置，所述第二标注信息用于标注所述训练超声造影视频中斑块的性质类别，n为大于等于2的整数；
根据所述n个训练超声造影视频和所述第一标注信息训练第一初始化网络，得到第一神经网络，所述第一神经网络用于识别训练超声造影视频中有斑块的血管所在的位置；
根据所述n个训练超声造影视频和所述第二标注信息训练第二初始化网络，得到第二神经网络，所述第二神经网络用于识别斑块的稳定性。
可选的，所述根据所述n个训练超声造影视频和所述第一标注信息训练第一初始化网络，得到第一神经网络，包括：
根据所述n个训练超声造影视频中的造影图像和所述第一标注信息训练所述第一初始化网络，得到所述第一神经网络。可选的，所述根据所述n个训练超声造影视频和所述第二标注信息训练第二初始化网络，得到第二神经网络，包括：
通过特征提取模型提取所述n个训练超声造影视频中各帧图像中的图像特征；
根据提取到的所述图像特征和所述第二标注信息训练所述第二初始化网络，得到所述第二神经网络。
可选的，所述根据提取到的所述图像特征和所述第二标注信息训练所述第二初始化网络，得到所述第二神经网络之前，还包括：
将所述超声训练视频中的造影图像进行图像变换得到所述图像变换后的造影图像，其中所述图像变换包括平移、翻转、旋转和弹性变形中的至少一种；
通过所述特征提取模型提取所述图像变换后的造影图像中的图像特征。
可选的，所述将所述超声训练视频中的造影图像进行图像变换包括：
对于所述超声训练视频中的每一张造影图像，构建与所述造影图像相同大小的随机图像；
对所述随机图像进行卷积，并根据卷积后的图像以及变形强度因子得到位移图像；
将所述位移图像作用在所述造影图像上，得到所述图像变换后的造影图像。
可选的，所述第二初始化网络包括特征聚合模型和混合分类模型，
所述特征聚合模型用于输出聚合后的特征值；
所述混合分类模型用于根据聚合后的特征值输出斑块的性质类别。
作为本发明的第三个方面，提供一种存储介质，其中，所述存储介质中存储有至少一条程序指令，所述至少一条程序指令用于被处理器加载并执行以实现如前文所述的颈动脉斑块的性质判别方法。
作为本发明的第四个方面，提供一种超声装置，其中，所述超声装置包括处理器和存储器，所述存储器包括前文所述的存储介质，所述处理器用于加载并执行所述存储介质上的程序指令。
本发明提供的颈动脉斑块的性质判别方法，通过获取超声造影视频，采用第一神经网络对超声造影视频进行识别，通过特征提取模型进行图像特征提取，最后通过第二神经网络对图像特征进行识别，得到最终的血管的性质类别的判别结果，本发明提供的这种颈动脉斑块的性质判别方法能够有效识别出有斑块的血管的性质类别，实现了对颈动脉的血管的定性分析，从而为医护人员对颈动脉斑块的分析和诊断提供重要的依据。另外，本发明提供的这种颈动脉斑块的性质判别方法还具有结果判别准确且效率高的优势。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：
图1为本发明提供的颈动脉斑块的性质判别系统的结构框图。
图2为本发明提供的颈动脉斑块的性质判别方法的一种实施方式的流程图。
图3为本发明提供的颈动脉斑块的性质判别方法的另一种实施方式的流程图。
图4为本发明提供的聚类趋势分布图。
图5为本发明提供的图像变换前的示意图。
图6为本发明提供的图像变换后的示意图。
图7为本发明提供的第二神经网络进行特征识别的流程示意图。
图8为本发明提供的混合网络模型的全连接网络实现示意图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
本发明的一个实施例中，提供了一种判别颈动脉斑块的性质类别的判别系统，该判别系统包括获取模块110、处理器120和显示器130。获取模块110获取包括颈动脉斑块的超声造影视频，处理器120对采集到的超声造影视频进行处理，分析得到斑块的性质类别，显示器130可以显示获取到的超声造影视频和分析得到的斑块的性质类别。
如图1所示，本实施例的获取模块110为超声成像设备，即通过超声成像设备获取超声图像或视频。如图1所示，超声成像设备至少包括换能器101、超声主机102、输入单元103、控制单元104、和存储器105。超声成像设备可以包括显示屏(图中未标出)，超声成像设备的显示屏可以为判别系统的显示器130。换能器101用于发射和接收超声波，换能器101受发射脉冲的激励，向目标组织(例如，人体或者动物体内的器官、组织、血管等等)发射超声波，经一定延时后接收从目标区域反射回来的带有目标组织的信息的超声回波，并将此超声回波重新转换为电信号，以获得超声图像或者视频。换能器101可以通过有线或无线的方式连接到超声主机102。
输入单元103用于输入操作人员的控制指令。输入单元103可以为键盘、跟踪球、鼠标、触摸面板、手柄、拨盘、操纵杆以及脚踏开关中的至少一个。输入单元也可以输入非接触型信号，例如声音、手势、视线或脑波信号。
控制单元104至少可以控制焦点信息、驱动频率信息、驱动电压信息以及成像模式等扫描信息。控制单元104根据用户所需成像模式的不同，对信号进行不同的处理，获得不同模式的超声图像数据，然后经对数压缩、动态范围调整、数字扫描变换等处理形成不同模式的超声图像，如B图像，C图像，D图像，多普勒血流图像，包含组织弹性特性的弹性图像等等，或者其他类型的二维超声图像或三维超声图像。
显示器130用于显示来超声图像数据、参数、超声图像或视频中周围神经的类型以及动态信息等信息。显示器130可以是触摸屏显示器。当然，超声诊断设备还可以通过输入单元103的端口连接另一个显示器，实现双屏显示系统。此外，本实施例中的显示器不限制数量。显示的超声图像数据(超声图像)可以是显示在一个显示器上，也可以同时显示在多个显示器上，当然也可以是将超声图像的部分分别同步显示在多个显示器上，在此本实施例也不作限制。此外，显示器130在显示超声图像的同时还提供给用户进行人机交互的图形界面，在图形界面上设置一个或多个被控对象，提供给用户利用人机交互设备输入操作指令来控制这些被控对象，从而执行相应的控制操作。例如投影、VR眼镜，当然显示器中也可以包含输入装置，例如触摸输入的显示屏、感应动作的投影机VR眼镜。利用人机交互设备可以对显示器130显示的图标进行操作，用来执行特定的功能。
在一实施例中，获取模块110为掌声超声，掌声超声的换能器、显示器等集成在可供操作人员手握持的壳体内。
本文的神经网络模型或单元包括(或者包含或者具有)其它元件以及那些元件。如本文中使用的术语“模块”意指但不限于执行特定任务的软件或硬件组件，诸如现场可编程门阵列(FPGA)或专用集成电路(ASIC)或处理器，例如CPU、GPU。模块可以有利地被配置为驻留在可寻址存储介质中并且配置为在一个或多个处理器上执行。因此，作为示例，模块可以包括组件(诸如软件组件、面向对象软件组件、类组件和任务组件)、进程、函数、属性、过程、子例行程序、程序代码段、驱动程序、固件、微码、电路、数据、数据库、数据结构、表、数组和变量。在模块中提供的功能性可以被组合成更少的组件和模块或者进一步分成附加的组件和模块。
为了实现对颈动脉斑块的性质的定性分析，本发明通过使用两个神经网络实现，具体地，第一个神经网络能够检测出当前超声图像中的斑块的血管位置，第二个神经网络能够对含有斑块的血管进行识别，从而识别出血管的性质类别是易损还是稳定。
作为本发明的第一个方面，提供一种颈动脉斑块的性质判别方法，其中，如图2所示，所述颈动脉斑块的性质判别方法包括：
S210、获取包括颈动脉斑块的超声造影视频；
本步骤可以是通过换能器采集的超声造影视频，也可以是获取的外部设备发送的超声造影视频。比如，超声设备或电脑等在通过换能器采集到超声造影视频之后，将超声造影视频发送至分析设备，分析设备在接收到超声造影视频之后执行S210-S240，在此不再赘述。
S220、通过第一神经网络识别所述超声造影视频，得到血管造影视频，所述血管造影视频包括所述超声造影视频中有斑块的血管所在区域的图像流；
具体地，所述第一神经网络能够识别所述超声造影视频，以便于确定超声造影视频中的有斑块的血管的位置。由于所述超声造影视频包括多幅超声图像，因此，第一神经网络能够从超声造影视频中识别出具有斑块的血管所在的超声图像，这里应当理解的是，由于超声造影视频是动态视频图像，所以第一神经网络最终识别得到的是动态的图像流。
S230、通过特征提取模型提取所述血管造影视频中的图像特征；
具体地，对所述血管造影视频进行视频处理，提取出具有斑块的血管的图像特征。
S240、通过第二神经网络识别图像特征，得到血管中斑块的性质类别。
具体地，所述第二神经网络能够对所述图像特征进行识别，从而判断有斑块的血管的性质类别是易损还是稳定。
本发明提供的颈动脉斑块的性质判别方法，通过采集超声造影视频，采用第一神经网络对超声造影视频进行识别，通过特征提取模型进行图像特征提取，最后通过第二神经网络对图像特征进行识别，得到最终的血管的性质类别的判别结果，本发明提供的这种颈动脉斑块的性质判别方法能够有效识别出有斑块的血管的性质类别，实现了对颈动脉的血管的定性分析，从而为医护人员对颈动脉斑块的分析和诊断提供重要的依据。另外，本发明提供的这种颈动脉斑块的性质判别方法还具有结果判别准确且效率高的优势。
其中，第一神经网络和第二神经网络是预先训练得到的网络，训练的步骤包括：
获取训练样本，所述训练样本包括n个训练超声造影视频以及每个训练超声造影视频的标注信息，所述标注信息包括第一标注信息和第二标注信息，所述第一标注信息用于标注所述训练超声造影视频中有斑块的血管所在的位置，所述第二标注信息用于标注所述训练超声造影视频中斑块的性质类别，n为大于等于2的整数；
根据所述n个训练超声造影视频和所述第一标注信息训练第一初始化网络，得到所述第一神经网络；
根据所述n个训练超声造影视频和所述第二标注信息训练第二初始化网络，得到所述第二神经网络。
应当理解的是，n个训练超声造影视频可以是历史获取的，比如，获取检查科室在历史3个月内采集的超声造影视频，又比如，获取实验室在历史一年内采集的超声造影视频。其中，为了实现对超声造影视频中具有斑块的血管的图像识别，则需要在训练超声造影视频中标注上有斑块的血管所在的位置，为了实现对超声造影视频中的斑块的性质类别的识别，则需要在训练超声造影视频中标注上有斑块的性质类别，即将易损的斑块和稳定的斑块分别进行标注，以便进行训练。
上述颈动脉斑块的性质判别方法的实施方式是基于在超声设备上直接进行性质判别实现的；当然还可以在后台服务器上实现对斑块的性质判别。
作为本发明的第二个方面，提供一种颈动脉斑块的性质判别方法，其中，如图3所示，所述颈动脉斑块的性质判别方法包括：
S310、获取训练样本，所述训练样本包括n个训练超声造影视频以及每个训练超声造影视频的第一标注信息和第二标注信息，所述第一标注信息用于标注所述训练超声造影视频中有斑块的血管所在的位置，所述第二标注信息用于标注所述训练超声造影视频中斑块的性质类别，n为大于等于2的整数；
S320、根据所述n个训练超声造影视频和所述第一标注信息训练第一初始化网络，得到第一神经网络；
S330、通过所述第一神经网络识别超声造影视频中有斑块的血管所在的位置；
S340、根据所述n个训练超声造影视频和所述第二标注信息训练第二初始化网络，得到第二神经网络；
S350、通过所述第二神经网络识别斑块的性质类别。
本发明提供的颈动脉斑块的性质判别方法，通过获取训练样本得到训练第一神经网络和第二神经网络所需的标注信息，然后通过标注信息分别训练对应的神经网络，最后通过训练得到的第一神经网络实现对有斑块的血管所在的位置的识别，以及通过训练得到的第二神经网络实现对斑块的性质类别的识别。
应当理解的是，所述训练超声造影视频是通过采集的颈动脉斑块的超声造影视频进行处理后得到的。且对训练超声造影视频的标注多是通过标注软件进行的，即在对超声造影视频进行处理，去除敏感部分，只保留有效超声图像的部分后，对超声造影视频进行解码然后送入标注软件进行标注。
具体地，在对训练超声造影视频进行标注时，可以采用10fps的帧率从中每秒采样出10张图像，用矩形框勾勒出包含有斑块的血管轮廓，并标注出该斑块的类别。
具体的，根据n个训练超声造影视频和第一标注信息训练第一初始化网络，得到第一神经网络的步骤包括：根据训练超声造影视频中的造影图像以及第一标注信息训练第一初始化网络。比如，将第一初始化网络的权重参数设置为0到1之间的随机数，并使用造影图像的图像参数训练上述第一初始化网络，迭代至loss(损失)最小后停止训练。
具体地，所述根据所述n个训练超声造影视频和所述第二标注信息训练第二初始化网络，得到第二神经网络包括：
通过特征提取模型提取所述n个训练超声造影视频中各帧图像中的图像特征；
根据提取到的所述图像特征和所述第二标注信息训练所述第二初始化网络，得到所述第二神经网络。
进一步地，在所述根据提取到的所述图像特征和所述第二标注信息训练所述第二初始化网络，得到所述第二神经网络的步骤前还包括：
将所述超声训练视频中的造影图像进行图像变换得到所述图像变换后的造影图像，其中所述图像变换包括平移、翻转、旋转和弹性变形中的至少一种；
通过所述特征提取模型提取所述图像变换后的造影图像中的图像特征。
需要说明的是，所述特征提取模型具体可以为网络模型(比如，Xception)，将图像缩放至299*299分辨率，作为Xception网络模型的输入，用该网络进行预测。本发明只需获取倒数第二层的网络输出，输出维度为2048，经过PCA(Principal Component Analysis，主成分分析)降维后为1024维，并保存成文件。对于保存下来的1024维度特征用t-sne可视化，如图4所示，可以看到有两类的聚类趋势，间接看出特征的可分性。
具体地，所述将所述超声训练视频中的造影图像进行图像变换包括：
构建与所述超声训练视频中的每张造影图像大小相同的随机图像；
对所述随机图像进行卷积，并根据卷积后的图像以及变形强度因子得到位移图像；
将所述位移图像作用在所述造影图像上，得到所述图像变换后的造影图像。
下面以弹性变形实现图像变换为例进行详细说明。
具体地，所述弹性变形的步骤包括：
只裁剪出原始图像中的造影部分，二维部分的图像不再使用。首先创建随机位移场来使图像变形，建立和原始图像一样大小的图像，其图像宽度为w，高度为h，每个像素坐标处建立Δx(x,y)＝rand(-1,+1)的随机场，rand表示随机数函数，此处表示生成-1～1之间的随机数，将该随机数的值赋值于该坐标的像素值，然后使用标准差为σ的高斯函数对该生成的图像进行卷积，将经过高斯卷积的结果乘以控制变形强度的比例因子α，得到一个弹性形变的位移场。最后将这个位移场作用在原始图像上，得到最终弹性形变增强的数据，并且标注的坐标也可以按照这个变换得到变换后的groundtruth(真实值)。如图5和图6所示，其中图5表示图像变换前的图像，图6表示图像变换后的图像。
具体地，所述第二初始化网络包括特征聚合模型和混合分类模型，
所述特征聚合模型用于输出聚合后的特征值；
所述混合分类模型用于根据聚合后的特征值输出斑块的性质类别。
具体地，如图7所示，所述第二初始化网络输入上述1024维度的特征，通道数为实际颈动脉造影视频降采样后的帧数。该网络模型主要包括两个部分即特征聚合模型和混合分类模型。特征聚合模型建立可用网络模型学习的参数列表，用深度学习的方法，自动学到其聚类中心和相关权重。对于特征聚合后的输入再进入一个特殊的分类网络中，得到最终的分类结果。
需要说明的是，所述特征聚合模型压缩具体方式为：
其中，输入N个D维的图像特征，V(j，k)表示最终特征聚合后的值。N表示颈动脉超声造影视频降采样后的帧数，xi的维度是D，D为1024，是上述网络模型Xception输出的结果。ck表示聚类中心，ak表示权重参数，即，最终的输出相邻V存储的是所有的x在其对应的聚类中的残差和，对上述公式进行网络化，即：
其中，wk、bk和ck表示网络模型的训练参数，维度分别为D*K、K和D*K，K表示聚类中心的数目，本发明的K以128为例，表示SoftMax的过程，通过模型中的SoftMax这一层就可以实现。具体地，首先建立D*K维度大小的权重学习矩阵m1，乘以输入模型的参数x，加上b，经过SoftMax网络层，得到ak，该维度为N*K，其中N表示帧数，ak再乘以输入x得到中间输出p1，计算ak倒数第二个维度的和乘以ck得到中间输出p2，p1-p2即为该模型的输出V，上述过程通过神经网络迭代的方法可以训练处最佳效果的wk、bk和ck。
进入混合分类模型之前，再添加一个隐藏层用于特征进一步压缩，上述输出维度为1*(K*D)，该隐藏层的参数为(K*D)*D2，D2在本发明中具体可以为1024，经过矩阵乘法得到最终输出维度为1*D2，即最终整个超声造影视频的输出特征向量的大小为1024。
混合网络模型是一个分类的网络，网络模型中由几个全连接网络实现，具体如图8所示。
图8所示的方法具体为：
其中，X表示上述特征压缩后的输出，维度为1024，Net1、Net2和Net3表示三个全连接网络，Net1和Net2是全连接网络，Net1和Net2的全连接网络其参数分别为Wk和ck，且只有一层。Net3这一全连接网络其参数为bk，也只有一层，y表示最终类别的输出，维度为2，且为one-hot编码，可选的，本发明的K值为2。该网络可以通过两个Net(Net1和Net2)的方式各自学习到特征的区分性，再通过一个门网络(Net3)最终通过求和的方式融合多个模型的输出结果，上面的参数可通过神经网络的方式训练得到。
需要说明的是，根据n个训练超声造影视频和所述第二标注信息训练第二初始化网络可以包括：将第二初始化网络的权重参数设置为0到1之间的随机数，训练图像采用Xcepetion网络模型提取后的数据，训练迭代至loss最小。
需要说明的是，上述判别斑块的稳定性的设备和训练第一神经网络和第二神经网络的设备可能是同一设备，也可能不是同一设备，本实施例对此并不做限定。
作为本发明的第三个方面，提供一种存储介质，其中，所述存储介质中存储有至少一条程序指令，所述至少一条程序指令用于被处理器加载并执行以实现如前文所述的颈动脉斑块的性质判别方法。
应当理解的是，本发明提供的存储介质能够存储用于执行前文所述的颈动脉斑块的性质判别方法的程序指令，因此能够为医护人员对颈动脉斑块的分析和诊断提供重要的依据。
作为本发明的第四个方面，提供一种超声装置，其中，所述超声装置包括处理器和存储器，所述存储器包括前文所述的存储介质，所述处理器用于加载并执行所述存储介质上的程序指令。
本发明提供的超声装置，由于采用了前文的存储器，存储用于执行前文所述的颈动脉斑块的性质判别方法的程序指令，因此能够有效识别出有斑块的血管的性质类别，实现了对颈动脉的血管的定性分析，从而为医护人员对颈动脉斑块的分析和诊断提供重要的依据。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。
Claims (10)
1.一种颈动脉斑块的性质判别方法，其特征在于，所述颈动脉斑块的性质判别方法包括：
获取包括颈动脉斑块的超声造影视频；
通过第一神经网络识别所述超声造影视频，得到血管视频，所述血管视频包括所述超声造影视频中有斑块的血管所在区域的图像流；
通过特征提取模型提取所述血管视频中的图像特征；
通过第二神经网络识别图像特征，得到血管中斑块的性质类别。
2.根据权利要求1所述的颈动脉斑块的性质判别方法，其特征在于，所述颈动脉斑块的性质判别方法还包括：
获取训练样本，所述训练样本包括n个训练超声造影视频以及每个训练超声造影视频的标注信息，所述标注信息包括第一标注信息和第二标注信息，所述第一标注信息用于标注所述训练超声造影视频中有斑块的血管所在的位置，所述第二标注信息用于标注所述训练超声造影视频中斑块的性质类别，n为大于等于2的整数；
根据所述n个训练超声造影视频和所述第一标注信息训练第一初始化网络，得到所述第一神经网络；
根据所述n个训练超声造影视频和所述第二标注信息训练第二初始化网络，得到所述第二神经网络。
3.一种颈动脉斑块的性质判别方法，其特征在于，所述颈动脉斑块的性质判别方法包括：
获取训练样本，所述训练样本包括n个训练超声造影视频以及每个训练超声造影视频的第一标注信息和第二标注信息，所述第一标注信息用于标注所述训练超声造影视频中有斑块的血管所在的位置，所述第二标注信息用于标注所述训练超声造影视频中斑块的性质类别，n为大于等于2的整数；
根据所述n个训练超声造影视频和所述第一标注信息训练第一初始化网络，得到第一神经网络，所述第一神经网络用于识别训练超声造影视频中有斑块的血管所在的位置；
根据所述n个训练超声造影视频和所述第二标注信息训练第二初始化网络，得到第二神经网络，所述第二神经网络用于识别斑块的稳定性。
4.根据权利要求3所述的颈动脉斑块的性质判别方法，其特征在于，所述根据所述n个训练超声造影视频和所述第一标注信息训练第一初始化网络，得到第一神经网络，包括：
根据所述n个训练超声造影视频中的造影图像和所述第一标注信息训练所述第一初始化网络，得到所述第一神经网络。
5.根据权利要求3所述的颈动脉斑块的性质判别方法，其特征在于，所述根据所述n个训练超声造影视频和所述第二标注信息训练第二初始化网络，得到第二神经网络，包括：
通过特征提取模型提取所述n个训练超声造影视频中各帧图像中的图像特征；
根据提取到的所述图像特征和所述第二标注信息训练所述第二初始化网络，得到所述第二神经网络。
6.根据权利要求5所述的颈动脉斑块的性质判别方法，其特征在于，所述根据提取到的所述图像特征和所述第二标注信息训练所述第二初始化网络，得到所述第二神经网络之前，还包括：
将所述超声训练视频中的造影图像进行图像变换得到所述图像变换后的造影图像，其中所述图像变换包括平移、翻转、旋转和弹性变形中的至少一种；
通过所述特征提取模型提取所述图像变换后的造影图像中的图像特征。
7.根据权利要求6所述的颈动脉斑块的性质判别方法，其特征在于，所述将所述超声训练视频中的造影图像进行图像变换包括：
对于所述超声训练视频中的每一张造影图像，构建与所述造影图像相同大小的随机图像；
对所述随机图像进行卷积，并根据卷积后的图像以及变形强度因子得到位移图像；
将所述位移图像作用在所述造影图像上，得到所述图像变换后的造影图像。
8.根据权利要求5所述的颈动脉斑块的性质判别方法，其特征在于，所述第二初始化网络包括特征聚合模型和混合分类模型，
所述特征聚合模型用于输出聚合后的特征值；
所述混合分类模型用于根据聚合后的特征值输出斑块的性质类别。
9.一种存储介质，其特征在于，所述存储介质中存储有至少一条程序指令，所述至少一条程序指令用于被处理器加载并执行以实现如权利要求1或2所述的颈动脉斑块的性质判别方法，或者，实现如权利要求3至8中任意一项所述的颈动脉斑块的性质判别方法。
10.一种超声装置，其特征在于，所述超声装置包括处理器和存储器，所述存储器包括权利要求9所述的存储介质，所述处理器用于加载并执行所述存储介质上的程序指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910583400.2A CN110310271B (zh) | 2019-07-01 | 2019-07-01 | 颈动脉斑块的性质判别方法、存储介质及超声装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910583400.2A CN110310271B (zh) | 2019-07-01 | 2019-07-01 | 颈动脉斑块的性质判别方法、存储介质及超声装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110310271A true CN110310271A (zh) | 2019-10-08 |
| CN110310271B CN110310271B (zh) | 2023-11-24 |
Family
ID=68078076
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910583400.2A Active CN110310271B (zh) | 2019-07-01 | 2019-07-01 | 颈动脉斑块的性质判别方法、存储介质及超声装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110310271B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111145173A (zh) * | 2019-12-31 | 2020-05-12 | 上海联影医疗科技有限公司 | 一种冠脉造影图像的斑块识别方法、装置、设备及介质 |
| CN111709925A (zh) * | 2020-05-26 | 2020-09-25 | 深圳科亚医疗科技有限公司 | 用于血管斑块分析的装置、系统及介质 |
| CN111816281A (zh) * | 2020-06-23 | 2020-10-23 | 无锡祥生医疗科技股份有限公司 | 超声影像查询装置 |
| CN111950388A (zh) * | 2020-07-22 | 2020-11-17 | 上海市同仁医院 | 一种易损性斑块跟踪识别系统及方法 |
| CN112215836A (zh) * | 2020-10-22 | 2021-01-12 | 深圳市第二人民医院(深圳市转化医学研究院) | 基于医学超声图像的颈动脉斑块检测方法及装置 |
| CN113710166A (zh) * | 2020-03-19 | 2021-11-26 | 艾多特公司 | 一种颈动脉超声诊断系统 |
| CN114092744A (zh) * | 2021-11-26 | 2022-02-25 | 山东大学 | 一种颈动脉超声图像斑块分类检测方法及系统 |
| CN114469174A (zh) * | 2021-12-17 | 2022-05-13 | 上海深至信息科技有限公司 | 一种基于超声扫查视频的动脉斑块识别方法及系统 |
| WO2023061104A1 (zh) * | 2021-10-13 | 2023-04-20 | 山东大学 | 一种基于多模态信息的颈动脉超声报告生成系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130046168A1 (en) * | 2011-08-17 | 2013-02-21 | Lei Sui | Method and system of characterization of carotid plaque |
| CN107730497A (zh) * | 2017-10-27 | 2018-02-23 | 哈尔滨工业大学 | 一种基于深度迁移学习的血管内斑块属性分析方法 |
-
2019
- 2019-07-01 CN CN201910583400.2A patent/CN110310271B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130046168A1 (en) * | 2011-08-17 | 2013-02-21 | Lei Sui | Method and system of characterization of carotid plaque |
| CN107730497A (zh) * | 2017-10-27 | 2018-02-23 | 哈尔滨工业大学 | 一种基于深度迁移学习的血管内斑块属性分析方法 |
Non-Patent Citations (2)
| Title |
|---|
| 孙夏，等: "基于卷积神经网络的颈动脉斑块超声图像特征识别" * |
| 杨鑫: "三维超声图像中颈动脉粥样硬化的表型量化与分析" * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111145173A (zh) * | 2019-12-31 | 2020-05-12 | 上海联影医疗科技有限公司 | 一种冠脉造影图像的斑块识别方法、装置、设备及介质 |
| CN111145173B (zh) * | 2019-12-31 | 2024-04-26 | 上海联影医疗科技股份有限公司 | 一种冠脉造影图像的斑块识别方法、装置、设备及介质 |
| CN113710166A (zh) * | 2020-03-19 | 2021-11-26 | 艾多特公司 | 一种颈动脉超声诊断系统 |
| CN111709925B (zh) * | 2020-05-26 | 2023-11-03 | 深圳科亚医疗科技有限公司 | 用于血管斑块分析的装置、系统及介质 |
| CN111709925A (zh) * | 2020-05-26 | 2020-09-25 | 深圳科亚医疗科技有限公司 | 用于血管斑块分析的装置、系统及介质 |
| CN111816281A (zh) * | 2020-06-23 | 2020-10-23 | 无锡祥生医疗科技股份有限公司 | 超声影像查询装置 |
| CN111816281B (zh) * | 2020-06-23 | 2024-05-14 | 无锡祥生医疗科技股份有限公司 | 超声影像查询装置 |
| CN111950388A (zh) * | 2020-07-22 | 2020-11-17 | 上海市同仁医院 | 一种易损性斑块跟踪识别系统及方法 |
| CN111950388B (zh) * | 2020-07-22 | 2024-04-05 | 上海市同仁医院 | 一种易损性斑块跟踪识别系统及方法 |
| CN112215836A (zh) * | 2020-10-22 | 2021-01-12 | 深圳市第二人民医院(深圳市转化医学研究院) | 基于医学超声图像的颈动脉斑块检测方法及装置 |
| WO2023061104A1 (zh) * | 2021-10-13 | 2023-04-20 | 山东大学 | 一种基于多模态信息的颈动脉超声报告生成系统 |
| CN114092744A (zh) * | 2021-11-26 | 2022-02-25 | 山东大学 | 一种颈动脉超声图像斑块分类检测方法及系统 |
| CN114092744B (zh) * | 2021-11-26 | 2024-05-17 | 山东大学 | 一种颈动脉超声图像斑块分类检测方法及系统 |
| CN114469174A (zh) * | 2021-12-17 | 2022-05-13 | 上海深至信息科技有限公司 | 一种基于超声扫查视频的动脉斑块识别方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110310271B (zh) | 2023-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110310271A (zh) | 颈动脉斑块的性质判别方法、存储介质及超声装置 | |
| US8073215B2 (en) | Automated detection of planes from three-dimensional echocardiographic data | |
| Dong et al. | A generic quality control framework for fetal ultrasound cardiac four-chamber planes | |
| JP2022123076A (ja) | ユーザによる超音波装置の操作を援助するための自動画像取得 | |
| US8218849B2 (en) | Method and system for automatic landmark detection using discriminative joint context | |
| JP5226978B2 (ja) | 超音波診断装置及び画像処理プログラム | |
| CN110428417A (zh) | 颈动脉斑块的性质判别方法、存储介质及超声装置 | |
| Nurmaini et al. | Accurate detection of septal defects with fetal ultrasonography images using deep learning-based multiclass instance segmentation | |
| JP2012155723A (ja) | 三次元医療映像から最適の二次元医療映像を自動的に生成する方法及び装置 | |
| US10238368B2 (en) | Method and system for lesion detection in ultrasound images | |
| CN111583320B (zh) | 融合深度卷积网络和影像组学特征的乳腺癌超声图分型方法、系统及存储介质 | |
| McDermott et al. | Sonographic diagnosis of COVID-19: A review of image processing for lung ultrasound | |
| US9324155B2 (en) | Systems and methods for determining parameters for image analysis | |
| EP3742973A1 (en) | Device and method for obtaining anatomical measurements from an ultrasound image | |
| US11532084B2 (en) | Gating machine learning predictions on medical ultrasound images via risk and uncertainty quantification | |
| JP2023525743A (ja) | 各画像が捕捉された特定のビューに敏感な方法で医療画像内の解剖学的構造を自動的に識別する | |
| Behnami et al. | Automatic detection of patients with a high risk of systolic cardiac failure in echocardiography | |
| Sun et al. | Cascade faster R-CNN detection for vulnerable plaques in OCT images | |
| Chiang et al. | A touchless interaction interface for observing medical imaging | |
| US20230137369A1 (en) | Aiding a user to perform a medical ultrasound examination | |
| CN110300548A (zh) | 超声评价解剖特征 | |
| Liu et al. | Multislice left ventricular ejection fraction prediction from cardiac MRIs without segmentation using shared SptDenNet | |
| CN113229850A (zh) | 超声盆底成像方法和超声成像系统 | |
| CN116091516A (zh) | 医学图像配准方法、医学影像系统及超声成像系统 | |
| WO2022134028A1 (zh) | 相似病例检索方法、相似病例检索系统和超声成像系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |