CN111161216A - 基于深度学习的血管内超声图像处理方法、装置、设备和存储介质 - Google Patents

基于深度学习的血管内超声图像处理方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN111161216A
CN111161216A CN201911252805.4A CN201911252805A CN111161216A CN 111161216 A CN111161216 A CN 111161216A CN 201911252805 A CN201911252805 A CN 201911252805A CN 111161216 A CN111161216 A CN 111161216A
Authority
CN
China
Prior art keywords
intravascular ultrasound
ultrasound image
neural network
deep neural
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911252805.4A
Other languages
English (en)
Inventor
向建平
赵亚
鲁伟
赵行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Arteryflow Technology Co ltd
Original Assignee
Hangzhou Arteryflow Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Arteryflow Technology Co ltd filed Critical Hangzhou Arteryflow Technology Co ltd
Priority to CN201911252805.4A priority Critical patent/CN111161216A/zh
Publication of CN111161216A publication Critical patent/CN111161216A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种血管内超声图像处理方法、装置、设备和存储介质。其中，血管内超声图像处理方法，包括如下步骤：获取血管内超声图像并进行标注形成训练数据集，然后将所述血管内超声图像输入深度神经网络图像分割模型，得到血管壁分割结果，所述深度神经网络模型基于8层U‑Net模型训练得到。本发明提供的血管内超声图像处理方法、装置、设备和存储介质，能够避免人为分割带来的误差与精度缺失，精度更好，效率更高、鲁棒性更强。

Description

基于深度学习的血管内超声图像处理方法、装置、设备和存储 介质
技术领域
本申请涉及医疗图像处理技术领域，特别是涉及一种血管内超声图像处理方法、装置、设备和存储介质。
背景技术
中国心血管患病率及死亡率非常高，心血管患病人数2.9亿，心血管病死亡率占疾病死亡率40％以上，位列首位。血管内超声(intravascular ultrasound，IVUS)通过导管技术将微型超声探头送入血管腔内，显示血管横截面图像，从而提供血管腔内影像。
正常冠状动脉的血管壁由具有不同回声特性的层状结构组成，在IVUS上通常呈现3层结构：内层代表内膜和内弹力膜，表现为纤薄的白色回声带；中层为中间无回声层(黑色或暗灰色)，代表中膜；外层有特征性的“洋葱皮”样表现，代表外膜和外膜周围的组织。血管的外膜边界通常无法识别，主要是由于外膜和周围组织无明显的回声差异。值得注意的是，IVUS上的3层结构并不真正代表血管的3层结构，仅有两个清楚的界面与组织学对应，为管腔-内膜交界面和中膜-外膜交界面。
IVUS通常将斑块内的回声与血管周围代表外膜或外膜周围组织的回声进行比较，来确定斑块的“软硬”程度，据此可分为：(1)低回声斑块。也就是通常所说的软斑块，通常提示斑块的脂质含量较多，斑块内的坏死带、斑块内容物溢出后留下的空腔、壁内出血、血肿或血栓等也可表现为低回声。(2)等回声斑块。通常提示纤维斑块，其回声与外膜类似。(3)高回声斑块。提示钙化，表现为回声超过周围的外膜组织，并伴有下方的声影。混合性斑块指斑块含有1种以上回声特性的组织，也有将其描述为纤维钙化斑块或纤维脂质斑块。
IVUS能够精确测定管腔、血管直径、判断病变严重程度及性质，在提高对冠状动脉病变的认识和指导介入治疗方面起了非常重要的作用。临床医生需要花费大量时间分析数百帧的IVUS图像以便对病情做出判断，肉眼识别、手动勾勒内膜管腔、斑块和中-外膜区域，费时费力，存在一定的人为误差，精度难以得到保证。
发明内容
本发明提供了一系列基于深度神经网络的血管内超声图像处理方法，用于自动获取血管壁分割结果。包括：
获取血管内超声图像；
将所述血管内超声图像输入深度神经网络模型，得到血管壁分割结果，所述深度神经网络模型基于8层U-Net模型训练得到。
以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方案进行组合，还可以是多个可选方式之间进行组合。
可选地，所述8层U-Net模型的训练图像集的获取方式包括如下步骤：
获取若干血管内超声图像并相应进行标注，组成初始图像集；
训练过程中每次迭代时，将初始图像集中的每幅血管内超声图像通过N次变换得到N幅增强图像，N≥6，每次变换包括依次进行的随机旋转和随机翻转；
为初始图像和增强图像分别添加坐标信息后，共同组成训练图像集。
可选地，所述随机旋转时旋转角度为90度、180度或270度；所述随机翻转为上下翻转或左右翻转。
可选地，所述8层U-Net模型包括下采样路径和上采样路径：
所述下采样路径包括9个编码块，每个编码块包含两个3×3卷积层，每个卷积层后添加有一个批量归一化层和一个LeakyReLU激活层，每个编码块利用一个3×3卷积层进行下采样；
所述上采样路径包括8个解码块，每个解码块包含两个3×3卷积层，每个卷积层后添加有一个批量归一化层和一个LeakyReLU激活层，每个解码块利用一个5×5转置卷积层进行上采样；
所述下采样路径和上采样路径中对应块的特征图按照通道维度进行跳跃连接。
本申请还提供了一种基于深度神经网络的血管内超声图像处理装置，包括：
第一模块，用于获取血管内超声图像；
第二模块，用于将所述血管内超声图像输入深度神经网络模型，得到血管壁分割结果，所述深度神经网络模型基于8层U-Net模型训练得到。
本申请还提供了一种基于深度神经网络的血管内超声图像处理装置，包括计算机存储器、计算机处理器、以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机处理器执行所述计算机程序时，实现所述的基于深度神经网络的血管内超声图像处理方法。
本申请还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述的基于深度神经网络的血管内超声图像处理方法。
本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被计算机处理器执行时实现所述的基于深度神经网络的血管内超声图像处理方法。
本申请提供的基于深度神经网络的血管内超声图像处理方法，精度更好，效率更高、鲁棒性更强。
附图说明
图1为基于深度神经网络的血管内超声图像处理方法的流程图；
图2为本申请的深度神经网络的训练过程；
图3中：(a)、(b)、(c)为本申请labelme标注IVUS图像的过程；
图4中：(a)IVUS原始图像，(b)为标注的血管结构，(c)为本申请方法预测分割得到的血管目标区域；
图5为本申请的神经网络结构图；
图6为标注得到的目标区域(水平椭圆包围区域)、和采用本申请方法分割得到的目标区域(竖直椭圆包围区域)的示意图；
图7为其中一个实施例中计算机设备的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了更好地描述和说明本申请的实施例，可参考一幅或多幅附图，但用于描述附图的附加细节或示例不应当被认为是对本申请的发明创造、目前所描述的实施例或优选方式中任何一者的范围的限制。
需要说明的是，当组件被称为与另一个组件“连接”时，它可以直接与另一个组件连接或者也可以存在居中的组件。当一个组件被认为是“设置于”另一个组件，它可以是直接设置在另一个组件上或者可能同时存在居中组件。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。
一种基于深度神经网络的血管内超声图像处理方法，包括：
获取血管内超声图像；
将血管内超声图像输入深度神经网络模型，得到血管壁分割结果，深度神经网络模型基于8层U-Net模型训练得到。
本申请采用8层U-Net模型训练得到深度神经网络模型，能够提炼出更深层次的抽象信息，提高血管内超声图像处理的精度，即保证血管壁分割结果的精度。
深度神经网络模型优选采用U-Net模型，也可以采用Nested-U-Net、Ladder-U-Net、MultiScale-RNN-U-Net、Residual-Attention-U-Net，U-Net也可替换为V-Net或者SegNet。
基于U-Net模型自动生成神经网络结构，乘法-加法计算量、参数量均显著减少，对多尺度的、形态多变的血管和斑块组织具有高度的泛化性，分割精度高。
如图1所示，8层U-Net模型的训练图像集的获取方式包括如下步骤：
获取若干血管内超声图像并相应进行标注，组成初始图像集；
训练过程中每次迭代时，将初始图像集中的每幅血管内超声图像通过N次变换得到N幅增强图像，N≥6，每次变换包括依次进行的随机旋转和随机翻转；
为初始图像和增强图像分别添加坐标信息后，共同组成训练图像集。
训练图像集中初始血管内超声图像(即IVUS DICOM图像数据)的采集条件为：
IVUS探头的频率为20～65MHz，IVUS探头分辨率为70～200微米，投射深度4～8毫米，扫描范围10～15毫米。
用于训练的的各血管内超声图像需要涵盖多种血管状态下的图像特征，例如，血管具有硬斑块、软斑块、血管分叉、血管分支、超声阴影、含支架等状态。
不同来源的血管内超声图像差异较大，医生的操作偏好、图像伪影、图像对比度和超声噪点都可能会对血管内超声图像造成影响，因此，获取血管内超声图像时应尽可能地扩大来源。
至少三组医生使用labelme标注工具对血管内超声图像中的各血管内超声图像进行标注，每组医生的标注结果相互独立，相互验证。
深度神经网络模型的训练除了需要用到训练集图像，也需要用到测试集图像，测试集图像中各图像的处理过程以及要求与训练集图像相同，即同样需要涵盖多种血管形态下的图像特征，同样需要进行标注。
在实际操作时，收集100个病人的血管内超声图像，每幅血管内超声图像的大小为512×512像素，每个病例间隔的选取10～100张血管形态特征清楚的血管内超声图像，将各血管内超声图像转换为灰度范围0～255的PNG图像，运用标注工具labelme对各血管内超声图像进行标注，标注结果中能够表达血管壁内外膜的边界，标注结果如图3所示。
将所有标注完毕的血管内超声图像划分为训练图像集和测试图像集，训练图像和测试图像的数量比为8：2，保证训练集图像和测试集图像具有相似的图像分布。
在其中一个实施例中，选取16000个图像作为训练集、2000个图像作为测试集图像。
为了提高神经网络模型的泛化能力和鲁棒性，针对不同的迭代批次，对初始图像集的图像进行在线增强，即每次迭代时采用不同的增强后训练图像集进行训练。
在线增强通过对初始图像集中的图像进行变换得到，随机旋转时旋转角度为90度、180度或270度；随机翻转为上下翻转或左右翻转。
在其中一个实施例中，对16000幅训练集图像进行8倍数据在线增强，得到增强后的128000幅图像，每次迭代时采用128000幅图像进行特征提取。
在原始图像中为每个像素添加坐标信息，能够帮助深度神经网络记录不同像素的具体坐标信息，使图像特征的坐标信息能够更好地被识别。坐标信息采用笛卡尔网格点坐标的形式(也即meshgrid)，原始图像为单通道灰度图(第一通道)，横坐标和纵坐标添加至原始图像后的第二及第三通道，增强为三通道图像输入神经网络进行训练和预测分割。
因血管形态和斑块组织的多样性，采用增强图像的方式增强数据集具有更好的泛化性，对各图像的每个像素点添加坐标信息也能够显著提升分割的准确性和精度。
如图5所示，8层U-Net模型包括下采样路径和上采样路径：
下采样路径包括9个编码块，每个编码块包含两个3×3卷积层(步长为1)，每个卷积层后添加有一个批归一化层(即BN层，加速网络收敛)和一个LeakyReLU激活层(负轴斜率为0.1，使得负轴信息不会全部丢失，一定程度上防止ReLU导致的神经元失效，即梯度消失的问题)，每个编码块利用一个3×3卷积层(步长为2)进行下采样，将特征图大小减半，到下一个编码块的第一个3×3卷积层，将特征通道数加倍；
上采样路径包括8个解码块，每个解码块包含两个3×3卷积层，每个卷积层后同样添加有一个BN层和一个LeakyReLU激活层，每个解码块利用一个5×5反卷积层(步长为2，增大感受野以提高上采样的程度)，将特征图大小加倍-进行上采样，到下一个解码块的第一个3×3卷积层，将特征通道数减半；
下采样路径和上采样路径中对应块的特征图按照通道维度进行跳跃连接。
在最后一个解码块中，利用一个1×1卷积层(步长为1)将特征向量映射到一维空间输出像素概率图。
下采样路径用于编码处理输入的图像，获取上下文信息，上采样路径用于解码修复图像细节和空间维度，产生像素级的标签输出，实现精确的定位。在定位操作中，采取叠操作形式的跳跃连接，将下采样路径中每层的浅层特征与上采样路径中对应层的通过上采样操作获得的深层特征进行连接，随后连续的卷积层基于该信息学习，缓解随网络层数增加而导致的梯度弥散问题。
在其中一个实施例中，如图2所示，8层U-Net模型的训练过程包括：
步骤1，在训练深度神经网络模型时，设置学习率learning rate为0.001，批次大小batch size为16，迭代次数为6000～8000，每2000～3000次迭代，学习率衰减10％；
步骤2，对16000幅初始训练集图像进行8倍数据在线增强，得到128000幅训练集图像；
步骤3，将128000幅训练集图像随机划分为8000个批次(batch)，每个batch包含16幅图像。记当前批次batch为0，进入步骤4；
步骤4，将当前batch输入深度神经网络模型；
步骤5，使用softmax表示各个样本的概率，采用交叉熵(CE)损失函数估量网络的预测值与真实值的不一致程度，通过adam优化函数，配合用户输入的学习速率和损失函数，使用反向传播(BP)算法逐层更新网络参数。更新batch＝batch+1，如果batch大于8000，则batch为0，从头开始计数，若总更新步数小于预设的迭代次数，则进入步骤4，反之则进入步骤6；
步骤6，保存训练好的深度神经网络模型，利用测试集的108幅图像，做内外血管壁的分割，同时计算分割出的内外血管壁与标注的内外血管壁基准之间图像的交集与并集，交集与并集的商为叫交并比(IoU)，作为为评判图像分割效果的标准。
训练的过程中不断调整模型参数，根据最后计算得到的IoU值，调优得到最优分割模型，并保存模型.最终输出最佳IVUS分割结果。
利用本申请提供的血管内超声图像处理方法对20个病人的IVUS图像进行血管壁分割，结果如图4所示。
图4中，(a)为采集得到的原始IVUS图像，(b)为使用labelme标注的图像，作为对比标准(GT)，(c)为采用本申请提供的方法分割得到的图像。
采用IoU系数和精确度(Precision)两项指标评估分割结果与GT之间的一致性。如图6所示，ΩSeg表示分割得到的目标区域，等于TP+FP，ΩGT表示标准的目标区域，等于TP+FN。其中，TP表示ΩSeg中正确分割为正类的像素数，TN表示非ΩSeg中正确分割为负类的像素数，FP表示ΩSeg中错误分割为正类的像素数，FN表示非ΩSeg中错误分割为负类的像素数。
IoU系数(式(Ⅰ))度量了分割得到的目标区域与标准的目标区域的空间重合度，精确度(Precision)(式(Ⅱ))度量了分割得到的目标区域中实际为正类像素的比例。两项指标评估值都在0到1之间，值越大代表ΩSeg与ΩGT之间的一致性越高，分割结果越好。
IoU＝(ΩSeg∩ΩGT)/(ΩSeg∪ΩGT)＝TP/(TP+FP+FN) 式(Ⅰ)
Precision＝(ΩSeg∩ΩGT)/ΩSeg＝TP/(TP+FP) 式(Ⅱ)
表1：本申请方法分割IVUS冠脉血管Lumen的评估结果
IoU Precision
0.941 98.95％
表2：本申请方法分割IVUS冠脉血管EEM与Lumen中间区域的评估结果
IoU Precision
0.851 97.45％
从图6和表1、2可知本申请方法对于IVUS冠脉血管Lumen和EEM具有较高的分割精度。
在一个实施例中，一种基于深度神经网络的血管内超声图像处理装置，包括：
第一模块，用于获取血管内超声图像；
第二模块，用于将血管内超声图像输入深度神经网络模型，得到血管壁分割结果，深度神经网络模型基于8层U-Net模型训练得到。
关于各模块中功能限定可参见上文中基于深度神经网络的血管内超声图像处理方法的限定，在此不再赘述。上述基于深度神经网络的血管内超声图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
本实施例提供的基于深度神经网络的血管内超声图像处理装置可配置在远端，通过与之相连的远程终端获取血管内超声图像，还可以是本实施例装置本身就配置在终端(例如用户使用的计算机或医用检测设备)，直接通过血管内超声图像采集装置获取血管内超声图像。
在一个实施例中，提供了一种基于深度神经网络的血管内超声图像处理装置，包括计算机存储器、计算机处理器、以及存储在计算机存储器中并可在计算机处理器上执行的计算机程序，计算机处理器执行计算机程序时，实现所述的基于深度神经网络的血管内超声图像处理方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。
该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现基于深度神经网络的血管内超声图像处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现所述的基于深度神经网络的血管内超声图像处理方法。
在一个实施例中，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被计算机处理器执行时实现所述的基于深度神经网络的血管内超声图像处理方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种基于深度神经网络的血管内超声图像处理方法，其特征在于，包括：
获取血管内超声图像；
将所述血管内超声图像输入深度神经网络模型，得到血管壁分割结果，所述深度神经网络模型基于8层U-Net模型训练得到。
2.如权利要求1所述的基于深度神经网络的血管内超声图像处理方法，其特征在于，所述8层U-Net模型的训练图像集的获取方式包括如下步骤：
获取若干血管内超声图像并相应进行标注，组成初始图像集；
训练过程中每次迭代时，将初始图像集中的每幅血管内超声图像通过N次变换得到N幅增强图像，N≥6，每次变换包括依次进行的随机旋转和随机翻转；
为初始图像和增强图像分别添加坐标信息后，共同组成训练图像集。
3.如权利要求2所述的基于深度神经网络的血管内超声图像处理方法，其特征在于，所述随机旋转时旋转角度为90度、180度或270度；所述随机翻转为上下翻转或左右翻转。
4.如权利要求1所述的基于深度神经网络的血管内超声图像处理方法，其特征在于，所述8层U-Net模型包括下采样路径和上采样路径：
所述下采样路径包括9个编码块，每个编码块包含两个3×3卷积层，每个卷积层后添加有一个批量归一化层和一个LeakyReLU激活层，每个编码块利用一个3×3卷积层进行下采样；
所述上采样路径包括8个解码块，每个解码块包含两个3×3卷积层，每个卷积层后添加有一个批量归一化层和一个LeakyReLU激活层，每个解码块利用一个5×5反卷积层进行上采样；
所述下采样路径和上采样路径中对应块的特征图按照通道维度进行跳跃连接。
5.一种基于深度神经网络的血管内超声图像处理装置，其特征在于，包括：
第一模块，用于获取血管内超声图像；
第二模块，用于将所述血管内超声图像输入深度神经网络模型，得到血管壁分割结果，所述深度神经网络模型基于8层U-Net模型训练得到。
6.一种基于深度神经网络的血管内超声图像处理装置，其特征在于，包括计算机存储器、计算机处理器、以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于，所述计算机处理器执行所述计算机程序时，实现如权利要求1～4任一项所述的基于深度神经网络的血管内超声图像处理方法。
7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1～4中任一项所述的基于深度神经网络的血管内超声图像处理方法。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被计算机处理器执行时实现如权利要求1～4中任一项所述的基于深度神经网络的血管内超声图像处理方法。
CN201911252805.4A 2019-12-09 2019-12-09 基于深度学习的血管内超声图像处理方法、装置、设备和存储介质 Pending CN111161216A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911252805.4A CN111161216A (zh) 2019-12-09 2019-12-09 基于深度学习的血管内超声图像处理方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911252805.4A CN111161216A (zh) 2019-12-09 2019-12-09 基于深度学习的血管内超声图像处理方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN111161216A true CN111161216A (zh) 2020-05-15

Family

ID=70556621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911252805.4A Pending CN111161216A (zh) 2019-12-09 2019-12-09 基于深度学习的血管内超声图像处理方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN111161216A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111627017A (zh) * 2020-05-29 2020-09-04 昆山戎影医疗科技有限公司 一种基于深度学习的血管管腔自动分割方法
CN111754534A (zh) * 2020-07-01 2020-10-09 杭州脉流科技有限公司 基于深度神经网络的ct左心室短轴图像分割方法、装置、计算机设备和存储介质
CN111768391A (zh) * 2020-07-01 2020-10-13 杭州脉流科技有限公司 一种基于ct影像的全自动心脏功能学分析方法、装置、计算机设备以及存储介质
CN111815597A (zh) * 2020-07-01 2020-10-23 杭州脉流科技有限公司 基于ct影像的左心室长短轴切面提取方法、装置、计算机设备和存储介质
CN111816282A (zh) * 2020-07-01 2020-10-23 杭州脉流科技有限公司 基于ct影像的左心室功能学分析方法、装置、计算机设备和存储介质
CN112365422A (zh) * 2020-11-17 2021-02-12 重庆邮电大学 基于深层聚合网络的不规则缺失图像修复方法及其系统
CN112686849A (zh) * 2020-12-24 2021-04-20 山东众阳健康科技集团有限公司 一种基于三维卷积神经网络的肺叶分割系统
CN112927212A (zh) * 2021-03-11 2021-06-08 上海移视网络科技有限公司 基于深度学习的oct心血管斑块自动识别与分析方法
CN113111906A (zh) * 2021-02-24 2021-07-13 浙江大学 一种基于单对图像训练的条件生成对抗网络模型的方法
CN113303827A (zh) * 2021-06-07 2021-08-27 昆明同心医联科技有限公司 基于深度学习的颈动脉狭窄检测方法、装置及存储介质
CN113408596A (zh) * 2021-06-09 2021-09-17 北京小白世纪网络科技有限公司 病理图像的处理方法、装置、电子设备及可读存储介质
CN113749690A (zh) * 2021-09-24 2021-12-07 无锡祥生医疗科技股份有限公司 血管的血流量测量方法、装置及存储介质
CN114271908A (zh) * 2021-12-09 2022-04-05 上海杏脉信息科技有限公司 超声介入引导装置、介质及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180108139A1 (en) * 2016-10-19 2018-04-19 U.S. Department Of Veterans Affairs System And Method For N-Dimensional Image Segmentation Using Convolutional Neural Networks
WO2018111940A1 (en) * 2016-12-12 2018-06-21 Danny Ziyi Chen Segmenting ultrasound images
CN109509178A (zh) * 2018-10-24 2019-03-22 苏州大学 一种基于改进的U-net网络的OCT图像脉络膜分割方法
CN109859146A (zh) * 2019-02-28 2019-06-07 电子科技大学 一种基于U-net卷积神经网络的彩色眼底图像血管分割方法
CN110097559A (zh) * 2019-04-29 2019-08-06 南京星程智能科技有限公司 基于深度学习的眼底图像病灶区域标注方法
CN110136157A (zh) * 2019-04-09 2019-08-16 华中科技大学 一种基于深度学习的三维颈动脉超声图像血管壁分割方法
CN110443808A (zh) * 2019-07-04 2019-11-12 杭州深睿博联科技有限公司 用于脑中线检测的医疗图像处理方法及装置、设备、存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180108139A1 (en) * 2016-10-19 2018-04-19 U.S. Department Of Veterans Affairs System And Method For N-Dimensional Image Segmentation Using Convolutional Neural Networks
WO2018111940A1 (en) * 2016-12-12 2018-06-21 Danny Ziyi Chen Segmenting ultrasound images
CN109509178A (zh) * 2018-10-24 2019-03-22 苏州大学 一种基于改进的U-net网络的OCT图像脉络膜分割方法
CN109859146A (zh) * 2019-02-28 2019-06-07 电子科技大学 一种基于U-net卷积神经网络的彩色眼底图像血管分割方法
CN110136157A (zh) * 2019-04-09 2019-08-16 华中科技大学 一种基于深度学习的三维颈动脉超声图像血管壁分割方法
CN110097559A (zh) * 2019-04-29 2019-08-06 南京星程智能科技有限公司 基于深度学习的眼底图像病灶区域标注方法
CN110443808A (zh) * 2019-07-04 2019-11-12 杭州深睿博联科技有限公司 用于脑中线检测的医疗图像处理方法及装置、设备、存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
袁绍锋;杨丰;徐琳;吴洋洋;黄靖;刘娅琴;: "有条件生成对抗网络的IVUS图像内膜与中-外膜边界检测" *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111627017A (zh) * 2020-05-29 2020-09-04 昆山戎影医疗科技有限公司 一种基于深度学习的血管管腔自动分割方法
CN111754534A (zh) * 2020-07-01 2020-10-09 杭州脉流科技有限公司 基于深度神经网络的ct左心室短轴图像分割方法、装置、计算机设备和存储介质
CN111768391A (zh) * 2020-07-01 2020-10-13 杭州脉流科技有限公司 一种基于ct影像的全自动心脏功能学分析方法、装置、计算机设备以及存储介质
CN111815597A (zh) * 2020-07-01 2020-10-23 杭州脉流科技有限公司 基于ct影像的左心室长短轴切面提取方法、装置、计算机设备和存储介质
CN111816282A (zh) * 2020-07-01 2020-10-23 杭州脉流科技有限公司 基于ct影像的左心室功能学分析方法、装置、计算机设备和存储介质
CN111754534B (zh) * 2020-07-01 2024-05-31 杭州脉流科技有限公司 基于深度神经网络的ct左心室短轴图像分割方法、装置、计算机设备和存储介质
CN111815597B (zh) * 2020-07-01 2024-04-12 杭州脉流科技有限公司 基于ct影像的左心室长短轴切面提取方法、装置、计算机设备和存储介质
CN111768391B (zh) * 2020-07-01 2024-04-05 杭州脉流科技有限公司 一种基于ct影像的全自动心脏功能学分析方法、装置、计算机设备以及存储介质
CN112365422A (zh) * 2020-11-17 2021-02-12 重庆邮电大学 基于深层聚合网络的不规则缺失图像修复方法及其系统
CN112686849A (zh) * 2020-12-24 2021-04-20 山东众阳健康科技集团有限公司 一种基于三维卷积神经网络的肺叶分割系统
CN113111906B (zh) * 2021-02-24 2022-07-12 浙江大学 一种基于单对图像训练的条件生成对抗网络模型的方法
CN113111906A (zh) * 2021-02-24 2021-07-13 浙江大学 一种基于单对图像训练的条件生成对抗网络模型的方法
CN112927212B (zh) * 2021-03-11 2023-10-27 上海移视网络科技有限公司 基于深度学习的oct心血管斑块自动识别与分析方法
CN112927212A (zh) * 2021-03-11 2021-06-08 上海移视网络科技有限公司 基于深度学习的oct心血管斑块自动识别与分析方法
CN113303827A (zh) * 2021-06-07 2021-08-27 昆明同心医联科技有限公司 基于深度学习的颈动脉狭窄检测方法、装置及存储介质
CN113408596B (zh) * 2021-06-09 2022-09-30 北京小白世纪网络科技有限公司 病理图像的处理方法、装置、电子设备及可读存储介质
CN113408596A (zh) * 2021-06-09 2021-09-17 北京小白世纪网络科技有限公司 病理图像的处理方法、装置、电子设备及可读存储介质
CN113749690A (zh) * 2021-09-24 2021-12-07 无锡祥生医疗科技股份有限公司 血管的血流量测量方法、装置及存储介质
CN113749690B (zh) * 2021-09-24 2024-01-30 无锡祥生医疗科技股份有限公司 血管的血流量测量方法、装置及存储介质
CN114271908A (zh) * 2021-12-09 2022-04-05 上海杏脉信息科技有限公司 超声介入引导装置、介质及电子设备

Similar Documents

Publication Publication Date Title
CN111161216A (zh) 基于深度学习的血管内超声图像处理方法、装置、设备和存储介质
EP1690230B1 (en) Automatic multi-dimensional intravascular ultrasound image segmentation method
CN108846829B (zh) 病变部位识别装置、计算机装置及可读存储介质
EP2637570A2 (en) System and method of ultrasound image processing
CN109712163B (zh) 冠脉提取方法、装置、图像处理工作站和可读存储介质
CN110111305B (zh) 处理方案的生成方法、装置、设备和存储介质
CN113768546B (zh) 超声弹性图像生成与处理系统和方法
US11928816B2 (en) Image processing method, apparatus, and system, electronic device, and storage medium
CN113989407B (zh) Ct影像中肢体部位识别模型训练方法及系统
CN111754534A (zh) 基于深度神经网络的ct左心室短轴图像分割方法、装置、计算机设备和存储介质
CN112419378A (zh) 医学图像配准方法、电子设备和存储介质
CN113223015A (zh) 血管壁图像分割方法、装置、计算机设备和存储介质
CN110751187A (zh) 异常区域图像生成网络的训练方法和相关产品
CN112967386A (zh) 生物力学建模方法、装置、电子设备及存储介质
CN110197472A (zh) 一种用于超声造影图像稳定定量分析的方法和系统
CN114159099A (zh) 乳腺超声成像方法及设备
US20230222668A1 (en) Image processing apparatus, image processing method, and recording medium
US20210192718A1 (en) Methods and systems for automatic measurement of strains and strain-ratio calculation for sonoelastography
JP2022179433A (ja) 画像処理装置及び画像処理方法
JP7294996B2 (ja) 超音波診断装置及び表示方法
CN113648059A (zh) 手术规划评估方法、计算机设备和存储介质
CN112365504A (zh) Ct左心室分割方法、装置、设备和存储介质
WO2021199961A1 (ja) コンピュータプログラム、情報処理方法及び情報処理装置
CN111768391B (zh) 一种基于ct影像的全自动心脏功能学分析方法、装置、计算机设备以及存储介质
CN117409151B (zh) 一种二维心内超声导管图像的三维表面重建方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination