CN111820947B - 超声心脏反流自动捕捉方法、系统及超声成像设备 - Google Patents

超声心脏反流自动捕捉方法、系统及超声成像设备 Download PDF

Info

Publication number
CN111820947B
CN111820947B CN201910318296.4A CN201910318296A CN111820947B CN 111820947 B CN111820947 B CN 111820947B CN 201910318296 A CN201910318296 A CN 201910318296A CN 111820947 B CN111820947 B CN 111820947B
Authority
CN
China
Prior art keywords
ultrasonic
optical flow
heart
features
static
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910318296.4A
Other languages
English (en)
Other versions
CN111820947A (zh
Inventor
甘从贵
殷晨
赵明昌
莫若理
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chison Medical Technologies Co ltd
Original Assignee
Chison Medical Technologies Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chison Medical Technologies Co ltd filed Critical Chison Medical Technologies Co ltd
Priority to CN201910318296.4A priority Critical patent/CN111820947B/zh
Publication of CN111820947A publication Critical patent/CN111820947A/zh
Application granted granted Critical
Publication of CN111820947B publication Critical patent/CN111820947B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/488—Diagnostic techniques involving Doppler signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physiology (AREA)
  • Quality & Reliability (AREA)
  • Cardiology (AREA)
  • Multimedia (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明涉及一种超声心脏反流自动捕捉方法、系统及超声成像设备，在进行心脏部位超声检测时，对检测数据进行心脏反流自动捕捉，包括：获取超声视频；每隔设定的T秒时间，截取前T秒超声视频流分别提取静态特征和动态特征；训练后的卷积神经网络模型根据静态特征和动态特征判断心脏是否存在心脏反流。本应用了本发明的超声设备在连续多普勒或脉冲多普勒模式下扫描心脏时，能够自动检测到心脏反流现象，准确度高具有高灵敏度的特点。

Description

超声心脏反流自动捕捉方法、系统及超声成像设备
技术领域
本发明涉及超声成像技术领域，具体是一种超声心脏反流自动捕捉方法、系统及超声成像设备。
背景技术
虽然全球范围内风湿性心脏病的发病率较上世纪初已明显降低，但在我国成人心脏瓣膜病仍以风湿性为主。随着人口老龄化的加剧，退行性所致的心脏瓣膜损伤日益突出，其致死、致残率较高。相对于心脏瓣膜狭窄，瓣膜反流的手术率和致心力衰竭的发生率更为突出。
超声心动图自上世纪中叶应用于临床以来，以其无创、可重复性强及实时性显示瓣膜形态结构及运动等特点，目前已经成为定性诊断和定量评估心脏瓣膜等疾病的首要检查手段。即使经食管实时三维超声等高级检查已经逐步应用于临床，但经胸常规超声检查仍是瓣膜评估最重要的方式。对于存在瓣膜反流的患者，评估反流严重程度时应多切面、多参数、多种检查方式综合运用。
需要说明的是，肉眼直接观测瓣膜反流是目前应用最广的一种检查方式，但这毕竟是一种定性诊断手段，其定量价值受操作者主观性、速度量程、心内压力和容积等因素影响较大。
目前还没有能够自动检测、捕捉超声影像中心脏反流的技术手段。如果判断心脏反流全部由操作人员人工完成，那么由于超声设备操作人员受训练程度不同、经验不同，往往导致对反流的判断差异很大。
发明内容
本发明的目的在于弥补超声心脏反流检查中全凭操作人员肉眼判断的问题，提供一种能够对超声进行心脏反流自动捕捉的方法和系统。该方法安全高效，能够实时在心动超声检查时发现并捕捉心脏反流，提高心脏反流疾病筛查的效率、灵敏度、以及一致性。减少医护人员工作负担，为之后的疾病精确诊断、定量分析、手术方案制定提供重要依据。
作为本发明的第一个方面，提供一种超声心脏反流自动捕捉方法，包括：
获取超声视频；
每隔设定的T秒时间截取前T秒的超声视频；
提取所述超声视频的静态特征和动态特征，所述静态特征包括从超声视频中单帧超声图像提取的图像参数信息，所述动态特征包括从超声视频中提取的光流信息；
将所述静态特征和动态特征输入训练后的卷积神经网络模型判断是否存在心脏反流。
进一步的，所述从超声视频中提取单帧超声图像的图像参数信息，包括：
将截取的超声视频拆分为独立的单帧超声图像；
提取每帧超声图像的灰度信息、形态信息以及纹理信息。
进一步的，从超声视频中提取的光流信息，包括：
获取超声视频水平和竖直方向的光流中固定帧数的连续光流特征；
通过光流通道化将选取的所述连续光流特征交叉堆叠成光流栈。
进一步的，通过光流通道化将选取的所述连续光流特征交叉堆叠成光流栈，具体以下列形式交错合并：
u＝[1；w],v＝[1；h],k＝[1；L],
其中，w表示超声图像的宽度，h表示超声图像的高度，单位为像素，L为帧数，表示水平方向的移动矢量，/>表示垂直方向的移动矢量，k为自然数，IT(u，v，2k-1)表示奇数位的光流特征，IT(u，v，2k)表示偶数位的光流特征，通过光流通道化将连续光流特征交叉堆叠成总长为2L的光流栈。
进一步地，将所述静态特征和动态特征输入训练后的卷积神经网络模型判断是否存在心脏反流，具体为：
将提取的静态特征输入卷积神经网络模型的静态网络支路，输出第一判断结果；
将提取的动态特征输入卷积神经网络模型的动态网络支路，输出第二判断结果；
所述静态网络支路与动态网络支路将各自的输出进行平均，输出是否存在心脏反流。
或者，将所述静态特征和动态特征输入训练后的卷积神经网络模型判断是否存在心脏反流，具体为：
将提取的静态特征输入卷积神经网络模型的静态网络支路，输出第一判断结果；
将提取的动态特征输入卷积神经网络模型的动态网络支路，输出第二判断结果；
所述静态网络支路与动态网络支路将各自的输出根据加权输出法合并，输出是否存在心脏反流，所述加权输出法是指取两个支路的输出乘以权重因子后取平均值。
进一步地，所述动态网络支路的权重大于静态网络支路的权重。
进一步地，所述光流特征为稠密光流，所述稠密光流为连续两帧超声图像中的点位移向量场的集合。
作为本发明的第二个方面，提供一种超声心脏反流自动捕捉系统，包括：
获取单元，用于获取超声视频；
截取单元，每隔设定的T秒时间截取前T秒的超声视频；
提取单元，用于提取所述超声视频的静态特征和动态特征；所述静态特征包括从超声视频中单帧超声图像提取的图像参数信息，所述动态特征包括从超声视频中提取的光流信息；
判断单元，用于将所述静态特征和动态特征输入训练后的卷积神经网络模型判断是否存在心脏反流。
作为本发明的第三个方面，提供了一种超声成像设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序以实现上述的超声心脏反流自动捕捉方法。
本发明的优点是：本发明的心脏反流自动捕捉方法能够通过训练后的卷积神经网络模型实时检测超声视频流中包含的静态特征和动态特征，判断是否出现反流现象，检测准确度高，本发明使得普通超声从业人员在操作超声设备时不用依赖于个人经验，均可实时的发现可能存在的心脏反流现象，提高了医护人员的工作效率。
进一步地，本发明的卷积神经网络模型为双流结构，包括静态网络支路和动态网络支路，提高了检测的准确度。
进一步地，本发明的超声成像设备应用了上述系统和方法，在扫描心脏时，能够实时检测到心脏是否出现反流现象，检测准确度高，本发明使得普通超声从业人员在操作超声设备时不用依赖于个人经验，均可实时的发现可能存在的心脏反流现象，提高了医护人员的工作效率。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：
图1是本发明一实施例中超声心脏反流自动捕捉系统的结构示意图。
图2是本发明一实施例中超声心脏反流自动捕捉方法的流程示意图。
图3是本发明一实施例静态网络支路与动态网络支路合并输出流程示意图。
图4是本发明另一实施例静态网络支路与动态网络支路合并输出流程示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。
随着人口老龄化的加剧，退行性所致的心脏瓣膜损伤日益突出，其致死、致残率较高。目前还没有能够自动检测、捕捉超声影像中心脏反流的技术手段。如果判断心脏反流全部由操作人员人工完成，那么由于超声设备操作人员受训练程度不同、经验不同，往往导致对反流的判断差异很大，判断结果准确率低。
如图1所示，作为本发明的第一个方面，本发明提供了一种超声心脏反流自动捕捉系统，包括获取单元100、截取单元200、提取单元300和判断单元400。获取单元100用于获取超声视频。截取单元200每隔设定的T秒时间截取前T秒的超声视频流。提取单元300用于提取超声视频流中的静态特征和动态特征，提取超声视频的静态特征和动态特征，静态特征包括从超声视频中单帧超声图像提取的图像参数信息，动态特征包括从超声视频中提取的光流信息。判断单元400利用训练后的卷积神经网络模型根据静态特征和动态特征判断是否存在心脏反流。
本发明的心脏反流自动捕捉系统能够通过训练后的卷积神经网络模型实时检测超声视频中包含的静态特征和动态特征，判断是否出现心脏反流现象，检测准确度高，本发明使得普通超声从业人员在操作超声设备时不用依赖于个人经验，均可实时的发现可能存在的心脏反流现象，提高了医护人员的工作效率。
本文中使用的术语“单元”意指但不限于执行特定任务的软件或硬件组件，诸如现场可编程门阵列(FPGA)或专用集成电路(ASIC)或处理器，例如CPU、GPU。单元可以有利地被配置为驻留在可寻址存储介质中并且配置为在一个或多个处理器上执行。因此，作为示例，单元可以包括组件(诸如软件组件、面向对象软件组件、类组件和任务组件)、进程、函数、属性、过程、子例行程序、程序代码段、驱动程序、固件、微码、电路、数据、数据库、数据结构、表、数组和变量。在模块中提供的功能性可以被组合成更少的组件和模块或者进一步分成附加的组件和模块。
在一实施例中，获取单元100为超声设备，超声设备至少包括换能器、超声主机、输入单元、控制单元、和存储器。换能器用于发射和接收超声波，换能器受发射脉冲的激励，向目标组织(例如，人体或者动物体内的器官、组织、血管等等)发射超声波，经一定延时后接收从目标区域反射回来的带有目标组织的信息的超声回波，并将此超声回波重新转换为电信号，以获取超声视频。
控制单元至少可以控制焦点信息、驱动频率信息、驱动电压信息以及成像模式等扫描信息。控制单元根据用户所需成像模式的不同，对信号进行不同的处理，获得不同模式的超声图像数据，然后经对数压缩、动态范围调整、数字扫描变换等处理形成不同模式的超声图像，如B图像，C图像，D图像，连续多普勒模式或脉冲多普勒模式等等，或者其他类型的二维超声图像或三维超声图像。换能器可以通过有线或无线的方式连接到超声主机。
输入单元用于输入操作人员的控制指令。输入单元可以为键盘、跟踪球、鼠标、触摸面板、手柄、拨盘、操纵杆以及脚踏开关中的至少一个。输入单元也可以输入非接触型信号，例如声音、手势、视线或脑波信号。
获取单元100也可以从一存储介质读取预先存储的超声视频，即获取单元100获取的超声视频可以不是超声设备实时获取的。需要理解的是，有些超声设备部具备超声心脏反捕捉判断的功能，可以将采集的超声视频通过存储介质中导入其它能够处理的系统、平台或者超声设备中。存储介质可以为磁存储介质，例如磁盘(如软盘)或磁带；光存储介质，如光盘，光带，或机器可读的条形码；固态电子存储装置，如随机存取存储器(RAM)或只读存储器(ROM)；也可以是云服务器。
训练后的卷积神经网络模型为通过卷积神经网络对已标记若干超声视频进行训练确定。训练后的卷积神经网络模型可以存储在超声设备也可以存储在云服务器中，当需要判断超声视频中的心脏是否存在心脏反流时，超声设备或者云服务器可以加载训练后的卷积神经网络模型进行处理。
在一实施例中在超声设备工作在连续多普勒或脉冲多普勒模式时，加载训练后的卷积神经网络模型。在检测到超声设备工作在连续多普勒或脉冲多普勒模式时从存储器中加载运行。训练后的卷积神经网络模型也可以存储在云服务器中，在检测到超声设备工作在连续多普勒或脉冲多普勒模式时，从云服务器中加载练后的卷积神经网络模型。超声设备与云服务器可以通过有线实现通讯连接，例如光纤电缆或以太网电缆等，也可以通过无线实现通讯连接，例如5G、wifi等。需要理解的是，训练后的卷积神经网络模型也可以在超声设备运行时直接加载。
超声设备采集的超声视频也可以上传到云平台中进行处理，在云平台接收到超声设备采集的超声视频后加载存储在云服务器中的训练后的卷积神经网络模型进行判断。
本发明的心脏反流自动捕捉系统也可以处理其它超声设备导入的超声视频，即可以对不同机型或者品牌的超声设备采集的超声视频进行识别。本发明可以对不同机型或者品牌的超声设备采集的超声视频进行处理，提高了系统的兼容性。
作为本发明的第二个方面，如图2所示，本发明提供一种超声心脏反流自动捕捉方法，包括：
S100，获取超声视频，加载训练后的卷积神经网络模型；
超声设备加载训练后的卷积神经网络模型的方式可以是预先将训练后的卷积神经网络模型存储在超声设备的存储器中，由控制单元从存储器中加载运行。训练后的卷积神经网络模型也可以存储在云服务器中，从云服务器中加载训练后的卷积神经网络模型。超声设备与云服务器可以通过有线实现通讯连接，例如光纤电缆或以太网电缆等，也可以通过无线实现通讯连接，例如5G、wifi等。
本发明的心脏反流自动捕捉方法也可以处理其它超声设备导入的超声视频，即可以对不同机型或者品牌的超声设备采集的超声视频进行识别。本发明可以对不同机型或者品牌的超声设备采集的超声视频进行处理，提高了系统的兼容性。
卷积神经网络模型的训练过程为：
步骤S110，工作人员手工标注所采集的每个心脏超声视频。
具体为在超声设备工作续多普勒或脉冲多普勒模式时，采集多种不同观测面，二腔四腔的超声视频数据，然后工作人员自身凭借自身知识和经验，对每个心脏超声视频进行判断并给与标记。存在心脏反流标签标记“1”，不存在心脏反流标签标记“0”。
步骤S120，将带有标签的每个心脏超声视频处理成统一大小，并提取超声视频的静态特征和动态特征。
步骤S130，构建卷积神经网络，并根据提取超声视频的静态特征和动态特征进行训练得卷积神经网络模型。步骤S130具体还包括：步骤S131，将超声视频对应的静态特征和动态特征集划分为训练数据集、验证数据集、测试数据集。在所有数据集中，选取70％作为训练数据集，选取20％作为验证数据集，选取10％作为训练后的测试数据集。训练数据集用于训练卷积神经网络模型；验证数据集用于验证卷积神经网络每轮优化后的判别有无心脏反流的效果并帮助选择最优的卷积神经网络模型参数；测试数据集用于测试卷积神经网络。步骤S132，初始化卷积神经网络，使用高斯分布来初始化权重，并设置批数据大小和训练迭代次数，以及学习速率。
步骤S140，迭代训练卷积神经网络，训练完成后保存卷积神经网络中所有参数即可，存成卷积神经网络模型文件。
S200，每隔设定的T秒时间截取前T秒的超声视频，即将获取的超声视频分割成预设大小。
S300，提取超声视频的静态特征和动态特征，静态特征包括从超声视频中单帧超声图像提取的图像参数信息，动态特征包括从超声视频中提取的光流信息。
具体将已经获取到的心脏超声长时视频剪切成多段短视频或连续的图像帧，然后将所有超声视频处理成帧大小相同，再提取每一段超声视频的光流信息。
从超声视频中单帧超声图像提取图像参数信息，具体包括步骤：S310，将获取的超声视频拆分为独立的单帧超声图像；S320，提取每帧超声图像的灰度信息、形态信息以及纹理信息。
超声视频中有用信息来自于每帧超声图像的灰度信息、形态信息以及纹理信息。通过这些信息可以表达出心脏及血流的位置、结构与形态特征。
从超声视频中提取光流信息，具体包括：S330，选取超声视频水平和竖直方向的光流中固定帧数的连续光流特征；S340，通过光流通道化将选取的连续光流特征堆叠成光流栈，固定帧数为图像具备固定数量的帧数，例如5帧、10帧、20帧等，具体数据可以根据需求确定。
连续帧之间的动态特征，是超声视频中的有效信息。光流(optical flow)特征便可以描述联系帧中物体的运动信息。超声视频中可以提取稀疏光流和稠密光流，本发明中选用稠密光流。稠密光流为连续两帧超声图像中的点位移向量场的集合稠密光流可以看作是连续帧对T和T+1时刻之间的点位移向量场dT的集合。帧平面上的运动有水平和竖直两个方向，所以每一段超声视频要计算对应的两个方向的光流特征。并将连续光流特征堆叠成光流栈。
在一实施例中对静态特征与动态特征都使用数据增强技术。原始数据数据可以是任意大小，光流在提取后，光流栈长度为2L。在原始数据的每个超声视频样本中，对每一帧静态超声图像均进行随机剪裁和翻转，得到一组大小为w×h的训练静态图像，单位为像素，w和h可以都设为224。选取超声视频水平和竖直方向的光流中固定帧数的连续光流特征，即在光流数据中的每个视超声频得到的光流，对x方向(水平方向)和y方向(竖直方向)随机选取L帧连续超声图像，再进行随机剪裁和翻转，x与y方向上的2L张超声图像剪裁与翻转情况相同，得到大小为w×h×2L的光流栈数据。
再通过光流通道化将选取的连续光流特征交叉堆叠成光流栈，具体以下形式交错合并：
u＝[1；w],v＝[1；h],k＝[1；L],
其中，w表示超声图像的宽度，h表示超声图像的高度，单位为像素，L为帧数，表示水平方向的移动矢量，/>表示垂直方向的移动矢量，k为自然数，IT(u，v，2k-1)表示奇数位的光流特征，IT(u，v，2k)表示偶数位的光流特征，通过光流通道化将连续光流特征交叉堆叠成总长为2L的光流栈。
上述实施例中步骤S310和步骤S320存在先后关系，步骤S330和步骤S340存在先后关系，步骤S310和步骤S330不存在先后关系。
S400，将静态特征和动态特征输入训练后的卷积神经网络模型判断是否存在心脏反流。
如图3所示，本实施例中训练后的卷积神经网络模型为双流结构，双流结构包括静态网络支路和动态网络支路。将静态特征和动态特征输入训练后的卷积神经网络模型判断是否存在心脏反流具体为：
S410，将提取的静态特征输入卷积神经网络模型的静态网络支路，输出第一判断结果；
在静态网络支路中，超声视频被拆成独立的单帧超声图像，重新排列后再输入静态网络支路。有用信息来自于每帧图像的灰度、形态、纹理等信息，可以表达出心脏及血流的位置、结构与形态特征。输入图像大小为w×h×3；w×h表示预处理后超声图像的长和宽，即w个像素长，h个像素宽，彩色3通道。网络由若干个卷积层和全连接层组成。每个卷积层包含一个或两个卷积核，可以选择加入一个池化层，一个批归一化层，以及激活函数。最后接软性最大输出层(softmax)。
S420，将提取的动态特征输入卷积神经网络模型的动态网络支路，输出第二判断结果；
在动态网络支路中，连续光流特征堆叠成光流栈作为输入。心脏和血流的运动信息由多帧共同表达，可以表达出心脏和血液在心动周期中的变化情况。有些疾病可以由结构和灰度变化情况反映出来，但是还有的疾病需要通过观察心脏运动和血流流向流速的动态变化情况才能反映出来。输入图像大小为w×h×2×L；w×h表示预处理后超声图像的长和宽，即w个像素长，h个像素宽，水平方向光流L帧，竖直方向光流L帧，所以光流栈总长为2×L，即图像通道为2L。网络由若干个卷积层和全连接层组成。每个卷积层包含一个或两个卷积核，可以选择加入一个池化层，一个批归一化层，以及激活函数。最后接软性最大输出层(softmax)。
S430，静态网络支路与动态网络支路将各自的输出进行平均，输出是否存在心脏反流。
静态网络支路与动态网络支路合并输出。将两路网络支路将各自的softmax输出合并成一个输出，这便是最终的分类判别输出(输出为是否发现心脏反流)。双路合并时可以采用平均输出法(静态网络支路与动态网络支路各取50％权重)。
图4是本发明另一实施例静态网络支路与动态网络支路合并输出流程示意图。如图4所示，静态网络支路与动态网络支路合并输出还可以为：
S440，将提取的静态特征输入卷积神经网络模型的静态网络支路，输出第一判断结果；
S450，将提取的动态特征输入卷积神经网络模型的动态网络支路，输出第二判断结果；
S460，静态网络支路与动态网络支路将各自的输出也可以根据加权输出法合并，输出是否存在心脏反流，加权输出法是指取两个支路的输出乘以权重因子后取平均值。
加权输出法是指取静态网络支路与动态网络支路的输出乘以权重因子后的平均值。超声静态帧图像中噪声过大，有用信息相对较少可设置较小权重，而给动态支路更大权重，即动态网络支路的权重大于静态网络支路的权重。
在一实施例中静态网络支路与动态网络支路的具体结构为：
第一卷积层中静态网络支路与动态网络支路都使用大小为7×7的卷积核，个数为96，步长为2，接批归一化层(batch normalize)，再接步长为2的最大池化层(pool)。第一层中静态网络支路与动态网络支路的唯一区别在于静态网络支路输入为RGB颜色信息三通道，而动态网络支路输入为光流栈长度2L个通道；
第二卷积层中静态网络支路与动态网络支路都使用大小为5×5的卷积核，个数为256，步长为2，接批归一化层(batch normalize)，再接步长为2的最大池化层(pool)，输入为第一层的输出；
第三卷积层中静态网络支路与动态网络支路都使用大小为3×3的卷积核，个数为512，步长为1，输入为第二层输出；
第四卷积层中静态网络支路与动态网络支路都使用大小为3×3的卷积核，个数为512，步长为1，输入为第三层输出。
第五卷积层中静态网络支路与动态网络支路都使用大小为3×3的卷积核，个数为512，步长为1，接池化层，输入为第四层输出；
第六层是全连接层，有4096个节点，并带有随机丢弃机制；
第七层是全连接层，有2048个节点，并带有随机丢弃机制。
本发明对静态网络支路与动态网络支路添加了损失函数(loss function)，优选采用交叉熵损失函数，一般情况下，最后一个输出层的节点个数与分类任务的目标数相等。假设最后的节点数为N，那么对于每一个样例，神经网络可以得到一个N维的数组作为输出结果，数组中每一个维度会对应一个类别。交叉熵损失函数就是用来判定实际的输出与期望的输出的接近程度。并且设置优化策略使用随机批梯度下降法(stochastic gradientdescent，简称SGD)。优化过程为典型的梯度反向传播优化。
对静态网络支路本发明还可以采用迁移学习技术，即静态网络支路直接使用Inception(Inception-BN、Inception-V3等)或ResNet(ResNet101、ResNet152等)网络设计并加载预训练的参数，然后再在数据集上训练。而动态网络支路与上述方案相同，最后在softmax输出层进行合并。inception网络在增加特征表达能力的同时减少计算量，提高了速度。
本发明卷积神经网络模型为双流结构，包括静态网络支路和动态网络支路，提高了检测的准确度。能够通过训练后的卷积神经网络模型实时检测超声视频流中包含的静态特征和动态特征，判断是否出现反流现象，检测准确度高，本发明使得普通超声从业人员在操作超声设备时不用依赖于个人经验，均可实时的发现可能存在的心脏反流现象，提高了医护人员的工作效率。
作为本发明的第三个方面，提供了一种超声成像设备，包括：
存储器，用于存储计算机程序；存储器为一个非易失性计算机可读存储载体，如ROM、磁碟、光盘、硬盘、服务器云空间等。
处理器，用于执行计算机程序以实现上述的超声心脏反流自动捕捉方法。
本发明的超声成像设备的处理器执行计算机程序以实现上述的超声心脏反流自动捕捉方法。能够通过训练后的卷积神经网络模型实时检测超声视频流中包含的静态特征和动态特征，判断是否出现反流现象，检测准确度高，本发明使得普通超声从业人员在操作超声设备时不用依赖于个人经验，均可实时的发现可能存在的心脏反流现象，提高了医护人员的工作效率。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (7)

1.一种超声心脏反流自动捕捉方法，其特征在于，包括：
获取超声视频；
每隔设定的T秒时间截取前T秒的超声视频，以获得截取成预设大小的超声视频；
提取截取后超声视频的静态特征和动态特征，所述静态特征包括从超声视频中单帧超声图像提取的图像参数信息，所述动态特征包括从超声视频中提取的光流信息；
将所述静态特征和动态特征输入训练后的卷积神经网络模型判断是否存在心脏反流，其中，从截取的超声视频中提取单帧超声图像的图像参数信息，包括：
将截取的超声视频拆分为独立的单帧超声图像；
提取每帧超声图像的灰度信息、形态信息以及纹理信息；其中，从超声视频中提取的光流信息，包括：
获取超声视频水平和竖直方向的光流中固定帧数的连续光流特征；
通过光流通道化将选取的所述连续光流特征交叉堆叠成光流栈。
2.如权利要求1所述的超声心脏反流自动捕捉方法，其特征在于，通过光流通道化将选取的所述连续光流特征交叉堆叠成光流栈，具体以下列形式交错合并：
，
其中，w表示超声图像的宽度，h表示超声图像的高度，单位为像素，L为帧数，表示水平方向的移动矢量， />表示垂直方向的移动矢量， k为自然数，/>表示奇数位的光流特征，/>表示偶数位的光流特征，通过光流通道化将连续光流特征交叉堆叠成总长为2L的光流栈。
3.如权利要求1-2中任一项所述的超声心脏反流自动捕捉方法，其特征在于，将所述静态特征和动态特征输入训练后的卷积神经网络模型判断是否存在心脏反流具体为：
将提取的静态特征输入卷积神经网络模型的静态网络支路，输出第一判断结果；
将提取的动态特征输入卷积神经网络模型的动态网络支路，输出第二判断结果；
所述静态网络支路与动态网络支路将各自的输出进行平均，输出是否存在心脏反流。
4.如权利要求1-2中任一项所述的超声心脏反流自动捕捉方法，其特征在于，将所述静态特征和动态特征输入训练后的卷积神经网络模型判断是否存在心脏反流具体为：
将提取的静态特征输入卷积神经网络模型的静态网络支路，输出第一判断结果；
将提取的动态特征输入卷积神经网络模型的动态网络支路，输出第二判断结果；
所述静态网络支路与动态网络支路将各自的输出根据加权输出法合并，输出是否存在心脏反流，所述加权输出法是指取两个支路的输出乘以权重因子后取平均值。
5.如权利要求4所述的超声心脏反流自动捕捉方法，其特征在于，所述动态网络支路的权重大于静态网络支路的权重。
6.如权利要求1或2所述的超声心脏反流自动捕捉方法，其特征在于，所述光流特征为稠密光流，所述稠密光流为连续两帧超声图像中的点位移向量场的集合。
7.一种超声成像设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如权利要求1至6中任意一项所述的超声心脏反流自动捕捉方法。
CN201910318296.4A 2019-04-19 2019-04-19 超声心脏反流自动捕捉方法、系统及超声成像设备 Active CN111820947B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910318296.4A CN111820947B (zh) 2019-04-19 2019-04-19 超声心脏反流自动捕捉方法、系统及超声成像设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910318296.4A CN111820947B (zh) 2019-04-19 2019-04-19 超声心脏反流自动捕捉方法、系统及超声成像设备

Publications (2)

Publication Number Publication Date
CN111820947A CN111820947A (zh) 2020-10-27
CN111820947B true CN111820947B (zh) 2023-08-29

Family

ID=72911813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910318296.4A Active CN111820947B (zh) 2019-04-19 2019-04-19 超声心脏反流自动捕捉方法、系统及超声成像设备

Country Status (1)

Country Link
CN (1) CN111820947B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112786163B (zh) * 2020-12-31 2023-10-24 北京小白世纪网络科技有限公司 一种超声图像处理显示方法、系统及存储介质
CN112633261A (zh) * 2021-03-09 2021-04-09 北京世纪好未来教育科技有限公司 图像检测方法、装置、设备及存储介质
CN116869571B (zh) * 2023-09-07 2023-11-07 深圳华声医疗技术股份有限公司 超声心脏反流自动检测评估方法、系统及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008146273A1 (en) * 2007-05-25 2008-12-04 Yissum Research Development Company Of The Hebrew University Of Jerusalem Method for imaging during invasive procedures performed on organs and tissues moving in a rhythmic fashion
CN101474083A (zh) * 2009-01-15 2009-07-08 西安交通大学 血管力学特性超分辨成像与多参数检测的系统与方法
CN106599789A (zh) * 2016-07-29 2017-04-26 北京市商汤科技开发有限公司 视频类别识别方法和装置、数据处理装置和电子设备
CN107169998A (zh) * 2017-06-09 2017-09-15 西南交通大学 一种基于肝脏超声造影图像的实时跟踪及定量分析方法
WO2017216545A1 (en) * 2016-06-13 2017-12-21 Oxford University Innovation Ltd. Image-based diagnostic systems
CN109146872A (zh) * 2018-09-03 2019-01-04 北京邮电大学 基于深度学习和光流法的心脏冠状动脉影像分割识别方法
CN109410242A (zh) * 2018-09-05 2019-03-01 华南理工大学 基于双流卷积神经网络的目标跟踪方法、系统、设备及介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050085707A1 (en) * 2003-07-03 2005-04-21 Maria Korsten Hendrikus H. Method and arrangement for determining indicator dilution curves of an indicator in a bloodstream and cardiac parameters
US8345984B2 (en) * 2010-01-28 2013-01-01 Nec Laboratories America, Inc. 3D convolutional neural networks for automatic human action recognition
US8696579B2 (en) * 2010-06-04 2014-04-15 Siemens Medical Solutions Usa, Inc. Cardiac flow quantification with volumetric imaging data
US8750375B2 (en) * 2010-06-19 2014-06-10 International Business Machines Corporation Echocardiogram view classification using edge filtered scale-invariant motion features
US10271817B2 (en) * 2014-06-23 2019-04-30 Siemens Medical Solutions Usa, Inc. Valve regurgitant detection for echocardiography
US20170132785A1 (en) * 2015-11-09 2017-05-11 Xerox Corporation Method and system for evaluating the quality of a surgical procedure from in-vivo video
US10292684B2 (en) * 2016-02-26 2019-05-21 Toshiba Medical Systems Corporation Ultrasound diagnosis apparatus and image processing method
WO2018119366A1 (en) * 2016-12-23 2018-06-28 Heartflow, Inc. Machine learning of anatomical model parameters
US20190012432A1 (en) * 2017-07-05 2019-01-10 General Electric Company Methods and systems for reviewing ultrasound images
US11197657B2 (en) * 2017-07-06 2021-12-14 General Electric Company Methods and systems for identifying ultrasound images

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008146273A1 (en) * 2007-05-25 2008-12-04 Yissum Research Development Company Of The Hebrew University Of Jerusalem Method for imaging during invasive procedures performed on organs and tissues moving in a rhythmic fashion
CN101474083A (zh) * 2009-01-15 2009-07-08 西安交通大学 血管力学特性超分辨成像与多参数检测的系统与方法
WO2017216545A1 (en) * 2016-06-13 2017-12-21 Oxford University Innovation Ltd. Image-based diagnostic systems
CN106599789A (zh) * 2016-07-29 2017-04-26 北京市商汤科技开发有限公司 视频类别识别方法和装置、数据处理装置和电子设备
CN107169998A (zh) * 2017-06-09 2017-09-15 西南交通大学 一种基于肝脏超声造影图像的实时跟踪及定量分析方法
CN109146872A (zh) * 2018-09-03 2019-01-04 北京邮电大学 基于深度学习和光流法的心脏冠状动脉影像分割识别方法
CN109410242A (zh) * 2018-09-05 2019-03-01 华南理工大学 基于双流卷积神经网络的目标跟踪方法、系统、设备及介质

Also Published As

Publication number Publication date
CN111820947A (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
EP3445250B1 (en) Echocardiographic image analysis
CN111820947B (zh) 超声心脏反流自动捕捉方法、系统及超声成像设备
US11490877B2 (en) System and method of identifying characteristics of ultrasound images
JP7194691B2 (ja) 超音波臨床特徴検出及び関連する装置、システム、及び方法
US11488298B2 (en) System and methods for ultrasound image quality determination
CN104114102B (zh) 超声波诊断装置、图像处理装置以及图像处理方法
US8343053B2 (en) Detection of structure in ultrasound M-mode imaging
JP2021531885A (ja) 誘導肝イメージングのための人工ニューラルネットワークを有する超音波システム
JP5271262B2 (ja) 三次元超音波イメージングのための方法、装置及びコンピュータプログラム
CN109788939A (zh) 用于通过自动检测b线和对超声扫描的图像进行评分来增强代表性超声图像的可视化和选择的方法和系统
US20210022715A1 (en) Method for objective, noninvasive staging of diffuse liver disease from ultrasound shear-wave elastography
US11596371B2 (en) Tomographic image processing apparatus and method of separating material of object in spectral tomographic image, and computer program product
CN114680929A (zh) 一种测量膈肌的超声成像方法和系统
CN109640831A (zh) 超声诊断装置
US11786212B1 (en) Echocardiogram classification with machine learning
JP6996303B2 (ja) 医用画像生成装置
CN114271850B (zh) 超声检测数据的处理方法及超声检测数据的处理装置
WO2022059539A1 (ja) コンピュータプログラム、情報処理方法及び情報処理装置
CN114529540A (zh) 超声心动图检测射血分数的人工智能方法与系统装置
CN116529765A (zh) 预测个体具有一个或多个病变的可能性
CN115996673A (zh) 用于根据超声数据来识别脉管的系统和方法
KR101024857B1 (ko) 3차원 초음파 영상에 컬러 모델링 처리를 수행하는 초음파 시스템 및 방법
US11803967B2 (en) Methods and systems for bicuspid valve detection with generative modeling
JP7346192B2 (ja) 装置、医用情報処理装置、及びプログラム
WO2019163172A1 (ja) 超音波信号処理装置、超音波診断装置および超音波信号演算処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant