CN111583250A - 一种基于深度学习的超声图像二尖瓣的定位方法及系统 - Google Patents

一种基于深度学习的超声图像二尖瓣的定位方法及系统 Download PDF

Info

Publication number
CN111583250A
CN111583250A CN202010408407.3A CN202010408407A CN111583250A CN 111583250 A CN111583250 A CN 111583250A CN 202010408407 A CN202010408407 A CN 202010408407A CN 111583250 A CN111583250 A CN 111583250A
Authority
CN
China
Prior art keywords
image
mitral valve
positioning
model
heart
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010408407.3A
Other languages
English (en)
Other versions
CN111583250B (zh
Inventor
朱瑞星
黄孟钦
刘西耀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shenzhi Information Technology Co ltd
Original Assignee
Shanghai Zhuxing Biotechnology Co ltd
Shanghai Shenzhi Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zhuxing Biotechnology Co ltd, Shanghai Shenzhi Information Technology Co ltd filed Critical Shanghai Zhuxing Biotechnology Co ltd
Priority to CN202010408407.3A priority Critical patent/CN111583250B/zh
Publication of CN111583250A publication Critical patent/CN111583250A/zh
Application granted granted Critical
Publication of CN111583250B publication Critical patent/CN111583250B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于深度学习的超声图像二尖瓣定位方法及系统，涉及深度学习技术领域，包括：持续采集心脏超声图像；获取第一帧心脏超声图像时，将心脏超声图像输入神经网络分类模型得到包含切面类型的切面位置；并根据切面位置关联的切面定位模型，得到心脏超声图像的二尖瓣所在位置；获取下一帧心脏超声图像时，在当前帧心脏超声图像与前一帧心脏超声图像之间的相似度大于相似度阈值时将前一帧心脏超声图像的切面位置作为当前帧心脏超声图像的切面位置；相似度不大于相似度阈值时将当前帧心脏超声图像输入神经网络分类模型进行切面识别得到切面位置。能够实时跟踪二尖瓣所在位置，解决血流监测和二尖瓣运动中探头位置偏移问题。

Description

一种基于深度学习的超声图像二尖瓣的定位方法及系统
技术领域
本发明涉及深度学习技术领域，尤其涉及一种基于深度学习的超声图像二尖瓣的定位方法及系统。
背景技术
心脏位置超声是唯一能动态显示心腔内结构、心脏的搏动和血液流动的仪器，对人体没有任何损伤。心脏探头就像摄像机的镜头，随着探头的转动，心脏的各个结构清晰地显示在屏幕上。相比于其他影像设备，心脏超声也是唯一能直观显示瓣膜病变的仪器，通过彩超的测量，医生可了解瓣膜病变的程度以决定保守治疗还是手术治疗。
二尖瓣运动状态及其血流流速是心脏瓣膜病超声检查的主要指标。传统测量二尖瓣血流流速时，一般都要在同一点测量数个心动周期，由于心动和体位移动，探头很难保持在同一位置进行测量。同时，在心脏超声监护中，由于监测时间长，难免会出现探头位置偏移。因此测量的流速存在一定误差。
发明内容
针对现有技术中存在的问题，本发明提供一种基于深度学习的超声图像二尖瓣的定位方法，所述定位方法应用于在心脏超声扫查过程中对包含二尖瓣的心脏超声图像进行跟踪定位，具体包括：
步骤S1，采用一超声扫描设备采集所述心脏超声图像并持续输出至所述超声扫描设备连接的一图像处理装置；
步骤S2，所述图像处理装置获取第一帧所述心脏超声图像时，将所述心脏超声图像输入预先训练得到的神经网络分类模型进行切面识别，得到所述心脏超声图像的包含切面类型的切面位置；
步骤S3，所述图像处理装置根据所述切面位置由预先训练得到的模型参数集合中加载相应的模型参数，将所述模型参数代入预先生成的神经网络模型得到相应的切面定位模型，并将所述心脏超声图像输入所述切面定位模型得到标记有所述二尖瓣所在位置的感兴趣区域的心脏超声图像并输出；
所述图像处理装置输出的每帧所述心脏超声图像均标记有所述感兴趣区域，以供后续分析使用；
步骤S4，所述图像处理装置获取下一帧所述心脏超声图像时，计算当前帧所述心脏超声图像与前一帧所述心脏超声图像之间的相似度，并将所述相似度与预设的相似度阈值进行比较：
若所述相似度大于所述相似度阈值，则将前一帧所述心脏超声图像的所述切面位置作为当前帧所述心脏超声图像的所述切面位置，随后返回步骤S3；
若所述相似度不大于所述相似度阈值，则将当前帧所述心脏超声图像输入所述神经网络分类模型进行切面识别，得到当前帧所述心脏超声图像的所述切面位置，返回所述步骤S3。
优选的，还包括预先训练得到所述神经网络分类模型的过程，具体包括：
步骤A1，获取若干历史心脏超声图像，并将各所述历史心脏超声图像按照不同切面位置进行分类，得到包含切面类型的切面位置标注图像；
步骤A2，根据所述切面标注图像进行模型训练，并在训练过程中，对所述切面位置标注图像进行批量归一化，对网络权重进行正态分布初始化，且采用多分类交叉熵函数作为损失函数训练得到所述神经网络分类模型。
优选的，还包括预先训练得到所述模型参数集合的过程，具体包括：
步骤B1，获取具有不同所述切面位置的若干心脏超声图像，并分别在各所述心脏超声图像上标注出所述二尖瓣的掩码图得到掩码图标注图像；
步骤B2，针对每种所述切面类型的所述切面位置，根据对应的所述掩码图标注图像进行模型参数训练，并在训练过程中，采用Dice系数作为损失函数训练得到对应所述切面位置的所述模型参数，并将各所述模型参数加入所述模型参数集合进行保存。
优选的，所述步骤S3具体包括：
步骤S31，所述图像处理装置根据所述切面位置由预先训练得到的参数集合中加载相应的参数，将所述参数代入预先生成的神经网络模型得到相应的切面定位模型，并将所述心脏超声图像输入所述切面定位模型得到所述二尖瓣的掩码图；
步骤S32，所述图像处理装置对所述掩码图进行图像预处理得到预处理图像；
步骤S33，所述图像处理装置采用排序法分别求解所述预处理图像中的点集中的最小X坐标、最大X坐标、最小Y坐标和最大Y坐标，则将所述最小X坐标和所述最小Y坐标作为所述点集的外接矩形的左上坐标，以及将所述最大X坐标和所述最大Y坐标作为所述外接矩形的右下坐标，并将所述外接矩形的围合区域作为所述感兴趣区域输出。
优选的，所述步骤S4中，所述相似度的计算过程如下：
步骤C1，所述图像处理装置采用感知哈希算法分别计算当前帧所述心脏超声图像和前一帧所述心脏超声图像的64位哈希值，得到对应的当前帧哈希值和前一帧哈希值；
步骤C2，所述图像处理装置对所述当前帧哈希值和所述前一帧哈希值进行逐位比较，并在每次比较结果表示所述当前帧哈希值与所述前一帧哈希值具有不同哈希值时进行加计数，得到不同哈希值位数；
步骤C3，所述图像处理装置根据所述不同哈希值位数计算得到所述相似度。
优选的，所述步骤C3中，采用如下公式计算得到所述相似度：
Figure BDA0002492262740000041
其中，
R用于表示所述相似度；
Diff用于表示所述不同哈希值位数。
优选的，所述切片位置为胸骨旁左室长轴切面，或胸骨旁左室短轴切面，或心尖切面，或剑突下四腔心切面。
一种基于深度学习的超声图像二尖瓣定位系统，应用以上任意一项所述的超声图像二尖瓣定位方法，所述超声图像二尖瓣定位系统具体包括：
超声扫描设备，用于采集所述心脏超声图像并持续输出；
图像处理装置，连接所述超声扫描设备，所述图像处理装置具体包括：
图像分类单元，用于在获取第一帧所述心脏超声图像时，将所述心脏超声图像输入预先训练得到的神经网络分类模型进行切面识别，得到所述心脏超声图像的包含切面类型的切面位置；
二尖瓣定位单元，连接所述图像分类单元，用于根据所述切面位置由预先训练得到的模型参数集合中加载相应的模型参数，将所述模型参数代入预先生成的神经网络模型得到相应的切面定位模型，并将所述心脏超声图像输入所述切面定位模型得到标记有所述二尖瓣所在位置的感兴趣区域的所述心脏超声图像并输出；
图像处理单元，连接所述二尖瓣定位单元，用于用于在获取下一帧所述心脏超声图像时，计算当前帧所述心脏超声图像与前一帧所述心脏超声图像之间的相似度，并在所述相似度大于预设的相似度阈值时，将前一帧所述心脏超声图像的所述切面位置作为当前帧所述心脏超声图像的所述切面位置送入所述二尖瓣定位单元进行所述二尖瓣的定位，以及
在所述相似度不大于所述相似度阈值时，将当前帧所述心脏超声图像输入所述神经网络分类模型进行切面识别，得到当前帧所述心脏超声图像的所述切面位置，并将所述切面位置送入所述二尖瓣定位单元进行所述二尖瓣的定位。
优选的，所述二尖瓣定位单元具体包括：
掩码图生成子单元，用于根据所述切面位置由预先训练得到的参数集合中加载相应的参数，将所述参数代入预先生成的神经网络模型得到相应的切面定位模型，并将所述心脏超声图像输入所述切面定位模型得到所述二尖瓣的掩码图；
图像预处理子单元，连接所述掩码图生成子单元，用于对所述掩码图进行图像预处理得到预处理图像；
定位子单元，连接所述图像预处理子单元，用于采用排序法分别求解所述预处理图像中的点集中的最小X坐标、最大X坐标、最小Y坐标和最大Y坐标，则将所述最小X坐标和所述最小Y坐标作为所述点集的外接矩形的左上坐标，以及将所述最大X坐标和所述最大Y坐标作为所述外接矩形的右下坐标，并将所述外接矩形的围合区域作为所述感兴趣区域输出。
优选的，所述图像处理装置还包括结果输出单元，连接所述二尖瓣定位单元，用于实时接收并输出所述二尖瓣所在位置的所述感兴趣区域。
上述技术方案具有如下优点或有益效果：能够实时跟踪二尖瓣所在位置，解决血流监测和二尖瓣运动中探头位置偏移问题。
附图说明
图1为本发明的较佳的实施例中，一种基于深度学习的超声图像二尖瓣的定位方法的流程示意图；
图2为本发明的较佳的实施例中，预先训练得到所述神经网络分类模型的过程示意图；
图3为本发明的较佳的实施例中，预先训练得到所述模型参数集合的过程示意图；
图4为本发明的较佳的实施例中，二尖瓣的定位方法的流程示意图；
图5为本发明的较佳的实施例中，相似度的计算过程示意图；
图6为本发明的较佳的实施例中，一种基于深度学习的超声图像二尖瓣的定位系统的结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本发明并不限定于该实施方式，只要符合本发明的主旨，则其他实施方式也可以属于本发明的范畴。
本发明的较佳的实施例中，基于现有技术中存在的上述问题，现提供一种基于深度学习的超声图像二尖瓣定位方法，定位方法应用于在心脏超声扫查过程中对包含二尖瓣的心脏超声图像进行跟踪定位，如图1所示，具体包括：
步骤S1，采用一超声扫描设备采集心脏超声图像并持续输出至超声扫描设备连接的一图像处理装置；
步骤S2，图像处理装置获取第一帧心脏超声图像时，将心脏超声图像输入预先训练得到的神经网络分类模型进行切面识别，得到心脏超声图像的包含切面类型的切面位置；
步骤S3，图像处理装置根据切面位置由预先训练得到的模型参数集合中加载相应的模型参数，将模型参数代入预先生成的神经网络模型得到相应的切面定位模型，并将心脏超声图像输入切面定位模型得到标记有二尖瓣所在位置的感兴趣区域的心脏超声图像并输出；
图像处理装置输出的每帧心脏超声图像均标记有感兴趣区域，以供后续分析使用；
步骤S4，图像处理装置获取下一帧心脏超声图像时，计算当前帧心脏超声图像与前一帧心脏超声图像之间的相似度，并将相似度与预设的相似度阈值进行比较：
若相似度大于相似度阈值，则将前一帧心脏超声图像的切面位置作为当前帧心脏超声图像的切面位置，随后返回步骤S3；
若相似度不大于相似度阈值，则将当前帧心脏超声图像输入神经网络分类模型进行切面识别，得到当前帧心脏超声图像的切面位置，返回步骤S3。
具体地，本实施例中，本发明通过与超声扫描设备连接的一图像处理装置，对超声扫描设备采集得到的每帧心脏超声图像进行实时监控，在开始监控时，图像处理装置对于首次接收到的一帧心脏超声图像，需要首先采用预先训练得到的神经网络分类模型进行切面识别，以确定该帧心脏超声图像的切面位置，随后加载该切面位置对应的模型参数，并采用该模型参数对应的切面定位模型处理得到二尖瓣所在位置的感兴趣区域。
当再次接收到一帧心脏超声图像时，在当前帧心脏超声图像与上一帧心脏超声图像的相似度大于预先设置的相似度阈值时，说明当前帧心脏超声图像与上一帧心脏超声图像处于心脏部位的同一切面位置，此时无需对当前帧心脏超声图像进行切面识别，可以将上一帧心脏超声图像的切面位置作为当前帧心脏超声图像的切面位置，随后加载该切面位置对应的模型参数，并采用该模型参数对应的切面定位模型处理得到二尖瓣所在位置的感兴趣区域。在当前帧心脏超声图像与上一帧心脏超声图像的相似度不大于上述相似度阈值时，说明当前帧心脏超声图像具有很大可能与上一帧心脏超声图像处于心脏部位的不同切面位置，此时再利用上一帧心脏超声图像的切面位置进行二尖瓣的定位是不准确的，因此，可以将当前帧心脏超声图像与首次接收到的一帧心脏超声图像同样处理，即先进行切面位置识别，再进行二尖瓣定位，实时跟踪二尖瓣所在位置，解决血流监测和二尖瓣运动中探头位置偏移问题。
本发明的较佳的实施例中，还包括预先训练得到神经网络分类模型的过程，如图2所示，具体包括：
步骤A1，获取若干历史心脏超声图像，并将各历史心脏超声图像按照不同切面位置进行分类，得到包含切面类型的切面位置标注图像；
步骤A2，根据切面标注图像进行模型训练，并在训练过程中，对切面位置标注图像进行批量归一化，对网络权重进行正态分布初始化，且采用多分类交叉熵函数作为损失函数训练得到神经网络分类模型。
具体地，本实施例中，上述神经网络分类模型优选为轻量级的分类网络，神经网络分类模型的目的是为了获取当前心脏超声图像所采集的切面位置，因此需要大量的已知心脏历史心脏超声图像作为超声样本影像，将各历史心脏超声图像按照不同切面位置进行分类后得到相应的切面位置标注图像，随后根据该切面位置标注图像训练得到神经网络分类模型。上述切面位置对应于神经网络分类模型的输出，优选为胸骨旁左室长轴切面，或胸骨旁左室短轴切面，或心尖切面，或剑突下四腔心切面，
上述所有历史心脏超声图像中，优选其中90％的历史心脏超声图像中必须包含有二尖瓣部位，保证训练得到的神经网络分类模型能够更好地用于对心脏超声图像进行分类。
在训练时，优选将随机抽取1个batch(批量)的心脏超声图像归一化到-1到1之间，网络权重按正态分布初始化到0到1之间的随机值，有效提升训练速度。且训练时损失函数优选采用多分类交叉熵函数，多分类交叉熵函数的表达式如下：
Figure BDA0002492262740000111
对于样本(x,y)来讲，x是心脏超声图像，y是真实的标签，即切面位置标注信息，p是预测标签为所有标签的集合，我们假设有k个标签值，第i个样本预测为第k个标签的概率为pi,k，一共有N个样本。换言之，历史心脏超声图像具有四个切面位置时，即k＝4时，pi,k表示神经网络分类模型输出的第i个样本预测切面位置的概率，通过上述多分类交叉熵函数的表达式能够计算得到第i个样本的损失函数，进而通过该损失函数进行调参，最终训练得到上述神经网络分类模型。
本发明的较佳的实施例中，还包括预先训练得到模型参数集合的过程，如图3所示，具体包括：
步骤B1，获取具有不同切面位置的若干心脏超声图像，并分别在各心脏超声图像上标注出二尖瓣的掩码图得到掩码图标注图像；
步骤B2，针对每种切面类型的切面位置，根据对应的掩码图标注图像进行模型参数训练，并在训练过程中，采用Dice系数作为损失函数训练得到对应切面位置的模型参数，并将各模型参数加入模型参数集合进行保存。
具体地，本实施例中，上述切面定位模型优选为轻量级的单一目标分割网络，切面定位模型的目的是为了获得二尖瓣所在位置的感兴趣区域，本发明的切面位置优选为四个，则需要对应准备四组不同切面位置的心脏超声图像，并在每幅心脏超声图像上标注一个二尖瓣的掩码图作为真实图像，随后对四组心脏超声图像分别进行单独训练，从而得到四组已训练的模型参数。
上述训练过程中，优选采用Dice系数(Dice coefficient)作为损失函数，进行训练可以有效的进行快速收敛，减少训练次数。损失函数的表达式如下：
Figure BDA0002492262740000121
其中，|X∩Y|表示X和Y之间的交集；|X|和|Y|分别表示X和Y的元素个数；X表示预测掩码图像,Y真实掩码图像。
本发明的较佳的实施例中，如图4所示，步骤S3具体包括：
步骤S31，图像处理装置根据切面位置由预先训练得到的参数集合中加载相应的参数，将参数代入预先生成的神经网络模型得到相应的切面定位模型，并将心脏超声图像输入切面定位模型得到二尖瓣的掩码图；
步骤S32，图像处理装置对掩码图进行图像预处理得到预处理图像；
步骤S33，图像处理装置采用排序法分别求解预处理图像中的点集中的最小X坐标、最大X坐标、最小Y坐标和最大Y坐标，则将最小X坐标和最小Y坐标作为点集的外接矩形的左上坐标，以及将最大X坐标和最大Y坐标作为外接矩形的右下坐标，并将外接矩形的围合区域作为感兴趣区域输出。
具体地，本实施例中，将心脏超声图像输入切面定位模型得到二尖瓣的掩码图之后，优选对掩码图进行图像预处理以便后续处理，上述图像预处理优选包括平滑滤波并进行二值化。平滑滤波可采用均值法、高斯法等。二值化可采用固定阈值法或大津法。
随后采用排序法求解预处理图像中点集中的最小X，最大X，最小Y和最大Y获得外接矩形左上坐标(最小X，最小Y)和右下坐标(最大X，最大Y)，从而获得外接矩形，进而获取其感兴趣区域。
本发明的较佳的实施例中，步骤S4中，如图5所示，相似度的计算过程如下：
步骤C1，图像处理装置采用感知哈希算法分别计算当前帧心脏超声图像和前一帧心脏超声图像的64位哈希值，得到对应的当前帧哈希值和前一帧哈希值；
步骤C2，图像处理装置对当前帧哈希值和前一帧哈希值进行逐位比较，并在每次比较结果表示当前帧哈希值与前一帧哈希值具有不同哈希值时进行加计数，得到不同哈希值位数；
步骤C3，图像处理装置根据不同哈希值位数计算得到相似度。
具体地，本实施例中，采用感知哈希算法计算出当前图像的64位哈希值Hcur和上一帧图像的哈希值Hprev，逐位比较Hcur和Hprev每位不同，累计不同计数Diff，R＝(64-Diff)/64。当R>N时认为两图相似，一般默认相似度阈值N＝0.9。
本发明的较佳的实施例中，步骤C3中，采用如下公式计算得到相似度：
Figure BDA0002492262740000131
其中，
R用于表示相似度；
Diff用于表示不同哈希值位数。
本发明的较佳的实施例中，切片位置为胸骨旁左室长轴切面，或胸骨旁左室短轴切面，或心尖切面，或剑突下四腔心切面。
一种基于深度学习的超声图像二尖瓣定位系统，应用以上任意一项的超声图像二尖瓣定位方法，如图6所示，超声图像二尖瓣定位系统具体包括：
超声扫描设备1，用于采集心脏超声图像并持续输出；
图像处理装置2，连接超声扫描设备1，图像处理装置2具体包括：
图像分类单元21，用于在获取第一帧心脏超声图像时，将心脏超声图像输入预先训练得到的神经网络分类模型进行切面识别，得到心脏超声图像的包含切面类型的切面位置；
二尖瓣定位单元22，连接图像分类单元21，用于根据切面位置由预先训练得到的模型参数集合中加载相应的模型参数，将模型参数代入预先生成的神经网络模型得到相应的切面定位模型，并将心脏超声图像输入切面定位模型得到标记有所述二尖瓣所在位置的感兴趣区域的所述心脏超声图像并输出；
图像处理单元23，连接二尖瓣定位单元22，用于在获取下一帧心脏超声图像时，计算当前帧心脏超声图像与前一帧心脏超声图像之间的相似度，并在相似度大于预设的相似度阈值时，将前一帧心脏超声图像的切面位置作为当前帧心脏超声图像的切面位置送入二尖瓣定位单元进行二尖瓣的定位，以及
在相似度不大于相似度阈值时，将当前帧心脏超声图像输入神经网络分类模型进行切面识别，得到当前帧心脏超声图像的切面位置，并将切面位置送入二尖瓣定位单元进行二尖瓣的定位。
具体地，上述超声扫描设备1的作用主要是从超声设备或工作站或云端中收集心脏超声图像，超声扫描设备1包括不限于视频采集卡、DICOM存储服务、基于网络协议的数据以及基于USB协议的数据的硬件或软件采集器等。
上述图像处理装置2的作用是通过上述采集得到的心脏超声图像计算出二尖瓣的位置。图像处理装置2包括不限于PC、工作站、嵌入式设备、云主机等。
本发明的较佳的实施例中，二尖瓣定位单元22具体包括：
掩码图生成子单元221，用于根据切面位置由预先训练得到的参数集合中加载相应的参数，将参数代入预先生成的神经网络模型得到相应的切面定位模型，并将心脏超声图像输入切面定位模型得到二尖瓣的掩码图；
图像预处理子单元222，连接掩码图生成子单元221，用于对掩码图进行图像预处理得到预处理图像；
定位子单元223，连接图像预处理子单元222，用于采用排序法分别求解预处理图像中的点集中的最小X坐标、最大X坐标、最小Y坐标和最大Y坐标，则将最小X坐标和最小Y坐标作为点集的外接矩形的左上坐标，以及将最大X坐标和最大Y坐标作为外接矩形的右下坐标，并将外接矩形的围合区域作为感兴趣区域输出。
本发明的较佳的实施例中，图像处理装置2还包括结果输出单元24，连接二尖瓣定位单元22，用于实时接收并输出二尖瓣所在位置的感兴趣区域。
具体地，本实施例中，结果输出单元24的作用是将图像处理装置2的计算结果输出或呈现出来。结果输出单元24包括不限于显示器、超声设备、工作站、云端或者其他二次开发设备等。
本发明的一个较佳的实施例中，本发明的基于深度学习的超声图像二尖瓣定位方法及系统能够用于心脏超声监护系统中，在对二尖瓣血流监护时，通过该方法及系统能够实时定位超声B模式图像中的二尖瓣的位置，提取得到的ROI(感兴趣区域)的中间位置作为二尖瓣多普勒采集窗的位置，设置超声采样线和采样门位置，进行多普勒成像，并能够根据图像微动来改变超声血流采用窗的采集位置。
以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (10)

1.一种基于深度学习的超声图像二尖瓣的定位方法，其特征在于，所述定位方法应用于在心脏超声扫查过程中对包含二尖瓣的心脏超声图像进行跟踪定位，具体包括：
步骤S1，采用一超声扫描设备采集所述心脏超声图像并持续输出至所述超声扫描设备连接的一图像处理装置；
步骤S2，所述图像处理装置获取第一帧所述心脏超声图像时，将所述心脏超声图像输入预先训练得到的神经网络分类模型进行切面识别，得到所述心脏超声图像的包含切面类型的切面位置；
步骤S3，所述图像处理装置根据所述切面位置由预先训练得到的模型参数集合中加载相应的模型参数，将所述模型参数代入预先生成的神经网络模型得到相应的切面定位模型，并将所述心脏超声图像输入所述切面定位模型得到标记有所述二尖瓣所在位置的感兴趣区域的心脏超声图像并输出；
所述图像处理装置输出的每帧所述心脏超声图像均标记有所述感兴趣区域，以供后续分析使用；
步骤S4，所述图像处理装置获取下一帧所述心脏超声图像时，计算当前帧所述心脏超声图像与前一帧所述心脏超声图像之间的相似度，并将所述相似度与预设的相似度阈值进行比较：
若所述相似度大于所述相似度阈值，则将前一帧所述心脏超声图像的所述切面位置作为当前帧所述心脏超声图像的所述切面位置，随后返回步骤S3；
若所述相似度不大于所述相似度阈值，则将当前帧所述心脏超声图像输入所述神经网络分类模型进行切面识别，得到当前帧所述心脏超声图像的所述切面位置，返回所述步骤S3。
2.根据权利要求1所述的基于深度学习的超声图像二尖瓣的定位方法，其特征在于，还包括预先训练得到所述神经网络分类模型的过程，具体包括：
步骤A1，获取若干历史心脏超声图像，并将各所述历史心脏超声图像按照不同切面位置进行分类，得到包含切面类型的切面位置标注图像；
步骤A2，根据所述切面标注图像进行模型训练，并在训练过程中，对所述切面位置标注图像进行批量归一化，对网络权重进行正态分布初始化，且采用多分类交叉熵函数作为损失函数训练得到所述神经网络分类模型。
3.根据权利要求1所述的基于深度学习的超声图像二尖瓣的定位方法，其特征在于，还包括预先训练得到所述模型参数集合的过程，具体包括：
步骤B1，获取具有不同所述切面位置的若干心脏超声图像，并分别在各所述心脏超声图像上标注出所述二尖瓣的掩码图得到掩码图标注图像；
步骤B2，针对每种所述切面类型的所述切面位置，根据对应的所述掩码图标注图像进行模型参数训练，并在训练过程中，采用Dice系数作为损失函数训练得到对应所述切面位置的所述模型参数，并将各所述模型参数加入所述模型参数集合进行保存。
4.根据权利要求1所述的基于深度学习的超声图像二尖瓣的定位方法，其特征在于，所述步骤S3具体包括：
步骤S31，所述图像处理装置根据所述切面位置由预先训练得到的参数集合中加载相应的参数，将所述参数代入预先生成的神经网络模型得到相应的切面定位模型，并将所述心脏超声图像输入所述切面定位模型得到所述二尖瓣的掩码图；
步骤S32，所述图像处理装置对所述掩码图进行图像预处理得到预处理图像；
步骤S33，所述图像处理装置采用排序法分别求解所述预处理图像中的点集中的最小X坐标、最大X坐标、最小Y坐标和最大Y坐标，则将所述最小X坐标和所述最小Y坐标作为所述点集的外接矩形的左上坐标，以及将所述最大X坐标和所述最大Y坐标作为所述外接矩形的右下坐标，并将所述外接矩形的围合区域作为所述感兴趣区域输出。
5.根据权利要求1所述的基于深度学习的超声图像二尖瓣的定位方法，其特征在于，所述步骤S4中，所述相似度的计算过程如下：
步骤C1，所述图像处理装置采用感知哈希算法分别计算当前帧所述心脏超声图像和前一帧所述心脏超声图像的64位哈希值，得到对应的当前帧哈希值和前一帧哈希值；
步骤C2，所述图像处理装置对所述当前帧哈希值和所述前一帧哈希值进行逐位比较，并在每次比较结果表示所述当前帧哈希值与所述前一帧哈希值具有不同哈希值时进行加计数，得到不同哈希值位数；
步骤C3，所述图像处理装置根据所述不同哈希值位数计算得到所述相似度。
6.根据权利要求5所述的基于深度学习的超声图像二尖瓣的定位方法，其特征在于，所述步骤C3中，采用如下公式计算得到所述相似度：
Figure FDA0002492262730000041
其中，
R用于表示所述相似度；
Diff用于表示所述不同哈希值位数。
7.根据权利要求1所述的基于深度学习的超声图像二尖瓣的定位方法，其特征在于，所述切片位置为胸骨旁左室长轴切面，或胸骨旁左室短轴切面，或心尖切面，或剑突下四腔心切面。
8.一种基于深度学习的超声图像二尖瓣的定位系统，其特征在于，应用如权利要求1-7中任意一项所述的超声图像二尖瓣的定位方法，所述超声图像二尖瓣的定位系统具体包括：
超声扫描设备，用于采集所述心脏超声图像并持续输出；
图像处理装置，连接所述超声扫描设备，所述图像处理装置具体包括：
图像分类单元，用于在获取第一帧所述心脏超声图像时，将所述心脏超声图像输入预先训练得到的神经网络分类模型进行切面识别，得到所述心脏超声图像的包含切面类型的切面位置；
二尖瓣定位单元，连接所述图像分类单元，用于根据所述切面位置由预先训练得到的模型参数集合中加载相应的模型参数，将所述模型参数代入预先生成的神经网络模型得到相应的切面定位模型，并将所述心脏超声图像输入所述切面定位模型得到标记有所述二尖瓣所在位置的感兴趣区域的所述心脏超声图像并输出；
图像处理单元，连接所述二尖瓣定位单元，用于在获取下一帧所述心脏超声图像时，计算当前帧所述心脏超声图像与前一帧所述心脏超声图像之间的相似度，并在所述相似度大于预设的相似度阈值时，将前一帧所述心脏超声图像的所述切面位置作为当前帧所述心脏超声图像的所述切面位置送入所述二尖瓣定位单元进行所述二尖瓣的定位，以及
在所述相似度不大于所述相似度阈值时，将当前帧所述心脏超声图像输入所述神经网络分类模型进行切面识别，得到当前帧所述心脏超声图像的所述切面位置，并将所述切面位置送入所述二尖瓣定位单元进行所述二尖瓣的定位。
9.根据权利要求8所述的基于深度学习的超声图像二尖瓣的定位系统，其特征在于，所述二尖瓣定位单元具体包括：
掩码图生成子单元，用于根据所述切面位置由预先训练得到的参数集合中加载相应的参数，将所述参数代入预先生成的神经网络模型得到相应的切面定位模型，并将所述心脏超声图像输入所述切面定位模型得到所述二尖瓣的掩码图；
图像预处理子单元，连接所述掩码图生成子单元，用于对所述掩码图进行图像预处理得到预处理图像；
定位子单元，连接所述图像预处理子单元，用于采用排序法分别求解所述预处理图像中的点集中的最小X坐标、最大X坐标、最小Y坐标和最大Y坐标，则将所述最小X坐标和所述最小Y坐标作为所述点集的外接矩形的左上坐标，以及将所述最大X坐标和所述最大Y坐标作为所述外接矩形的右下坐标，并将所述外接矩形的围合区域作为所述感兴趣区域输出。
10.根据权利要求8所述的基于深度学习的超声图像二尖瓣的定位系统，其特征在于，所述图像处理装置还包括结果输出单元，连接所述二尖瓣定位单元，用于实时接收并输出所述二尖瓣所在位置的所述感兴趣区域。
CN202010408407.3A 2020-05-14 2020-05-14 一种基于深度学习的超声图像二尖瓣的定位方法及系统 Active CN111583250B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010408407.3A CN111583250B (zh) 2020-05-14 2020-05-14 一种基于深度学习的超声图像二尖瓣的定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010408407.3A CN111583250B (zh) 2020-05-14 2020-05-14 一种基于深度学习的超声图像二尖瓣的定位方法及系统

Publications (2)

Publication Number Publication Date
CN111583250A true CN111583250A (zh) 2020-08-25
CN111583250B CN111583250B (zh) 2023-04-18

Family

ID=72110937

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010408407.3A Active CN111583250B (zh) 2020-05-14 2020-05-14 一种基于深度学习的超声图像二尖瓣的定位方法及系统

Country Status (1)

Country Link
CN (1) CN111583250B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113112465A (zh) * 2021-03-31 2021-07-13 上海深至信息科技有限公司 一种颈动脉内中膜分割模型的生成系统及方法
CN114462558A (zh) * 2022-04-13 2022-05-10 南昌工程学院 一种数据增广的监督学习图像缺陷分类方法与系统
CN115587971A (zh) * 2022-09-21 2023-01-10 四川大学华西医院 基于心脏超声节段活动的机体反应及血流动力学监测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140052001A1 (en) * 2012-05-31 2014-02-20 Razvan Ioan Ionasec Mitral Valve Detection for Transthoracic Echocardiography
WO2017193251A1 (zh) * 2016-05-09 2017-11-16 深圳迈瑞生物医疗电子股份有限公司 识别超声图像中感兴趣区域轮廓的方法及系统
CN109276274A (zh) * 2018-10-26 2019-01-29 深圳开立生物医疗科技股份有限公司 一种超声图像标准切面识别及测量方法和超声诊断设备
US20200107818A1 (en) * 2018-10-08 2020-04-09 General Electric Company Ultrasound cardiac doppler study automation
US20200226757A1 (en) * 2018-12-11 2020-07-16 Eko.Ai Pte. Ltd. Training neural networks of an automatic clinical workflow that recognizes and analyzes 2d and doppler modality echocardiogram images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140052001A1 (en) * 2012-05-31 2014-02-20 Razvan Ioan Ionasec Mitral Valve Detection for Transthoracic Echocardiography
WO2017193251A1 (zh) * 2016-05-09 2017-11-16 深圳迈瑞生物医疗电子股份有限公司 识别超声图像中感兴趣区域轮廓的方法及系统
US20200107818A1 (en) * 2018-10-08 2020-04-09 General Electric Company Ultrasound cardiac doppler study automation
CN109276274A (zh) * 2018-10-26 2019-01-29 深圳开立生物医疗科技股份有限公司 一种超声图像标准切面识别及测量方法和超声诊断设备
US20200226757A1 (en) * 2018-12-11 2020-07-16 Eko.Ai Pte. Ltd. Training neural networks of an automatic clinical workflow that recognizes and analyzes 2d and doppler modality echocardiogram images

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113112465A (zh) * 2021-03-31 2021-07-13 上海深至信息科技有限公司 一种颈动脉内中膜分割模型的生成系统及方法
CN113112465B (zh) * 2021-03-31 2022-10-18 上海深至信息科技有限公司 一种颈动脉内中膜分割模型的生成系统及方法
CN114462558A (zh) * 2022-04-13 2022-05-10 南昌工程学院 一种数据增广的监督学习图像缺陷分类方法与系统
CN115587971A (zh) * 2022-09-21 2023-01-10 四川大学华西医院 基于心脏超声节段活动的机体反应及血流动力学监测方法及系统
CN115587971B (zh) * 2022-09-21 2023-10-24 四川大学华西医院 基于心脏超声节段活动的机体反应及血流动力学监测方法及系统

Also Published As

Publication number Publication date
CN111583250B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
US11468564B2 (en) Systems and methods for automatic detection and quantification of pathology using dynamic feature classification
US11151721B2 (en) System and method for automatic detection, localization, and semantic segmentation of anatomical objects
CN111583250B (zh) 一种基于深度学习的超声图像二尖瓣的定位方法及系统
Nurmaini et al. Accurate detection of septal defects with fetal ultrasonography images using deep learning-based multiclass instance segmentation
US11200693B2 (en) Image processing
CN110945560B (zh) 胎儿超声图像处理
CN112767355A (zh) 一种甲状腺结节Tirads分级自动识别模型构建方法及装置
CN108537751B (zh) 一种基于径向基神经网络的甲状腺超声图像自动分割方法
CN113012173A (zh) 基于心脏mri的心脏分割模型和病理分类模型训练、心脏分割、病理分类方法及装置
CN112750531A (zh) 一种中医自动化望诊系统、方法、设备和介质
WO2021027152A1 (zh) 基于条件生成对抗网络合成图像的方法及相关设备
CN115880266B (zh) 一种基于深度学习的肠道息肉检测系统和方法
CN115206478A (zh) 医学报告生成方法以及装置、电子设备、可读存储介质
CN113570594A (zh) 超声图像中目标组织的监测方法、装置及存储介质
US20220327691A1 (en) Method and system to assess medical images for suitability in clinical interpretation
CN113222985B (zh) 一种图像处理方法、装置、计算机设备和介质
Zhao et al. A survey of semen quality evaluation in microscopic videos using computer assisted sperm analysis
CN113222989A (zh) 一种图像分级方法、装置、存储介质及电子设备
Onpans et al. Intravascular Ultrasound Image Composite Segmentation using Ensemble Gabor-spatial Features
Pavel et al. Cancer detection using image processing techniques based on cell counting, cell area measurement and clump detection
CN113822904B (zh) 一种图像标注装置、方法及可读存储介质
Mazlin et al. Partitioning intensity inhomogeneity colour images via Saliency-based active contour
US20220409181A1 (en) Method and system for identifying a tendon in ultrasound imaging data and verifying such identity in live deployment
Hao et al. Automatic detection of breast nodule in the ultrasound images using CNN
Acula et al. Leukemia Detection with Overlapping Blood Cells Using Watershed Algorithm and Convolutional Neural Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201016

Address after: Room 5030, 5 / F, building e, 555 Dongchuan Road, Minhang District, Shanghai, 200241

Applicant after: Shanghai Shenzhi Information Technology Co.,Ltd.

Address before: Room 5030, 5 / F, building e, 555 Dongchuan Road, Minhang District, Shanghai, 200241

Applicant before: Shanghai Shenzhi Information Technology Co.,Ltd.

Applicant before: Shanghai Zhuxing Biotechnology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant