CN111508004A - 基于深度学习的室壁运动异常超声处理方法、系统和设备 - Google Patents

基于深度学习的室壁运动异常超声处理方法、系统和设备 Download PDF

Info

Publication number
CN111508004A
CN111508004A CN202010353367.7A CN202010353367A CN111508004A CN 111508004 A CN111508004 A CN 111508004A CN 202010353367 A CN202010353367 A CN 202010353367A CN 111508004 A CN111508004 A CN 111508004A
Authority
CN
China
Prior art keywords
segment
matrix
deep learning
strain
wall motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010353367.7A
Other languages
English (en)
Other versions
CN111508004B (zh
Inventor
杨菲菲
何昆仑
王秋霜
刘博罕
陈煦
李宗任
郭华源
张璐
邓玉娇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chinese PLA General Hospital
Original Assignee
Chinese PLA General Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chinese PLA General Hospital filed Critical Chinese PLA General Hospital
Priority to CN202010353367.7A priority Critical patent/CN111508004B/zh
Publication of CN111508004A publication Critical patent/CN111508004A/zh
Application granted granted Critical
Publication of CN111508004B publication Critical patent/CN111508004B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

申请公开了基于深度学习的室壁运动异常超声处理方法、系统和设备。所述方法包括：识别超声心动图中的二维切面视频；自动勾画所述二维切面视频中的每一帧图像的心内膜轮廓，并确定每个节段的位置；追踪二维切面图像中的每一帧图像的心肌部位斑点的运动，计算得出各个节段心肌的应变曲线；根据所述各个节段心肌的应变曲线，构造各个节段正常状态下的应变模型；将待测超声样本输入至各个节段的应变模型，比较待测超声样本和所述应变模型的拟合程度。本申请的上述方法、系统和设备排除了人为主观因素的干扰，减少心脏超声判读的个体间差异和个体内差异，提高识别结果的准确性和一致性。

Description

基于深度学习的室壁运动异常超声处理方法、系统和设备
技术领域
本申请涉及医学超声图像处理技术领域，尤其涉及一种基于深度学习的室壁运动异常超声处理方法、系统和设备。
背景技术
节段性室壁运动异常是评估心肌梗死的若干参考指标之一。目前室壁运动异常的超声识别主要考察：心内膜运动是否正常、心内膜运动是否减弱、心内膜运动是否消失、是否存在矛盾运动或者室壁瘤。但是目前医生对于节段性室壁运动异常的识别，主要凭借目测评估，这就需要依靠专业医生的经验，并且存在个体间差异比较大，其准确性和一致性往往难以保证。人工智能（AI）近年来成为各领域关注的焦点，其中深度学习的提出带来了一系列革命性变化，而随着计算机视觉向深度学习过渡以及硬件和大数据的进步，AI在图像识别领域展现出更广阔的发展前景，深度学习模型更使得相关图像算法达到了比人眼更高的识别准确率。目前，尚未有将人工智能（AI）技术应用到节段性室壁运动异常的超声图像处理和识别上的研究出现，这也是技术人员努力研究的方向之一。
发明内容
鉴于现有技术中的上述缺陷或不足，本申请提供了一种基于深度学习的室壁运动异常超声处理方法、系统和设备，通过人工智能技术自动对节段性室壁运动异常的超声图像进行识别和处理。
本发明的第一方面提供了一种基于深度学习的室壁运动异常超声处理方法，包括：
识别超声心动图中的二维切面视频；
自动勾画所述二维切面视频中的每一帧图像的心内膜轮廓，并确定每个节段的位置；
追踪二维切面图像中的每一帧图像的心肌部位斑点的运动，计算得出各个节段心肌的应变曲线；
根据所述各个节段心肌的应变曲线，构造各个节段正常状态下的应变模型；
将待测超声样本输入至各个节段的应变模型，比较待测超声样本和所述应变模型的拟合程度。
进一步的，根据S3D切面分类网络模型识别超声心动图中的二维切面视频。
进一步的，根据Unet网络模型自动勾画所述二维切面视频中的每一帧图像的心内膜轮廓，并确定每个节段的位置。
进一步的，每个节段正常状态下的应变模型Z满足下式：
Figure 100002_DEST_PATH_IMAGE002
其中，
Figure 100002_DEST_PATH_IMAGE004
为应变模型
Figure 100002_DEST_PATH_IMAGE006
矩阵的奇异值分解，并且奇异值
Figure 100002_DEST_PATH_IMAGE008
，
Figure 100002_DEST_PATH_IMAGE010
，
Figure 100002_DEST_PATH_IMAGE012
和
Figure 100002_DEST_PATH_IMAGE014
分别表示长度为
Figure 100002_DEST_PATH_IMAGE016
和
Figure 100002_DEST_PATH_IMAGE018
列向量，
Figure 100002_DEST_PATH_IMAGE016A
为正常样本数据的数量，
Figure DEST_PATH_IMAGE019
表示应变曲线的时长，上标T表示矩阵的转置；
取矩阵
Figure 100002_DEST_PATH_IMAGE006A
所有奇异值大于
Figure DEST_PATH_IMAGE021
的项形成
Figure 100002_DEST_PATH_IMAGE006AA
的
Figure DEST_PATH_IMAGE023
阶奇异值分解，其表示为：
Figure DEST_PATH_IMAGE025
其中，
Figure DEST_PATH_IMAGE027
，奇异值
Figure DEST_PATH_IMAGE029
，
Figure DEST_PATH_IMAGE031
为人工预先确定的阈值，
Figure DEST_PATH_IMAGE033
表示
Figure 100002_DEST_PATH_IMAGE006AAA
的
Figure DEST_PATH_IMAGE023A
阶近似矩阵。
进一步的，通过
Figure DEST_PATH_IMAGE033A
的左奇异向量
Figure DEST_PATH_IMAGE035
检测待测数据
Figure DEST_PATH_IMAGE037
是否异常：
Figure DEST_PATH_IMAGE039
；
Figure DEST_PATH_IMAGE041
；
Figure DEST_PATH_IMAGE043
；
其中，
Figure DEST_PATH_IMAGE045
为封闭解的正确期望，
Figure DEST_PATH_IMAGE037A
表示待测数据，
Figure DEST_PATH_IMAGE047
表示与
Figure DEST_PATH_IMAGE037AA
差距最小的向量，
Figure DEST_PATH_IMAGE049
为
Figure DEST_PATH_IMAGE051
阶单位矩阵，
Figure 100002_DEST_PATH_IMAGE053
为
Figure DEST_PATH_IMAGE054
与
Figure DEST_PATH_IMAGE037AAA
的差距量，上标
Figure DEST_PATH_IMAGE056
表示矩阵的转置。
本发明的第二方面提供了一种基于深度学习的室壁运动异常超声处理系统，包括：
用于识别超声心动图中的二维切面视频的模块；
用于自动勾画所述二维切面视频中的每一帧图像的心内膜轮廓，并确定每个节段的位置的模块；
用于追踪二维切面图像中的每一帧图像的心肌部位斑点的运动，计算得出各个节段心肌的应变曲线的模块；
用于根据所述各个节段心肌的应变曲线，构造各个节段正常状态下的应变模型的模块；
用于将待测超声样本输入至各个节段的应变模型，比较待测超声样本和所述应变模型的拟合程度的模块。
进一步的，每个节段正常状态下的应变模型
Figure DEST_PATH_IMAGE058
满足下式：
Figure DEST_PATH_IMAGE060
其中，
Figure DEST_PATH_IMAGE062
为应变模型
Figure DEST_PATH_IMAGE064
矩阵的奇异值分解，并且奇异值
Figure DEST_PATH_IMAGE066
，
Figure DEST_PATH_IMAGE068
，
Figure DEST_PATH_IMAGE070
和
Figure DEST_PATH_IMAGE072
分别表示长度为
Figure DEST_PATH_IMAGE074
和
Figure DEST_PATH_IMAGE076
列向量，
Figure DEST_PATH_IMAGE078
为正常样本数据的数量，
Figure DEST_PATH_IMAGE080
表示应变曲线的时长，上标
Figure DEST_PATH_IMAGE082
表示矩阵的转置；
取矩阵
Figure DEST_PATH_IMAGE084
所有奇异值大于
Figure 100002_DEST_PATH_IMAGE086
的项形成
Figure DEST_PATH_IMAGE087
的
Figure DEST_PATH_IMAGE089
阶奇异值分解，其表示为：
Figure DEST_PATH_IMAGE091
其中，
Figure DEST_PATH_IMAGE093
，奇异值
Figure DEST_PATH_IMAGE095
，
Figure DEST_PATH_IMAGE097
为人工预先确定的阈值，
Figure DEST_PATH_IMAGE099
表示
Figure DEST_PATH_IMAGE101
的
Figure DEST_PATH_IMAGE103
阶近似矩阵。
进一步的，通过
Figure DEST_PATH_IMAGE105
的左奇异向量
Figure DEST_PATH_IMAGE107
检测待测数据
Figure DEST_PATH_IMAGE109
是否异常：
Figure DEST_PATH_IMAGE111
；
Figure DEST_PATH_IMAGE113
；
Figure DEST_PATH_IMAGE115
；
其中，
Figure DEST_PATH_IMAGE117
为封闭解的正确期望，
Figure DEST_PATH_IMAGE119
表示待测数据，
Figure DEST_PATH_IMAGE121
表示与
Figure DEST_PATH_IMAGE123
差距最小的向量，
Figure DEST_PATH_IMAGE125
为
Figure DEST_PATH_IMAGE127
阶单位矩阵，
Figure DEST_PATH_IMAGE129
为
Figure DEST_PATH_IMAGE121A
与
Figure DEST_PATH_IMAGE123A
的差距量，上标
Figure DEST_PATH_IMAGE131
表示矩阵的转置。
进一步的，根据S3D切面分类网络模型识别超声心动图中的二维切面视频；根据Unet网络模型自动勾画所述二维切面视频中的每一帧图像的心内膜轮廓，并确定每个节段的位置。
本发明的第三方面提供了一种医学超声检测设备，包括：
超声检测探头、至少一个处理器、以及与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，以使所述至少一个处理器能够执行上述任意所述的基于深度学习的室壁运动异常超声处理方法。
综上，本申请提供的基于深度学习的室壁运动异常超声处理方法、系统和设备，基于超声心动图二维切面视频，通过心肌应变技术，自动提取室壁17节段运动特征，识别出节段性室壁运动异常的超声图像，并输出相应的室壁运动评分。该方法、系统和设备排除了人为主观因素的干扰，减少心脏超声判读的个体间差异和个体内差异，提高识别结果的准确性和一致性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是心脏左室心肌17节段分区示意图；
图2是本发明一个实施例提供的节段性室壁运动异常的超声图像处理方法的流程图；
图3是本发明一个实施例中各个节段心肌应变曲线的示意图；
图4是本发明另一实施例提供的节段性室壁运动异常的超声图像处理系统的功能模块图；
图5是本发明另一实施例提供的一种医学超声检测设备的结构框图；
图6是本发明另一实施例提供的一种B超机的硬件结构图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
参见图1，为统一临床影像学检查的左室分区法，2002年AHA建议采用统一的标准左室切面，将左室心肌分为17区，17区法最符合心脏的解剖结构，因此，临床指南中推荐17节段法来评价室壁运动情况，本发明在此不做赘述。
图2是本发明一个实施例的节段性室壁运动异常的超声图像处理方法100的流程图，包括：
步骤S101，识别超声心动图中的二维切面视频。
具体的，利用切面分类网络模型在超声视频中筛选出后期检测所需要的心尖四腔、心尖两腔、心尖三腔等二维切面视频。其中，切面分类网络模型优选为S3D深度学习分类模型。S3D模型使用2D+1D卷积替代其他视频分类模型中常用的3D卷积，大大减少了显存占用量，并结合注意力机制，提升了模型表现。
步骤S102，自动勾画所述二维切面视频中的每一帧图像的心内膜轮廓，并确定每个节段的位置。
具体的，先由专业医生在超声二维切面上勾画左心室的内膜和外膜，然后训练建立神经网络图像分割模型，实现对上述心内膜轮廓的自动勾画，并通过先验知识确定每个节段的位置。
步骤S103，追踪二维切面图像中的每一帧图像的心肌部位斑点的运动，计算得出各个节段心肌的应变曲线。
本步骤中通过追踪二维超声图像上的斑点获得心肌的组织速度、应变、应变率来分析心肌的运动。由于心肌二维灰阶图像中小于入射超声波长的细小结构产生的散射、反射及干扰形成了心肌组织中分布均匀的大小约20～40像素的声学斑点，以这些斑点作为组织标志，采用最佳模式匹配技术追踪识别这些位于心肌内的声学斑点的空间运动位移情况，并逐帧追踪其几何位移变化，就可以获得心肌组织的运动信息。具体的，首先，将二维切面视频中的每一帧拆解为系列静态图片，对所述二维切面视频图像中的图像帧进行归一化、二值化操作、形态学开操作、直方图均衡处理以及双边滤波处理等图像预处理操作；然后，利用STI斑点追踪技术对每一帧图像的各个节段的心肌部位斑点的运动进行追踪，并计算得出各个节段心肌的应变曲线。
步骤S104，根据所述各个节段心肌的应变曲线，构造各个节段正常状态下的应变模型；
具体的，经过斑点追踪可以得到各个节段的心肌应变曲线，如图3所示。显然每个应变曲线可以表示成一个向量
Figure DEST_PATH_IMAGE133
，其中
Figure DEST_PATH_IMAGE135
表示第
Figure DEST_PATH_IMAGE137
时刻该节段心肌的应变值，下标
Figure DEST_PATH_IMAGE139
表示应变曲线中心肌应变的总持续时间，
Figure DEST_PATH_IMAGE141
表示第
Figure DEST_PATH_IMAGE143
时刻的该节段心肌的应变值。对于每个节段，首先，我们收集
Figure DEST_PATH_IMAGE145
笔正常样本数据用来构造该节段的正常模型，我们将这
Figure DEST_PATH_IMAGE145A
笔数据表示成一个
Figure DEST_PATH_IMAGE147
的矩阵
Figure DEST_PATH_IMAGE149
。
步骤S105，将待测超声样本输入至各个节段的应变模型，比较待测超声样本和所述应变模型的拟合程度。
具体的，接下来我们对矩阵
Figure DEST_PATH_IMAGE151
进行奇异值分解，
Figure DEST_PATH_IMAGE153
,其中
Figure DEST_PATH_IMAGE155
是
Figure DEST_PATH_IMAGE157
正交矩阵，
Figure DEST_PATH_IMAGE159
是
Figure DEST_PATH_IMAGE161
对角矩阵，
Figure DEST_PATH_IMAGE163
是
Figure DEST_PATH_IMAGE165
正交矩阵。
Figure DEST_PATH_IMAGE166
的对角线上的项称为矩阵
Figure DEST_PATH_IMAGE151A
的奇异值。并且用
Figure DEST_PATH_IMAGE168
表示
Figure DEST_PATH_IMAGE151AA
的第
Figure DEST_PATH_IMAGE170
个奇异值。奇异值对应着矩阵中隐含的重要信息，且重要性和奇异值大小正相关。
更直观的来讲
Figure DEST_PATH_IMAGE151AAA
的奇异值分解可以表示为：
Figure DEST_PATH_IMAGE171
其中，
Figure DEST_PATH_IMAGE172
为应变模型
Figure DEST_PATH_IMAGE006AAAA
矩阵的奇异值分解，并且奇异值
Figure DEST_PATH_IMAGE173
，
Figure DEST_PATH_IMAGE010A
，
Figure DEST_PATH_IMAGE174
和
Figure DEST_PATH_IMAGE175
分别表示长度为
Figure DEST_PATH_IMAGE016AA
和
Figure DEST_PATH_IMAGE176
列向量，
Figure DEST_PATH_IMAGE016AAA
为正常样本数据的数量，
Figure DEST_PATH_IMAGE176A
表示应变曲线的时长，上标T表示矩阵的转置；
相应的
Figure DEST_PATH_IMAGE006AAAAA
的
Figure DEST_PATH_IMAGE023AA
阶奇异值分解，其表示为：
Figure DEST_PATH_IMAGE177
其中，
Figure DEST_PATH_IMAGE027A
，奇异值
Figure DEST_PATH_IMAGE029A
，
Figure DEST_PATH_IMAGE031A
为人工预先确定的阈值。
由此可以构建一个全集
Figure DEST_PATH_IMAGE006AAAAAA
的
Figure DEST_PATH_IMAGE023AAA
阶近似矩阵
Figure DEST_PATH_IMAGE179
，使得
Figure DEST_PATH_IMAGE179A
远小于
Figure DEST_PATH_IMAGE006AAAAAAA
，但却包含
Figure DEST_PATH_IMAGE006AAAAAAAA
的主要信息，即：
Figure DEST_PATH_IMAGE181
接着，使用
Figure DEST_PATH_IMAGE179AA
的左奇异向量
Figure DEST_PATH_IMAGE183
来检测异常数据。由于
Figure DEST_PATH_IMAGE183A
是线性重构
Figure DEST_PATH_IMAGE006AAAAAAAAA
中所有观察到的正常样本数据的良好基础，因此对于待测数据
Figure DEST_PATH_IMAGE185
是否接近由正常数据张成的空间，通过解决以下简单的最小二乘问题即可实现：
Figure DEST_PATH_IMAGE187
由于
Figure DEST_PATH_IMAGE183AA
的列彼此正交，因此该最小二乘问题具有简单的封闭形式解，表示为：
Figure DEST_PATH_IMAGE189
其中，
Figure DEST_PATH_IMAGE191
为封闭解的正确期望，
Figure DEST_PATH_IMAGE185A
表示待测数据，上标T表示矩阵的转置，
Figure DEST_PATH_IMAGE183AAA
为
Figure DEST_PATH_IMAGE179AAA
的左奇异向量。
由上式可知，待测数据
Figure DEST_PATH_IMAGE185AA
的异常分数为：
Figure DEST_PATH_IMAGE193
其中，
Figure DEST_PATH_IMAGE195
表示与
Figure DEST_PATH_IMAGE197
差距最小的向量，
Figure DEST_PATH_IMAGE199
为
Figure DEST_PATH_IMAGE201
阶单位矩阵，
Figure DEST_PATH_IMAGE203
为
Figure DEST_PATH_IMAGE195A
与
Figure DEST_PATH_IMAGE197A
的差距量，上标T表示矩阵的转置，
Figure DEST_PATH_IMAGE205
表示第
Figure DEST_PATH_IMAGE207
个待测数据。
最后，再将上式中的
Figure DEST_PATH_IMAGE203A
反向放缩至0~5的区间，也就是说异常值越大则室壁运动评分越接近于0，反之异常分数越小室壁运动评分越接近于5，可表示为：
Figure DEST_PATH_IMAGE209
上述
Figure DEST_PATH_IMAGE211
函数的数学公式为:
Figure DEST_PATH_IMAGE213
参见图4，其示出了本发明另一实施例中节段性室壁运动异常的超声图像处理系统200，包括：
模块201，用于识别超声心动图中的二维切面视频的模块；
模块202，用于自动勾画所述二维切面视频中的每一帧图像的心内膜轮廓，并确定每个节段的位置的模块；
模块203，用于追踪二维切面图像中的每一帧图像的心肌部位斑点的运动，计算得出各个节段心肌的应变曲线的模块；
模块204，用于根据所述各个节段心肌的应变曲线，构造各个节段正常状态下的应变模型的模块；
模块205，用于将待测超声样本输入至各个节段的应变模型，比较待测超声样本和所述应变模型的拟合程度的模块。
进一步的，模块204中的每个节段正常状态下的应变模型
Figure DEST_PATH_IMAGE058A
满足下式：
Figure DEST_PATH_IMAGE060A
其中，
Figure DEST_PATH_IMAGE214
为应变模型
Figure DEST_PATH_IMAGE215
矩阵的奇异值分解，并且奇异值
Figure DEST_PATH_IMAGE066A
，
Figure DEST_PATH_IMAGE068A
，
Figure DEST_PATH_IMAGE070A
和
Figure DEST_PATH_IMAGE072A
分别表示长度为
Figure DEST_PATH_IMAGE216
和
Figure DEST_PATH_IMAGE217
列向量，
Figure DEST_PATH_IMAGE078A
为正常样本数据的数量，
Figure DEST_PATH_IMAGE080A
表示应变曲线的时长，上标
Figure DEST_PATH_IMAGE082A
表示矩阵的转置；
取矩阵
Figure DEST_PATH_IMAGE084A
所有奇异值大于
Figure DEST_PATH_IMAGE086A
的项形成
Figure DEST_PATH_IMAGE087A
的
Figure DEST_PATH_IMAGE089A
阶奇异值分解，其表示为：
Figure DEST_PATH_IMAGE218
其中，
Figure DEST_PATH_IMAGE093A
，奇异值
Figure DEST_PATH_IMAGE219
，
Figure DEST_PATH_IMAGE220
为人工预先确定的阈值，
Figure DEST_PATH_IMAGE221
表示
Figure DEST_PATH_IMAGE222
的
Figure DEST_PATH_IMAGE103A
阶近似矩阵。
进一步的，模块205通过
Figure DEST_PATH_IMAGE223
的左奇异向量
Figure DEST_PATH_IMAGE224
检测待测数据
Figure DEST_PATH_IMAGE109A
是否异常：
Figure DEST_PATH_IMAGE225
；
Figure DEST_PATH_IMAGE226
；
Figure DEST_PATH_IMAGE115A
；
其中，
Figure DEST_PATH_IMAGE117A
为封闭解的正确期望，
Figure DEST_PATH_IMAGE119A
表示待测数据，
Figure DEST_PATH_IMAGE121AA
表示与
Figure DEST_PATH_IMAGE123AA
差距最小的向量，
Figure DEST_PATH_IMAGE125A
为
Figure DEST_PATH_IMAGE227
阶单位矩阵，
Figure DEST_PATH_IMAGE228
为
Figure DEST_PATH_IMAGE121AAA
与
Figure DEST_PATH_IMAGE123AAA
的差距量，上标
Figure DEST_PATH_IMAGE131A
表示矩阵的转置。
应当理解，本实施例中的节段性室壁运动异常的超声图像处理系统200所记载的诸模块与图2所述方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于本实施例的各个模块，在此不再赘述。本实施例的系统可以预先实现在电子设备中，也可以通过下载等方式而加载到电子设备中。本实施例的系统中的相应模块可以与电子设备中的单元相互配合以实现本申请实施例的方案。此外，描述于本实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
参见图5，其示出了本发明另一实施例的一种医学超声检测设备300，包括：
超声检测探头303、至少一个处理器301、以及与所述至少一个处理器通信连接的存储器302；
其中，所述存储器302存储有可被所述至少一个处理器301执行的指令，以使所述至少一个处理器301能够执行上述任意实施例中所述的节段性室壁运动异常的超声图像处理方法。
图5所示实施例中的医学超声检测设备300例如可以是B超机。参见图6，B超机亦可包含有计算机系统700，其包括中央处理单元（CPU）701，其可以根据存储在只读存储器（ROM）702中的程序或者从存储部分708加载到随机访问存储器（RAM）703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统700操作所需的各种程序和数据。CPU701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出（I/O）接口705也连接至总线704。以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管（CRT）、液晶显示器（LCD）等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中所述系统或电子设备中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本申请的节段性室壁运动异常的超声图像处理方法。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种基于深度学习的室壁运动异常超声处理方法，其特征在于，包括：
识别超声心动图中的二维切面视频；
自动勾画所述二维切面视频中的每一帧图像的心内膜轮廓，并确定每个节段的位置；
追踪二维切面图像中的每一帧图像的心肌部位斑点的运动，计算得出各个节段心肌的应变曲线；
根据所述各个节段心肌的应变曲线，构造各个节段正常状态下的应变模型；
将待测超声样本输入至各个节段的应变模型，比较待测超声样本和所述应变模型的拟合程度。
2.根据权利要求1所述的基于深度学习的室壁运动异常超声处理方法，其特征在于：根据S3D切面分类网络模型识别超声心动图中的二维切面视频。
3.根据权利要求1所述的基于深度学习的室壁运动异常超声处理方法，其特征在于：根据Unet网络模型自动勾画所述二维切面视频中的每一帧图像的心内膜轮廓，并确定每个节段的位置。
4.根据权利要求1所述的基于深度学习的室壁运动异常超声处理方法，其特征在于：每个节段正常状态下的应变模型Z满足下式：
Figure DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE004
为应变模型
Figure DEST_PATH_IMAGE006
矩阵的奇异值分解，并且奇异值
Figure DEST_PATH_IMAGE008
，
Figure DEST_PATH_IMAGE010
，
Figure DEST_PATH_IMAGE012
和
Figure DEST_PATH_IMAGE014
分别表示长度为
Figure DEST_PATH_IMAGE016
和
Figure DEST_PATH_IMAGE018
列向量，
Figure DEST_PATH_IMAGE016A
为正常样本数据的数量，
Figure DEST_PATH_IMAGE018A
表示应变曲线的时长，上标T表示矩阵的转置；
取矩阵
Figure DEST_PATH_IMAGE006A
所有奇异值大于
Figure DEST_PATH_IMAGE020
的项形成
Figure DEST_PATH_IMAGE006AA
的
Figure DEST_PATH_IMAGE022
阶奇异值分解，其表示为：
Figure DEST_PATH_IMAGE024
其中，
Figure DEST_PATH_IMAGE026
，奇异值
Figure DEST_PATH_IMAGE028
，
Figure DEST_PATH_IMAGE030
为人工预先确定的阈值，
Figure DEST_PATH_IMAGE032
表示
Figure DEST_PATH_IMAGE006AAA
的
Figure DEST_PATH_IMAGE022A
阶近似矩阵。
5.根据权利要求4所述的基于深度学习的室壁运动异常超声处理方法，其特征在于，通过
Figure DEST_PATH_IMAGE032A
的左奇异向量
Figure DEST_PATH_IMAGE034
检测待测数据
Figure DEST_PATH_IMAGE036
是否异常：
Figure DEST_PATH_IMAGE038
；
Figure DEST_PATH_IMAGE040
；
Figure DEST_PATH_IMAGE042
；
其中，
Figure DEST_PATH_IMAGE044
为封闭解的正确期望，
Figure DEST_PATH_IMAGE036A
表示待测数据，
Figure DEST_PATH_IMAGE046
表示与
Figure DEST_PATH_IMAGE036AA
差距最小的向量，
Figure DEST_PATH_IMAGE048
为
Figure DEST_PATH_IMAGE050
阶单位矩阵，
Figure DEST_PATH_IMAGE052
为
Figure DEST_PATH_IMAGE053
与
Figure DEST_PATH_IMAGE036AAA
的差距量，上标
Figure DEST_PATH_IMAGE055
表示矩阵的转置。
6.一种基于深度学习的室壁运动异常超声处理系统，其特征在于，包括：
用于识别超声心动图中的二维切面视频的模块；
用于自动勾画所述二维切面视频中的每一帧图像的心内膜轮廓，并确定每个节段的位置的模块；
用于追踪二维切面图像中的每一帧图像的心肌部位斑点的运动，计算得出各个节段心肌的应变曲线的模块；
用于根据所述各个节段心肌的应变曲线，构造各个节段正常状态下的应变模型的模块；
用于将待测超声样本输入至各个节段的应变模型，比较待测超声样本和所述应变模型的拟合程度的模块。
7.根据权利要求6所述的基于深度学习的室壁运动异常超声处理系统，其特征在于，每个节段正常状态下的应变模型
Figure DEST_PATH_IMAGE057
满足下式：
Figure DEST_PATH_IMAGE059
其中，
Figure DEST_PATH_IMAGE061
为应变模型
Figure DEST_PATH_IMAGE063
矩阵的奇异值分解，并且奇异值
Figure DEST_PATH_IMAGE065
，
Figure DEST_PATH_IMAGE067
，
Figure DEST_PATH_IMAGE069
和
Figure DEST_PATH_IMAGE071
分别表示长度为
Figure DEST_PATH_IMAGE073
和
Figure DEST_PATH_IMAGE075
列向量，
Figure DEST_PATH_IMAGE077
为正常样本数据的数量，
Figure DEST_PATH_IMAGE079
表示应变曲线的时长，上标
Figure DEST_PATH_IMAGE081
表示矩阵的转置；
取矩阵
Figure DEST_PATH_IMAGE083
所有奇异值大于
Figure DEST_PATH_IMAGE085
的项形成
Figure DEST_PATH_IMAGE086
的
Figure DEST_PATH_IMAGE088
阶奇异值分解，其表示为：
Figure DEST_PATH_IMAGE090
其中，
Figure DEST_PATH_IMAGE092
，奇异值
Figure DEST_PATH_IMAGE094
，
Figure DEST_PATH_IMAGE096
为人工预先确定的阈值，
Figure DEST_PATH_IMAGE098
表示
Figure DEST_PATH_IMAGE100
的
Figure DEST_PATH_IMAGE102
阶近似矩阵。
8.根据权利要求7所述的基于深度学习的室壁运动异常超声处理系统，其特征在于，通过
Figure DEST_PATH_IMAGE104
的左奇异向量
Figure DEST_PATH_IMAGE106
检测待测数据
Figure DEST_PATH_IMAGE108
是否异常：
Figure DEST_PATH_IMAGE110
；
Figure DEST_PATH_IMAGE112
；
Figure DEST_PATH_IMAGE114
；
其中，
Figure DEST_PATH_IMAGE116
为封闭解的正确期望，
Figure DEST_PATH_IMAGE118
表示待测数据，
Figure DEST_PATH_IMAGE120
表示与
Figure DEST_PATH_IMAGE122
差距最小的向量，
Figure DEST_PATH_IMAGE124
为
Figure DEST_PATH_IMAGE126
阶单位矩阵，
Figure DEST_PATH_IMAGE128
为
Figure DEST_PATH_IMAGE120A
与
Figure DEST_PATH_IMAGE122A
的差距量，上标
Figure DEST_PATH_IMAGE130
表示矩阵的转置。
9.根据权利要求6所述的基于深度学习的室壁运动异常超声处理系统，其特征在于：
根据S3D切面分类网络模型识别超声心动图中的二维切面视频；
根据Unet网络模型自动勾画所述二维切面视频中的每一帧图像的心内膜轮廓，并确定每个节段的位置。
10.一种医学超声检测设备，包括：
超声检测探头、至少一个处理器、以及与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，以使所述至少一个处理器能够执行上述权利要求1-5中任意所述的基于深度学习的室壁运动异常超声处理方法。
CN202010353367.7A 2020-04-29 2020-04-29 基于深度学习的室壁运动异常超声处理方法、系统和设备 Active CN111508004B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010353367.7A CN111508004B (zh) 2020-04-29 2020-04-29 基于深度学习的室壁运动异常超声处理方法、系统和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010353367.7A CN111508004B (zh) 2020-04-29 2020-04-29 基于深度学习的室壁运动异常超声处理方法、系统和设备

Publications (2)

Publication Number Publication Date
CN111508004A true CN111508004A (zh) 2020-08-07
CN111508004B CN111508004B (zh) 2021-01-15

Family

ID=71871549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010353367.7A Active CN111508004B (zh) 2020-04-29 2020-04-29 基于深度学习的室壁运动异常超声处理方法、系统和设备

Country Status (1)

Country Link
CN (1) CN111508004B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112258476A (zh) * 2020-10-22 2021-01-22 大连东软教育科技集团有限公司 超声心动图心肌异常运动模式分析方法、系统及存储介质
CN112914610A (zh) * 2021-01-22 2021-06-08 华中科技大学同济医学院附属同济医院 基于深度学习的对比增强超声心动图室壁厚度自动分析系统与方法
CN113384293A (zh) * 2021-06-12 2021-09-14 北京医院 基于二维斑点追踪技术冠心病筛查的集成机器学习方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6994673B2 (en) * 2003-01-16 2006-02-07 Ge Ultrasound Israel, Ltd Method and apparatus for quantitative myocardial assessment
CN102088913A (zh) * 2008-07-10 2011-06-08 皇家飞利浦电子股份有限公司 心脏同步性和生成力的超声评估
CN104398271A (zh) * 2014-11-14 2015-03-11 西安交通大学 血管与斑块的三维力学及组织特性成像检测方法
CN107072531A (zh) * 2014-05-06 2017-08-18 塞克利心血管成像股份有限公司 用于心肌壁动力学的分析的方法和系统
CN107070867A (zh) * 2017-01-03 2017-08-18 湖南大学 基于多层局部敏感哈希表的网络流量异常快速检测方法
CN108279121A (zh) * 2018-02-08 2018-07-13 湘潭大学 一种大切深下滚刀刃底接触力特性测试系统及其测试方法
CN108805913A (zh) * 2018-05-14 2018-11-13 首都医科大学附属北京安贞医院 一种冠状动脉ct影像与心脏超声应变成像的融合方法
US20180333517A1 (en) * 2016-04-15 2018-11-22 Soochow University Flexible substrate/liquid electrolyte viscous composite material and preparation method therefor
CN109715055A (zh) * 2016-05-03 2019-05-03 阿库图森医疗有限公司 具有效率算法的心脏标测系统
CN111012377A (zh) * 2019-12-06 2020-04-17 北京安德医智科技有限公司 超声心动图心脏参数计算以及心肌应变测量方法、装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6994673B2 (en) * 2003-01-16 2006-02-07 Ge Ultrasound Israel, Ltd Method and apparatus for quantitative myocardial assessment
CN102088913A (zh) * 2008-07-10 2011-06-08 皇家飞利浦电子股份有限公司 心脏同步性和生成力的超声评估
CN107072531A (zh) * 2014-05-06 2017-08-18 塞克利心血管成像股份有限公司 用于心肌壁动力学的分析的方法和系统
CN104398271A (zh) * 2014-11-14 2015-03-11 西安交通大学 血管与斑块的三维力学及组织特性成像检测方法
US20180333517A1 (en) * 2016-04-15 2018-11-22 Soochow University Flexible substrate/liquid electrolyte viscous composite material and preparation method therefor
CN109715055A (zh) * 2016-05-03 2019-05-03 阿库图森医疗有限公司 具有效率算法的心脏标测系统
CN107070867A (zh) * 2017-01-03 2017-08-18 湖南大学 基于多层局部敏感哈希表的网络流量异常快速检测方法
CN108279121A (zh) * 2018-02-08 2018-07-13 湘潭大学 一种大切深下滚刀刃底接触力特性测试系统及其测试方法
CN108805913A (zh) * 2018-05-14 2018-11-13 首都医科大学附属北京安贞医院 一种冠状动脉ct影像与心脏超声应变成像的融合方法
CN111012377A (zh) * 2019-12-06 2020-04-17 北京安德医智科技有限公司 超声心动图心脏参数计算以及心肌应变测量方法、装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈娜: "三维斑点追踪成像及左心室整体心肌应变评价化疗对肺癌患者的心脏毒性", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112258476A (zh) * 2020-10-22 2021-01-22 大连东软教育科技集团有限公司 超声心动图心肌异常运动模式分析方法、系统及存储介质
CN112914610A (zh) * 2021-01-22 2021-06-08 华中科技大学同济医学院附属同济医院 基于深度学习的对比增强超声心动图室壁厚度自动分析系统与方法
CN113384293A (zh) * 2021-06-12 2021-09-14 北京医院 基于二维斑点追踪技术冠心病筛查的集成机器学习方法

Also Published As

Publication number Publication date
CN111508004B (zh) 2021-01-15

Similar Documents

Publication Publication Date Title
Neto et al. An unsupervised coarse-to-fine algorithm for blood vessel segmentation in fundus images
US10453191B2 (en) Automated intravascular plaque classification
US7555151B2 (en) System and method for tracking anatomical structures in three dimensional images
Suinesiaputra et al. Automated detection of regional wall motion abnormalities based on a statistical model applied to multislice short-axis cardiac MR images
CN111508004B (zh) 基于深度学习的室壁运动异常超声处理方法、系统和设备
US20110135172A1 (en) Image processing apparatus, image processing method, and image processing program
Koh et al. An automatic segmentation method of the spinal canal from clinical MR images based on an attention model and an active contour model
US8831311B2 (en) Methods and systems for automated soft tissue segmentation, circumference estimation and plane guidance in fetal abdominal ultrasound images
CN105249922A (zh) 断层图像拍摄设备和断层图像拍摄方法
David et al. Robust classification of brain tumor in MRI images using salient structure descriptor and RBF kernel-SVM
EP2987114B1 (en) Method and system for determining a phenotype of a neoplasm in a human or animal body
Mahapatra et al. Localizing and segmenting Crohn's disease affected regions in abdominal MRI using novel context features
WO2012109658A2 (en) Systems, methods and computer readable storage mediums storing instructions for segmentation of medical images
Zhang et al. A supervised texton based approach for automatic segmentation and measurement of the fetal head and femur in 2D ultrasound images
Hogeweg et al. Suppression of translucent elongated structures: applications in chest radiography
Maiora et al. Abdominal CTA image analisys through active learning and decision random forests: Aplication to AAA segmentation
CN114332132A (zh) 图像分割方法、装置和计算机设备
Faisal et al. Computer assisted diagnostic system in tumor radiography
Xu et al. A novel machine-learning algorithm to estimate the position and size of myocardial infarction for MRI sequence
Landgren et al. An automated system for the detection and diagnosis of kidney lesions in children from scintigraphy images
CN115760851A (zh) 基于机器学习的超声图像数据处理方法及其系统
CN113222985B (zh) 一种图像处理方法、装置、计算机设备和介质
Dovganich et al. Automatic quality control in lung X-ray imaging with deep learning
Alirr Dual attention U-net for liver tumor segmentation in CT images
Shaziya et al. Comprehensive review of automatic lung segmentation techniques on pulmonary CT images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant