CN114469176B - 一种胎儿心脏超声图像的检测方法及相关装置 - Google Patents

一种胎儿心脏超声图像的检测方法及相关装置 Download PDF

Info

Publication number
CN114469176B
CN114469176B CN202111670392.9A CN202111670392A CN114469176B CN 114469176 B CN114469176 B CN 114469176B CN 202111670392 A CN202111670392 A CN 202111670392A CN 114469176 B CN114469176 B CN 114469176B
Authority
CN
China
Prior art keywords
mode
echocardiogram
fetal heart
feature
fetal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111670392.9A
Other languages
English (en)
Other versions
CN114469176A (zh
Inventor
林泽慧
刘恋
杨鑫
高睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Duying Medical Technology Co ltd
Original Assignee
Shenzhen Duying Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Duying Medical Technology Co ltd filed Critical Shenzhen Duying Medical Technology Co ltd
Priority to CN202111670392.9A priority Critical patent/CN114469176B/zh
Publication of CN114469176A publication Critical patent/CN114469176A/zh
Application granted granted Critical
Publication of CN114469176B publication Critical patent/CN114469176B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0866—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/242—Detecting biomagnetic fields, e.g. magnetic fields produced by bioelectric currents
    • A61B5/243—Detecting biomagnetic fields, e.g. magnetic fields produced by bioelectric currents specially adapted for magnetocardiographic [MCG] signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/344—Foetal cardiography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4416—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to combined acquisition of different diagnostic modalities, e.g. combination of ultrasound and X-ray acquisitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Cardiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Gynecology & Obstetrics (AREA)
  • Pregnancy & Childbirth (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本申请公开了一种胎儿心脏超声图像的检测方法及相关装置，方法包括获取多模态类型的超声心动图；基于获取的超声心动图确定胎儿心脏形态结构、胎儿心律指标及胎儿心脏房室运动规律；基于胎儿心脏形态结构、胎儿心律指标及胎儿心脏房室运动规律，确定胎儿心律失常类别。本申请基于获取到的多模态类型的超声心动图自动确定胎儿心脏形态结构、胎儿心律指标及胎儿心脏房室运动规律，以便于自动确定胎儿心律失常类别，这样采用多模态类型的超声心动图确定胎儿心律失常类别，可以降低胎儿心律失常类别的检测成本，同时在获取到多模态类型的超声心动图后自动确定胎儿心律失常类别，避免了对医生临床经验的依赖，提高了胎儿心律失常类别的准确性。

Description

一种胎儿心脏超声图像的检测方法及相关装置
技术领域
本申请涉及生物医学技术领域，特别涉及一种胎儿心脏超声图像的检测方法及相关装置。
背景技术
胎儿心律失常是指无宫缩时胎心节律不规则，或胎心率在正常范围(110-160次/min)外，其中，胎儿心律失常主要分为胎儿心动过速、胎儿心动过缓和胎儿心律不齐。胎儿心律失常是临床上常见的胎儿心血管疾病，其检出率约为妊娠总数的1～3％，在被查出为胎儿心律失常的胎儿中，约有10％胎儿表现为持续性的快速或缓慢心律失常，如，胎儿室上性心动过速、心房扑动、完全性房室传导阻滞或者长QT综合征等，该部分胎儿自然预后较差，如不及时诊断并采取积极的干预措施，可致胎儿循环失代偿、水肿及心力衰竭，严重者可出现早产甚至胎死宫内。
目前胎儿心律失常普遍是在胎心听诊、胎心监护或超声检查时被发现，然后在通过胎儿超声心动图、胎儿心磁图和心电图确定胎儿心律失常类别。其中，当采用心磁图检测胎儿心律失常时会存在因心磁图检测的高额成本而造成检测成本高的问题；当采用心电图检测胎儿心律失常时，会存在因易受噪音和母体心电图等多种因素干扰导致而结果可靠性较差的问题；当采用胎儿超声心动图确定胎儿心律失常时，存在因需要依靠临床医生的经验而导致的误诊率高的问题，同时也会给医生带来大量繁琐工作。
因而现有技术还有待改进和提高。
发明内容
本申请要解决的技术问题在于，针对现有技术的不足，提供一种胎儿心脏超声图像的检测方法及相关装置。
为了解决上述技术问题，本申请实施例第一方面提供了一种胎儿心脏超声图像的检测方法，所述的方法包括：
获取多模态类型的超声心动图；
基于多模态类型的超声心动图确定胎儿心脏形态结构、胎儿心律指标以及胎儿心脏房室运动规律；
基于所述胎儿心脏形态结构、胎儿心律指标以及胎儿心脏房室运动规律，确定胎儿心律失常类别。
所述的胎儿心脏超声图像的检测方法，其中，所述多模态类型的超声心动图包括B模态超声心动图，脉冲多普勒超声心动图，组织多普勒超声心动图，B模态超声心动图序列，以及M型超声心动图序列。
所述的胎儿心脏超声图像的检测方法，其中，所述基于多模态类型的超声心动图确定胎儿心脏形态结构、胎儿心律指标以及胎儿心脏房室运动规律具体包括：
基于所述B模态超声心动图以及经过训练的结构分割网络，确定胎儿心脏形态结构；
基于所述脉冲多普勒超声心动图、所述组织多普勒超声心动图以及经过训练的检测定位网络，确定胎儿心律指标；
基于所述B模态超声心动图序列、M型超声心动图序列以及经过训练的多模态融合网络，确定胎儿心脏房室运动规律。
所述的胎儿心脏超声图像的检测方法，其中，所述基于所述B模态超声心动图以及经过训练的结构分割网络，确定胎儿心脏形态结构具体包括：
控制将经过训练的结构分割网络的编码模块确定B模态超声心动图的结构特征图序列，其中，所述结构特征图序列中的各结构特征图的图像尺寸互不相同；
控制所述结构分割网络中的解码模块基于结构特征图序列胎儿心脏形态结构。
所述的胎儿心脏超声图像的检测方法，其中，所述检测定位网络包括特征提取模块以及预测模块，所述特征提取模块包括依次级联的若干特征提取单元以及注意力机制单元，按照级联顺序相邻的两个特征提取单元中后一特征提取单元的输入项为前一特征提取单元的输出项与该输出项通过注意力机制单元后的注意力输出项的融合项；各特征提取单元的输出项为所述预测模块的输入项。
所述的胎儿心脏超声图像的检测方法，其中，所述基于所述脉冲多普勒超声心动图、所述组织多普勒超声心动图以及经过训练的检测定位网络，确定胎儿心律指标之前，所述方法包括：
分别将脉冲多普勒超声心动图以及组织多普勒超声心动图进行二值化，以得到脉冲多普勒二值化图以及组织多普勒二值化图；
基于脉冲多普勒超声心动图对应的形状先验模板以及脉冲多普勒二值化图，确定脉冲多普勒边缘图像，并基于对应的组织多普勒超声心动图对应的形状先验模板以及组织多普勒二值化图，确定组织多普勒边缘图像；
分别对所述脉冲多普勒边缘图像以及组织多普勒边缘图像进行平滑处理，并将平滑后的脉冲多普勒边缘图像作为脉冲多普勒超声心动图，平滑后的组织多普勒边缘图像作为组织多普勒超声心动图。
所述的胎儿心脏超声图像的检测方法，其中，所述基于所述B模态超声心动图序列、M型超声心动图序列以及经过训练的多模态融合网络，确定胎儿心脏房室运动规律具体包括：
控制多模态融合网络基于所述B模态超声心动图序列以及M型超声心动图序列，确定多模态特征图；
控制经过训练的分布异常检测网络基于多模态特征图，确定重构多模态特征图；
控制多模态融合网络基于所述重构多模态特图，确定胎儿心脏房室运动规律。
本申请实施例第二方面提供了一种胎儿心脏超声图像的检测装置，所述的装置包括：
获取模块，用于获取多模态类型的超声心动图；
第一确定模块，用于基于多模态类型的超声心动图确定胎儿心脏形态结构、胎儿心律指标以及胎儿心脏房室运动规律；
第二确定模块，用于基于所述胎儿心脏形态结构、胎儿心律指标以及胎儿心脏房室运动规律，确定胎儿心律失常类别。
本申请实施例第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的胎儿心脏超声图像的检测方法中的步骤。
本申请实施例第四方面提供了一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如上任一所述的胎儿心脏超声图像的检测方法中的步骤。
有益效果：与现有技术相比，本申请提供了一种胎儿心脏超声图像的检测方法及相关装置，所述方法包括获取多模态类型的超声心动图；基于多模态类型的超声心动图确定胎儿心脏形态结构、胎儿心律指标以及胎儿心脏房室运动规律；基于所述胎儿心脏形态结构、胎儿心律指标以及胎儿心脏房室运动规律，确定胎儿心律失常类别。本申请同时获取多模态类型的超声心动图，并基于获取到的多模态类型的超声心动图自动确定胎儿心脏形态结构、胎儿心律指标以及胎儿心脏房室运动规律，以便于自动确定胎儿心律失常类别，这样采用多模态类型的超声心动图确定胎儿心律失常类别，可以降低胎儿心律失常类别的检测成本，同时在获取到多模态类型的超声心动图后自动确定胎儿心律失常类别，避免了对医生临床经验的依赖，提高了胎儿心律失常类别的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在不符创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的胎儿心脏超声图像的检测方法的流程图。
图2为本申请提供的胎儿心脏超声图像的检测方法的流程示例图。
图3为本申请提供的胎儿心脏超声图像的检测方法的结构分割网络的络框架图。
图4为本申请提供的胎儿心脏超声图像的检测方法的检测定位网络的络框架图。
图5为本申请提供的胎儿心脏超声图像的检测方法的分布外异常检测网络的训练过程原理图。
图6为本申请提供的胎儿心脏超声图像的检测装置的结构原理图。
图7为本申请提供的终端设备的结构原理图。
具体实施方式
本申请提供一种胎儿心脏超声图像的检测方法及相关装置，为使本申请的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本申请进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
应理解，本实施例中各步骤的序号和大小并不意味着执行顺序的先后，各过程的执行顺序以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
发明人经过研究发现，胎儿心律失常是指无宫缩时胎心节律不规则，或胎心率在正常范围(110-160次/min)外，其中，胎儿心律失常主要分为胎儿心动过速、胎儿心动过缓和胎儿心律不齐。胎儿心律失常是临床上常见的胎儿心血管疾病，其检出率约为妊娠总数的1～3％，在被查出为胎儿心律失常的胎儿中，约有10％胎儿表现为持续性的快速或缓慢心律失常，如，胎儿室上性心动过速、心房扑动、完全性房室传导阻滞或者长QT综合征等，该部分胎儿自然预后较差，如不及时诊断并采取积极的干预措施，可致胎儿循环失代偿、水肿及心力衰竭，严重者可出现早产甚至胎死宫内。
目前胎儿心律失常普遍是在胎心听诊、胎心监护或超声检查时被发现，然后在通过胎儿超声心动图、胎儿心磁图和心电图确定胎儿心律失常类别。其中，当采用心磁图检测胎儿心律失常时会存在因心磁图检测的高额成本而造成检测成本高的问题；当采用心电图检测胎儿心律失常时，会存在因易受噪音和母体心电图等多种因素干扰导致而结果可靠性较差的问题；当采用胎儿超声心动图确定胎儿心律失常时，存在因需要依靠临床医生的经验而导致的误诊率高的问题，同时也会给医生带来大量繁琐工作。
为了解决上述问题，在本申请实施例中，获取多模态类型的超声心动图；基于多模态类型的超声心动图确定胎儿心脏形态结构、胎儿心律指标以及胎儿心脏房室运动规律；基于所述胎儿心脏形态结构、胎儿心律指标以及胎儿心脏房室运动规律，确定胎儿心律失常类别。本申请同时获取多模态类型的超声心动图，并基于获取到的多模态类型的超声心动图自动确定胎儿心脏形态结构、胎儿心律指标以及胎儿心脏房室运动规律，以便于自动确定胎儿心律失常类别，这样采用多模态类型的超声心动图确定胎儿心律失常类别，可以降低胎儿心律失常类别的检测成本，同时在获取到多模态类型的超声心动图后自动确定胎儿心律失常类别，避免了对医生临床经验的依赖，提高了胎儿心律失常类别的准确性。
下面结合附图，通过对实施例的描述，对申请内容作进一步说明。
本实施例提供了一种胎儿心脏超声图像的检测方法，如图1所示，所述方法包括：
S10、获取多模态类型的超声心动图。
具体地，多模态类型的超声心动图包括多种模态的超声心动图，并且多种模态的超声心动图为同一胎儿同一时间段的超声心动图。例如，多模态类型的超声心动图中的每个模态类型的超声心动图均为在同一天对同一胎儿进行超声心动图采集所得到的。在一个实现方式中，所述多模态类型的超声心动图包括B模态超声心动图，脉冲多普勒超声心动图，组织多普勒超声心动图，B模态超声心动图序列，以及M型超声心动图序列。
S20、基于多模态类型的超声心动图确定胎儿心脏形态结构、胎儿心律指标以及胎儿心脏房室运动规律。
具体地，所述胎儿心脏形态结构用于反映胎儿心脏结构，胎儿心律指标用于反映心脏血流信息、房室壁及心脏瓣膜的活动规律以及心脏的电生理信息；胎儿心脏房室运动规律用于反映心房、心室的机械活动及心房、心室的机械活动之间的关系。在一个实现方式中，所述胎儿心律指标可以包括心房与心室收缩的同步血流信号以及心肌在不同时相运动的速度和加速度；所述胎儿心脏房室运动规律可以包括心房的机械活动规律以及心室的机械活动规律。
在本实施例的一个实现方式中，如图2所示，所述基于多模态类型的超声心动图确定胎儿心脏形态结构、胎儿心律指标以及胎儿心脏房室运动规律具体包括：
S21、基于所述B模态超声心动图以及经过训练的结构分割网络，确定胎儿心脏形态结构；
S22、基于所述脉冲多普勒超声心动图、所述组织多普勒超声心动图以及经过训练的检测定位网络，确定胎儿心律指标；
S23、基于所述B模态超声心动图序列、M型超声心动图序列以及经过训练的多模态融合网络，确定胎儿心脏房室运动规律。
具体地，在所述步骤S21中，结构分割网络为经过训练的深度学习网络模型，结构分割网络用于对B模态超声心动图进行胎心结构分割，以得到结构分割网络，其中，结构分割网络基于带有标注信息的B模态超声心动图训练得到的，标注信息可以包括胎儿心脏的各结构、整体形状、胎儿心脏大小以及胎儿心脏在B模态超声心动图的位置等。此外，所述B模态超声心动图为二维B模态超声图，并且在基于带有标注信息的B模态超声心动图对深度学习网络模型进行训练之前，可以对B模态超声心动图进行随机缩放、随机旋转、随机裁剪与标准化处理中的一种或者多种操作，以提高用于训练结构分割网络的训练数据的数据量以及数据多样性，从而可以提高训练得到的结构分割网络的模型预测精度，避免过拟合。
在一个实现方式中，所述结构分割网络可以包括编码模块和解码模块，所述编码模块与所述解码模块采用跳跃连接。相应的，所述基于所述B模态超声心动图以及经过训练的结构分割网络，确定胎儿心脏形态结构具体包括：
控制将经过训练的结构分割网络的编码模块确定B模态超声心动图的结构特征图序列；
控制所述结构分割网络中的解码模块基于结构特征图序列胎儿心脏形态结构。
具体地，所述编码模块用于对B模态超声心动图进行特征提取，以得到B模态超声心动图对应的结构特征图序列，其中，所述结构特征图序列包括若干结构特征图，若干结构特征图中的各结构特征图的图像尺寸互不相同。结构特征图序列可以按照结构图特征图的图像尺寸从小到大的顺序排列，或者是，按照结构图特征图的图像尺寸从大到小的顺序排列等。
在一个实现方式中，如图3所示，编码模块包括依次级联的若干深度可分离卷积单元，若干深度可分离卷积单元中的每个深度可分离卷积单元的输入项构成B模态超声心动图对应的结构特征图序列，并且相邻两个深度可分离卷积单元按照级联顺序，前一个深度可分离卷积单元的输出项为后一个深度可分离卷积单元的输入项，并且前一深度可分离卷积单元的输出项的图像尺寸小于后一个深度可分离卷积单元的输出项的图像尺寸。所述编码模块包括若干依次上采样单元以及若干卷积层，若干第一上采样单元的数量比若干深度可分离卷积单元的数量少1，若干深度可分离卷积单元中除位于最后的深度可分离卷积单元外的各深度可分离卷积单元按照级联顺序与若干上采样单元按照级联逆序一一对应，并且各深度可分离卷积单元与其上采样单元通过卷积层跳跃条件，位于最后的深度可分离卷积单元与位于最前的上采样单元相连接，其中，若干卷积层的数量与上采样单元的数量相同。本实施例通过采用跳跃连接和深度可分离卷积，可以在保留B模态超声心动图中更多的图像表征特征的同时轻量模型。
在一个实现方式中，所述结构分割网络在训练过程中，可以对跳跃连接的特征输出进行深监督，以判断隐藏层特征是否有效并调整模型权重。也就是说，在结构分割网络的训练过程中，编码模块还可以包括若干深监督卷积层，若干深监督卷积层与若干卷积层一一对应，各深监督卷积层的输入项为其对应的卷积层的输出项，通过深监督卷积层输出预测图像，基于预测图像以及标注图像确定损失项，并基于损失项训练深度学习网络模型以得到结构分割网络。
在所述步骤S22中，如图4所示，所述检测定位网络包括特征提取模块以及预测模块，所述特征提取模块包括依次级联的若干特征提取单元以及注意力机制单元，按照级联顺序相邻的两个特征提取单元中后一特征提取单元的输入项为前一特征提取单元的输出项与该输出项通过注意力机制单元后的注意力输出项的融合项；各特征提取单元的输出项为所述预测模块的输入项。本实施例通过采用注意力机制单元，可以提高检测定位网络对小目标的关注，从而提高预测准确性。在一个具体实现方式中，注意力机制单元对输入其内的特征图先沿着通道维度学习注意力权重后与原特征图相乘进行权重调整，再沿着空间维度学习注意力权重后与已经过权重调整的特征图相乘。当然，在实际应用中，也可以先沿着空间维度学习注意力权重，再沿着通道维度学习注意力权重；或者并行沿着空间维度学习注意力权重以及沿着通道维度学习注意力权重等。
在一个具体实现方式中，如图4所示，预测模块包括若干卷积层、连接层、全卷积层以及softmax层，若干卷积层的数量比若干特征提取单元的数量少1，并且若干卷积层与若干特征提取单元中除位于最后的特征提取单元外的各特征提取单元一一对应，除位于最后的特征提取单元外的各特征提取单元的输出项输入各自对应的卷积层，并通过各自对应的卷积层进行通道降维。各卷积层的输出项与位于最后的特征提取单元的输出项均为连接层的输入项，通过连接层将各卷积层的输出项与位于最后的特征提取单元的输出项拼接；连接层的输出项为全卷积层的输入项，全卷积层的输入项为softmax层的输入项，softmax层确定中心动周期的位置坐标值，血流频谱波峰波谷点的坐标位置以及血流频谱波峰波谷点的类别，并基于中心动周期的位置坐标值，血流频谱波峰波谷点的坐标位置以及血流频谱波峰波谷点的类别确定胎儿心律指标，其中，所述胎儿心律指标可以包括心房与心室收缩的同步血流信号以及心肌在不同时相运动的速度和加速度。本实施例通过全卷积层可以更好地保留目标的空间位置信息，以提高预测得到的胎儿心律指标的准确性。
在本实施例的一个实现方式中，所述基于所述脉冲多普勒超声心动图、所述组织多普勒超声心动图以及经过训练的检测定位网络，确定胎儿心律指标之前，所述方法包括：
分别将脉冲多普勒超声心动图以及组织多普勒超声心动图进行二值化，以得到脉冲多普勒二值化图以及组织多普勒二值化图；
基于脉冲多普勒超声心动图对应的形状先验模板以及脉冲多普勒二值化图，确定脉冲多普勒边缘图像，并基于对应的组织多普勒超声心动图对应的形状先验模板以及组织多普勒二值化图，确定组织多普勒边缘图像；
分别对所述脉冲多普勒边缘图像以及组织多普勒边缘图像进行平滑处理，并将平滑后的脉冲多普勒边缘图像作为脉冲多普勒超声心动图，平滑后的组织多普勒边缘图像作为组织多普勒超声心动图。
具体地，所述形状先验模板为预先获取的波形形状图，其中，脉冲多普勒超声心动图对应的形状先验模板用于确定脉冲多普勒超声心动图中的波形边缘；组织多普勒超声心动图对应的形状先验模板用于确定组织多普勒超声心动图中的波形边缘。此外，由于多普勒超声心动图和组织多普勒超声心动图中的频谱边界像素于背景像素具有很高的对比度，从而通过二值化可以将背景区域与频谱区域区分，例如，将背景区域采用1，频谱区域采用0表示。由此，在获取到二值化图后，可以基于形状先验模板在二值化图中选取频谱中的波形边缘，以得到脉冲多普勒边缘图像和组织多普勒边缘图像。
所述平滑处理可以采用距离映射方式进行处理，即在确定脉冲多普勒边缘图像和组织多普勒边缘图像后，可以计算脉冲多普勒边缘图像和组织多普勒边缘图像的距离映射使其最小化以平滑各自对应给的形状先验模板边缘，以完成频谱波形形状的先验约束。在一个实现方式中，距离映射公式如下所示：
式中表示模板边缘图像中位于xm像素点处的距离映射值，dist(xm,xn)表示像素xm与距离其最近的模板边缘上的点xn之间的欧式距离。
在所述步骤S23中，所述基于所述B模态超声心动图序列、M型超声心动图序列以及经过训练的多模态融合网络，确定胎儿心脏房室运动规律具体包括：
控制多模态融合网络基于所述B模态超声心动图序列以及M型超声心动图序列，确定多模态特征图；
控制经过训练的分布异常检测网络基于多模态特征图，确定重构多模态特征图；
控制多模态融合网络基于所述重构多模态特图，确定胎儿心脏房室运动规律。
具体地，所述多模态融合网络为经过训练的深度学习网络模型，用于学习心房波和心室波的对应关系以及房室间隔，房房间隔，室室间隔的比例，并基于学习搭配的心房波和心室波的对应关系以及房室间隔，房房间隔，室室间隔的比例确定胎儿心脏房室运动规律。分布异常检测网络为确定为胎儿心律失常的阳性样本训练得到的网络模型，通过分布异常检测网络可以学习胎儿心律失常胎儿的胎儿心脏房室运动规律，从而可以充分拟合阳性样本的特性分布边界，从而有效克服小样本的学习难题，提高多模态融合网络的泛化能力。其中，多模态融合网络可以包括光流提取模块、池化模块以及多模态信息融合模块；所述光流提取模块用于提取B模态超声心动图序列中相邻帧的光流信息以得到光流特征向量，以及M型超声心动图序列中相邻帧的光流信息以得到光流特征向量，池化模块用于将B模态超声心动图序列对应的光流特征向量与M型超声心动图序列对应的光流特征向量映射至同一尺度，多模态信息融合模块用于将映射至同一尺度的光流特征向量进行拼接，并对拼接后的光流特征向量进行特征提取，以得到胎儿心脏房室运动规律。其中，光流提取模块可以包括光流提取单元、堆叠的3D卷积块以及池化层，光流提取单元与堆叠的3D卷积块相连接，堆叠的3D卷积块与池化层相连接。其中，光流是空间运动物体在观察成像平面上像素运动的瞬时速度，利用图像序列中像素在时间域上的变化以及相邻域之间的相关性来找到相邻帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息。
胎儿心律失常检测可以认为是阳性小样本的异常检测问题，旨在胎儿超声心动图像数据中发现不符合预期行为模式的心律失常数据。由于深度神经网络分类器可能会以高置信度将分布外的输入分类到分布内的类别中，因此区分异常数据或有显著差异的数据是非常重要的。本实施例采用分布异常检测网络，将少量的胎儿心律失常的阳性样本视为分布内的样本，经多模态信息融合网络得到阳性样本的多模态特征，在确定重构多模态特征图，基于多模态特征图以及重构多模态特征图确定胎儿心脏房室运动规律，可以提高胎儿心脏房室运动规律的准确性。
如图5所示，所述分布异常检测网络可以包括特征编码块和特征解码块；通过特征编码块和特征解码块学习阳性样本的特征隐私分布，以得到重构的多模态特征，其中，阳性样本指的是具有胎儿心律失常的胎儿的B模态超声心动图序列、M型超声心动图序列。此外，所述分布异常检测网络的训练过程可以为：将阳性样本输入经过训练的多模态融合网络，通过多模态融合网络确定多模态特征图；将多模态特征图输入特征编码块，通过特征编码块确定阳性隐式特征，阳性隐式特征通过特征解码块确定重构多模融合特征，最后基于多模态特征图和重构多模融合特征确定损失项来对未经过训练的分布异常检测网络进行训练，以得到经过的分布异常检测网络。在一个具体实现方式中，所述分布异常检测网络对应的损失项的计算公式可以为：
x表示输入阳性样本的多模态特征图，De(En(x))表示重构多模态特征图，表示两个特征图之间L2范数的平方。
S30、基于所述胎儿心脏形态结构、胎儿心律指标以及胎儿心脏房室运动规律，确定胎儿心律失常类别。
具体地，在获取到的胎儿心脏形态结构、胎儿心律指标以及胎儿心脏房室运动规律后，可以预设的根据胎儿心脏形态结构、胎儿心律指标以及胎儿心脏房室运动规律与胎儿心律失常类别的对应关系，确定胎儿心律失常类别，其中，所述对应关系可以预先设置的，用于确定胎儿心律失常类别的依据。也就是说，在获取到的胎儿心脏形态结构、胎儿心律指标以及胎儿心脏房室运动规律，可以在对应关系查找获取到的胎儿心脏形态结构、胎儿心律指标以及胎儿心脏房室运动规律对应的胎儿心律失常类别，当查找到胎儿心律失常类别时，将查找到的胎儿心律失常类别作为胎儿对应的胎儿心律失常类别，当未查找到是，人为胎儿的胎儿心律失常类别为正常。
举例说明：当获取到胎儿心脏形态结构、胎儿心律指标以及胎儿心脏房室运动规律，首先以胎儿心脏形态结构初始条件确定胎儿心律是否为胎儿心律失常；当为胎儿心律失常时，以胎儿心律指标为条件确定胎儿心律失常确定胎儿心律失常的初始类别(例如，心动过缓：FHR<110次/分；心律不齐：110次/每分<FHR<160次/分；心动过速：FHR>160次/分)；然后在胎儿心脏房室运动规律为条件，确定胎儿心律失常的目标类别(例如，心动过缓可分为：窦性心动过缓、先天性房室传导阻滞、一度房室传导阻滞、二度房室传导阻滞、三度房室传导阻滞、房性二联律未下传、交界性二联律未下传等；心律不齐可分为：房性期前收缩、室性期前收缩、房早二联律、室早二联律等；心动过速可分为：窦性心动过速、室上性心动过速、室性心动过速、心房扑动、心房颤动、异位房性心动过速、多源性房性心动过速、持续性交界区反复性心动过速、房室折返性心动过速、交界性异位心动过速等)；最后将查找到的目标类别作为胎儿的胎儿心律失常类别。
在一个实现方式中，在获取到的胎儿心律失常类别后，可以将胎儿心律失常类别、获取到的胎儿心脏形态结构、胎儿心律指标以及胎儿心脏房室运动规律，以及多模态类型的超声心动图相关联存储和/或显示，以便于用户可以同时获取到胎儿心律失常类别、胎儿心脏形态结构、胎儿心律指标、胎儿心脏房室运动规律以及多模态类型的超声心动图，给用户的使用带来方便。此外，在存储和/或显示多模态类型的超声心动图之前，可以各超声心动图进行后处理，例如，对B模态超声心动图进行腐蚀、去除最小连通域等处理，缓解胎心结构边界不清的问题；对脉冲多普勒超声心动图和组织多普勒超声心动图进行走纸刻度区域的裁剪、图像二值化以及时间识别等处理，以方便将相关定量指标换算出临床指标；B模态超声心动图序列，以及M型超声心动图序列进行图像降噪、去隔行、画质增强等处理，改善画面质量，提升视觉效果。
综上所述，本实施例提供了一种胎儿心脏超声图像的检测方法及相关装置，所述方法包括获取多模态类型的超声心动图；基于多模态类型的超声心动图确定胎儿心脏形态结构、胎儿心律指标以及胎儿心脏房室运动规律；基于所述胎儿心脏形态结构、胎儿心律指标以及胎儿心脏房室运动规律，确定胎儿心律失常类别。本申请同时获取多模态类型的超声心动图，并基于获取到的多模态类型的超声心动图自动确定胎儿心脏形态结构、胎儿心律指标以及胎儿心脏房室运动规律，以便于自动确定胎儿心律失常类别，这样采用多模态类型的超声心动图确定胎儿心律失常类别，可以降低胎儿心律失常类别的检测成本，同时在获取到多模态类型的超声心动图后自动确定胎儿心律失常类别，降低医生手动测量引入的误差，保证测量结果的一致性和可重复性。同时，在融合M型超声视频和B模态超声视频运动光流特征的基础上，结合分布外异常检测，智能分析胎儿心律失常的类型，为产前诊断医生提供参考，帮助医生制定产前管理及干预方案，从而改善围产儿结局。
基于上述胎儿心脏超声图像的检测方法，本实施例提供了一种胎儿心脏超声图像的检测装置，如图6所示，所述的装置包括：
获取模块100，用于获取多模态类型的超声心动图；
第一确定模块200，用于基于多模态类型的超声心动图确定胎儿心脏形态结构、胎儿心律指标以及胎儿心脏房室运动规律；
第二确定模块300，用于基于所述胎儿心脏形态结构、胎儿心律指标以及胎儿心脏房室运动规律，确定胎儿心律失常类别。
基于上述胎儿心脏超声图像的检测方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的胎儿心脏超声图像的检测方法中的步骤。
基于上述胎儿心脏超声图像的检测方法，本申请还提供了一种终端设备，如图7所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (5)

1.一种胎儿心脏超声图像的检测方法，其特征在于，所述的方法包括：
获取多模态类型的超声心动图，所述多模态类型的超声心动图包括B模态超声心动图，脉冲多普勒超声心动图，组织多普勒超声心动图，B模态超声心动图序列，以及M型超声心动图序列；
基于多模态类型的超声心动图确定胎儿心脏形态结构、胎儿心律指标以及胎儿心脏房室运动规律；
基于所述胎儿心脏形态结构、胎儿心律指标以及胎儿心脏房室运动规律，确定胎儿心律失常类别；
所述基于多模态类型的超声心动图确定胎儿心脏形态结构、胎儿心律指标以及胎儿心脏房室运动规律具体包括：
基于所述B模态超声心动图以及经过训练的结构分割网络，确定胎儿心脏形态结构；
基于所述脉冲多普勒超声心动图、所述组织多普勒超声心动图以及经过训练的检测定位网络，确定胎儿心律指标；
基于所述B模态超声心动图序列、M型超声心动图序列以及经过训练的多模态融合网络，确定胎儿心脏房室运动规律；
所述检测定位网络包括特征提取模块以及预测模块，所述特征提取模块包括依次级联的若干特征提取单元以及注意力机制单元，按照级联顺序相邻的两个特征提取单元中后一特征提取单元的输入项为前一特征提取单元的输出项与该输出项通过注意力机制单元后的注意力输出项的融合项；各特征提取单元的输出项为所述预测模块的输入项；
所述注意力机制单元对输入其内的特征图先沿着通道维度学习注意力权重后与原特征图相乘进行权重调整，再沿着空间维度学习注意力权重后与已经过权重调整的特征图相乘；
所述基于所述脉冲多普勒超声心动图、所述组织多普勒超声心动图以及经过训练的检测定位网络，确定胎儿心律指标之前，所述方法包括：
分别将脉冲多普勒超声心动图以及组织多普勒超声心动图进行二值化，以得到脉冲多普勒二值化图以及组织多普勒二值化图；
基于脉冲多普勒超声心动图对应的形状先验模板以及脉冲多普勒二值化图，确定脉冲多普勒边缘图像，并基于对应的组织多普勒超声心动图对应的形状先验模板以及组织多普勒二值化图，确定组织多普勒边缘图像；
分别对所述脉冲多普勒边缘图像以及组织多普勒边缘图像进行平滑处理，并将平滑后的脉冲多普勒边缘图像代替脉冲多普勒超声心动图作为输入，平滑后的组织多普勒边缘图像代替组织多普勒超声心动图作为输入，其中，所述平滑处理具体包括：
计算所述脉冲多普勒边缘图像和组织多普勒边缘图像的距离映射；
使所述距离映射最小化以平滑各自对应的形状先验模板边缘，实现频谱波形形状的先验约束；
所述距离映射公式表示为：
其中，表示模板边缘图像中位于像素点处的距离映射值，表示像素与距离其最近的模板边缘上的点之间的欧式距离；
所述基于所述B模态超声心动图序列、M型超声心动图序列以及经过训练的多模态融合网络，确定胎儿心脏房室运动规律的步骤具体包括：
控制多模态融合网络基于所述B模态超声心动图序列以及M型超声心动图序列，确定多模态特征图；
控制经过训练的分布异常检测网络基于多模态特征图，确定重构多模态特征图；
控制多模态融合网络基于所述重构多模态特征图，确定胎儿心脏房室运动规律；
所述多模态融合网络学习心房波和心室波的对应关系以及房室间隔，房房间隔，室室间隔的比例，并基于学习搭配的心房波和心室波的对应关系以及房室间隔，房房间隔，室室间隔的比例确定胎儿心脏房室运动规律；
所述多模态融合网络包括光流提取模块、池化模块以及多模态信息融合模块；
所述光流提取模块用于提取B模态超声心动图序列中相邻帧的光流信息以得到光流特征向量，以及M型超声心动图序列中相邻帧的光流信息以得到光流特征向量，其中，所述光流提取模块包括光流提取单元、堆叠的3D卷积块以及池化层，所述光流提取单元与所述堆叠的3D卷积块相连接，所述堆叠的3D卷积块与池化层相连接；
所述池化模块用于将所述B模态超声心动图序列对应的光流特征向量与所述M型超声心动图序列对应的光流特征向量映射至同一尺度；
所述多模态信息融合模块用于将所述映射至同一尺度的光流特征向量进行拼接，并对拼接后的光流特征向量进行特征提取，以得到胎儿心脏房室运动规律；
所述分布异常检测网络为使用胎儿心律失常的阳性样本训练得到的网络模型，学习心律失常胎儿的心脏房室运动规律；
所述分布异常检测网络包括特征编码块和特征解码块，通过所述特征编码块和所述特征解码块学习阳性样本的特征隐式分布，以得到重构的多模态特征，其中，阳性样本指的是具有胎儿心律失常的胎儿的B模态超声心动图序列、M型超声心动图序列；
所述分布异常检测网络的训练过程具体包括：
将阳性样本输入所述多模态融合网络，通过所述多模态融合网络确定多模态特征图；
将所述多模态特征图输入特征编码块，通过特征编码块确定阳性隐式特征，所述阳性隐式特征通过特征解码块确定重构多模融合特征；
基于所述多模态特征图和所述重构多模融合特征确定损失项，基于所述损失项对未经过训练的分布异常检测网络进行训练，以得到经过训练的分布异常检测网络；
所述分布异常检测网络对应的损失项计算公式表示为：
其中，x表示输入阳性样本的多模态特征图，表示重构多模态特征图，表示两个特征图之间L2范数的平方。
2.根据权利要求1所述的胎儿心脏超声图像的检测方法，其特征在于，所述基于所述B模态超声心动图以及经过训练的结构分割网络，确定胎儿心脏形态结构具体包括：
控制将经过训练的结构分割网络的编码模块确定B模态超声心动图的结构特征图序列，其中，所述结构特征图序列中的各结构特征图的图像尺寸互不相同；
控制所述结构分割网络中的解码模块基于结构特征图序列胎儿心脏形态结构。
3.一种胎儿心脏超声图像的检测装置，其特征在于，所述的装置包括：
获取模块，用于获取多模态类型的超声心动图，所述多模态类型的超声心动图包括B模态超声心动图，脉冲多普勒超声心动图，组织多普勒超声心动图，B模态超声心动图序列，以及M型超声心动图序列；
第一确定模块，用于基于多模态类型的超声心动图确定胎儿心脏形态结构、胎儿心律指标以及胎儿心脏房室运动规律；
第二确定模块，用于基于所述胎儿心脏形态结构、胎儿心律指标以及胎儿心脏房室运动规律，确定胎儿心律失常类别；
所述基于多模态类型的超声心动图确定胎儿心脏形态结构、胎儿心律指标以及胎儿心脏房室运动规律具体包括：
基于所述B模态超声心动图以及经过训练的结构分割网络，确定胎儿心脏形态结构；
基于所述脉冲多普勒超声心动图、所述组织多普勒超声心动图以及经过训练的检测定位网络，确定胎儿心律指标；
基于所述B模态超声心动图序列、M型超声心动图序列以及经过训练的多模态融合网络，确定胎儿心脏房室运动规律；
所述检测定位网络包括特征提取模块以及预测模块，所述特征提取模块包括依次级联的若干特征提取单元以及注意力机制单元，按照级联顺序相邻的两个特征提取单元中后一特征提取单元的输入项为前一特征提取单元的输出项与该输出项通过注意力机制单元后的注意力输出项的融合项；各特征提取单元的输出项为所述预测模块的输入项；
所述注意力机制单元对输入其内的特征图先沿着通道维度学习注意力权重后与原特征图相乘进行权重调整，再沿着空间维度学习注意力权重后与已经过权重调整的特征图相乘；
所述基于所述脉冲多普勒超声心动图、所述组织多普勒超声心动图以及经过训练的检测定位网络，确定胎儿心律指标之前，所述装置包括以下步骤：
分别将脉冲多普勒超声心动图以及组织多普勒超声心动图进行二值化，以得到脉冲多普勒二值化图以及组织多普勒二值化图；
基于脉冲多普勒超声心动图对应的形状先验模板以及脉冲多普勒二值化图，确定脉冲多普勒边缘图像，并基于对应的组织多普勒超声心动图对应的形状先验模板以及组织多普勒二值化图，确定组织多普勒边缘图像；
分别对所述脉冲多普勒边缘图像以及组织多普勒边缘图像进行平滑处理，并将平滑后的脉冲多普勒边缘图像代替脉冲多普勒超声心动图作为输入，平滑后的组织多普勒边缘图像代替组织多普勒超声心动图作为输入，其中，所述平滑处理具体包括：
计算所述脉冲多普勒边缘图像和组织多普勒边缘图像的距离映射；
使所述距离映射最小化以平滑各自对应的形状先验模板边缘，实现频谱波形形状的先验约束；
所述距离映射公式表示为：
其中，表示模板边缘图像中位于像素点处的距离映射值，表示像素与距离其最近的模板边缘上的点之间的欧式距离
所述基于所述B模态超声心动图序列、M型超声心动图序列以及经过训练的多模态融合网络，确定胎儿心脏房室运动规律的步骤具体包括：
控制多模态融合网络基于所述B模态超声心动图序列以及M型超声心动图序列，确定多模态特征图；
控制经过训练的分布异常检测网络基于多模态特征图，确定重构多模态特征图；
控制多模态融合网络基于所述重构多模态特征图，确定胎儿心脏房室运动规律；
所述多模态融合网络学习心房波和心室波的对应关系以及房室间隔，房房间隔，室室间隔的比例，并基于学习搭配的心房波和心室波的对应关系以及房室间隔，房房间隔，室室间隔的比例确定胎儿心脏房室运动规律；
所述多模态融合网络包括光流提取模块、池化模块以及多模态信息融合模块；
所述光流提取模块用于提取B模态超声心动图序列中相邻帧的光流信息以得到光流特征向量，以及M型超声心动图序列中相邻帧的光流信息以得到光流特征向量，其中，所述光流提取模块包括光流提取单元、堆叠的3D卷积块以及池化层，所述光流提取单元与所述堆叠的3D卷积块相连接，所述堆叠的3D卷积块与池化层相连接；
所述池化模块用于将所述B模态超声心动图序列对应的光流特征向量与所述M型超声心动图序列对应的光流特征向量映射至同一尺度；
所述多模态信息融合模块用于将所述映射至同一尺度的光流特征向量进行拼接，并对拼接后的光流特征向量进行特征提取，以得到胎儿心脏房室运动规律；
所述分布异常检测网络为使用胎儿心律失常的阳性样本训练得到的网络模型，学习心律失常胎儿的心脏房室运动规律；
所述分布异常检测网络包括特征编码块和特征解码块，通过所述特征编码块和所述特征解码块学习阳性样本的特征隐式分布，以得到重构的多模态特征，其中，阳性样本指的是具有胎儿心律失常的胎儿的B模态超声心动图序列、M型超声心动图序列；
所述分布异常检测网络的训练过程具体包括：
将阳性样本输入所述多模态融合网络，通过所述多模态融合网络确定多模态特征图；
将所述多模态特征图输入特征编码块，通过特征编码块确定阳性隐式特征，所述阳性隐式特征通过特征解码块确定重构多模融合特征；
基于所述多模态特征图和所述重构多模融合特征确定损失项，基于所述损失项对未经过训练的分布异常检测网络进行训练，以得到经过训练的分布异常检测网络；
所述分布异常检测网络对应的损失项计算公式表示为：
其中，x表示输入阳性样本的多模态特征图，表示重构多模态特征图，表示两个特征图之间L2范数的平方。
4.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-2任意一项所述的胎儿心脏超声图像的检测方法中的步骤。
5.一种终端设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如权利要求1-2任意一项所述的胎儿心脏超声图像的检测方法中的步骤。
CN202111670392.9A 2021-12-31 2021-12-31 一种胎儿心脏超声图像的检测方法及相关装置 Active CN114469176B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111670392.9A CN114469176B (zh) 2021-12-31 2021-12-31 一种胎儿心脏超声图像的检测方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111670392.9A CN114469176B (zh) 2021-12-31 2021-12-31 一种胎儿心脏超声图像的检测方法及相关装置

Publications (2)

Publication Number Publication Date
CN114469176A CN114469176A (zh) 2022-05-13
CN114469176B true CN114469176B (zh) 2024-07-05

Family

ID=81507651

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111670392.9A Active CN114469176B (zh) 2021-12-31 2021-12-31 一种胎儿心脏超声图像的检测方法及相关装置

Country Status (1)

Country Link
CN (1) CN114469176B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12082969B1 (en) 2023-02-22 2024-09-10 BrightHeart SAS Systems and methods for improving detection of fetal congenital heart defects
US11861838B1 (en) * 2023-06-07 2024-01-02 BrightHeart SAS Systems and methods for system agnostic automated detection of cardiovascular anomalies and/or other features
CN118212237B (zh) * 2024-05-21 2024-08-02 四川赛尔斯科技有限公司 一种基于图像分析的心血管检测系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111493935A (zh) * 2020-04-29 2020-08-07 中国人民解放军总医院 基于人工智能的超声心动图自动预测识别方法及系统
CN112348780A (zh) * 2020-10-26 2021-02-09 首都医科大学附属北京安贞医院 一种胎儿心脏的测量方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11446009B2 (en) * 2018-12-11 2022-09-20 Eko.Ai Pte. Ltd. Clinical workflow to diagnose heart disease based on cardiac biomarker measurements and AI recognition of 2D and doppler modality echocardiogram images
CN111325202A (zh) * 2020-01-19 2020-06-23 华中科技大学同济医学院附属协和医院 一种基于超声多普勒的彩色频谱图的频谱血流检测方法
EP3888558A1 (en) * 2020-04-02 2021-10-06 Koninklijke Philips N.V. Methods and systems for fetal heart assessment
CN111539926B (zh) * 2020-04-20 2024-04-26 京东方科技集团股份有限公司 一种图像检测方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111493935A (zh) * 2020-04-29 2020-08-07 中国人民解放军总医院 基于人工智能的超声心动图自动预测识别方法及系统
CN112348780A (zh) * 2020-10-26 2021-02-09 首都医科大学附属北京安贞医院 一种胎儿心脏的测量方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于多模态对抗学习的无监督时间序列异常检测;黄训华等;《计算机研究与发展》;第58卷(第8期);第1655-1667页 *
胎儿心律失常的超声诊断及治疗现状;邹勤等;《国外医学情报》;第23卷;第1-17页 *
邹勤等.胎儿心律失常的超声诊断及治疗现状.《国外医学情报》.2002,第23卷第1-17页. *

Also Published As

Publication number Publication date
CN114469176A (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
CN114469176B (zh) 一种胎儿心脏超声图像的检测方法及相关装置
Kusunose et al. Utilization of artificial intelligence in echocardiography
Zhu et al. Comparative analysis of active contour and convolutional neural network in rapid left-ventricle volume quantification using echocardiographic imaging
CN110197713B (zh) 一种医疗影像的处理方法、装置、设备和介质
KR101625256B1 (ko) 심장 ｍ-모드 뷰들의 자동 분석
US20230293079A1 (en) Electrocardiogram image processing method and device, medium, and electrocardiograph
US20120065499A1 (en) Medical image diagnosis device and region-of-interest setting method therefore
US20110082371A1 (en) Medical image processing device and medical image processing method
Nurmaini et al. Accurate detection of septal defects with fetal ultrasonography images using deep learning-based multiclass instance segmentation
US12118033B2 (en) Systems and methods for medical image diagnosis using machine learning
Spitzer et al. The role of automated 3D echocardiography for left ventricular ejection fraction assessment
CN109620293B (zh) 一种图像识别方法、装置以及存储介质
Popescu et al. Anatomically informed deep learning on contrast-enhanced cardiac magnetic resonance imaging for scar segmentation and clinical feature extraction
Zeng et al. MAEF-Net: Multi-attention efficient feature fusion network for left ventricular segmentation and quantitative analysis in two-dimensional echocardiography
Lin et al. Echocardiography-based AI detection of regional wall motion abnormalities and quantification of cardiac function in myocardial infarction
Storve et al. Realtime automatic assessment of cardiac function in echocardiography
Bai et al. Intelligent prediction of cryptogenic stroke using patent foramen ovale from TEE imaging data and machine learning methods
Shalbaf et al. Echocardiography without electrocardiogram using nonlinear dimensionality reduction methods
EP4125606B1 (en) Systems and methods for imaging and measuring epicardial adipose tissue
Zhang et al. Improving the quality of fetal heart ultrasound imaging with multihead enhanced self-attention and contrastive learning
Li et al. FHUSP-NET: a multi-task model for fetal heart ultrasound standard plane recognition and key anatomical structures detection
Deng et al. Active cardiac model and its application on structure detection from early fetal ultrasound sequences
Sinclair et al. Myocardial strain computed at multiple spatial scales from tagged magnetic resonance imaging: Estimating cardiac biomarkers for CRT patients
CN113592802B (zh) 一种基于超声图像的二尖瓣环位移自动检测系统
Nageswari et al. Preserving the border and curvature of fetal heart chambers through TDyWT perspective geometry wrap segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant