CN114565622B - 房间隔缺损长度的确定方法及装置、电子设备和存储介质 - Google Patents

房间隔缺损长度的确定方法及装置、电子设备和存储介质 Download PDF

Info

Publication number
CN114565622B
CN114565622B CN202210203636.0A CN202210203636A CN114565622B CN 114565622 B CN114565622 B CN 114565622B CN 202210203636 A CN202210203636 A CN 202210203636A CN 114565622 B CN114565622 B CN 114565622B
Authority
CN
China
Prior art keywords
atrial
video
atrial septal
septal defect
image frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210203636.0A
Other languages
English (en)
Other versions
CN114565622A (zh
Inventor
陈亦新
蒲海涛
林锡祥
陈晓天
张培芳
吴振洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ande Yizhi Technology Co ltd
Original Assignee
Beijing Ande Yizhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ande Yizhi Technology Co ltd filed Critical Beijing Ande Yizhi Technology Co ltd
Priority to CN202210203636.0A priority Critical patent/CN114565622B/zh
Publication of CN114565622A publication Critical patent/CN114565622A/zh
Application granted granted Critical
Publication of CN114565622B publication Critical patent/CN114565622B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本公开涉及一种房间隔缺损长度的确定方法及装置、电子设备和存储介质，所述方法包括：接收超声心动图视频；对所述超声心动图视频进行分类，得到所述超声心动图视频中房间隔所在图像区域中存在血流信号的概率，作为分类结果；根据所述分类结果，提取所述超声心动图视频中的图像帧；对所述图像帧进行分割，得到所述图像帧中所述房间隔和房间隔缺损的像素点，作为分割结果，所述房间隔缺损为所述房间隔上的孔洞；根据所述分割结果，确定所述超声心动图视频中所述房间隔和所述房间隔缺损的长度。本公开实施例有效降低了长度测量过程的难度以及提升测量结果的准确度，从而提升房间隔缺损长度的确定过程的鲁棒性。

Description

房间隔缺损长度的确定方法及装置、电子设备和存储介质
技术领域
本公开涉及视频处理领域，尤其涉及一种房间隔缺损长度的确定方法及装置、电子设备和存储介质。
背景技术
房间隔缺损(ASD)是第二常见的先天性心脏病的类型，大多数房间隔缺损患者并无表现症状，可以在超声心动图的检查中偶然发现。对于比较严重的ASD患者，通过早期发现可以及时干预并且改善心血管状况以及最终结局。
经胸超声心动图(TTE)是目前应用最为广泛的检测ASD的无创工具，而且适用于检测儿童的心脏状况。通过TTE进行ASD的准确检测和量化，依赖于经验丰富、训练有素的医生。这就容易受到医生主观经验的影响，从而出现对房间隔状况的错误判断。
发明内容
有鉴于此，本公开提出了一种房间隔缺损长度的确定技术方案。
根据本公开的一方面，提供了一种房间隔缺损长度的确定方法，包括：接收超声心动图视频；对所述超声心动图视频进行分类，得到所述超声心动图视频中房间隔所在图像区域中存在血流信号的概率，作为分类结果；根据所述分类结果，提取所述超声心动图视频中的图像帧；对所述图像帧进行分割，得到所述图像帧中所述房间隔和房间隔缺损的像素点，作为分割结果，所述房间隔缺损为所述房间隔上的孔洞；根据所述分割结果，确定所述超声心动图视频中所述房间隔和所述房间隔缺损的长度。
在一种可能的实现方式中，所述对所述超声心动图视频进行分类，得到所述超声心动图视频中房间隔所在图像区域中存在血流信号的概率，作为分类结果，包括：对所述超声心动图视频中的各图像帧进行特征提取，得到多帧特征图；选取各特征图中最大的响应值；对各特征图中最大的响应值进行融合，得到第一融合特征；基于所述第一融合特征，确定超声心动图视频中所述房间隔中存在血流信号的概率，作为分类结果。
在一种可能的实现方式中，所述根据所述分类结果，提取所述超声心动图视频中的图像帧，包括：在所述概率大于阈值的情况下，提取所述超声心动图视频中的图像帧。
在一种可能的实现方式中，所述对所述图像帧进行分割，得到所述图像帧中所述房间隔和房间隔缺损的像素点，作为分割结果，包括：将所述图像帧输入第一神经网络；根据所述第一神经网络的输出，确定所述图像帧中所述房间隔和所述房间隔缺损的像素点，分别作为第一分割结果和第二分割结果；所述根据所述分割结果，确定所述超声心动图视频中所述房间隔和所述房间隔缺损的长度，包括：根据所述第一分割结果的平均值，确定所述房间隔的长度；根据所述第二分割结果的最大值，确定所述房间隔缺损的长度。
在一种可能的实现方式中，所述第一神经网络包括第一子神经网络和第二子神经网络；所述根据所述第一神经网络的输出，确定所述图像帧中所述房间隔和所述房间隔缺损的像素点，分别作为第一分割结果和第二分割结果，包括：根据所述第一子神经网络和所述第二子神经网络对所述图像帧进行特征提取，分别得到第一子特征和第二子特征；将所述第一子特征和所述第二子特征融合，得到第二融合特征；根据所述第二融合特征，得到所述图像帧中所述房间隔的像素点，作为所述第一分割结果；根据所述第二融合特征，得到所述图像帧中所述房间隔缺损的像素点，作为所述第二分割结果。
根据本公开的另一方面，提供了一种房间隔缺损长度的确定装置，包括：视频接受模块，用于接收超声心动图视频；分类模块，用于对所述超声心动图视频进行分类，得到所述超声心动图视频中房间隔所在图像区域中存在血流信号的概率，作为分类结果；提取模块，用于根据所述分类结果，提取所述超声心动图视频中的图像帧；分割模块，用于对所述图像帧进行分割，得到所述图像帧中所述房间隔和房间隔缺损的像素点，作为分割结果，所述房间隔缺损为所述房间隔上的孔洞；长度测量模块，用于根据所述分割结果，确定所述超声心动图视频中所述房间隔和所述房间隔缺损的长度。
在一种可能的实现方式中，所述分类模块包括：特征提取子模块，用于对所述超声心动图视频中的各图像帧进行特征提取，得到多帧特征图；响应值选取子模块，用于选取各特征图中最大的响应值；融合特征获取子模块，用于对各特征图中最大的响应值进行融合，得到第一融合特征；分类结果获取子模块，用于基于所述第一融合特征，确定超声心动图视频中所述房间隔中存在血流信号的概率，作为分类结果。
在一种可能的实现方式中，所述提取模块包括：图像帧提取子模块，用于在所述概率大于阈值的情况下，提取所述超声心动图视频中的图像帧。
在一种可能的实现方式中，所述分割模块包括：图像帧输入子模块，用于将所述图像帧输入第一神经网络；像素点确定子模块，用于根据所述第一神经网络的输出，确定所述图像帧中所述房间隔和所述房间隔缺损的像素点，分别作为第一分割结果和第二分割结果；所述长度测量模块包括：房间隔长度确定子模块，用于根据所述第一分割结果的平均值，确定所述房间隔的长度；房间隔缺损长度确定子模块，用于根据所述第二分割结果的最大值，确定所述房间隔缺损的长度。
在一种可能的实现方式中，所述第一神经网络包括第一子神经网络和第二子神经网络；所述像素点确定子模块，用于根据所述第一子神经网络和所述第二子神经网络对所述图像帧进行特征提取，分别得到第一子特征和第二子特征；将所述第一子特征和所述第二子特征融合，得到第二融合特征；根据所述第二融合特征，得到所述图像帧中所述房间隔的像素点，作为所述第一分割结果；根据所述第二融合特征，得到所述图像帧中所述房间隔缺损的像素点，作为所述第二分割结果。
根据本公开的另一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为在执行所述存储器存储的指令时，实现上述方法。
根据本公开的另一方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行上述方法。
在本公开实施例中，首先通过对超声心动图视频进行分类，筛选出房间隔所在图像区域存在血流信号的视频，然后对该筛选出的视频中的图像帧进行图像分割，并根据分割结果实现对房间隔和房间隔缺损的长度测量。通过上述过程，可以将确定超声心动图视频中房间隔和房间隔缺损的长度的过程，转化为视频分类和图像帧分割这两个主要步骤，降低了在视频中确定房间隔和房间隔缺损的长度的难度，同时对视频中图像帧的像素级别的分割方式，有效提升长度测量结果的准确度，从而提升房间隔缺损长度的确定过程的鲁棒性。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。
图1示出根据本公开一实施例的房间隔缺损长度的确定方法的流程图。
图2示出根据本公开一实施例的无房间隔缺损的视频帧。
图3示出根据本公开一实施例的有房间隔缺损的视频帧
图4示出根据本公开一实施例的VGG分类网络架构。
图5示出根据本公开一实施例的双流Unet分割网络架构。
图6示出根据本公开一实施例的图像帧的分割图。
图7示出根据本公开一实施例的房间隔缺损长度的确定装置的框图。
图8示出根据本公开实施例的一种电子设备的框图。
图9示出根据本公开实施例的一种电子设备的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
房间隔缺损(ASD)是一种常见的左向右分流致右心容量负荷增加的先天性心脏病，其主要分为以下五种类型：
(1)继发孔型房间隔缺损：占先天性房间隔缺损的80％左右，位于房间隔卵圆孔及其周围部位；
(2)原发孔型房间隔缺损：占先天性房间隔缺损的15％左右，在胚胎发育过程中房室管心内膜垫与原发隔未能愈合形成的，多合并房室瓣膜严重畸形、严重的瓣膜返流；
(3)上腔静脉型房间隔缺损：占先天性房间隔缺损的5％左右，缺损位于上腔静脉入口，多数伴有部分或完全肺静脉异位引流，异位肺静脉开口上腔静脉与右心房交界处；
(4)下腔静脉型房间隔缺损：占先天性房间隔缺损的比例小于1％，位于房间隔后下方，与下腔静脉入口相延续；
(5)冠状静脉窦型房间隔缺损：占先天性房间隔缺损的比例小于1％，冠状静脉窦与左心房隔部分或完全缺如。
大约每1500个活产儿可发现1例先天性房间隔缺损，房间隔缺损在先天性心脏病当中比例较大，约占30～40％。由于房间隔缺损在未成年时期可无明显症状，所以多数患者在成人时期出现症状就诊而方被确诊，但此时患者可能已合并肺动脉高压、右心功能不全甚至艾森曼格状态而失去手术机会，从而降低患者生活质量，增加患者住院率、死亡率。因此尽早发现并治疗房间隔缺损这一先天性心脏病非常重要。
超声心动图是指应用超声短波测距原理脉冲超声波透过胸壁、软组织测量其下各心壁、心室及瓣膜等结构的周期性活动，在显示器上显示为各结构相应的活动和时间之间的关系曲线，用记录仪记录这些曲线，即为超声心动图。超声心动图检查是检查心脏功能和结构的一种常用方法。如何通过经胸超声心动图及其视频实现对房间隔和房间隔缺损的定量测量具有重要的现实意义。
图1示出根据本公开一实施例的房间隔缺损长度的确定方法的流程图。该方法可以应用于房间隔缺损长度的确定装置，房间隔缺损长度的确定装置可以为终端设备、服务器或者其他处理设备等。其中，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。
在一些可能的实现方式中，该房间隔缺损长度的确定方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
如图1所示，该房间隔缺损长度的确定方法可以包括：
步骤S11，接收超声心动图视频。
步骤S12，对所述超声心动图视频进行分类，得到所述超声心动图视频中房间隔所在图像区域中存在血流信号的概率，作为分类结果。
步骤S13，根据所述分类结果，提取所述超声心动图视频中的图像帧。
步骤S14，对所述图像帧进行分割，得到所述图像帧中所述房间隔和房间隔缺损的像素点，作为分割结果，所述房间隔缺损为所述房间隔上的孔洞。
步骤S15，根据所述分割结果，确定所述超声心动图视频中所述房间隔和所述房间隔缺损的长度。
其中，超声心动图视频可以是任意需要进行房间隔缺损检测以及房间隔和房间隔缺损的长度测量的包含有超声心动图的视频。在一种可能的实现方式中，所述超声心动图视频可以是经胸超声心动图视频。本公开对超声心动图视频的种类不做具体限定。
在步骤S11中，超声心动图视频可以是从超声成像设备处获取的，例如可以通过数据传输的方式，来获取超声心动图视频。本公开对超声心动图视频的来源不做具体限定。
在步骤S12中，根据所述超声心动图视频中的房间隔是否具有房间隔缺损，可以将超声心动图视频分为有房间隔缺损和没有房间隔缺损两类，在房间隔上不存在房间隔缺损时，如图2所示，超声心动图视频的视频帧中房间隔所在图像区域602无血流信号，呈现为一白色线条，而在房间隔上存在房间隔缺损时，如图3所示，超声心动图视频的视频帧中房间隔所在图像区域有血流信号，呈现为一不连续的白色线条，该不连续处604即为房间隔缺损。因此，可以将超声心动图视频中房间隔所在图像区域中存在血流信号的概率，作为分类结果。该概率表示所述超声心动图视频中房间隔所在图像区域中存在血流信号的可能程度，可以设定一个阈值，规定存在血流信号的概率大于该阈值时，超声心动图视频的分类结果为房间隔所在图像区域中存在血流信号，即房间隔上存在房间隔缺损，而存在血流信号的概率小于该阈值时，超声心动图视频的分类结果为房间隔所在图像区域中不存在血流信号，即房间隔上不存在房间隔缺损。
在一种可能的实现方式中，所述分类结果可以根据房间隔缺损的具体位置等指标进行细分，例如可以细分为继发孔型房间隔缺损、原发孔型房间隔缺损、上腔静脉型房间隔缺损、下腔静脉型房间隔缺损和冠状静脉窦型房间隔缺损这五类。随着房间隔缺损分类精度的不同，房间隔缺损的分类结果也可以根据实际情况灵活决定。在一种可能的实现方式中，房间隔缺损的分类结果可以对房间隔缺损的某一分类结果的等级进行划分。本公开对房间隔缺损的分类结果不做具体限定。
在完成对超声心动图视频的分类后，在步骤S13中，根据所述分类结果，提取所述超声心动图视频中的图像帧，以实现对图像帧中的房间隔和房间隔缺损的长度测量。在一种可能的实现方式中，可以提取所述超声心动图视频中的所有图像帧，对所有图像帧都进行长度测量，以提高长度测量的准确度；在一种可能的实现方式中，可以仅对超声心动图视频中体现房间隔缺损的图像帧进行长度测量，而对不体现房间隔缺损的图像帧不进行长度测量，以减少数据处理量。在本公开实施例中，图像帧选取的具体实现方式可以根据实际情况灵活决定，可以参见下述各公开实施例，在此先不做展开。
在步骤S14中，对所述图像帧进行分割，即为通过逐像素判断图像帧中每个像素所属的类别，得到所述图像帧中所述房间隔和房间隔缺损的像素点，作为分割结果，所述房间隔缺损为所述房间隔上的孔洞。步骤S14将对原始的超声心动图视频中的房间隔和房间隔缺损的长度测量，细化为了基于图像帧进行的分割。
在一种可能的实现方式中，分割可以是对视频帧中每个像素点进行分类，从而确定视频帧中每个像素点的类别。在本公开实施例中，分割的具体实现方式可以根据实际情况灵活决定，可以参见下述各公开实施例，在此先不做展开。
在步骤S15中，根据所述分割结果，确定所述超声心动图视频中所述房间隔和所述房间隔缺损的长度。该长度确定过程可以包括对房间隔和房间隔缺损的长度测量。具体的，可以根据房间隔和房间隔缺损的像素点，对房间隔和房间隔缺损的长度进行测量。在一种可能的实现方式中，可以根据图像帧中像素点和实际尺寸的换算关系，反推房间隔和房间隔缺损的长度。
在本公开实施例中，首先通过对超声心动图视频进行分类，筛选出房间隔所在图像区域存在血流信号的视频，然后对该筛选出的视频中的图像帧进行图像分割，并根据分割结果实现对房间隔和房间隔缺损的长度测量。通过上述过程，可以将确定超声心动图视频中房间隔和房间隔缺损的长度的过程，转化为视频分类和图像帧分割这两个主要步骤，降低了在视频中确定房间隔和房间隔缺损的长度的难度，同时对视频中图像帧的像素级别的分割方式，有效提升长度测量结果的准确度，从而提升房间隔缺损长度的确定过程的鲁棒性。
应当理解的是，本公开中的房间隔缺损长度的确定的结果仅用于房间隔和房间隔缺损的长度测量，事实上，并非所有具有房间隔缺损的患者均需治疗，需要根据房间隔缺损在房间隔中所占的比例以及患者心脏的其他症状进行综合判断。即房间隔缺损长度的确定的结果对于房间隔缺损这一心脏病的诊断并非特异。该方法的直接目的是获得中间结果而非诊断结果。
在对房间隔缺损的实际分析过程中，当作为判断依据的彩色多普勒图像中房间隔处出现彩色血流信号时，代表房间隔处存在缺损。由于超声心动图视频中存在多帧图像，为了避免数据遗漏，提高对超声心动图视频的分类准确度，在一种可能的实现方式中，可以收集所述超声心动图视频中的所有图像帧数据进行分类。具体的，所述对所述超声心动图视频进行分类，得到所述超声心动图视频中房间隔所在图像区域中存在血流信号的概率，作为分类结果，包括：
对所述超声心动图视频中的各图像帧进行特征提取，得到多帧特征图；
选取各特征图中最大的响应值；
对各特征图中最大的响应值进行融合，得到第一融合特征；
基于所述第一融合特征，确定超声心动图视频中所述房间隔中存在血流信号的概率。
在一种可能的实现方式中，可以对超声心动图视频中的各图像帧均进行特征的提取，以得到全部的特征图，防止图像帧中房间隔上存在房间隔缺损的关键帧没有被利用，有效减少了数据的遗漏造成的分类错误。在一种可能的实现方式中，房间隔所在的图像区域存在血流信号即代表存在房间隔缺损，而存在血流信号的区域图特征对应的响应值最大，因此，可以选取各个特征图中最大的响应值，由此，能够提取出房间隔所在图像区域存在血流信号的图像帧的数据，以减少后续图像处理的数据量，提高了图像处理效率。此外，通过对各个特征图中最大的响应值进行融合，得到第一融合特征，可以仅对融合特征进行处理，而非对所有图像帧各自的图像特征进行分别处理，能够进一步减少后续图像处理的数据量，提高了图像处理效率。
在一种可能的实现方式中，可以通过神经网络对超声心动图视频进行分类。具体的，可以选取VGG分类网络进行分类，如图4所示，VGG分类网络融合了可以更好利用多尺度信息的空洞空间卷积池化金字塔结构，该网络通过卷积层进行各图像帧的特征提取，并构建出帧最大池化层，在帧最大池化层将提取的特征融合，得到第一融合特征。在一种可能的实现方式中，该第一融合特征，分别经过多个不同视野域的分支，得到不同尺度的特征，然后对多尺度的特征进行通道拼接。最后接入卷积层和全连接层，即可将输入视频的房缺概率输出。本公开对视野域的个数不做具体限定，可以根据需要确定。
在本实施例中，通过对超声心动图视频中的所有图像帧均进行特征的提取，并通过对最大响应值的提取来融合不同帧的特征，根据融合得到的第一融合特征，来确定视频中房间隔存在血流信号的概率，有效避免了数据的遗漏，提高视频分类的准确度。
在一种可能的实现方式中，所述根据所述分类结果，提取所述超声心动图视频中的图像帧，包括：在所述概率大于阈值的情况下，提取所述超声心动图视频中的图像帧。
预设阈值的数值在本公开实施例中不做限定，根据实际情况灵活设定即可。在本实施例中，仅对筛选出的超过阈值的超声心动图视频进行后续的分割和长度测量操作，可以降低后续工作量，减少无效操作。
在一种可能的实现方式中，在提取所述超声心动图视频中的图像帧后，可以对图像帧进行标准化，以提高后续的分割精度。具体的，所述标准化可以包括尺寸调整和归一化。在一种可能的实现方式中，所属尺寸调整可以包括将图片等比例缩小成240个像素的高度和320像素的宽度；所属归一化可以包括，将图像数据归一化为0均值，1方差的标准形式。
在一种可能的实现方式中，所述对所述图像帧进行分割，得到所述图像帧中所述房间隔和房间隔缺损的像素点，作为分割结果，包括：
将所述图像帧输入第一神经网络；
根据所述第一神经网络的输出，确定所述图像帧中所述房间隔和所述房间隔缺损的像素点，分别作为第一分割结果和第二分割结果；
所述根据所述分割结果，确定所述超声心动图视频中所述房间隔和所述房间隔缺损的长度，包括：
根据所述第一分割结果的平均值，确定所述房间隔的长度；
根据所述第二分割结果的最大值，确定所述房间隔缺损的长度。
在一种可能的实现方式中，可以通过分割神经网络对图像帧进行分割。其中，神经网络的具体实现形式以及训练方式在本公开实施例中均不作限制，可以根据实际情况灵活选择，神经网络的初始模型可以根据实际情况任意选择，训练采取的损失函数也可以根据实际情况灵活选择。在一种可能的实现方式中，该神经网络可以同时或依次实现对房间隔和房间隔缺损的分割，本公开对此不作限制。
由于超声心动图视频中每张视频帧的图像采集角度不同，体现在每张图像帧中的房间隔和房间隔缺损的图像区域也不同，即从每张图像帧得到的房间隔和房间隔缺损的长度也不同。在一种可能的实现方式中，可以用房间隔的分割结果的平均值来确定房间隔的长度，用房间隔缺损的最大值来确定房间隔缺损的长度。
在本实施例中，有效地利用了神经网络对图像帧实现像素级的分割，较为便捷地得到分割结果，并根据分割结果，分别确定了房间隔和房间隔缺损的长度，从而有效地降低了图像帧分割的难度，提升了房间隔缺损长度的确定的实用性和泛化能力。
在一种可能的实现方式中，所述第一神经网络包括第一子神经网络和第二子神经网络；
所述根据所述第一神经网络的输出，确定所述图像帧中所述房间隔和所述房间隔缺损的像素点，分别作为第一分割结果和第二分割结果，包括：
根据所述第一子神经网络和所述第二子神经网络对所述图像帧进行特征提取，分别得到第一子特征和第二子特征；
将所述第一子特征和所述第二子特征融合，得到第二融合特征；
根据所述第二融合特征，得到所述图像帧中所述房间隔的像素点，作为所述第一分割结果；
根据所述第二融合特征，得到所述图像帧中所述房间隔缺损的像素点，作为所述第二分割结果。
在该示例中，将第二神经网络划分为第一子神经网络和第二子神经网络两个并行的网络，同时对图像帧中的房间隔和房间隔缺损进行分割，提高了分割的效率。同时，通过对第一子神经网络和第二子神经网络所提取特征的融合，将融合后得到的第二融合特征作为第一子神经网络和第二子神经网络的下一层的输入，能够提高分割结果的精度。
在一种可能的实现方式中，第一子神经网络和第二子神经网络的具体实现形式以及训练方式在本公开实施例中均不作限制，可以根据实际情况灵活选择，神经网络的初始模型可以根据实际情况任意选择。
在一个示例中，可以将Unet网络作为第一子神经网络和第二子神经网络的实现形式。在一种可能的实现方式中，可以在上采样过程中实现第一子神经网络和第二子神经网络提取特征的融合，即采用双流Unet的分割网络。如图5所示，该网络中的“卷积层”包含线性整流单元和组归一化层。下采样层使用最大池化层，上采样层使用反卷积层。双流Unet分割网络由两个Unet组成，在两个Unet的上采样层的时候，双数据流提取的特征会相互融合，以提高预测的精度和鲁棒性。最后，两个Unet，一个输出房间隔的分割结果，另外一个输出房间隔缺损的分割结果。在本实施例中，通过两个Unet的特征融合，可以避免特征遗失，提高预测的精度和鲁棒性。
由于分割过程，可能会出现房间隔缺损的像素不在房间隔上的情况，为减小长度测量的误差，在一种可能的实现方式中，所述方法还包括：删除不在所述房间隔上的所述房间隔缺损的像素。通过该删除操作，可以实现对所述房间隔缺损的位置矫正，使房间隔缺损的位置必须出现在房间隔的位置上，提高对所述房间隔和所述房间隔缺损的长度测量的精度。
由于接受的超声心动图视频可能会存在由于机型不同等原因造成的视频质量差异较大、标准化程度低的问题，会降低分类和分割过程的精度，为提高超声心动图视频的一致性，所述方法还包括：对所述视频进行预处理，使所述视频的质量一致。具体的，所述预处理可以包括视频的像素调整、尺寸调整和归一化。在一种可能的实现方式中，所述像素调整可以包括：将视频按照等比例缩小到宽320像素，高240像素的大小。在一种可能的实现方式中，所述尺寸调整包括：将视频中心剪裁为宽和高都是240的正方形尺寸。在一种可能的实现方式中，所述归一化包括：将视频数据归一化为按照0均值，1方差的标准形式。
在一种可能的实现方式中，所述方法还包括：对所述分割结果进行降噪处理，所述降噪处理包括腐蚀和膨胀。通过该降噪处理，可以实现分割结果边缘的平滑，提高后面对所述房间隔和所述房间隔缺损的长度测量的精度。
应用场景示例
目前，房间隔缺损的准确检测和量化依赖于经验丰富、训练有素的医生。一方面，该检测和量化过程容易受到医生主观经验的影响，从而造成对房间隔状况的错误判断；另一方面，在农村等偏远地区缺少相应的医生进行房间隔状况的检测，因此，需要一种高效、准确和客观的房间隔缺损的检测和量化方法，以保证该检验和量化过程的准确性和一致性。
本公开实施例提出了一种经胸超声心动图房间隔缺损长度的确定方法，这一处理方法可以通过经胸超声心动图视频的分类过程实现房间隔缺损的检测，通过经胸超声心动图视频的分割过程实现房间隔和房间隔缺损的长度测量。
该经胸超声心动图视频的处理过程可以大致分为五个步骤。
第一步，接收经胸超声心动图视频并对经胸超声心动图视频进行预处理。
第二步，将预处理后的经胸超声心动图视频输入VGG分类网络，实现对经胸超声心动图视频的分类，并将输入视频的房缺概率输出。
第三步，在概率大于阈值的情况下，提取经胸超声心动图视频中的图像帧。阈值设为0.5，如果这个概率大于0.5，则判断为存在房间隔缺损，反之则不存在房间隔缺损。此时提取经胸超声心动图视频中的所有图像帧。
第四步，使用双流Unet分割网络对图像帧进行分割，得到图像帧中房间隔和房间隔缺损的像素点。对分割结果采用腐蚀和膨胀的形态学方法进行降噪，在降噪后，删除不在房间隔上的房间隔缺损的像素，以进行位置矫正。
第五步，根据上述的分割结果，确定房间隔和房间隔缺损的长度。
图6展示的是存在房间隔缺损的超声心动图视频的图像帧的分割结果，其中，左图为分割前的视频帧，中图为房间隔的分割结果，右图为房间隔缺损的分割结果。
在上述过程中，首先通过对超声心动图视频进行分类，筛选出房间隔所在图像区域存在血流信号的视频，然后对该筛选出的视频中的图像帧进行图像分割，并根据分割结果实现对房间隔和房间隔缺损的长度测量。通过上述过程，可以将确定超声心动图视频中房间隔和房间隔缺损的长度的过程，转化为视频分类和图像帧分割这两个主要步骤，降低了在视频中确定房间隔和房间隔缺损的长度的难度，同时对视频中图像帧的像素级别的分割方式，有效提升长度测量结果的准确度，从而提升房间隔缺损长度的确定过程的鲁棒性。
需要说明的是，本公开实施例的房间隔缺损长度的确定方法不限于应用在上述经胸超声心动图视频的处理中，可以应用于任意的超声心动图的房间隔缺损长度的确定，本公开对此不作限定。
可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
此外，本公开还提供了房间隔缺损长度的确定装置、电子设备、计算机可读存储介质、程序，上述均可用来实现本公开提供的任一种房间隔缺损长度的确定方法，相应技术方案和描述可参见方法部分的相应记载，不再赘述。
图7示出根据本公开实施例的房间隔缺损长度的确定装置的框图。该房间隔缺损长度的确定装置可以为终端设备、服务器或者其他处理设备等。其中，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。
在一些可能的实现方式中，该房间隔缺损长度的确定装置可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
如图7所示，所述房间隔缺损长度的确定装置70可以包括：
视频接受模块71，用于接收超声心动图视频；
分类模块72，用于对所述超声心动图视频进行分类，得到所述超声心动图视频中房间隔所在图像区域中存在血流信号的概率，作为分类结果；
提取模块73，用于根据所述分类结果，提取所述超声心动图视频中的图像帧；
分割模块74，用于对所述图像帧进行分割，得到所述图像帧中所述房间隔和房间隔缺损的像素点，作为分割结果，所述房间隔缺损为所述房间隔上的孔洞；
长度测量模块75，用于根据所述分割结果，确定所述超声心动图视频中所述房间隔和所述房间隔缺损的长度。
在一种可能的实现方式中，所述分类模块包括：特征提取子模块，用于对所述超声心动图视频中的各图像帧进行特征提取，得到多帧特征图；响应值选取子模块，用于选取各特征图中最大的响应值；融合特征获取子模块，用于对各特征图中最大的响应值进行融合，得到第一融合特征；分类结果获取子模块，用于基于所述第一融合特征，确定超声心动图视频中所述房间隔中存在血流信号的概率，作为分类结果。
在一种可能的实现方式中，所述提取模块包括：图像帧提取子模块，用于在所述概率大于阈值的情况下，提取所述超声心动图视频中的图像帧。
在一种可能的实现方式中，所述分割模块包括：图像帧输入子模块，用于将所述图像帧输入第一神经网络；像素点确定子模块，用于根据所述第一神经网络的输出，确定所述图像帧中所述房间隔和所述房间隔缺损的像素点，分别作为第一分割结果和第二分割结果；所述长度测量模块包括：房间隔长度确定子模块，用于根据所述第一分割结果的平均值，确定所述房间隔的长度；房间隔缺损长度确定子模块，用于根据所述第二分割结果的最大值，确定所述房间隔缺损的长度。
在一种可能的实现方式中，所述第一神经网络包括第一子神经网络和第二子神经网络；所述像素点确定子模块，用于根据所述第一子神经网络和所述第二子神经网络对所述图像帧进行特征提取，分别得到第一子特征和第二子特征；将所述第一子特征和所述第二子特征融合，得到第二融合特征；根据所述第二融合特征，得到所述图像帧中所述房间隔的像素点，作为所述第一分割结果；根据所述第二融合特征，得到所述图像帧中所述房间隔缺损的像素点，作为所述第二分割结果。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
本公开实施例还提出一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。计算机可读存储介质可以是易失性或非易失性计算机可读存储介质。
本公开实施例还提出一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为在执行所述存储器存储的指令时，实现上述方法。
本公开实施例还提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行上述方法。
图8是根据一示例性实施例示出的一种用于房间隔缺损长度的确定的装置800的框图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图8，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)接口812，传感器组件814，以及通信组件816。
处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图像，影像等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式，如拍摄模式或影像模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到装置800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器804，上述计算机程序指令可由装置800的处理器820执行以完成上述方法。
图9是根据一示例性实施例示出的一种用于房间隔缺损长度的确定的装置1900的框图。例如，装置1900可以被提供为一服务器或终端设备。参照图9，装置1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。
装置1900还可以包括一个电源组件1926被配置为执行装置1900的电源管理，一个有线或无线网络接口1950被配置为将装置1900连接到网络，和一个输入输出(I/O)接口1958。装置1900可以操作基于存储在存储器1932的操作系统，例如Windows ServerTM，MacOS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由装置1900的处理组件1922执行以完成上述方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (8)

1.一种房间隔缺损长度的确定方法，其特征在于，包括：
接收超声心动图视频；
对所述超声心动图视频进行分类，得到所述超声心动图视频中房间隔所在图像区域中存在血流信号的概率，作为分类结果；
根据所述分类结果，提取所述超声心动图视频中的图像帧；
对所述图像帧进行分割，得到所述图像帧中所述房间隔和房间隔缺损的像素点，作为分割结果，所述房间隔缺损为所述房间隔上的孔洞；
根据所述分割结果，确定所述超声心动图视频中所述房间隔和所述房间隔缺损的长度；
所述对所述超声心动图视频进行分类，得到所述超声心动图视频中房间隔所在图像区域中存在血流信号的概率，作为分类结果，包括：
对所述超声心动图视频中的各图像帧进行特征提取，得到多帧特征图；
选取各特征图中最大的响应值；
对各特征图中最大的响应值进行融合，得到第一融合特征；
基于所述第一融合特征，确定超声心动图视频中所述房间隔中存在血流信号的概率，作为分类结果。
2.根据权利要求1所述的方法，其特征在于，所述根据所述分类结果，提取所述超声心动图视频中的图像帧，包括：
在所述概率大于阈值的情况下，提取所述超声心动图视频中的图像帧。
3.根据权利要求1所述的方法，其特征在于，所述对所述图像帧进行分割，得到所述图像帧中所述房间隔和房间隔缺损的像素点，作为分割结果，包括：
将所述图像帧输入第一神经网络；
根据所述第一神经网络的输出，确定所述图像帧中所述房间隔和所述房间隔缺损的像素点，分别作为第一分割结果和第二分割结果；
所述根据所述分割结果，确定所述超声心动图视频中所述房间隔和所述房间隔缺损的长度，包括：
根据所述第一分割结果的平均值，确定所述房间隔的长度；
根据所述第二分割结果的最大值，确定所述房间隔缺损的长度。
4.根据权利要求3所述的方法，其特征在于，所述第一神经网络包括第一子神经网络和第二子神经网络；
所述根据所述第一神经网络的输出，确定所述图像帧中所述房间隔和所述房间隔缺损的像素点，分别作为第一分割结果和第二分割结果，包括：
根据所述第一子神经网络和所述第二子神经网络对所述图像帧进行特征提取，分别得到第一子特征和第二子特征；
将所述第一子特征和所述第二子特征融合，得到第二融合特征；
根据所述第二融合特征，得到所述图像帧中所述房间隔的像素点，作为所述第一分割结果；
根据所述第二融合特征，得到所述图像帧中所述房间隔缺损的像素点，作为所述第二分割结果。
5.一种房间隔缺损长度的确定装置，其特征在于，包括：
视频接受模块，用于接收超声心动图视频；
分类模块，用于对所述超声心动图视频进行分类，得到所述超声心动图视频中房间隔所在图像区域中存在血流信号的概率，作为分类结果；
提取模块，用于根据所述分类结果，提取所述超声心动图视频中的图像帧；
分割模块，用于对所述图像帧进行分割，得到所述图像帧中所述房间隔和房间隔缺损的像素点，作为分割结果，所述房间隔缺损为所述房间隔上的孔洞；
长度测量模块，用于根据所述分割结果，确定所述超声心动图视频中所述房间隔和所述房间隔缺损的长度；
所述分类模块包括：
特征提取子模块，用于对所述超声心动图视频中的各图像帧进行特征提取，得到多帧特征图；
响应值选取子模块，用于选取各特征图中最大的响应值；
融合特征获取子模块，用于对各特征图中最大的响应值进行融合，得到第一融合特征；
分类结果获取子模块，用于基于所述第一融合特征，确定超声心动图视频中所述房间隔中存在血流信号的概率，作为分类结果。
6.根据权利要求5所述的装置，其特征在于，所述分割模块包括：
图像帧输入子模块，用于将所述图像帧输入第一神经网络；
像素点确定子模块，用于根据所述第一神经网络的输出，确定所述图像帧中所述房间隔和所述房间隔缺损的像素点，分别作为第一分割结果和第二分割结果；
所述长度测量模块包括：
房间隔长度确定子模块，用于根据所述第一分割结果的平均值，确定所述房间隔的长度；
房间隔缺损长度确定子模块，用于根据所述第二分割结果的最大值，确定所述房间隔缺损的长度。
7.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为在执行所述存储器存储的指令时，实现权利要求1至4中任意一项所述的方法。
8.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至4中任意一项所述的方法。
CN202210203636.0A 2022-03-03 2022-03-03 房间隔缺损长度的确定方法及装置、电子设备和存储介质 Active CN114565622B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210203636.0A CN114565622B (zh) 2022-03-03 2022-03-03 房间隔缺损长度的确定方法及装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210203636.0A CN114565622B (zh) 2022-03-03 2022-03-03 房间隔缺损长度的确定方法及装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN114565622A CN114565622A (zh) 2022-05-31
CN114565622B true CN114565622B (zh) 2023-04-07

Family

ID=81717632

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210203636.0A Active CN114565622B (zh) 2022-03-03 2022-03-03 房间隔缺损长度的确定方法及装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN114565622B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110706246A (zh) * 2019-10-15 2020-01-17 上海微创医疗器械（集团）有限公司 一种血管图像分割方法、装置、电子设备和存储介质
CN111833324A (zh) * 2020-07-09 2020-10-27 中国计量大学 基于深度学习的光纤插芯缺陷检测方法
CN112435247A (zh) * 2020-11-30 2021-03-02 中国科学院深圳先进技术研究院 一种卵圆孔未闭检测方法、系统、终端以及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080161825A1 (en) * 2006-11-20 2008-07-03 Stout Medical Group, L.P. Anatomical measurement tool
US10672115B2 (en) * 2016-12-06 2020-06-02 Siemens Corporation Weakly supervised anomaly detection and segmentation in images
US10388015B2 (en) * 2017-09-06 2019-08-20 International Business Machines Corporation Automated septal defect detection in cardiac computed tomography images
US11030738B2 (en) * 2019-07-05 2021-06-08 International Business Machines Corporation Image defect identification
CN110349149B (zh) * 2019-07-12 2022-06-24 广东省人民医院(广东省医学科学院) 基于深度神经网络和形态相似度的先心病分类系统及方法
CN111012377B (zh) * 2019-12-06 2020-11-03 北京安德医智科技有限公司 超声心动图心脏参数计算以及心肌应变测量方法、装置
CN111915557A (zh) * 2020-06-23 2020-11-10 杭州深睿博联科技有限公司 一种深度学习的房间隔缺损检测方法及装置
CN113487665B (zh) * 2021-06-04 2022-03-11 中国人民解放军总医院 一种管腔缺口的测量方法、装置、设备和介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110706246A (zh) * 2019-10-15 2020-01-17 上海微创医疗器械（集团）有限公司 一种血管图像分割方法、装置、电子设备和存储介质
CN111833324A (zh) * 2020-07-09 2020-10-27 中国计量大学 基于深度学习的光纤插芯缺陷检测方法
CN112435247A (zh) * 2020-11-30 2021-03-02 中国科学院深圳先进技术研究院 一种卵圆孔未闭检测方法、系统、终端以及存储介质

Also Published As

Publication number Publication date
CN114565622A (zh) 2022-05-31

Similar Documents

Publication Publication Date Title
CN109886933B (zh) 一种医学图像识别方法、装置和存储介质
WO2022151755A1 (zh) 目标检测方法及装置、电子设备、存储介质、计算机程序产品和计算机程序
TWI713054B (zh) 圖像分割方法及裝置、電子設備和儲存媒體
CN112767329B (zh) 图像处理方法及装置、电子设备
TW202133787A (zh) 神經網路訓練方法及電子設備和儲存介質
US11921278B2 (en) Image status determining method an apparatus, device, system, and computer storage medium
US20220058821A1 (en) Medical image processing method, apparatus, and device, medium, and endoscope
WO2021259391A2 (zh) 图像处理方法及装置、电子设备和存储介质
WO2022121170A1 (zh) 图像处理方法及装置、电子设备、存储介质和程序
CN114820584B (zh) 肺部病灶定位装置
JP6142664B2 (ja) 脈波検出装置、脈波検出プログラム、脈波検出方法及びコンテンツ評価システム
WO2021259390A2 (zh) 一种冠脉钙化斑块检测方法及装置
WO2023061042A1 (zh) 心率检测方法及装置、电子设备和存储介质
US20210090254A1 (en) Image analysis method based on ultrasound imaging device, and ultrasound imaging device
CN112786163A (zh) 一种超声图像处理显示方法、系统及存储介质
CN115170464A (zh) 肺图像的处理方法、装置、电子设备和存储介质
CN115423819A (zh) 肺血管的分割方法及装置、电子设备和存储介质
CN113096115A (zh) 冠状动脉斑块状态评估方法、装置、电子设备
CN114565622B (zh) 房间隔缺损长度的确定方法及装置、电子设备和存储介质
EP3653129A1 (en) Ultrasound imaging apparatus and operating method thereof
KR102344084B1 (ko) 귀의 병변에 대한 정보 제공 방법 및 이를 이용한 귀의 병변에 대한 정보 제공용 디바이스
EP4036867A2 (en) System and method for classifying dermatological images using machine learning
WO2021259394A2 (zh) 一种图像处理方法及装置、电子设备和存储介质
US20220148172A1 (en) System and method for detecting medical conditions
TW202346826A (zh) 影像處理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant