CN117350970A - 基于分层语义元素的心脏功能检测方法及装置 - Google Patents

基于分层语义元素的心脏功能检测方法及装置 Download PDF

Info

Publication number
CN117350970A
CN117350970A CN202311319399.5A CN202311319399A CN117350970A CN 117350970 A CN117350970 A CN 117350970A CN 202311319399 A CN202311319399 A CN 202311319399A CN 117350970 A CN117350970 A CN 117350970A
Authority
CN
China
Prior art keywords
heart
detected
key point
formula
video image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311319399.5A
Other languages
English (en)
Inventor
汪南
严亚飞
唐井飞
谢红宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Aiyunji Information Technology Co Ltd
Original Assignee
Guangzhou Aiyunji Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Aiyunji Information Technology Co Ltd filed Critical Guangzhou Aiyunji Information Technology Co Ltd
Priority to CN202311319399.5A priority Critical patent/CN117350970A/zh
Publication of CN117350970A publication Critical patent/CN117350970A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于分层语义元素的心脏功能检测方法及装置，该方法包括：获取待检测心脏的目标视频图像；基于心脏切面识别模型对所述待检测心脏的所述目标视频图像进行识别，得到所述待检测心脏对应的至少一个心脏切面图片；根据所有所述心脏切面图片，对所述待检测心脏进行心脏功能检测，得到检测结果。可见，本发明能够清晰的确定心脏结构的边界，提高获取的心脏检测图像的质量，从而提高胎儿心脏功能的检测效果。

Description

基于分层语义元素的心脏功能检测方法及装置
技术领域
本发明涉及医疗检测技术领域，尤其涉及一种基于分层语义元素的心脏功能检测方法及装置。
背景技术
随着人民生活质量的提高，人们对于产前检查越来越重视，产前检查是指为妊娠期妇女提供一系列的医疗和护理建议和措施，目的是通过对于孕妇和胎儿的监护及早预防和发现并发症，减少其不良影响，在此期间提供正确的检查手段和医学建议是降低孕妇死亡率和胎儿死亡率的关键，在产前检查中，对于胎儿的心脏检测非常重要，通过心脏检测可检测出心腔内结构、心脏的搏动和血液流动的情况，可快速了解胎儿心脏的健康状况。
当前，在产前的胎儿心脏检测中，通常直接通过单纯的语义块将获取到的心脏图像进行分割，得到心脏检测图像。然而，实践发现，由于心脏内部的结构较复杂，并且一直处于跳动状态，通过单纯的语义块得到的心脏检测图像可能受到回声失落和伪影影响，难以清晰的确定心脏结构的边界，导致获取的心脏检测图像的质量较低，从而影响胎儿心脏功能检测的结果。
发明内容
本发明所要解决的技术问题在于，提供一种基于分层语义元素的心脏功能检测方法及装置，能够清晰的确定心脏结构的边界，提高获取的心脏检测图像的质量，从而提高胎儿心脏功能的检测效果。
为了解决上述技术问题，本发明第一方面公开了一种基于分层语义元素的心脏功能检测方法，所述方法包括：
获取待检测心脏的目标视频图像；
基于心脏切面识别模型对所述待检测心脏的所述目标视频图像进行识别，得到所述待检测心脏对应的至少一个心脏切面图片；
根据所有所述心脏切面图片，对所述待检测心脏进行心脏功能检测，得到检测结果。
作为一种可选的实施方式，在本发明第一方面中，所述基于心脏切面识别模型对所述待检测心脏的所述目标视频图像进行识别，得到所述待检测心脏对应的至少一个心脏切面图片，包括：
基于关键点回归算法对所述待检测心脏的所述目标视频图像进行计算，得到所述待检测心脏对应的至少一个目标关键点，其中，所述目标关键点为所述待检测心脏内部不同结构的节点；
基于线边缘检测算法对所述待检测心脏的所有所述目标关键点进行计算，得到所述待检测心脏对应的至少一个边缘线；
基于面分割算法根据所述待检测心脏的所有所述目标关键点和/或所有所述边缘线进行计算，得到所述待检测心脏对应的至少一个分割面；
根据所述待检测心脏对应的所有所述目标关键点和/或所有所述边缘线和/或所有所述分割面，确定所述待检测心脏对应的至少一个心脏切面图片。
作为一种可选的实施方式，在本发明第一方面中，所述基于关键点回归算法对所述待检测心脏的所述目标视频图像进行计算，得到所述待检测心脏对应的至少一个目标关键点，包括：
基于关键点回归算法对所述待检测心脏的所述目标视频图像进行计算，得到所述待检测心脏对应的初始关键点集合；
计算所述初始关键点集合中的每个初始关键点的权重值，其中，所述初始关键点的权重值与所述初始关键点在所述待检测心脏中的位置相关联；
根据所述初始关键点集合中的每个初始关键点的所述权重值，确定所述待检测心脏对应的至少一个目标关键点。
作为一种可选的实施方式，在本发明第一方面中，所述关键点回归算法可通过第一公式进行训练；
所述第一公式为：
其中，Nk为所述目标视频图像中存在的关键点数量，Pk为所述目标视频图像中的第i个关键点，YD(Pk)h,w为预测的高斯分布热力图上(h,w)处的值，D(Pk)h,w为真实的高斯分布热力图上(h,w)处的值；
关键点相关的真实的高斯分布热力图的值可通过第二公式计算得到；
所述第二公式为：
D(Pk)＝d(Pk,σ)
其中，d(Pk,σ)为在Pk(xk,yk)处的一个二维高斯分布，σ为经验选取的高斯核大小。
作为一种可选的实施方式，在本发明第一方面中，所述线边缘检测算法可通过第三公式进行训练；
所述第三公式为：
其中，Pk的取值为Pk edge上的边缘点，YL(Pk)h,w为预测的高斯分布热力图上(h,w)处的值，L(Pk edge)h,w为真实的高斯分布热力图上(h,w)处的值；
边缘线相关的真实的高斯分布热力图的值可通过第四公式计算得到；
所述第四公式为：
其中，d(Pk,σ)为在Pk(xk,yk)处的一个二维高斯分布，σ为经验选取的高斯核大小。
作为一种可选的实施方式，在本发明第一方面中，所述面分割算法可通过第五公式进行训练；
所述第五公式为：
其中，Ldice,k为第一损失计算方式，Lbce,k为第二损失计算方式；
所述第一损失计算方式可通过第六公式计算得到；
所述第六公式为：
其中，Pk为所述目标视频图像中的第i个关键点，Ybody(Pk)为预测的高斯分布热力图的值，Pk body为真实的高斯分布热力图的值；
所述第二损失计算方式可通过第七公式计算得到；
所述第七公式为：
其中，Ybody(Pk)h,w为预测的高斯分布热力图上(h,w)处的值，(Pk body)h,w为真实的高斯分布热力图上(h,w)处的值。
作为一种可选的实施方式，在本发明第一方面中，所述方法还包括：
获取确定的第一时间段内在数据库中历史存储的所有所述检测结果；
根据所述第一时间段内在数据库中历史存储的所有所述检测结果，计算获取所述心脏切面图片的平均准确度；
判断获取所述心脏切面图片的所述平均准确度是否大于等于准确度阈值；
当判断结果为否时，对所述心脏切面识别模型进行优化。
本发明第二方面公开了一种基于分层语义元素的心脏功能检测装置，所述装置包括：
获取模块，用于获取待检测心脏的目标视频图像；
图像识别模块，用于基于心脏切面识别模型对所述待检测心脏的所述目标视频图像进行识别，得到所述待检测心脏对应的至少一个心脏切面图片；
检测模块，用于根据所有所述心脏切面图片，对所述待检测心脏进行心脏功能检测，得到检测结果。
作为一种可选的实施方式，在本发明第二方面中，所述图像识别模块基于心脏切面识别模型对所述待检测心脏的所述目标视频图像进行识别，得到所述待检测心脏对应的至少一个心脏切面图片的具体方式为：
基于关键点回归算法对所述待检测心脏的所述目标视频图像进行计算，得到所述待检测心脏对应的至少一个目标关键点，其中，所述目标关键点为所述待检测心脏内部不同结构的节点；
基于线边缘检测算法对所述待检测心脏的所有所述目标关键点进行计算，得到所述待检测心脏对应的至少一个边缘线；
基于面分割算法根据所述待检测心脏的所有所述目标关键点和/或所有所述边缘线进行计算，得到所述待检测心脏对应的至少一个分割面；
根据所述待检测心脏对应的所有所述目标关键点和/或所有所述边缘线和/或所有所述分割面，确定所述待检测心脏对应的至少一个心脏切面图片。
作为一种可选的实施方式，在本发明第二方面中，所述图像识别模块基于关键点回归算法对所述待检测心脏的所述目标视频图像进行计算，得到所述待检测心脏对应的至少一个目标关键点的具体方式为：
基于关键点回归算法对所述待检测心脏的所述目标视频图像进行计算，得到所述待检测心脏对应的初始关键点集合；
计算所述初始关键点集合中的每个初始关键点的权重值，其中，所述初始关键点的权重值与所述初始关键点在所述待检测心脏中的位置相关联；
根据所述初始关键点集合中的每个初始关键点的所述权重值，确定所述待检测心脏对应的至少一个目标关键点。
作为一种可选的实施方式，在本发明第二方面中，所述关键点回归算法可通过第一公式进行训练；
所述第一公式为：
其中，Nk为所述目标视频图像中存在的关键点数量，Pk为所述目标视频图像中的第i个关键点，YD(Pk)h,w为预测的高斯分布热力图上(h,w)处的值，D(Pk)h,w为真实的高斯分布热力图上(h,w)处的值；
关键点相关的真实的高斯分布热力图的值可通过第二公式计算得到；
所述第二公式为：
D(Pk)＝d(Pk,σ)
其中，d(Pk,σ)为在Pk(xk,yk)处的一个二维高斯分布，σ为经验选取的高斯核大小。
作为一种可选的实施方式，在本发明第二方面中，所述线边缘检测算法可通过第三公式进行训练；
所述第三公式为：
其中，Pk的取值为Pk edge上的边缘点，YL(Pk)h,w为预测的高斯分布热力图上(h,w)处的值，L(Pk edge)h,w为真实的高斯分布热力图上(h,w)处的值；
边缘线相关的真实的高斯分布热力图的值可通过第四公式计算得到；
所述第四公式为：
其中，d(Pk,σ)为在Pk(xk,yk)处的一个二维高斯分布，σ为经验选取的高斯核大小。
作为一种可选的实施方式，在本发明第二方面中，所述面分割算法可通过第五公式进行训练；
所述第五公式为：
其中，Ldice,k为第一损失计算方式，Lbce,k为第二损失计算方式；
所述第一损失计算方式可通过第六公式计算得到；
所述第六公式为：
其中，Pk为所述目标视频图像中的第i个关键点，Ybody(Pk)为预测的高斯分布热力图的值，Pk body为真实的高斯分布热力图的值；
所述第二损失计算方式可通过第七公式计算得到；
所述第七公式为：
其中，Ybody(Pk)h,w为预测的高斯分布热力图上(h,w)处的值，(Pk body)h,w为真实的高斯分布热力图上(h,w)处的值。
作为一种可选的实施方式，在本发明第二方面中，所述获取模块，还用于获取确定的第一时间段内在数据库中历史存储的所有所述检测结果；
以及，所述装置还包括：
计算模块，用于根据所述第一时间段内在数据库中历史存储的所有所述检测结果，计算获取所述心脏切面图片的平均准确度；
判断模块，用于判断获取所述心脏切面图片的所述平均准确度是否大于等于准确度阈值；
模型优化模块，用于当所述判断模块的判断结果为否时，对所述心脏切面识别模型进行优化。
本发明第三方面公开了一种基于分层语义元素的心脏功能检测装置，所述装置包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明第一方面公开的基于分层语义元素的心脏功能检测方法中的部分或全部步骤。
本发明第四方面公开了一种计算机存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行本发明第一方面公开的基于分层语义元素的心脏功能检测方法中的部分或全部步骤。
与现有技术相比，本发明实施例具有以下有益效果：
本发明实施例中，获取待检测心脏的目标视频图像；基于心脏切面识别模型对所述待检测心脏的所述目标视频图像进行识别，得到所述待检测心脏对应的至少一个心脏切面图片；根据所有所述心脏切面图片，对所述待检测心脏进行心脏功能检测，得到检测结果。可见，本发明能够基于心脏切面识别模型对待检测心脏的目标视频图像进行识别，得到待检测心脏对应的多个心脏切面图片，并基于这些心脏切面图片对心脏功能检测，由于通过心脏切面识别模型识别得到的心脏切面图片可排除回声失落和伪影的影响，因此可清晰的确定心脏结构的边界，能够提高获取的心脏检测图像的质量，从而提高胎儿心脏功能的检测效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种基于分层语义元素的心脏功能检测方法的流程示意图；
图2是本发明实施例公开的另一种基于分层语义元素的心脏功能检测方法的流程示意图；
图3是本发明实施例公开的一种基于分层语义元素的心脏功能检测装置的结构示意图；
图4是本发明实施例公开的另一种基于分层语义元素的心脏功能检测装置的结构示意图；
图5是本发明实施例公开的又一种基于分层语义元素的心脏功能检测装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本发明实施例公开了一种基于分层语义元素的心脏功能检测方法及装置，能够基于心脏切面识别模型对待检测心脏的目标视频图像进行识别，得到待检测心脏对应的多个心脏切面图片，并基于这些心脏切面图片对心脏功能检测，由于通过心脏切面识别模型识别得到的心脏切面图片可排除回声失落和伪影的影响，因此可清晰的确定心脏结构的边界，能够提高获取的心脏检测图像的质量，从而提高胎儿心脏功能的检测效果。以下分别进行详细说明。
实施例一
请参阅图1，图1是本发明实施例公开的一种基于分层语义元素的心脏功能检测方法的流程示意图。如图1所示，该基于分层语义元素的心脏功能检测方法可以包括以下操作：
101、获取待检测心脏的目标视频图像。
本发明实施例中，该待检测心脏为需要进行心脏功能检测的任一心脏(如胎儿心脏)，该获取的目标视频图像可以为实时获取的该待检测心脏的视频图像，也可以非实时获取的预先完成存储的该待检测心脏的视频图像。
102、基于心脏切面识别模型对待检测心脏的目标视频图像进行识别，得到待检测心脏对应的至少一个心脏切面图片。
本发明实施例中，基于心脏切面识别模型识别得到的心脏切面图片可以包括四腔心切面图片、三血管切面图片、三血管气管切面图片、左室流出道切面图片、右室流出道切面图片以及左右肺动脉分叉切面图片，也包括待检测心脏进行心脏功能检测的其他图片，本发明实施例不做限定。
本发明实施例中，基于心脏切面识别模型对待检测心脏的目标视频图像进行识别，可以包括：
对该待检测心脏的目标视频图像进行去噪处理，得到去噪视频图像；
根据该去噪视频图像，基于心脏切面识别模型对待检测心脏进行识别。
通过以上处理，在对待检测心脏的目标视频图像进行识别前进行去噪处理，可去除由于复杂的心脏结构和一直处于跳动状态而产生的回声失落和伪影的噪声，可提高心脏切面识别模型获取心脏切面图片的精准度，从而提高获取的心脏切面图片的质量。
103、根据所有心脏切面图片，对待检测心脏进行心脏功能检测，得到检测结果。
本发明实施例中，根据基于心脏切面识别模型获取的四腔心切面图片、三血管切面图片、三血管气管切面图片、左室流出道切面图片、右室流出道切面图片以及左右肺动脉分叉切面图片等图片，对待检测心脏的心脏功能进行检测，得到该待检测心脏的检测结果。
可见，实施本发明实施例所描述的基于分层语义元素的心脏功能检测方法能够基于心脏切面识别模型对待检测心脏的目标视频图像进行识别，得到待检测心脏对应的多个心脏切面图片，并基于这些心脏切面图片对心脏功能检测，由于通过心脏切面识别模型识别得到的心脏切面图片可排除回声失落和伪影的影响，因此可清晰的确定心脏结构的边界，能够提高获取的心脏检测图像的质量，从而提高胎儿心脏功能的检测效果。
实施例二
请参阅图2，图2是本发明实施例公开的另一种基于分层语义元素的心脏功能检测方法的流程示意图。如图2所示，该基于分层语义元素的心脏功能检测方法可以包括以下操作：
201、获取待检测心脏的目标视频图像。
202、基于关键点回归算法对待检测心脏的目标视频图像进行计算，得到待检测心脏对应的至少一个目标关键点，其中，目标关键点为待检测心脏内部不同结构的节点。
在一个可选的实施例中，该基于关键点回归算法对该待检测心脏的该目标视频图像进行计算，得到该待检测心脏对应的至少一个目标关键点，可以包括：
基于关键点回归算法对该待检测心脏的该目标视频图像进行计算，得到该待检测心脏对应的初始关键点集合；
计算该初始关键点集合中的每个初始关键点的权重值，其中，该初始关键点的权重值与该初始关键点在该待检测心脏中的位置相关联；
根据该初始关键点集合中的每个初始关键点的该权重值，确定该待检测心脏对应的至少一个目标关键点。
可见，该可选的实施例能够根据初始关键点集合中的每个初始关键点的权重值来确定最终的目标关键点，可提高该待检测心脏的目标关键点的确定精度。
在该可选的实施例中，进一步可选的，该计算该初始关键点集合中的每个初始关键点的权重值，包括：
检测该初始关键点集合中的每个初始关键点与确定出的节点的距离值，其中，该确定出的节点为该待检测心脏中距离该初始关键点最近的节点；
根据该距离值，计算该初始关键点集合中的每个初始关键点的权重值。
在该可选的实施例中，当某一初始关键点与确定出的节点的距离值越大，则该初始关键点对应的权重值越小；当某一初始关键点与确定出的节点的距离值越小，则该初始关键点对应的权重值越大。
在该可选的实施例中，进一步可选的，根据该初始关键点集合中的每个初始关键点的该权重值，确定该待检测心脏对应的至少一个目标关键点，可以包括：
将该初始关键点集合中的所有初始关键点的权重值大于预设的权重阈值的初始关键点确定为目标关键点；
和/或，
对该初始关键点集合中的所有初始关键点的权重值从大到小进行排序，得到权重值序列；
将该权重值序列中的前预设数量个该初始关键点确定为目标关键点。
在另一个可选的实施例中，该关键点回归算法可通过第一公式进行训练；
该第一公式为：
其中，Nk为该目标视频图像中存在的关键点数量，Pk为该目标视频图像中的第i个关键点，YD(Pk)h,w为预测的高斯分布热力图上(h,w)处的值，D(Pk)h,w为真实的高斯分布热力图上(h,w)处的值；
关键点相关的真实的高斯分布热力图的值可通过第二公式计算得到；
该第二公式为：
D(Pk)＝d(Pk,σ)
其中，d(Pk,σ)为在Pk(xk,yk)处的一个二维高斯分布，σ为经验选取的高斯核大小。
可见，该可选的实施例能够通过公式来对关键点回归算法进行训练，可使得该关键点回归算法计算得到的目标关键点的精度更高，从而进一步提高心脏功能检测的效果。
203、基于线边缘检测算法对待检测心脏的所有目标关键点进行计算，得到待检测心脏对应的至少一个边缘线。
在又一个可选的实施例中，该线边缘检测算法可通过第三公式进行训练；
该第三公式为：
其中，Pk的取值为Pk edge上的边缘点，YL(Pk)h,w为预测的高斯分布热力图上(h,w)处的值，L(Pk edge)h,w为真实的高斯分布热力图上(h,w)处的值；
边缘线相关的真实的高斯分布热力图的值可通过第四公式计算得到；
该第四公式为：
其中，d(Pk,σ)为在Pk(xk,yk)处的一个二维高斯分布，σ为经验选取的高斯核大小。
可见，该可选的实施例能够通过公式来对线边缘检测算法进行训练，可使得该线边缘检测算法计算得到的边缘线的精度更高，从而进一步提高心脏功能检测的效果。
204、基于面分割算法根据待检测心脏的所有目标关键点和/或所有边缘线进行计算，得到待检测心脏对应的至少一个分割面。
在又一个可选的实施例中，该面分割算法可通过第五公式进行训练；
该第五公式为：
其中，Ldice,k为第一损失计算方式，Lbce,k为第二损失计算方式；
该第一损失计算方式可通过第六公式计算得到；
该第六公式为：
其中，Pk为该目标视频图像中的第i个关键点，Ybody(Pk)为预测的高斯分布热力图的值，Pk body为真实的高斯分布热力图的值；
该第二损失计算方式可通过第七公式计算得到；
该第七公式为：
其中，Ybody(Pk)h,w为预测的高斯分布热力图上(h,w)处的值，(Pk body)h,w为真实的高斯分布热力图上(h,w)处的值。
可见，该可选的实施例能够通过公式来对面分割算法进行训练，可使得该面分割算法计算得到的分割面的精度更高，从而进一步提高心脏功能检测的效果。
205、根据待检测心脏对应的所有目标关键点和/或所有边缘线和/或所有分割面，确定待检测心脏对应的至少一个心脏切面图片。
本发明实施例中，在对待检测心脏的心脏功能检测中，将检测任务进行分解，具体分别分解为关键点检测、边缘线检测和分割面检测，并根据不同的分解任务提供对应分辨率的特征图，例如，通过关键点回归算法检测待检测心脏的目标关键点中，由于需要感受视野信息更大，因此在计算待检测心脏的目标关键点中提供视野更大的全局图像；通过线边缘检测算法检测待检测心脏的边缘线中，由于需要感受视野信息不大，因此在计算待检测心脏的边缘线中提供视野集中的局部图像。
本发明实施例中，在通过关键点回归算法对待检测心脏进行计算中，其检测出的目标关键点为待检测心脏不同结构之间的节点，即使在待检测心脏不断的跳动周期中，这些节点的位置也是相对固定的，可以作为心脏切面分割的参照点，并将这些参照点确定为该待检测心脏的目标关键点。
本发明实施例中，在完成待检测心脏对应的所有目标关键点和/或所有边缘线和/或所有分割面的计算后，该心脏切面识别模型实现了对待检测心脏的图像进行像素分类，最终确定出该待检测心脏的四腔心切面图片、三血管切面图片、三血管气管切面图片、左室流出道切面图片、右室流出道切面图片以及左右肺动脉分叉切面图片等图片，这些心脏切面图像实现了对该待检测心脏的心室、新房、大血管等结构的分割，覆盖该待检测心脏的全部检测点，由此，可提高对待检测心脏的心脏功能的检测效果。
206、根据所有心脏切面图片，对待检测心脏进行心脏功能检测，得到检测结果。
本发明实施例中，针对步骤201和步骤206的其它描述，请参照实施例一中针对步骤101-步骤103的详细描述，本发明实施例不再赘述。
在又一个可选的实施例中，该方法还可以包括：
获取确定的第一时间段内在数据库中历史存储的所有该检测结果；
根据该第一时间段内在数据库中历史存储的所有该检测结果，计算获取该心脏切面图片的平均准确度；
判断获取该心脏切面图片的该平均准确度是否大于等于准确度阈值；
当判断结果为否时，对该心脏切面识别模型进行优化。
在该可选的实施例中，该确定的第一时间段可根据实际需求进行灵活调整，当需要历史存储的检测结果的更多数据量时，可将该第一时间段设置的更长(如6个月)，当需要历史存储的检测结果的较少数据量时，可将该第一时间段设置的更短(如3个月)。
在该可选的实施例中个，对于获取的该心脏切面图片的平均准确度，当获取的该心脏切面图片的平均准确度越高，说明获取的心脏切面图片越能达到检测该待检测心脏的心脏功能的目的；当获取的该心脏切面图片的平均准确度越低，则说明获取的心脏切面图片越不能达到检测该待检测心脏的心脏功能的目的。
可见，该可选的实施例能够通过计算历史存储的心脏切面图片的平均准确度来对心脏切面识别模型进行优化，可进一步提高心脏切面识别模型的计算能力，进一步提高获取的心脏切面图片的精度，从而进一步提高心脏功能的检测效果。
可见，实施本发明实施例所描述的基于分层语义元素的心脏功能检测方法能够在获取到待检测心脏的视频图像后，通过关键点回归算法和线边缘检测算法以及面分割算法分别计算得到待检测心脏的关键点、边缘线和分割面，随后根据这些分层计算的信息确定待检测心脏的多个心脏切面图片，并基于这些心脏切面图片对心脏功能进行检测，由于通过点线面分层得到的心脏切面图片可进一步排除回声失落和伪影的影响，因此可清晰的确定心脏结构的边界，能够进一步提高获取的心脏检测图像的质量，从而进一步提高胎儿心脏功能的检测效果。
实施例三
请参阅图3，图3是本发明实施例公开的一种基于分层语义元素的心脏功能检测装置的结构示意图。如图3所示，该装置可以包括：
获取模块301，用于获取待检测心脏的目标视频图像；
图像识别模块302，用于基于心脏切面识别模型对该待检测心脏的该目标视频图像进行识别，得到该待检测心脏对应的至少一个心脏切面图片；
检测模块303，用于根据所有该心脏切面图片，对该待检测心脏进行心脏功能检测，得到检测结果。
可见，实施本发明实施例所描述的基于分层语义元素的心脏功能检测装置能够基于心脏切面识别模型对待检测心脏的目标视频图像进行识别，得到待检测心脏对应的多个心脏切面图片，并基于这些心脏切面图片对心脏功能检测，由于通过心脏切面识别模型识别得到的心脏切面图片可排除回声失落和伪影的影响，因此可清晰的确定心脏结构的边界，能够提高获取的心脏检测图像的质量，从而提高胎儿心脏功能的检测效果。
在一个可选的实施例中，该图像识别模块302基于心脏切面识别模型对该待检测心脏的该目标视频图像进行识别，得到该待检测心脏对应的至少一个心脏切面图片的具体方式为：
基于关键点回归算法对该待检测心脏的该目标视频图像进行计算，得到该待检测心脏对应的至少一个目标关键点，其中，该目标关键点为该待检测心脏内部不同结构的节点；
基于线边缘检测算法对该待检测心脏的所有该目标关键点进行计算，得到该待检测心脏对应的至少一个边缘线；
基于面分割算法根据该待检测心脏的所有该边缘线进行计算，得到该待检测心脏对应的至少一个分割面；
根据该待检测心脏对应的所有该分割面，确定该待检测心脏对应的至少一个心脏切面图片。
可见，实施本发明实施例所描述的基于分层语义元素的心脏功能检测装置能够在获取到待检测心脏的视频图像后，通过关键点回归算法和线边缘检测算法以及面分割算法分别计算得到待检测心脏的关键点、边缘线和分割面，随后根据这些分层计算的信息确定待检测心脏的多个心脏切面图片，并基于这些心脏切面图片对心脏功能进行检测，由于通过点线面分层得到的心脏切面图片可进一步排除回声失落和伪影的影响，因此可清晰的确定心脏结构的边界，能够进一步提高获取的心脏检测图像的质量，从而进一步提高胎儿心脏功能的检测效果。
在另一个可选的实施例中，该图像识别模块302基于关键点回归算法对该待检测心脏的该目标视频图像进行计算，得到该待检测心脏对应的至少一个目标关键点的具体方式为：
基于关键点回归算法对该待检测心脏的该目标视频图像进行计算，得到该待检测心脏对应的初始关键点集合；
计算该初始关键点集合中的每个初始关键点的权重值，其中，该初始关键点的权重值与该初始关键点在该待检测心脏中的位置相关联；
根据该初始关键点集合中的每个初始关键点的该权重值，确定该待检测心脏对应的至少一个目标关键点。
可见，该可选的实施例能够根据初始关键点集合中的每个初始关键点的权重值来确定最终的目标关键点，可提高该待检测心脏的目标关键点的确定精度。
在又一个可选的实施例中，该关键点回归算法可通过第一公式进行训练；
该第一公式为：
其中，Nk为该目标视频图像中存在的关键点数量，Pk为该目标视频图像中的第i个关键点，YD(Pk)h,w为预测的高斯分布热力图上(h,w)处的值，D(Pk)h,w为真实的高斯分布热力图上(h,w)处的值；
关键点相关的真实的高斯分布热力图的值可通过第二公式计算得到；
该第二公式为：
D(Pk)＝d(Pk,σ)
其中，d(Pk,σ)为在Pk(xk,yk)处的一个二维高斯分布，σ为经验选取的高斯核大小。
可见，该可选的实施例能够通过公式来对关键点回归算法进行训练，可使得该关键点回归算法计算得到的目标关键点的精度更高，从而进一步提高心脏功能检测的效果。
在又一个可选的实施例中，该线边缘检测算法可通过第三公式进行训练；
该第三公式为：
其中，Pk的取值为Pk edge上的边缘点，YL(Pk)h,w为预测的高斯分布热力图上(h,w)处的值，L(Pk edge)h,w为真实的高斯分布热力图上(h,w)处的值；
边缘线相关的真实的高斯分布热力图的值可通过第四公式计算得到；
该第四公式为：
其中，d(Pk,σ)为在Pk(xk,yk)处的一个二维高斯分布，σ为经验选取的高斯核大小。
可见，该可选的实施例能够通过公式来对线边缘检测算法进行训练，可使得该线边缘检测算法计算得到的边缘线的精度更高，从而进一步提高心脏功能检测的效果。
在又一个可选的实施例中，该面分割算法可通过第五公式进行训练；
该第五公式为：
其中，Ldice,k为第一损失计算方式，Lbce,k为第二损失计算方式；
该第一损失计算方式可通过第六公式计算得到；
该第六公式为：
其中，Pk为该目标视频图像中的第i个关键点，Ybody(Pk)为预测的高斯分布热力图的值，Pk body为真实的高斯分布热力图的值；
该第二损失计算方式可通过第七公式计算得到；
该第七公式为：
其中，Ybody(Pk)h,w为预测的高斯分布热力图上(h,w)处的值，(Pk body)h,w为真实的高斯分布热力图上(h,w)处的值。
可见，该可选的实施例能够通过公式来对面分割算法进行训练，可使得该面分割算法计算得到的分割面的精度更高，从而进一步提高心脏功能检测的效果。
在又一个可选的实施例中，该获取模块301，还用于获取确定的第一时间段内在数据库中历史存储的所有该检测结果；
以及，该装置还包括：
计算模块304，用于根据该第一时间段内在数据库中历史存储的所有该检测结果，计算获取该心脏切面图片的平均准确度；
判断模块305，用于判断获取该心脏切面图片的该平均准确度是否大于等于准确度阈值；
模型优化模块306，用于当该判断模块305的判断结果为否时，对该心脏切面识别模型进行优化。
可见，该可选的实施例能够通过计算历史存储的心脏切面图片的平均准确度来对心脏切面识别模型进行优化，可进一步提高心脏切面识别模型的计算能力，进一步提高获取的心脏切面图片的精度，从而进一步提高心脏功能的检测效果。
实施例四
请参阅图5，图5是本发明实施例公开的又一种基于分层语义元素的心脏功能检测装置的结构示意图。如图5所示，该装置可以包括：
存储有可执行程序代码的存储器401；
与存储器401耦合的处理器402；
处理器402调用存储器401中存储的可执行程序代码，用于执行实施例一或实施例二所描述的基于分层语义元素的心脏功能检测方法中的步骤。
实施例五
本发明实施例公开了一种计算机读存储介质，其存储用于电子数据交换的计算机程序，其中，该计算机程序使得计算机执行实施例一或实施例二所描述的基于分层语义元素的心脏功能检测方法中的步骤。
实施例六
本发明实施例公开了一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可操作来使计算机执行实施例一或实施例二所描述的基于分层语义元素的心脏功能检测方法中的步骤。
以上所描述的装置实施例仅是示意性的，其中作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施例的具体描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
最后应说明的是：本发明实施例公开的一种基于分层语义元素的心脏功能检测方法及装置所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。

Claims (10)

1.一种基于分层语义元素的心脏功能检测方法，其特征在于，所述方法包括：
获取待检测心脏的目标视频图像；
基于心脏切面识别模型对所述待检测心脏的所述目标视频图像进行识别，得到所述待检测心脏对应的至少一个心脏切面图片；
根据所有所述心脏切面图片，对所述待检测心脏进行心脏功能检测，得到检测结果。
2.根据权利要求1所述的基于分层语义元素的心脏功能检测方法，其特征在于，所述基于心脏切面识别模型对所述待检测心脏的所述目标视频图像进行识别，得到所述待检测心脏对应的至少一个心脏切面图片，包括：
基于关键点回归算法对所述待检测心脏的所述目标视频图像进行计算，得到所述待检测心脏对应的至少一个目标关键点，其中，所述目标关键点为所述待检测心脏内部不同结构的节点；
基于线边缘检测算法对所述待检测心脏的所有所述目标关键点进行计算，得到所述待检测心脏对应的至少一个边缘线；
基于面分割算法根据所述待检测心脏的所有所述目标关键点和/或所有所述边缘线进行计算，得到所述待检测心脏对应的至少一个分割面；
根据所述待检测心脏对应的所有所述目标关键点和/或所有所述边缘线和/或所有所述分割面，确定所述待检测心脏对应的至少一个心脏切面图片。
3.根据权利要求2所述的基于分层语义元素的心脏功能检测方法，其特征在于，所述基于关键点回归算法对所述待检测心脏的所述目标视频图像进行计算，得到所述待检测心脏对应的至少一个目标关键点，包括：
基于关键点回归算法对所述待检测心脏的所述目标视频图像进行计算，得到所述待检测心脏对应的初始关键点集合；
计算所述初始关键点集合中的每个初始关键点的权重值，其中，所述初始关键点的权重值与所述初始关键点在所述待检测心脏中的位置相关联；
根据所述初始关键点集合中的每个初始关键点的所述权重值，确定所述待检测心脏对应的至少一个目标关键点。
4.根据权利要求2或3所述的基于分层语义元素的心脏功能检测方法，其特征在于，所述关键点回归算法可通过第一公式进行训练；
所述第一公式为：
其中，Nk为所述目标视频图像中存在的关键点数量，Pk为所述目标视频图像中的第i个关键点，YD(Pk)h,w为预测的高斯分布热力图上(h,w)处的值，D(Pk)h,w为真实的高斯分布热力图上(h,w)处的值；
关键点相关的真实的高斯分布热力图的值可通过第二公式计算得到；
所述第二公式为：
D(Pk)＝d(Pk，σ)
其中，d(Pk，σ)为在Pk(xk，yk)处的一个二维高斯分布，σ为经验选取的高斯核大小。
5.根据权利要求4所述的基于分层语义元素的心脏功能检测方法，其特征在于，所述线边缘检测算法可通过第三公式进行训练；
所述第三公式为：
其中，Pk的取值为Pk edge上的边缘点，YL(Pk)h,w为预测的高斯分布热力图上(h,w)处的值，L(Pk edge)h,w为真实的高斯分布热力图上(h,w)处的值；
边缘线相关的真实的高斯分布热力图的值可通过第四公式计算得到；
所述第四公式为：
其中，d(Pk,σ)为在Pk(xk,yk)处的一个二维高斯分布，σ为经验选取的高斯核大小。
6.根据权利要求5所述的基于分层语义元素的心脏功能检测方法，其特征在于，所述面分割算法可通过第五公式进行训练；
所述第五公式为：
其中，Ldice,k为第一损失计算方式，Lbce,k为第二损失计算方式；
所述第一损失计算方式可通过第六公式计算得到；
所述第六公式为：
其中，Pk为所述目标视频图像中的第i个关键点，Ybody(Pk)为预测的高斯分布热力图的值，Pk body为真实的高斯分布热力图的值；
所述第二损失计算方式可通过第七公式计算得到；
所述第七公式为：
其中，Ybody(Pk)h,w为预测的高斯分布热力图上(h,w)处的值，(Pk body)h,w为真实的高斯分布热力图上(h,w)处的值。
7.根据权利要求6所述的基于分层语义元素的心脏功能检测方法，其特征在于，所述方法还包括：
获取确定的第一时间段内在数据库中历史存储的所有所述检测结果；
根据所述第一时间段内在数据库中历史存储的所有所述检测结果，计算获取所述心脏切面图片的平均准确度；
判断获取所述心脏切面图片的所述平均准确度是否大于等于准确度阈值；
当判断结果为否时，对所述心脏切面识别模型进行优化。
8.一种基于分层语义元素的心脏功能检测装置，其特征在于，所述装置包括：
获取模块，用于获取待检测心脏的目标视频图像；
图像识别模块，用于基于心脏切面识别模型对所述待检测心脏的所述目标视频图像进行识别，得到所述待检测心脏对应的至少一个心脏切面图片；
检测模块，用于根据所有所述心脏切面图片，对所述待检测心脏进行心脏功能检测，得到检测结果。
9.一种基于分层语义元素的心脏功能检测装置，其特征在于，所述装置包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1-7任一项所述的基于分层语义元素的心脏功能检测方法中的部分或全部步骤。
10.一种计算机存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行如权利要求1-7任一项所述的基于分层语义元素的心脏功能检测方法中的部分或全部步骤。
CN202311319399.5A 2023-10-11 2023-10-11 基于分层语义元素的心脏功能检测方法及装置 Pending CN117350970A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311319399.5A CN117350970A (zh) 2023-10-11 2023-10-11 基于分层语义元素的心脏功能检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311319399.5A CN117350970A (zh) 2023-10-11 2023-10-11 基于分层语义元素的心脏功能检测方法及装置

Publications (1)

Publication Number Publication Date
CN117350970A true CN117350970A (zh) 2024-01-05

Family

ID=89362548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311319399.5A Pending CN117350970A (zh) 2023-10-11 2023-10-11 基于分层语义元素的心脏功能检测方法及装置

Country Status (1)

Country Link
CN (1) CN117350970A (zh)

Similar Documents

Publication Publication Date Title
Bernard et al. Standardized evaluation system for left ventricular segmentation algorithms in 3D echocardiography
CN109886933B (zh) 一种医学图像识别方法、装置和存储介质
Carneiro et al. Detection and measurement of fetal anatomies from ultrasound images using a constrained probabilistic boosting tree
Suzuki et al. Extraction of left ventricular contours from left ventriculograms by means of a neural edge detector
Wimmer et al. A generic probabilistic active shape model for organ segmentation
CN111462049B (zh) 一种乳腺超声造影视频中病灶区形态自动标注方法
CN102890823A (zh) 运动对象轮廓提取及左心室图像分割方法和装置
CN113012173A (zh) 基于心脏mri的心脏分割模型和病理分类模型训练、心脏分割、病理分类方法及装置
CN111612756B (zh) 冠状动脉特异性钙化检测方法及装置
CN111275755B (zh) 基于人工智能的二尖瓣瓣口面积检测方法、系统和设备
US20230394670A1 (en) Anatomically-informed deep learning on contrast-enhanced cardiac mri for scar segmentation and clinical feature extraction
CN111340756A (zh) 一种医学图像病变检出合并方法、系统、终端及存储介质
CN112233167B (zh) 一种胎儿结构特征的自动测量方法及装置
CN113643354B (zh) 基于增强分辨率的眼底图像的血管管径的测量装置
CN111932495B (zh) 一种医学图像检测方法、装置及存储介质
CN110517234B (zh) 特征骨异常检测方法及装置
CN115018863A (zh) 基于深度学习的图像分割方法及装置
Lu et al. AutoMPR: Automatic detection of standard planes in 3D echocardiography
CN117547306B (zh) 基于m型超声的左心室射血分数测量方法、系统及装置
EP3683767A1 (en) Image analysis method and device
CN112651984A (zh) 血管管腔内膜轮廓提取方法、装置及超声设备和存储介质
CN117350970A (zh) 基于分层语义元素的心脏功能检测方法及装置
CN115841472A (zh) 大脑中动脉高密度征识别方法、装置、设备及存储介质
Sedai et al. Right ventricle landmark detection using multiscale HOG and random forest classifier
CN113222985B (zh) 一种图像处理方法、装置、计算机设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination