CN116563294A - 图像质量的确定方法、装置、计算机设备和存储介质 - Google Patents
图像质量的确定方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN116563294A CN116563294A CN202310844317.2A CN202310844317A CN116563294A CN 116563294 A CN116563294 A CN 116563294A CN 202310844317 A CN202310844317 A CN 202310844317A CN 116563294 A CN116563294 A CN 116563294A
- Authority
- CN
- China
- Prior art keywords
- anatomical structure
- echocardiogram
- result
- target
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 210000003484 anatomy Anatomy 0.000 claims abstract description 436
- 238000001514 detection method Methods 0.000 claims abstract description 304
- 230000011218 segmentation Effects 0.000 claims abstract description 142
- 238000013441 quality evaluation Methods 0.000 claims abstract description 115
- 238000011156 evaluation Methods 0.000 claims abstract description 103
- 238000004590 computer program Methods 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims description 82
- 238000000605 extraction Methods 0.000 claims description 32
- 238000013209 evaluation strategy Methods 0.000 claims description 14
- 230000004807 localization Effects 0.000 claims description 6
- 238000011158 quantitative evaluation Methods 0.000 abstract description 4
- 238000002592 echocardiography Methods 0.000 description 33
- 210000005240 left ventricle Anatomy 0.000 description 20
- 238000003908 quality control method Methods 0.000 description 16
- 210000005246 left atrium Anatomy 0.000 description 15
- 238000012549 training Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 210000005241 right ventricle Anatomy 0.000 description 8
- 230000002861 ventricular Effects 0.000 description 8
- 210000001765 aortic valve Anatomy 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 6
- 210000004115 mitral valve Anatomy 0.000 description 6
- 238000003062 neural network model Methods 0.000 description 6
- 210000005245 right atrium Anatomy 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 210000001631 vena cava inferior Anatomy 0.000 description 4
- 230000000747 cardiac effect Effects 0.000 description 3
- 238000013155 cardiography Methods 0.000 description 3
- 230000004217 heart function Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 210000003540 papillary muscle Anatomy 0.000 description 3
- 210000000591 tricuspid valve Anatomy 0.000 description 3
- 210000005242 cardiac chamber Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000005003 heart tissue Anatomy 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002107 myocardial effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 210000002417 xiphoid bone Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本申请涉及一种图像质量的确定方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括:通过将超声心动图输入至超声心动图检测模型,得到超声心动图的解剖结构定位结果、各解剖结构的分割结果以及至少一个解剖结构的清晰度检测结果,继而确定待评价的超声心动图的质量评价结果。通过采用本方法,可以超声心动图检测模型得到超声心动图的切片包含的各个解剖结构的定位结果、分割结果以及清晰度检测结果,从解剖结构的完整程度、清晰程度和切面标准程度等多个维度对超声心动图进行质量评价,实现对超声心动图的定量评价,提升超声心动图质量的评价准确度,以及评价的全面性。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种图像质量的确定方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
近年来,随着科技的逐步发展,超声心动图检查也越来越普遍,可以通过连续的超声波对任意位置的血液和心肌组织运动速度与幅度进行实时的检查,其成像所表征的是不同心脏组织、腔室的声阻抗,具有实时、安全、价廉、方便等特点。然而,超声心动图的成像高度受操作者经验和实操手法影响,因此,超声心动图的质量的评价尤其重要。
相关技术中,可以通过深度学习神经网络对超声心动图的质量进行评价,具体是通过学习高质量数据集的特征,实现对超声心动图中解剖结构的有无的检测,基于超声心动图中解剖结构的有无评价该超生心动图的质量,会使得超声心动图的评价标准较为片面,导致得到的评价结果的准确度较低。
发明内容
基于此,有必要针对上述技术问题,提供一种能够全面且准确评价图像质量的图像质量的确定方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面,本申请提供了一种图像质量的确定方法。所述方法包括:
获取待评价的超声心动图,并将所述超声心动图输入至超声心动图检测模型,所述超声心动图检测模型包括特征提取层和特征解码器;
通过所述特征提取层提取所述超声心动图的目标图像特征;
通过所述特征解码器对所述目标图像特征进行多种类型的处理,得到所述待评价的超声心动图的解码结果,所述解码结果至少包括解剖结构定位结果、各所述解剖结构的分割结果以及至少一个所述解剖结构的清晰度检测结果;
基于所述解剖结构定位结果、各所述解剖结构的分割结果以及各所述解剖结构的清晰度检测结果,确定所述待评价的超声心动图的质量评价结果。
在其中一个实施例中,所述特征解码器包括解剖结构检测网络、轮廓检测网络、分割结果分类网络以及清晰度分类网络;
所述通过所述特征解码器对所述目标图像特征进行多种类型的处理,得到所述待评价的超声心动图的解码结果,包括:
通过所述解剖结构检测网络对所述目标图像特征进行检测处理,得到解剖结构定位结果,所述解剖结构定位结果至少包括所述超声心动图的各解剖结构的位置信息以及各所述解剖结构的结构数值;
通过所述轮廓检测网络对所述目标图像特征进行处理,得到所述待评价的超声心动图的各所述解剖结构的轮廓检测结果;
通过所述分割结果分类网络对各所述解剖结构的轮廓检测结果进行处理,得到各所述解剖结构分别对应的分割结果,所述分割结果包括分割成功结果或者分割未成功结果;
通过所述清晰度分类网络对至少一个所述解剖结构的轮廓检测结果进行处理,得到所述解剖结构对应的清晰度检测结果。
在其中一个实施例中,所述通过所述清晰度分类网络对至少一个所述解剖结构的轮廓检测结果进行处理,得到所述解剖结构对应的清晰度检测结果,包括:
在所述目标图像特征对应的多个解剖结构中,确定预设解剖结构,并对所述预设解剖结构进行子区域划分,得到所述预设解剖结构对应的多个子区域;
通过清晰度分类网络对预设解剖结构对应的多个子区域,分别进行清晰度检测,得到各子区域分别对应的清晰度检测结果,并将各子区域分别对应的清晰度检测结果确定为清晰度检测结果。
在其中一个实施例中,所述基于所述解剖结构定位结果、各所述解剖结构的分割结果以及各所述解剖结构的清晰度检测结果,确定所述待评价的超声心动图的质量评价结果,包括:
基于所述待评价的超声心动图的目标切片类型,确定所述目标切片类型对应的评价策略,所述评价策略包括多个评价基准信息;
将所述多个评价基准信息与所述解剖结构定位结果、各所述解剖结构的分割结果以及各所述解剖结构的清晰度检测结果进行匹配,并根据匹配结果确定所述待评价的超声心动图的质量评价值。
在其中一个实施例中,所述基于所述多个评价基准信息、所述解剖结构定位结果、各所述解剖结构的分割结果以及各所述解剖结构的清晰度检测结果,得到所述待评价的超声心动图的质量评价值,包括:
确定所述目标切片类型对应的目标解剖结构;
在所述解剖结构定位结果、各所述解剖结构的分割结果以及各所述解剖结构的清晰度检测结果中,确定所述目标解剖结构对应的目标定位结果、目标分割结果以及目标清晰度检测结果;
基于所述多个评价基准信息,分别对所述目标解剖结构对应的目标定位结果、目标分割结果以及目标清晰度检测结果进行质量评价,得到所述待评价的超声心动图的质量评价值。
在其中一个实施例中,所述特征解码器还包括切片类型确定网络,所述方法还包括:
通过所述切片类型确定网络对所述目标图像特征进行处理,得到所述待评价的超声心动图为各切片类型的预测置信度;
将预测置信度满足预设置信度条件的切片类型,确定为所述待评价的超声心动图的目标切片类型。
在其中一个实施例中,所述方法还包括:
获取待评价的超声心动图序列中每个超声心动图的质量评价结果;
基于预设的目标评价需求,确定所述目标评价需求对应的质量评价结果的处理策略;
基于所述处理策略对所述多个待评价的超声心动图的质量评价结果进行处理,得到所述目标评价需求对应的目标质量评价结果。
第二方面,本申请还提供了一种图像质量的确定装置。所述装置包括:
第一获取模块,用于获取待评价的超声心动图,并将所述超声心动图输入至超声心动图检测模型,所述超声心动图检测模型包括特征提取层和特征解码器;
提取模块,用于通过所述特征提取层提取所述超声心动图的目标图像特征;
检测模块,用于通过所述特征解码器对所述目标图像特征进行多种类型的处理,得到所述待评价的超声心动图的解码结果,所述解码结果至少包括解剖结构定位结果、各所述解剖结构的分割结果以及至少一个所述解剖结构的清晰度检测结果;
第一确定模块,用于基于所述解剖结构定位结果、各所述解剖结构的分割结果以及各所述解剖结构的清晰度检测结果,确定所述待评价的超声心动图的质量评价结果。
在其中一个实施例中,所述特征解码器包括解剖结构检测网络、轮廓检测网络、分割结果分类网络以及清晰度分类网络;
所述检测模块具体用于:
通过所述解剖结构检测网络对所述目标图像特征进行检测处理,得到解剖结构定位结果,所述解剖结构定位结果至少包括所述超声心动图的各解剖结构的位置信息以及各所述解剖结构的结构数值;
通过所述轮廓检测网络对所述目标图像特征进行处理,得到所述待评价的超声心动图的各所述解剖结构的轮廓检测结果;
通过所述分割结果分类网络对各所述解剖结构的轮廓检测结果进行处理,得到各所述解剖结构分别对应的分割结果,所述分割结果包括分割成功结果或者分割未成功结果;
通过所述清晰度分类网络对至少一个所述解剖结构的轮廓检测结果进行处理,得到所述解剖结构对应的清晰度检测结果。
在其中一个实施例中,所述检测模块还具体用于:
在所述目标图像特征对应的多个解剖结构中,确定预设解剖结构,并对所述预设解剖结构进行子区域划分,得到所述预设解剖结构对应的多个子区域;
通过清晰度分类网络对预设解剖结构对应的多个子区域,分别进行清晰度检测,得到各子区域分别对应的清晰度检测结果,并将各子区域分别对应的清晰度检测结果确定为清晰度检测结果。
在其中一个实施例中,第一确定模块,具体用于基于所述待评价的超声心动图的目标切片类型,确定所述目标切片类型对应的评价策略,所述评价策略包括多个评价基准信息;
将所述多个评价基准信息与所述解剖结构定位结果、各所述解剖结构的分割结果以及各所述解剖结构的清晰度检测结果进行匹配,并根据匹配结果确定所述待评价的超声心动图的质量评价值。
在其中一个实施例中,所述第一确定模块,具体还用于:
确定所述目标切片类型对应的目标解剖结构;
在所述解剖结构定位结果、各所述解剖结构的分割结果以及各所述解剖结构的清晰度检测结果中,确定所述目标解剖结构对应的目标定位结果、目标分割结果以及目标清晰度检测结果;
基于所述多个评价基准信息,分别对所述目标解剖结构对应的目标定位结果、目标分割结果以及目标清晰度检测结果进行质量评价,得到所述待评价的超声心动图的质量评价值。
在其中一个实施例中,所述特征解码器还包括切片类型确定网络,所述装置还包括:
第二确定模块,用于通过所述切片类型确定网络对所述目标图像特征进行处理,得到所述待评价的超声心动图为各切片类型的预测置信度;
第三确定模块,用于将预测置信度满足预设置信度条件的切片类型,确定为所述待评价的超声心动图的目标切片类型。
在其中一个实施例中,所述装置还包括:
第二获取模块,用于获取待评价的超声心动图序列中每个超声心动图的质量评价结果;
第四确定模块,用于基于预设的目标评价需求,确定所述目标评价需求对应的质量评价结果的处理策略;
第五确定模块,用于基于所述处理策略对所述多个待评价的超声心动图的质量评价结果进行处理,得到所述目标评价需求对应的目标质量评价结果。
第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取待评价的超声心动图,并将所述超声心动图输入至超声心动图检测模型,所述超声心动图检测模型包括特征提取层和特征解码器;
通过所述特征提取层提取所述超声心动图的目标图像特征;
通过所述特征解码器对所述目标图像特征进行多种类型的处理,得到所述待评价的超声心动图的解码结果,所述解码结果至少包括解剖结构定位结果、各所述解剖结构的分割结果以及至少一个所述解剖结构的清晰度检测结果;
基于所述解剖结构定位结果、各所述解剖结构的分割结果以及各所述解剖结构的清晰度检测结果,确定所述待评价的超声心动图的质量评价结果。
第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取待评价的超声心动图,并将所述超声心动图输入至超声心动图检测模型,所述超声心动图检测模型包括特征提取层和特征解码器;
通过所述特征提取层提取所述超声心动图的目标图像特征;
通过所述特征解码器对所述目标图像特征进行多种类型的处理,得到所述待评价的超声心动图的解码结果,所述解码结果至少包括解剖结构定位结果、各所述解剖结构的分割结果以及至少一个所述解剖结构的清晰度检测结果;
基于所述解剖结构定位结果、各所述解剖结构的分割结果以及各所述解剖结构的清晰度检测结果,确定所述待评价的超声心动图的质量评价结果。
第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取待评价的超声心动图,并将所述超声心动图输入至超声心动图检测模型,所述超声心动图检测模型包括特征提取层和特征解码器;
通过所述特征提取层提取所述超声心动图的目标图像特征;
通过所述特征解码器对所述目标图像特征进行多种类型的处理,得到所述待评价的超声心动图的解码结果,所述解码结果至少包括解剖结构定位结果、各所述解剖结构的分割结果以及至少一个所述解剖结构的清晰度检测结果;
基于所述解剖结构定位结果、各所述解剖结构的分割结果以及各所述解剖结构的清晰度检测结果,确定所述待评价的超声心动图的质量评价结果。
上述图像质量的确定方法、装置、计算机设备、存储介质和计算机程序产品,通过获取待评价的超声心动图,并将所述超声心动图输入至超声心动图检测模型,所述超声心动图检测模型包括特征提取层和特征解码器;通过所述特征提取层提取所述超声心动图的目标图像特征;通过所述特征解码器对所述目标图像特征进行多种类型的处理,得到所述待评价的超声心动图的解码结果,所述解码结果至少包括解剖结构定位结果、各所述解剖结构的分割结果以及至少一个所述解剖结构的清晰度检测结果;基于所述解剖结构定位结果、各所述解剖结构的分割结果以及各所述解剖结构的清晰度检测结果,确定所述待评价的超声心动图的质量评价结果。通过采用本方法,可以通过超声心动图检测模型对超声心动图进行全面检测,基于超声心动图检测模型得到超声心动图的切片包含的各个解剖结构的定位结果、分割结果以及清晰度检测结果,从解剖结构的完整程度、清晰程度和切面标准程度等多个维度对超声心动图进行质量评价,实现对超声心动图的定量评价,并同步提升超声心动图质量的评价准确度。
附图说明
图1为一个实施例中图像质量的确定方法的流程示意图;
图2为一个实施例中解码结果步骤的流程示意图;
图3为一个实施例中得到清晰度检测结果步骤的流程示意图;
图4为一个实施例中得到质量评价值步骤的流程示意图;
图5为一个实施例中得到质量评价值步骤的流程示意图;
图6为一个实施例中确定目标切片类型步骤的流程示意图;
图7为一个实施例中确定序列的质量评价值步骤的流程示意图;
图8为另一个实施例中图像质量的确定方法的流程示意图;
图9为一个实施例中超声心动图检测模型的结构框图;
图10为一个实施例中图像质量的确定装置的结构框图;
图11为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在一个实施例中,如图1所示,提供了一种图像质量的确定方法,本实施例以该方法应用于终端进行举例说明,可以理解的是,该方法也可以应用于服务器,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现,上述终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑等,服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本实施例中,该图像质量的确定方法包括以下步骤:
步骤102,获取待评价的超声心动图,并将超声心动图输入至超声心动图检测模型。
其中,超声心动图检测模型包括特征提取层和特征解码器,特征提取层用于对输入的超声心动图进行特征提取处理,特征提取层可以包括编码器;特征解码器可以是检测网络,用于对图像特征进行检测处理,特征解码器可以包括多个不同类型的解码器,编码器可以是神经网络架构,该神经网络结构可以包括CNN卷积神经网络(Convolutional NeuralNetworks)或者transformer网络等等;超声心动图检测模型用于对超声心动图进行质量评价。
在实施中,终端可以获取待评价的超声心动图,并将获取到的待评价的超声心动图输入至预先训练完成的超声心动图检测模型,以使超声心动图检测模型可以对超声心动图进行检测处理。
在一个示例中,终端获取待评价的超声心动图的方式可以是通过图像采集装置,对目标对象进行超声检测,得到该目标对象的实时的超声心动图;终端获取超声心动图的过程还可以是,在本地的存储系统中读取图像,终端可以得到本地存储的超声心动图。
步骤104,通过特征提取层提取超声心动图的目标图像特征。
其中,目标图像特征可以是高维特征向量,是用于表征超声心动图的各个特征属性的向量。
在实施中,终端可以通过超声心动图检测模型中的特征提取层对超声心动图进行特征提取处理,得到该超声心动图所包含的高维图像特征。例如,终端可以将待评价的超声心动图输入至该超声心动图检测模型中的编码器,得到该编码器的输出结果,并确定该编码器的输出结果为该待评价的超声心动图的高维图像特征,即目标图像特征。
步骤106,通过特征解码器对目标图像特征进行多种类型的处理,得到待评价的超声心动图的解码结果。
其中,解码结果至少包括解剖结构定位结果、各解剖结构的分割结果以及至少一个解剖结构的清晰度检测结果,多种类型的检测处理可以是通过超声心动图检测模型中的检测网络进行处理实现的,多种类型的检测处理可以是对该待评价的超声心动图的不同属性维度进行检测,例如可以包括定位检测、分割结果检测以及清晰度结果检测等等;清晰度检测结果是对图像的清晰度维度进行检测的结果,例如可以包括清晰度检测结果等等;解剖结构定位结果是该超声心动图检测模型检测到的该超声心动图中的各个解剖结构的位置信息等等,解剖结构的分割结果可以是该超声心动图检测模型检测到的该超声心动图中的各个解剖结构的轮廓数据等等。超声心动图中包含的解剖结构可以包括左心室、左心房、右心室、右心房、二尖瓣、三尖瓣、主动脉瓣、左室流出道、下腔静脉等等,还可以是心脏中所包含的各个解剖结构。
在实施中,终端可以将目标图像特征输入至超声心动图检测模型中的特征解码器中,得到该检测网络输出的该超声心动图的解剖结构定位结果、各解剖结构的分割结果以及至少一个解剖结构的清晰度检测结果。
在一个示例中,特征解码器中可以包含多种类型的检测网络,例如可以包括解剖结构检测网络、轮廓检测网络,基于此,终端可以将目标图像特征分别输入至解剖结构检测网络、轮廓检测网络中,得到该超声心动图的解剖结构定位结果、各解剖结构的分割结果以及至少一个解剖结构的清晰度检测结果,具体检测过程会在以下实施例中详细说明。
步骤108,基于解剖结构定位结果、各解剖结构的分割结果以及各解剖结构的清晰度检测结果,确定待评价的超声心动图的质量评价结果。
其中,质量评价结果可以是对超声心动图的图像质量进行评价的指标,例如质量评价结果可以是评价等级,也可以是评价分数等等。
在实施中,终端可以基于超声心动图检测模型输出的解剖结构定位结果、各解剖结构的分割结果以及各解剖结构的清晰度检测结果,从多个图像质量的评价维度上对该待评价的超声心动图进行评价处理,得到该超声心动图的质量评价结果。在一个示例中,终端可以预先确定该待评价的超声心动图所包含的切片类型,基于该切片类型确定该超声心动图对应的评价策略,基于评价策略对超声心动图对应的解剖结构定位结果、各解剖结构的分割结果以及各解剖结构的清晰度检测结果进行质量评价处理,得到该超声心动图的质量评价结果。
上述图像质量的确定方法中,通过获取待评价的超声心动图,并将超声心动图输入至超声心动图检测模型,超声心动图检测模型包括特征提取层和特征解码器;通过特征提取层提取超声心动图的目标图像特征;通过特征解码器对目标图像特征进行多种类型的处理,得到待评价的超声心动图的解码结果,解码结果至少包括解剖结构定位结果、各解剖结构的分割结果以及至少一个解剖结构的清晰度检测结果;基于解剖结构定位结果、各解剖结构的分割结果以及各解剖结构的清晰度检测结果,确定待评价的超声心动图的质量评价结果。通过采用本方法,可以通过超声心动图检测模型对超声心动图进行全面检测,基于超声心动图检测模型得到超声心动图的切片包含的各个解剖结构的定位结果、分割结果以及清晰度检测结果,从解剖结构的完整程度、清晰程度和切面标准程度等多个维度对超声心动图进行质量评价,实现对超声心动图的定量评价,并同步提升超声心动图质量的评价准确度。
在其中一个实施例中,特征解码器包括解剖结构检测网络、轮廓检测网络、分割结果分类网络以及清晰度分类网络;具体地,解剖结构检测网络和轮廓检测网络可以是解码器,对输入至解剖结构检测网络和轮廓检测网络的超声心动图的图像特征进行解码处理;分割结果分类网络以及清晰度分类网络可以是基于样本数据预先训练得到的分类网络。
相应地,如图2所示,步骤“通过特征解码器对目标图像特征进行多种类型的处理,得到待评价的超声心动图的解码结果”的具体处理过程,包括:
步骤202,通过解剖结构检测网络对目标图像特征进行检测处理,得到解剖结构定位结果。
其中,解剖结构定位结果至少包括待评价的超声心动图的各解剖结构的位置信息以及各解剖结构的结构数值。解剖结构检测网络可以是基于样本数据进行训练得到的网络,用于对超声心动图包含的解剖结构的位置数据,位置数据包含位置信息以及结构数值进行预测,位置信息可以是解剖结构检测网络在超声心动图中检测到的各个解剖结构的位置坐标信息,例如可以包括第一坐标轴信息以及第二坐标轴信息,第一坐标轴可以是x轴,第二坐标轴可以是y轴;解剖结构的结构数值可以是解剖结构检测网络检测到的各个解剖结构的边长信息,例如可以包括解剖结构的宽数值以及长数值。
在实施中,终端可以将待评价的超声心动图输入至解剖结构检测网络,得到该解剖结构检测网络的输出结果,该输出结果可以包括各解剖结构的位置信息以及各解剖结构的结构数值,终端可以基于各解剖结构的位置信息以及各解剖结构的结构数值确定该超声心动图中包含的解剖结构。例如,在目标解剖结构的位置信息以及各解剖结构的结构数值满足目标存在条件的情况下,终端可以确定在待评价的超声心动图未检测到该目标解剖结构,即该待评价的超声心动图中不存在该目标解剖结构。其中,目标存在条件可以是位置信息为目标值以及结构数值也为目标值,例如目标值可以是零。
在一个示例中,终端可以基于样本数据,对待训练的解剖结构检测网络训练得到的网络进行训练,得到训练完成的解剖结构检测网络。这样,解剖结构检测网络可以对超声心动图进行解剖结构检测,得到该超声心动图中包含的额各个解剖结构的位置信息以及结构数值。其中,样本数据中包括样本超声心动图以及样本超声心动图中的标签数据,该标签数据是用于标注各种切片类型的样本超声心动图所包含的各个解剖结构的类型以及边框等等。
在另一个示例中,解剖结构检测网络输出的待评价的超声心动图的解剖结构定位结果,例如可以是以下各个解剖结构的位置信息以及结构数值,各个解剖结构可以包括左心室、左心房、右心室、右心房、二尖瓣、三尖瓣、主动脉瓣、左室流出道、下腔静脉,位置信息可以是各个解剖结构的位置坐标信息,结构数值可以是各个解剖结构的宽高数值。这样,终端可以基于各解剖结构的位置坐标信息以及宽高数值进行计算,得到每对解剖结构间的大小比例数据以及倾斜角度数据。每对解剖结构可以是成对称关系的两个解剖结构,例如可以是左心室与右心室可以是一对解剖结构,左心房与右心房可以是一对解剖结构等等,在此不再赘述。
步骤204,通过轮廓检测网络对目标图像特征进行处理,得到待评价的超声心动图的各解剖结构的轮廓检测结果。
其中,轮廓检测网络可以是语义分割解码器,用于对超声心动图中包含的各个解剖结构的轮廓数据的提取,该轮廓检测网络可以是基于标注有各个解剖结构的轮廓信息的超声心动图的样本图像数据,预先进行训练后得到的神经网络模型。也就是说,该轮廓检测网络的输入可以是超声心动图的高维图像特征,该轮廓检测网络的输出结果可以是检测出的该超声心动图中包含的各解剖结构的轮廓信息。
在实施中,终端可以将待评价的超声心动图对应的目标图像特征输入至该轮廓检测网络,通过该轮廓检测网络以及目标图像特征,对超声心动图包含的各个解剖结构的轮廓信息进行检测,得到该超声心动图中包含的各解剖结构的轮廓信息。也就是说,语义分割解码器可以提取当前切面(即待评价的超声心动图)内每一解剖结构的轮廓。
步骤206,通过分割结果分类网络对各解剖结构的轮廓检测结果进行处理,得到各解剖结构分别对应的分割结果。
其中,分割结果包括分割成功结果或者分割未成功结果,分割成功结果表示该解剖结构的轮廓信息满足预设完整条件,分割未成功结果表示该解剖结构的轮廓信息不满足预设完整条件,该预设完整条件的内容例如可以是轮廓信息是完整且连续的。
具体地,分割结果分类网络可以是用于进行分类的解码器,也可以是用于进行分类的神经网络模型,该分割结果分类网络用于对超声心动图中包含的各个解剖结构是否成功分割的结果进行分类;该分割结果分类网络可以是基于标注有各个解剖结构的分割结果的类型信息的超声心动图的样本图像数据,预先进行训练后得到的神经网络模型。也就是说,该分割结果分类网络的输入可以是超声心动图中的各个解剖结构的轮廓信息,该分割结果分类网络的输出结果可以是检测出的该超声心动图中包含的各解剖结构的分割结果。在一个示例中,分割结果分类网络以分割所得掩膜(即解剖结构的轮廓信息)为输入,输出该掩膜所属的解剖结构是否被正确地进行了分割(即分割结果)。
在实施中,终端可以将待评价的超声心动图对应的各解剖结构的轮廓悉尼下输入至该分割结果分类网络,通过该分割结果分类网络以及目标图像特征,对超声心动图包含的各个解剖结构的分割结果进行分类,得到该超声心动图中包含的各解剖结构的分割结果对应的类型。在一个示例中,超声心动图可以包含第一解剖结构、第二解剖结构以及第三解剖结果,该分割结果分类网络的输出结果可以是第一解剖结构的分割结果是分割成功、第二解剖结构的分割结果是分割成功以及第三解剖结构的分割结果可以是分割未成功等等。
步骤208,通过清晰度分类网络对至少一个解剖结构的轮廓检测结果进行处理,得到解剖结构对应的清晰度检测结果。
其中,清晰度检测结果包括清晰类型结果或者模糊类型结果,清晰类型结果表示该解剖结构的轮廓信息满足预设清晰条件,模糊表示该解剖结构的轮廓信息不满足预设清晰条件,该预设清晰条件的内容例如可以是轮廓信息对应的清晰度大于或者等于预设清晰度阈值,或者清晰度大于或者等于预设清晰度阈值的轮廓信息的占比大于或者等于预设占比等等,预设清晰度阈值以及预设占比的具体数值可以是基于解剖结构的类型确定的,本公开对此不做具体限定。
具体地,清晰度分类网络可以是用于对超声心动图中包含的各个解剖结构进行清晰度检测以及基于检测出的清晰度进行分类的解码器或者是神经网络模型;该清晰度分类网络可以是基于标注有各个解剖结构的清晰度检测结果的类型信息的超声心动图的样本图像数据,预先进行训练后得到的神经网络模型。也就是说,该清晰度分类网络的输入可以是超声心动图中的各个解剖结构的轮廓信息,该清晰度分类网络的输出结果可以是检测出的该超声心动图中包含的各解剖结构的清晰度检测结果。在一个示例中,清晰度分类网络以分割所得掩膜(即解剖结构的轮廓信息)为输入,输出该掩膜所属的解剖结构是否被清晰地进行了分割(即清晰度检测结果)。
在实施中,终端可以将待评价的超声心动图对应的各解剖结构的轮廓信息输入至该清晰度分类网络,通过该清晰度分类网络以及目标图像特征,对超声心动图包含的各个解剖结构的清晰度检测结果进行分类,得到该超声心动图中包含的各解剖结构的清晰度检测结果对应的类型。
在一个示例中,超声心动图可以包含第一解剖结构、第二解剖结构以及第三解剖结果,该清晰度分类网络的输出结果可以是第一解剖结构的清晰度检测结果是清晰、第二解剖结构的清晰度检测结果是清晰以及第三解剖结构的清晰度检测结果可以是模糊等等。
在另一个示例中,超声心动图可以包含第一解剖结构、第二解剖结构以及第三解剖结果,终端可以在检测出的该超声心动图中的各个解剖结构中,基于该超声心动图的采集需求确定至少一个目标解剖结构,并对该至少一个目标解剖结构进行区域划分,得到多个子区域,并得到各个子区域的清晰度检测结果。
本实施例中,通过超声心动图检测模型包含的各个检测网络对超声心动图或者是基于超声心动图得到的目标图像特征进行检测处理,得到多个维度的该超声心动图的检测结果,为后续对该超声心动图进行全面、客观、准确且定量的图像质量评价提供了坚实的数据基础。
在其中一个实施例中,如图3所示,步骤,通过清晰度分类网络对至少一个解剖结构的轮廓检测结果进行处理,得到解剖结构对应的清晰度检测结果的具体实现方式可以包括:
步骤302,在目标图像特征对应的多个解剖结构中,确定预设解剖结构,并对预设解剖结构进行子区域划分,得到预设解剖结构对应的多个子区域。
其中,目标图像特征对应的多个解剖结构表征超声心动图检测模型检测出的,该目标图像特征对应的待评价的超声心动图所包含的各个解剖结构;子区域可以是解剖结构包含的节段。预设解剖结构可以是关键解剖结构,预设解剖结构可以是在该超声心动图中重要程度较高的解剖结构,也可以是在该超声心动图中区域占比较高的解剖结构,还可以是预先在超声心动图检测模型中预先配置的解剖机构,即预先指定的解剖结构;另外,预设解剖解剖还可以是基于超声心动图的采集需求确定的解剖结构等等。可选地,预设解剖结构也可以是基于超声心动图的切片类型确定的,具体可以是基于预先配置的切片类型与目标解剖结构的对应关系确定的。
在实施中,终端可以基于该目标图像特征确定的该超声心动图包含的各个解剖结构中,确定该超声心动图对应的预设解剖结构,这样,终端可以基于预设区域划分策略,对预设解剖结构进行子区域划分,得到该预设解剖结构包含的各个子区域。
具体地,终端可以将待评价的超声心动图对应的解剖结构进行划分,得到多个节段;在一个示例中,超声心动图对应的预设解剖结构可以是心尖长轴切面中的左心室,在该心尖长轴切面中的左心室中进行节段点选取,划分的具体过程可以包括:终端可以确定左心室内膜轮廓的左右端点,并进行连接成一条直线,获取轮廓上距离该直线最短的点作为顶点;自顶点,将轮廓划分成左右两段,并在左右两段上分别取三等分点,从而得到四个节段点;分别以顶点,四个阶段点为中心点,以固定距离划定矩形区域,得到五个心室节段图,即得到五个子区域,作为清晰度检测网络的输入数据。其中,固定距离划分的矩形区域可以是宽128像素、高128像素,可以基于实际应用场景确定固定距离的具体数值,本公开对此不做限定。
步骤304,通过清晰度分类网络对预设解剖结构对应的多个子区域,分别进行清晰度检测,得到各子区域分别对应的清晰度检测结果,并将各子区域分别对应的清晰度检测结果确定为清晰度检测结果。
在实施中,终端可以通过清晰度分类网络分别对该预设解剖结构包含的各个子区域进行清晰度检测,并分别得到各个目标子区域的清晰度检测结果,即各个目标子区域所包含的轮廓信息的清晰度检测结果;终端可以将各个子区域的清晰度检测结果确定为该目标图像特征对应的清晰度检测结果,即也确定为该待评价的超声心动图的清晰度检测结果。
在一个示例中,终端可以基于预设区域划分策略,对预设解剖结构进行子区域划分,得到该预设解剖结构包含的各个子区域,并在该预设解剖结构包含的各个子区域中进行筛选,得到多个目标子区域。这样,终端可以将各目标子区域的轮廓检测结果输入至清晰度分类网络,通过该清晰度分类网络对各目标子区域中的轮廓检测结果进行清晰度检测,得到各个目标子区域的清晰度检测结果,该清晰度检测结果可以包括清晰或者模糊。基于此,终端可以将各个目标子区域的清晰度检测结果确定为该目标图像特征对应的清晰度检测结果,也可以确定为该待评价的超声心动图的清晰度检测结果。
本实施例中,通过确定超声心动图中的关键解剖结构中包含的各个子区域的清晰度检测结果,确定该超声心动图的清晰度检测结果,可以对超声心动图进行抽样检测,兼顾清晰度检测结果的准确性与效率。
在其中一个实施例中,如图4所示,步骤,基于解剖结构定位结果、各解剖结构的分割结果以及各解剖结构的清晰度检测结果,确定待评价的超声心动图的质量评价结果的具体实现方式包括:
步骤402,基于待评价的超声心动图的目标切片类型,确定目标切片类型对应的评价策略。
其中,评价策略包括多个评价基准信息,各个评价基准信息可以是用于分别对各个类型的检测结果进行评价的基准,目标切片类型是基于超声心动图检测模型确定的该超声心动图所属于的切片类型。
在实施中,终端可以在确定出该待评价的超声心动图后,基于预先配置的切片类型与评价策略的对应关系,确定该待评价的超声心动图对应的目标评价策略;其中,评价策略可以是用于对超声心动图进行评价的质控策略;其中,切片类型与评价策略的对应关系可以是预先配置的,或者也可以是基于输入操作具体确定的,评价策略的具体内容也可以是预先配置的,或者是基于用户的输入操作确定的。
在一个示例中,终端可以通过超声心动图检测模型确定该超声心动图所属于的切片类型。
另外,终端可以基于本地配置的该超声心动图的类型信息确定该超声心动图的目标切片类型。
在一个具体实现方式中,在切片类型为心尖二腔心切面、心尖三腔心切面以及心尖四腔心切面中任意一种类型的情况下,评价策略包括的内容可以是如下表1:
表1
步骤404,将多个评价基准信息与解剖结构定位结果、各解剖结构的分割结果以及各解剖结构的清晰度检测结果进行匹配,并根据匹配结果确定待评价的超声心动图的质量评价值。
其中,质量评价值可以是评价分数值或者是评价等级等等。
在实施中,终端可以基于评价策略包含的各个评价基准信息,对待评价的超声心动图中确定的解剖机构定位结果包含的各个解剖结构的位置信息、结构数值、各解剖结构的分割结果,以及各个解剖结构的清晰度检测结果进行质量评价处理,即确定上述解剖机构定位结果包含的各个解剖结构的位置信息、结构数值、各解剖结构的分割结果,以及各个解剖结构的清晰度检测结果是否满足对应的评价基准信息进行判断,得到多个判断结果,并基于该多个判断结果,得到该待评价的超声心动图的质量评价值。
本实施例中,通过评价策略对待评价的超声心动图进行质量评价处理,得到质量评价值,保证质量评价的全面性,同时保证质量评价值的确定过程与超声心动图的质量评价需求的匹配度。
在其中一个实施例中,如图5所示,步骤,将所述多个评价基准信息与所述解剖结构定位结果、各所述解剖结构的分割结果以及各所述解剖结构的清晰度检测结果进行匹配,并根据匹配结果确定所述待评价的超声心动图的质量评价值,的具体实现方式包括:
步骤502,确定目标切片类型对应的目标解剖结构。
其中,目标解剖结构表示超声心动图中重要程度较高的解剖结构,或者是该超声心动图中区域占比较高的解剖结构,即该目标解剖结构可以是该超声心动图中的关键解剖结构。
在实施中,终端可以基于预先配置的切片类型与关键解剖结构的对应关系,确定该目标切片类型的超声心动图中的关键解剖结构。具体地,终端可以基于超声心动图的目标切片类型,确定该超声心动图对应的评价策略包含的各个评价基准信息,这样,终端可以基于各个评价基准信息,在该超声心动图中检测出的各个解剖结构中确定该目标切片类型对应的目标解剖结构。
步骤504,在解剖结构定位结果、各解剖结构的分割结果以及各解剖结构的清晰度检测结果中,确定目标解剖结构对应的目标定位结果、目标分割结果以及目标清晰度检测结果。
在实施中,终端可以基于确定出的目标解剖结构,在待评价的超声心动图所包含的解剖结构定位结果、各解剖结构的分割结果以及各解剖结构的清晰度检测结果中进行筛选,得到目标解剖结构的定位结果、分割结果以及对应的目标清晰度检测结果。
在一个示例中,解剖结构定位结果包含该超声心动图对应的各个解剖结构的位置信息,终端可以在该超声心动图对应的各个解剖结构的位置信息进行筛选,得到目标解剖结构的位置信息;以及,终端还可以在各解剖结构的分割结果以及各解剖结构的清晰度检测结果中进行筛选,得到目标解剖结构的定位结果、分割结果以及对应的目标清晰度检测结果。
步骤506,基于多个评价基准信息,分别对目标解剖结构对应的目标定位结果、目标分割结果以及目标清晰度检测结果进行质量评价,得到待评价的超声心动图的质量评价值。
在实施中,终端可以基于多个评价基准信息,分别判断目标解剖结构的目标定位结果、目标分割结果以及目标清晰度检测结果是否满足对应的评价基准信息,例如,终端可以判断目标定位结果是否满足目标定位结果对应的评价基准信息,且判断目标分割结果是否满足目标分割结果对应的评价基准信息,以及判断目标清晰度检测结果是否满足目标清晰度检测结果对应的评价基准信息等等,并基于上述多个判断结果进行计算,得到该待评价的超声心动图的质量评价值。
在一个示例中,多个评价基准信息可以是与各个质量评价值一一对应的,终端可以确定目标标解剖结构对应的目标定位结果、目标分割结果以及目标清晰度检测结果均满足的目标评价基准信息,并基于评价基准信息与质量评价值的对应关系,确定该目标评价基准信息对应的目标质量评价值。这样,终端可以确定待评价的超声心动图的质量评价值为目标质量评价值。
在一个具体实现方式中,第一评价基准信息可以是左心室未检出或者左心房未检出;第二评价基准信息可以是左心室检出且左心房检出;第三评价基准信息可以是左心室检出、分割成功,且左心房检出;第四评价基准信息可以是“左心室检出、分割成功、与左心房大小比例在2.5-1.5,且左心房检出、与左心室大小比例在2.5-1.5”;第五评价基准信息可以是“左心室检出、分割成功、结构大小比例合适、结构倾斜角度在15度以内、左心室清晰节段数在3段以上,且左心房检出、与左心室大小比例在2.5-1.5”。
评价基准信息与质量评价值的对应关系可以是包括:第一评价基准信息对应的质量评价值为第一数值,第二评价基准信息对应的质量评价值为第二数值,第三评价基准信息对应的质量评价值为第三数值,第四评价基准信息对应的质量评价值为第四数值,第五评价基准信息对应的质量评价值为第五数值,其中,第一数值为1,也可以是第一评价等级,第一数值为2,也可以是第二评价等级,第一数值为3,也可以是第三评价等级,第四数值为4,也可以是第四评价等级,第五数值为5,也可以是第五评价等级,其中,第一数值到第五数值是按照从小到大的顺序排列的。
本实施例中,可以对待评价的超声心动图进行客观且准确的定量评价,并可以提供质量评价值的计算原因,评价过程更清晰,更有理有据。
在其中一个实施例中,如图6所示,该图像质量的确定方法还包括:
步骤602,通过切片类型确定网络对目标图像特征进行处理,得到待评价的超声心动图为各切片类型的预测置信度。
其中,超声心动图检测模型中的特征解码器还包括切片类型确定网络,各切片类型的预测置信度是待评价的超声心动图的属于该切片类型的概率值,切片类型确定网络是用于进行特征数据解码处理的解码器。
在实施中,终端可以将计算出的目标图像特征输入至切片类型确定网络,得到该切片类型确定网络的输出结果,该输出结果可以包含该各个切片类型的预测置信度。一个示例中,终端可以基于包含超声心动图数据以及该超声心动图的切片类型数据的样本数据,对待训练的切片类型确定网络进行迭代训练以及网络参数更新处理,直至得到训练完成的切片类型确定网络。
步骤604,将预测置信度满足预设置信度条件的切片类型,确定为待评价的超声心动图的目标切片类型。
其中,预设置信度条件可以是,或者可以是预测置信度是最大的置信度的,其中,预设置信度阈值可以是基于实际应用场景确定出的数值。
在实施中,终端可以基于各个切片类型的预测置信度基进行筛选,得到满足预设置信度条件的切片类型;具体地,终端可以将预测置信度大于或者等于预设置信度阈值的切片类型,确定为满足预设置信度条件的切片类型,或者,终端也可以对各个切片类型的预测置信度进行大小比较,将其中预测置信度数值最大的切片类型,确定为满足预设置信度条件的切片类型。
在一个示例中,终端可以基于本地预先配置的数据,确定待评价的超声心动图的目标切片类型。
在另一个示例中,切片类型检测网络可以是切面分类解码器,切面分类解码器可以基于包含心尖二腔心切面、心尖三腔心切面、心尖四腔心切面、心尖五腔心切面、胸骨旁长轴切面、胸骨旁短轴二尖瓣水平切面、胸骨旁短轴乳头肌水平切面、胸骨旁短轴心尖水平切面、胸骨旁短轴主动脉瓣水平切面、剑突下下腔静脉切面、剑突下四腔心切面的超声心动图的样本数据,对待训练的切片类型检测网络进行训练,得到训练好的切片类型检测网络,该切片类型检测网络的输出结果是待评价的超声心动图属于各个切片类型的概率,即预测置信度。
在本实施例中,可以通过切片类型检测网络确定待评价的超声心动图的目标切片类型,保证切片类型确定的准确度。
在其中一个实施例中,如图7所示,该图像质量的确定方法还包括:
步骤702,获取待评价的超声心动图序列中每个超声心动图的质量评价结果。
其中,序列可以是本地存储的,也可以是通过超声心动图采集装置,实时对目标对象的心脏位置进行采集生成的实时图像序列。
在实施中,将序列中的每一个超声心动图输入至超声心动图检测模型,得到各超声心动图分别对应的质量评价结果,也就是说,终端可以将包含多个待评价的超声心动图输入至该训练好的超声心动图检测模型,得到各待评价的 超声心动图分别对应的质量评价值。
步骤704,基于预设的目标评价需求,确定目标评价需求对应的质量评价结果的处理策略。
其中,预设的目标评价需求可以是对超声心动图进行质量评价的目的,也可以是该超声心动图的采集需求,例如可以是对目标解剖结构进行检测的需求等等;质量评价结果的处理策略可以是对多个待评价的超声心动图的质量评价值进行处理的方式。
在实施中,终端可以基于预先存储的评价需求与处理策略的对应关系,确定该目标评价需求对应的处理策略,也就是可以确定该质量评价结果对应的处理策略。
步骤706,基于处理策略对每个超声心动图的质量评价结果进行处理,得到目标评价需求对应的目标质量评价结果。
在实施中,终端可以基于处理策略,对待评价的超声心动图的序列包括的多个待评价的超声心动图分别对应的各个质量评价值进行处理,计算得到该目标评价需求对应的目标质量评价结果,也就是得到该待评价的超声心动图的序列对应的目标质量评价结果。
在一个示例中,终端可以综合多个视频帧中的待评价的超声心动图分别对应的质控分数(即质量评价值),得到超声视频序列的目标质量评价结果。具体地,目标评价需求可以是整体评价需求,对应的处理策略可以是均值计算,相应地,终端可以对多个待评价的超声心动图分别对应的各个质量评价值进行均值处理,将得到的均值作为该待评价的超声心动图的序列的目标质量评价结果;目标评价需求可以是当前时刻评价需求,对应的处理策略可以是滑动平均值计算,相应地,终端可以对多个待评价的超声心动图分别对应的各个质量评价值进行滑动平均值计算处理,将当前时刻对应的超声心动图的质量评价值作为该待评价的超声心动图的序列的目标质量评价结果;目标评价需求可以是极端评价需求,对应的处理策略可以是最小值处理,相应地,终端可以确定该多个待评价的超声心动图分别对应的各个质量评价值中的最小值,并将其中最小值的质量评价值作为该待评价的超声心动图的序列的目标质量评价结果。
本实施例中,可以基于实际应用场景对应的不同处理策略得到目标质量评价结果,保证与质量评价需求的适配度,实现质量评价的个性化。
以下,结合一个具体实施方式,详细描述上述实施例中的图像质量的评价方式,具体地,超声心动图的采集对象是目标对象的心脏位置,超声心动图的成像所表征的是不同心脏组织、腔室的声阻抗,具有实时、安全、价廉、方便等特点。同时,面对超声心动图的不同采集需求,超声心动图中的目标解剖结构会不同,因此需要对超声心动图的质量进行客观评价,保证得到的超声心动图的高有效性。相关技术中,一般是通过神经网络模型,识别超声心动图的固有解剖结构,通过学习高质量的样本数据的特征,得到超声心动图中的固有解剖结构的存在与否,并对应确定超声心动图的评价结果,导致评价结果并不准确。
本实施例中提供的图像质量的确定方法是基于深度学习系统的超声心动图的质量评价方法,具体是对通过扫描方式得到的超声心动图进行质量评价的方法。超声心动图检测模型包括特征提取层和特征解码器,该特征解码器包括解剖结构检测网络、轮廓检测网络以及分类网络,该分类网络包括分割结果分类网络以及清晰度分类网络。因此,本实施例提供的方法可以从超声心动图切面所有解剖结构的完整程度、清晰程度和切面标准程度全方面评价超声心动图质量,如图8所示,包括:
S1,确定质量评价结果的处理策略以及评价策略
具体地,评价策略可以是质控策略,质控策略可以是预先配置的,例如可以是基于采集图像的目的确定的,可以根据实际场景进行配置和调整,例如,一种示例中,可以采用5分制的打分方式,预先对每一解剖结构是否被检出、是否被分割成功、结构的大小比例、倾斜角度和结构的清晰度在1-5分中进行定义,由此产生一份客观的质控策略。当评价左心室心功能时,质控策略中主要主要左心室的情况,对于能够侧面反映左心室质量的左心房也做定义,也就是说,采集图像的目的是评价左心室功能时,对应的目标解剖结构是可以反映左心室功能的解剖结构,例如可以包括左心室以及左心房,即,确定采集图像的目的中的目标解剖结构,以及确定与该目标解剖结构存在关联关系的至少一个关联解剖结构;而对于与左心功能评价不相干的其他解剖结构,则不在评价策略中进行限定以及要求。例如,与左心功能评价不相干,不存在关联关系的解剖结构可以包括右心室、右心房。也就是说,在进行图像采集时可以重点采集能清晰显示左心室的切面而不受右心室质量好坏的干扰。
S2,获取图像:对于实时图像,通过视频采集装置,例如视频采集卡进行图像采集,并逐帧将超声心动图输入超声心动图检测模型,该超声心动图检测模型可以是深度学习系统。对于非实时图像,终端可以本地读取对应超声心动图视频序列文件,并输入深度学习系统。
S3,通过深度学习系统获取质控信息
终端可以通过超声心动图检测模型对每一帧超声心动图进行处理,具体地,如图9所示,超声心动图检测模型可以包括:编码器和特征解码器,其中,特征解码器具体包括切面分类解码器、目标检测解码器、语义分割解码器、分割结果分类网络以及节段清晰度分类网络。其中,终端可以将待评价的超声心动图输入至该超声心动图检测模型的编码器中,通过编码器对超声心动图的高维特征进行提取,得到该超声心动图的目标图像特征,具体地,该编码器可以使用神经网络架构,包括CNN卷积神经网络或者transformer网络。经过编码器编码的高维特征可以输入不同的解码器以实现目标检测、分割和切面分类。
具体地,终端可以将编码器输出的目标图像特征输入至切面分类解码器。切面分类解码器是基于心尖二腔心切面、心尖三腔心切面、心尖四腔心切面、心尖五腔心切面、胸骨旁长轴切面、胸骨旁短轴二尖瓣水平切面、胸骨旁短轴乳头肌水平切面、胸骨旁短轴心尖水平切面、胸骨旁短轴主动脉瓣水平切面、剑突下下腔静脉切面、剑突下四腔心切面共10个切面的超声心动图数据进行训练得到的解码器。该解码器的输出结果是待评价的超声心动图为各个切片类型的预测置信度,也就是可以输出待评价的超声心动图属于各个切片类型的概率值,预测置信度在一个具体示例中可以是预测概率。
在一个示例中,切面分类解码器的输出结果包含的该待评价的超声心动图属于各个切片类型的概率值可以是如下表2所示:
表2
基于此,终端可以基于确定出的该待评价的超声心动图得目标切片类型,确定对应的评价策略。
具体地,终端还可以将编码器输出的目标图像特征输入至目标检测解码器,该目标检测解码器是基于训练数据进行训练得到的解剖结构检测网络,该训练数据可以包含心尖二腔心切面、心尖三腔心切面、心尖四腔心切面、心尖五腔心切面、胸骨旁长轴切面、胸骨旁短轴二尖瓣水平切面、胸骨旁短轴乳头肌水平切面、胸骨旁短轴心尖水平切面、胸骨旁短轴主动脉瓣水平切面、剑突下下腔静脉切面、剑突下四腔心切面的超声心动图数据,以及各个切片类型的切面下包含的各个解剖结构的数据进行训练,即每个切面下左心室、左心房、右心室、右心房、二尖瓣、三尖瓣、主动脉瓣、左室流出道、下腔静脉的解剖结构信息。
训练数据还可以包括各个切面中包含的各个解剖结构的轮廓标记数据,该轮廓标记数据可以是切面所包含的各个解剖结构的框和类型分类,以此为标签进行训练。该目标检测解码器的输出结果可以是解剖结构定位结果,该解剖结构定位结果可以包括超声心动图的各解剖结构的位置信息以及各解剖结构的结构数值,具体可以是当前切面内各个解剖结构是否存在、所在位置和宽高的信息。基于不同解剖结构间的位置和宽高信息,终端可以进行计算,例如可以计算出每对解剖结构间的大小比例和倾斜角度。
在一个示例中,目标检测解码器的输出结果的解剖结构定位结果可以是如下表3所示:
表3
具体地,终端可以将编码器输出的目标图像特征输入至语义分割解码器,得到超声心动图的各解剖结构的轮廓检测结果;语义分割解码器可以是轮廓检测网络;这样,终端可以将该超声心动图中包含的各个解剖结构的轮廓检测结果分别输入至分割结果分类网络,例如可以分别将A解剖结构的轮廓检测结果、B解剖结构的轮廓检测结果、C解剖结构的轮廓检测结果、D解剖结构的轮廓检测结果分别输入至分割结果分类网络,得到A解剖结构的分割结果、B解剖结构的分割结果、C解剖结构的分割结果、D解剖结构的分割结果。
在一个示例中,语义分割解码器输出得超声心动图的各解剖结构的轮廓检测结果,可以是标记有各解剖结构的轮廓标记数据的图像数据;分割结果分类网络的输入数据可以是左心室的轮廓标记数据、左心房的轮廓标记数据、右心室的轮廓标记数据以及左心房的轮廓标记数据;分割结果分类网络的输出结果例如可以是:“左心室:成功”、“左心房:失败”、“右心室:成功”以及“右心房:失败”。也就是说,分割结果分类网络是对语义分割解码器输出的各解剖结构的轮廓检测结果的完整性(连续性)进行检测。
这样,终端可以确定该超声心动图中包含的各个解剖结构中的预设解剖结构,并对该预设解剖结构进行节段划分,得到该预设解剖结构对应的多个节段的轮廓检测结果,并输入至节段清晰度分类网络,例如可以分别将节段1的轮廓检测结果、节段2的轮廓检测结果、节段3的轮廓检测结果、节段4的轮廓检测结果以及节段5的轮廓检测结果分别输入至节段清晰度分类网络,得到节段1的清晰度检测结果、节段2的清晰度检测结果、节段3的清晰度检测结果、节段4的清晰度检测结果以及节段5的清晰度检测结果。
在一个示例中,清晰度检测结果分类网络的输入结果例如可以是:“节段1:清晰”、“节段2:清晰”、“节段3:模糊”、“节段4:模糊”以及“节段5:模糊”。也就是说,清晰度检测结果分类网络是对语义分割解码器输出的各解剖结构中的预设解剖结构的轮廓检测结果的清晰度进行检测。
S4,根据质控规则进行打分
将步骤三所得的检测结果与评价策略进行比对,产生对应当前切面的质量评价结果,即质量评价值,并将其保存。
S5,综合多帧质控分数,对超声视频序列进行打分
根据超声心动图序列中每帧图像的分数,基于一定规则可以产生超声心动图视频序列的整体打分。例如:当关注整体的质控分数时可以采用均值,当更关注当前时刻的质控分数可以采用滑动平均值,当更关注序列中极端情形时可以采用最低值。也就是说,终端可以基于质量评价结果的处理策略对超声心动图序列中每帧图像的质量评价值进行处理。
在一个示例中,预先配置的评价策略还可以是如表4所示:
表4
其中,附属结构是指与关键解剖结构存在关联关系的解剖结构,无关解剖结构是与关键解剖结构不存在关联关系的解剖结构。
本实施例可以个性化配置评价策略,使超声心动图质控可以根据不同的采集需求的产生更切合临床实际的质控分数,并且打开了超声心动图质控的黑盒,使其质控结果具有可解释性。本实施例通过构建新的超声心动图深度学习质控系统,实现了基于结构完整度、清晰度、倾斜角、大小比例在内的多维度打分系统。本实施例提供了客观定量评价超声心动图质量的质控打分系统,有助于超声心动图的定量评价,进而达到更精准的超声心动图诊断效果。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的图像质量的确定方法的图像质量的确定装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个图像质量的确定装置实施例中的具体限定可以参见上文中对于图像质量的确定方法的限定,在此不再赘述。
在一个实施例中,如图10所示,提供了一种图像质量的确定装置1000,包括:第一获取模块1002、提取模块1004、检测模块1006和第一确定模块1008,其中:
第一获取模块1002,用于获取待评价的超声心动图,并将超声心动图输入至超声心动图检测模型,超声心动图检测模型包括特征提取层和特征解码器;
提取模块1004,用于通过特征提取层提取超声心动图的目标图像特征;
检测模块1006,用于通过特征解码器对目标图像特征进行多种类型的处理,得到待评价的超声心动图的解码结果,解码结果至少包括解剖结构定位结果、各解剖结构的分割结果以及至少一个解剖结构的清晰度检测结果;
第一确定模块1008,用于基于所述解剖结构定位结果、各所述解剖结构的分割结果以及各所述解剖结构的清晰度检测结果,确定所述待评价的超声心动图的质量评价结果。
在其中一个实施例中,所述特征解码器包括解剖结构检测网络、轮廓检测网络、分割结果分类网络以及清晰度分类网络;
所述检测模块具体用于:
通过所述解剖结构检测网络对所述目标图像特征进行检测处理,得到解剖结构定位结果,所述解剖结构定位结果至少包括所述超声心动图的各解剖结构的位置信息以及各所述解剖结构的结构数值;
通过所述轮廓检测网络对所述目标图像特征进行处理,得到所述待评价的超声心动图的各所述解剖结构的轮廓检测结果;
通过所述分割结果分类网络对各所述解剖结构的轮廓检测结果进行处理,得到各所述解剖结构分别对应的分割结果,所述分割结果包括分割成功结果或者分割未成功结果;
通过所述清晰度分类网络对至少一个所述解剖结构的轮廓检测结果进行处理,得到所述解剖结构对应的清晰度检测结果。
在其中一个实施例中,所述检测模块还具体用于:
在所述目标图像特征对应的多个解剖结构中,确定预设解剖结构,并对所述预设解剖结构进行子区域划分,得到所述预设解剖结构对应的多个子区域;
通过清晰度分类网络对预设解剖结构对应的多个子区域,分别进行清晰度检测,得到各子区域分别对应的清晰度检测结果,并将各子区域分别对应的清晰度检测结果确定为清晰度检测结果。
在其中一个实施例中,第一确定模块,具体用于基于所述待评价的超声心动图的目标切片类型,确定所述目标切片类型对应的评价策略,所述评价策略包括多个评价基准信息;
将多个评价基准信息与解剖结构定位结果、各解剖结构的分割结果以及各解剖结构的清晰度检测结果进行匹配,并根据匹配结果确定待评价的超声心动图的质量评价值。
在其中一个实施例中,所述第一确定模块,具体还用于:
确定所述目标切片类型对应的目标解剖结构;
在所述解剖结构定位结果、各所述解剖结构的分割结果以及各所述解剖结构的清晰度检测结果中,确定所述目标解剖结构对应的目标定位结果、目标分割结果以及目标清晰度检测结果;
基于所述多个评价基准信息,分别对所述目标解剖结构对应的目标定位结果、目标分割结果以及目标清晰度检测结果进行质量评价,得到所述待评价的超声心动图的质量评价值。
在其中一个实施例中,所述特征解码器还包括切片类型确定网络,所述装置还包括:
第二确定模块,用于通过所述切片类型确定网络对所述目标图像特征进行处理,得到所述待评价的超声心动图为各切片类型的预测置信度;
第三确定模块,用于将预测置信度满足预设置信度条件的切片类型,确定为所述待评价的超声心动图的目标切片类型。
在其中一个实施例中,所述装置还包括:
第二获取模块,用于获取待评价的超声心动图序列中每个超声心动图的质量评价结果;
第四确定模块,用于基于预设的目标评价需求,确定所述目标评价需求对应的质量评价结果的处理策略;
第五确定模块,用于基于所述处理策略对所述多个待评价的超声心动图的质量评价结果进行处理,得到所述目标评价需求对应的目标质量评价结果。
各解剖结构的清晰度检测结果,确定待评价的超声心动图的质量评价结果。
上述图像质量的确定装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储超声心动图数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像质量的确定方法。
本领域技术人员可以理解,图11中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(MagnetoresistiveRandom Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(PhaseChange Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static RandomAccess Memory,SRAM)或动态随机存取存储器(Dynamic Random AccessMemory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (11)
1.一种图像质量的确定方法,其特征在于,所述方法包括:
获取待评价的超声心动图,并将所述超声心动图输入至超声心动图检测模型,所述超声心动图检测模型包括特征提取层和特征解码器;
通过所述特征提取层提取所述超声心动图的目标图像特征;
通过所述特征解码器对所述目标图像特征进行多种类型的处理,得到所述待评价的超声心动图的解码结果,所述解码结果至少包括解剖结构定位结果、各所述解剖结构的分割结果以及至少一个所述解剖结构的清晰度检测结果;
基于所述解剖结构定位结果、各所述解剖结构的分割结果以及各所述解剖结构的清晰度检测结果,确定所述待评价的超声心动图的质量评价结果。
2.根据权利要求1所述的方法,其特征在于,所述特征解码器包括解剖结构检测网络、轮廓检测网络、分割结果分类网络以及清晰度分类网络;
所述通过所述特征解码器对所述目标图像特征进行多种类型的处理,得到所述待评价的超声心动图的解码结果,包括:
通过所述解剖结构检测网络对所述目标图像特征进行检测处理,得到解剖结构定位结果,所述解剖结构定位结果至少包括所述超声心动图的各解剖结构的位置信息以及各所述解剖结构的结构数值;
通过所述轮廓检测网络对所述目标图像特征进行处理,得到所述待评价的超声心动图的各所述解剖结构的轮廓检测结果;
通过所述分割结果分类网络对各所述解剖结构的轮廓检测结果进行处理,得到各所述解剖结构分别对应的分割结果,所述分割结果包括分割成功结果或者分割未成功结果;
通过所述清晰度分类网络对至少一个所述解剖结构的轮廓检测结果进行处理,得到所述解剖结构对应的清晰度检测结果。
3.根据权利要求2所述的方法,其特征在于,所述通过所述清晰度分类网络对至少一个所述解剖结构的轮廓检测结果进行处理,得到所述解剖结构对应的清晰度检测结果,包括:
在所述目标图像特征对应的多个解剖结构中,确定预设解剖结构,并对所述预设解剖结构进行子区域划分,得到所述预设解剖结构对应的多个子区域;
通过清晰度分类网络对预设解剖结构对应的多个子区域,分别进行清晰度检测,得到各子区域分别对应的清晰度检测结果,并将各子区域分别对应的清晰度检测结果确定为清晰度检测结果。
4.根据权利要求1所述的方法,其特征在于,所述基于所述解剖结构定位结果、各所述解剖结构的分割结果以及各所述解剖结构的清晰度检测结果,确定所述待评价的超声心动图的质量评价结果,包括:
基于所述待评价的超声心动图的目标切片类型,确定所述目标切片类型对应的评价策略,所述评价策略包括多个评价基准信息;
将所述多个评价基准信息与所述解剖结构定位结果、各所述解剖结构的分割结果以及各所述解剖结构的清晰度检测结果进行匹配,并根据匹配结果确定所述待评价的超声心动图的质量评价值。
5.根据权利要求4所述的方法,其特征在于,所述将所述多个评价基准信息与所述解剖结构定位结果、各所述解剖结构的分割结果以及各所述解剖结构的清晰度检测结果进行匹配,并根据匹配结果确定所述待评价的超声心动图的质量评价值,包括:
确定所述目标切片类型对应的目标解剖结构;
在所述解剖结构定位结果、各所述解剖结构的分割结果以及各所述解剖结构的清晰度检测结果中,确定所述目标解剖结构对应的目标定位结果、目标分割结果以及目标清晰度检测结果;
基于所述多个评价基准信息,分别对所述目标解剖结构对应的目标定位结果、目标分割结果以及目标清晰度检测结果进行质量评价,得到所述待评价的超声心动图的质量评价值。
6.根据权利要求4所述的方法,其特征在于,所述特征解码器还包括切片类型确定网络,所述方法还包括:
通过所述切片类型确定网络对所述目标图像特征进行处理,得到所述待评价的超声心动图为各切片类型的预测置信度;
将预测置信度满足预设置信度条件的切片类型,确定为所述待评价的超声心动图的目标切片类型。
7.根据权利要求1-5任一项所述的方法,其特征在于,所述方法还包括:
获取待评价的超声心动图序列中每个超声心动图的质量评价结果;
基于预设的目标评价需求,确定所述目标评价需求对应的质量评价结果的处理策略;
基于所述处理策略对所述每个超声心动图的质量评价结果进行处理,得到所述目标评价需求对应的目标质量评价结果。
8.一种图像质量的确定装置,其特征在于,所述装置包括:
第一获取模块,用于获取待评价的超声心动图,并将所述超声心动图输入至超声心动图检测模型,所述超声心动图检测模型包括特征提取层和特征解码器;
提取模块,用于通过所述特征提取层提取所述超声心动图的目标图像特征;
检测模块,用于通过所述特征解码器对所述目标图像特征进行多种类型的处理,得到所述待评价的超声心动图的解码结果,所述解码结果至少包括解剖结构定位结果、各所述解剖结构的分割结果以及至少一个所述解剖结构的清晰度检测结果;
第一确定模块,用于基于所述解剖结构定位结果、各所述解剖结构的分割结果以及各所述解剖结构的清晰度检测结果,确定所述待评价的超声心动图的质量评价结果。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
11.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310844317.2A CN116563294A (zh) | 2023-07-11 | 2023-07-11 | 图像质量的确定方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310844317.2A CN116563294A (zh) | 2023-07-11 | 2023-07-11 | 图像质量的确定方法、装置、计算机设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116563294A true CN116563294A (zh) | 2023-08-08 |
Family
ID=87488361
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310844317.2A Pending CN116563294A (zh) | 2023-07-11 | 2023-07-11 | 图像质量的确定方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116563294A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107705299A (zh) * | 2017-09-25 | 2018-02-16 | 安徽睿极智能科技有限公司 | 基于多属性特征的图像质量分类方法 |
CN111462112A (zh) * | 2020-04-23 | 2020-07-28 | 上海联影医疗科技有限公司 | 一种判断图像质量的方法和系统 |
CN115082487A (zh) * | 2022-08-23 | 2022-09-20 | 深圳华声医疗技术股份有限公司 | 超声图像切面质量评价方法、装置、超声设备及存储介质 |
CN115345858A (zh) * | 2022-08-17 | 2022-11-15 | 广州市康源图像智能研究院 | 一种超声心动图质量评价方法、系统及终端设备 |
-
2023
- 2023-07-11 CN CN202310844317.2A patent/CN116563294A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107705299A (zh) * | 2017-09-25 | 2018-02-16 | 安徽睿极智能科技有限公司 | 基于多属性特征的图像质量分类方法 |
CN111462112A (zh) * | 2020-04-23 | 2020-07-28 | 上海联影医疗科技有限公司 | 一种判断图像质量的方法和系统 |
CN115345858A (zh) * | 2022-08-17 | 2022-11-15 | 广州市康源图像智能研究院 | 一种超声心动图质量评价方法、系统及终端设备 |
CN115082487A (zh) * | 2022-08-23 | 2022-09-20 | 深圳华声医疗技术股份有限公司 | 超声图像切面质量评价方法、装置、超声设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
袁霞萍 等: "自然组织谐波成像改善二维图像质量的临床研究", 《中国超声医学杂志》, vol. 15, no. 12, pages 907 - 910 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109461495B (zh) | 一种医学图像的识别方法、模型训练的方法及服务器 | |
Zheng et al. | 3-D consistent and robust segmentation of cardiac images by deep learning with spatial propagation | |
CN110930417B (zh) | 图像分割模型的训练方法和装置、图像分割方法和装置 | |
CN109166130B (zh) | 一种图像处理方法及图像处理装置 | |
US9959615B2 (en) | System and method for automatic pulmonary embolism detection | |
Zhuang et al. | Multiatlas whole heart segmentation of CT data using conditional entropy for atlas ranking and selection | |
US10853409B2 (en) | Systems and methods for image search | |
CN111862044B (zh) | 超声图像处理方法、装置、计算机设备和存储介质 | |
Guo et al. | Dual attention enhancement feature fusion network for segmentation and quantitative analysis of paediatric echocardiography | |
Zhang et al. | Intelligent scanning: Automated standard plane selection and biometric measurement of early gestational sac in routine ultrasound examination | |
CN111709485B (zh) | 医学影像处理方法、装置和计算机设备 | |
WO2019169884A1 (zh) | 基于深度信息的图像显著性检测方法和装置 | |
Leclerc et al. | A fully automatic and multi-structural segmentation of the left ventricle and the myocardium on highly heterogeneous 2D echocardiographic data | |
US20230386048A1 (en) | Ultrasound image segmentation method and apparatus, terminal device, and storage medium | |
CN111242952B (zh) | 图像分割模型训练方法、图像分割方法、装置及计算设备 | |
CN112907569B (zh) | 头部图像区域的分割方法、装置、电子设备和存储介质 | |
CN111915626B (zh) | 心脏超声图像的心室区域自动分割方法、装置及存储介质 | |
CN110570394A (zh) | 医学图像分割方法、装置、设备及存储介质 | |
CN116681667A (zh) | 一种基于自监督学习的小样本医学图像分割方法、系统、设备及介质 | |
CN115761358A (zh) | 一种基于残差胶囊网络对心肌纤维化进行分类的方法 | |
WO2023087300A1 (zh) | 一种医学图像分割方法、系统、终端以及存储介质 | |
Shao et al. | Application of an improved u2-net model in ultrasound median neural image segmentation | |
Wang et al. | Multistage model for robust face alignment using deep neural networks | |
Zhang et al. | TestFit: A plug-and-play one-pass test time method for medical image segmentation | |
Shoaib et al. | Comparative studies of deep learning segmentation models for left ventricle segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230808 |