超声切面图像质量控制方法、装置和计算机设备
技术领域
本申请涉及图像处理技术领域,特别是涉及一种超声切面图像质量控制方法、装置、计算机设备和存储介质。
背景技术
随着医疗水平的发展,医学超声检查在医学诊断时发挥着重要作用。医学超声检查(超声检查、超声诊断学)是一种基于超声波的医学影像学诊断技术,其能够实现肌肉和内脏器官包括其大小、结构和病理学病灶的可视化。
由于在超声检查过程中病人的状态、医生操作手法以及超声物理特性等因素,使得基于超声波得到的超声切面图像的图像清晰度、标准度往往存在很大差异,进而影响检查结果的准确度。如胎儿超声检查是产前诊断与缺陷儿筛查的首选检查方法。然而,由于胎位的不确定性、母体的体重指数、医生操作手法、超声物理特性、胎儿运动等因素的影响,超声检查所获得的胎儿超声切面图像清晰度、标准度往往存在很大差异,从而极大影响了检查结果的准确性。因此,出现了对超声切面图像进行质量控制的方案。
目前对超声切面图像进行质量控制的方式主要是通过医院组织大量专家对超声切面图像进行主观评价和客观评分的传统方式,或者是通过某些深度学习的目标检测等方式去判断某单一类别超声切面图像中关键解剖结构是否存在、是否清晰可见来定量评估切面图像。然而,通过医生的主观评价方法,此方法需要消耗大量的人力和物力,在实际临床中难以广泛推广应用,且不同专家或医师对超声切面图像(如胎儿超声切面图像)的标准的认知不尽相同,使得质量控制结果存在不一致性;通过深度学习去识别某一单一切面的方法,需要将该切面的图从所有种类的图中提取出来再依次放入系统中去自动进行质量控制,使得质量控制结果存在着可操作性以及可读性差。综上所述,现有的超声切面图像的质量控制存在质量控制效率不高的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高超声切面图像质量控制效率的超声切面图像质量控制方法、装置、计算机设备和存储介质。
一种超声切面图像质量控制方法,所述方法包括:
获取超声多切面图像数据集;
对超声多切面图像数据集进行切面分类处理,得到各切面图像对应的类别标签;
根据各切面图像对应的类别标签,调用对应的已训练的目标检测网络对各切面图像进行预测,得到预测结果,已训练的目标检测网络基于携带目标结构标注信息的超声多切面图像数据集训练得到;
根据预测结果和预设切面打分评估规则,得到各切面图像的质量得分及评估结果。
在其中一个实施例中,已训练的目标检测网络包括分类子网和目标检测子网;
调用对应的已训练的目标检测网络对各切面图像进行预测,得到预测结果包括:
根据分类子网对各切面图像进行分类处理、并根据目标检测子网对各切面图像进行目标框回归处理,识别并定位各切面图像中的目标结构,得到各切面图像中目标结构对应的类别、位置、数量以及置信度。
在其中一个实施例中,类别标签包括切面名称;对超声多切面图像数据集进行切面分类处理,得到各切面图像对应的类别标签包括:
将超声多切面图像数据集输入至预训练的分类网络进行切面分类处理,得到各切面图像的切面名称。
在其中一个实施例中,根据预测结果和预设切面打分评估规则,得到各切面图像的得分及评估结果包括:
将预测结果中的目标结构与目标结构对应的标准规则进行对比,得到初始得分以及第一评估结果;
提取预测结果中各目标结构的置信度、并基于置信度以及预设权重,得到清晰度得分以及第二评估结果;
根据初始得分、清晰度得分以及预设扣分指标,得到各切面图像的质量得分;
基于各切面图像的质量得分、第一评估结果以及第二评估结果,得到各切面图像的评估结果。
在其中一个实施例中,对超声多切面图像数据集进行切面分类处理之前,还包括:
获取原始超声多切面图像;
对原始超声多切面图像进行图像预处理,得到超声多切面图像数据集。
在其中一个实施例中,图像预处理包括去冗、去噪、归一化以及图像增强处理。
在其中一个实施例中,根据预测结果和预设切面打分评估规则,得到各切面图像的质量得分及评估结果之后,还包括:
根据各切面图像的质量得分及评估结果,生成质量评估报告;
推送质量评估报告。
一种超声切面图像质量控制装置,所述装置包括:
数据集获取模块,用于获取超声多切面图像数据集;
数据集分类模块,用于对超声多切面图像数据集进行切面分类处理,得到各切面图像对应的类别标签;
图像预测模块,用于根据各切面图像对应的类别标签,调用对应的已训练的目标检测网络对各切面图像进行预测,得到预测结果,所述已训练的目标检测网络基于携带目标结构标注信息的超声多切面图像数据集训练得到;
质量控制模块,用于根据预测结果和预设切面打分评估规则,得到各切面图像的质量得分及评估结果。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取超声多切面图像数据集;
对超声多切面图像数据集进行切面分类处理,得到各切面图像对应的类别标签;
根据各切面图像对应的类别标签,调用对应的已训练的目标检测网络对各切面图像进行预测,得到预测结果;
根据预测结果和预设切面打分评估规则,得到各切面图像的质量得分及评估结果。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取超声多切面图像数据集;
对超声多切面图像数据集进行切面分类处理,得到各切面图像对应的类别标签;
根据各切面图像对应的类别标签,调用对应的已训练的目标检测网络对各切面图像进行预测,得到预测结果;
根据预测结果和预设切面打分评估规则,得到各切面图像的质量得分及评估结果。
上述超声切面图像质量控制方法、装置、计算机设备和存储介质,获取超声多切面图像数据集,对超声多切面图像数据集进行切面分类处理,得到各切面图像对应的类别标签,根据各切面图像对应的类别标签,调用对应的已训练的目标检测网络对各切面图像进行预测,得到预测结果,根据预测结果和预设切面打分评估规则,得到各切面图像的质量得分及评估结果。整个方案,区别于传统的超声切面图像进行单一切面的识别,以多切面识别为基点进行处理,对各切面图像进行预测的目标检测网络是基于携带目标结构标注信息的超声多切面图像数据集训练得到,能够保证图像预测结果的可靠性,进而能够保证图像质量得分的一致性,提高质量控制的效率。
附图说明
图1为一个实施例中超声切面图像质量控制方法的应用环境图;
图2为一个实施例中超声切面图像质量控制方法的流程示意图;
图3为另一个实施例中超声切面图像质量控制方法的流程示意图;
图4为一个实施例中得到各切面图像的质量得分及评估结果步骤的流程示意图;
图5为一个实施例中目标检测网络RetinaNet的网络结构示意图;
图6为一个实施例中由目标检测网络得到的预测结果的示意图;
图7为一个实施例中质量评估报告的示意图;
图8为一个实施例中超声切面图像质量控制装置的结构框图;
图9为另一个实施例中超声切面图像质量控制装置的结构框图;
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的超声图像质量控制方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。具体的,服务器104部署有用于对超声切面图像进行预测的目标检测网络,可以是医护人员通过终端102上传超声切面图像数据集(如胎儿超声多切面图像数据集)至服务器104,并发送超声切面图像质量控制消息至服务器104,服务器104响应该消息,获取超声多切面图像数据集,对超声多切面图像数据集进行切面分类处理,得到各切面图像对应的类别标签,根据各切面图像对应的类别标签,调用对应的已训练的目标检测网络对各切面图像进行预测,得到预测结果,根据预测结果和预设切面打分评估规则,得到各切面图像的质量得分及评估结果。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在其中一个实施例中,如图2所示,提供了一种超声切面图像质量控制方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:
步骤202,获取超声多切面图像数据集。
超声多切面图像是利用超声声束扫描生命体,通过对反射信号的接收、处理,获得的包含体内器官的多个解剖切面的图像。本实施例中的超声多切面图像数据集可以是已经过图像预处理的图像数据集。以产科超声诊断中常用的胎儿超声多切面图像数据集为例,以胎儿中晚期切面图像为例,超声多切面图像中切面可以是丘脑水平横切面,小脑水平横切面,鼻唇冠状切面以及股骨或肱骨切面等,也可以是早孕期切面如胎儿头臀长切面、NT测量切面等。
步骤204,对超声多切面图像数据集进行切面分类处理,得到各切面图像对应的类别标签。
当获取超声多切面图像数据集之后,为了实现图像中多切面的识别,需要对超声多切面图像进行切面分类处理,具体的,可以通过深度学习分类对图像数据集中各切面图像进行切面分类处理,得到每张图像对应的类别标签,进一步的,可以将每张图像的类别标签和原图像一并存入数据库中。
如图3所示,在其中一个实施例中,类别标签包括切面名称;对超声多切面图像数据集进行切面分类处理,得到各切面图像对应的类别标签包括:
步骤224,将超声多切面图像数据集输入至预训练的分类网络进行切面分类处理,得到各切面图像的切面名称。
本实施例中,预训练的分类网络可以是已训练的基于RetinaNet的分类网络,该基于RetinaNet的分类网络可以是基于大批量的携带标注信息的超声多切面图像数据集进行训练得到,标注信息可以包括医生标注的该图像中各个目标结果的所述切面名称等。将准备好的超声多切面图像输入至已训练的基于RetinaNet的分类网络中,能够输出该切面图像所属的切面名称,即得到该切面图像对应的类别标签。
步骤206,根据各切面图像对应的类别标签,调用对应的已训练的目标检测网络对各切面图像进行预测,得到预测结果。
在实际应用中,针对每一类别标签,都预设有训练好的目标检测网络,如针对鼻唇冠状切面,可以预设用于鼻唇冠状切面预测的鼻唇冠状切面目标检测网络,针对及股骨或肱骨切面,可以预设用于股骨或肱骨切面预测的股骨或肱骨切面目标检测网络。当得到各切面图像对应的类别标签后,即根据类别标签,调用对应的目标检测网络进行预测,得到相应的预测结果。具体的,预测结果可以包括预测出各切面图像中含有的结构的名称、类别、位置以及置信度等。
步骤208,根据预测结果和预设切面打分评估规则,得到各切面图像的质量得分及评估结果。
本实施例中,切面打分规则可以是基于预测结果,从切面图像中的结构是否存在、是否清晰以及图像的缩放比例等方面进行设定。具体的,可以是若从预测结果发现与该切面图像中缺少某个结构或某个关键结构,可以根据缺少的结构的重要程度给出相应的分数,并在评估结果中记录哪部分结果是否确实这一信息,还可以包括结合预测结果中的识别出的结构的置信度作为结构是否清晰的依据,给出相应的分数等,在评估结果中记录哪部分结构是否清晰可见等,综合从各方面得到分数和评估结果,最终得到各切面图像的质量得分和评估结果。
上述超声切面图像质量控制方法中,获取超声多切面图像数据集,对超声多切面图像数据集进行切面分类处理,得到各切面图像对应的类别标签,根据各切面图像对应的类别标签,调用对应的已训练的目标检测网络对各切面图像进行预测,得到预测结果,根据预测结果和预设切面打分评估规则,得到各切面图像的质量得分及评估结果。整个方案,区别于传统的超声切面图像进行单一切面的识别,以多切面识别为基点进行处理,对各切面图像进行预测的目标检测网络是基于携带目标结构标注信息的超声多切面图像数据集训练得到,能够保证图像预测结果的可靠性,进而能够保证图像质量得分的一致性,提高质量控制的效率。
在其中一个实施例中,已训练的目标检测网络包括分类子网和目标检测子网;
如图3所示,调用对应的已训练的目标检测网络对各切面图像进行预测,得到预测结果包括:
步骤226,根据分类子网对各切面图像进行分类处理、并根据目标检测子网对各切面图像进行目标框回归处理,识别并定位各切面图像中的目标结构,得到各切面图像中目标结构对应的类别、位置、数量以及置信度。
本实施例中,已训练的目标检测网络可以是深度学习目标检测网络RetinaNet模型。如图5所示,该模型的网络结构可以包括resnet50和FPN(Feature Pyramid Networks,特征金字塔网络)两部分结构,总共有两个子网络,一个用于分类,一个用于目标检测。具体实施时,将超声多切面图像输入至目标检测网络中,输入的切面图像首先经过主干网络ResNet50_v2,ResNet-50经过了4个块,4个块里的单元数目分别是3,4,6,3。对于每一个单元,它包含一个bottleneck_v2结构,bottleneck_v2的结构里又包含三个卷积层,它包含一个1×1降维卷积,其次3×3的普通卷积,再经过1×1升维卷积。故本实施例中,使用的resnet的层数为(3+4+6+3)*3+2=50,其中,公式中的2表示第一层里面7x7的卷积和特征C2最开始的最大池化层。具体的,输入的超声切面图像的大小为K=512,其中,特征C3到C5的大小分别是:K/8×K/8×512=64×64×512;K/16×K/16×1024=32×32×1024;K/32×K/32×2048=16×16×2048。然后,在ResNet体系结构之上构建FPN网络,即构造一个具有P3到P7级别的特征金字塔。再将特征C5通过1x1x2048x256的卷积变成矩阵P5:16×16×256,上采样得到P5_upsampled,再通过3x3x256卷积得到新的P5:16×16×256。然后,将特征C4通过卷积核1x1x1024x256得到32×32×256,再与P5_upsampled相加得到P4,P4上采样得到P4_upsampled,P4最后通过一次3x3的卷积得到新的P4。特征C3通过1x1×512x256卷积得到P3:64×64×256,再与P4_upsampled相加得到P3,P3最后通过一次3x3的卷积得到新的P3。P5通过一次步长为2,大小为3x3的卷积得到P6:8×8×256。通过P6做一次RELU再做一次步长为2的3x3的卷积得到P7:4×4×256。之后,对P3-P7的结果通过子网络分别进行分类和目标框回归。分类子网有4个256×256×3×3的卷积,每个卷积后面跟着一个RELU。然后最后再接一个3×3卷积(256,类别数×候选框个数,3,3)和sigmoid得到每个候选框的分类结果。目标框回归子网络有4个3×3卷积(256,256,3,3),每个卷积后面跟着一个RELU。最后再接一个3×3卷积(256,4*候选框个数,3,3)和一个sigmoid激活函数得到每个候选框的分类结果。进而得到各切面图像中具体包含的目标结构(即目标框)及目标结构的数量,并得到目标框的坐标点以及该目标框(目标结构)对应的置信度。进一步的,若由前序处理得到某张切面图像对应的类别标签为“肱骨或肱骨”,将该肱骨或肱骨切面输入至上述目标检测网络RetinaNet处理模型进行预测,进行再次分类处理和预测之后,预测出该切面中的目标结构为股骨切面中的关键结构,如:股骨,股骨近端骨骺,股骨远端骨骺,并非肱骨切面中的关键结构,即输出该切面图像对应的分类结果为股骨切面,进一步的,可以将该切面图像的类别标签由“股骨或肱骨”修正为“股骨”。
其中,训练模型的数据集以胎儿超声多切面图像为例,对深度学习目标检测网络RetinaNet处理模型进行深度学习的训练可以包括如下步骤:
步骤100,获取多个胎儿设定部位(如腹部)的超声多切面图像数据集以及专家标注的该设定部位各个解剖结构信息、位置信息(通过画框等方式标注)。
步骤120,根据各超声多切面图像以及标注的该部位各个解剖结构信息、位置参数信息,得到各切面图像的切面类别信息,进而区分出多个胎儿超声切面数据集。
步骤140,对获取到的多个胎儿超声切面图像数据集进行预处理,以得到预处理后的胎儿超声切面数据集。
步骤160,将预处理后的多个胎儿超声切面数据集分为训练集、验证集、以及测试集。
步骤180,对于每一个胎儿超声切面,利用深度学习目标检测网络RetinaNet模型对预处理后的训练集、验证集、以及测试集进行深度学习训练。
具体的,超声多切面图像数据集可以是从市场上主流厂商(包括三星、西门子、凯立等)制造的超声设备获取的100000张关于超声胎儿各部位的切面图像,并将这些胎儿超声切面图像先按照切面类型进行划分,然后将每个切面的数据随机划分为3部分,其中80%作为训练集(Train set),10%作为验证集(Validation set),10%作为测试集(Testset)。其中,图像预处理可以对各胎儿超声切面图像包括去冗、去噪、归一化以及图像增强处理。使用预处理之后的训练集部分,将其分批次送入到上述目标检测深度卷积神经网络(由骨干网ResNet-50和FPN层连接组成),以获得目标检测的预测输出,将该推理输出和专家标注后的数据集一并输入到目标检测的损失函数中,以获取损失值。该训练过程,每个切面图像设置了50个周期(实际训练过程中可能因为模型提前达到最佳状态而提前终止),每个周期迭代次数设置为400到800次不等,每个批次采用16张图像。可以理解的是,在其他实施例中,周期和周期迭代次数,及每批次采用的图像数量可以是根据实际情况而设定,在此不做限定。根据已训练的深度学习目标检测网络RetinaNet输出的预测结果,可以通过每个切面中的结构是否出现、是否清晰等规则,得到判断胎儿超声切面图像是否为标准切面图像等评估结果并生成每张图的质量分数。具体的,对胎儿超声切面图像进行预测后,得到的预测结果可如图6所示。
如图4所示,在其中一个实施例中,步骤208包括:
步骤228,将预测结果中的目标结构与目标结构对应的标准规则进行对比,得到初始得分以及第一评估结果;
步骤248,提取预测结果中各目标结构的置信度、并基于置信度以及预设权重,得到清晰度得分以及第二评估结果;
步骤268,根据初始得分、清晰度得分以及预设扣分指标,得到各切面图像的质量得分;
步骤288,基于各切面图像的质量得分、第一评估结果以及第二评估结果,得到各切面图像的评估结果。
具体实施时,以胎儿超声多切面图像为例,对各胎儿多切面图像进行打分和评估的过程可以包括:首先,从由深度学习目标检测网络RetinaNet对输入的胎儿超声多切面图像进行预测得到的预测结果中,提取出胎儿多切面图像中每个结构的预测结果,若得到该切面图像为股骨或肱骨切面(由于股骨和肱骨结构较相似,故类别划分时初步将这两者划分为股骨或肱骨切面),则再次对图像进行关键结构预测,进而由关键结构明确该切面图像实际所属类别,如预测的关键结构为股骨,则切面图像的类别为股骨切面。
针对该股骨切面图像的打分和评估可分为:(1)可将该切面图像中股骨结果与标准股骨切面图像所对制定的标准规则进行对比,检测是否缺少某些关键结构,若缺少某些关键结构,则依据缺少的关键结构的重要程度将初始分数控制在基本标准(60分-80分)或非标准分数(0分-60分),若所有关键结构都存在,则初始分数为标准分数(80分-100分),并且在评估结果中说明某些结构是否缺失,得到第一评估结果。其中,关键结构的重要程度可以依据预设的重要程度关联表得到,该重要程度关联表针对各类切面图像中每个结构的重要程度在切面打分中预设有统一的标准。
(2)提取出股骨切面图像中各个结构的置信度,并按照切面的重要程度加入相应的权重比例并乘以预设的各结构对应的分数,得到清晰度得分,并且,在评估结果中说明该切面图像中各结构是否清晰可见,得到第二评估结果。其中,各结构对应的分数可以依据预设的组织结构-得分映射表得到,该表针对各切面中每一个小的结构都预设有对应的分数,在实际打分过程中,通过预测出的具体的结构名称从组织结构-得分映射表查找出相应的分数即可。
(3)将清晰度得分作为额外分数与初始分数相加,得到中间分数,通过该切面图像的整体大小判断图像的缩放比(放大比)及图像所示切面是否居中,将图像缩放比和居中作为扣分指标,若图像缩放比和/或居中这两项指标存在不合格,则基于中间分数扣除相应的分数,得到质量得分,并且在评估结果中说明上述图像缩放比和/或居中不合格的信息。具体的,可以是,若中间分数为80分,图像缩放比和居中这两项指标中一项不合格,则对应扣除10分,若两项指标均不合格,则对应扣除20分,则得分由80分调整为60分,则图像的标准等级也对应由标准下降为非标准。
具体的,在得到质量得分、第一评估结果以及第二评估结果后,可综合质量得分、第一评估结果以及第二评估结果,得到最终各切面图像对应的评估结果。具体的,评估结果可以包括该超声多切面图像是否是标准,其中的所属关键结构是否清晰存在,图像的图像放大比例以及增益是否合适等。可以理解的是,本实施例中分数数值的设定和扣除分数仅是一种示例,在其他实施例中,可以根据实际情况设定为其他分值,在此不做限定。本实施例中,确定超声切面图像是标准超声切面图像还是非标准超声切面图像,是基于统一的质量控制标准(即预先建立的重要程度关联表、以及组织-得分映射表),因此质量控制的结果具有一致性,从而能够有效解决现有人工质量控制方法中由于不同医师对超声切面图像是否标准的认知不尽相同所导致的质量控制结果出现不一致性的问题。同时,能够依据质量得分的高低筛选出质量好的超声多切面图像,为医生进行超声诊断提供有效的辅助。
如图3所示,在其中一个实施例中,对超声多切面图像数据集进行切面分类处理之前,还包括:
步骤201,获取原始超声多切面图像,对原始超声多切面图像进行图像预处理,得到超声多切面图像数据集。
在实际应用中,采用神经网络模型对超声多切面图像进行处理之前,需要对获取的原始超声多切面图像进行图像预处理。在另一个实施例中,对原始超声多图像预处理包括去冗、去噪、归一化以及图像增强处理。具体的,图像预处理过程可以是:
(1)删除原始超声多切面图像信息中与超声设备参数相关的冗余信息,得到删除冗余信息后的超声多切面图像;
(2)使用中值滤波方法对删除冗余信息后的超声多切面图像进行去噪处理,得到去噪后的超声多切面图像;
(3)使用线性函数对去噪后的超声多切面图像进行归一化处理,得到归一化后的超声多切面图像;
(4)对归一化处理后的超声多切面图像进行随机增强处理,其中包括反转,平移,旋转,随即减裁等操作,以得到随机增强后的超声多切面图像,至此,得到预处理后的超声多切面图像数据集。本实施例中,通过对原始超声切面图像进行图像预处理,能够保证图像的规范性和可处理性。
如图3所示,在其中一个实施例中,步骤208之后,还包括:步骤210,根据各切面图像的质量得分及评估结果,生成质量评估报告,推送质量评估报告。
在实际应用中,可以根据得到切面图像的质量得分和评估结果,按照预设报告生成模板,生成质量评估报告,进而将质量评估报告推送至用户终端。具体的,以胎儿超声切面图像为例,得到的质量评估报告可具体如图7所示。在另一个实施例中,除生成质量评估报告之外,可以是根据各切面图像的质量得分及评估结果生成质量分析图表,推送该质量分析图表。本实施例中,通过生成质量评估报告,能够方便医生的实时查看、评价以及传阅,提高超声诊断速度。
应该理解的是,虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-4中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在其中一个实施例中,如图8所示,提供了一种超声切面图像质量控制装置,包括:数据集获取模块510、数据集分类模块520、图像预测模块530和质量控制模块540,其中:
数据集获取模块510,用于获取超声多切面图像数据集;
数据集分类模块520,用于对超声多切面图像数据集进行切面分类处理,得到各切面图像对应的类别标签;
图像预测模块530,用于根据各切面图像对应的类别标签,调用对应的已训练的目标检测网络对各切面图像进行预测,得到预测结果,所述已训练的目标检测网络基于携带目标结构标注信息的超声多切面图像数据集训练得到;
质量控制模块540,用于根据预测结果和预设切面打分评估规则,得到各切面图像的质量得分及评估结果。
在其中一个实施例中,图像预测模块530还用于根据分类子网对各切面图像进行分类处理、并根据目标检测子网对各切面图像进行目标框回归处理,识别并定位各切面图像中的目标结构,得到各切面图像中目标结构对应的类别、位置、数量以及置信度。
在其中一个实施例中,数据集分类模块520还用于将超声多切面图像数据集输入至预训练的分类网络进行切面分类处理,得到各切面图像的切面名称。
在其中一个实施例中,质量控制模块540还用于将预测结果中的目标结构与目标结构对应的标准规则进行对比,得到初始得分以及第一评估结果,提取预测结果中各目标结构的置信度、并基于置信度以及预设权重,得到清晰度得分以及第二评估结果,根据初始得分、清晰度得分以及预设扣分指标,得到各切面图像的质量得分,基于各切面图像的质量得分、第一评估结果以及第二评估结果,得到各切面图像的评估结果。
如图9所示,在其中一个实施例中,装置还包括图像预处理模块550,用于获取原始超声多切面图像,对原始超声多切面图像进行图像预处理,得到超声多切面图像数据集。
在其中一个实施例中,装置还包括报告推送模块560,用于根据各切面图像的质量得分及评估结果,生成质量评估报告,推送质量评估报告。
关于超声切面图像质量控制装置的具体限定可以参见上文中对于超声切面图像质量控制方法的限定,在此不再赘述。上述超声切面图像质量控制装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储原始超声多切面图像数据集、组织结构-得分映射表等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种超声切面图像质量控制方法。
本领域技术人员可以理解,图10中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在其中一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述超声切面图像质量控制方法中的步骤。
在其中一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述超声切面图像质量控制方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。