CN113222985B - 一种图像处理方法、装置、计算机设备和介质 - Google Patents

Abstract

本申请公开了一种图像处理方法、装置、计算机设备和介质，其中，一种图像处理方法包括：获取待评价的目标医学影像，将所述目标医学影像分解为连续单帧图像；针对每张所述单帧图像，按照变换规则进行处理，得到至少一张与所述单帧图像对应的变换图像；将所述单帧图像和其对应的至少一张所述变换图像输入至训练好的分割模型，得到所述单帧图像对应的第一概率估计值和每张所述变换图像对应的第二概率估计值；基于所述第一概率估计值和所述第二概率估计值，计算所述单帧图像的质量分数。本申请提供的图像处理方法实现了无监督方式的图像质量评估过程，并且使得该图像质量评估过程更加准确可靠。

Description

一种图像处理方法、装置、计算机设备和介质

技术领域

本申请一般涉及图像处理技术领域，具体涉及一种图像处理方法、装置、计算机设备和介质。

背景技术

心脏超声主要通过对心脏结构和功能的评估来诊断心血管疾病，是目前一线的临床影像学技术。近年来，AI在心脏超声的研究正在如火如荼的开展，主要集中在疾病诊断和心功能评估方面，但是有效的切面识别和质量评估是第一步。与CT，MRI相比，心脏超声分辨率不高，再加上需要医生手动采图，图像质量受医生经验影响比较大。另外，心脏超声需要采集动态视频图像，每个视频至少3个心动周期，医生在采集过程中有手晃导致切面转换，呼吸引起肺部遮挡等问题，造成某个心动周期图像欠佳，均给机器学习带来麻烦。目前AI在心脏超声质量方面的评估，多数借助人工筛查，此方法耗时，低效。迫切需要一个AI模型可以自动完成质量评估。

现有的用于评估超声心动图质量的方案使用复杂的神经网络，使用监督学习的方法，将质量评估视为分类任务和回归任务，例如图像质量分为好、次好、差、次差，通过回归任务计算质量分数。然而使用监督学习方法需要大量训练样本，而心脏超声影像标注将耗费大量人力物力。

另外，现有技术中还通过切面识别来判断图像质量，假定切面识别准确率越高而图像质量越好，但这种间接的方法并不能客观的评价图像质量。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种基于无监督学习的图像处理方法、装置、计算机设备和介质。

第一方面，本申请提供了一种图像处理方法，包括：

获取待评价的目标影像，将所述目标影像分解为连续单帧图像；

针对每张所述单帧图像，按照变换规则进行处理，得到至少一张与所述单帧图像对应的变换图像；

将所述单帧图像和其对应的至少一张所述变换图像输入至训练好的分割模型，得到所述单帧图像对应的第一概率估计值和每张所述变换图像对应的第二概率估计值；

基于所述第一概率估计值和所述第二概率估计值，计算所述单帧图像的质量分数。

进一步地，所述分割模型包括分割子模型和概率估计值子模型；将所述单帧图像和其对应的至少一张所述变换图像输入至训练好的分割模型，得到所述单帧图像对应的第一概率估计值和每张所述变换图像对应的第二概率估计值，包括：

针对每张所述单帧图像及其对应的至少一张所述变换图像，将所述单帧图像输入至所述分割子模型中得到第一分割结果，并将与所述单帧图像对应的至少一张所述变换图像输入至所述分割子模型中得到至少一个第二分割结果，所述第一分割结果和第二分割结果均包括与目标区域关联的至少一个目标子区域；

将所述第一分割结果和所述至少一个第二分割结果分别输入至所述概率估计值子模型中得到与每个所述目标子区域对应的概率值；

根据与每个所述目标子区域对应的概率值，得到所述第一概率估计值和第二概率估计值。

优选地，所述根据与每个所述目标子区域对应的概率值，得到所述第一概率估计值和第二概率估计值，包括：

根据所述第一分割结果中与每个所述目标子区域对应的概率值，计算所述第一分割结果对应的第一标签概率值，根据所述第二分割结果中与每个所述目标子区域对应的概率值，计算所述第二分割结果对应的第二标签概率值；

将所述第一标签概率值和所述第二标签概率值分别进行归一化处理，获得所述单帧图像对应的第一概率估计值和每张所述变换图像对应的第二概率估计值。

优选地，所述基于所述第一概率估计值和所述第二概率估计值计算所述单帧图像的质量分数，包括：

将所述第一概率估计值和至少一个所述第二概率估计值进行内积计算，得到质量估计结果；

将所述质量估计结果作为所述单帧图像的质量分数。

优选地，所述变换规则包括空域变换，所述针对每张所述单帧图像，按照变换规则进行处理，得到至少一张与所述单帧图像对应的变换图像，包括：

根据空域变换规则，对每个所述单帧图像进行处理得到至少一张所述变换图像；

在所述将所述第一概率估计值和至少一个所述第二概率估计值进行内积计算之前，所述方法还包括：

根据所述空域变换规则，对所述第二概率估计值进行反变换。

优选地，所述方法还包括：

从与目标区域关联的至少一个目标子区域中选取标准子区域；

针对所述目标影像中每张所述单帧图像，将所述单帧图像输入至训练好的分割模型获得分割结果，其中所述分割结果中包括所述标准子区域；

根据所述单帧图像的分割结果计算所述标准子区域的面积；

根据连续的所述单帧图像中所述目标子区域的面积变化情况，从所述目标影像中确定影像段。

进一步地，所述方法还包括：

获取所述目标影像中各所述影像段内每一所述单帧图像的质量分数；

根据所述质量分数，计算每一所述影像段的质量分数，其中，所述影像段的质量分数为该影像段内所有单帧图像的质量分数的平均值。

第二方面，本申请提供了一种图像处理装置，包括：

获取模块，被配置为获取待评价的目标影像，将所述目标影像分解为连续单帧图像；

图像处理模块，被配置为针对每张所述单帧图像，按照变换规则进行处理，得到至少一张与所述单帧图像对应的变换图像；

概率计算模块，被配置为将所述单帧图像和其对应的至少一张所述变换图像输入至训练好的分割模型，得到所述单帧图像对应的第一概率估计值和每张所述变换图像对应的第二概率估计值；

图像评价模块，被配置为基于所述第一概率估计值和所述第二概率估计值，计算所述单帧图像的质量分数。

第三方面，本申请提供了一种计算机设备，包括处理器和存储器，所述处理器和所述存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如以上任一项所述的方法。

第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现如以上任一项所述的方法。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1为本申请的实施例提供的一种图像处理方法的流程图；

图2为本申请的实施例提供的另一种图像处理方法的流程图；

图3为本申请的实施例提供的获取概率估计值方法的流程图；

图4为本申请的实施例提供的一种图像处理方法的示意图；

图5为本申请的实施例提供的一种图像处理方法的流程图；

图6为本申请的实施例提供的超声心动图中示例性心动周期的曲线图；

图7为本申请的实施例提供的超声心动图中示例性心动周期间隔取样图像；

图8为本申请的实施例提供的一种图像处理装置的结构示意图；

图9为本申请的实施例提供的计算机产品的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

本方案可应用于智慧医疗领域中，从而推动智慧城市的建设。图像是人类社会活动中最常用的信息载体，它能够提供大量关于被描述对象的信息。图像质量的好坏，往往影响着人们的视觉感知结果。其中，图像质量评估是评价图像质量的一个重要技术。本申请实施例以超声心动图进行示例性阐述图像质量评估方法。

请详见图1，申请提供了一种图像处理方法，包括：

S10：获取待评价的目标影像，将所述目标影像分解为连续单帧图像。

需要说明的是，在本申请的目标影像采用的是超声心动图，本申请实施例并不限制医学影像的类型，还可以应用其他类型的医学影像；本申请实施例中采用的是心脏的四个子区域进行叙述：左心房、右心房、左心室、右心室，但本申请并不局限于以四个子区域作为特征区域。

S20：针对每张所述单帧图像，按照变换规则进行处理，得到至少一张与所述单帧图像对应的变换图像。

对于单帧图像可以按照一种或多种变换规则进行处理，以获得至少一阵变换图像；变换规则包括空域变换或值域变换中的至少一种，也可以基于上述变换规则选择根据与该单帧图像相关的专业领域所建议的变换。

需要说明的是，本申请实施例中输入的超声图像首先经过微小变动，或称为变换（transformation），使得经过变换后的图像与原图非常相近，这里的相近指的是语义上的相近，即变换后的图像不影响人们对其内容的分辨。

其中，空域变换，如对图像旋转、翻转、平移、拉伸、变形、缩放等；值域变换，如图像滤波（包括傅里叶变换与小波变换）、图像分割（裁剪图像边框）、图像遮挡、图像压缩、色度映射、彩色化、灰度化等。

例如，对于单帧图像可以将1张图像进行不同程度的旋转变换得到5张变换图像；也可以将1张图像旋转变换为3张，基于色彩扰动变换规则进行处理为2张，得到5张变换图像；还可以将1张图像既旋转又基于色彩扰动进行处理，变换得到5张变换图像。

需要说明的是，本申请并不限制变换图像的数量，变换图像的数量越多，处理过程中的计算量越大，但有利于提高图像质量评价结果的精度。在具体应用是，可以根据应用场景进行具体调整。

S30：将所述单帧图像和其对应的至少一张所述变换图像输入至训练好的分割模型，得到所述单帧图像对应的第一概率估计值和每张所述变换图像对应的第二概率估计值。

在步骤S30中，对于分割模型的训练方法，请详见图2，所述方法包括：

S301:建立由影像组成的训练集，预先为所述训练集中的每一医学影像的多帧图像设置部位标签，所述部位标签为与目标区域关联的每个部位的标签。

医学图像分割领域里，基于像素灰度的不连续性和相似性，其可以分为基于边缘检测的分割方法和基于区域的分割方法。在本申请实施例中，并不限制图像分割模型所采用的分割方法。在本申请实施例中以基于区域的分割方法为例进行叙述。

训练分割模型主要是通过大量的标注好的训练样本数据，优化深度神经网络模型参数，使得深度神经网络模型能够精确定位出目标区域内各个标签位置。

对于深度学习，首先应当明确训练数据。本申请中使用的训练数据均为超声心动图视频影像数据，每段影像中有几帧图像带有心脏腔室分割的标签，数据中混有少量（约10%）的低质量数据，其中低质量数据表现为模糊或图像采集位置不正确。

S302:建立图像训练集，对标注有标签的图像通过图像增强手段进行增强，将原始图像和其对应的增强图像作为图像训练集。

在训练过程中通过数据增强手段不仅能够提升模型的泛化能力，同时也让模型对数据产生了记忆（即模型对数据的误差函数较低），利用这一点，在训练阶段，来自与训练数据（通常训练数据质量较好）相同分布的测试数据的损失函数也较低；而质量差的测试数据的损失函数较高。

S303:依次将图像训练集中的图像输入至经过预训练的深度卷积神经网络中，直到模型收敛，完成所述分割模型的训练。

在样本训练过程中，本申请实施例中采用的是生成标签位置概率标注图的方式，在每个特征点周围计算各个点可能是特征点的概率分布，距离标签位置越近的点，其概率越大。通过此原理把标注好的标签的图像集合送入定义好的深度神经网络模型，学习相关的模型参数，完成对分割模型的训练。需要说明的是，在本申请中对于图像分割的方法包括但不限于概率分布的方式。

另外还需要说明的是，在本申请实施例中，深度学习(例如神经网络)的实现可以采用现有的预置了参数的深度学习框架，也可以采用现有的深度学习框架通过本申请实施例的相关图像样本进行训练得到所需参数的深度学习框架。

本申请实施例对于常见的基于深度学习的分割模型都可以使用，例如，神经网络可以采用卷积神经网络CNN、深度神经网络DNN、循环神经网络RNN、自编码神经网络AENN、稀疏自编码机SAE等各种常见的神经网络架构，或采用基于常见神经网络架构实现的神经网络产品，例如AlexNet、VGGNet、Google Inception Net、ResNet等，也可以根据神经网络的原理设计神经网络结构。

在本申请实施例中，分割模型的训练过程通过神经网络的卷积层及Softmax层输出预测的每个像素所属标签类别概率图，最后一层使用Softmax层输出与多类别的标签概率图，并通过定义损失函数，设置训练策略，训练网络至收敛。

在本申请实施例中，训练分割模型的损失函数分为两部分：第一部分是，输入图像中所有像素点的cross entropy loss（交叉熵损失函数）求和，第二部分是dice loss（dice损失函数）。

在图像分割中，交叉熵损失函数是最常见的损失函数。该函数表征的是真实样本标签和期望输出之间的距离，交叉熵损失函数的值越小，真实样本标签和期望输出越接近。

在本实施中，交叉熵损失函数表示为：

其中，H为输入图像的高度，W为输入图像的宽度，C为样本标签类别数，x为输入图像的像素点，h，w为分别对像素点x的位置，

为真实样本标签，

为像素点x预测为的标签c的标签概率。

根据交叉熵损失函数公式，通过最小化像素级的交叉熵损失，模型将输出置信预测，即f的最大值接近1，这有助于模型确定高质量的训练数据。交叉熵损失函数同等对待图像数据中的每个像素点，没有考虑多类别之间不平衡问题。

在本实施例中，dice损失函数表示为

其中为

为像素点x预测为的标签c的标签概率，

为真实样本标签，

为两个集合中的共同元素。

dice损失函数的本质是衡量两个样本之间的重叠部分，是期望输出和真实样本标签之间的共同激活值，dice损失函数没有考虑真正的负体素，其不会受类平衡问题的影响。

本申请实施例中对训练模型所采用的总损失函数为：

其中，

为权重，

。

本申请实施例的总损失函数综合了交叉熵函数和Dice损失函数的特点，即利用dice函数综合测量整个预测概率图的基础上可以大大降低漏检率，并根据交叉熵函数精确预测分类每个像素点，又可降低多检率，最终达到精确分割的效果。

所述步骤S30中，所述分割模型包括分割子模型和概率估计值子模型；在一个实施例中，将所述单帧图像和其对应的至少一张所述变换图像输入至训练好的分割模型，得到所述单帧图像对应的第一概率估计值和每张所述变换图像对应的第二概率估计值，如图3所示，包括：

S311：针对每张所述单帧图像及其对应的至少一张所述变换图像，将所述单帧图像输入至所述分割子模型中得到第一分割结果，并将与所述单帧图像对应的至少一张所述变换图像输入至所述分割子模型中得到至少一个第二分割结果，所述第一分割结果和第二分割结果均包括与目标区域关联的至少一个目标子区域；

S312：将所述第一分割结果和所述至少一个第二分割结果分别输入至所述概率估计值子模型中得到与每个所述目标子区域对应的概率值；

根据与每个所述目标子区域对应的概率值，得到所述第一概率估计值和第二概率估计值。

优选地，所述根据与每个所述目标子区域对应的概率值，得到所述第一概率估计值和第二概率估计值，包括：

S313：根据所述第一分割结果中与每个所述目标子区域对应的概率值，计算所述第一分割结果对应的第一标签概率值，根据所述第二分割结果中与每个所述目标子区域对应的概率值，计算所述第二分割结果对应的第二标签概率值；

S314：将所述第一标签概率值和所述第二标签概率值分别进行归一化处理，获得所述单帧图像对应的第一概率估计值和每张所述变换图像对应的第二概率估计值。

本申请实施例中，对单帧图像及其变换图像的结果进行了归一化处理，本申请实施例中，采用的是Softmax函数，它能将一个含任意实数的K维向量z“压缩”到另一个K维实向量σ(z)中，使得每一个元素的范围都在(0,1)之间，并且所有元素的和为1。

需要说明的是，本申请中对图像质量的评价结果以分值的形式体现，但分值并非图像评价的唯一标准，在一些实施例中，还可以对概率结果进行等级划分，以等级的方式进行图像质量评价。

本申请提供的图像处理方法中，还包括：

S40：基于所述第一概率估计值和所述第二概率估计值，计算所述单帧图像的质量分数。

其中，步骤S40具体包括：

将所述第一概率估计值和至少一个所述第二概率估计值进行内积计算，得到质量估计结果；

将所述质量估计结果作为所述单帧图像的质量分数。

值得注意的是，如果在步骤S20中所述变换规则采用的是空域变换，即根据空域变换规则，对每个所述单帧图像进行处理得到至少一张所述变换图像；那么在所述将所述第一概率估计值和至少一个所述第二概率估计值进行内积计算之前，还需要根据所述空域变换规则，对所述第二概率估计值进行反变换。

例如，如果在输入图片中采用了翻转，则在计算内积前需要对变换图片的输出矩阵再做一次翻转；如果在输入图片中采用了裁剪变换，则在计算内积前需要对没有变换图片的输出做相同的裁剪变换。

本申请实施例中使用内积来准确衡量图像质量的高低。如果图像质量好，这两个图像对应的输出一致性就高；反之，如果图像质量差，一致性就低。所以，质量好的图像，经过上述处理后内积大；反之，质量差的图像内积小，从而根据内积计算结果能够区分图像质量好坏。

本申请中，针对医学影像，将其分解为连续的图像帧，通过对图像进行增强技术，将其输入至分割模型对该目标图像进行图像分割，得到图像分割结果，从而根据该图像分割结果进行图像质量评估，得到对该目标图像的图像质量评估结果。

本申请中，对图像质量完成评价是通过对输入数据评定质量分数的方法来分辨低质量数据与高质量数据，训练分割模型时，低质量数据的标签是由位于同一视频中的相邻高质量帧的标签近似得到。实现了无监督方式的图像质量评估过程，并且使得该图像质量评估过程更加准确可靠。

实施例一

本发明所采用的医学影像为超声心动图，输入图像是尺寸为240×240的超声心动图A4C（心尖四腔）切面，在本实施例中，本申请以骨干网络为ResNet-18的Unet模型作为示例性描述。本申请的分割标签为左心房、左心室、右心房、右心室四类，输入图像的输入矩阵的维度为240*240*4。

需要说明的是，本申请实施例中定义一些术语：特征图分辨率指的是特征图高度×特征图宽度，特征图尺寸指的是特征图高度×特征图宽度×特征图通道数，核尺寸指的是核宽度×核高度，跨度指的是宽度方向跨度×高度方向跨度。

在本申请实施例中，切面类型可以包括PLAX(胸骨旁长轴)、PSAX(胸骨旁乳头肌短轴)、A2C(心尖二腔)、A3C(心尖三腔)、A4C(心尖四腔)等。

在本申请实施例中，选取目标医学影像中的每一张单帧图像作为目标图像，针对每一单帧图像，进行翻转处理，获得一帧与单帧图像对应的变换图像，对输入图像进行预处理，把像素点转换为灰度值的向量，将单帧图像和变换图像输入至分割模型中。请详见图4。

输入分割模型后，通过模型的计算输入图片的特征向量，并映射为N维向量（在本申请中为4维）。ResNet-18为18层残差网络，包括卷积层(convolution)、池化层(pooling)和全连接层(FC)，并通过全连接的Softmax层，对残差网络的输出值产生最终的预测。

在本申请实施例中，ResNet-18网络采用统一的卷积内核大小和池化层内核大小，具体为由尺寸大小为3×3的滤波器构成卷积层，尺寸为2×2的滤波器构成池化层，卷积之后的最大池化操作之后是一个全联接层，模型的最后一部分由Softmax层用于执行分类。

卷积层对输入图像向量进行卷积运算得到特征矩阵，卷积运算是指利用卷积核进行乘积的运算。经过卷积核卷积可以降低特征维度，以抽取图像中的局部特征，不同的卷积窗口具有不同的表达能力。其中，卷积窗口的大小是根据特征向量的纬度和滤波宽度决定的。

其中，一个卷积核对应一个输出，比如，如果卷积层中有36个卷积核，经过36个卷积核的作用将会得到36个输出，即得到36维的特征矩阵。

将获得的特征矩阵输入到全连接层，并经过Softmax层获得N维特征向量，在本申请实施例中N为4，其中，特征向量f（x）为输入图像中每一像素点与各标签对应的标签概率值。

对于目标图像的质量分数为：

其中，

为输入模型中的单帧图像获得的特征向量，

中每个元素表示单帧图像中每个像素点属于各分类的标签概率值，

为与单帧图像对应的变换图像获得的特征向量，

中每个元素表示变换图像中每个像素点属于各分类的标签概率值。本申请实施例中，通过原始图像以及与原始图像对应的变换图像输入模型中获得的特征值进行内积计算作为目标图像质量的衡量，质量好的图像，经过上述处理后内积大；反之，质量差的图像内积小，从而根据内积计算结果能够区分图像质量好坏。通过此方法，可以快速完成对图像质量的判断，评估结果准确可靠。

实施例二：

请详见图5，本申请还提供了一种图像处理方法，用于在心脏超声影像中快速选择心动周期时相对应图像的方法包括：

S100：从与目标区域关联的至少一个目标子区域中选取标准子区域。

需要说明的是，在本申请中，可以从四个标签中选取一个作为标准子区域，以标准子区域的面积变化来衡量心动周期。当然，可以根据需要选取多个目标子区域进行划分心动周期。

在具体设置时，可以根据不同阶段需求选择标准子区域，例如，在心脏超声检查时，不同的测量项需要在不同的心动周期时相进行测量。如左房前后径需要在心室收缩期末进行测量，左房上下径、左右径需要在心室收缩期末进行测量；左室前后径需要在心室舒张期末进行测量，左室上下径、左右径需要在心室舒张期末进行测量。

在本实施例中，以心脏超声影像中连续图像帧中拟合得到的左心室面积大的设为心脏舒张末期图像，连续图像帧中拟合得到的左心室面积小的设为心脏收缩末期图像。选择左心室的面积作为心动周期的划分的标准子区域进行示例性描述，可以理解的是，本申请的方式不限于此。

S200：针对所述目标医学影像中每张所述单帧图像，将所述单帧图像输入至训练好的分割模型获得分割结果，其中所述分割结果中包括所述标准子区域。

在本申请中，分割模型是根据设置的分割标签进行训练完成的，在训练过程中，可以根据本实施例的描述选择不同部位作为分割标签以完成对选定标准子区域的分割模型。本申请实施例中并不作出具体限制。

对应的，分割结果可以是仅分割出标准子区域(例如，左心室)，也可以是分割出所有的目标子区域，具体根据实际情况进行具体设置。

S300：根据所述单帧图像的分割结果计算所述标准子区域的面积。

在一些实施例中，利用统计出的像素点个数与每个像素点面积的乘积，确定标准子区域的内积。其中，每个像素点所占的实际面积是根据采集的心脏超声影像机器确定的，且该值是固定的。

具体地，利用舒张末期的目标心腔的像素点个数乘以每个像素点的实际面积，即可得到目标心腔舒张末期面积；利用收缩末期的目标心腔的像素点个数乘以每个像素点的实际面积，即可得到目标心腔收缩末期面积。

在一些实施例中，将单帧图像输入分割模型中，获得对包含左心室和右心室的区域进行分割得到边界点，根据边界点拟合得到左心室中心及左心室面积。

S400：根据连续的所述单帧图像中所述目标子区域的面积变化情况，从所述目标医学影像中确定影像段。

在模型测试时，输入的连续的单帧图像会得到一连串连续的数值，该数值的基本表现为不断的单调递增然后单调递减再递增，不断反复，极大值所在的时间点即为舒张末期，极小值所在的时间点即为收缩末期。

由于心动周期是通过相邻的舒张末期，或相邻收缩末期确定的，因此，通过心动周期很容易就可以确定出心脏超声影像中与收缩末期对应的第m图像帧以及与舒张末期对应的第n图像帧。且在心脏超声影像中可能包括多个心动周期，即在一个心脏超声影像中包括多个第m图像帧以及第n图像帧的心动周期，其中m、n为示例性说明。

在一些实施例中，所述方法还包括：

S500：获取所述目标医学影像中各所述影像段内每一所述单帧图像的质量分数。

S600：根据所述质量分数，计算每一所述影像段的质量分数，其中，所述影像段的质量分数为该影像段内所有单帧图像的质量分数的平均值。

具体来说，在单帧图像质量分数的基础上，我们对整段视频的每一帧都计算质量分数，超声视频整体分数定义为所有帧的分数平均值。当质量分数在每个心动周期（一个完整的超声心动图视频可能包含多个心动周期）中计算时，我们可以得到每个心动周期期间的平均质量分数，通过比较就可以挑选出质量最优的心动周期，供医生诊断。对于单帧图像质量分数的计算，在此不再赘述。

如图6所示，图中上方曲线代表了一段超声心动图视频中每一帧的左心房面积，图中下方曲线代表了对应的每一帧对应的质量分数。从左心室面积曲线中可以清楚看到，视频共包含了两个完整的心动周期，在这两个心动周期内，第一个心动周期中间段的质量分数出现明显下降，而第二个心动周期的质量分数较平稳且均值比第一个周期高，故通过判断第二个心动周期图像质量好。

作为验证的是，如图7所示，从图6的超声心动图的影像段中分别对两个心动周期内均匀间隔采样5张图片，可以看到，在第一个心动周期第（I2）、（I3）处的采样图像中，左心室（图中中间偏左侧）位置出现了一些模糊。这与本申请提供的方法的判断是吻合的。

本发明采用平均得分来对医学影像段的质量进行评价，避免了采用图像帧的最高分值来评价影像段质量时鲁棒性低的问题，提高了系统鲁棒性。

进一步参考图8，其示出了根据本申请一个实施例的用于图像处理的装置400的示例性结构框图。

获取模块401，被配置为获取待评价的目标医学影像，将所述目标医学影像分解为连续单帧图像；

图像处理模块402，被配置为针对每张所述单帧图像，按照变换规则进行处理，得到至少一张与所述单帧图像对应的变换图像；

概率计算模块403，被配置为将所述单帧图像和其对应的至少一张所述变换图像输入至训练好的分割模型，得到所述单帧图像对应的第一概率估计值和每张所述变换图像对应的第二概率估计值；

图像评价模块404，被配置为基于所述第一概率估计值和所述第二概率估计值，计算所述单帧图像的质量分数。

应当理解，装置400中记载的诸单元或模块与参考图1描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于装置400及其中包含的单元，在此不再赘述。装置400可以预先实现在电子设备的浏览器或其他安全应用中，也可以通过下载等方式而加载到电子设备的浏览器或其安全应用中。装置400中的相应单元可以与电子设备中的单元相互配合以实现本申请实施例的方案。

在上文详细描述中提及的若干模块或者单元，这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

下面参考图9，本申请提供了一种计算机设备。图9示出了适于用来实现本申请实施例的计算机设备的结构示意图。包括处理器和存储器，所述处理器和所述存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如以上任一项所述的方法。

在本申请实施例中，处理器是具有执行逻辑运算的处理器件，例如中央处理器(CPU)、现场可编程逻辑阵列(FPGA)、数字信号处理器(DSP)、单片机(MCU)、专用逻辑电路(ASIC)、图像处理器(GPU)等具有数据处理能力和/或程序执行能力的器件。容易理解，处理器通常通讯连接存储器，在存储器上存储一个或多个计算机程序产品的任意组合，存储器可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、可擦除可编程只读存储器(EPROM)、USB存储器、闪存等。在存储器上可以存储一个或多个计算机指令，处理器可以运行所述计算机指令，以实现相关的分析功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据，例如应用程序使用和/或产生的各种数据等。

在本申请实施例中，各模块都可以通过处理器执行相关计算机指令实现，例如图像处理模块可以通过处理器执行图像变换算法的指令实现、机器学习模块可以通过处理器执行机器学习算法的指令实现、神经网络可以通过处理器执行神经网络算法的指令实现。

在本申请实施例中，各模块可以运行在同一个处理器上，也可以运行在多个处理器上；各模块可以运行在同一架构的处理器上，例如均在X86体系的处理器上运行，也可以运行在不同架构的处理器上，例如图像处理模块运行在X86体系的CPU，机器学习模块运行在GPU。各模块可以封装在一个计算机产品中，例如各模块封装在一个计算机软件并运行在一台计算机(服务器)，也可以各自或部分封装在不同的计算机产品，例如图像处理模块封装在一个计算机软件中并运行在一台计算机(服务器)，机器学习模块分别封装在单独的计算机软件中并运行在另一台或多台计算机(服务器)；各模块执行时的计算平台可以是本地计算，也可以是云计算，还可以是本地计算与云计算构成的混合计算。

如图9所示，计算机系统包括中央处理单元（CPU）901，其可以根据存储在只读存储器（ROM）902中的程序或者从存储部分908加载到随机访问存储器（RAM）903中的程序而执行各种适当的动作和处理。在RAM903中，还存储有系统的操作指令所需的各种程序和数据。CPU901、ROM902以及RAM903通过总线904彼此相连。输入/输出（I/O）接口905也连接至总线904。

以下部件连接至I/O接口905；包括键盘、鼠标等的输入部分906；包括诸如阴极射线管（CRT）、液晶显示器（LCD）等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。

特别地，根据本申请的实施例，上文参考流程图图1描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元（CPU）901执行时，执行本申请的系统中限定的上述功能。

本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现如以上任一项所述的方法。

需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以为的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作指令。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以不同于附图中所标注的顺序发生。例如，两个连接表示的方框实际上可以基本并行地执行，他们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作指令的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

需要理解的是，术语“ 长度”、“ 宽度”、“ 上”、“ 下”、“ 前”、“ 后”、“ 左”、“ 右”、“ 竖直”、“ 水平”、“ 顶”、“ 底”“ 内”、“ 外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“ 第一”、“ 第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“ 第一”、“ 第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“ 多个”的含义是两个或两个以上，除非另有明确具体的限定。

除非另有定义，本文中所使用的技术和科学术语与本发明的技术领域的技术人员通常理解的含义相同。本文中使用的术语只是为了描述具体的实施目的，不是旨在限制本发明。本文中出现的诸如“设置”等术语既可以表示一个部件直接附接至另一个部件，也可以表示一个部件通过中间件附接至另一个部件。本文中在一个实施方式中描述的特征可以单独地或与其它特征结合地应用于另一个实施方式，除非该特征在该另一个实施方式中不适用或是另有说明。

本发明已经通过上述实施方式进行了说明，但应当理解的是，上述实施方式只是用于举例和说明的目的，而非意在将本发明限制于所描述的实施方式范围内。本领域技术人员可以理解的是，根据本发明的教导还可以做出更多种的变型和修改，这些变型和修改均落在本发明所要求保护的范围以内。

Claims (9)

1.一种图像处理方法，其特征在于，包括：

获取待评价的目标影像，将所述目标影像分解为连续单帧图像；

针对每张所述单帧图像，按照变换规则进行处理，得到至少一张与所述单帧图像对应的变换图像；

将所述单帧图像和其对应的至少一张所述变换图像输入至训练好的分割模型，得到所述单帧图像对应的第一概率估计值和每张所述变换图像对应的第二概率估计值；

基于所述第一概率估计值和至少一个所述第二概率估计值进行内积计算，得到质量估计结果，将所述质量估计结果作为所述单帧图像的质量分数。

2.根据权利要求1所述的方法，其特征在于，所述分割模型包括分割子模型和概率估计值子模型；将所述单帧图像和其对应的至少一张所述变换图像输入至训练好的分割模型，得到所述单帧图像对应的第一概率估计值和每张所述变换图像对应的第二概率估计值，包括：

针对每张所述单帧图像及其对应的至少一张所述变换图像，将所述单帧图像输入至所述分割子模型中得到第一分割结果，并将与所述单帧图像对应的至少一张所述变换图像输入至所述分割子模型中得到至少一个第二分割结果，所述第一分割结果和第二分割结果均包括与目标区域关联的至少一个目标子区域；

将所述第一分割结果和所述至少一个第二分割结果分别输入至所述概率估计值子模型中得到与每个所述目标子区域对应的概率值；

根据与每个所述目标子区域对应的概率值，得到所述第一概率估计值和第二概率估计值。

3.根据权利要求2所述的方法，其特征在于，所述根据与每个所述目标子区域对应的概率值，得到所述第一概率估计值和第二概率估计值，包括：

根据所述第一分割结果中与每个所述目标子区域对应的概率值，计算所述第一分割结果对应的第一标签概率值，根据所述第二分割结果中与每个所述目标子区域对应的概率值，计算所述第二分割结果对应的第二标签概率值；

将所述第一标签概率值和所述第二标签概率值分别进行归一化处理，获得所述单帧图像对应的第一概率估计值和每张所述变换图像对应的第二概率估计值。

4.根据权利要求1所述的方法，其特征在于，所述变换规则包括空域变换，所述针对每张所述单帧图像，按照变换规则进行处理，得到至少一张与所述单帧图像对应的变换图像，包括：

根据空域变换规则，对每个所述单帧图像进行处理得到至少一张所述变换图像；

在所述将所述第一概率估计值和至少一个所述第二概率估计值进行内积计算之前，所述方法还包括：

根据所述空域变换规则，对所述第二概率估计值进行反变换。

5.根据权利要求1所述的方法，其特征在于，还包括：

从与目标区域关联的至少一个目标子区域中选取标准子区域；

针对所述目标影像中每张所述单帧图像，将所述单帧图像输入至训练好的分割模型获得分割结果，其中所述分割结果中包括所述标准子区域；

根据所述单帧图像的分割结果计算所述标准子区域的面积；

根据连续的所述单帧图像中所述目标子区域的面积变化情况，从所述目标影像中确定影像段。

6.根据权利要求5所述的方法，其特征在于，还包括：

获取所述目标影像中各所述影像段内每一所述单帧图像的质量分数；

根据所述质量分数，计算每一所述影像段的质量分数，其中，所述影像段的质量分数为该影像段内所有单帧图像的质量分数的平均值。

7.一种图像处理装置，其特征在于，包括：

获取模块，被配置为获取待评价的目标影像，将所述目标影像分解为连续单帧图像；

图像处理模块，被配置为针对每张所述单帧图像，按照变换规则进行处理，得到至少一张与所述单帧图像对应的变换图像；

概率计算模块，被配置为将所述单帧图像和其对应的至少一张所述变换图像输入至训练好的分割模型，得到所述单帧图像对应的第一概率估计值和每张所述变换图像对应的第二概率估计值；

图像评价模块，被配置为基于所述第一概率估计值和至少一个所述第二概率估计值进行内积计算，得到质量估计结果，将所述质量估计结果作为所述单帧图像的质量分数。

8.一种计算机设备，其特征在于，包括处理器和存储器，所述处理器和所述存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-6任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1-6任一项所述的方法。

Images