CN111563858B - 基于深度卷积神经网络的人类胚胎心脏超声图像的去噪方法 - Google Patents

Abstract

本发明公开了一种基于深度卷积神经网络的人类胚胎心脏超声图像的去噪方法,包括如下步骤：获取具有时间序列和空间序列特征的超声图像数据集并选取中心图像、确定该中心图像的相邻图像；计算中心图像中心像素与相邻图像对应搜索域中每个像素的相似度；根据相似度信息计算相邻图像对应的中心像素灰度值并对该中心像素灰度值进行取平均值操作得到中心像素的最终灰度值，构建深度卷积神经网络模型，将未去噪的超声图像输入至完成训练的深度卷积神经网络模型中进行去燥处理获得噪声图像与干净图像的差即残差图像。

Description

基于深度卷积神经网络的人类胚胎心脏超声图像的去噪方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于深度卷积神经网络的人类胚胎心脏超声图像的去噪方法。

背景技术

目前，超声技术是检测胎儿心脏是否健康的重要手段，但是由于胎儿的特殊性，超声需要额外穿过胎儿母亲的腹部脂肪才能针对胚胎心脏进行成像，这就导致超声图像往往会存在比其他情况下更多的伪影与噪声。对于这种问题，目前的解决方法有以下几种：首先是依据医疗人员的经验，利用未处理的超声图像进行诊断，这种方法对医疗人员的技术水平要求非常高，会消耗大量时间和精力，并且容易造成误诊；第二个是利用传统滤波方式去除噪声，这种方法虽然有一定的去噪效果，但是由于算法未针对超声图像进行优化，导致了图像中一些关键信息的丢失，不利于医生诊断；第三个是利用改进的非局部均值方法进行去噪，这种方法得到的图像质量较好但是需要较长的时间才能得到结果；最后是传统机器学习方法，这种方法也可以得到较好的效果，但是需要有大量的图像作为训练集，目前的图像数量不能满足它的要求，并且训练速度也会很慢。

发明内容

根据现有技术存在的问题，本发明公开了一种基于深度卷积神经网络的人类胚胎心脏超声图像的去噪方法，包括如下步骤：

获取具有时间序列和空间序列特征的超声图像数据集并选取中心图像、确定该中心图像的相邻图像；

计算中心图像中心像素与相邻图像对应搜索域中每个像素的相似度：设置中心像素对应的搜索域、计算搜索域对应累计方差、平均累计方差、搜索域中每个像素的邻域方差、搜索域中每个像素的邻域平均欧氏距离以及搜索域中每个像素与中心像素的相似度；

根据相似度信息计算相邻图像对应的中心像素灰度值并对该中心像素灰度值进行取平均值操作得到中心像素的最终灰度值，对中心图像的每一个像素采用上述方法计算对应的最终灰度值，遍历整张中心图像后即获得去噪后的清晰图像，并将去噪后的清晰图像裁剪成设定尺寸的图像作为训练集；

构建深度卷积神经网络模型、该模型包括带有ReLU激活函数的卷积层、多个带有ReLU激活函数的卷积层以及普通卷积层，采用均方差MSE作为该模型的损失函数，获取神经网络的具体层数和学习率，将训练集输入至深度卷积神经网络模型中进行训练、并保存训练后的模型；

将未去噪的超声图像输入至完成训练的深度卷积神经网络模型中进行去燥处理获得噪声图像与干净图像的差即残差图像。在去噪过程中，原始未去噪的图像与预测的残差图像做差，即可得到去噪后的图像。

进一步的，采用均方差MSE作为深度卷积神经网络模型的损失函数时，该损失函数是预测值与目标值之间的差值的平方和，采用如下方式表示：

其中n是目标值的个数，y_i是目标值，是对应的预测值。

进一步的，根据深度卷积神经网络模型每一层的步长计算感受野的大小从而确定该深度卷积神经网络模型的层数，其中对应每一层步长采用如下公式获取：

即每一层的步长都是之前所有层步长的乘积，采用如下方式获取：

r(i)＝(r(i+1)-1)×stride(i)+c(i)

其中stride(i)表示第i层的步长，c(i)表示第i层卷积层的卷积核大小，根据上述两个公式，近似得到网络深度为d时，感受野大小为：

r(d)＝(2d+1)×(2d+1)

即根据最后一层的感受野大小获取神经网络应有的层数。

进一步的，设置深度卷积神经网络模型的学习率，在训练该深度卷积神经网络模型的过程中每一次迭代都将学习率降低一部分，迭代的公式如下：

dlr＝lr×dr^(gs/ds)

其中dlr是衰减后的学习率，lr是当前学习率，ds是衰减步长，用来控制衰减速度，dr是衰减系数，满足0<dr<1，gs是总迭代次数，

其中dlr是衰减后的学习率，lr是当前学习率，ds是衰减步长，用来控制衰减速度，衰减步长越大，表示学习率衰减的越慢，dr是衰减系数，在学习率衰减过程中，这一值需要被设置成小于1的正值，这一值越接近0，学习率衰减的越快，gs是总迭代次数，表示从0开始计数到训练的迭代次数，是从训练一开始就已经确定的常数。

衰减步长的计算公式如下：

其中it是当前的迭代次数，m是由用户设置的常数，满足m>0，即衰减步长的值是当前迭代次数的m倍，但最大不超过总迭代次数的一半。

由于采用了上述技术方案，本发明提供的一种基于深度卷积神经网络的人类胚胎心脏超声图像的去噪方法，该方法具有如下优点：第一点是提供了一种基于非局部均值的传统方法来制备训练所需的训练集，解决了基于深度学习的方法缺少训练集的问题；第二点是本发明的深度神经网络部分加入了批量标准化，可以在较小训练集的情况下快速收敛，节约了大量的时间；第三点是本发明的神经网络输出是残差图像，可以更好地预测噪声分布，实现更好的去噪效果；最后，本发明训练完成后，只要有保存好的训练模型就可以快速得到去噪结果，大大提高了效率，为医护人员节约了时间。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明中方法的流程图

图2为本发明中训练集制备工作中输入图像的示意图

图3为本发明所用的中心图像原图

图4为本发明中心图像与搜索域示意图

图5为本发明搜索域与邻域示意图

图6为本发明制备的训练集图像

图7为本发明裁剪后的训练集图像

图8为本发明深度卷积神经网络的结构示意图

图9为本发明测试用例的原图

图10为本发明测试用例去噪后的结果图

具体实施方式

为使本发明的技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：

如图1所示的一种基于深度卷积神经网络的人类胚胎心脏超声图像的去噪方法，具体方案是：

S1：获取时间序列和空间序列的超声目标图像并选取中心图像，选取该中心图像的相邻图像，如图2所示；

S11：将病例数据包含的超声图像转化为灰度图像；

S12：选择一幅图像为中心图像，中心图像原图如图3所示，获得其在时间序列当中相邻的两张图像和空间序列当中相邻的两张图像共4张作为相邻图像。

S2：计算中心图像的每一个像素与相邻图像对应区域的相似度：设置目标图像的搜索域、遍历搜索域并计算搜索域中每一个像素对应的平均累计方差，计算搜索域中每个邻域与目标图像的相似度，其中像素和搜索域中每个点的欧氏距离为相似度。

S21：确定搜索域与邻域：如图4所示，在中心图像当中选择一点作为中心像素，将其在4张相邻图像当中相同位置的像素称为目标像素，如图5所示，对于一个目标像素，以它为中心m×m像素范围的区域称为搜索域，对于每一个搜索域当中的每一个像素，以它为中心的n×n像素范围定义为邻域；对于一个搜索域中的一个像素，以它为中心的n×n像素范围定义为邻域，搜索域中的每一个像素都对应一个邻域。

S22：计算累计方差：对于第k张相邻图像对应的搜索域中的一个像素P，P的灰度值表示为s，P对应的邻域中所有像素的灰度值分别表示为t_i,i∈[1,n²]，由此可计算P在这一搜索域上的累计方差为：

S23：计算平均累计方差：对其他的搜索域，均按照S22采用的方法计算累计方差，则该像素对应的平均累计方差为：

S24：遍历整个搜索域，对搜索域中的每一个像素都按照S23采用的方法计算平均累计方差；

S25：计算每个像素的邻域方差：对于一个搜索域的一个像素P，由S23可以计算出其平均累计方差e，则像素P对应的邻域方差为：

S26：计算邻域方差对应的高斯加权权重：设σ为高斯标准差，h为滤波系数，此时像素P对应的高斯加权权重可表示为：

S27：遍历整个搜索域，对于该搜索域当中的每一个像素，都按照S26所提出的方法计算出高斯加权权重，对于该搜索域当中的第j个像素，它所对应的高斯加权权重记为W_Gj,j∈[1,m²]；

S28：计算归一化系数：在本方法中，归一化系数表示为一个搜索域中所有像素对应的高斯加权权重的和，由S27可知搜索域中第j个像素对应的高斯加权权重为W_Gj，则归一化系数可表示为：

S29：计算相似度：在本方法中我们采用欧式距离来表示相似度，由S28可以计算出归一化系数N。则中心像素和一个搜索域中的第j个像素的相似度可表示为：

S3：采用加权平均获取中心像素去噪后的像素值，遍历整幅图像得到去噪结果：由S2可以计算出一张相邻图像对应的搜索域中每一个邻域与目标像素的相似度、由此相似度计算此相邻图像对应的中心像素灰度值，对4张相邻图像都采用上述方法计算对应中心像素的灰度值、对4张相邻图像计算出的中心像素灰度值进行取平均操作，得到中心像素的最终灰度值，对中心图像的每一个像素都使用上述方法计算对应的最终灰度值，遍历完整张中心图像之后即可得到去噪最终结果。

S31：计算第k张相邻图像对应的中心像素灰度值：设s_j为此图像搜索域中的第j个像素的灰度值，由S29可知第j个像素对应的相似度为W_j，则此相邻图像对应的中心像素灰度值为：

S32：计算中心像素的最终像素值：对四张相邻图像，都用S31提出的方法计算对应中心像素的灰度值，最后进行取平均操作即可得到中心像素的最终像素值：

S33：对于整张中心图像，遍历其所有的像素，利用上述方案得到对应的像素值，最终得到整幅图像的去噪结果，如图6所示。将所得去噪后图像与对应的原始图像裁剪成合适大小，用作训练集，如图7所示。

S4：确定深度卷积神经网络的具体结构并确定神经网络的损失函数：深度卷积神经网络的结构分为3部分，并且使用均方差来作为损失函数。

S41：构建具体的深度卷积神经网络。如图8所示。神经网络的输入是带有噪声的图像，神经网络分为三个部分：神经网络的第一层为第一部分，为一个带有ReLU激活函数的卷积层，其大小为3*3*64；神经网络的中间层数是第二部分，为多个带有ReLU激活函数的卷积层，并且层与层之间加入批量标准化操作，其大小为3*3*64*64；神经网络的最后一层是第三部分，为一个普通卷积层，大小为3*3*64；神经网络的输出是残差图像，即噪声图像与干净图像的差；本方法通过预测残差图像来达到去噪的目的；

S42：确定具体的损失函数：本方法采用均方差(MSE)来作为损失函数，它是预测值与目标值之间的差值的平方和，用公式可表示为：

其中n是目标值的个数，y_i是目标值，是对应的预测值；

S5：确定深度卷积神经网络的层数：首先计算神经网络每一层的步长，然后根据每一层的步长计算出对应的感受野大小，最后根据感受野大小反推出神经网络的具体层数。

S51：为了确定具体的层数，首先要计算神经网络的感受野的大小。而计算感受野大小则需要得知每一层的步长(stride)，步长是指在进行卷积核滑动操作的时候，向左或者向下滑动的行数或列数，在我们的网络结构当中，它的计算公式如下：

即每一层的步长都是之前所有层步长的乘积；

S52：得知对应层步长的大小之后，我们可以计算出这一层的感受野大小，对于第i层卷积层，它的计算公式为:

r(i)＝(r(i+1)-1)×stride(i)+c(i)

其中stride(i)表示第i层的步长，c(i)表示第i层卷积层的卷积核大小，即深层卷积层的感受野大小和前面所有层数的感受野大小都有关。而结合以上两个公式，我们可以近似得到当我们的网络深度为d的时候，感受野大小为：

r(d)＝(2d+1)×(2d+1)

即我们如果知道最后一层的感受野大小，我们就能得到网络应有的层数；

S53：考虑到一些经典算法最后一层的感受野大小常为36*36，因此根据S52我们可以得到我们网络层数应该为17。

S6：确定神经网络的学习率：首先将学习率设置成一个较高的值，然后每一次迭代都将学习率按照迭代公式降低一部分。

S61：首先将学习率设置在一个较高的值，在本例中，我们将其设置为0.1；

S62：在训练的过程中，每一次迭代都将学习率降低一部分，迭代的公式如下：

dlr＝lr×dr^(gs/ds)

其中dlr是衰减后的学习率，lr是当前学习率，ds是衰减步长，用来控制衰减速度，衰减步长越大，表示学习率衰减的越慢，dr是衰减系数，在学习率衰减过程中，这一值需要被设置成小于1的正值，这一值越接近0，学习率衰减的越快，gs是总迭代次数，表示从0开始计数到训练的迭代次数，是从训练一开始就已经确定的常数。

衰减步长的计算公式如下：

其中it是当前的迭代次数，m是由用户设置的常数，满足m>0，即衰减步长的值是当前迭代次数的m倍，但最大不超过总迭代次数的一半。。

S7：训练模型并保存，最后导入未去噪图像得到新的去噪图像。

S71：将训练集当中的带噪声图像输入神经网络的第一部分，以180*180大小的图像为例，经过64个3*3的卷积核卷积处理之后，输出64张180*180的特征图像，即180*180*64大小的图像；

S72：神经网络第一部分的输出进入第二部分，第二部分的每一层都有64个3*3*64的卷积核，因此这些层的输入输出都是180*180*64的特征图像，除此之外，第二部分的每一层在卷积核激活函数之间都加入了批量标准化操作；

S73：第三部分有一个3*3*64大小的卷积核，经过这一卷积核处理之后，图像恢复成原来的大小，并且根据训练集中对应的干净图像，将输出图像减去原图像，得到残差图像；

S74：经过10个epoch的训练，将训练好的模型保存，根据已有的训练模型，导入未去噪的超声图像，本示例中所用图像如图9所示，后得到相应的去噪图像，在去噪过程中，导入的未去噪图像与模型预测的残差图像做差，即可得到去噪后的图像，其结果如图10所示。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (3)

1.一种基于深度卷积神经网络的人类胚胎心脏超声图像的去噪方法，其特征在于包括：

S1:获取具有时间序列和空间序列特征的超声图像数据集并选取中心图像、确定该中心图像的相邻图像；

S2:计算中心图像中心像素与相邻图像对应搜索域中每个像素的相似度：设置中心像素对应的搜索域、计算搜索域对应累计方差、平均累计方差、搜索域中每个像素的邻域方差、搜索域中每个像素的邻域平均欧氏距离以及搜索域中每个像素与中心像素的相似度，具体采用如下方式：

S21:确定搜索域与邻域：在中心图像当中选择一点作为中心像素，将其在4张相邻图像当中相同位置的像素称为目标像素，对于一个目标像素，以它为中心m×m像素范围的区域称为搜索域，对于每一个搜索域当中的每一个像素，以它为中心的n×n像素范围定义为邻域；对于一个搜索域中的一个像素，以它为中心的n×n像素范围定义为邻域，搜索域中的每一个像素都对应一个邻域；

S22:计算累计方差：对于第k张相邻图像对应的搜索域中的一个像素P，P的灰度值表示为s，P对应的邻域中所有像素的灰度值分别表示为t_i,i∈[1,n²]，由此计算P在这一搜索域上的累计方差为：

S23:计算平均累计方差：对其他的搜索域，均按照步骤S22采用的方法计算累计方差，则该像素对应的平均累计方差为：

S24:遍历整个搜索域，对搜索域中的每一个像素都按照步骤S23采用的方法计算平均累计方差；

S25:计算每个像素的邻域方差：对于一个搜索域的一个像素P，由步骤S23计算出其平均累计方差e，则像素P对应的邻域方差为：

计算邻域方差对应的高斯加权权重：设σ为高斯标准差，h为滤波系数，此时像素P对应的高斯加权权重表示为：

遍历整个搜索域，对于该搜索域当中的每一个像素，都按照计算每个像素的邻域方差的方法计算出高斯加权权重，对于该搜索域当中的第j个像素，它所对应的高斯加权权重记为W_Gj,j∈[1,m²]；

计算归一化系数：其中归一化系数表示为一个搜索域中所有像素对应的高斯加权权重的和，搜索域中第j个像素对应的高斯加权权重为W_Gj，则归一化系数表示为：

计算相似度：采用欧式距离来表示相似度，则中心像素和一个搜索域中的第j个像素的相似度表示为：

根据相似度信息计算相邻图像对应的中心像素灰度值并对该中心像素灰度值进行取平均值操作得到中心像素的最终灰度值，对中心图像的每一个像素均计算对应的最终灰度值，遍历整张中心图像后即获得去噪后的清晰图像，并将去噪后的清晰图像裁剪成设定尺寸的图像作为训练集；

构建深度卷积神经网络模型、该模型包括带有ReLU激活函数的卷积层、多个带有ReLU激活函数的卷积层以及普通卷积层，采用均方差MSE作为该模型的损失函数，获取神经网络的具体层数和学习率，将训练集输入至深度卷积神经网络模型中进行训练、并保存训练后的模型；

将未去噪的超声图像输入至完成训练的深度卷积神经网络模型中进行去噪处理获得噪声图像与干净图像的差即残差图像，在去噪过程中，将原始未去噪图像与预测的残差图像做差获得去噪后的干净图像。

2.根据权利要求1所述的方法，其特征还在于：根据深度卷积神经网络模型每一层的步长计算感受野的大小从而确定该深度卷积神经网络模型的层数，步长是指在进行卷积核滑动操作的时候，向左或者向下滑动的行数或列数，其中对应每一层步长采用如下公式获取：

即每一层的步长都是之前所有层步长的乘积，采用如下方式获取：

r(i)＝(r(i+1)-1)×stride(i)+c(i)

其中stride(i)表示第i层的步长，c(i)表示第i层卷积层的卷积核大小，根据上述两个公式，得到网络深度为d时，感受野大小为：

r(d)＝(2d+1)×(2d+1)

即根据最后一层的感受野大小获取神经网络应有的层数。

3.根据权利要求2所述的方法，其特征还在于：设置深度卷积神经网络模型的学习率，在训练该深度卷积神经网络模型的过程中每一次迭代都将学习率降低一部分，迭代的公式如下：

dlr＝lr×dr^(gs/ds)

其中dlr是衰减后的学习率，lr是当前学习率，ds是衰减步长，用来控制衰减速度，dr是衰减系数，满足0＜dr＜1，gs是总迭代次数，

所述衰减步长采用如下方式获取：

其中it是当前的迭代次数，m是由用户设置的常数，满足m＞0，即衰减步长的值是当前迭代次数的m倍，但最大不超过总迭代次数的一半。