CN115169533A - 双向指数加权移动平均算法的前列腺超声图像分割方法 - Google Patents

Abstract

本发明属于医疗影像技术领域，且公开了双向指数加权移动平均算法的前列腺超声图像分割方法，具体步骤如下：S1、初步定位，通过设定的定位卷积网络获得变换定位矩阵系数得到变换定位矩阵以及通过点分布模型和主成分分析得到的平均模板，结合两者进行初定位。本发明通过Hodge提出的法向量轮廓边界算子的基础上进行改进，综合考虑邻域联合信息法向量的边界算子对前列腺进行分割，并且提出了一种基于双向指数加权移动平均的方法来实现对前列腺形状的分割，在边界算子的基础上，使用法向量索引值为数据输入，本方法一次输入数据的效果比普通多次迭代的分割效果要更优秀并且在非噪声区域更能够保留其特征，能够实现精确快速的超声图像分割。

Description

双向指数加权移动平均算法的前列腺超声图像分割方法

技术领域

本发明属于医疗影像技术领域，具体是双向指数加权移动平均算法的前列腺超声图像分割方法。

背景技术

前列腺是人体的重要组成部分，也是男性生殖器附属腺中最大的实质性器官。由前列腺组织和肌组织构成，位于膀胱与尿生殖膈之间，包绕尿道根部，其形状和大小均似稍扁的栗子。上端宽大，下端尖细，体的后面较平坦，贴近直肠，可经直肠指诊触及。它的大小、功能很大程度上依赖于雄激素，主要作用在于控尿、性功能、生殖这三个方面。如果前列腺体积或者功能出现异常，也会有不良影响。例如前列腺体积增大会挤压尿道，影响排尿；切除影响性功能；前列腺炎影响生活质量等。我国前列腺炎的患者占泌尿外科门诊患者总数的33％，其中急性前列腺炎少，慢性前列腺炎较多。根据统计，25～40岁的男性中大约30％～40％的人都患有不同程度的慢性前列腺炎，根据国际健康中心的统计，大约近半数的男性在一生中，都会受到前列腺炎的影响。前列腺癌更是会引起骨痛，脊髓压迫等症状，甚至威胁到生命。因此，对前列腺的治疗显得十分重要。

医学研究和实践中，通常要对前列腺的形状、边界、以及体积进行测量，以便于得出该组织的病理信息，从而辅助医生做出准确的诊断。临床常规的前列腺成像方法是医学超声，从超声图像中分割前列腺对前列腺疾病诊断和治疗选择至关重要。经直肠超声检查(Transrectal of Ultrasound,TRUS)是临床实践中比较常用的一种检查前列腺的手段，它可以获得比经腹部B超检查更清晰的前列腺内部结构的图像，有利于对其结构进行仔细检查。然而，由于成像设备、成像原理以及自身个体的差异的影响，图像难免会有许多噪声，再加上分割的准确率受灰度不均匀、伪影等因素的干扰，直接导致医生在手工标注边界区域时很难去辨别，往往都要通过自身经验去描绘，这个过程不仅冗长、耗时，也会对分割结果产生极大的影响^[2]，因此采用计算机分割成为一个热点。

与人工分割相比，计算机分割可自动完成且速度更快。目前有很多算法适用于此项工作。Hodge提出了一种基于二维主动形状模型(Active Shape Model,ASM)和旋转切片的超声图像前列腺边界半自动三维分割算法，利用点分布模型对前列腺边界进行分割，但这需要大量的先验知识；Bi等人提出了一种基于主动形状模型和瑞利混合模型聚类的分割方法。此模型将TRUS图像看作是瑞利分布的混合体。采用瑞利混合模型(Rayleigh mixturemodel,RMM)生成聚类图像，以获得更均匀的组织信息，降低了超声图像的不均匀性，提高了形状变形估计的效率，但却是以大量的时间为代价。近几年深度学习比较热门也提供了不少解决方式，Long提出的完全卷积网络(Fully Convolutional Networks,FCN)在传统卷积网络的基础上将最后的全连接层全换为卷积层，对图像进行像素级分类，解决了语义级别的图像分割；Wang等人在卷积网络中添加深层注意力机制模块来将更多的前列腺细节添加到深层特征中，已得到更精确的分割效果；Yu等人在轻量级分割网络BiSeNetV2上使用了包括语义和细节的聚合层来增强连接和融合的特征表达，并设计了提高分割性能的训练策略。但其精度仍处于较低水平。U-net通过编码和解码的结构，结合底层和高层的语义特征，这让U-net在小数据集的医学图像中表现良好。SegNet与U-net极其相似，特点在于编码器在池化时，存储最大池化索引位置。但其模型规模大，计算量大，耗时严重。DeepLabV3+主要使用空间金字塔模块和encoder-decoder结构做语义分割,优化了边缘的分割效果,具体参见图11；然而，单纯的深度学习往往需要大量时间和算力来进行训练，并且精度达到一定高度后，再次提高的成本较大。我们结合卷积基础块以及人工设计的边界算子，可以比较理想的检测到相应的边界点，克服了完全的深度学习耗时，训练成本大的缺陷。

发明内容

为解决上述背景技术中提出的问题，本发明提供了双向指数加权移动平均算法的前列腺超声图像分割方法，以解决背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：双向指数加权移动平均算法的前列腺超声图像分割方法，具体步骤如下：

S1、初步定位，通过设定的定位卷积网络获得变换定位矩阵系数得到变换定位矩阵以及通过点分布模型和主成分分析得到的平均模板，结合两者进行初定位；

S2、初步分割，初步定位的基础上根据邻域信息法向量边界算子进行第一次初步分割；

S3、得到结果，对初分割得到的分割点的法向量行索引值使用改进的双向指数加权移动平均法进行数据输入，得到最终的分割点集，并将其映射到TRUS图片上。

上述技术方案中，优选的，S1步骤中定位卷积网络具体步骤为，网络起定位作用，通过输出的四个定位系数得到变换定位矩阵

矩阵将后面得到的平均模板的前列腺区域定位到带分割图像的前列腺区域且该网络由四个卷积块、三个全连接层组成，最后输出四个定位系数。

上述技术方案中，优选的，S1步骤中点分布模型和主成分分析具体为：点分布模型是一种对形状的简介表达，使用先验知识通过形状描述函数表示对象的形状，主成分分析则减少数据的维度和冗余。

上述技术方案中，优选的，S2步骤中邻域信息法向量轮廓边界算子具体为在曲线上取N个点处作法向量，结合法向量邻域信息取分割点。

上述技术方案中，优选的，S3步骤中双向指数加权移动平均法具体是充分利用上下文信息，利用未来和现在的数据，并对时间序列较近的数据赋予更高的权重，因此双向指数加权移动平均对近期数据的变化更加敏感。

与现有技术相比，本发明的有益效果如下：

本发明通过Hodge提出的法向量轮廓边界算子的基础上进行改进，综合考虑邻域联合信息法向量的边界算子对前列腺进行分割，实验结果证明，相比于传统法向量边界算子，改进后的算子分割效果更好，边界曲线更光滑，多数边界点已经趋于稳定，只有少数异常点需要进行处理；

并且提出了一种基于双向指数加权移动平均的方法来实现对前列腺形状的分割，在边界算子的基础上，使用法向量索引值为数据输入，本方法一次输入数据的效果比普通多次迭代的分割效果要更优秀并且在非噪声区域更能够保留其特征，能够实现精确快速的超声图像分割。

附图说明

图1为本发明流程图；

图2为本发明定位卷积网络的结构示意图；

图3为点分布模型和主成分分析中重复采样的分布模型图；

图4为普通法向量轮廓边界算子中带状图局部示意图；

图5为普通法向量轮廓边界算子分割结果示意图；

图6为邻域信息法向量轮廓边界算子改进示意图；

图7为邻域信息法向量轮廓边界算子分割结果示意图；

图8为双向指数加权移动平均法迭代次数对比示意图；

图9为双向指数加权移动平均法分割结果示意图；

图10为本发明与其他方法分割效果对比示意图；

图11为本发明方法与现有技术方法比较示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1至图11所示，本发明提供双向指数加权移动平均算法的前列腺超声图像分割方法，双向指数加权移动平均算法的前列腺超声图像分割方法，具体步骤如下：

S1、初步定位，通过设定的定位卷积网络获得变换定位矩阵系数得到变换定位矩阵以及通过点分布模型和主成分分析得到的平均模板，结合两者进行初定位，其中定位卷积网络的结构图如图2所示；

S2、初步分割，初步定位的基础上根据邻域信息法向量边界算子进行第一次初步分割；

S3、得到结果，对初分割得到的分割点的法向量行索引值使用改进的双向指数加权移动平均法进行数据输入，得到最终的分割点集，并将其映射到TRUS图片上。

如图1所示，本发明工作流程我们将整个的分割过程分为三个步骤：

第一步是初定位，通过设定的定位卷积网络输出四个变换定位矩阵系数，获得变换定位矩阵，随后结合点分布模型(Point Distribution Model,PDM)和主成分分析(Principal Component Analysis，PCA)得到的平均模板，通过变换定位矩阵和平均模板得到初定位结果；

第二步是在初定位的基础上根据邻域信息法向量边界算子(NeighborhoodNormal Vector Profile，NNVP)进行第一次初分割，初分割后，得到大部分都已经处于真实边界的分割点，仅有小部分前列腺超声图像特征不明显的地方其分割点不位于真实边界，这些点就是噪声点；

第三步则对初分割得到的分割点的法向量行索引值使用双向指数加权移动平均法(Bidirectional Exponentially Weighted Moving Average,BEWMA)进行数据输入，得到最终的分割点集，并将其映射到TRUS图片上,得到最终的输出结果。

下面介绍具体的工作原理：

应用定位卷积网络：网络起定位作用，通过输出的四个定位系数得到变换定位矩阵

矩阵将后面得到的平均模板的前列腺区域定位到带分割图像的前列腺区域；该网络由四个卷积块，三个全连接层组成，最后输出四个定位系数。

点分布模型和主成分分析:点分布模型是一种对形状的简介表达，使用先验知识通过形状描述函数表示对象的形状；

在点分布模型中，前列腺轮廓形状由如下公式表达：x＝[x₁,x₂,…,x_n；y₁,y₂,…,y_n]^T，每个点集均是相同位置等间隔采样得到，重复采样得到如下的点分布模型图，如图3所示：

在上述的基础上，通过主成分分析减少数据的维度和冗余，首先使用主成分分析获取全局形状模型

并计算其协方差矩阵

计算矩阵的特征值和特征向量Φ，对特征值(λ₁,λ₂,…,λ_n)从大到小排序，选取最显著的前t个特征向量组成平均模板

由平均模板

结合变换定位矩阵TLM进行模型的初步定位。

邻域信息法向量轮廓边界算子：

在曲线上取N个点处作法向量，规定法向量指向曲线外部。为方便说明，将轮廓曲线展开为带状区域，下图展示了带状图的一部分：

如图4，在第k根法向量上取某点P(x,y)定义边界算子。法向量上的每一点都有与之对应的行索引值，在该点处正负方向各取l长度定义一段灰度向量G，根据向量上每一点所在位置的索引将灰度向量表示为G_out＝{g_i+l,k,g_i+l-1,k......g_i+1,k}和G_in＝{g_i-l,k,g_i-l+1,k......g_i-1,k}，前者表示第P点上半区(前列腺外部)每一点的灰度，后者表示下半区(前列腺内部)每一点的灰度。g_i+l,k表示第k根法向量上(i+l)点处的灰度值；

因此，第k根法向量上第i点的边界算子可表示为

公式计算的是在i点规定范围内上下区域的累积灰度差，为了确定此处边界点，可在此法向量上依次重复迭代，直至确定累积灰度差最大并通过法向量行索引表示相应位置时，就是目标边界点；

然后遍历每根法向量，得到的分割效果如下：

由图5可知整体轮廓比较粗糙，并没有达到良好的分割效果。这些点称为噪声点，造成以上结果的原因主要是该算子C只考虑了单个法向量上累积点的灰度差，并没有考虑到相邻区域的灰度信息，导致前后之间的点差异较大，部分区域的轮廓点较为离散，不连续；

为了尽量将分割点拟合到真实边界点上，我们把曲线上某个点的相邻区域的法向量联合利用起来。对边界算子C作出如下改进：

图6中做出了前列腺某块边界的一根法向量

以及其相邻的法向量

和

为方便观察描述，我们做出了该局部区域的放大图，取第k根法向量上的某点，若该点在法向量k上的行索引为b，那么该点可表示为

另两根法向量上相同行索引对应的点已在图4中标注出来，分别用

和

来表示，改进后第k根法向量上i点处的邻域信息法向量边界算子为：

公式相当于在计算边界上半矩形区域和下半区域的灰度差，取灰度差最大时的边界点；

边界算子C_neigh相比于边界算子C综合考虑了邻域信息，联合法向量区域确定的边界点比起单个法向量确定的边界点更有说服力，可以对整体分割图达到降噪的效果。如果要考虑到更多的邻域信息，可以调整m的值，改进的边界算子效果如图7所示。

双向指数加权移动平均法

移动平均法可以基于历史和现在的时间序列数据对未来的数据进行预测。在图像领域，其本质是低通滤波，目的是滤掉时间序列中的高频扰动，保留低频趋势；

简单移动平均(Simple Moving Average,SMA)就是对时间序列直接求等权重均值，但由于观测值中失真点和正确点共同取平均而导致正确点位置也开始失真，从而造成失真上递进的恶性循环；为了克服这种情况，在保证算法在本模型适用度的同时，考虑到时间序列中观测值具有不同的重要程度，需对观测值乘上权重后再做局部平均，由此我们选择指数加权移动平均法，指数加权移动平均(Exponentially Weighted Moving Average,EWMA)是将时间序列上较近的数据赋予更高的权重，而对于距离时间序列之中较远的数据的给予相当低的权重，使得这些低权重点的作用往往会对当前点位产生较小的影响，但不会趋于零。因此EWMA相比SMA对近期数据的变化更加敏感。这里，平滑系数取α∈(0,1)，则有如下的指数加权移动平均法公式：

EWMA_i＝α*EWMA_i-1+(1-α)*X_i (1)

式中，X_i为第i个输入数据；EWMA_i为第i个数据的预测值；EWMA_i-1为第i个位置的前一位数据的预测值；α为平滑系数。

完全通过历史数据来进行预测，这会在一定程度上造成预测数据的滞后偏移，在图像中表现为曲线右移。移动平均法是通过时间上的滞后性来换取预测曲线平滑性。

通过实验我们发现，当取较小的平滑系数α值会导致数据噪声的过滤效果不明显，达不到预期效果；而较大的α值又会导致未来预测的数据过分右移滞后，所以需要修正偏差来修正滞后以增加算法的鲁棒性；

公式(4)是通过迭代轮次动态设置α的大小，从而避免出现算法迭代初期数据较少，而与原始数据相差较大的情况；

公式(5)是在保持指数加权移动平均算法初期影响不大的情况下，通过平滑系数α和迭代轮次i来减小随着算法迭代到后期预测曲线相比于真实数据严重滞后的情况。

式中：EWMA_i为第i条法向量的预测值；α_new为平滑系数；i为迭代次数。

对于经典的指数加权移动平均法，随着迭代次数的增加，噪点附近的过滤效果会越来越好，但是，对于大部分已位于真实边界的分割点来说，这些点会偏离原先的真实边界导致约束的形状不够准确，分割精度反而降低。

在经典指数加权的基础上，我们对经典的指数加权移动平均法上做出进一步改进。首先迭代的轮廓点数据采用在前文中所作法向量的行索引值，其次结合前列腺形状数据特点，在第二次计算的过程中，使用第一轮中EWMA正向输入已经得到的形状数据即预测数据，用以回推得到当前图像的形状数据。由前述可得，设idx_i为第i条法向量上初步分割结果的行索引值，由此可得到向量IDX_i，该向量由前i个法向量行索引值组成，即IDX_i＝{idx₁,idx₂,idx₃,…,idx_i}，i∈(1,N)，用以表示初分割结果的法向量行索引值，改进后的公式如下：

式中，N为总的法向量个数；EWMA_k为第k条法向量的预测值；EWMA_k-1为第k个位置的前一条法向量的预测值；IDX_N-k+1为回推现在数据所需的未来法向量行索引值即已有的预测值；α_new为平滑系数。

不同于经典的指数加权移动平均法用法，我们所改进的指数加权移动平均法在已经约束滞后性的基础上，通过双向使用图像中前列腺轮廓相关的上下文信息，仅进行两次数据处理的效果已经赶超了多次迭代算法的分割效果，并且对于大多数优秀的分割点来说，此方法能更好地保留真实边界的形状特征，提高分割精度。

相较而言，我们使用的是前一部分的在法向量的行索引值作为数据输入，与普通的坐标点输入对比，将二维的坐标输入改为一维的行索引值输入拥有更小的计算量以及更高的精度效果。其次，对于一般预测来说，使用过去及现在的数据预测未来数据，这仅仅正向使用数据，而对于前列腺数据而言，通过逆向使用数据即预测的前列腺形状数据回推现在的前列腺形状数据，由实验表明，这样的逆向数据使用相较于多次正向数据使用有更加优秀的分割效果以及更短的分割时间。图6示意了不同正向迭代的效果与本文方法的对比。

图7分别比对了两次正向迭代和五次正向迭代下的经典指数加权移动平均法的去噪效果。图7中展示数据均为一百个标注特征点的法向量行索引值。其中，绿色折线为本文方法的去噪效果，对比两次迭代效果，能够获得更平滑的去噪效果，对比五次迭代效果，能够保持更多的显著特征，并且两次对比的去噪效果均十分显著。

针对图8、9与10所示，为了衡量方法的性能，本次实验采用的前列腺超声图像全部来自于某医院真实的临床检查数据，所有图像的前列腺真实边界均由专业医生标注，作为目标边界的真值(Ground Truth)，用于后续的分割性能评价；

实验中使用未增强数据共670张，用于测试的图像共有132幅图片，每幅图像的分辨率是576×768像素，每个像素的大小是0.138mm×0.138mm。实验中，本发明采用指数加权移动平均法的参数设置为：初始平滑系数α＝0.9，N＝100；

图9是利用本发明对随机编号为157号、256号、144号、24号、801号、356号测试图像进行的分割效果，其中绿色分割为本文方法做出的分割效果，红色则为真值点集；

图10则是本文方法与部分网络分割结果对比图。其中网络超参数设置有：Batch_size＝8，LR＝0.01，Momentum＝0.9，Scheduler＝PolynomialDecay，Weight_decay＝4.0e-5，所有网络均设置动态轮次，直到模型收敛。实验平台依赖于PaddlePaddle，均使用原文提出网络，未作修改。相关平台参数如下：platform:Linux，Python:3.7.4，GPU:Tesla V100-SXM2-32GB。所有网络均设置动态轮次，直到模型收敛；

与之前对于前列腺噪声处理方法对比，深度学习网络均有一个缺点：在TRUS图像中，因图像质量低，部分分割结果会出现离群的分割区域以及错误的分割效果，如图11的24号和356号图片的U-net分割结果以及157号图片和24号图片的SegNet分割结果；

而本发明提出的方法未出现这样的效果并且有如下三个特点：(1)使用指数加权移动平均法处理前列腺的形状特征，仅通过前列腺超声图像本身的形状特点去预测接下来形状点的位置，进而得到整个前列腺的形状特征，因此对于不同前列腺的形状特征有良好的适应效果；(2)使用未来的前列腺数据回推现在的数据，充分利用上下文信息，在噪声点附近仅需两次数据输入的效果就比经典的迭代多次有更加平滑的分割效果，在时间和空间上有良好的表现；(3)对于分割良好已经在真实边界的分割部分能够有效保留特征，而经典的移动平均法在噪点附近要得到相近的优秀分割效果，其在真实边界难以保留其特征。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.双向指数加权移动平均算法的前列腺超声图像分割方法，其特征在于，具体步骤如下：

S1、初步定位，通过设定的定位卷积网络获得变换定位矩阵系数得到变换定位矩阵以及通过点分布模型和主成分分析得到的平均模板，结合两者进行初定位；

S2、初步分割，初步定位的基础上根据邻域信息法向量边界算子进行第一次初步分割；

S3、得到结果，对初分割得到的分割点的法向量行索引值使用改进的双向指数加权移动平均法进行数据输入，得到最终的分割点集，并将其映射到TRUS图片上。

2.根据权利要求1所述的双向指数加权移动平均算法的前列腺超声图像分割方法，其特征在于：S1步骤中定位卷积网络具体步骤为，网络起定位作用，通过输出的四个定位系数得到变换定位矩阵

矩阵将后面得到的平均模板的前列腺区域定位到带分割图像的前列腺区域且该网络由四个卷积块、三个全连接层组成，最后输出四个定位系数。

3.根据权利要求1所述的双向指数加权移动平均算法的前列腺超声图像分割方法，其特征在于：S1步骤中点分布模型和主成分分析具体为：点分布模型是一种对形状的简介表达，使用先验知识通过形状描述函数表示对象的形状，主成分分析减少数据的维度和冗余。

4.根据权利要求1所述的双向指数加权移动平均算法的前列腺超声图像分割方法，其特征在于：S2步骤中邻域信息法向量轮廓边界算子具体为在曲线上取N个点处作法向量，结合法向量邻域信息取分割点。

5.根据权利要求1所述的双向指数加权移动平均算法的前列腺超声图像分割方法，其特征在于：S3步骤中双向指数加权移动平均法具体是充分利用上下文信息，利用未来和现在的数据，并对时间序列较近的数据赋予更高的权重，因此双向指数加权移动平均对近期数据的变化更加敏感。

Images