CN105405119A - 基于深度置信网络和三维模型的胎儿正中矢状面自动检测方法 - Google Patents

Abstract

本发明属于图像分割技术领域，具体为一种基于深度置信网络和三维模型的胎儿正中矢状面自动检测方法。本发明针对三维胎儿超声数据，主要分为三步：首先通过深度置信网络（DBN）从三维数据的中心切面上自动搜索得到包含头颅的图像块，然后使用方向Kirsch边缘检测和霍夫变换在图像块中定位头颅的精确大小和位置，最后利用头颅关于正中矢状面对称的特点，通过三维模型将平面检测问题转变为二维对称性检测问题，完成最终的正中矢状面自动检测。本方法通过建立模型将三维问题简化为二维问题，实现正中矢状面的自动检测，取得了较好的结果。

Description

基于深度置信网络和三维模型的胎儿正中矢状面自动检测方法

技术领域

本发明属于图像分割技术领域，具体涉及一种基于深度置信网络和三维模型的三维胎儿超声数据中正中矢状面自动检测方法。

背景技术

在早孕期，胎儿颈部透明层(Nuchaltranslucency,NT)厚度是一个十分重要的指标。颈部透明层厚度的增加与13,18,21-三体综合征等染色体异常强烈相关。目前，对于NT厚度的测量由医生手工进行：首先找到胎儿在母体中的大致位置，然后定位标准正中矢状面，锁定正中矢状面上的NT区域，最终进行测量。NT厚度的测量要求在标准正中矢状面上进行，如果偏离正中矢状面，可能存在30-50％的误差，影响判断的准确性。因此，正中矢状面定位准确与否极为重要。定位标准正中矢状面要求医生具有丰富的经验。标准正中矢状面要求能够清晰看到鼻骨和间脑，英国胎儿基金会对于包括定位正中矢状面在内的NT测量有专门的课程培训和考核。

由于正中矢状面检测需要三维数据中进行，并且胎儿的位置和姿态多样，使得自动检测具有极高难度，目前尚无较好的检测方法。对于NT厚度的自动检测，通常集中在已经获得正中矢状面或已获得正中矢状面上的NT区域的前提下，用边缘检测、能量函数、构建模型等方法对NT的厚度进行检测。

针对正中矢状面检测方面的空白，本文提出了一种结合深度置信网络(DBN，deepbeliefnetwork)和三维模型的三维正中矢状面自动检测方法。它可以对从三维超声数据中直接定位头颅位置和正中矢状面，具有较高的准确性。

发明内容

本发明的目的是提出一种自动检测胎儿正中矢状面的方法。

本发明提供的胎儿正中矢状面自动检测方法，是结合深度置信网络和三维模型的，具体步骤如下：

(1)首先，利用深度置信网络从三维超声数据的中心切面上自动找到一个完整包含头颅的图像块，定位头颅的大致位置；

(2)然后，利用方向Kirsch边缘检测和霍夫变换从步骤(1)得到的图像块中找到一个最贴合胎儿头颅的圆，定位胎儿头颅的准确位置和大小；

(3)最后，建立三维模型，从步骤(2)得到的头颅位置和大小出发，寻找一个最对称的二维平面区域及其对称轴，其对称面即为正中矢状面。

本发明中，步骤(1)的具体过程为：

(1)首先从训练数据的中心切面上选取训练所需图像块，图像块分为两类：第一类完整包含头颅，第二类不包含头颅或只包含部分头颅；

(2)将图像块作为深度置信网络的输入；整个网络被视作一个二分类器，用以判断图像块属于第一类或第二类；网络分为5层，每层的节点数依次为p₁，p₂，p₃，p₄，p₅，其中,第1层节点数p₁为图像块的像素点个数，本发明实施例中取1681，第5层的节点数p₅为类的个数(本发明中取为2)；第2-4层的节点数p₂、p₃、p₄，实施例中使用参考文献[11]中给出的数值，分别为500、500、2000，具体可以调整；

(3)对网络进行训练，首先在每两层之间用受限玻尔兹曼机(RBM，RestrictedBoltzmannMachine)进行预训练，得到初始权重；假设输入层为v，输出层为h，则能量E(v,h)定义为：

其中，w_ij为输入层和输出层之间的权重，v_i和h_j分别为输入层和输出层的节点，b_i和b_j分别为输入层和输出层的偏置，i＝1…N_v,，j＝1…N_h，N_v和N_h分别为输入层和输出层节点个数。

(4)利用过程(3)得到的初始权重，将整个网络串联起来，使用BP算法对整体权重进行微调；

(5)训练完成后，使用遍历搜索测试图像中所有图像块，计算每一个图像块属于第一类的概率，选取概率最大的图像块为最终输出结果：

I(x，y)＝argmax_I(x，y)P_head(I(x，y)|W)(2)

其中，W＝{W¹,W²W³,W⁴}是整个DBN网络中的全部权重，Wⁱ是第i层和i+1层之间的权重，i取1，2，3，4。

经过上述过程，得到中心切面上一个完整包含头颅的图像块，即获得头颅的大致位置。

本发明中，步骤(2)的具体过程为：

对于已得到的包含完整头颅的图像块进行处理：首先使用直方图均衡对图像进行预处理，以提高图像的对比度；然后应用方向Kirsch边缘检测得到图像块的边缘图；将图像分为上、下、左、右、左上、左下、右上、右下8个部分，对于每个部分应用相应方向的Kirsch算子；例如，对于上部图像，所希望增强的头颅边缘指向上方，此时应用检测向上边缘的Kirsch算子；根据方向不同针对性地应用Kirsch算子可以有效地减弱指向其他方向的边缘，排除一定干扰；最后，对边缘图进行霍夫检测，获得一个与头颅最为贴合的圆，即得到了头颅的准确大小R和位置(a,b)；其中，霍夫检测的约束如下：

R_min＜R＜R_max，

R＜a＜M_patch-R，(3)

R＜b＜N_patch-R

其中，R_min和R_max分别是头颅可能的最大和最小半径，M_patch×N_patch为图像块大小。

本发明中，步骤(3)的具体过程为：

鉴于正中矢状面将头颅对称地分开，则在头颅内垂直于正中矢状面的平面应当具有较高的对称性，两平面交线即为对称轴；建立一个包含6个参数的三维模型，用于描述正中矢状面、对称性平面及平面上的对称轴与对称区域，其中(x,y,z)是对称区域中心点的坐标，r是对称区域大小，θ是对称平面上对称轴与x轴的夹角，是对称性平面与xz-平面的夹角；此时仅需要在包含头颅的长方体中进行搜索，不需要搜索整个三维数据空间，长方体的位置和大小由步骤(2)得到的头颅位置和大小决定。

假设一幅图像为f(x,y)，对称性计算采用的是反射对称性计算公式：

$S_{\mathrm{\θ}}\left(f\right)=\frac{1}{2}\frac{{\∫}_{-L}^L{\∫}_{-L}^{L}f(t,s)f(t,-s)dsdt}{{\∫}_{-L}^L{\∫}_{-L}^L{f}^2(t,s)dsdt}+\frac{1}{2}---\left(4\right)$

其中，(t,s)是初始(x,y)轴绕x轴旋转θ得到的新坐标，L＝2r，与对称区域的大小有关。

为增加鲁棒性，用高斯窗赋予对称区域权重：

$S_G(t,s,r)=S_{\mathrm{\θ}}(t,s)\·G(t,s,r)=S_{\mathrm{\θ}}(t,s)\·\frac{1}{2{\mathrm{\πr}}^2}\exp \[-\left(\frac{t^2+s^2}{2r^2}\right)\]---\left(5\right)$

鉴于需要寻找一个较大的对称性区域，增加一个与区域半径有关的权重：

$S^{SD}(x,y,\mathrm{\θ},r)=\frac{1}{\sqrt{2\mathrm{\π}}\left(\frac{R_L}{2}\right)}{e}^{-\frac{{(r-R_L)}^2}{2{\left(\frac{R_L}{2}\right)}^2}}u\left(r\right)\·S_G^{SI}(x,y,\mathrm{\θ},r)---\left(6\right)$

其中，即由式(5)得到的与区域半径权重无关的区域对称性S_G，S^SD是与区域半径有关的对称性。其中R_L是一个与目标区域半径有关的参数，u(r)为单位阶跃函数。

此时，正中矢状面方程为：

其中，参数为参数此时刻的参数值。相应对称性平面方程为：

由此，可以得到由完整6个参数定义的对称性如下：

其中，是由所确定的对称性平面，此时仅需要包含头颅的长方体中进行搜索，长方体的大小为M_vol×N_vol×L_vol，M_vol、N_vol和L_vol分别为长方体在x轴、y轴和z轴方向上的长度，R_min和R_max与步骤(2)中相同。

在搜索参数组使得(9)式的S最大时，可以使用邻域搜索法，实际需要搜索的参数为y可以通过公式(8)计算。令N_k(k＝1,2,…,k_max)是X的邻域，邻域搜索法的具体步骤如下：

(1)根据步骤(1)得到的结果，初始化(x₀,z₀,r₀,y₀),则∈R⁵是初始参数组，n＝0；

(2)选取 $X_{n+1}={\mathrm{argmax}}_{X\∈N_k}S\left(X\right),$ 利用计算y_n+1；

(3)如果S(X_n+1)>S(X_n)，则返回步骤(2)，否则

如果，返回步骤(2)，否则X_n即为最终得到的参数组。

经过上述过程，可以得到最终的参数组X_n，再由公式(7)，即可得到最终的正中矢状面方程。

本发明采用深度置信网络，从包含子宫、胎儿头颅及躯干的复杂图像中找到一个包含头颅的图像块，初步定位胎儿头颅位置，具有一定的鲁棒性。利用图像特征，采用方向Kirsch边缘检测，强化颅骨边缘，弱化其他干扰边缘，继而得到胎儿头颅的准确位置和大小。建立三维模型，将正中矢状面检测转换为具有最大对称性平面的检测。本发明提出的方法，能够较好地检测到正中矢状面。

附图说明

图1为利用DBN检测头颅大概位置的结果，图像块中包含完整的头颅。

图2为利用方向Kirsch边缘检测结果。其中，(a)是原始图像，(b)是直方图均衡之后的图像，(c)是方向Kirsch边缘检测的结果，(d)和(e)分别是SRAD和KAD边缘检测结果，(f)是方向Kirsch边缘检测图二值化的结果。

图3为利用方向Kirsch边缘检测和霍夫变换定位胎儿头颅位置和大小的结果。

图4为正中矢状面检测结果角度误差的分布情况。

图5为正中矢状面检测结果头颅中心点与正中矢状面距离的分布情况。

图6为利用三维模型和对称性检测得到的正中矢状面结果。其中，左侧为找到的对称性平面及其对称轴和对称区域，右侧为对应的正中矢状面。

具体实施方式

以下是整个算法的具体实现步骤：

1、首先，对三维胎儿超声数据的中心切面，通过深度置信网络得到头颅所在图像块，定位胎儿头颅的大致位置。为减小计算量，步骤1在降采样之后的图像上进行，所用图像为原图像大小的一半。选取图像块大小为41×41。DBN网络设置为5层，每层节点数为1681-500-500-2000-2，用前述方法进行训练。其中每两层之间训练迭代次数为200，整体训练迭代次数为50。移动41×41的窗遍历搜索整幅中心切面，找到属于头颅类概率最大的图像块。

2、在步骤1得到的图像块中，通过方向Kirsch边缘检测和霍夫变换找到一个最贴合头颅的圆，得到中心平面上头颅准确的大小和位置。将图像块分为八个方向分别卷积相应方向的Kirsch算子，得到边缘图。本方法用设置阈值为0.15将方向图二值化，对二值化边缘图应用霍夫变换得到最终的圆。根据图像特点，本文将R_min设置为28像素，R_max设置为42像素。

3、由步骤2得到头颅的位置和大小，选取头颅所在的长方体，本方法中使用以头颅中心点为中心的91×91×91的立方体。建立三维模型，以步骤2中得到的头颅大小和位置为初始值，用邻域搜索法寻找一个最对称的平面和对称轴，过对称轴与对称平面垂直的面即为正中矢状面。假设三维数据大小为M×N×L，对于6个参数从初始点(x₀,y₀,L/2,r₀,0,0)出发进行邻域搜索，其中(x₀,y₀,r₀)为步骤2得到的圆的位置和大小。用邻域搜索法搜索使对称性S^SD最大的一组参数由公式(7)可得最终的正中矢状面。

结果分析

从表一中可以看出，通过DBN检测头颅图像块有较高的准确率。对于正确检测的数据，头颅中心的和块的中心点距离很近，说明已成功定位头颅的大致位置。图2显示了方向Kirsch边缘检测的有效性，从图2(c)和(f)中可以看出，头颅上的边缘得到了有效的保存，而头颅其他部分很多干扰则直接被排除。与图2(d)和(e)的传统SRAD和KAD边缘检测相比较，可以本发明方法具有明显优势。从图3可以看到，胎儿头颅的位置和大小均能被准确检测。由图4和图5可以看到，对于大部分数据，本发明方法都能得到一个较为准确的正中矢状面，所有测试数据中，有86.12％的数据最终检测面和标准正中矢状面的夹角小于30度，而88.64％的数据头颅中心点与最终检测面的距离小于10个像素。图6显示了最终找到的对称性平面、对称轴、对称区域及相应的正中矢状面。

表一利用DBN检测包含头颅的图像块的结果

表二比较本文头颅检测方法与基于SRAD、KAD边缘检测的方法结果。

参考文献

[1]M.A.Zoppi,R.M.Ibba,M.Floris,etal,“Changesinnuchaltranslucencythicknessinnormalandabnormalkaryotypefetuses,”BJOG:AnInternationalJournalofObstetrics&Gynaecology,110(6),584-588,(2003).

[2]K.H.Nicolaides,“Nuchaltranslucencyandotherfirst-trimestersonographicmarkersofchromosomalabnormalities,”Americanjournalofobstetricsandgynecology,191(1),45-67,(2004).

[3]Y.Lee,M.Kim,M.Kim,“Robustborderenhancementanddetectionformeasurementoffetalnuchaltranslucencyinultrasoundimages”,MedicalandBiologicalEngineeringandComputing,45,1143-1152,(2007).

[4]Y.Lee,Y.Choi,M.Kim,“BoundarydetectionincarotidultrasoundimagesusingdynamicprogrammingandadirectionalHaar-likefilter”,ComputersinBiologyandMedicine,40,687-697,(2010).

[5]E.Catanzariti,G.Fusco,F.Isgrò,S.Masecchia,R.Prevete,M.Santoro,“Asemi-automatedmethodforthemeasurementofthefetalnuchaltranslucencyinultrasoundimages,”inImageAnalysisandProcessing–ICIAP2009.LectureNotesinComputerScience,613-622,(2009).

[6]S.Nirmala,V.Palanisamy,“Measurementofnuchaltranslucencythicknessinfirsttrimesterultrasoundfetalimagesfordetectionofchromosomalabnormalities,”inINCACEC,1-5,(2009).

[7]L.K.Wee,T.Y.Min,A.Arooj.E.Supriyanto,“Nuchaltranslucencymarkerdetectionbasedonartificialneuralnetworkandmeasurmentviabidirectionaliterationforwardpropagation,”WSEASTransactionsonInformationScienceandApplications,7,1025-1036,(2010).

[8]Y.Deng,Y.Wang,P.Chen,J.Yu,“Ahierarchicalmodelforautomaticnuchaltranslucencydetectionfromultrasoundimages,”ComputersinBiologyandMedicine,42,706–713,(2012).

[9]H.AbeleH,N.Wagner,M.Hoopmann,etal,“Effectofdeviationfromthemid‐sagittalplaneonthemeasurementoffetalnuchaltranslucency,”UltrasoundinObstetrics&Gynecology,35(5),525-529,(2010).

[10]L.Wee,H.Chai,E.Supriyanto,“Computerizednuchaltranslucencythreedimensionalreconstruction,visualizationandmeasurementfortrisomy21prenatalearlyassessment,”InternationalJournalofthePhysicalSciences,6,4640-4648,(2011).

[11]G.E.Hinton,R.Salakhutdinov,“ReducingtheDimensionalityofDatawithNeuralNetworks,”Science,313,504-507,July,(2006).

[12]G.E.Hinton,S.Osindero,andT.W.Teh,“AFastLearningAlgorithmforDeepBeliefNets,”NeuralComputation,18,1527-1554,(2006).

[13]Y.Bengio,“LearningdeeparchitecturesforAI.”FoundationsandinMachineLearning,2(1),1-127,(2009).

[14]G.E.Hinton,T.J.Sejnowski,“LearningandrelearninginBoltzmannmachines,”MITPress,Cambridge,Mass,1,282-317,(1986).

[15]阎平凡,张长水,“人工神经网络与模拟进化计算,”清华大学出版社有限公司,(2005).

[16]N.Kiryati,Y.Gofman,“Detectingsymmetryingreylevelimages:Theglobaloptimizationapproach,”InternationalJournalofComputerVision,29(1),29-45,(1998).

[17]Y.Yu,S.T.Acton,“Specklereducinganisotropicdiffusion,”ImageProcessing,IEEETransactionson,11(11),1260-1270,(2002).

[18]J.Yu,Y.Wang,Y.Shen,“Noisereductionandedgedetectionviakernelanisotropicdiffusion,”PatternRecognitionLetters,29(10),1496-1503,(2008).。

Claims (4)

1.基于深度置信网络和三维模型的胎儿正中矢状面自动检测方法，其特征在于具体步骤如下：

(1)首先，利用深度置信网络从三维超声数据的中心切面上自动找到一个完整包含头颅的图像块，定位头颅的大致位置；

(2)然后，利用方向Kirsch边缘检测和霍夫变换从步骤(1)得到的图像块中找到一个最贴合胎儿头颅的圆，定位胎儿头颅的准确位置和大小；

(3)最后，建立三维模型，从步骤(2)得到的头颅位置和大小出发，寻找一个最对称的二维平面区域及其对称轴，其对称面即为正中矢状面。

2.根据权利要求1所述的胎儿正中矢状面自动检测方法，其特征在于步骤(1)的具体过程为：

(1)首先从训练数据的中心切面上选取训练所需图像块，图像块分为两类：第一类完整包含头颅，第二类不包含头颅或只包含部分头颅；

(2)将图像块作为深度置信网络的输入；整个网络被视作一个二分类器，用以判断图像块属于第一类或第二类；网络分为5层，每层的节点数依次为p₁，p₂，p₃，p₄，p₅，其中,第1层节点数p₁为图像块的像素点个数，第5层的节点数p₅为类的个数，即取2；第2-4层的节点数p₂、p₃、p₄，具体可以调整；

(3)对网络进行训练，首先在每两层之间用受限玻尔兹曼机进行预训练，得到初始权重；假设输入层为v，输出层为h，则能量E(v,h)定义为：

(1)

其中，w_ij为输入层和输出层之间的权重，v_i和h_j分别为输入层和输出层的节点，b_i和b_j分别为输入层和输出层的偏置，i＝1…N_v,，j＝1…N_h，N_v和N_h分别为输入层和输出层节点个数；

(4)利用过程(3)得到的初始权重，将整个网络串联起来，使用BP神经网络算法对整体权重进行微调；

(5)训练完成后，使用遍历搜索测试图像中所有图像块，计算每一个图像块属于第一类的概率，选取概率最大的图像块为最终输出结果：

I(x，y)＝argmax_I(x，y)P_head(I(x，y)|W)(2)

其中，W＝{W¹,W²W³,W⁴}是整个DBN网络中的全部权重，Wⁱ是第i层和i+1层之间的权重；

经过上述过程，得到中心切面上一个完整包含头颅的图像块，即获得头颅的大致位置。

3.根据权利要求2所述的胎儿正中矢状面自动检测方法，其特征在于步骤(2)的具体过程为：

对于已得到的包含完整头颅的图像块进行处理：首先使用直方图均衡对图像进行预处理，以提高图像的对比度；然后应用方向Kirsch边缘检测得到图像块的边缘图；将图像分为上、下、左、右、左上、左下、右上、右下8个部分，对于每个部分应用相应方向的Kirsch算子；根据方向不同针对性地应用Kirsch算子，以有效地减弱指向其他方向的边缘，排除一定干扰；最后，对边缘图进行霍夫检测，获得一个与头颅最为贴合的圆，即得到了头颅的准确大小R和位置(a,b)；所述霍夫检测的约束如下：

R_min＜R＜R_max，

R＜a＜M_patch-R，(3)

R＜b＜N_patch-R

其中，R_min和R_max分别是头颅可能的最大和最小半径，图像块大小为M_patch×N_patch。

4.根据权利要求3所述的胎儿正中矢状面自动检测方法，其特征在于步骤(3)的具体过程为：

鉴于正中矢状面将头颅对称地分开，两平面交线即为对称轴；建立一个包含6个参数 的三维模型，用于描述正中矢状面、对称性平面及平面上的对称轴与对称区域，其中(x,y,z)是对称区域中心点的坐标，r是对称区域大小，θ是对称平面上对称轴与x轴的夹角，是对称性平面与xz-平面的夹角；此时，仅在包含头颅的长方体中进行搜索，长方体的位置和大小由步骤(2)得到的头颅位置和大小决定；

假设一幅图像为f(x,y)，对称性计算采用的是反射对称性计算公式：

$S_{\mathrm{\θ}}\left(f\right)=\frac{1}{2}\frac{{\∫}_{-L}^L{\∫}_{-L}^{L}f(t,s)f(t,-s)dsdt}{{\∫}_{-L}^L{\∫}_{-L}^L{f}^2(t,s)dsdt}+\frac{1}{2}---\left(4\right)$

其中，(t,s)是初始(x,y)轴绕x轴旋转θ得到的新坐标，L＝2r，与对称区域的大小有关；

为增加鲁棒性，用高斯窗赋予对称区域权重：

$S_G(t,s,r)=S_{\mathrm{\θ}}(t,s)\·G(t,s,r)=S_{\mathrm{\θ}}(t,s)\·\frac{1}{2{\mathrm{\πr}}^2}\exp \[-\left(\frac{t^2+s^2}{2r^2}\right)\]---\left(5\right)$

鉴于需要寻找一个较大的对称性区域，增加一个与区域半径有关的权重：

$S^{SD}(x,y,\mathrm{\θ},r)=\frac{1}{\sqrt{2\mathrm{\π}}\left(\frac{R_L}{2}\right)}{e}^{-\frac{{(r-R_L)}^2}{2{\left(\frac{R_L}{2}\right)}^2}}u\left(r\right)\·S_G^{SI}(x,y,\mathrm{\θ},r)---\left(6\right)$

其中，即由式(5)得到的与区域半径权重无关的区域对称性S_G，S^SD是与区域半径有关的对称性；其中R_L是一个与目标区域半径有关的参数，u(r)为单位阶跃函数；

此时，正中矢状面方程为：

其中，参数为参数此时刻的参数值；相应对称性平面方程为：

由此，得到由完整6个参数定义的对称性如下：

其中，是由所确定的对称性平面，此时仅在包含头颅的长方体中进行搜索，长方体的大小为M_vol×N_vol×L_vol，M_vol、N_vol和L_vol分别为长方体在x轴、y轴和z轴方向上的长度；

在搜索参数组使得(9)式的S最大时，使用邻域搜索法，需要搜索的参数为y通过公式(8)计算；令N_k(k＝1,2,…,k_max)是X的邻域，邻域搜索法的具体步骤如下：

(1)根据步骤(1)得到的结果，初始化(x₀,z₀,r₀,y₀),则 是初始参数组，n＝0；

(2)选取利用计算y_n+1；

(3)如果S(X_n+1)>S(X_n)，则返回步骤(2)，否则

如果，S(X′_n+1)>S(X_n)，返回步骤(2)，否则X_n即为最终得到的参数组；

经过上述过程，得到最终的参数组X_n，再由公式(7)，即得到最终的正中矢状面方程。