CN109744996B - Oct图像的bmo位置定位方法 - Google Patents

Abstract

本发明公开了一种OCT图像的BMO位置定位方法，包括合成二维投影图并对彩色眼底图像进行视盘分割；彩色眼底图和二维投影图进行配准得到二维投影图上的视盘轮廓；视盘轮廓投影到OCT图像上得到两条投影线；分割RPE层并得到BMO点的粗定位点；训练识别网络；以BMO点的粗定位点为中心提取感兴趣区域并输入识别网络；将识别结果进行后处理并选取一致性最好的图像块作为最终的BMO定位区域；最终的BMO定位区域的集合中心即为最终的BMO定位点。本发明方法在BMO定位的精度上优于现有方法，更为接近专家手动标定的结果，而且本发明能够减少BMO周围组织对自动定位造成的影响，帮助临床医生自动标定出BMO位置。

Description

OCT图像的BMO位置定位方法

技术领域

本发明具体涉及一种OCT图像的BMO位置定位方法。

背景技术

青光眼是世界第二大致盲疾病，它通过对人视乳头周围的视神经节细胞轴突的破坏，导致人的视野缺失。由于青光眼的不可逆性，对青光眼的早检测、早发现和早治疗能够减缓疾病发展的进程。但因为青光眼的发病机制尚未完全明确，因此对青光眼的风险因素的研究仍然是目前的热点问题。

光学相干断层扫描技术(Optical Coherence Tomography,OCT)技术在眼科的临床应用不过二十年，其技术创新迅速，现已经成为眼科临床最重要的检查之一。该技术通过对组织发射相干光，回收组织的反射光与散射光，并与时间的延迟相结合，可以获取到组织的二维断层信息或整体视网膜三维图像的信息。除了实时监测，无创等优点外，OCT最重要的特点是其分辨率高，并且观察到的细微结构为横截面结构，符合病理学的常规观察习惯，为眼科研究者的活体视网膜形态研究提供技术支持。OCT技术的发展给青光眼的早期诊断和临床治疗提供了极大的便利，目前视网膜OCT图像中的神经纤维层厚度等参数已经成为青光眼临床诊断中的重要依据。OCT的工作过程如下：由低相干光源发出的低相干光线，由干涉仪分成两束光线，一束进入探测光路，直接入射眼内，被眼内不同组织的界面发射回来，用以提供眼内各种组织的厚度与距离信息；另一束进入参照光路，由已知空间距离的参照镜反射回来。两束光在光纤偶联器中整合为一，由于发射到参照镜的来回距离和发射到眼内给定结构的距离精确匹配，故产生干涉现象，被光敏探测器探测到。调解后的信号输入计算机进行运算，得到被测物体的光学相干断层图像。由于眼内组织具有不同的深度和空间结构，所以两束光线之间会产生时间差，这种时间差叫做光学延迟时间。把探测器所计算出的时间差利用低相干光涉度量学原理，可获得组织反射的信息。获取到这些信息后，由计算机计算出一维的扫描图像信息，通常为二维图像中的一列。

Bruch膜开口点(Bruch’s Membrane Opening,BMO)是Bruch膜在视神经乳头位置的截止点，是OCT图像上的一个重要生物标记。研究表明，BMO的位置随着青光眼的发病位置保持稳定，而筛板和视杯等其他结构的位置会随着青光眼发展而改变，故BMO可以作为监测青光眼发展的一个重要参考位置，我们通过BMO的自动定位，可以计算出与青光眼早期发病相关的重要参数如BMO-MRW，筛板前表面深度等。在临床医学诊断中对OCT图像中参数测量的精确程度相对较高，而手动标定不仅费时费力，而且还会造成主观误差，因此如何实现精确自动定位BMO是目前亟待解决的问题。

近年来BMO的自动定位方法主要分为两种：基于图论的方法和基于机器学习的方法。

①基于图论的方法

2010年，美国爱荷华大学的Hu等人提出了一种基于图搜索算法的BMO定位方法，并利用眼底图上专家标定的视盘映射到三维SD-OCT数据中作为金标准。2015年Miri等人通过使用随机森林构造代价函数的图论算法改进了上述方法，该算法将分割问题转化为优化问题，用最短路径算法得到BMO的三维路径，提高了定位的精确度；但该方法的不足之处在于对血管阴影缺乏鲁棒性，并且过于依赖二维投影图和眼底图的配准效果，一旦失配，分割效果将会变得很差。Miri等人在2017年提出了一种改进方法，通过使用一种由近邻亮度特征、高斯特征和Gabor特征的组合特征进行学习，并采用动态规划的方法获取BMO的路径，脱离了对配准算法的依赖并且解决了血管阴影问题。但同时也大大增加了时间的消耗。

2015年，澳大利亚墨尔本大学的Hussain等人提出了一种基于图搜索和OCT分层信息的BMO分割方法，该方法利用图搜索得到视网膜内外节(inner segment-outer segment,IS-OS)和视网膜色素上皮层(retinal pigment epithelium,RPE)的交点作为初始定位，再用内界膜层(inner limiting membrane,ILM)的最深位置来进行校准，达到了较高的准确率；但没有解决BMO点周围组织对定位的干扰。爱荷华大学的Wang等人提出了一种基于形状软约束的图论算法，利用ILM的形状和BM层(Bruch’s Membrane)的纹理特征，利用二维高清OCT和3D SD-OCT的信息构造权重图估计SD-OCT上的BMO曲线，达到了与半自动算法相接近的效果；不足之处在于该算法依赖以视盘为中心的HD-OCT，并且依赖两种OCT图像配准的效果。

②基于机器学习的方法

2014年，Belghith等人提出了一种基于反卷积的模型，该模型用一条曲线对Bruch膜层进行建模，用一个卷积核对厚度进行建模，然后采用马尔可夫蒙特卡洛方法对模型的参数进行求解，并通过约束去除掉过短的线段，最后将问题转化为缺失数据填充，有效提高了分割的精确度，但缺失较长即血管阴影较大的样本会对该方法的定位造成较大的影响。2015年，付华柱等人提出了一种使用低秩矩阵的方法来分割BMO的位置，通过误差曲线和sigmoid曲线比较得到BMO分割点；该方法的准确度需要大量的实验来证明，而且会受到视盘旁萎缩弧的影响而使效果变差，对青光眼样本不具有鲁棒性。南京工业大学的Wu等人提出了一种基于支持向量机的块匹配BMO分割方法，达到了0.919的dice系数；该方法的主要问题在于特征窗口提取时的耗时太大，同时在倾斜度较大的OCT图像中分割的精度还有待提高。

发明内容

本发明的目的在于提供一种定位准确、方法可靠且时间复杂度相对较低的OCT图像的BMO位置定位方法。

本发明提供的这种OCT图像的BMO位置定位方法，包括如下步骤：

S1.将OCT体数据合成二维投影图，同时对彩色眼底图像进行视盘分割；

S2.对步骤S1得到的彩色眼底图和二维投影图进行配准，从而得到二维投影图上的视盘轮廓；

S3.将步骤S2得到的视盘轮廓投影到每一张OCT图像上，从而得到两条投影线；

S4.分割出OCT图像的RPE层，并将步骤S3得到的两条投影线与RPE层的交点作为BMO点的粗定位点；

S5.在训练图像中，以已标定的BMO点为中心提取感兴趣区域，并在感兴趣区域中随机选取图像块作为训练数据训练识别网络；

S6.以步骤S4得到的BMO点的粗定位点为中心提取感兴趣区域，并在感兴趣区域提取图像块输入到步骤S5得到的训练好的识别网络；

S7.将步骤S6得到的识别结果进行后处理，并在每个感兴趣区域提取的图像块中选取一致性最好的图像块，作为最终的BMO定位区域；

S8.步骤S7得到的最终的BMO定位区域的几何中心即为最终的BMO定位点。

步骤S1所述的将OCT体数据合成二维投影图，具体为将SD-OCT图像按列相加并归一化，得到OCT图像的二维投影图。

步骤S1所述的对彩色眼底图像进行视盘分割，具体为利用霍夫圆检测的方法，分割出彩色眼底图中的视盘。

步骤S2所述的对得到的彩色眼底图和二维投影图进行配准，从而得到二维投影图上的视盘轮廓，具体为提取出彩色眼底图和二维投影图中的FAST特征点，然后利用RPM-PIIFD方法进行特征点匹配并选择匹配对，并配准彩色眼底图和二维投影图，从而得到投影图中的视盘轮廓。

步骤S4所述的分割出OCT图像的RPE层，具体为将OCT图像转换为一个带权有向图，并在带权有向图中找到一条最短路径，从而分割出OCT图像的RPE层。

所述的带权有向图中，采用如下公式计算权重w_ab：

w_ab＝2-(g_a+g_b)+w_min

式中w_ab为连接结点a和结点b的边的权重，g_a为结点a所代表图像像素的垂直梯度，g_b为结点b所代表图像像素的垂直梯度，w_min为非零的最小边权重并用于避免除零错误。

步骤S5所述的识别网络为U-net网络。

U-net网络的的损失函数，具体为采用如下算式作为损失函数Loss：

式中x为图像块Ω中的像素，p_x为每个图像块中预测区域的像素，g_x为每个图像块中训练标签的像素，

为预测区域的像素数量，

为训练标签的像素数量，n为图像块Ω中所包含的总像素数量。

步骤S7所述的选取一致性最好的图像块，具体为采用如下算式计算一致性：

式中，M_i为图像块i的一致性，S_i为第i个图像块的分割结果；Dice(S_i,S_j)为S_i和S_j的dice系数值且

k为指数参数并用于扩大一致结果的影响同时减小不一致结果的影响。

本发明提供的这种OCT图像的BMO位置定位方法，基于眼底图和OCT二维投影图的多模态配准，并将RPE层分割出来，以粗略定位OCT图像中的BMO点，再根据粗定位的结果提取出感兴趣区域，并将问题转化为区域分割问题，使用卷积神经网络进行精确定位，最后利用分割结果的一致性进行优选，得到最终结果。本发明方法在BMO定位的精度上优于现有方法，更为接近专家手动标定的结果，而且本发明能够解决目前BMO自动定位方法精度不足的缺点，帮助临床医生自动标定出BMO位置。

附图说明

图1为本发明方法的方法流程图。

图2为本发明方法的二维投影图合成的示意图。

图3为本发明方法的BMO粗定位示意图。

图4为本发明方法的感兴趣区域提取和标签转换的示意图。

图5为本发明方法对不同圆形区域半径得到的结果折线图。

图6为本发明方法的BMO定位结果在二维合成图上的投影结果示意图。

具体实施方式

如图1所示为本发明方法的方法流程图：本发明提供的这种OCT图像的BMO位置定位方法，包括如下步骤：

S1.将OCT体数据合成二维投影图，同时对彩色眼底图像进行视盘分割；

在具体实施时，将SD-OCT图像按列相加并归一化，即可得到OCT图像的二维投影图，如图2所示；其中，图2(a)为单张的SD-OCT图像；图2(b)为128张SD-OCT图像所合成的二维投影图；

同时，利用霍夫圆检测的方法可以分割出彩色眼底图中的视盘；

S2.对步骤S1得到的彩色眼底图和二维投影图进行配准，从而得到二维投影图上的视盘轮廓；具体为提取出彩色眼底图和二维投影图中的FAST特征点，然后利用RPM-PIIFD方法进行特征点匹配并选择匹配对，并配准彩色眼底图和二维投影图，从而得到投影图中的视盘轮廓；

S3.将步骤S2得到的视盘轮廓投影到每一张OCT图像上，从而得到两条投影线；

S4.分割出OCT图像的RPE层，并将步骤S3得到的两条投影线与RPE层的交点作为BMO点的粗定位点；

在具体实施时，将OCT图像转换为一个带权有向图，并在带权有向图中找到一条最短路径，从而分割出OCT图像的RPE层；在带权有向图中，采用如下公式计算权重w_ab：

w_ab＝2-(g_a+g_b)+w_min

式中w_ab为连接结点a和结点b的边的权重，g_a为结点a所代表图像像素的垂直梯度，g_b为结点b所代表图像像素的垂直梯度，w_min为非零的最小边权重并用于避免除零错误，可以取值为10^-5；

同时，在得到RPE层的分割结果后，以两条视盘投影线和分割出的RPE层的交点作为BMO的粗定位点，如图3所示；其中，垂直的两条白线为二维投影图中视盘展开得到的结果，横向贯穿图3的白线即为BM层的分割结果，垂直的两条白线与横向线的交点即为BMO的粗定位点；

S5.在训练图像中，以已标定的BMO点为中心提取感兴趣区域，并在感兴趣区域中随机选取图像块作为训练数据训练识别网络；

在具体实施时，识别网络采用U-net网络；训练时利用镜像、旋转等数据扩充方法进一步扩大训练数据，同时为了保证网络输出的结果不仅准确度高，而且还尽可能保证是较为规范的圆形，在dice损失中加入了面积约束，并添加均方误差损失(Mean SquareError，MSE)以提高精度；因此，U-net网络采用如下算式作为损失函数Loss：

式中x为图像块Ω中的像素，p_x为每个图像块中预测区域的像素，g_x为每个图像块中训练标签的像素，

为预测区域的像素数量，

为训练标签的像素数量，n为图像块Ω中所包含的总像素数量；

如图4所示，图4(a)为感兴趣区域的提取示意图，图4(b)为标签转换的示意图；

S6.以步骤S4得到的BMO点的粗定位点为中心提取感兴趣区域，并在感兴趣区域提取图像块输入到步骤S5得到的训练好的识别网络；

S7.将步骤S6得到的识别结果进行后处理，并在每个感兴趣区域提取的图像块中选取一致性最好的图像块，作为最终的BMO定位区域；

训练好U-net网络后，以得到的粗定位点为中心提取感兴趣区域，在感兴趣区域中提取出左上，左下，右上，右下4个图像块，同时输入到网络中进行测试得到结果；为了选取一致性最好的结果，采用如下算式计算一致性：

式中，M_i为图像块i的一致性，S_i为第i个图像块的分割结果；Dice(S_i,S_j)为S_i和S_j的dice系数值且

k为指数参数并用于扩大一致结果的影响同时减小不一致结果的影响，取值范围为[5,8]；

S8.步骤S7得到的最终的BMO定位区域的几何中心即为最终的BMO定位点。

以下结合具体实施例对本发明方法的效果进行说明：

对比时，采集了30个样本数据，每个样本为128张OCT图像组成的体数据，并以专家手工标定的BMO点作为对应的Ground Truth。

基于本发明方法的步骤所述，圆的半径大小对方法的定位精度有影响，如图5所示，在实验中，设置圆形区域的半径为9像素。

本发明将提出的方法在不同的损失函数组成上进行对比，以测定点和GroundTruth的平均误差及网络的准确率作为评价标准。

表1 不同损失函数下的定位结果

从表1中可以看出，在其他条件相同的情况下，本发明提出的面积约束不管在准确率还是平均误差上都能提升BMO定位的结果。

本发明同样对提出的后处理方法进行了评估，以测定点和Ground Truth的平均误差作为评价标准。

表2 后处理方法对定位结果的影响

从表2中可以看出，本发明提出的后处理方法由于利用结果的一致性，能够排除一些误差较大的误分割结果，从而提升定位的精度。

本发明将提出的方法与现有的不同的BMO定位方法进行对比，包括层次约束的方法，图像块搜索的方法和机器学习与图论相结合的方法，以测定点和Ground Truth的平均误差和标准差作为评价标准。

表3 BMO定位结果对比

定位方法	平均误差(微米)	标准差(微米)
			层次约束方法	54.18	53.74
图像块搜索方法	67.00	42.00
			机器学习结合图论方法	49.28	16.78
本发明提出的方法	42.38	18.33

从表3中可以看出，本发明提出的方法在精确度上(平均误差42.38微米)要优于现有的三种不同方法，而在稳定性上，本方法的标准差是18.33微米，优于层次约束方法和图像块搜索方法，与机器学习和图论相结合的方法相近。图6在二维合成图上投影出了本发明方法的定位结果与专家手动定位的结果，从图中可以看出，本发明方法可以得到非常准确的分割结果，并与专家手动标定的结果相一致。

Claims (7)

1.一种OCT图像的BMO位置定位方法，包括如下步骤：

S1.将OCT体数据合成二维投影图，同时对彩色眼底图像进行视盘分割；

S2.对步骤S1得到的彩色眼底图和二维投影图进行配准，从而得到二维投影图上的视盘轮廓；

S3.将步骤S2得到的视盘轮廓投影到每一张OCT图像上，从而得到两条投影线；

S4.分割出OCT图像的RPE层，并将步骤S3得到的两条投影线与RPE层的交点作为BMO点的粗定位点；

S5.在训练图像中，以已标定的BMO点为中心提取感兴趣区域，并在感兴趣区域中随机选取图像块作为训练数据训练识别网络；所述的识别网络为U-net网络；U-net网络的的损失函数，具体为采用如下算式作为损失函数Loss：

式中x为图像块Ω中的像素，p_x为每个图像块中预测区域的像素，g_x为每个图像块中训练标签的像素，

为预测区域的像素数量，

为训练标签的像素数量，n为图像块Ω中所包含的总像素数量；

S6.以步骤S4得到的BMO点的粗定位点为中心提取感兴趣区域，并在感兴趣区域提取图像块输入到步骤S5得到的训练好的识别网络；

S7.将步骤S6得到的识别结果进行后处理，并在每个感兴趣区域提取的图像块中选取一致性最好的图像块，作为最终的BMO定位区域；

S8.步骤S7得到的最终的BMO定位区域的几何中心即为最终的BMO定位点。

2.根据权利要求1所述的OCT图像的BMO位置定位方法，其特征在于步骤S1所述的将OCT体数据合成二维投影图，具体为将SD-OCT图像按列相加并归一化，得到OCT图像的二维投影图。

3.根据权利要求2所述的OCT图像的BMO位置定位方法，其特征在于步骤S1所述的对彩色眼底图像进行视盘分割，具体为利用霍夫圆检测的方法，分割出彩色眼底图中的视盘。

4.根据权利要求3所述的OCT图像的BMO位置定位方法，其特征在于步骤S2所述的对得到的彩色眼底图和二维投影图进行配准，从而得到二维投影图上的视盘轮廓，具体为提取出彩色眼底图和二维投影图中的FAST特征点，然后利用RPM-PIIFD方法进行特征点匹配并选择匹配对，并配准彩色眼底图和二维投影图，从而得到投影图中的视盘轮廓。

5.根据权利要求4所述的OCT图像的BMO位置定位方法，其特征在于步骤S4所述的分割出OCT图像的RPE层，具体为将OCT图像转换为一个带权有向图，并在带权有向图中找到一条最短路径，从而分割出OCT图像的RPE层。

6.根据权利要求5所述的OCT图像的BMO位置定位方法，其特征在于所述的带权有向图中，采用如下公式计算权重w_ab：

w_ab＝2-(g_a+g_b)+w_min

式中w_ab为连接结点a和结点b的边的权重，g_a为结点a所代表图像像素的垂直梯度，g_b为结点b所代表图像像素的垂直梯度，w_min为非零的最小边权重并用于避免除零错误。

7.根据权利要求6所述的OCT图像的BMO位置定位方法，其特征在于步骤S7所述的选取一致性最好的图像块，具体为采用如下算式计算一致性：

式中，M_i为图像块i的一致性，S_i为第i个图像块的分割结果；Dice(S_i,S_j)为S_i和S_j的dice系数值且

k为指数参数并用于扩大一致结果的影响同时减小不一致结果的影响。

Images