CN102458222B - 图像处理设备和图像处理方法 - Google Patents

Abstract

一种图像处理设备，包括：边界提取部件，用于从被检眼的断层图像检测视网膜层边界；白斑提取部件，用于从被检眼的眼底图像提取白斑区域；配准部件，用于进行断层图像和眼底图像之间的配准，并计算断层图像和眼底图像之间的空间对应关系；指定部件，用于使用视网膜层边界、白斑区域和空间对应关系来指定断层图像中存在白斑的区域；可能性计算部件，用于针对所指定的区域计算白斑存在的可能性；以及断层图像白斑提取部件，用于使用可能性从所指定的区域提取断层图像中的白斑区域。

Description

图像处理设备和图像处理方法

技术领域

本发明涉及辅助眼部的图像诊断的图像处理设备、图像处理方法和计算机程序。 

背景技术

为了早期诊断生活方式相关的疾病和导致失明之前出现的各种疾病，通常进行眼部的检查。由于诸如OCT(光学相干断层成像)设备的用于眼部的断层图像摄像设备允许三维地观察视网膜层内部的状态，因而期望该断层图像摄像设备有效地进行更充分的疾病诊断。 

为了减少使用OCT的医生的诊断负担，需要使用计算机的CAD(计算机辅助诊断)技术。用于OCT的CAD所需的功能包括例如从OCT图像获取病变部的三维(3D)位置、形状和分布状态以把握疾病的进展程度的功能。所需功能的另一示例包括呈现与例如与在不同时间拍摄的同一被检眼的一组OCT图像相对应的病变部的形状相关联的时间变化的功能。 

实现这种高级诊断辅助功能的图像处理单元一般以在预处理中从OCT图像提取病变部为前提。因为要呈现的分析结果的精度受到病变部的提取精度的影响，因而高精度病变部提取处理的实现具有非常重要的意义。本发明关注作为眼部病变之一的白斑(exudate)。 

还没有提出过以高精度从3D OCT图像中检测白斑的方法。一般地，白斑具有比周围部分高的亮度和块状结构作为图像特征。然而，除了病变部以外，OCT图像还包括诸如神经纤维层、视细胞内节外节接合部和视网膜色素上皮层边界的周围部分等的局部高亮度的区域。当前的OCT图像的图像质量在病变部及其周围部分之间不具有足够的对比度。为此，难以通过仅关注上述图像特征来以高精度提取白斑。 

作为该问题的一个解决方案，使用通过其它形式获得的病变部的信息来预先限制要进行图像分析的区域。在日本特开2007-325831中公开了用于以这种方式指定要限制的区域的手段。 

图1是用于说明日本特开2007-325831所公开的发明的示意图，并示出OCT图像的典型截面图(B扫描图像)。图1示出内界膜101、视神经纤维层(视层)和其下层之间的边界102、视细胞内节外节接合部103、视网膜色素上皮层边界104以及视网膜层内的血管105。在日本特开2007-325831中，从同一被检眼的眼底图像提取血管区域，以检测OCT图像(非病变部)的血管，并将该位置投影至OCT图像上，从而指定OCT图像中存在血管的区域。从图1可以看出，虚线106和107之间的区域是通过将从眼底图像获得的血管区域投影至OCT图像上获得的区域，并指定血管存在的区域。 

发明内容

利用日本特开2007-325831中说明的发明，不能在图1所示的OCT图像(B扫描图像)的垂直方向上指定白斑存在范围。另外，由于OCT图像包括与病变部不同的高亮度区域，因而当前图像质量的OCT图像存在病变部和其周围部分之间的对比度不足的问题。因此，本发明提供一种用于以高精度从OCT图像提取病变部的技术。 

本发明的实施例的一个方面涉及图像处理设备，包括：边界提取部件，用于从被检眼的断层图像检测视网膜层边界；白 斑提取部件，用于从所述被检眼的眼底图像提取白斑区域；配准部件，用于进行所述断层图像和所述眼底图像之间的配准，并计算所述断层图像和所述眼底图像之间的空间对应关系；指定部件，用于使用所述边界提取部件所提取的视网膜层边界、所述白斑提取部件所提取的白斑区域和所述配准部件所计算出的空间对应关系来指定所述断层图像中存在白斑的区域；可能性计算部件，用于针对所述指定部件所指定的区域计算白斑存在的可能性；以及断层图像白斑提取部件，用于使用所述可能性从所述指定部件所指定的区域提取所述断层图像中的白斑区域。 

本发明的实施例的另一个方面涉及图像处理设备，包括：边界提取部件，用于从被检眼的断层图像检测视网膜层边界；指定部件，用于使用所述边界提取部件所提取的视网膜层边界来指定所述断层图像中存在白斑的区域；可能性计算部件，用于针对所述指定部件所指定的区域计算白斑存在的可能性；以及断层图像白斑提取部件，用于使用所述可能性从所述指定部件所指定的区域提取所述断层图像中的白斑区域。 

通过以下(参考附图)对典型实施例的说明，本发明的其它特征将变得明显。 

附图说明

图1是示出OCT图像的典型断层图像的图； 

图2是示出根据第一实施例的图像处理系统的设备配置的例子的框图； 

图3是示出根据第一实施例的图像处理设备210的功能配置的例子的框图； 

图4是示出根据第一实施例的图像处理设备210的处理的例 子的流程图； 

图5是用于说明根据第一实施例的白斑存在区域指定单元354的操作的图； 

图6是用于说明根据第二实施例的白斑存在可能性的计算的图； 

图7是示出实现图像处理设备210的功能的计算机的基本配置的框图； 

图8是用于说明眼底照片、视网膜体数据和积分图像之间的关系的图； 

图9是用于说明根据第三实施例的白斑提取的误判断的图； 

图10是用于说明根据第四实施例的白斑存在可能性的计算的图；以及 

图11是示出根据第四实施例的图像处理设备210的功能配置的例子的框图。 

具体实施方式

以下将参考附图详细说明用于实现本发明的最佳模式。然而，本发明的范围不限于所示出的例子。 

第一实施例

以下将参考图2说明根据第一实施例的图像处理系统的设备配置。图像处理设备210对断层图像摄像设备220和眼底图像摄像设备230所拍摄的图像以及数据服务器240中存储的图像进行图像处理。图3示出图像处理设备210的详细配置。断层图像摄像设备220获得眼部的断层图像，并且包括例如时间域OCT或傅立叶域OCT。断层图像摄像设备220根据操作者(技师或医生，未示出)的操作来三维地获得被检者(患者，未示出)的眼部的断层图像。将所获取的断层图像发送至图像处理设备210和数 据服务器240。 

眼底图像摄像设备230拍摄眼底部的二维(2D)图像。眼底图像摄像设备230根据操作者(技师或医生，未示出)的操作来二维地拍摄被检者(患者，未示出)的眼底部的图像。将所获取的眼底图像发送至图像处理设备210和数据服务器240。数据服务器240存储断层图像摄像设备220所获取的断层图像和眼底图像摄像设备230所拍摄的眼底图像。响应于来自图像处理设备210的请求或来自操作者(技师或医生，未示出)的指示将所存储的各图像发送至图像处理设备210。而且，数据服务器240存储从图像处理设备210输出的处理结果。局域网(LAN)250互连上述设备。注意，可以经由诸如USB、IEEE1394或光纤等的接口来连接这些设备。 

以下将参考图3所示的框图和图4所示的流程图来说明图像处理设备210中的处理。当构成图像处理设备210的各块执行相应的处理程序时实现该处理。 

在步骤S401中，断层图像获取单元310获取从断层图像摄像设备220发送来的断层图像或从数据服务器240发送来的断层图像。断层图像获取单元310将所获取的断层图像发送至存储单元340。在步骤S402中，眼底图像获取单元320获取从眼底图像摄像设备230发送来的眼底图像或从数据服务器240发送来的眼底图像。眼底图像获取单元320将所获取的图像发送至存储单元340。 

在步骤S403中，视网膜层边界提取单元351从存储单元340中保持的断层图像中提取视网膜层的边界。由于视网膜层针对各层具有不同的层内亮度值，因而在两个相邻层之间的边界处生成浓度值的差异(边缘)。因此，通过关注该差异来提取层边界。可以使用提取包括该差异的区域的各种方法。例如，将该 差异认为是边缘，并且可以通过检测边缘来实现层边界提取。更具体地，通过将边缘检测滤波器应用至断层图像来检测边缘成分，并且从玻璃体侧在眼底的深度方向上搜索边缘。然后，检测最初的峰位置作为玻璃体和视网膜层之间的边界，并且检测最后的峰位置作为视网膜色素上皮层边界。可以使用诸如Snake或水平集(level set)法等的活动轮廓法来检测层边界。在水平集法的情况下，定义比要检测的区域的维数高一维的水平集函数，并且将要检测的层边界看作为零水平线。通过更新水平集函数来控制轮廓，由此检测层边界。另外，可以使用诸如GraphCut等的图形理论来检测层边界。 

在使用图形理论的层检测处理的情况下，设置与图像的各像素相对应的节点以及称为sink和source的端子，并对在节点之间连接的边缘(n-link)和在端子之间连接的边缘(t-link)进行设置。通过基于对这些边缘进行加权所创建的图计算最小切割来检测层边界。可以将以上层边界提取方法中的任一方法三维地应用至作为要处理的对象的整个3D断层图像，或者可以在将所输入的3D断层图像看作为一组2D断层图像的情况下将以上的层边界提取方法中的任一方法单独地应用至各2D断层图像。注意，检测层边界的方法不限于这些方法，并且可以使用任意其它方法，只要该方法可以从眼部的断层图像检测层边界即可。 

在步骤S404中，眼底图像白斑提取单元352从存储单元340中保持的眼底图像提取白斑。作为图像特征，白斑区域局部地存在于眼底图像中，并具有比周围区域高的亮度。由此，通过关注这些图像特征来提取白斑。可以使用各种提取方法。例如，可以使用对眼底图像的R、G和B成分之一应用Tophat运算的方法。Tophat运算计算原始图像和通过将形态运算(morphological operation)应用至浓度图像而获得的输出图像之间的各像素的 浓度值差。在应用Tophat运算之后的图像中，由于白斑中包括的像素具有比其它像素高的信号，因而可以通过将阈值处理应用至该图像来提取白斑区域。 

作为另一白斑区域提取方法，可以使用诸如支持向量机(SVM)等的识别器和由例如AdaBoost构建的识别器集合。在该情况下，使用识别器或其集合、基于各种图像滤波器的输出结果作为特征量来判断各像素是否属于白斑，其中，该图像滤波器可以增强眼底图像的R、G和B成分的浓度值或者R、G和B成分的亮度对比度高的区域。此外，对被判断为属于白斑的所有像素进行聚类处理以识别各类是否属于白斑区域。此时，使用各类中的亮度的平均值或方差、或者各类内部和外部的区域之间的亮度对比度来作为特征量。利用上述处理，可以提取白斑区域。当通过白斑提取处理所提取的区域不充分包括白斑时，应用针对提取结果的图形膨胀处理或使用所提取的区域作为种子(种子点)的区域扩张法，以获取充分包括白斑的区域。注意，从眼底图像提取白斑的方法不限于这些方法，并且可以使用任意其它方法，只要该方法可以从眼底图像中提取白斑即可。 

在步骤S405中，配准单元353进行存储单元340中保持的断层图像和眼底图像之间的配准。从断层图像生成积分图像。以下将参考图8说明积分图像的生成。参考图8，视网膜体数据801包括多个视网膜断层图像802。作为视网膜体数据801的坐标系统，将各视网膜断层图像802(模式图)的横向方向定义为x轴，将纵向方向定义为y轴，并将视网膜断层图像802的配置方向定义为z轴。具体地，将沿着y轴的方向称为A扫描线，将x-y平面称为B扫描截面，并将x-z平面称为C扫描截面。作为眼底图像821的坐标系统，将横向方向定义为X轴，并将纵向方向定义为Y轴。附图标记804表示内界膜；附图标记805表示神经纤维层 的下侧；附图标记806表示外从状层的上侧；以及附图标记807表示视网膜色素上皮层的下侧。将视网膜层803定义为存在于夹在内界膜804和视网膜色素上皮层的下侧边界之间的组织中的层。 

通过在Z轴方向上对视网膜体数据801的体素(voxel)的亮度值进行积分来生成积分图像811。更具体地，假定与断层图像的C扫描截面平行的投影平面，并且针对视网膜断层图像802的各A扫描线将浓度值投影至投影平面上的相应的像素上。要投影的像素值的计算方法可以使用计算各A扫描线上的体素值的最大值或最小值的方法、将A扫描线方向上的体素值简单相加的方法、或者通过将体素值的和除以相加数来计算平均值的方法。而且，不需要考虑各A扫描线上的所有体素，并且可以在任意范围内计算要投影的像素值。 

接着，从积分图像811和眼底图像821中提取具有解剖学特征的区域。作为典型的解剖学特征之一，本实施例关注于血管。由于血管具有细的线状结构，因而使用增强线状结构的滤波器来提取血管。作为增强线状结构的滤波器，可以使用诸如Sobel滤波器或Laplacian滤波器等的差分滤波器。可选地，可以使用基于对比度的线段增强滤波器，其计算假定为结构要素的线段中的图像浓度值的平均值和围绕结构要素的局部区域中的平均值之间的差。可选地，针对浓度值图像的各像素计算Hessian矩阵的特征值，并且基于作为结果而获得的两个特征值的组合来提取线状区域。此外，可以进行简单地具有作为结构要素的线段的Tophat运算。在图8中，从积分图像811中提取眼底的血管区域812，并且从眼底图像821中提取血管区域822。 

最后，使用分别从积分图像811和眼底图像821提取的血管区域812和822来配准眼底图像821的坐标系统(X，Y)和积分图 像811的坐标系统(x，z)，从而计算断层图像802和眼底图像821之间的空间对应关系。注意，血管投影区域808是具有视网膜断层图像802的坐标(x，z)的像素区域。在进行配准时，预先定义表示两个图像之间的相似度的评价值，并且使图像变形以获得最佳的评价值。作为评价值，即表示通过以上处理获得的积分图像血管区域812和眼底图像血管区域822之间的重叠程度的值，可以使用当关注具有诸如血管的分支部等的特征几何形状的区域时的相应的界标(landmark)之间的距离等。在该实施例中，使用血管作为具有解剖学特征的区域。可选地，可以使用诸如视神经乳头区域等的其它解剖学特征或由疾病引起的白斑或出血区域。此外，代替仅关注诸如血管等的解剖学特征，可以使用从整个图像计算得到的评价值，例如亮度值的均方误差、相关系数或互信息量。注意，当已经通过公知技术配准了断层图像和眼底图像时，可以省略该步骤S405。 

在步骤S406中，白斑存在区域指定单元354指定断层图像中可能存在白斑的区域。通过使用视网膜层边界提取单元351所获得的视网膜层的边界的提取结果、眼底图像白斑提取单元352所获得的眼底图像上的白斑的提取结果、以及配准单元353所获得的断层图像和眼底图像之间的空间对应关系来指定该区域。 

以下将参考图5说明白斑存在区域指定单元354的操作。图5示出将存储单元340中保持的断层图像的B扫描图像的一个典型切片与视网膜层边界提取单元351获得的视网膜层的边界的提取结果相重叠而获得的图像。参考图5，附图标记501表示内界膜；附图标记514表示视神经纤维层和其下侧的层之间的边界；附图标记502表示视细胞内节外节接合部；以及附图标记503表示视网膜色素上皮层边界。而且，附图标记504表示白斑。此 外，附图标记505表示视网膜层边界提取单元351所获得的内界膜的提取结果；以及附图标记506表示视网膜层边界提取单元351所获得的视网膜色素上皮层边界的提取结果。 

本发明的白斑存在可能性是针对断层图像中的各像素而定义的值，并表示示出像素是否属于白斑的可能性。更具体地，较高的可能性表示像素属于白斑，并且较低的可能性表示像素不属于白斑。仅在期望充分包括白斑的局部区域中定义存在可能性。在步骤S406中，设置该局部区域。使用从眼部的断层图像提取的视网膜层的边界和从眼底图像提取的白斑区域来设置该局部区域。以下将说明定义该局部区域所需的4个边界线段507、508、509和510的设置。 

在与A扫描线垂直的方向(图5中的X轴方向)上定义局部区域所需的两个线段507和508定义通过将从眼底图像提取的白斑区域投影到断层图像上而获得的白斑区域的相应区域的边界。在与A扫描线平行的方向(图5中的Y轴方向)上的上侧的边界线段509定义从断层图像提取的内界膜505的上述边界线段507和508所分隔的区域中的线段。在图5中，边界线段509由粗实线表示，其表示由虚线表示的内界膜提取结果的边界线段507和508所分隔的部分。最后，在确定与A扫描线平行的方向(图5中的Y轴方向)上的下侧的边界线段510时，不能简单地使用视网膜色素上皮层边界的提取结果。这是因为，在眼部的断层图像中位于白斑下侧的视细胞内节外节接合部和视网膜色素上皮层具有比周围区域低的亮度，如图5所示。在这种情况下，当将白斑区域错误地提取为视网膜色素上皮层边界并且简单使用该结果时，不能设置充分包括白斑的区域。 

为了解决这个问题，根据本发明，使用由边界线段507和508所包围的区域附近的视网膜色素上皮层边界的提取结果p_RPE1 509和p_RPE2510来定义边界线段510。更具体地，通过使用已知的插值方法在p_RPE1和p_RPE2之间进行插值来生成线段，并且该线段用作边界线段510。在该实施例中，内界膜的提取结果505和视网膜色素上皮层边界的提取结果506用于确定边界线段509和510。然而，可以在该实施例中使用的视网膜层的边界的提取结果不限于此。例如，可以使用视神经纤维层和其下侧的层之间的边界514的提取结果以及视细胞内节外节接合部502的提取结果。 

在步骤S407中，白斑存在可能性计算单元355计算由白斑存在区域指定单元354所获取的边界线段507、508、509和510所包围的局部区域中的各像素的白斑存在可能性。一般公知地，白斑存在于外从状层和视细胞内节外节接合部之间。根据本发明，基于该解剖学的知识来分配存在可能性。可以使用存在可能性的各种设置方法。在该实施例中，根据插值所获取的线段510来估计最可能存在白斑的位置，并基于该结果来分配可能性。更具体地，将从边界线段510上的各像素沿着A扫描线向上离开预定距离D_RPE-EXUDATE的位置513定义为解剖学上存在白斑的位置。可以根据在包括白斑的典型情况中的从白斑到视网膜色素上皮层边界的代表距离值来确定值D_RPE-EXUDATE。而且，可以基于从外从状层和视细胞内节外节接合部之间的中间位置到视网膜色素上皮层边界的平均距离值来计算值D_RPE-EXUDATE。 

将估计为最可能存在白斑的位置p_EXUDATE用作基准位置，并将可能性设置为：在离基准位置的预定范围内为1，并在该范围外为0，由以下式子给出： 

$C\left(p\right)=\left\{\begin{array}{cc}0& \left(\right|p-p_{\mathrm{EXUDATE}}|\≤h_{\mathrm{EXUDATE}})\\ 1& \left(\right|p-p_{\mathrm{EXUDATE}}|>h_{\mathrm{EXUDATE}})\end{array}\right....\left(1\right)$

其中，p表示A扫描线上的特定体素的坐标，并且p_EXUDATE 表示被估计为在A扫描线上最可能存在白斑的位置513的坐标。而且，h_EXUDATE是白斑的大小(离白斑的重心的距离值)的平均值，并且根据预先获取的多个断层图像中包括的白斑区域来获取h_EXUDATE。在式子(1)中，通过二值(0或1)来定义可能性。然而，可以通过大于或等于0且小于或等于1的多值来给出可能性。由Gaussian函数定义可能性，由以下式子给出： 

C(p)＝exp(-(p-p_EXUDATE))²...(2) 

可选地，可能性可以取简单地与离基准位置513的距离值成反比的值，或者可以设置为与该距离值的平方成反比的值，由以下式子给出： 

$C\left(p\right)=\frac{1}{|p+p_{\mathrm{EXUDATE}}|+1}...\left(3\right)$

$C\left(p\right)=\frac{1}{{(p-p_{\mathrm{EXUDATE}})}^2+1}...\left(4\right)$

此外，可以使用诸如点集中度滤波器(point convergence index filter)的滤波器输出值等的图像特征量作为存在可能性，或者可以基于与线段509的组合来设置可能性。 

在步骤S408中，断层图像白斑提取单元356基于白斑存在可能性计算单元355所获取的白斑存在可能性来提取白斑。属于白斑的体素在断层图像中具有相对高的亮度，并且整个白斑在断层图像中具有块状结构。使用这些图像特征和存在可能性来提取白斑。令I(p)为体素p的断层图像亮度，并且令C(p)为存在可能性。而且，令F(p)为作为增强具有块状结构的区域的滤波器之一的点集中度滤波器的滤波器输出值。 

$F\left(p\right)=\underset{R_1\≤r\≤R_2}{\max }\underset{v\∈V^{[r,D]}}{\mathrm{\Σ}}v\·g(p+v)...\left(5\right)$

其中，v是表示由具有半径r和r+D的两个同心圆所定义的环 中的各体素的方向向量的集合V^[r，D]的一个要素，并且g(p+v)是体素p+v处的断层图像的亮度梯度向量。而且，“·”表示两个向量的内积。R₁和R₂是两个同心圆中内侧同心圆的半径，并且可以通过在改变同心圆的半径的情况下应用点集中度滤波器来提取具有不同大小的白斑。注意，作为增强具有块状结构的区域的滤波器，可以使用Tophat运算的输出结果，并且可以使用基于关注的体素p作为中心的圆及其周围区域的亮度差而获得的亮度对比度。此外，这些滤波器可以是可以独立地应用至断层图像的各B扫描图像的2D滤波器，或者可以是可以应用至整个断层图像的3D滤波器。然后，通过对C(p)、I(p)和F(p)中的至少一个值应用阈值处理来提取白斑区域R_EXUDATE。本实施例将说明使用所有C(p)、I(p)和F(p)的例子。 

R_EXUDATE＝{p∈V_OCT|C(p)＝T_C，I(p)≥T_I，F(p)≥T_F}...(6) 

其中，V_OCT表示包括断层图像中的体素作为要素的集合。可以根据利用预先获取的多个断层图像的预备实验来确定T_C、T_I和T_R。更具体地，计算在给定作为T_C、T_I和T_R的一组值时的白斑的未提取率E_FN和误提取率E_FP。通过使用计算结果，计算出评价值E，由以下式子定义： 

E＝E_FN+E_FP...(7) 

在改变T_C、T_I和T_R的情况下计算评价值E。可以最小化E的T_C、T_I和T_R用作式子(6)的阈值。白斑提取方法不限于针对C(p)、I(p)和F(p)的阈值处理。更具体地，可以使用具有C(p)、I(p)和F(p)作为特征量的SVM或AdaBoost来建立识别器，并且可以使用所获得的识别器来实现白斑提取。在该情况下，进一步添加多个特征量。例如，可以添加针对断层图像和存在可能性图像的平均值、方差、失真度、峰度、熵、Sobel滤波器、Laplacian滤波器、Gaussian滤波器、最大值滤波器和最小值滤波器。而 且，可以使用作为这些特征量的组合的滤波器的输出值作为特征量。 

在步骤S409中，显示单元360在监视器上显示断层图像获取单元310所获取的断层图像、眼底图像获取单元320所获取的眼底图像以及图像处理单元350所获得的白斑区域。在步骤S410中，处理结果输出单元370将识别被检眼所需的信息、输入至图像处理单元350的断层图像和眼底图像、以及图像处理单元350所获得的白斑区域发送至数据服务器240。 

根据上述配置，图像处理系统使用从OCT断层图像获取的视网膜层的边界的提取结果和从眼底图像获取的白斑提取结果来指定更可能存在白斑的区域。然后，系统确定该区域中的存在可能性。最后，系统基于存在可能性和从OCT断层图像获得的图像特征来提取白斑。结果，可以以高精度提取白斑区域。 

第二实施例

该实施例将说明以下修改的例子：基于对视网膜层边界之间的距离和存在可能性之间的相关信息的在先知识来设置第一实施例的步骤S407中的白斑存在可能性。与该实施例相对应的图像处理系统的设备配置与图2和图3所示相同。在第一实施例中，将最高存在可能性分配给离视网膜色素上皮层边界给定距离D_RPE-EXUDATE的位置，并且离该位置的距离越大，分配越小的存在可能性。然而，内界膜-视网膜色素上皮层边界间距离根据被检者而变化。即使在同一被检者中，该距离也根据眼底内的位置而变化。为此，上述存在可能性设置方法不能合适地将可能性分配给存在白斑的位置。因此，在该实施例中，预先从多个被检眼中获取内界膜-视网膜色素上皮层边界间距离和存在可能性之间的关系，并将这些信息存储在数据服务器240中。即，数据服务器240将内界膜和视网膜色素上皮层边界之间的各像 素的可能性的多个集合与内界膜-视网膜色素上皮层边界间距离相关联地进行存储。在计算没有存储在数据服务器240中的针对新的被检眼的存在可能性时，白斑存在可能性计算单元355使用存储在数据服务器240中的内界膜-视网膜色素上皮层边界间距离和存在可能性之间的关系。 

从预先存储的大量断层图像获取内界膜-视网膜色素上皮层边界间距离和存在可能性之间的相关信息的在先知识。最初，手动提取各断层图像中的白斑存在区域。与穿过所提取的区域的各A扫描线相关联地测量内界膜-视网膜色素上皮层边界间距离。利用以上处理，可以获取内界膜-视网膜色素上皮层边界间距离和表示在A扫描线上属于白斑的体素的一维标签图像(包括属于白斑的体素的值“1”和作为其它体素值的值“0”的图像)。 

在通过对所有断层图像应用以上处理来获取内界膜-视网膜色素上皮层边界间距离和白斑标签图像之后，计算内界膜-视网膜色素上皮层边界间距离和白斑存在位置之间的相关性。更具体地，与具有距离值d作为内界膜-视网膜色素上皮层边界间距离的A扫描线上的标签图像L^[d] _i(p)相关联地针对各体素计算标签值的平均M^[d](p)，由以下式子给出： 

$M^{\left[d\right]}\left(p\right)=\frac{\underset{i\∈S_d}{\mathrm{\Σ}}{L}_i^{\left[d\right]}\left(p\right)}{N^{\left[d\right]}}...\left(8\right)$

其中，S_d是表示具有距离值d作为内界膜-视网膜色素上皮层边界间距离的A扫描线上的标签图像的标引的集合，并且i表示特定标引。而且，N^[d]是具有距离值d的A扫描线的数量。将通过式子(8)所获得的标签值的平均M^[d](p)定义为具有距离值d的A扫描线上的白斑存在可能性。 

以下将参考图6说明计算白斑存在可能性的步骤S407。针对穿过局部区域的各A扫描线计算步骤S406中获取的边界线段509和510之间的距离D_ILM-RPE。图6具体地示出特定A扫描线605，并且该A扫描线605和内界膜之间的交点606与A扫描线605和视网膜色素上皮层边界之间的交点607之间的距离是D_ILM-RPE。接着，从数据库获取在内界膜和视网膜色素上皮层边界之间的距离是D_ILM-RPE时的A扫描线上的各体素处的白斑存在可能性M^[DILM-RPE](p)。将所获取的白斑存在可能性代入相应的体素p。通过对穿过局部区域的所有A扫描线进行这些操作，可以在局部区域中的所有体素中设置白斑存在可能性。 

在该实施例中，基于与内界膜-视网膜色素上皮层边界间距离和白斑存在位置相关联的相关信息来设置白斑存在可能性。然而，可以使用其它解剖学信息。例如，可以使用断层图像中的离黄斑的距离值r。在该情况下，白斑存在可能性是基于离黄斑的距离值r确定的值M^[r](p)。此外，可以组合两个参数d和r，并且在该情况下的存在可能性是基于d和r确定的值M^[d，r](p)。在该实施例中，使用内界膜-视网膜色素上皮层边界间距离作为视网膜层边界之间的距离。然而，可以在该实施例中使用的视网膜层边界之间的距离不限于该特定距离。例如，可以使用视神经纤维层和其下面的层的边界608与视细胞内节外节接合部602之间的距离。 

根据上述配置，可以在不受被检者之间的内界膜-视网膜色素上皮层边界间距离的不同和同一被检者中的眼底中的距离的不同的影响的情况下实现高精度的白斑提取。 

第三实施例

本实施例将说明做出与图4的步骤S408中的断层图像中通过白斑提取而提取的区域有关的误提取判断的例子。在步骤 S406中，除了使用视网膜层提取结果以外还使用从眼底图像获取的白斑区域来限制要应用白斑提取处理的区域。为此，当将除了眼底图像中的白斑以外的区域错误地提取为白斑时，将白斑提取处理不期望地应用至断层图像中不存在白斑的区域。以下将详细说明本实施例。 

图9是用于说明上述误提取的图。参考图9，附图标记901表示内界膜；附图标记910表示视神经纤维层和其下面的层之间的边界；附图标记902表示视细胞内节外节接合部；以及附图标记903表示视网膜色素上皮层边界。而且，附图标记904表示视网膜层边界提取单元351所获得的内界膜的提取结果，以及附图标记905表示视网膜层边界提取单元351所获得的视网膜色素上皮层边界的提取结果。当从眼底图像错误地提取不存在白斑的区域时，在步骤S406中将不存在白斑的正常的区域设置为可能存在白斑的区域，并且在步骤S407中在该区域中设置白斑存在可能性，如图9中的线906和907所包围的区域所示。结果，在步骤S408中提取白斑时，可能将视神经纤维层(图9中的线901和910包围的区域)的一部分908或由视细胞内节外节接合部和视网膜层的边界所包围的区域的一部分909错误地提取为白斑。由于在步骤S408中将具有球形块状结构的区域提取为白斑，因而不可能错误地提取具有这种层结构的区域，但是难以防止所有的误提取。 

由此，判断在步骤S408中提取的区域是否是误提取的区域。如果判断为所提取的区域是误提取的区域，则删除该区域，并且该区域不包括在白斑区域中。更具体地，针对各所提取的连接区域计算连接像素数，并且将连接像素数与连接阈值进行比较。如果连接像素数小于连接阈值，则将该区域判断为小的区域，并删除该区域。另一方面，对于连接像素数等于或大于 连接阈值的区域，针对各区域计算圆度，并且将具有比预定程度低的圆度的区域判断为误提取的区域并删除该区域。代替使用圆度，可以计算针对B扫描图像的Hessian矩阵的特征值，可以基于特征值的组合来判断连接区域是否具有圆形的浓度值，并且可以使用判断结果来删除误提取的区域。注意，可以将本实施例应用至与像晶簇一样的、具有与眼底图像中的白斑类似的特征但是具有断层图像中的不同图像特征的区域有关的白斑误提取。 

根据上述配置，该实施例可以抑制白斑提取中的误提取，并且可以以高精度实现白斑提取。 

第四实施例

根据上述实施例的图像处理设备210使用从断层图像提取的视网膜层的边界和从眼底图像提取的白斑区域来指定更可能存在白斑的区域。在该区域内，计算白斑存在可能性，并且最终基于白斑存在可能性和图像特征从断层图像中提取白斑。根据本实施例的图像处理设备限制白斑提取处理对象区域，基于解剖学知识来计算存在可能性，并基于存在可能性和图像特征来提取白斑，如第一实施例中一样。然而，在第一实施例中，在限制白斑提取处理对象区域时，除了使用断层图像视网膜层提取结果以外还使用通过将从眼底图像提取的白斑区域投影到断层图像上所获得的投影区域。与之相对地，本实施例不使用诸如眼底图像的2D图像，而仅使用断层图像视网膜层提取结果来限制对象区域。 

以下将参考图11说明根据本实施例的图像处理设备210的功能配置。图11是图像处理设备210的功能框图。图像处理设备210包括断层图像获取单元1110、指示获取单元1120、存储单元1130、图像处理单元1140、显示单元1150和处理结果输出单元 1160。此外，图像处理单元1140包括视网膜层边界提取单元1141、白斑存在区域指定单元1142、白斑存在可能性计算单元1143和断层图像白斑提取单元1144。由于除了白斑存在区域指定单元1142以外的所有单元与根据第一实施例的图像处理设备210的功能配置相同，因而将不再重复其说明。白斑存在区域指定单元1142根据从视网膜层边界提取单元1141输出的视网膜层提取结果来指定断层图像中可能存在白斑的区域。 

以下将说明本实施例的图像处理设备210的处理序列。可以通过执行图4所示的流程图中的步骤S401、S403、S406、S407和S408～S410来实现本实施例中的处理。在这些步骤中，步骤S401、S403和S408～S410具有相同的处理内容。以下将说明与本实施例相对应的步骤S406和S407中的处理。 

在步骤S406中，白斑存在区域指定单元1142根据视网膜层边界提取单元1141所获取的视网膜层的边界信息来指定可能存在白斑的区域。以下将参考图10说明在该情况下的白斑存在区域指定方法。参考图10，附图标记1001表示内界膜；附图标记1008表示视神经纤维层和其下面的层之间的边界；附图标记1002表示视细胞内节外节接合部；以及附图标记1003表示视网膜色素上皮层边界。附图标记1004表示白斑。此外，附图标记1005表示视网膜层边界提取单元1141所获得的内界膜的提取结果；以及附图标记1006表示视网膜层边界提取单元1141所获得的视网膜色素上皮层边界的提取结果。 

在本实施例中，在具有视网膜层边界提取单元1141所获得的内界膜的提取结果1005和视网膜色素上皮层边界的提取结果1006作为边界的区域中定义白斑存在可能性。基于“白斑存在于外从状层和视细胞内节外节接合部之间”的解剖学知识，将存在可能性分配给该区域中的体素。最初，基于内界膜的提取结果 1005和视网膜色素上皮层边界的提取结果1006针对B扫描图像中的各A扫描线来确定最可能存在白斑的位置1007。图10示出连接最可能存在白斑的位置的线段作为位置1007。注意，可以考虑内界膜的提取结果1005和视网膜色素上皮层边界的提取结果1006不充分包括白斑的可能性来设置内界膜的提取结果1005的上侧和视网膜色素上皮层边界的提取结果1006的下侧的略微较宽的区域。在本实施例中，使用内界膜的提取结果1005和视网膜色素上皮层边界的提取结果1006作为指定白斑存在区域所需的视网膜层的边界的提取结果。然而，在本实施例中可以使用的视网膜层的边界的提取结果不限于这些特定提取结果。例如，可以使用视神经纤维层和其下侧的层之间的边界1008的提取结果和视细胞内节外节接合部1002的提取结果。 

在步骤S407中，白斑存在可能性计算单元1143计算白斑存在区域指定单元1142所获取的最可能存在白斑的位置1007周围的各像素的白斑存在可能性。如一般公知的，白斑存在于外从状层和视细胞内节外节接合部之间。根据本发明，基于该解剖学知识来分配存在可能性。本实施例可以使用位置1007作为第一实施例的图5中的位置513、如第一实施例那样计算白斑存在可能性。 

根据上述配置，图像处理系统仅使用最初从OCT断层图像获取的视网膜层的边界的提取结果来指定较可能存在白斑的区域。然后，系统基于视网膜层的边界的提取结果来确定该区域中的存在可能性。最后，系统基于存在可能性和从OCT断层图像获得的图像特征来提取白斑。结果，可以以高精度提取白斑区域。 

其它实施例

上述实施例将本发明实现为图像处理设备。然而，本发明 的实施例不仅限于图像处理设备，本实施例将本发明实现为在计算机上运行的软件。 

图7是示出用于将图像处理设备210的各单元的功能实现为软件的计算机的基本配置的框图。CPU 701使用RAM 702和ROM 703中存储的程序和数据来控制整个计算机。而且，CPU701通过控制与图像处理设备210的各单元相对应的软件程序的执行来实现各单元的功能。RAM 702包括用于临时存储从外部存储装置704加载的程序和数据的区域，和CPU 701执行各种处理所需的区域。通过RAM 702等实现存储单元340的功能。ROM703一般存储计算机的BIO S和设置数据等。 

外部存储装置704用作诸如硬盘驱动器等的大容量信息存储装置，并存储操作系统和CPU 701所执行的计算机程序。外部存储装置704存储本实施例的说明中给出的信息，并根据需要将该信息加载到RAM 702上。监视器705由例如液晶显示器构成。例如，监视器705可以显示从显示单元360输出的内容。键盘706和鼠标707是输入装置。操作者可以使用这些输入装置将各种指示输入图像处理设备210。经由这些输入装置实现指示获取单元330的功能。接口708用于在图像处理设备210和外部设备之间交换各种数据，并且由例如光纤、IEEE 1394、USB或以太网 端口构成。将经由接口708获取的数据取入至RAM 702中。经由接口708实现断层图像获取单元310、眼底图像获取单元320和处理结果输出单元370的功能。经由总线709互连上述组件。 

还可以利用读出并执行记录在存储器装置上的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等装置)和通过下面的方法实现本发明的方面，其中，利用系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序 以进行上述实施例的功能来进行上述方法的步骤。为此，例如，通过网络或者通过用作存储器装置的各种类型的记录介质(例如，计算机可读介质)将该程序提供给计算机。 

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。 

本申请要求于2009年6月2日提交的日本专利申请2009-133453的优先权，其全部内容通过引用包含于此。 

Claims (8)

1.一种图像处理设备，包括：

边界提取部件，用于从被检眼的断层图像检测视网膜层边界；

白斑提取部件，用于从所述被检眼的眼底图像提取白斑区域；

配准部件，用于进行所述断层图像和所述眼底图像之间的配准，并计算所述断层图像和所述眼底图像之间的空间对应关系；

指定部件，用于使用所述边界提取部件所提取的视网膜层边界、所述白斑提取部件所提取的白斑区域和所述配准部件所计算出的空间对应关系来指定所述断层图像中存在白斑的区域；

可能性计算部件，用于针对所述指定部件所指定的区域计算白斑存在的可能性；以及

断层图像白斑提取部件，用于使用所述可能性从所述指定部件所指定的区域提取所述断层图像中的白斑区域。

2.根据权利要求1所述的图像处理设备，其特征在于，所述指定部件通过使用所述空间对应关系将所述白斑提取部件所提取的白斑区域投影到所述断层图像上来确定所述断层图像中的与从所述眼底图像提取的白斑区域相对应的区域，以及

所述指定部件基于该相对应的区域及其周围区域中包括的视网膜层边界来指定所述断层图像中存在白斑的区域。

3.一种图像处理设备，包括：

边界提取部件，用于从被检眼的断层图像检测视网膜层边界；

指定部件，用于使用所述边界提取部件所提取的视网膜层边界来指定所述断层图像中存在白斑的区域；

可能性计算部件，用于针对所述指定部件所指定的区域计算白斑存在的可能性；以及

断层图像白斑提取部件，用于使用所述可能性从所述指定部件所指定的区域提取所述断层图像中的白斑区域。

4.根据权利要求1～3中任一项所述的图像处理设备，其特征在于，所述可能性计算部件根据离基准位置的距离来计算所述可能性，其中所述基准位置是基于所述指定部件所指定的区域中的视网膜层边界而确定的。

5.根据权利要求3所述的图像处理设备，其特征在于，所述可能性计算部件通过从将存在于视网膜层边界之间的各像素的可能性的集合与视网膜层边界之间的距离相关联存储的数据服务器中，获取与所述指定部件所指定的区域中的视网膜层边界之间的距离相对应的所述可能性的集合，来确定所指定的区域中的像素的可能性。

6.根据权利要求1～3中任一项所述的图像处理设备，其特征在于，所述断层图像白斑提取部件提取所述指定部件所指定的区域中包括的具有大于相关阈值的可能性的各像素作为所述断层图像中的白斑区域。

7.根据权利要求1～3中任一项所述的图像处理设备，其特征在于，所述断层图像白斑提取部件除了使用所述可能性来提取所述断层图像中的白斑区域以外，还使用像素的亮度和用于对亮度高于周围区域的区域进行增强的滤波器的输出值至少之一来提取所述断层图像中的白斑区域，从而与所述可能性以及所述亮度和所述滤波器的输出值至少之一相关联地来提取大于相关阈值的像素作为所述断层图像中的白斑区域。

8.根据权利要求1～3中任一项所述的图像处理设备，其特征在于，当在通过连接被提取为白斑的像素而获得的连接区域中、连接像素数小于连接阈值或者圆度小于预定程度时，所述断层图像白斑提取部件不将所述连接区域提取为所述断层图像中的白斑区域。