CN104137145A - 图像处理设备、眼科摄像系统和图像处理方法 - Google Patents

Abstract

一种图像处理设备，其包括：识别单元，用于在包括自适应光学系统的眼科摄像设备所拍摄的眼底图像上，识别与血细胞的运动有关的区域；以及获取单元，用于在所识别的区域中，获取与在从前眼部侧观看时、位于认出所述血细胞的运动的位置的背侧的组织有关的信息。

Description

图像处理设备、眼科摄像系统和图像处理方法

技术领域

本发明涉及一种可以处理包括被检体的血管的图像、并且输出与目标组织有关的信息的图像处理设备。此外，本发明涉及一种眼科摄像系统和图像处理方法。

背景技术

通常已知：在以非侵入性的方式对人体的目标组织进行摄像来进行图像分析时，与其他区域相比，血管区域对于测量光束具有不利影响。在位于血管下方的区域中，图像质量或者分辨率趋于降低。例如，在利用自适应光学系统校正眼部的像差的同时、利用测量光束扫描眼部的自适应光学扫描激光器检眼镜(AO-SLO)中，血管区域对于测量光束具有不利影响，因此位于血管下方的区域的图像的亮度值趋于变低。

为了确保识别这类血管区域中的组织，如US2012/0063660所述，通过区分对于位于血管下方的区域和其他区域所要采用的处理方法，在光学相干断层扫描图像(即，OCT图像)中提取位于血管下方的层状结构，这通常是可行的。如US2004/0258285所述，基于眼底图像中的背景图像信息来判断特定区域的病变，这是可行的。

文献列表

专利文献

PTL1：US2012/0063660

PTL2：US2004/0258285

发明内容

本发明旨在一种能够基于与血细胞的运动有关的信息来精确地识别眼部的位于血管下方的组织的技术。

根据本发明的典型实施例，一种图像处理设备，其特征在于包括：识别单元，用于在包括自适应光学系统的眼科摄像设备所拍摄的眼底图像上，识别与血细胞的运动有关的区域；以及获取单元，用于在所识别的区域中，获取与在从前眼部侧观看时、位于认出所述血细胞的运动的位置的背侧的组织有关的信息。

通过以下参考附图对典型实施例的详细说明，本发明的其他特征和方面将显而易见。

附图说明

包含在说明书中并构成说明书的一部分的附图，示出本发明的典型实施例、特征和方面，并与说明书一起用来解释本发明的原理。

图1示出根据第一典型实施例的系统结构的例子。

图2示出根据第一典型实施例的自适应光学SLO摄像设备的示例性结构。

图3示出可应用于图像处理设备的硬件结构和存储可以实现根据典型实施例的处理的软件程序的记录介质。

图4是示出可以通过根据第一典型实施例的图像处理设备所进行的图像处理的例子的流程图。

图5A示出根据第一典型实施例的图像处理的例子。

图5B示出根据第一典型实施例的图像处理的例子。

图5C示出根据第一典型实施例的图像处理的例子。

图5D示出根据第一典型实施例的图像处理的例子。

图5E示出根据第一典型实施例的图像处理的例子。

图5F示出根据第一典型实施例的图像处理的例子。

图6示出根据第二典型实施例的图像处理设备的示例性结构。

图7是示出可以通过根据第二典型实施例的图像处理设备进行的图像处理的例子的流程图。

图8A示出缺损区域判断处理的例子。

图8B示出缺损区域判断处理的例子。

图9示出根据第三典型实施例的图像处理设备的示例性结构。

图10是示出可以通过根据第三典型实施例的图像处理设备进行的图像处理的例子的流程图。

图11示出根据第三典型实施例的图像处理的例子。

图12是详细示出组织相关信息测量处理的流程图。

图13示出根据第四典型实施例的图像处理设备的示例性结构。

图14是示出可以通过根据第四典型实施例的图像处理设备进行的图像处理的例子的流程图。

图15示出根据第五典型实施例的图像处理设备的示例性结构。

图16是示出可以通过根据第五典型实施例的图像处理设备进行的图像处理的例子的流程图。

图17是详细示出AOSLO运动图像配准处理的流程图。

图18示出根据第六典型实施例的图像处理设备的示例性结构。

图19是示出可以通过根据第六典型实施例的图像处理设备进行的图像处理的例子的流程图。

图20A示出根据第六典型实施例的图像处理的示例性内容。

图20B示出根据第六典型实施例的图像处理的示例性内容。

图20C示出根据第六典型实施例的图像处理的示例性内容。

图20D示出根据第六典型实施例的图像处理的示例性内容。

图21是详细示出血细胞区域识别处理的流程图。

具体实施方式

下面参考附图详细说明本发明的各种典型实施例、特征和方面。

下面说明根据第一典型实施例的图像处理设备，其中，该图像处理设备可以识别SLO运动图像上的血细胞区域，选择高亮度血细胞区域的亮度值来进行图像校正，并且生成降低了血细胞的阴影量的SLO图像。

图1示出包括根据本典型实施例的图像处理设备10的眼科摄像系统的示例性结构。图1所示的眼科摄像系统包括图像处理设备10、自适应光学SLO20、局域网(LAN)30、数据服务器40、操作单元50和显示单元60。经由可以由光纤、通用串行总线(USB)或者IEEE1394构成的LAN30，将图像处理设备10连接至数据服务器40和显示单元60。可以经由LAN30将图像处理设备10连接至自适应光学SLO20和操作单元50。可选地，可以经由外部网络(例如，因特网)将图像处理设备10连接至这些装置。

自适应光学SLO20是可以在利用自适应光学系统补偿眼部的像差的同时拍摄眼底部的平面图像(即，SLO运动图像D)的设备。在自适应光学SLO20拍摄SLO运动图像D时，自适应光学SLO20将所拍摄的SLO运动图像D与表示在摄像操作时所使用的固视目标位置F的信息一起发送给图像处理设备10和数据服务器40。

数据服务器40存储被检者的眼的SLO运动图像D和摄像条件数据(例如，固视目标位置F)、眼部的图像特征和与眼部的图像特征的分布有关的正常值。根据本发明的眼部的图像特征包括感光细胞C和筛板孔的图像特征。数据服务器40存储SLO运动图像D和固视目标位置F(即，从自适应光学SLO所输出的数据)、以及眼部的图像特征(即，从图像处理设备10所输出的数据)。

此外，响应于来自图像处理设备10的请求，数据服务器40将SLO运动图像D、眼部的图像特征和图像特征的正常数据发送给图像处理设备10。操作单元50使得用户能够输入操作信息，并且将输入信息发送给图像处理设备10。显示单元60可以显示从图像处理设备10所接收到的信息。

图像处理设备10包括图像获取单元110、存储单元120、识别单元131、控制单元132、图像处理单元133、输出单元134和指示获取单元140。

识别单元131可以识别通过包括自适应光学系统的眼科摄像设备所获得的眼底图像上的、与血细胞的运动有关的区域。更具体地，识别单元131通过对包括黄斑的外层视网膜的SLO运动图像D进行微分处理，识别高亮度血细胞区域。

控制单元132可以选择性地改变适用于所识别的区域和其他区域的图像处理方法。在这方面，控制单元132发挥被配置成以下面的方式进行控制的控制单元的功能：区分要应用于眼底图像的识别区域和其他区域的处理。在本典型实施例中，图像处理方法判断单元1321可以以下面的方式进行指示：在SLO运动图像D的各x-y位置处，选择高亮度血细胞区域的亮度值。

图像处理单元133可以通过对运动相关区域和不同于运动相关区域的区域应用不同的图像校正处理，获取与眼底组织有关的信息。在这方面，图像处理单元133发挥获取单元的功能。图像处理单元133基于运动相关区域的图像信息，获取血细胞运动相关区域中从前眼部侧观看时位于可以识别血细胞的运动的位置背侧的组织的信息。图像处理单元133选择在各x-y位置处存在高亮度血细胞区域的帧的亮度值，以生成校正了红细胞的阴影的SLO图像。

输出单元134可以将校正后的SLO图像作为眼底组织信息输出给显示单元60。显示单元60显示校正后的SLO图像。在这方面，输出单元134发挥显示控制单元的功能。因此，生成并显示包括在血管延伸的区域处在视觉上可识别的感光细胞C的SLO图像，这是可行的。

下面参考图2说明自适应光学SLO20或者自适应光学扫描激光器检眼镜(AO-SLO)的示例性结构。自适应光学SLO20包括超辐射发光二极管(SLD)201、沙克-哈特曼(Shack Hartmann)波前传感器206、自适应光学系统204、第一分束器202、第二分束器203、X-Y扫描镜205、调焦透镜209、光圈210、光学传感器211、图像形成单元212和输出单元213。

通过眼底反射从SLD201(即，光源)发射的光。反射光的一部分经由第二分束器203到达沙克-哈特曼波前传感器206。其余的反射光经由第一分束器202到达光学传感器211。沙克-哈特曼波前传感器206是可以测量眼的像差的装置。透镜阵列207被连接至电荷耦合器件(CCD)208。当入射光穿过透镜阵列207时，在CCD208上出现一组光点，并且可以基于投影光点的未配准来测量波前像差。

自适应光学系统204可以基于通过沙克-哈特曼波前传感器206所测量出的波前像差，通过驱动像差校正装置(例如，可变形镜或者空间光相位调制器)来校正像差。经过了上述像差校正的光，可以经由调焦透镜209和光圈210到达光学传感器211。X/Y扫描镜205可以移动来控制眼底的扫描位置。

因此，获取通过操作者预先所指定的摄像数据(例如，摄像目标区域和摄像时间(即，帧频×帧的数量))，这是可行的。将所获取的数据发送给图像形成单元212。图像形成单元212对所接收到的数据进行校正处理(例如，用于校正由于扫描速度的偏差而可能发生的图像变形、或者用于校正亮度值的处理)，以形成图像数据(例如，运动图像或者静止图像)。

输出单元213可以输出通过图像形成单元212所形成的图像数据。可使用自适应光学系统204中的像差校正装置在将焦点对准眼底的特定深度位置时进行调整。可选地，如果在光学系统中设置焦点调整透镜(未示出)，则在移动焦点调整透镜的同时进行该调整是有用的。

下面参考图3说明可应用于图像处理设备10和操作单元50的示例性硬件结构。图3所示的硬件结构包括中央处理单元(CPU)301、随机存取存储器(RAM)302、只读存储器(ROM)303、外部存储装置304、监视器305、键盘306、鼠标307和接口308。

将实现图4所示流程图的图像处理所需的控制程序310和在执行控制程序时所使用的各种数据，预先存储在外部存储装置304中。在CPU301的控制下，经由总线309将这些控制程序和相关数据适当装载进RAM302中，并且可以通过CPU 301来执行以实现下述功能单元的操作。

下面参考图4所示的流程图，与图像处理设备10的示例性执行程序相关联地说明构成图像处理设备10的各功能单元。

图5A～5F示意性示出通过自适应光学SLO20所获得的SLO运动图像和可以通过图像处理设备10进行的示例性处理。图5A示出可以通过光学相干断层扫描(OCT)摄像设备获得的视网膜的断层图像。

图5A所示的视网膜具有层状结构，其包括内界膜(ILM)B1、神经纤维层(NFL)的下边界B2、神经节细胞层(GCL)的下边界B3、内丛状层(IPL)的下边界B4、感光器内节/外节结(IS/OS)B5和视网膜色素上皮(RPE)B6。

在使用自适应光学SLO20来观察感光细胞C或者测量感光细胞C的分布的情况下，将焦点位置设置在外层视网膜(参考图5A所示的边界B5)附近，以拍摄图5B所示的SLO图像的图像。另一方面，视网膜血管或者分支毛细血管在内层视网膜中延伸(参考图5A中的边界B2～边界B4)。

血管中差不多45％的血流是血细胞成分。此外，红细胞约占血细胞成分的96％，并且白细胞约占3％。如果在照射位置处存在红细胞，则通过视网膜血管反射入射光。因此，SLO图像包括暗阴影(参见图5B中的Q或者图5C中的SA2)。另一方面，如果在照射位置处存在白细胞(参见图5C所示的SA1)，则入射光可以穿过视网膜血管，并且不会发生阴影。

在构成SLO运动图像的几乎所有的帧中血管延伸的区域处，通过红细胞反射光。因此，亮度值变低。另一方面，在包括白细胞的帧中可以直接获取感光细胞C的亮度值。

例如，在时点t＝n的状态下(参见图5C)，由于入射光穿过存在白细胞的微区域SA1，因而可以在视觉上识别感光细胞C。另一方面，在存在红细胞的微区域SA2中，通过视网膜血管反射入射光，并且发生阴影。

接着，在时点T＝n+1的状态下(参见图5D)，白细胞C到达微区域SA2、并且新的红细胞流动进微区域SA1。因此，微区域SA1具有低亮度值，并且微区域SA2具有高亮度值(即，相当于感光细胞C的亮度值的值)。因此，如果由于存在血细胞而发生阴影，则通过沿血管延伸的区域选择包括白细胞的帧的亮度值、并且组合所选择的亮度值来校正阴影，这是可行的，如图5F所示。

由血细胞导致的阴影不局限于外层视网膜。例如，当对视神经乳头的筛板进行摄像时，入射光可以到达在视神经乳头的薄血管(例如，分支血管)中存在白细胞的位置处的筛板。因此，观察筛板或者测量筛板的形状是可行的。

通常已知，在观察或者测量感光细胞C或者筛板时，由于因在血管区域的各像素中都存在红细胞而发生阴影，所以亮度值在几乎所有帧中都变低。因此，难以在视觉上识别或者检测感光细胞C或者筛板。因此，在由于存在血细胞而发生阴影的区域中，根据本典型实施例的处理旨在：i)生成示出血细胞的较小影响的图像(即，易于在视觉上识别或者测量细胞或者组织的图像)。

<步骤S410>

图像获取单元110请求自适应光学SLO20获取SLO运动图像D和固视目标位置F。在这方面，图像获取单元110发挥摄像控制单元的功能。在本典型实施例中，自适应光学SLO20通过将黄斑的近窝区设置为固视目标位置F、并且将外层视网膜设置为深度方向上的焦点位置，获取SLO运动图像D。摄像目标位置设置方法不局限于上述例子。

例如，如下所述，自适应光学SLO20可以设置视神经乳头作为固视目标位置，并且可以设置视网膜下方的筛板位置作为深度方向上的焦点位置。此外，根据用户设置来设置摄像目标部分、并且切换通过识别单元131、控制单元132和图像处理单元133要进行的操作，这是有用的。在这种情况下，不必要重新进行设置，因此可以提高用户方便性。

自适应光学SLO20响应于获取请求，获取SLO运动图像D和固视目标位置F，并且将所获取的SLO运动图像D和固视目标位置F发送给图像获取单元110。图像获取单元110经由LAN30从自适应光学SLO20接收SLO运动图像D和固视目标位置F。图像获取单元110将所接收到的SLO运动图像D和固视目标位置F存储在存储单元120中。在本典型实施例中，假定SLO运动图像D是已经过了应用于各个帧的配准处理的运动图像。

<步骤S420>

识别单元131对SLO运动图像D进行用于识别血细胞区域和血细胞运动范围的处理。更具体地，识别单元131根据下面的程序进行识别处理。

在步骤S421，识别单元131计算SLO运动图像D的各位置处的像素值的时间离散度。

首先，识别单元131基于SLO运动图像D的第一帧和第二帧(即，两个相邻帧)，生成微分运动图像。在这种情况下通过识别单元131所进行的处理，相当于从图5C所示的图像减去图5D所示的图像以获得图5E所示的图像。

获得微分图像，这有助于从运动图像提取与血细胞的运动有关的信息。因此，可以提高识别与血细胞的运动有关的区域时的精度。为了获得微分运动图像所要提取的帧不局限于两个相邻帧。例如，在帧频足够高的情况下，识别单元131可以基于预定数量的帧来生成微分运动图像，以提高该处理的效率。

接着，识别单元131计算微分运动图像的各x-y位置处与涉及帧方向的亮度值有关的统计量。例如，识别单元131可以使用表示SLO运动图像D的像素值的时间离散度的方差值，提取根据血细胞的运动所得出的信息。

在步骤S422，识别单元131将离散度大于预定阈值的区域识别为血细胞运动区域。最后，识别单元131将亮度方差在微分运动图像的各x-y位置处等于或者大于阈值Tv的区域识别为血细胞运动区域。

此外，如果像素值在血细胞运动区域的特定位置处大于特定值，则识别单元131将帧图像识别为表示特定位置处的血细胞的位置的帧。在上述处理中，识别单元131将在SLO运动图像D中血细胞运动区域的各x-y位置处亮度值是最大值的帧，识别为包括白细胞的帧(即，入射光可以穿过、并且不会发生阴影的区域)。通过上述处理，变得可以从各帧提取存在白细胞的区域、并且可以获得在下面的图像处理中形成图像所需的数据。

血细胞识别处理不局限于步骤S420所采用的方法。例如，如果在血细胞运动区域中包括微分运动图像的高亮度区域，则将该高亮度区域识别为血细胞区域，这是有用的。在这种情况下，可以提高该处理的效率。此外，使得可以基于可以通过分割多个帧的亮度值所获得的值，识别与血细胞的运动有关的区域。

<步骤S430>

图像处理方法判断单元1321判断在SLO图像D的各x-y位置处所要采用的图像校正方法。图像处理单元133响应于来自图像处理方法判断单元1321的指示，生成校正后的SLO图像。更具体地，首先，图像处理方法判断单元1321进行：i)对感光细胞区域所进行的降噪处理，和ii)血细胞阴影消除或者降低处理。图像处理单元133根据图像处理方法判断单元1321所指示的方法，进行图像校正处理。

在步骤S431，作为i)在步骤S420所识别的SLO运动图像D中的血细胞运动区域的各x-y位置处所要采用的图像校正方法，图像处理单元133在帧方向上选择具有最大亮度的帧的亮度值，并且使用所选择的亮度值(即，像素值)形成图像。简而言之，图像处理单元133在血细胞运动区域中进行时间方向上的最大强度投影(MIP)处理。上述处理不局限于选择最大值。上述处理可以包括异常值清除处理。

在步骤S432，作为ii)在SLO运动图像D的血细胞运动区域的外部的各x-y位置处所要采用的图像校正方法，图像处理单元133选择帧方向上或者时间方向上的平均亮度值。简而言之，图像处理单元133对血细胞运动区域外部进行平均处理。

图像校正方法不局限于上述例子。如果能够有效消除血细胞阴影，则可以采用任何其他校正方法。例如，图像处理单元133在SLO运动图像D的各x-y位置处，对于具有等于或者大于阈值Tp的亮度值的帧的集合St，选择在时间方向上的平均亮度值。

此外，图像处理单元133基于所获得的亮度值(即，像素值)，形成图像。阈值Tp是感光细胞C的摄像时的标准亮度值。与如步骤S430所述的、所要选择的最大亮度值涉及帧方向的情况相比，使得可以生成对于各个帧之间的未配准的影响具有鲁棒性的SLO图像。

<步骤S440>

输出单元134将SLO运动图像D与在步骤S430所生成的校正后的SLO图像一起显示在监视器305上。在这种情况下，作为另一典型实施例，准备使用不同校正方法校正后的多个SLO图像、并且显示包括所准备的SLO图像的列表的图形用户界面(GUI)以使得用户能够选择想要的校正方法，这是有用的。例如，通过选择下面的校正方法i)～iii)，使得可以实现切换显示。

i)通过在血细胞运动区域中进行最大强度投影处理、并且在血细胞运动区域外部进行平均处理，获得图像。

ii)通过在血细胞运动区域中平均等于或者大于阈值Tp的亮度值、并且在血细胞运动区域外部进行平均处理，获得图像。

iii)在整个图像中获得时间方向上的最大强度投影图像。因此，用户可以选择校正方法来获得想要的图像。

<步骤S450>

指示获取单元140获取表示是否将SLO运动图像D、在步骤S430校正后的SLO图像和固视目标位置F存储在数据服务器40中的外部指示。例如，操作者可以经由键盘306或者鼠标307输入外部指示。如果判断为外部指示请求存储所获取的数据(步骤S450为“是”)，则操作进入步骤S460。如果判断为没有指示存储(步骤S450为“否”)，则操作进入步骤S470。

<步骤S460>

图像处理设备10将图像信息(包括检查日期和时间、识别待检眼的文献目录信息、其他文献目录信息(例如，固视目标位置F)和校正后的SLO图像)与SLO运动图像D相关联。输出单元134经由LAN30将相关联的图像信息发送给数据服务器40。

<步骤S470>

指示获取单元140获取表示是否终止要通过图像处理设备10所进行的、与SLO运动图像D有关的处理的外部指示。操作者可以经由键盘306或者鼠标307输入上述指示。如果判断为所获取的外部指示是处理终止指示(步骤S470为“是”)，则指示获取单元140终止分析处理。

另一方面，如果判断为所获取的外部指示是处理继续指示(步骤S470为“否”)，则处理返回至步骤S410。图像获取单元110进行用于下一待检眼的处理(或者重复对同一眼的处理)。

根据上述结构，图像处理设备10识别SLO运动图像D中所包括的血细胞区域，并且通过选择在所识别的血细胞区域的每一x-y位置处包括高亮度血细胞区域的帧的亮度值，进行图像校正处理。通过上述处理，图像处理设备10生成示出由血细胞所导致的阴影的较低影响的图像。因此，即使在位于通过血细胞遮挡入射光的血管下方的阴影区域中，也变得可以生成并显示包括可视觉识别的细胞和组织的SLO图像。

在本典型实施例中，图像处理设备对在视网膜的黄斑处所拍摄的、包括感光细胞C的SLO图像进行图像校正处理，以消除可能由血细胞所导致的阴影区域的影响。然而，本发明不局限于上述例子。例如，在拍摄位于视神经乳头的视网膜下方的组织(例如，筛板)的图像的情况下，图像处理设备可以进行图像校正处理以消除可能由血细胞所导致的阴影区域的影响。

筛板(参见图20B和20C所示的LC)是位于视神经乳头的视网膜下方的盘状组织。在筛板上存在被称为筛板孔(参见图20C所示的LP)的许多小的孔。由于通过该盘状组织所反射的光，筛板本身变成AO-SLO图像上的高亮度区域。另一方面，血细胞阴影区域或者各筛板孔变成低亮度区域。然而，在视神经乳头的薄血管中，在存在白细胞的位置处，入射光可以到达筛板。因此，观察筛板或者测量筛板的形状变得可行。

根据第二典型实施例的图像处理设备对于SLO运动图像D的帧进行配准处理，并且参考通过识别单元131所识别的血细胞区域的亮度值进行图像校正处理。此外，根据第二典型实施例的图像处理设备基于图像校正处理前后的亮度值的变化量，从由血细胞所导致的阴影区域区分感光细胞C的缺陷区域。输出单元134将校正后的SLO图像与所检测到的病变区域一起进行显示，如下所述。

如果SLO图像的低亮度区域存在于血管延伸的区域中，则不容易判断该低亮度区域是否是由血细胞或者低亮度缺陷细胞(或者组织)区域、即与通过血细胞的反射无关的区域的影响所导致的低亮度区域。

因此，根据第二典型实施例的图像处理设备旨在通过判断SLO图像的低亮度区域是否是由血细胞或者缺陷细胞(或者组织)所导致的阴影，提高识别细胞(或者组织)的可视性和测量能力。

因此，根据第二典型实施例的图像处理设备可以精确地识别血细胞区域，并且可以参考白细胞区域的亮度值进行图像校正处理。此外，根据第二典型实施例的图像处理设备可以检测并显示感光细胞C的低亮度缺陷区域，以使得操作者能够检查细胞(或者组织)或者病变的精确分布。

图6是示出根据第二典型实施例的图像处理设备10的功能框图。图6所示的图像处理设备10与图1所示设备的不同在于，新添加了配准单元135，并且控制单元132包括判断单元1322。判断单元1322发挥缺陷判断单元的功能，其中，缺陷判断单元被配置成基于可通过独立应用于所识别的区域和不同于所识别的区域的眼底图像区域的图像处理所获得的眼底图像，来判断组织的缺陷区域。

图7是示出可以通过根据本典型实施例的图像处理设备10进行的图像处理的示例性流程的流程图。根据图7所示的流程图所进行的操作，除步骤S720、步骤S750和步骤S760以外，与第一典型实施例中所述的操作相同。因此，在本典型实施例中，下面详细说明在步骤S720、步骤S750和步骤S760所进行的处理。

<步骤S720>

配准单元135从存储单元120读取SLO运动图像D，并且对于构成SLO运动图像D的帧进行配准处理。

更具体地，配准单元135进行下面的处理i)～iii)。

i)配准单元135将基准帧设置为用于配准处理的基准。在本典型实施例中，配准单元135指定具有最小帧编号的帧作为基准帧。在这种情况下，基准帧设置方法不局限于上述例子。例如，从指示获取单元140获取用户所指定的基准帧编号、并且设置基准帧，这是有用的。

ii)配准单元135进行粗配准处理以大体确定帧的相对位置。尽管可以使用任一任意配准方法，但是在本典型实施例中，配准单元135以相关系数作为图像间相似度评价函数、并且以仿射变换作为坐标转换方法来进行粗配准处理。

iii)配准单元135基于表示帧的大致位置对应关系的数据，进行精细配准处理。

在本典型实施例中，配准单元135使用作为非刚性配准方法之一的自由变形(FFD)方法，对经过了粗配准处理的运动图像，即在上述处理ii)中所获得的运动图像进行精细帧间配准处理。

精细配准处理方法不局限于上述例子，并且可以使用任一其他任意配准方法。

在本典型实施例中，配准单元135基于图像间相似度，使用像素值获得配准参数的组合，其中，根据配准参数的组合，SLO运动图像D的整个帧变得几乎与基准帧相同。然而，本发明不局限于上述例子。例如，配准单元135可以检测SLO运动图像D的各帧中的观察对象的图像特征(例如，近窝区或者分支血管)。此外，配准单元135可以以下面的方式对于SLO运动图像D的各个帧进行配准处理：相对于图像特征几乎精确地调整位置。

<步骤S750>

判断单元1322获得表示SLO运动图像D和在步骤S740所生成的图像校正后的SLO图像的重叠图像之间的亮度的差的信息。在本典型实施例中，重叠图像是二维图像，其中，该二维图像将SLO运动图像的各x-y位置处在时间方向上平均的各个帧的平均亮度值作为像素值。可以通过相加通过判断单元1322所定位的SLO运动图像D的各个帧，获得重叠图像。判断单元1322获得各x-y位置处的亮度的变化量，并且判断该区域是否是由血细胞或者感光细胞C的缺陷区域所导致的阴影区域，其中，通过对重叠图像和校正后的SLO图像应用微分处理，可以获得该变化量。

血管中几乎所有的血细胞成分都是红细胞。因此，在重叠图像中(参见图8A)，在血管延伸的区域中，亮度值变低。因此，在各个低亮度区域中(参见图8A中的DA1和DA2)，难以判断是否存在任何感光细胞C的任何缺陷。另一方面，如图8B所示，如果图像经过了应用于由血细胞所导致的阴影的校正处理，则容易识别感光细胞C的缺陷区域DL。应该理解，通过图8A中的低亮度区域DA2，隐藏感光细胞C的缺陷区域。

因此，判断单元1322基于重叠图像识别血管区域。此外，如果在该位置处，亮度值(即，像素值)的离散大、并且在时间方向上的最大(即，峰值)像素值大大偏离像素值在时间方向上的平均值(即，平均水平)，则判断单元1322判断为在由血细胞所导致的阴影区域中包括血管区域中的位置。

此外，如果在该位置处，在时间方向上的最大像素值接近像素值在时间方向上的平均值，则判断单元1322判断为在缺陷区域中包括血管区域中的位置。如上所述，最大值可以是经过了异常值清除处理的值。此外，可以使用中值或者表示像素值的平均水平的任何其他值作为平均值。

如果判断为重叠图像的亮度值小于阈值Ta、并且在对重叠图像和校正后的SLO图像进行微分处理时，亮度值的变化量等于或者大于阈值Ts，则判断单元1322将该区域识别为由血细胞所导致的阴影区域。此外，如果重叠图像的亮度值小于阈值Ta、并且亮度值的变化量小于阈值Ts，则判断单元1322将该区域识别为感光细胞C的缺陷区域DL。

<步骤S760>

输出单元134将校正后的SLO图像和在步骤S750所检测到的感光细胞C的候选缺陷区域显示在监视器305上。

在本典型实施例中，除校正后的SLO图像本身以外，输出单元134还显示包括以表示感光细胞C的候选缺陷区域这样的方式被叠加在校正后的SLO图像上的彩色区域的图像。在这种情况下，显示方法不局限于上述例子，并且可以使用任一其他任意显示方法。例如，在校正后的SLO图像上叠加围绕缺陷区域的彩色框、或者添加指向缺陷区域的箭头，这是有用的。可选地，选择在校正后的SLO图像上显示还是不显示表示缺陷区域的彩色框或者箭头，这也是有用的。

在本典型实施例中，在对视网膜的黄斑的感光细胞C进行摄像时，图像处理设备对可能由血细胞所导致的SLO图像的阴影区域进行图像校正处理。此外，图像处理设备检测感光细胞缺陷区域，并且显示所检测到的缺陷区域。然而，本发明不局限于上述例子。例如，根据本典型实施例的图像处理设备在对位于视神经乳头的视网膜下方的组织(例如，筛板)进行摄像时，可以对可能由血细胞所导致的阴影区域进行图像校正处理，并且可以检测和显示缺陷区域。

当对于图像处理设备10采用上述结构时，配准单元135进行帧间配准处理，并且图像处理单元133对由血细胞所导致的阴影区域进行图像校正处理。此外，图像处理设备10基于图像校正处理前后的亮度值的变化量，从由血细胞所导致的阴影区域区分感光细胞C的缺陷区域。输出单元134将校正后的SLO图像与所检测到的病变区域一起显示。

因此，图像处理设备10可以参考配准结果精确地识别血细胞区域，并且可以参考白细胞区域的亮度值进行图像校正处理。此外，图像处理设备10可以检测和显示感光细胞C的低亮度缺陷区域，以使得操作者能够检查细胞(或者组织)或者病变的正确分布。

根据第三典型实施例的图像处理设备对于SLO运动图像D的帧进行配准处理，并且参考通过识别单元131所识别的血细胞区域的亮度值进行图像校正处理。此外，根据第三典型实施例的图像处理设备从校正后的SLO检测感光细胞C，并且测量感光细胞的分布。根据第三典型实施例的图像处理设备将所计算出的感光细胞分布的统计量与标准值进行比较来检测候选病变(即，分布异常区域)，如下所述。

因此，根据第三典型实施例的图像处理设备可以基于配准结果精确识别血细胞区域，并且可以参考白细胞区域的亮度值进行图像校正处理。此外，根据第三典型实施例的图像处理设备即使在由血细胞所导致的阴影区域中也可以测量细胞(或者组织)的分布，并且可以检测候选病变(即，分布异常区域)。

图9是示出根据本典型实施例的图像处理设备10的示例性结构的功能框图。图9所示的图像处理设备10与第一典型实施例所述设备的不同在于，设置配准单元135和测量单元136。

测量单元136可以从眼底图像获取与组织有关的信息，并且可以获得所获取的信息作为组织信息。在这方面，测量单元136发挥在本典型实施例中被配置成获取组织信息的获取单元的功能。此外，控制单元132发挥改变单元的功能，其中，改变单元被配置成基于所识别的区域的位置、亮度和形状中的至少一个，至少改变细胞(或者组织)检测方法、形状测量方法和分布测量方法中的一个。

图10是示出可以通过根据本典型实施例的图像处理设备10进行的图像处理的示例性流程的流程图。除步骤S1040、步骤S1050和步骤S1060以外，根据图10所示的流程图所进行的操作，与第一典型实施例中所述的操作相同。因此，在本典型实施例中，下面详细说明在步骤S1040、步骤S1050和步骤S1060所进行的处理。

<步骤S1040>

在步骤S1040，图像处理单元133根据控制单元132的控制信号，通过对血细胞区域及其外部进行不同的图像处理，进行用于强调感光细胞的处理。在步骤S1040所进行的处理包括下面的步骤S1041～S1044中的处理。

在步骤S1041，图像处理单元133进行对血细胞区域外部所要进行的降噪处理。在步骤S1041所要进行的处理，与在第一典型实施例所述的步骤S431所进行的处理相同。

在步骤S1042，控制单元132选择对血细胞区域要进行的处理。在该步骤中，控制单元132判断是否进行考虑血细胞区域中的运动图像的未配准的影响的图像处理。在判断是否校正未配准的影响时，参考各种类型的信息是有用的。例如，设置根据用户操作经由操作单元50所输入的信息，这样使得用户能够获得想要的图像。

此外，控制单元132计算运动图像的帧之间的差，并且如果判断为运动成分大于预定水平，则控制单元132选择能够校正未配准的影响的图像处理。在其他情况下，控制单元132选择普通处理。通过上述处理，用户可以在不会使得用户方便性劣化的情况下获得适当图像。

在步骤S1043，即，在选择不校正未配准的任何影响的图像处理的情况下，图像处理单元133对血细胞区域进行图像处理。在步骤S1043所要进行的处理，与在第一典型实施例所述的步骤S432所进行的处理相同。

在步骤S1044，图像处理设备进行考虑未配准的影响的图像处理。图像处理单元133在SLO运动图像D的各x-y位置处，选择具有等于或者大于阈值Tp的亮度值的帧的集合St的平均亮度值。阈值Tp是表示感光细胞C的摄像时的标准亮度值的设置值。与如在步骤S430所述，所要选择的最大亮度值涉及帧方向的情况相比，可以生成对于各个帧之间的未配准的影响具有鲁棒性的SLO图像。

<步骤S1050>

测量单元136从在步骤S1040校正后的SLO图像检测感光细胞C，并且测量感光细胞C的分布。此外，测量单元136基于感光细胞C的分布和标准值之间的比较，检测分布异常区域。下面参考图12所示的流程图详细说明在步骤S1050所要进行的处理。

<步骤S1060>

输出单元134在监视器305上显示：i)校正后的SLO图像；ii)感光细胞C的检测结果(即，感光细胞位置图)；iii)维诺(Voronoi)图；以及iv)与各微区域的感光细胞分布的统计值有关的图。输出单元134参考在这种情况下所要显示的维诺图中各区域的大小，给予各维诺区域唯一颜色。

此外，如果在标准值范围内没有包括与各维诺区域有关的测量值或者各微区域的统计值，则利用作为表示在这种情况下所要显示的iii)维诺图或者iv)统计值图中的分布异常的颜色所预先指定的特定颜色，使得相应区域着色。接着，下面参考图11和图12所示的流程图详细说明在步骤S1050所要进行的处理。

<步骤S1210>

测量单元136进行高频成分消除处理以从校正后的SLO图像消除除感光细胞以外的峰值成分(例如，噪声和从眼底组织所反射的光)。在本典型实施例中，测量单元136基于快速傅立叶变换(FFT)进行频率转换处理，并且应用低通滤波器以截止信号的高频成分。然后，测量单元136对滤波后的SLO图像进行逆傅立叶变换处理以获得空间图像。最后，测量单元136生成不包括任何高频成分的校正后的SLO图像。

<步骤S1220>

测量单元136利用阈值Tb对在步骤S1210所生成的校正后的SLO图像进行二值化处理以检测感光细胞C。

<步骤S1230>

测量单元136基于在步骤S1220所检测到的感光细胞C的二值图像，进行下面的处理以生成维诺图。更具体地，测量单元136识别感光细胞C的二值图像上的各感光细胞区域的中心点(参见图11所示的MP)，并且绘制用于连接相邻中心点MP的线段的中垂线。

测量单元136通过保留从用于连接相邻中心点MP的线段的中点延伸至两个中垂线相互相交的点VP的所绘制的各中垂线的一部分、并且同时删除中垂线的其余部分，获得维诺边界VB。在维诺图中，可以通过以维诺边界VB围绕的区域VR，表示各个感光细胞C所占的面积或者其形状。

<步骤S1240>

测量单元136基于在步骤S1230所生成的维诺图，计算与感光细胞C的分布有关的统计量。更具体地，在这种情况下通过测量单元136所获得的统计量包括所检测到的感光细胞C的密度、相邻感光细胞之间的平均距离、单个感光细胞所占面积的平均值、以及表示维诺图中的感光细胞C的六边形区域的比率。测量单元136不仅对于整个图像，而且还对于各微区域获得上述统计量。

<步骤S1250>

测量单元136请求数据服务器40发送与感光细胞C的分布有关的标准数据。图像获取单元110获取标准数据，并且将所获取的标准数据存储在存储单元120中。

测量单元136将在步骤S1240所计算出的与感光细胞分布有关的各统计量与标准数据进行比较。如果统计量未包括在标准值范围内，则测量单元136将该区域检测为感光细胞分布异常区域。

在本典型实施例中，对于感光细胞C的形状和分布的测量的对象，是视网膜的黄斑。然而，本发明不局限于上述例子。例如，图像处理设备可以在对位于视神经乳头的视网膜下方的组织(例如，筛板)摄像时对可能由血细胞所导致的阴影区域进行图像校正处理，并且可以测量筛板孔的形状和分布。

当采用上述结构时，图像处理设备10对于SLO运动图像D的帧进行配准处理，并且参考通过识别单元131所识别的血细胞区域的亮度值，进行图像校正处理。此外，图像处理设备10从校正后的SLO检测感光细胞C，并且测量感光细胞的分布。图像处理设备10将所计算出的感光细胞分布的统计量与标准值进行比较，以检测候选病变区域。

因此，根据本典型实施例的图像处理设备可以基于配准结果精确地识别血细胞区域，并且可以参考白细胞区域的亮度值进行图像校正处理。此外，根据本典型实施例的图像形成设备即使在由血细胞所导致的阴影区域中也可以测量细胞(或者组织)的分布，并且可以检测候选病变。

此外，测量单元136可以被配置成测量在第二典型实施例中所述的缺陷细胞区域。

根据第四典型实施例的图像处理设备在无需对于由血细胞所导致的阴影区域进行任何图像校正处理的情况下，在改变图像处理参数的同时，测量感光细胞C的形状和分布。

更具体地，测量方法设置单元1323基于SLO图像D中由血细胞所导致的阴影区域的亮度值，设置对血细胞阴影区域要使用的图像处理参数，并且测量单元136测量感光细胞C的形状和分布，如下所述。

因此，根据第四典型实施例的图像处理设备可以在改变图像处理参数的同时，实现由血细胞所导致的阴影区域中的测量。此外，根据第四典型实施例的图像处理设备即使在由血细胞所导致的阴影区域中，也可以测量细胞(或者组织)的形状和分布。

图13是示出根据本典型实施例的图像处理设备10的功能框图。图13所示的图像处理设备10与第三典型实施例所述设备的不同在于，排除了图像处理方法判断单元1321和图像处理单元133，并且控制单元132包括测量方法设置单元1323。

图14是示出可以通过根据本典型实施例的图像处理设备10进行的图像处理的示例性流程的流程图。根据图14所示流程图所进行的操作，除步骤S1430、步骤S1440和步骤S1450以外，与第三典型实施例中所述的操作相同。因此，在本典型实施例中，下面详细说明在步骤S1430、步骤S1440和步骤S1450所进行的处理。

<步骤S1430>

识别单元131进行用于识别SLO运动图像D中的血细胞运动区域的处理。在该步骤中通过识别单元131所进行的处理，与第一典型实施例所述的步骤S420的处理i)～iii)相同，因此不再重复对其的详细说明。

<步骤S1440>

当测量单元136检测组织时，控制单元132以下面的方式设置图像处理参数：从要应用于不同于血细胞运动区域的区域的阈值区分要应用于血细胞运动区域的阈值。换句话说，控制单元132以下面的方式改变在感光细胞检测时所要使用的阈值Tb。更具体地，控制单元132指示测量单元136在感光细胞检测中使用阈值Tc，其中，可以通过将Tb乘以(血细胞运动区域中的亮度值)/感光细胞区域中的平均亮度值)来获得阈值Tc。

<步骤S1450>

测量单元136使用在步骤S1440所设置的图像处理参数，测量由血细胞所导致的阴影区域中的感光细胞C的形状和分布。

更具体地，测量单元136进行要应用于在步骤S1450所检测到的感光细胞C的维诺分割处理，并且计算与感光细胞C的分布有关的统计量。用于维诺分割处理的在步骤S1450所使用的方法和与感光细胞C的分布有关的统计量的计算，与第三典型实施例中所述的方法相同，因此不再重复对其的详细说明。

在步骤S1460，输出单元134将测量信息显示在显示单元60上。

在本典型实施例中，图像处理设备测量存在于视网膜的黄斑处的感光细胞C的形状和分布。然而，本发明不局限于上述例子。

例如，图像处理设备通过改变图像处理参数，可以测量存在于在对位于视神经乳头的视网膜下方的筛板进行摄像时可能发生的、由血细胞所导致的阴影区域中的筛板孔的形状和分布。当采用上述结构时，图像处理设备10可以在改变图像处理参数的同时，测量由血细胞所导致的阴影区域中的感光细胞C的形状和分布。

因此，在改变图像处理参数的同时，在由血细胞所导致的阴影区域中进行测量处理，这样有效地测量由血细胞所导致的阴影区域中的细胞(或者组织)的形状和分布。

根据第五典型实施例的图像处理设备与上述典型实施例的设备的不同在于在进行图像校正处理和测量感光细胞C的分布和形状之前，排除异常帧(例如，眨眼或者固视差异)。

图像处理单元10包括被配置成基于图像信息判断要经过SLO运动图像D处理的对象帧图像的异常帧判断单元1351。更具体地，当使得SLO图像D经过帧间配准处理时，异常帧判断单元1351基于各帧的亮度值、图像变形量、S/N比和相对于基准帧的位移来判断异常帧。

图像处理方法控制单元1321指示使用除异常帧以外的高亮度血细胞区域的亮度值来进行图像校正处理。图像处理单元133生成校正后的SLO图像。此外，测量单元136测量校正后的SLO图像中所包括的感光细胞C的形状和分布，如下所述。

因此，即使在SLO图像中包括异常帧，根据第五典型实施例的图像处理设备也可以精确地识别血细胞区域，并且在使用高亮度血细胞区域的亮度值进行图像校正处理的同时，可以测量细胞(或者组织)的形状和分布。

图15是示出根据本典型实施例的图像处理设备10的功能框图。图15所示的图像处理设备10与第三典型实施例所述设备的不同在于，配准单元135包括异常帧判断单元1351。

图16是示出可以通过根据本典型实施例的图像处理设备10进行的图像处理的示例性流程的流程图。根据图16所示流程图所进行的操作，除步骤S1620以外，与第三典型实施例所述的操作相同。因此，在本典型实施例中，下面详细说明在步骤S1620所进行的处理。

<步骤S1620>

配准单元135对SLO运动图像D进行帧间配准处理。

首先，异常帧判断单元1351进行对单个帧所要进行的异常帧判断处理，并且配准单元135选择基准帧。接着，配准单元135基于仿射变换进行粗配准处理，然后使用传统已知的非刚性配准方法进行精细配准处理。最后，异常帧判断单元1351对完成了配准后的SLO运动图像进行异常帧判断处理。

接着，下面参考图17所示流程图详细说明在步骤S1620所进行的处理。

在步骤S1720、步骤S1730、步骤S1740所进行的处理，与在第二典型实施例中所述的步骤S720所进行的处理相同，因此不再重复对其的详细说明。

<步骤S1710>

异常帧判断单元1351进行对单个帧所要进行的异常判断处理。

异常帧判断单元1351从SLO图像D获取各帧Di处的平均亮度值Ai和血管区域Vi作为图像特征。血管区域获取方法不局限于特定方法。可以采用传统已知的任一任意血管提取方法。在本典型实施例中，所要获取的血管区域的亮度值等于或者小于阈值T1。此外，异常帧判断单元1351获取可以通过间隔剔除血管区域Vi所获得的、行Bim(m＝1、2、……、n3)上的点的交叉区域Cin(n＝1、……、n4>＝3)。

异常帧判断单元1351从SLO运动图像D的各帧Di，检测异常帧。在这种情况下所要检测的异常帧包括亮度由于眨眼而非常低的帧、包括由于在固视期间的不自主眼运动而发生图像变形的帧、以及由于缺陷像差校正而具有低S/N比的帧。

在本典型实施例中，如果平均亮度值Ai等于或者小于阈值T2，则异常帧判断单元1351认为SLO运动图像D的帧Di由于眨眼而具有亮度异常，并且判断为该帧是异常帧。此外，如果相对于血管交叉区域Cin之间的距离的平方和，相邻帧之间的差等于或者大于阈值T3，则异常帧判断单元1351认为该帧包括由不自主眼运动所导致的图像变形，并且判断为该帧是异常帧。此外，如果S/N比等于或者小于阈值T4，则异常帧判断单元1351认为像差校正是因为缺陷，并且判断为该帧是异常帧。

异常帧判断方法不局限于上述例子，并且因此可以使用任一其他任意异常判断方法。例如，计算与可以通过对各个帧进行微分处理所获得的微分图像的亮度值有关的统计量(例如，平均值、众数或者最大值)，这是有用的，并且如果所计算出的与亮度值有关的统计量等于或者小于阈值T5，则认为该帧包括由于被检者的移动而发生的模糊，并且判断为该帧为异常帧。

<步骤S1750>

异常帧判断单元1351进行对在步骤S1740所生成的完成了精细配准后的SLO图像所要进行的异常帧判断处理。

更具体地，异常帧判断单元1351计算在步骤S1720所设置的基准帧的图像特征(例如，血管交叉区域Cin)和非基准帧的图像特征之间的位移，并且将位移大于允许值的帧判断为异常帧。作为相对于基准帧的位移，在本典型实施例中所定义的位移矢量(x，y，theta，sx，sy)具有偏移成分(x，y)、转动成分θ、放大率成分(sx，sy)。如果x>Tx、y>Ty、theta>Ttheta、sx>Tsx和sy>Tsy中至少一个成立，则异常帧判断单元1351判断为该帧是异常帧。

位移的定义不局限于上述例子。例如，可以使用任一任意值(例如，标量或者矢量)，只要该值表示位移程度即可。例如，将可以通过(基准区域的整体面积)/(各帧Di中所包括的基准区域的面积)所表示的、用作为每一帧中的观察/测量对象的基准区域的比率，定义为位移，这是有用的。

在随后的步骤S1640，为了将像素值的时间方差大于特定阈值的区域识别为SLO运动图像D中与血细胞的运动有关的区域，如果在测量上述方差之前识别单元131判断为帧图像不是处理对象，则排除该帧图像。因此，在这种情况下可测量的方差值几乎不受除血细胞的运动以外的因素的影响。可以精确地识别血细胞运动区域。

此外，在随后的步骤S1640，图像处理单元133从在独立应用于血细胞运动区域及其外部的图像处理时所要使用的帧图像消除异常帧。因此，变得可以获得感光细胞的清晰图像。

在本典型实施例中，图像处理设备测量存在于视网膜的黄斑处的感光细胞C的形状和分布。然而，本发明不局限于上述例子。例如，当对位于视神经乳头的视网膜下方的筛板进行摄像时，在图像处理设备测量可能由血细胞所导致的阴影区域中的筛板孔的形状和分布之前，该设备可以识别并排除任何异常帧。

当采用上述结构时，图像处理设备10排除异常帧(例如，眨眼或者固视差异)，并且对其余帧进行图像校正处理，然后测量感光细胞C的分布和形状。因此，即使在SLO图像中包括异常帧，图像处理设备10也可以精确地识别血细胞区域，并且可以在使用高亮度血细胞区域的亮度值进行图像校正处理的同时，测量细胞(或者组织)的形状和分布。

当眼底图像包括血管时，如果血管厚，则白细胞整个被红细胞包围。在这种情况下，入射光趋向于被红细胞反射。此外，在血管的交叉区域处，入射光趋向于被红细胞反射。该可能性随着交叉点数量的增加而增大。因此，由于存在由红细胞所导致的阴影，则变得难以在视觉上识别或者直接测量细胞(或者组织)的形状。

因此，根据第六典型实施例的图像处理设备旨在防止与细胞(或者组织)的形状和分布有关的测量值的可靠性降低。最后，根据第六典型实施例的图像处理设备从测量对象区域预先排除测量误差发生区域(例如，血管直径大的区域或者血管交叉的区域)，然后测量筛板孔的分布和形状，如下所述。

更具体地，图像获取单元110预先获取在将焦点位置设置在内层视网膜附近的状态下所拍摄的SLO图像DI和在将焦点位置设置在位于视网膜下方的区域中的状态下所拍摄的SLO图像DO。异常帧判断单元1351在对SLO图像DI和SLO图像DO进行的帧间配准处理中识别异常帧。识别单元131识别这两个图像(DI、DO)中所包括的血细胞运动区域。

形状特征获取单元1324识别SLO图像DI上的包括较大血管直径VW或者交叉区域的区域MS。控制单元132基于识别区域的位置或者形状，判断是否进行要对识别区域中的细胞(或者组织)所进行的检测处理、形状测量处理和分布测量处理中的至少一个。

图像处理单元133基于除异常帧以外的高亮度血细胞区域的亮度值，校正SLO图像DO。此外，在控制单元132指示从测量对象排除通过形状特征获取单元136所识别的、包括较大血管直径VW或者交叉区域的区域MS之后，测量单元136对校正后的SLO图像中的筛板孔LP进行检测和形状/分布测量，如下所述。

因此，由于在从测量对象排除可能发生测量误差的任何区域之后才进行测量，因而根据第六典型实施例的图像处理设备可以精确地测量细胞(或者组织)的形状和分布。

筛板LC是位于视神经乳头的视网膜下方的高亮度盘状组织，如图20B和20C所示。在筛板LC中存在被称为筛板孔LP的许多小孔。神经纤维在筛板孔LP中延伸。如果筛板LC起伏，则引起神经纤维故障，并且可能导致青光眼。因此，测量筛板LC和筛板孔LP的形状和分布、并且检测测量值的异常，预期这样能够有效实现青光眼的早期检测。

然而，具有较大血管直径VW的血管MS在视神经乳头的视盘陷凹的鼻侧延伸。如果x-y位置与区域MS的位置相同，则由于在筛板LC上方区域中发生由红细胞所导致的阴影，因而难以观察筛板孔LP。血管直径VW大于白细胞的大小，在白细胞通过血管时，白细胞通常被红细胞包围。

此外，即使在血管交叉区域中，仅当白细胞的数量相当于交叉点的数量时，入射光才可以到达筛板LC。因此，从测量对象排除这类区域是有用的，因而可以确保测量值的可靠性。

为了确保获取亮度值由于由血细胞(不是由于深层部处的缺陷细胞(或者组织))所导致的阴影而降低的区域的位置和形状，根据本典型实施例的图像处理设备使用在将焦点位置设置在视网膜血管MV附近的状态下所拍摄的SLO运动图像DI。在这种情况下，由于焦点位置接近表面层，因而SLO运动图像不包括存在于深层部中的任何细胞(或者组织)。

根据本典型实施例的图像处理设备从SLO运动图像DI检测包括较大血管直径VW和任何交叉区域的区域MS，并且从测量对象排除所检测到的区域。因此，可以确保与细胞(或者组织)的形状和分布有关的测量值的可靠性。

图18是示出根据本典型实施例的图像处理设备10的功能框图。图18所示的图像处理设备10与第五典型实施例所述设备的不同在于，控制单元132包括形状特征获取单元1324。

图19是示出可以通过根据本典型实施例的图像处理设备10进行的图像处理的示例性流程的流程图。在步骤S1980、步骤S1990和步骤S1995所要进行的处理，与第五典型实施例所述的处理相同，因此不再重复对其的说明。

<步骤S1910>

图像获取单元110指示自适应光学SLO获取在将焦点位置设置在视网膜血管MV上的状态下所拍摄的SLO运动图像DI和在将焦点位置设置在筛板LC附近的状态下所拍摄的SLO运动图像DO。图像获取单元110从自适应光学SLO接收SLO运动图像DI和SLO运动图像DO，并且将所获取的图像数据存储在存储单元120中。

<步骤S1920>

配准单元135对SLO运动图像DI和SLO运动图像DO的帧进行配准处理。对各个SLO运动图像所要进行的配准方法，与在第二典型实施例中所述的步骤S720所采用的方法相同，因此不再重复对其的详细说明。

<步骤S1930>

识别单元131参考在将深度方向上的焦点位置设置在内层视网膜上的状态下所拍摄的图像和在将焦点位置设置在位于视网膜下方的筛板上所拍摄的图像，识别血细胞或者血细胞运动区域。识别单元131识别SLO运动图像DI中所包括的血管区域和SLO运动图像DO中所包括的血细胞区域。

为了识别血细胞区域，识别单元131进行下面的处理i)～iv)。

i)识别单元131识别SLO运动图像DI上包括红细胞区域的血管区域。

ii)形状特征获取单元1324参考包括较大血管直径VW的区域MS，并且使用通常已知的交叉点检测滤波器，识别SLO运动图像DI中所包括的交叉点区域。

iii)识别单元131对SLO运动图像DO进行帧间微分处理以识别血细胞运动区域。

iv)识别单元131计算与SLO运动图像DO的帧间微分图像的各x-y位置处帧方向上的亮度值有关的统计量，以识别包括白细胞的帧。

下面在步骤S2110～S2190中详细说明在该步骤所要进行的处理。

<步骤S1940>

图像处理方法判断单元1321指示图像处理单元133使用在步骤S1930所识别的高亮度血细胞区域的亮度值来进行图像校正处理。图像处理单元133校正由血细胞所导致的SLO运动图像DO的阴影区域。当对图20C所示由血细胞所导致的阴影区域进行上述校正处理时，在如图20D所示的与薄的血管相对应的区域中，校正该阴影是可行的。

<步骤S1950>

控制单元132基于血管直径和血管交叉状态中的至少一个，对于与血细胞的运动有关的区域，将要指定的区域限制为测量对象。控制单元132指示测量单元136从测量对象排除通过形状特征获取单元1324所识别的、包括较大血管直径VW和交叉区域的区域MS。

<步骤S1960>

测量单元136检测通过控制单元132所指示的区域中的筛板LC和筛板孔LP，并且测量筛板孔LP的形状和分布。此外，如果判断为在对识别区域所进行的图像校正处理前后的亮度值的变化量、或者测量参数改变处理前后的测量值的变化量，大于阈值，则测量单元136将该区域识别为候选病变区域。此外，测量单元136从候选病变区域清除识别区域交叉位置和血管直径大于阈值的区域。

首先，测量单元136利用阈值T1c二值化校正后的SLO图像，以检测筛板LC区域。此外，测量单元136对利用所使用的形态滤波器所检测到的筛板LC区域进行成形处理。可以在SLO图像上观察筛板LC的形状异常，作为下面的测量值的变化：i)筛板孔LP的面积；ii)在筛板孔LP表现为椭圆形的情况下长轴与短轴的比；iii)筛板孔LP的中心位置；以及iv)筛板孔LP之间的最近距离。因此，测量单元136计算i)～iv)，作为与筛板孔LP的形状和分布有关的测量项。

<步骤S1970>

输出单元134将图像校正后的SLO图像同通过测量单元136所测量出的、与筛板孔LP的形状和分布有关的测量结果一起显示在监视器305上。在本典型实施例中，给予从SLO运动图像DI所识别的、具有大的血管直径和交叉区域的区域MS以表示从测量对象区域排除这些区域的唯一颜色。

非测量对象区域强调方法不局限于上述例子，并且可以使用任一任意显示方法。接着，下面参考图20和图21所示的流程图详细说明在步骤S1930所要进行的处理。

<步骤S2110>

在步骤S2110，识别单元131获取指定多个类型的血细胞区域识别处理中的一个的设置信息。如果该设置信息指定第一血管区域识别处理(步骤S2110为“是”)，则操作进入步骤S2120。如果该设置信息不存在(步骤S2110为“否”)，则操作进入步骤S2140。

在步骤S2120，识别单元131识别在将焦点位置设置在视网膜血管MV附近的状态下所拍摄的SLO运动图像DI中所包括的血管区域。更具体地，识别单元131将等于或者大于阈值Th的区域设置为红细胞经过区域Rh，如图20A所示。在步骤S2130，识别单元131将区域Rh和小于阈值T1的相邻低亮度血管壁R1的和，识别为血管区域。

在步骤S2140，识别单元131获得等于或者小于阈值T1的低亮度区域R1。识别单元131将区域R1和相邻高亮度区域Rh的和，识别为血管区域。在步骤S2150，识别单元131对低亮度区域进行标签处理。在步骤S2160，识别单元131在将小面积的标签区域当作为神经纤维中的微区域(即，除血管区域以外的区域)的同时，删除该小面积的标签区域。

<步骤S2170>

识别单元131计算在上述处理中所识别的血管区域的每一位置处的血管直径VW。例如，可以认为区域Rh沿血管的中心轴延伸。因此，识别单元131测量与区域Rh垂直的方向上的血管直径VM，并且将血管直径等于或者大于阈值Tw的区域识别为包括较大血管直径VW的区域MS。

<步骤S2175>

识别单元131使用交叉检测滤波器来检测交叉区域。在本典型实施例中，可以使用众所周知的交叉点检测滤波器。更具体地，在滤波器外周区域中的血管区域的数量等于或者大于4，并且在滤波器的中心区域至少存在一个血管区域的情况下，识别单元131将该区域识别为交叉区域。

<步骤S2180>

识别单元131对在将焦点位置设置在筛板LC附近的状态下所拍摄的SLO运动图像DO进行帧间微分处理。

<步骤S2190>

识别单元131计算与在步骤S2180所获得的SLO运动图像DO的帧间微分图像的各x-y位置处帧方向上的亮度值有关的统计量(即，方差)，并且将方差值等于或者大于阈值的区域识别为血细胞运动范围。

接着，识别单元131计算血细胞运动区域的各x-y位置处帧方向上的最大亮度值，并且认为与最大值相对应的帧编号表示存在白细胞的区域。在本典型实施例中，图像处理设备测量视神经乳头的筛板LC中的筛板孔LP的形状和分布。然而，本发明不局限于上述例子。

例如，在视网膜的黄斑处可能由血细胞所导致的阴影区域中，在测量感光细胞C的形状和分布之前，从测量对象区域排除可能发生测量误差的区域(例如，血管直径大的区域或者交叉区域)，这是有用的。

当采用上述结构时，图像处理设备10在测量筛板孔LC的形状和分布之前，从测量对象区域排除包括较大血管直径VW和交叉区域的区域MP。

因此，由于在从测量对象排除可能发生测量误差的任何区域之后进行测量，因而根据本典型实施例的图像处理设备可以精确地测量细胞(或者组织)的形状和分布。

其他典型实施例

在上述第六典型实施例中，从测量对象区域排除与血细胞运动有关的区域的一部分。本发明不局限于上述例子。在另一典型实施例中，尽管测量单元136对所有区域都进行测量，则以从输出对象忽视上述区域的这样的方式，限制输出单元134的测量结果的输出。该配置有利于简化通过测量单元136所要进行的处理。

此外，在第一～第五典型实施例中，控制单元132可以基于血管直径和血管交叉状态中的至少一个，限制与血细胞运动有关的区域中的、要经过通过图像处理单元133所进行的图像校正处理的区域。该配置有利于提高校正处理的速度。此外，控制单元132针对组织信息，限制输出单元134的输出对象区域。向用户提供高可靠性的信息是可行的。

在上述第六典型实施例中，如果血管直径等于或者大于阈值，则从测量对象、输出对象或者图像处理校正对象排除该区域。如果阈值可以根据来自从用户接收输入的操作单元50的信号而改变，则可以获得每一用户想要的图像或者输出结果。控制单元132接收来自操作单元50的输入信号，并且向图像处理单元133和测量单元136发送反馈结果。在这方面，控制单元132发挥被配置成识别帧图像中的非处理对象区域的识别单元的功能。

阈值的上述用户设置不局限于第六典型实施例，并且同样可应用于第一～第五典型实施例中的每一个。作为另一典型实施例，使得用户通过操作操作单元50将阈值设置成0也是有用的。更具体地，可使用的下面的方法i)或者ii)来指定非测量对象区域。

i)如果血细胞运动区域的直径等于或者大于用户所指定的值，则测量单元136从测量对象排除血细胞运动区域。在这种情况下，通过将参数指定为0，可以从测量对象排除所有血细胞运动区域。

ii)如果经过了图像校正处理的血细胞运动区域的亮度值等于或者小于用户所指定的值，则图像处理单元133从测量对象排除该区域。在这种情况下，通过将参数指定为最高亮度值(例如，如果是8位数据，则指定255，或者如果是16位数据，则指定65535)，可以从测量对象排除所有血细胞运动区域。

在这种情况下，图像处理设备10的图像处理单元133可以在不包括任何血细胞运动区域的情况下，根据用户请求进行图像处理，并且测量单元136可以计算测量值。在这种情况下，在血细胞运动区域外部，可以获得处理后的图像或者与测量结果有关的信息。

此外，作为另一典型实施例，根据用户经由操作单元50所输入的操作指示，图像处理单元133可以仅对血细胞运动区域进行图像处理校正，并且测量单元136可以计算测量值。为了实现该处理，识别单元131对血细胞运动区域和其他区域进行标签处理，这是有用的。

此外，输出单元134针对血细胞运动区域和其他区域独立输出测量值，从而使得用户可以比较输出测量值。此外，输出单元134可以计算测量值之间的差，并且可以通知所计算出的相对于预定阈值的微分值的偏差。

在第六典型实施例中，为了识别血管区域所选择的两个图像，是将焦点对准内层的SLO运动图像和将焦点对准筛板的SLO运动图像。作为可应用于第一～第五典型实施例的修改配置，可以使用将焦点对准内层的SLO运动图像和将焦点对准外层的SLO运动图像，以提高识别血管区域的精度。

适当组合上述第一～第六典型实施例是可行的。

在上述典型实施例中，扫描激光器检眼镜拍摄眼底图像。然而，本发明不局限于上述例子。例如，使用通过包括自适应光学系统的眼底照相机所拍摄的眼底图像是有用的。在上述典型实施例中为什么使用装配有自适应光学系统的眼科摄像设备的原因是，因为需要拍摄与血细胞的运动、感光细胞和筛板有关的眼底视网膜区域的图像。因此，在这方面，本发明包含采用除装配有自适应光学系统的摄像设备以外的摄像设备的典型实施例。

通过上述典型实施例所述的图像处理设备所要处理的摄像对象，是黄斑的感光细胞或者视盘的筛板。然而，本发明不局限于上述例子。例如，图像处理设备可以拍摄视盘附近的感光细胞的图像，并且获得通过上述处理校正后的图像。

作为本发明的另一典型实施例，提供一种包括可以协作实现上述图像处理设备的功能的多个设备的图像处理系统，这是有用的。例如，计算机的CPU可以执行软件程序以实现上述图像处理设备的功能。此外，本发明包含存储可以实现本发明的典型实施例的软件程序的存储介质。如上所述，当所要进行的图像处理可以针对各区域而改变时，用户可以容易地识别血管区域中的组织信息。

其他实施例

还可以通过读出并执行记录在存储装置上的程序以进行上述实施例的功能的系统或者设备的计算机(或者诸如CPU或MPU等的装置)、以及通过下述方法实现本发明的实施例的方面，其中，例如，通过系统或设备的计算机读出并执行记录在存储装置上的程序来进行该方法的步骤，以进行上述实施例的功能。为此，经由网络或者通过用作为存储装置的各种类型的记录介质(例如，计算机可读介质)将该程序提供给该计算机。

尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所述权利要求书的范围符合最宽的解释，以包含所有修改、等同结构和功能。

本申请要求2012年2月20日提交的日本2012-034345号专利申请的优先权，其全部内容通过引用包含于此。

Claims (24)

1.一种图像处理设备，其特征在于包括：

识别单元，用于在包括自适应光学系统的眼科摄像设备所拍摄的眼底图像上，识别与血细胞的运动有关的区域；以及

获取单元，用于在所识别的区域中，获取与在从前眼部侧观看时、位于认出所述血细胞的运动的位置的背侧的组织有关的信息。

2.根据权利要求1所述的图像处理设备，其中，所述获取单元用于：通过对所识别的区域和与所识别的区域不同的区域应用不同的处理，获取与眼底组织有关的信息。

3.根据权利要求1所述的图像处理设备，其中，所述识别单元用于：基于作为运动图像的所述眼底图像的第一帧和第二帧之间的像素值的差和比率中的任何一个，识别所述与血细胞的运动有关的区域。

4.根据权利要求3所述的图像处理设备，其中，所述识别单元用于：如果在一区域中，所述运动图像的像素值的时间离散度大于特定阈值，则将该区域识别为血细胞运动区域。

5.根据权利要求3所述的图像处理设备，其中，所述识别单元用于：如果血细胞运动区域的特定位置处的像素值大于特定值，则将帧图像识别为表示所述特定位置处的血细胞的位置的帧。

6.根据权利要求1所述的图像处理设备，其中，所述识别单元用于识别与白细胞的位置有关的区域。

7.根据权利要求1所述的图像处理设备，其中，所述识别单元用于：在所述眼底图像是能够通过所述眼科摄像设备拍摄的感光细胞的图像、或者是能够通过所述眼科摄像设备拍摄的视神经乳头的筛板的图像的情况下，识别所述与血细胞的运动有关的区域。

8.根据权利要求1所述的图像处理设备，其中，所述获取单元包括图像处理单元，所述图像处理单元用于：通过处理来校正所述眼底图像，并且获得校正后的图像作为组织信息。

9.根据权利要求8所述的图像处理设备，其中，所述图像处理单元用于：在所述与血细胞的运动有关的区域中，应用能够减少血细胞阴影信息的减少处理。

10.根据权利要求8所述的图像处理设备，其中，所述图像处理单元用于：对与所述与血细胞的运动有关的区域不同的区域，应用降噪处理。

11.根据权利要求8所述的图像处理设备，其中，所述图像处理单元用于：基于所述与血细胞的运动有关的区域中的像素值在时间方向上的分布，通过从各帧图像选择大于特定像素值的像素值来形成图像。

12.根据权利要求11所述的图像处理设备，其中，所述图像处理单元用于：基于所述与血细胞的运动有关的区域的各位置处大于所述特定像素值的像素值在时间方向上的平均值，来形成图像。

13.根据权利要求1所述的图像处理设备，其中，还包括：

缺陷判断单元，用于基于通过独立应用于所识别的区域和与所识别的区域不同的眼底图像区域的图像处理所获得的眼底图像，判断所述组织的缺陷区域。

14.根据权利要求13所述的图像处理设备，其中，所述缺陷判断单元用于：识别血管区域，并且在所述血管区域中，基于像素值在时间方向上的峰值和像素值在时间方向上的平均水平之间的差，判断感光细胞的缺陷区域。

15.根据权利要求1所述的图像处理设备，其中，

所述获取单元包括测量单元，其中，所述测量单元用于：从所述眼底图像获取组织相关信息，并且获得所获取的信息作为组织信息。

16.根据权利要求15所述的图像处理设备，其中，所述测量单元用于：获得与位于血管下方的感光细胞或者筛板的分布、异常或者缺陷有关的信息，作为所述组织信息。

17.根据权利要求1所述的图像处理设备，其中，还包括：

控制单元，用于进行控制以使应用于所识别的区域的处理和应用于与所识别的区域不同的眼底图像区域的处理不同。

18.根据权利要求17所述的图像处理设备，其中，所述获取单元包括测量单元，所述测量单元用于：从所述眼底图像获取组织相关信息，并且获得所获取的信息作为组织信息，

其中，所述控制单元用于：针对所述与血细胞的运动有关的区域和其他区域，使在所述测量单元检测眼底图像中的组织时所参考的阈值不同。

19.根据权利要求17所述的图像处理设备，其中，还包括：

输出单元，用于输出在应用所述处理时所获得的眼底组织信息，

其中，所述控制单元用于：基于血管直径和血管交叉状态中的至少一者，限制与所述血细胞的运动有关的图像处理应用区域、或者与组织信息有关的所述输出单元的输出对象区域。

20.根据权利要求1所述的图像处理设备，其中，还包括：

帧判断单元，用于在作为运动图像的所述眼底图像中，基于图像信息识别作为处理对象的帧图像，

其中，所述识别单元用于：在像素值的时间离散度大于特定阈值的情况下，识别所述眼底图像的区域作为所述与血细胞的运动有关的区域，以及

所述识别单元在测量方差之前排除被判断为非处理对象的帧图像。

21.一种图像处理设备，其特征在于包括：

识别单元，用于在包括自适应光学系统的眼科摄像设备所获得的眼底运动图像中，识别像素值的时间离散度大于特定阈值的区域；

图像处理单元，用于在所述区域的每一位置处，基于能够从所述运动图像的帧图像获取的、大于特定阈值的像素值，获得组织信息；以及

显示控制单元，用于将所述图像处理单元所获得的组织信息显示在显示单元上。

22.一种图像处理设备，其特征在于包括：

识别单元，用于在包括自适应光学系统的眼科摄像设备所获得的眼底图像上，识别与血细胞的运动有关的区域；

另一识别单元，用于在所识别的区域中识别非处理对象区域；

图像处理单元，用于从排除了所述非处理对象区域的眼底图像区域获取组织信息；以及

显示控制单元，用于将所述图像处理单元所获得的组织信息显示在显示单元上。

23.一种眼科摄像系统，其特征在于包括：

根据权利要求1所述的图像处理设备；

眼科摄像设备，用于在利用自适应光学系统补偿眼部的像差的同时拍摄眼底图像；以及

显示单元，用于显示所述图像处理设备的获取单元所获得的组织相关信息。

24.一种图像处理方法，其特征在于包括以下步骤：

在包括自适应光学系统的眼科摄像设备所拍摄的眼底图像上，识别与血细胞的运动有关的区域；以及

在所识别的区域中，获取与在从前眼部侧观看时、位于认出所述血细胞的运动的位置的背侧的组织有关的信息。