CN105395163B - 眼科设备和眼科设备的控制方法 - Google Patents

Abstract

本发明涉及一种眼科设备和眼科设备的控制方法。所述眼科设备通过在不同时间拍摄眼部的不同的多个区域来获取多个图像，以通过组合所获取到的多个图像来生成一个图像。所述眼科设备包括：确定单元，用于在所述多个区域中，确定不包括实际被拍摄为所述多个图像的区域的至少一个区域；以及控制单元，用于控制所述眼科设备，以对所述眼部的所确定的区域进行摄像。

Description

眼科设备和眼科设备的控制方法

技术领域

本发明涉及可用于眼科诊断和治疗的眼科设备，并且涉及该眼科设备的控制方法。

背景技术

为了早期诊断并治疗生活方式相关疾病或者作为失明的诱因的可能性高的疾病，广泛进行眼部检查。扫描激光检眼镜(SLO)是可基于共焦激光显微镜的原理进行工作的眼科设备。SLO设备可以利用激光(即，测量光)对眼底进行光栅扫描，并且可以基于返回光的强度来获取高分辨率和高速的平面图像。以下将SLO设备所获取到的平面图像称为SLO图像。

近来的SLO设备被配置为使用光束直径较大的测量光，以使得所拍摄到的视网膜的SLO图像在横向分辨率方面优良。然而，如果测量光的光束直径变大，则在获取视网膜的SLO图像时将发生问题。例如，所获取到的SLO图像由于被检眼的像差而在S/N比和/或分辨率方面不足。为了解决上述问题，自适应光学SLO设备可被配置为包括：波前传感器，其能够实时地测量被检眼的像差；以及波前校正装置，其能够校正在被检眼中发生的测量光或返回光的像差。具有上述结构的自适应光学SLO设备可以获取横向分辨率优良的SLO图像(即，高倍率图像)。

上述高倍率图像可被获取作为运动图像，并且例如可用于非侵入性地观察血流动态。在这种情况下，可以从各帧中提取视网膜血管并且测量毛细血管中的血球的移动速度。此外，为了使用高倍率图像来评价与视觉功能的关联，可以检测视细胞P并且测量视细胞P的密度分布和/或排列。图6B示出高倍率图像的示例，其中在该高倍率图像中，可以观察到视细胞P、表示毛细血管的位置的低亮度区域Q、以及表示白血球的位置的高亮度区域W。

在这种情况下，在使用高倍率图像来观察视细胞P或测量视细胞P的分布的情况下，将聚焦位置设置到视网膜外层(参见图6A的B5)附近以拍摄如图6B所示的高倍率图像。另一方面，视网膜血管和分支的毛细血管广泛分布在视网膜内层(参见图6A的B2～B4)。在这种情况下，相比高倍率图像的视角，在对被检眼摄像时要设置的摄像对象区域趋于变大。例如，在摄像对象是在宽范围中延伸的视细胞缺失区域或者中央凹区域(即，初期毛细血管病变的好发部位)的情况下，将识别出上述关系。有鉴于上述，如日本特开2012-213513所论述的，传统上已知有能够显示包括不同的拍摄位置所拍摄到的多个高倍率图像的图像组合(蒙太奇图像)的技术。

此外，如日本特开2013-169309所论述的，传统上已知有能够从特定拍摄位置所拍摄到的高倍率运动图像中识别影响(例如，固视微动)较大的例外帧、并且能够显示高倍率运动图像中的除所判断出的例外帧以外的所有帧的技术。

发明内容

一种眼科设备，用于通过在不同时间拍摄眼部的不同的多个区域来获取多个图像，以通过使用所获取到的所述多个图像来生成一个图像，所述眼科设备包括：确定单元，用于在所述多个区域中，确定不包括实际被拍摄为所述多个图像的区域的至少一个区域；以及控制单元，用于控制所述眼科设备，以对所述眼部的所确定的区域进行摄像。

一种眼科设备，包括：图像获取单元，用于获取眼部的在不同位置所拍摄到的多个图像；判断单元，用于判断表示所获取到的所述多个图像之间的特性的连续性的值；指示单元，用于以所判断出的值满足预定条件的方式，给出与在不同位置拍摄所述眼部所用的拍摄条件有关的指示；以及控制单元，用于控制所述眼科设备，以基于所指示的拍摄条件来在不同位置拍摄所

一种眼科设备，包括：图像获取单元，用于获取眼部的获取位置不同的多个图像；判断单元，用于判断所获取到的所述多个图像的图像群的适合度；以及指示单元，用于基于所述判断单元所获得的判断结果，来给出与针对要获取的图像的拍摄条件有关的指示。

一种眼科设备的控制方法，所述眼科设备用于通过在不同时间拍摄眼部的不同的多个区域来获取多个图像以通过使用所获取到的所述多个图像来生成一个图像，所述控制方法包括以下步骤：在所述多个区域中确定不包括实际被拍摄为所述多个图像的区域的至少一个区域；以及控制所述眼科设备，以对所述眼部的所确定的区域进行摄像。

一种眼科设备的控制方法，包括以下步骤：获取眼部的在不同位置所拍摄到的多个图像；判断表示所获取到的所述多个图像之间的特性的连续性的值；以所判断出的值满足预定条件的方式，给出与在不同位置拍摄所述眼部所用的拍摄条件有关的指示；以及控制所述眼科设备，以基于所指示的拍摄条件来在不同位置拍摄所述眼部。

一种眼科设备的控制方法，包括以下步骤：获取眼部的获取位置不同的多个图像；判断所获取到的所述多个图像的图像群的适合度；以及基于判断结果来给出与针对要获取的图像的拍摄条件有关的指示。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出根据本发明的第一典型实施例的眼科设备的功能结构的框图。

图2A、2B和2C是各自示出包括根据本发明典型实施例的眼科设备的系统的结构的框图。

图3示出根据本发明典型实施例的SLO图像摄像设备的整体结构。

图4是示出计算机的硬件结构的框图，其中该计算机包括能够从功能上用作存储单元和图像处理单元的硬件部分、以及能够用作其它单元的软件部分。

图5是示出根据本发明典型实施例的眼科设备可以进行的处理的流程图。

图6A、6B、6C、6D、6E、6F、6G、6H、6I和6J示出根据本发明的第一典型实施例的图像处理的内容。

图7是示出根据本发明的第二典型实施例的眼科设备的功能结构的框图。

图8A、8B、8C、8D、8E和8F示出根据本发明的第二典型实施例的图像处理的内容。

图9是示出根据本发明的第三典型实施例的眼科设备的功能结构的框图。

图10是示出根据本发明的第三典型实施例的眼科设备可以进行的处理的流程图。

图11A、11B、11C、11D和11E示出根据本发明的第三典型实施例的图像处理的内容。

图12示出根据本发明的第四典型实施例的断层图像摄像设备的整体结构。

图13A、13B、13C和13D示出根据本发明的第四典型实施例的图像处理的内容。

图14是示出根据本发明的第五典型实施例的眼科设备的功能结构的框图。

图15A、15B和15C示出根据本发明的另一典型实施例的图像处理的内容。

具体实施方式

首先，现在假定眼科设备从不同的拍摄位置所拍摄到的多个高倍率运动图像中获取代表图像、然后形成并显示代表图像的组合。通常，眼科设备通过从多个高倍率运动图像中获取代表图像来生成宽范围图像，并且形成所获取到的代表图像的组合。在这种情况下，邻接的拍摄位置所拍摄到的代表图像中的两个代表图像在彼此进行比较的情况下，在关于拍摄位置、亮度特性或图像特征的连续性方面可能不足够或不充分。如果使用这种宽范围图像来测量在宽范围内延伸的细胞群或组织及其病变(视细胞的缺陷或毛细血管瘤)的分布，则可能发生不可分析的区域或者可能无法提取分析对象。

本典型实施例意图提供一种能够基于以提高眼部的不同拍摄位置所拍摄到的多个高倍率图像的连续性的方式所确定出的拍摄条件来进行摄像操作的眼科设备。

因此，根据本典型实施例的眼科设备包括确定单元(例如，图1所示的指示单元134)，其中该确定单元用于基于眼部的不同位置所拍摄到的多个图像(即，图像群)之间的特性的连续性来确定在不同位置拍摄眼部所用的拍摄条件。因此，可以基于能够提高不同的拍摄位置所拍摄到的多个高倍率图像之间的连续性的拍摄条件，来拍摄眼部。

在这种情况下，多个图像(图像群)的特性例如可以是多个图像的相对位置、亮度特性和图像特征中的至少一个。此外，拍摄条件可以包括拍摄位置(即，扫描位置)、拍摄视角(即，扫描范围)、光源的发光量、光检测器的增益、以及帧频。此外，构成图像群的各个图像是从运动图像中所获取到的代表图像(其可以是从运动图像中所选择的一张图像)。可选地，可以预先选择在噪声和伪影特性方面优良的多张图像，然后叠加所选择的图像以获得合成叠加图像。

此外，期望根据本典型实施例的眼科设备包括用于判断表示连续性的值的判断单元，这是因为可以确定拍摄条件，以使得所判断出的值可以满足预定条件。例如，在所判断出的值超过阈值的情况下或者在所判断出的值最大的情况下，所判断出的值满足预定条件。例如，在连续性的判断基于亮度特性的情况下，期望确定拍摄条件，以使得所获取到的图像中的亮度值的差变得等于或小于阈值。此外，期望使用包括拼揍到一起的多个子图像的图像组合来判断表示连续性的值。例如，如在以下典型实施例中详细所述，可以基于构成图像组合的子图像的数量、子图像的面积或无血管区域边界的长度来判断表示连续性的值。

此外，在发生固视微动的情况下，可能无法获得适合生成全景图像的多个图像。如日本特开2012-213513所论述的，传统上已知在同一部位重复进行拍摄操作，直到可以识别出邻接的所拍摄图像的共通部分之间的预定相关关系为止。在这种情况下，即使在同一部位的部分区域中可以获得适合生成全景图像的所拍摄图像的情况下，也将针对该同一部位的整个区域重复进行拍摄操作。因此，结果，由于对不必要的区域进行拍摄因而需要长时间来完成拍摄操作。在对眼部的多个区域其中之一进行拍摄操作的情况下，拍摄位置可能由于固视微动而发生偏移。然而，在这种情况下，存在针对其它区域至少之一的拍摄操作已成功完成的可能性。因此，根据另一典型实施例的眼科设备在针对多个区域的拍摄操作完成之后对不足区域进行摄像。因此，眼科设备参考其它区域至少之一的所拍摄图像来选择性地对实际没有拍摄的区域进行摄像。因此，不必通过重复拍摄操作来对不必要区域进行摄像。可以缩短整体拍摄时间。

以下将参考附图来详细说明根据本发明的优选典型实施例的眼科设备及其控制方法。然而，本发明不限于上述示例。

不同位置所拍摄到的多个图像在相对位置和亮度特性方面的连续性

以下将详细说明第一典型实施例。根据本典型实施例的眼科设备基于不同位置所拍摄到的多个图像(即，图像群)在相对位置和亮度特性至少之一方面的连续性来判断该图像群的适合度。如果该适合度不满足预定水平，则眼科设备指示操作员针对各不适合图像再次进行摄像。因而，可以在大致相同的条件下观察摄像范围。

更具体地，如图6G所示，假定图像群包括九张高倍率图像。如以下详细所述，眼科设备参考属于不可观察区域的图像数量相对于构成图像群的图像数量来判断图像群的适合度。

整体结构

图2A示出包括根据本典型实施例的眼科设备10的系统的结构。如图2A所示，眼科设备10经由可以包括光纤、USB或IEEE 1394的局域网(LAN)30连接至SLO图像摄像设备20和数据服务器40。代替采用上述结构，这些装置可以经由诸如因特网等的外部网络彼此连接。此外，眼科设备10可以直接连接至SLO图像摄像设备20。

SLO图像摄像设备20能够获取眼部的宽视角图像Dl和高倍率图像Dh。SLO图像摄像设备20可以将与所获取到的图像(即，宽视角图像Dl和高倍率图像Dh)有关的信息连同与拍摄操作中所使用的固视目标位置Fl和Fh有关的信息一起发送至眼科设备10和数据服务器40这两者。在不同的拍摄位置拍摄到预定倍率的图像的情况下，Dli表示各拍摄位置所拍摄到的宽视角图像并且Dhj表示各拍摄位置所拍摄到的高倍率图像。更具体地，i和j是各自表示拍摄位置编号的变量(i＝1、2、...、和imax，并且j＝1、2、...、和jmax)。此外，在以不同倍率获取到多个高倍率图像的情况下，D1j、D2k、...表示按倍率大小的降序顺次排列的所拍摄图像。D1j表示最高倍率图像，并且D2k、...表示中间倍率图像。

此外，数据服务器40除各眼部的图像特征和与眼部图像特征的分布有关的正常值外，还可以存储各被检眼的宽视角图像Dl和高倍率图像Dh以及拍摄操作中所使用的拍摄条件数据(例如，固视目标位置F1和Fh)。本发明中要处理的眼部图像特征包括视细胞P、毛细血管Q、血球W、视网膜血管和视网膜层边界。该服务器存储从SLO图像摄像设备20输出的宽视角图像Dl、高倍率图像Dh、各拍摄操作中所使用的固视目标位置Fl和Fh、以及从眼科设备10输出的眼部图像特征。此外，响应于来自眼科设备10的请求，数据服务器40除眼部图像特征和与这些图像特征有关的正常值数据外，还可以将宽视角图像Dl和高倍率图像Dh发送至眼科设备10。

接着，以下将参考图1来说明根据本典型实施例的眼科设备10的功能结构。图1是示出眼科设备10的功能结构的框图。眼科设备10包括数据获取单元110、存储单元120、图像处理单元130和指示获取单元140。数据获取单元110包括图像获取单元111。图像处理单元130包括对准单元131、个体图像判断单元132、图像群判断单元133、指示单元134和显示控制单元135。此外，指示单元134包括再摄像必要性指示单元1341。

配备有自适应光学系统的SLO图像摄像设备

接着，将参考图3来说明包括自适应光学系统的SLO图像摄像设备20的结构。光源201是超发光二极管(SLD)光源。在本典型实施例中，光源201可以共通地用于眼底摄像和波前测量。可选地，可以设置专用于眼底摄像的单独光源和专用于波前测量的另一单独光源。在这种情况下，该系统可被配置成使从各个光源发出的光束在中间位置发生多路复用。来自光源201的光经由单模光纤202到达准直器203。该光从准直器203作为平行测量光205行进。平行测量光205到达并且穿过光分割单元204。光分割单元204包括分束器。然后，该光被引导至自适应光学系统。

自适应光学系统包括光分割单元206、波前传感器215、波前校正装置208和为了将光引导至这三个组件所设置的反射镜207-1～207-4。在这种情况下，反射镜207-1～207-4被定位成至少眼部的瞳孔与波前传感器215和波前校正装置208光学共轭。在本典型实施例中，光分割单元206是分束器。此外，根据本典型实施例的波前校正装置208是包括液晶元件的空间相位调制器。作为另一实施例，波前校正装置208可以包括可变形镜。利用扫描光学系统209来以一维或二维方式扫描穿过自适应光学系统的光。本典型实施例中所采用的扫描光学系统209包括两个检电扫描器，这两个检电扫描器其中之一专用于(要在眼底的水平方向上进行的)主扫描并且另一个专用于(要在眼底的垂直方向上进行的)副扫描。可选地，为了实现高速拍摄操作，扫描光学系统209可被配置为包括共振扫描器以供主扫描用。扫描光学系统209所扫描的测量光205经由两个目镜透镜210-1和210-2行进并且到达眼部211。然后，测量光205被眼底反射或散射。可调整各目镜透镜210-1或210-2的位置，以根据眼部211的屈光度使照射最优。作为另一示例，可以利用球面镜来替换上述结构中所使用的目镜透镜。

返回光、即被眼部211的视网膜所反射或散射的光沿着与上述路径相同的路径在相反方向上行进。光分割单元206使返回光的一部分向着波前传感器215反射，其中该波前传感器215可以测量输入光的波前。波前传感器215连接至自适应光学控制单元216，并且将输入光的波前传输至自适应光学控制单元216。波前校正装置208也连接至自适应光学控制单元216。波前校正装置208可以根据来自自适应光学控制单元216的指示来进行调制。自适应光学控制单元216基于根据波前传感器215的测量结果所获得的波前来计算用以获得无像差的波前的调制量(即，校正量)。然后，自适应光学控制单元216指示波前校正装置208根据所计算出的调制量来进行调制。自适应光学控制单元216重复进行波前测量和向着波前校正装置208的指示所用的处理，从而进行反馈控制以恒定地使波前最优。

光分割单元204反射穿过光分割单元206的返回光的一部分。所反射的返回光经由准直器212和光纤213到达光强度传感器214。光强度传感器214将输入光转换成电信号。控制单元217基于从光强度传感器214所接收到的电信号来生成眼部图像。显示装置218显示控制单元217所生成的眼部图像。如果图3所示的扫描光学系统被配置为具有增大的摆动角并且防止了自适应光学控制单元216进行像差校正，则SLO图像摄像设备20可以用作普通的SLO设备并且可以拍摄宽视角SLO图像(即，宽视角图像Dl)。

眼科设备10的硬件结构和执行过程

接着，以下将参考图4来详细说明眼科设备10的硬件结构。图4所示的硬件结构包括中央处理单元(CPU)301、存储器(RAM)302、控制存储器(ROM)303、外部存储装置304、监视器305、键盘306、鼠标307和接口308。在外部存储装置304中存储可以实现根据本典型实施例的图像处理功能的控制程序和在执行该控制程序时要使用的相关数据。该控制程序和相关数据可以在CPU 301的控制下经由总线309适当地载入RAM 302，并且可以由CPU 301执行或处理，以使得可以实现以下所述的各功能单元。以下将参考图5所示的流程图来详细说明构成眼科设备10的各个块的各种功能，其中图5是眼科设备10的具体执行过程。

步骤S510：图像获取模式选择

眼科设备10经由指示获取单元140获取与用户所选择的预定图像获取模式(例如，拍摄位置或视角)有关的信息。在本典型实施例中，眼科设备10将固视目标位置Fl和Fh设置到黄斑的中央凹并且获取宽视角图像Dl和图6H所示的高倍率图像Dhj。拍摄位置设置方法不限于上述示例。可以任意设置固视目标位置Fl和Fh。

步骤S520：图像获取

图像获取单元111请求SLO图像摄像设备20获取宽视角图像Dl、高倍率图像Dhj以及相应的固视目标位置Fl和Fh。响应于该获取请求，SLO图像摄像设备20获取并发送宽视角图像Dl、高倍率图像Dhj以及相应的固视目标位置Fl和Fh。图像获取单元111经由LAN 30从SLO图像摄像设备20接收宽视角图像Dl、高倍率图像Dhj以及固视目标位置Fl和Fh。图像获取单元111将所接收到的数据存储在存储单元120中。在本典型实施例中，宽视角图像Dl和高倍率图像Dhj是帧间对准已完成的运动图像。

步骤S530：对准

对准单元131进行高倍率图像Dhj相对于宽视角图像Dl的对准并且获得各高倍率图像Dhj在宽视角图像Dl上的相对位置。如果在高倍率图像Dhj之间存在任何重叠区域，则对准单元131关于该重叠区域计算图像之间的相似度。然后，对准单元131使各个高倍率图像Dhj的位置对准，以使图像之间的相似度最大。

接着，在步骤S520中所获取到的图像包括倍率相互不同的两个或更多个图像的情况下，对准单元131优先倍率较低的图像的对准。例如，在所获取到的图像包括高倍率图像D1j和中间倍率图像D2k的情况下，对准单元131首先进行中间倍率图像D2k相对于宽视角图像Dl的对准。随后，对准单元131进行高倍率图像D1j相对于中间倍率图像D2k的对准。如果在步骤S520中仅获取到高倍率图像，则对准单元131进行高倍率图像Dhj相对于宽视角图像Dl的对准。对准单元131从存储单元120获取高倍率图像Dhj的拍摄操作中所使用的固视目标位置Fh。对准单元131使用所获取到的固视目标位置Fh来设置在宽视角图像Dl和高倍率图像Dhj之间的对准时要参考的对准参数的初始搜索点。此外，可以任意使用任何其它传统上已知的方法来检查图像之间的相似度或进行坐标转换。本典型实施例中所使用的图像之间的相似度是相关系数。进行对准时所使用的坐标转换方法是仿射转换。

步骤S540：个体图像适合度判断

个体图像判断单元132基于各帧的亮度值和帧间移动量来进行适合度判断处理。首先，个体图像判断单元132获取经由指示获取单元140所获取到的适合度判断标准。

该判断标准包括以下的a)～d)项。

a)图像的亮度值处于适当范围内。

b)图像质量(例如，S/N比或要叠加的图像数量)处于适当范围内。

c)相对于参考帧的移动量处于适当范围内。

d)聚焦位置处于适当范围内。

在本典型实施例中，个体图像判断单元132参考标准a)和b)来检查适合度。具体地，该标准是不包括由于瞬目而可能发生的低亮度帧的可叠加帧的数量。个体图像判断单元132针对高倍率SLO图像Dhj判断上述的适合度。此外，在适合度满足预定标准的情况下，图像处理单元130通过叠加处理形成个体图像。在这种情况下要获得的个体图像可以是通过叠加协作构成运动图像的所有帧可获得的图像、或者可以是所选择的一个帧。此外，个体图像可以是通过仅叠加噪声相对较低的所选择的图像可获得的图像。在本典型实施例中，如图6C所示，高倍率图像是视细胞的运动图像。图像处理单元130通过在满足上述条件a)的所有帧中仅叠加像素值为正的区域来形成合成图像。因此，例如，在如图6C所示、个体高倍率运动图像的各个帧的位置彼此相关联(Nf：帧编号)的情况下，图6D示出叠加处理的结果。根据上述示例，采用开头帧作为参考帧。图6D所示的黑色区域是叠加处理中没有使用的区域(即，图像缺失区域)。

步骤S545：再摄像必要性指示

再摄像必要性指示单元1341基于步骤S540中所判断出的个体图像适合度来向图像获取单元111指示是否有必要对相应的高倍率图像Dhj进行再摄像。具体地，如果个体图像适合度不满足预定标准(步骤S545中为“是”)，则操作返回至步骤S520。例如，在要叠加的图像数量不满足阈值Tf的情况下，再摄像必要性指示单元1341判断为有必要进行再摄像。在这种情况下，再摄像必要性指示单元1341指示图像获取单元111进行再摄像处理。如果个体图像适合度满足预定标准(步骤S545中为“否”)，则操作进入步骤S550。此外，指示单元134从功能上可用作被配置为基于多个图像之间的特性的连续性来确定在眼部的不同位置进行摄像所用的拍摄条件的确定单元。

步骤S550：判断是否全部获得了图像群

眼科设备10判断是否全部获得了步骤S510中所获取到的图像获取模式的图像群。如果判断为全部获得了图像群(步骤S550中为“是”)，则操作进入步骤S560。如果判断为存在尚未获得的图像(步骤S550中为“否”)，则操作返回至步骤S520。

步骤S560：图像群适合度判断处理

图像群判断单元133基于步骤S530中所获得的对准参数来形成构成步骤S540中所形成的图像群的在不同位置彼此邻接的多个图像的组合。然后，图像群判断单元133基于该图像群的相对位置和亮度连续性来判断图像群适合度。然而，作为另一示例，图像群判断单元133可以参考相对位置或亮度特性来判断图像群适合度。如果图像群适合度不满足预定标准，则指示单元134指示图像获取单元111进行再摄像处理。在本典型实施例中，图像群包括如图6G所示的九个叠加图像。最初将图像编号j设置到左上方的图像。图像编号j根据光栅扫描(即，锯齿形扫描)顺序而顺次递增。

以下是与图像组合(即，图像群)的适合度有关的判断策略、更具体为在同一条件下观察整个图像组合所需的图像群适合度。

1.图像组合不包括图像缺失区域(换句话说，亮度没有不连续地改变)。

2.图像质量稳定，而与拍摄位置无关。

在这种情况下，如果代替判断图像群适合度而是仅基于个体图像的适合度来判断是否有必要进行再摄像处理，则将需要针对各图像严格判断是否获取到摄像对象区域。结果，将频繁地给出再摄像的指示。在这种情况下，有必要设置较宽的重叠区域(即，增加摄像位置的数量)以防止再摄像判断增多。因此，在适合度判断中考虑到邻接图像之间的端部或重叠区域中的数据的连续性或补充性的情况下，可以高效地获取满足上述的条件1和2的高倍率图像群。具体地，在本典型实施例中，存在两个邻接图像之间的重叠区域(例如，图6F所示的灰色区域)或四个邻接图像之间的重叠区域(例如，图6F所示的黑色区域)。即使在一个图像包括图像缺失区域的情况下，如果存在从邻接图像之间的重叠区域可获得的任何数据，则也判断为图像群不包括图像缺失区域。因此，根据以下过程来判断图像群适合度。

更具体地，图像群适合度判断过程包括以下操作：

(1)根据步骤S530中所获得的对准参数来形成包括步骤S540中所生成的个体图像的矩阵状组合；

(2)在不存在图像缺失区域的情况下，立即完成图像组合的形成；以及

(3)在存在图像缺失区域的情况下识别各图像缺失区域的位置，并且获得该图像缺失区域所属的图像的编号列表。

例如，根据图6G所示的示例，图像6和9各自包括通过上述组合处理所引起的图像缺失区域。因此，获得包括图像缺失区域的各图像的编号列表。

该过程还包括以下操作：

(4)根据以下公式来计算图像群适合度。

公式：

(组合图像的总数-包括任何图像缺失区域的图像的数量)/(组合图像的总数)

步骤S565：再摄像必要性指示

如果判断为所判断出的图像群适合度小于1(步骤S565中为“是”)，则再摄像必要性指示单元1341指示图像获取单元111针对包括图像缺失区域的图像进行图像获取处理。然后，操作返回至步骤S520。如果判断为图像群适合度等于1(步骤S565中为“否”)，则操作进入步骤S570。

步骤S570：显示

如果图像群适合度等于1，则图像处理单元130进行图像群形成处理。显示控制单元135使监视器305显示所形成的图像群(即，图像组合)。具体地，图像处理单元130根据以下过程来进行图像群形成处理。

该过程还包括：(5)获取表示协作构成通过个体图像形成处理所获得的叠加图像群中的在叠加帧的数量方面最小的叠加图像的这些叠加帧的数量的值ANmin。另外，该过程包括将值ANmin设置为构成图像组合的图像的数量并且将在各拍摄位置处要叠加的帧的数量改变为ANmin以生成叠加图像。在这种情况下，图像处理单元130从帧群的开头开始选择可以满足与步骤S540中的亮度值有关的标准(a)的ANmin个帧，并且基于所选择的帧来生成叠加图像。帧选择方法不限于上述示例，并且可使用任何其它任意选择方法。

图像群适合度判断过程还包括：(6)使用在上述处理(5)中所生成的叠加图像来生成图像组合。

(图6H示出通过再摄像处理所获得的图像组合，其中该图像组合在叠加图像的数量方面相同并且不包括图像缺失区域。)

显示控制单元135使监视器305显示所形成的图像群。在已获取到多个高倍率图像Dhj的情况下，显示控制单元135可以在进行上述的显示处理之前，校正高倍率图像之间的任何浓度差(在出现这种浓度差的情况下)。在这种情况下，可以任意使用传统上已知的亮度校正方法。在本典型实施例中，显示控制单元135在各个高倍率图像Dhj中生成直方图Hj，并且通过对各高倍率图像Dhj的亮度值进行线性转换以使得高倍率图像Dhj针对直方图Hj的平均和分散可以具有共通值，来校正浓度差。针对高倍率图像的亮度校正方法不限于上述示例，并且可以任意使用任何其它传统上已知的亮度校正方法。此外，关于显示倍率，如果操作员经由指示获取单元140指定高倍率图像，则显示控制单元135使监视器305显示通过放大该高倍率图像所获得的图像。

在本典型实施例中，在完成所有图像的获取之后进行利用监视器305的高倍率图像显示。然而，本发明不限于上述示例。例如，显示控制单元135可以在完成个体图像的获取时使监视器305显示各个体图像。此外，在判断各个体图像的适合度之后，显示控制单元135可以使监视器305共同显示该判断结果以及所形成的图像，以使得可以顺次确认摄像结果。在这种情况下，如果存在适合度被判断为低并且需要再摄像处理的图像，则显示控制单元135可以使监视器305进行任意可辨别的显示(例如，向相应的摄像区域或其框赋予颜色)。

步骤S575：与是否存储结果有关的指示

指示获取单元140从外部装置获取用以判断是否将宽视角图像Dl、高倍率图像Dhj、固视目标位置Fl和Fh、步骤S530中所获取到的对准参数值以及步骤S570中所形成的图像组合存储在数据服务器40中的指示。上述指示例如可以是由操作员经由键盘306或鼠标307所输入的。如果指示获取单元140获取到存储指示(步骤S575中为“是”)，则操作进入步骤S580。如果指示获取单元140没有获取到存储指示(步骤S575中为“否”)，则操作进入步骤S585。

步骤S580：结果的存储

图像处理单元130使检查日期和时间、与识别被检眼有关的信息、宽视角图像Dl、高倍率图像Dhj、固视目标位置Fl和Fh、对准参数值以及图像组合彼此相关联。然后，图像处理单元130将这些关联数据发送至数据服务器40。

步骤S585：与是否终止处理有关的指示

指示获取单元140从外部装置获取用以判断是否使眼科设备10终止与宽视角图像Dl和高倍率图像Dhj有关的处理的指示。上述指示可以是由操作员经由键盘306或鼠标307所输入的。如果指示获取单元140获取到处理终止指示(步骤S585中为“是”)，则眼科设备10终止该处理。另一方面，如果指示获取单元140获取到处理继续指示(步骤S585中为“否”)，则操作返回至步骤S510以进行针对下一被检眼的处理(或重复针对同一被检眼的处理)。在本典型实施例中，基于图像群适合度的判断所要形成的图像组合是静止图像(即，叠加图像)的组合。然而，本发明不限于上述示例。例如，可以考虑到邻接运动图像之间的端部或重叠区域中的数据补充性来判断适合度并且如图图6J所示显示运动图像组合。用于显示运动图像的组合的基本处理与用于显示静止图像的组合的基本处理相似，但在以下几点上有所不同。更具体地，图像群形成处理包括：(i)如图2B所示使时相数据获取设备50连接至眼科设备10。时相数据获取设备50同时获取时相数据和运动图像。例如，时相数据是脉冲波检测器所获取到的生物体信号数据。可以通过参考时相数据来获得各运动图像的再现周期。在这种情况下，时相数据获取设备50对运动图像进行帧插值处理以消除再现周期的任何差异。

图像群形成处理还包括：(ii)在针对各拍摄位置的适合度判断处理中，获得属于不包括亮度异常帧的最长连续帧区间的帧数。如果所获得的帧数不满足预定水平，则指示单元134指示图像获取单元111进行再摄像处理。

图像群形成处理还包括：(iii)根据以下策略来进行图像群适合度判断处理。

1.图像组合不包括图像缺失区域。

2.再现帧数在各拍摄位置处大致相同。

(iv)图像群形成处理的上述处理(5)中所选择的帧是连续帧区间中的帧。

通过上述处理，可以显示不包括图像缺失区域的运动图像的组合。可以通过使用再现帧数相同且再现帧连续的帧来形成运动图像的组合。在不存在已获取到的时相数据的情况下，可以在无需针对再现时间和再现周期进行调整的情况下显示图像组合。

根据上述结构，眼科设备10在不同的拍摄位置拍摄自适应光学SLO运动图像群，然后将所获取到的图像的组合与摄像对象区域进行比较。眼科设备10基于图像特征量，通过检查不可观察区域的有无来判断图像群适合度。如果存在适合度不满足预定水平的任何图像，则眼科设备10指示图像获取单元进行再摄像处理。通过上述处理，在观察对象的细胞群(或组织)及其病变延伸到多个高倍率图像的获取位置之外的情况下，可以在大致相同的条件下拍摄可观察图像群。

不同位置所拍摄到的多个图像的图像特征连续性

以下将详细说明第二典型实施例。根据第二典型实施例的眼科设备不同于根据第一典型实施例的眼科设备，其中在第一典型实施例的眼科设备中，基于摄像对象区域中的图像缺失部分的有无(例如，构成图像群的图像之间的相对位置或亮度特性的连续性)来判断图像群适合度。根据第二典型实施例的眼科设备被配置为基于从邻接的高倍率图像中所提取的图像特征连续性来判断图像群适合度。具体地，根据第二典型实施例的眼科设备基于从高倍率SLO图像中所提取的中央凹的毛细血管区域的连续性来判断图像群适合度。

连接至根据本典型实施例的眼科设备10的各装置的结构与第一典型实施例中所述的结构相同。在本典型实施例中，数据服务器40除在针对各被检眼的图像获取操作中所使用的获取条件数据(例如，宽视角图像Dl、高倍率图像Dh以及固视目标位置Fl和Fh)外，还可以存储表示眼部图像特征及其分布的正常值。尽管可使用任何任意的眼部图像特征，但本典型实施例中要处理的眼部图像特征包括视网膜血管、毛细血管Q和血球W。数据服务器40存储从眼科设备10输出的眼部图像特征。此外，响应于来自眼科设备10的请求，数据服务器40可以将与眼部图像特征及其分布有关的正常值数据发送至眼科设备10。

图7是示出根据本典型实施例的眼科设备10的功能块的图。图7所示的眼科设备10与第一典型实施例所述的眼科设备10的不同之处在于：个体图像判断单元130包括图像特征获取单元1321。此外，根据本典型实施例的图像处理流程与图5所示的图像处理流程相似。步骤S510、步骤S520、步骤S530、步骤S550、步骤S575、步骤S580和步骤S585中要进行的处理与第一典型实施例所述的处理相同。因此，在本典型实施例中，以下将详细说明步骤S540、步骤S545、步骤S560、步骤S565和步骤S570中要进行的处理。

步骤S540：针对不同位置拍摄到的各个图像所进行的适合度判断处理

个体图像判断单元132进行个体图像适合度判断处理。判断个体图像适合度时要参考的判断标准除上述的第一典型实施例的步骤S540中的条件a)～d)外，还可以包括以下的条件e)。

e)图像特征获取单元1321所获取到的图像特征

上述的图像特征例如是构成图像特征的像素数、相对于包括上述像素的图像的面积比例、或者在多值数据的情况下的对比度。在本典型实施例中，图像特征仅用于进行图像群适合度判断。更具体地，与第一典型实施例相同，将亮度不存在异常的帧数称为个体图像适合度。此外，在本典型实施例中，高倍率图像是通过拍摄毛细血管所获得的运动图像。形成从运动图像中所提取的毛细血管区域的图像(以下称为“毛细血管图像”)。此外，在个体图像适合度满足预定标准的情况下，图像特征获取单元1321在除亮度异常帧以外的所有帧中，通过仅使用像素值为正的区域来提取毛细血管区域。更具体地，在高倍率图像Dhj中，图像特征获取单元1321根据以下过程来将血球成分移动范围识别为毛细血管区域。

(a)图像特征获取单元1321对已完成了帧间对准的高倍率图像Dhj中的邻接帧进行相减处理(生成差分运动图像)。

(b)图像特征获取单元1321计算在与上述处理(a)中所生成的差分运动图像的各x-y位置中与帧方向有关的亮度统计量(分散)。

(c)图像特征获取单元1321将差分运动图像的各x-y位置中亮度分散等于或大于预定值Tv的区域识别为血球移动区域、更具体为毛细血管区域。

毛细血管检测处理方法不限于上述方法。可以任意使用任何其它传统上已知的方法。例如，可以通过向高倍率图像Dhj的特定帧应用能够增强线性结构的滤波器来检测血管。

接着，图像特征获取单元1321从所获得的毛细血管区域中检测无血管区域的边界。在视网膜的中央凹附近存在不包括血管的区域(即，无血管区域)(参见图6I的Dh5)。视网膜血管的初期病变往往出现在无血管区域的边界附近。无血管区域往往伴随着疾病(例如，糖尿病视网膜病)的发展而扩大。因此，无血管区域边界是观察和分析时的重要对象。在本典型实施例中，图像特征获取单元1321在位于高倍率图像群的中心的高倍率图像Dh5上配置圆形的可变形模型。图像特征获取单元1321通过使该形状模型变形以与无血管区域边界一致来识别无血管区域。图像特征获取单元1321将变形完成的该可变形模型的位置指定为无血管区域边界的候选位置。然而，无血管区域边界识别方法不限于上述示例。可以任意使用任何其它传统上已知的方法。

步骤S545：再摄像必要性指示

再摄像必要性指示单元1341基于步骤S540中所判断出的个体图像适合度来向图像获取单元111指示是否有必要对相应的高倍率图像Dhj进行再摄像。具体地，如果个体图像适合度不满足预定标准(步骤S545中为“是”)，则操作返回至步骤S520。例如，在亮度不存在异常的帧的数量不满足阈值Tf的情况下，再摄像必要性指示单元1341判断为有必要进行再摄像。在这种情况下，再摄像必要性指示单元1341指示图像获取单元111进行再摄像处理。如果个体图像适合度满足预定标准(步骤S545中为“否”)，则操作进入步骤S550。

步骤S560：图像群适合度判断处理

图像群判断单元133基于步骤S530中所获得的对准参数来形成基于图像特征获取单元1321获取到的图像特征所生成的图像群(毛细血管图像群)的矩阵状组合。然后，图像群判断单元133基于图像特征(即，毛细血管区域)的连续性来判断适合度。如果图像群适合度不满足预定标准，则指示单元134指示图像获取单元111进行再摄像处理。在本典型实施例中，毛细血管图像群包括如图8A所示的九个毛细血管图像。最初将图像编号j设置到左上方的图像。图像编号j根据光栅扫描(即，锯齿形扫描)顺序而顺次递增。

更具体地，图像群适合度判断过程包括以下操作：

(1′)根据步骤S530中所获得的对准参数来对步骤S540中所生成的毛细血管图像进行蒙太奇处理(形成图像组合)(统称为拼凑)；

(2′)在不存在图像特征缺失区域的情况下，立即完成图像组合的形成；以及

(3′)在存在图像特征缺失区域的情况下识别各图像特征缺失区域的位置，并且获得该图像特征缺失区域所属的图像的编号列表。

例如，根据图8A所示的示例，图像6包括通过组合处理所引起的图像特征缺失区域。因此，图像群判断单元133获得包括该图像特征缺失区域的图像的编号列表。

(4′)图像群判断单元133关于从高倍率图像Dhj所获取到的图像特征(即，毛细血管区域)计算以下指标，并且基于所计算出的指标值来判断图像群适合度。

(实际获取到的无血管区域边界的长度的总和)/(表示步骤S540中所设置的无血管区域边界候选的点序列的长度的总和)

如果所判断出的图像群适合度小于预定值(例如，在本典型实施例中为1)，则指示单元134指示图像获取单元111对包括图像特征缺失区域的缺陷部位进行再摄像。然后，操作返回至步骤S520。如果图像群适合度满足预定值(步骤S565中为“否”)，则操作进入步骤S570。

步骤S570：显示

如果图像群适合度满足预定值，则图像处理单元130进行图像群形成处理。显示控制单元135使监视器305显示所形成的图像群(即，图像组合)。具体地，图像处理单元130根据以下过程进行图像群形成处理。该过程包括：(5′)获取表示在生成通过个体图像形成处理所获得的毛细血管图像群中的毛细血管提取时所使用的帧数最小的毛细血管图像的情况下所使用的帧数的值ANmin′。另外，该过程包括：将值ANmin′设置为构成各毛细血管图像时要使用的帧数，并且将各拍摄位置处的毛细血管提取时要使用的帧数改变为ANmin′以再次生成毛细血管图像。

在这种情况下，图像处理单元130从帧群的开头开始选择可以满足与步骤S540中的亮度值有关的标准(a)的ANmin′个帧，并且基于所选择的帧来生成毛细血管图像。帧选择方法不限于上述示例，并且可使用任何其它任意选择方法。该过程还包括：(6′)使用上述处理(5′)中所生成的毛细血管图像来生成图像组合。(图8B示出再摄像处理的不包括图像特征缺失区域的结果。所获得的图像组合关于毛细血管提取时要使用的帧数保持相同。)

显示控制单元135使用步骤S530中所获得的对准参数值来显示毛细血管图像的图像组合。在本典型实施例中，显示控制单元135显示包括如图8B所示的所提取的毛细血管图像的矩阵状组合。在本典型实施例中，高倍率图像和特征提取图像(即，毛细血管图像)在监视器305上的显示在完成所有图像的获取之前没有开始。然而，本发明不限于上述示例。例如，显示控制单元135可被配置为紧挨在获取到个体图像之后使监视器305显示各个体图像、或者共同显示所形成的个体图像以及个体图像适合度判断的结果，以使得可以顺次确认摄像结果。在这种情况下，如果存在适合度被判断为低且需要再摄像处理的图像，则显示控制单元135可以使监视器305进行任意可辨别的显示(例如，向相应的摄像区域或其框赋予颜色)。此外，计算图像群适合度所要使用的图像特征不限于毛细血管区域或无血管区域边界。可以使用任何其它任意图像特征。例如，在眼科设备基于如图8C所示的通过拍摄视神经乳头所获得的四张高倍率图像来判断图像群适合度的情况下，眼科设备可以通过阈值处理来检测凹陷部，并且可以基于该凹陷部的边界位置处的连续性来判断图像群适合度。具体地，眼科设备可以根据以下公式来计算图像群适合度。

公式：

(作为属于凹陷部边界的边缘像素的一部分且连结成分(即，邻接的边缘像素)的数量为2的边缘像素的总和)/(属于凹陷部边界的边缘像素的总和)

图像群适合度不限于上述示例。例如，眼科设备可以参考通过阈值处理所检测到的凹陷部的面积。如果图像群适合度小于1，则指示单元134指示图像获取单元111对包括图像特征缺失区域的缺陷部位的图像(即，具有连结成分的数量为1的边缘像素的图像、即Dh3)进行再摄像。图像获取单元111进行再摄像处理。通过上述的图像群适合度判断和再摄像处理，可以获得相比图8D所示的在右下方的高倍率图像Dh3中包括图像特征不连续部分的图像组合而言明显优良的如图8E所示的不包括任何不连续部分的图像组合。可以在大致相同的条件下对分析对象组织进行分析。此外，在如图8F所示拍摄视细胞的情况下，可以根据以下过程来判断图像群适合度。该过程包括：参考高倍率图像中的峰值像素值来检测各视细胞。该过程还包括：针对各图像或该图像的各子块，测量所检测到的视细胞的数量或这些视细胞的密度，由此判断图像群适合度。

根据上述结构，眼科设备10基于从邻接的高倍率图像中所提取的图像特征连续性来判断图像群适合度。通过上述处理，在分析对象的细胞群(或组织)及其病变延伸到多个高倍率图像的获取位置之外的情况下，可以在大致相同的条件下拍摄可分析图像群。判断图像群适合度时要参考的条件除图像特征外，还可以包括第一典型实施例所述的条件(即，图像群的相对位置和亮度特性)中的至少一个。

响应于获取到不同位置的各图像来判断图像群适合度

以下将详细说明第三典型实施例。根据第三典型实施例的眼科设备不同于根据第一典型实施例的眼科设备，其中在第一典型实施例的眼科设备中，在获取到构成与一个固视位置相对应的图像群的所有图像之后，判断图像群适合度。根据第三典型实施例的眼科设备在每次获取到个体图像时判断图像群适合度。根据第三典型实施例的眼科设备被配置为基于图像群适合度判断结果来给出与针对下一图像的摄像条件有关的指示，由此适合度趋于变高。具体地，现在假定如图11B所示，要获取的图像群包括九个高倍率图像。在这种情况下，如以下详细所述，眼科设备基于已拍摄到的三个图像的获取区域来给出与针对下一图像(即，第四个图像)的获取位置有关的指示，以消除任何图像缺失区域。连接至根据本典型实施例的眼科设备10的各装置的结构与第一典型实施例中所述的结构相同，因此将避免针对该结构的重复说明。图9是示出根据本典型实施例的眼科设备10的功能块的图。根据本典型实施例的眼科设备10与第一典型实施例所述的眼科设备10的不同之处在于：指示单元134包括摄像条件指示单元1342。图10示出根据本典型实施例的图像处理流程。在步骤S1010、步骤S1020、步骤S1030、步骤S1040、步骤S1045、步骤S1075、步骤S1080和步骤S1085中要进行的处理与第一典型实施例中的步骤S510、步骤S520、步骤S530、步骤S540、步骤S545、步骤S575、步骤S580和步骤S585中要进行的处理相同。因此，在本典型实施例中，以下将详细说明步骤S1050、步骤S1060、步骤S1065和步骤S1070中要进行的处理。然而，在本典型实施例中，步骤S1020和步骤S1030中要进行的处理(即，图像获取和图像对准)并不适用于所有的高倍率图像。眼科设备10在每次完成针对一个图像的图像获取处理时，仅使用当前获取到的图像来进行图像对准处理。

步骤S1050：显示

显示控制单元135基于步骤S1030中所获得的对准参数来形成包括所形成的个体图像的矩阵状组合，并且使监视器305显示组合图像群。通过上述处理，可以顺次确认摄像结果。

步骤S1060：图像群适合度判断处理

图像群判断单元133基于摄像对象区域中当前获取到的高倍率图像群的相对位置和亮度特性的连续性来判断适合度。在本典型实施例中，如图11A所示，图像群包括已获取到的三个高倍率图像Dhj(Dh1～Dh3)。最初将图像编号j设置到左上方的图像。图像编号j根据光栅扫描(即，锯齿形扫描)顺序而顺次递增。根据图11A所示的示例，在将图像Dh1～Dh3的摄像对象区域(即，灰色区域)彼此比较的情况下，第三个图像Dh3明显包括图像缺失区域。因此，图像群判断单元133根据以下公式来计算图像群适合度。

公式：

(当前所获取到的图像的数量-包括任何图像缺失区域的图像的数量)/(当前所获取到的图像的数量)

然后，图像群判断单元133将包含图像缺失区域的图像的图像编号j存储在存储单元120中。然而，图像群适合度不限于上述示例。可以设置任何其它任意指标，只要其可用于判断图像群适合度即可。在这种情况下，显示控制单元135可以使监视器305针对图像群判断单元133所判断出的包括图像缺失区域的图像进行任意可辨别的显示(例如，向相应的图像区域赋予彩色框)。

步骤S1065：判断是否全部获得了图像群

眼科设备10判断是否全部获得了步骤S510中所获取到的图像获取模式的图像群。如果判断为全部获得了图像群(步骤S1065中为“是”)，则操作进入步骤S1075。如果判断为存在尚未获得的图像(步骤S1065中为“否”)，则操作进入步骤S1070。

步骤S1070：与针对下一个要获取的图像的摄像条件有关的指示

摄像条件指示单元1342指示图像获取单元111设置针对下一个要获取的高倍率图像(Dh4)的摄像条件，以使判断出的图像群适合度增大为最大值(即，在本实施例中为1)。然后，操作进入步骤S1020。例如，现在假定：如图11B所示，已获取到高倍率图像Dh1～Dh3，并且第三个图像Dh3在其下端包括图像缺失区域。在这种情况下，指示单元134指示图像获取单元111按以下方式改变拍摄中心(即，针对下一图像Dh4的摄像条件的一部分)。

(i)该指示包括使摄像中心在能够消除图像缺失区域的范围内向上移动以使得可以使移动距离最小。摄像条件设置(改变)方法不限于上述示例。可以任意改变摄像条件。

(ii)例如，该指示包括使视角在能够消除图像缺失区域的范围内变宽以使得可以使视角的变化量最小。

该指示可以是上述内容的组合。在本典型实施例中，摄像对象是视细胞并且摄像对象区域包括图像缺失部分。然而，本发明不限于上述示例。例如，在将毛细血管作为另一摄像对象进行拍摄的情况下，可以同样设置针对下一图像的摄像条件(参见图11C)。在本典型实施例中，眼科设备10基于摄像对象区域中的图像缺失部分的有无(即，亮度特性的连续性)来判断图像群适合度。然而，本发明不限于上述示例。与第二典型实施例相同，眼科设备10可被配置为在个体图像判断单元132中包括图像特征获取单元1321，以基于从邻接的高倍率图像中所提取的图像特征连续性来判断图像群适合度并且给出与针对下一图像的摄像条件有关的指示(参见图11D和11E)。

根据上述结构，眼科设备10在获取到各图像之后判断图像群适合度，并且以满足图像群适合度的标准的方式指示针对下一图像的摄像条件。通过上述处理，在观察或分析对象的细胞群(或组织)及其病变延伸到多个高倍率图像的获取位置之外的情况下，可以在大致相同的条件下拍摄可观察或可分析的图像群。

包括自适应光学系统的断层图像摄像设备

以下将详细说明第四典型实施例。在显示不同拍摄位置所拍摄到的高倍率自适应光学OCT断层图像的组合时，根据本典型实施例的眼科设备基于不可观察(不可分析)区域相比拍摄(分析)对象区域的小的程度来判断图像群适合度。具体地，根据本典型实施例的眼科设备在中央凹附近获取构成立方体形状的多个(3×3×3＝27个)高倍率图像。然后，在通过对准处理形成图像组合时，如以下详细所述，眼科设备将不可观察(不可分析)区域相比拍摄(分析)对象区域的小的程度判断为图像群适合度。

图2C示出连接至根据本典型实施例的眼科设备10的外围装置的结构。本典型实施例与第一典型实施例的不同之处在于：眼科设备10连接至包括自适应光学系统的断层图像摄像设备60。断层图像摄像设备60可以拍摄眼部的断层图像。例如，断层图像摄像设备60是谱域光学相干断层成像(SD-OCT)设备。断层图像摄像设备60可以根据操作员(未示出)的操作来三维地拍摄被检眼的断层图像。断层图像摄像设备60将所拍摄到的断层图像发送至眼科设备10。根据本典型实施例的眼科设备10的功能块与第一典型实施例所述的眼科设备10的功能块相同，因此将省略针对这些功能块的重复说明。此外，数据服务器40可以存储表示眼部图像特征及其分布的正常值数据。更具体地，在本典型实施例中，数据服务器40存储与视网膜层边界及其形状/厚度有关的正常值数据。

图12示出包括自适应光学系统的断层图像摄像设备60的结构。在图12中，光源201是波长为840nm的SLD光源。期望光源201是低相干型。例如，期望SLD光源的波长宽度等于或大于30nm。例如，可以使用钛蓝宝石激光器或任何其它适当的超短脉冲激光器作为光源。从光源201照射的光经由单模光纤202到达光纤耦合器520。光纤耦合器520使光路分支成测量光路521和参考光路522。将光纤耦合器520的分支比设置为10:90，以使得可以将输入光的10％引导至测量光路521。穿过测量光路521的光到达准直器203。该光作为来自准直器203的平行测量光行进。断层图像摄像设备60的其余部分与第一典型实施例所述的其余部分相同。利用穿过自适应光学系统和扫描光学系统的光对眼部211进行照射。从眼部211反射或散射的光沿着与上述路径相同的路径在相反方向上行进并且经由光纤521再次达到光纤耦合器520。另一方面，穿过参考光路522的参考光到达准直器523。穿过准直器523的光向着光路长度改变单元524行进。被光路长度改变单元524反射的光再次到达光纤耦合器520。然后，到达光纤耦合器520的测量光和参考光被多路复用并且经由光纤525引导至分光器526。控制单元217可以基于与分光器526进行分光得到的干涉光有关的信息来形成眼部的断层图像。控制单元217可以控制光路长度改变单元524以获取期望深度位置的断层图像。如果图12所示的扫描光学系统被配置为具有增大的摆动角并且防止了自适应光学控制单元216进行像差校正，则断层图像摄像设备60可以用作普通的断层图像摄像设备并且可以拍摄宽视角的断层图像(即，宽视角图像Dl)。

此外，在本典型实施例中，包括自适应光学系统的断层图像摄像设备60使用SD-OCT。然而，断层图像摄像设备60不限于SD-OCT设备。例如，断层图像摄像设备60可被配置为时域OCT设备或扫频源光学相干断层成像(SS-OCT)设备。SS-OCT设备使用能够在不同时刻发出不同波长的光的光源。因此，不必设置获取光谱信息的分光元件。此外，SS-OCT设备可以获取不仅能够包括视网膜而且还能够包括脉络膜的到达深度高的图像。图5示出根据本典型实施例的眼科设备10可以进行的图像处理流程。步骤S550、步骤S565、步骤S575、步骤S580和步骤S585中要进行的处理与第一典型实施例所述的处理相同，并且将避免针对这些步骤的重复说明。

步骤S510：图像获取模式选择

眼科设备10经由指示获取单元140获取与用户所选择的预定图像获取模式(例如，拍摄位置或视角)有关的信息。在本典型实施例中，眼科设备10将固视目标位置Fl和Fh设置到黄斑的中央凹并且获取宽视角图像Dl和图13A所示的高倍率图像Dhj。更具体地，眼科设备10在中央凹附近获取构成立方体形状的多个(3×3×3＝27个)高倍率图像。在这种情况下，由于显示目的是明确指示拍摄位置，因此显示内容不包括高倍率图像之间的重叠区域。实际上，设置拍摄位置、视角和切片数量，以使得如图13B所示，在高倍率图像之间存在重叠区域。在图13B中，灰色区域表示两个邻接图像之间的重叠区域，并且黑色区域表示四个邻接图像之间的重叠区域。在图13C中，白色格子点表示八个邻接图像之间的重叠区域。拍摄位置设置方法不限于上述示例。可以将拍摄位置设置到任意位置。

步骤S520：图像获取

图像获取单元111基于与步骤S510中所指定的图像获取模式有关的信息，来请求断层图像摄像设备60获取宽视角图像Dl和高倍率图像Dhj以及相应的固视目标位置Fl和Fh。在本典型实施例中，图像获取单元111将固视目标位置Fl和Fh设置到黄斑的中央凹并且获取宽视角图像Dl和高倍率图像Dhj。拍摄位置设置方法不限于上述示例。可以将固视目标位置Fl和Fh各自设置到任意位置。

响应于该获取请求，断层图像摄像设备60获取并发送宽视角图像Dl、高倍率图像Dhj以及相应的固视目标位置Fl和Fh。图像获取单元111经由LAN 30从断层图像摄像设备60接收宽视角图像Dl、高倍率图像Dhj以及相应的固视目标位置Fl和Fh。图像获取单元111将所接收到的数据存储在存储单元120中。在本典型实施例中，宽视角图像Dl和高倍率图像Dhj是已经过了切片间对准的三维图像。

步骤S530：对准

对准单元131确定高倍率图像Dhj相对于宽视角图像Dl的对准并且获得各高倍率图像Dhj在宽视角图像Dl上的位置。首先，对准单元131获取用以从存储单元120获取高倍率图像Dhj的拍摄操作中所使用的固视目标位置Fh。然后，对准单元131基于从所获取到的固视目标位置起的相对距离来设置宽视角图像Dl和高倍率图像Dhj之间的对准中的对准参数的初始搜索点。如果在高倍率图像Dhj之间存在任何重叠区域，则对准单元131关于该重叠区域计算图像间相似度。然后，对准单元131对准各个高倍率图像Dhj的位置以使图像间相似度最大。

接着，在步骤S530中所获取到的图像包括倍率相互不同的两个或更多个图像的情况下，对准单元131优先倍率较低的图像的对准。在本典型实施例中，步骤S530中所获取到的图像仅是高倍率图像。因此，对准单元131确定高倍率图像Dhj相对于宽视角图像Dl的对准。此外，可以任意使用任何其它传统上已知的方法来检查图像间相似度或进行坐标转换。在本典型实施例中，在确定对准时所使用的图像间相似度是三维相关系数。确定对准时所使用的坐标转换方法是仿射转换。

步骤S540：针对不同位置的各个图像所进行的适合度判断处理

个体图像判断单元132基于各切片的亮度值或切片间移动量来进行适合度判断处理。在这种情况下，用于获取判断标准的处理和用于判断适合度的方法与第一典型实施例所述的处理和方法(参见步骤S540)基本相同。在本典型实施例中，最后两个判断标准如下所述。

c)切片之间的移动量处于适当范围内。

d)相干门处于适当范围内。

在这种情况下，个体图像判断单元132将不包括由于瞬目而可能引起的低亮度切片的所获得的切片的总数判断为适合度。此外，在适合度满足预定标准的情况下，图像处理单元130形成个体图像。在本典型实施例中，高倍率图像是通过拍摄视细胞所获得的三维图像。如果存在无法满足条件a)的任何切片，则个体图像判断单元132可以通过应用于前一切片和后一切片的像素值的插值处理来计算这种缺陷切片的像素值。此外，如果包括了各像素位置处的像素值小于预定值(例如，0)的切片，则将相应部分(即，图像端部)的像素值设置为0。因此，在图像在固视视差方面具有大的值(即，切片间移动量大)的情况下，在较大的图像端区域中，像素值变为0。

步骤S545：再摄像必要性指示

再摄像必要性指示单元1341基于步骤S540中所判断出的个体图像适合度来向图像获取单元111指示是否有必要对相应的高倍率图像Dhj进行再摄像。具体地，在个体图像适合度不满足预定标准的情况下，由于可观察的切片的数量不满足阈值Tf，因此再摄像必要性指示单元1341判断为有必要进行再摄像处理(步骤S545中为“是”)。因而，再摄像必要性指示单元1341指示图像获取单元111对相应图像进行再摄像。操作返回至步骤S520。如果个体图像适合度满足预定标准(步骤S545中为“否”)，则操作进入步骤S550。

步骤S560：用于判断图像群适合度的处理

图像群判断单元133基于步骤S530中所获得的对准参数来形成包括步骤S540中所形成的图像的矩阵状组合，并且基于图像群的相对位置和亮度连续性来判断适合度。如果图像群适合度不满足预定标准，则指示单元134指示图像获取单元111对相应图像进行再摄像。在本典型实施例中，最初将图像编号j设置到左上方的图像。图像编号j根据光栅扫描(即，锯齿形扫描)顺序而顺次递增。以下是与图像组合(即，图像群)的适合度有关的判断策略、更具体为在同一条件下观察整个图像组合所需的图像群适合度。

1.图像组合不包括图像缺失区域(换句话说，亮度没有不连续地改变)。

2.图像质量稳定，而与拍摄位置无关。

在这种情况下，如果代替判断图像群适合度而是仅基于个体图像的适合度来判断是否有必要进行再摄像处理，则将需要针对各图像严格判断是否获取到摄像对象区域。结果，将频繁地给出用以进行再摄像的指示。在这种情况下，有必要设置较宽的重叠区域(即，增加摄像位置的数量或加宽视角)以防止再摄像判断增多。

因此，在本典型实施例中，考虑到邻接图像之间的端部或重叠区域的数据的连续性或补充性来判断适合度，由此可以高效地获取满足条件1的高倍率图像群。具体地，在本典型实施例中，在两个邻接图像之间存在重叠区域(即，图13B所示的灰色区域)或者在四个邻接图像之间存在重叠区域(即，图13B所示的黑色区域)。此外，在八个邻接图像之间存在重叠区域(如图13C中的白色格子点所示)。即使在一个图像包括图像缺失区域的情况下，如果存在从邻接图像之间的重叠区域可获得的任何数据，则也判断为图像群不包括图像缺失区域。因此，可以根据以下过程来判断图像群适合度。更具体地，图像群适合度判断过程包括以下操作：

(1)根据步骤S530中所获得的对准参数来形成包括步骤S540中所生成的个体图像的矩阵状组合；

(2)在不存在图像缺失区域的情况下，立即完成图像组合的形成；以及

(3)在存在图像缺失区域的情况下识别各图像缺失区域的位置，并且获得该图像缺失区域所属的图像的编号列表。

例如，根据图13D所示的示例，高倍率图像Dh3和Dh7各自包括通过组合处理所引起的图像缺失区域。因此，图像群判断单元133获得包括图像缺失区域的图像的编号列表。

(4)图像群判断单元133根据以下公式来计算图像群适合度。

公式：

(组合图像的总数-包括图像缺失区域的图像的数量)/(组合图像的总数)

定义图像群适合度的公式不限于上述示例。例如，可以使用以下公式。

公式：

(摄像对象区域中的逻辑和(OR)区域的体积(像素数)–图像缺失区域的体积(像素数))/(摄像对象区域中的OR区域的体积(像素数))

可选地，在基于步骤S520中所获得的对准参数来将个体图像的投影图像的组合形成在宽视角图像的投影图像上的情况下，可以使用以下公式。

公式：

(摄像对象区域中的OR区域的面积–图像缺失区域的面积)/(摄像对象区域中的OR区域的面积)

图像群适合度判断策略不限于上述示例。可以任意设置任何其它适合度。例如，除像素数或面积外，包括无血管区域边界的长度(即，图像特征的示例)作为适合度条件的一部分也是有用的。

步骤S570：显示

显示控制单元135使监视器305显示步骤S560中所形成的图像组合。在本典型实施例中，宽视角图像Dl和高倍率图像Dhj是三维断层图像。因此，显示控制单元135要进行的显示处理为以下两个类型。

i)显示控制单元135沿z轴方向生成宽视角图像Dl和高倍率图像Dhj的投影图像，并且显示高倍率图像Dhj的投影图像叠加在宽视角图像Dl的投影图像上的组合。

ii)显示控制单元135生成利用如下两个像素值可以显示的三维宽视角断层图像Dl”：仅获取到三维宽视角断层图像Dl的位置处的三维宽视角断层图像Dl的像素值以及获取到三维宽视角断层图像Dl和三维高倍率断层图像Dhj这两者的位置处的三维高倍率断层图像Dhj的像素值。此外，显示控制单元135将表示三维宽视角断层图像Dl”上的特定扫描位置的箭头显示在通过上述处理i)所获得的叠加图像上，并且获得该箭头位置处所截取的三维宽视角断层图像Dl”的二维断层图像。然后，显示控制单元135使监视器305并列显示所获得的二维断层图像和通过上述的处理i)所获得的叠加图像。上述的显示不仅包括叠加三维宽视角断层图像Dl的二维断层图像而且还叠加三维高倍率断层图像Dhj的二维断层图像。此外，在上述显示处理ii)中，操作员可以经由指示获取单元140移动表示宽视角断层图像Dl”(在上下方向上或在左右方向上)的显示位置的箭头。因此，可以根据该操作来改变要截取(显示)的宽视角图像Dl和高倍率图像Dhj的显示切片。

此外，在如本典型实施例所述、所获取到的图像包括不同的拍摄位置所拍摄到的多个高倍率图像Dhj的情况下，显示控制单元135对各个高倍率图像Dhj进行显示灰度转换处理。此外，在两个高倍率图像Dhj的拍摄位置紧挨配置的情况下(或者在拍摄位置相同的情况下)。可以使用以下方法中的任一方法来显示重叠区域。更具体地，根据第一显示方法，显示控制单元135预先计算各图像的质量指标值并且使监视器305显示评价值最大的图像。根据第二显示方法，显示控制单元135进行各个高倍率图像Dhj的亮度的混合(基于各图像的上述质量指标值来对透明度进行加权)。这种情况下要使用的图像质量指标可以是传统上已知的任意指标。在本典型实施例中，质量指标值是图像直方图的平均亮度值。用于生成上述的投影图像的方法不限于平均值投影。可以任意使用任何其它的投影方法。此外，高倍率图像Dhj不限于静止图像并且可以是运动图像。

在本典型实施例中，高倍率图像向监视器305的显示在完成所有图像的获取之前没有开始。然而，本发明不限于上述示例。例如，显示控制单元135可被配置为使监视器305显示所形成的图像和/或个体图像适合度判断的结果，以使得可以顺次确认摄像结果。在这种情况下，如果存在适合度被判断为低并且需要再摄像处理的图像，则显示控制单元135可以使监视器305进行任意可辨别的显示(例如，向相应的摄像区域或其框赋予颜色)。如上所述，在本典型实施例中，眼科设备10基于不可观察区域相对于摄像对象区域的小的程度来判断断层图像群适合度。然而，本发明不限于上述示例。与第二典型实施例相同，眼科设备10可被配置为在个体图像判断单元132中包括图像特征获取单元1321，以使得可以基于从各个高倍率图像中所提取的图像特征在邻接图像之间的连续性来判断断层图像群适合度。例如，图像特征获取单元1321通过以下过程来提取层边界(例如，内界膜B1、神经纤维层边界B2、内从状层边界B4、视细胞内外节边界B5或视网膜色素上皮边界B6)作为图像特征，并且基于各层边界位置的连续性来判断断层图像群适合度。

以下将详细说明针对宽视角图像Dl的特征提取过程。首先，以下将详细说明用于提取层边界的过程。在这种情况下，假定作为处理对象的三维断层图像是包括二维断层图像(B扫描图像)的组合。图像特征获取单元1321针对各二维断层图像进行以下处理。首先，图像特征获取单元1321对关注的二维断层图像进行平滑化处理以去除噪声成分。接着，图像特征获取单元1321从二维断层图像中检测边缘成分，并且基于线段的连接性来提取一些线段作为层边界候选。然后，图像特征获取单元1321从所提取的候选中，提取最上面的线段作为内界膜B1，提取从最上面起的第二个线段作为神经纤维层边界B2，并且提取从最上面起的第三个线段作为内从状层边界B4。此外，图像特征获取单元1321提取位于内界膜B1的外层侧(即，图6A中z坐标的高值侧)的对比度最大的线段作为视细胞内外节边界B5。此外，图像特征获取单元1321提取层边界候选群中的最下面的线段作为视网膜色素上皮边界B6。此外，该设备可被配置为通过在将这些线段设置为初始值的情况下应用可变形模型(例如，思内克斯(Snakes)或水平集(level-set)方法)来进行精确提取。此外，该设备可被配置为根据图形切割法来提取各层边界。可以对三维断层图像三维地应用使用可变形模型或图形切割法的边界提取，或者对各二维断层图像二维地应用使用可变形模型或图形切割法的边界提取。此外，层边界提取方法可以是任何其它方法，只要可以从眼部的断层图像中提取层边界即可。此外，可以基于宽视角图像Dl和各个高倍率图像Dhj之间的相对位置以及从宽视角图像Dl所检测到的层边界位置来进行从各个高倍率图像Dhj提取层边界。更具体地，可以通过在从与各个高倍率图像Dhj相关联的宽视角图像Dl中检测到的各层边界位置附近检测高倍率图像Dhj上的相应层的边界来进行层边界提取。

根据上述结构，在显示不同拍摄位置所拍摄到的高倍率自适应光学OCT断层图像的组合时，眼科设备10基于该图像组合中的不可观察(不可分析)区域相对于拍摄(分析)对象区域的小的程度来判断图像群适合度。通过上述处理，在观察或分析对象细胞群(或组织)及其病变延伸到多个高倍率图像的获取位置之外的情况下，可以在大致相同的条件下拍摄可观察或可分析的图像群。

将图像组合与不同检查中拍摄得到的(或所分析的)区域进行比较

以下将详细说明第五典型实施例。在显示不同拍摄位置所拍摄到的高倍率自适应光学SLO图像的组合时，根据本典型实施例的眼科设备的特征在于：基于不可观察(不可分析)区域相对于不同检查中拍摄得到的(或所分析的)区域的小的程度来判断图像群适合度。具体地，如以下详细所述，眼科设备基于不可观察(不可分析)区域相对于过去检查日期和时间所拍摄到的图像群Dhjf(f＝1、2、...和n-1)的小的程度来判断图像群适合度。

连接至根据本典型实施例的眼科设备10的各装置的结构与第一典型实施例所述的结构相同。图14是示出根据本典型实施例的眼科设备10的功能块的图。图14所示的眼科设备10与第一典型实施例所述的眼科设备10的不同之处在于：图像群判断单元133包括时间图像比较单元1331。此外，根据本典型实施例的图像处理流程与图5所示的图像处理流程相同。除步骤S510、步骤S520、步骤S530、步骤S560和步骤S570以外的各个步骤中要进行的处理与第一典型实施例所述的处理相同。因此，在本典型实施例中，以下将详细说明步骤S510、步骤S520、步骤S530、步骤S560和步骤S570中要进行的处理。在以下说明中，Dsjf和Fsf表示存在在倍率、拍摄位置以及检查日期和时间方面彼此不同的多个所获取图像的情况下的SLO图像和固视目标位置。更具体地，后缀“s”(s＝1、2、...和smax)是表示倍率的变量。后缀“j”(j＝1、2、...和jmax)是表示拍摄位置编号的变量。后缀“f”(f＝1、2、...和fmax)是表示检查日期和时间的变量。在这种情况下，在变量“s”减小的情况下，拍摄倍率变大(即，视角变窄)。在变量“f”较小的情况下，检查日期和时间较早。在本典型实施例中，仅存在与最低倍率图像(即，宽视角图像)相对应的一个拍摄位置，因此没有向该拍摄位置分配拍摄位置编号。

步骤S510：图像获取模式选择

眼科设备10经由指示获取单元140获取与用户所选择的预定图像获取模式(例如，拍摄位置或视角)有关的信息。在本典型实施例中，眼科设备10将固视目标位置F2和F1设置到黄斑的中央凹并且获取宽视角图像D2和图6H所示的高倍率图像D1j。拍摄位置设置方法不限于上述示例。可以将拍摄位置设置到任意位置。

步骤S520：图像获取

图像获取单元111请求数据服务器40传送使用步骤S510中所指定的图像获取模式所拍摄到的同一被检眼的过去SLO图像Dsjf(f＝1、2、...和n-1)以及固视目标位置Fsf和与SLO图像Dsjf相对应的对准参数值。数据服务器40将与该请求相对应的数据传送至眼科设备10。眼科设备10将所获取到的数据存储在存储单元120中。在本典型实施例中，将n设置为4(n＝4)。

接着，图像获取单元111请求SLO图像摄像设备20获取最新的检查图像和相应的固视目标位置、更具体为SLO图像Dsjn和固视目标位置Fsn。

步骤S530：对准

对准单元131判断倍率图像D1jf相对于宽视角图像D2f(f＝1、2、...和n)的对准并且获得各高倍率图像D1jf在宽视角图像D2f上的相对位置，由此生成包括图像D1jf的图像组合。如果在同一检查日期所拍摄到的高倍率图像D1jf之间存在重叠区域，则对准单元131计算该重叠区域的图像间相似度。然后，对准单元131使各个高倍率图像D1jf的位置对准以使图像间相似度最大。在所获取到的图像包括倍率相互不同的三个或更多个图像的情况下，对准单元131优先较低倍率图像的对准。例如，在所获取到的图像是图像D3f、图像D2kf和图像D1jf的情况下，对准单元131首先确定图像D3f和图像D2kf之间的对准，接着，对准单元131确定图像D2kf和图像D1jf之间的对准。此外，对准单元131获取用以从存储单元120获取图像D1jf的拍摄操作中所使用的固视目标位置F1f。然后，对准单元131基于从所获取到的位置起的相对距离来设置图像D2f和图像D1jf之间的对准中的对准参数的初始搜索点。此外，可以任意使用任何其它传统上已知的方法来检查图像间相似度或进行坐标转换。本典型实施例中所使用的图像间相似度是相关系数。用于确定对准的坐标转换方法是仿射转换。

接着，对准单元131确定最新检查中的宽视角图像D2n和过去检查中的宽视角图像D2f(f＝1、2、...和n-1)之间的对准。此外，对准单元131参考宽视角图像D2n相对于高倍率图像D1jn的相对位置、宽视角图像D2f相对于宽视角图像D2n的相对位置、以及高倍率图像D1jf相对于宽视角图像D2f的相对位置，来获得过去检查中的高倍率图像D1jf相对于最新检查中的高倍率图像D1jn的相对位置。可选地，对准单元131可以直接确定最新检查中的高倍率图像群D1jn和过去检查中的高倍率图像群D1jf之间的对准。在这种情况下，对准单元131从存储单元120获取各图像的固视目标位置。对准单元131参考相对于固视目标位置的相对位置，来设置最新检查中的高倍率图像D1jn和过去检查中的宽视角图像D2n之间要进行的、在宽视角图像D2n和过去检查中的宽视角图像D2f之间要进行的、以及在宽视角图像D2f和过去检查中的高倍率图像D1jf之间要进行的对准中的初始搜索点。

可以任意使用任何其它传统对准方法。本典型实施例中所使用的对准方法包括使用仿射转换方法来进行对准所依据的粗略对准。作为详细对准，使用自由变形(FFD)方法(即，非刚性物体对准方法其中之一)来进行对准。尽管可以使用任何其它传统上已知的图像间相似度，但上述对准的任一对准中所使用的图像间相似度是相关系数。通过上述处理，可以使最新检查图像(即，宽视角图像D2n或高倍率图像D1jn)的像素与过去检查图像(即，宽视角图像D2f或高倍率图像D1jf)的像素相关联。本发明不限于基于像素值之间的相似度的对准。例如，与第二典型实施例相同，眼科设备10可被配置为在个体图像判断单元132中包括图像特征获取单元1321，以使得图像特征获取单元1321可以识别毛细血管区域并且可以基于所识别的血管区域来进行基于特征的对准。

步骤S560：图像群适合度判断处理

图像群判断单元133基于不可观察(不可分析)区域相比不同检查中摄像得到的(或所分析的)区域的小的程度来判断图像群适合度。如果图像群适合度不满足预定标准，则指示单元134指示图像获取单元111进行再摄像处理。在本典型实施例中，图像群包括如图6G所示的九个叠加图像。最初将图像编号j设置到左上方的图像。图像编号j根据光栅扫描(即，锯齿形扫描)顺序而顺次递增。以下是与图像组合(即，图像群)的适合度有关的判断策略、更具体为在同一条件下观察整个图像组合所需的图像群适合度。

1.图像组合不包括图像缺失区域(换句话说，亮度没有不连续地改变)。

2.图像质量稳定，而与拍摄位置无关。

在这种情况下，如果代替判断图像群适合度而是仅基于个体图像的适合度来判断是否有必要进行再摄像处理，则将需要针对各图像严格判断是否获取到摄像对象区域。结果，将频繁地指示再摄像。在这种情况下，将需要设置较宽的重叠区域(即，增加摄像位置的数量或加宽视角)以防止再摄像判断增多。因此，在适合度判断中考虑到邻接图像之间的端部或重叠区域中的数据的连续性或补充性的情况下，可以高效地获取满足上述标准1和2的高倍率图像群。具体地，在本典型实施例中，在两个邻接图像之间存在重叠区域(例如，图6F所示的灰色区域)、或者在四个邻接图像之间存在重叠区域(例如，图6F所示的黑色区域)。即使在一个图像包括图像缺失区域的情况下，如果存在从邻接图像之间的重叠区域可获得的任何数据，则也判断为图像群不包括图像缺失区域。因此，根据以下过程来判断图像群适合度。

该过程包括：(1)根据步骤S530中所获得的对准参数来形成包括步骤S540中所生成的个体图像的矩阵状组合。

时间图像比较单元1331基于上述处理(1)中所生成的图像组合和过去检查中所生成的图像组合之间的比较来检查图像缺失区域的有无。

具体地，时间图像比较单元1331将过去检查的图像群D1jf的组合、即应用于图像群D1jf的逻辑和区域(∨_jD1jf)的逻辑积(∧(∨_jD1jf))指定为时间比较对象区域。在本典型实施例中，存在要经过时间比较的(不同检查的)三个图像群。因此，在将各检查的图像群D1jf的组合、即应用于逻辑和区域∨_jD1jf的逻辑积((∨_jD1j1)∧(∨_jD1j2)∧(∨_jD1j3))指定为时间比较对象区域的情况下，时间图像比较单元1331检查图像缺失区域的有无。然而，比较对象区域设置方法不限于上述示例，并且可以使用任何其它任意设置方法。

该过程还包括：(3)在不存在图像缺失区域的情况下，立即完成图像组合的形成；以及(4)在存在图像缺失区域的情况下识别各图像缺失区域的位置，并且获得该图像缺失区域所属的图像的编号列表。

例如，根据图6G所示的示例，如通过与图6H所示的过去检查中的图像组合的逻辑积区域(((∨_jD1j1)∧(∨_jD1j2)∧(∨_jD1j3)))进行比较显而易见，高倍率图像Dh6和高倍率图像Dh9各自包括图像缺失区域。因此，时间图像比较单元1331获得包括图像缺失区域的图像的编号列表(6和9)。

该过程还包括：(5)根据以下公式来计算图像群适合度。

公式：

(组合图像的总数–包括图像缺失区域的图像的数量)/(组合图像的总数)

图像群适合度不限于上述示例。可以使用任何其它任意指标，只要该指标可用于判断图像群适合度即可。例如，可以根据以下公式来计算图像群适合度。

公式：

(处理(1)中所生成的图像组合的面积–图像缺失区域的面积)/(处理(1)中所生成的图像组合的面积)

此外，在本典型实施例中，参考上述的条件1和2来判断图像群(即，静止图像群和运动图像群)的适合度。然而，本发明不限于上述示例。例如，可以参考图像组合的图像质量来判断图像群适合度。如果最新检查的图像组合的图像质量等于或大于过去检查的图像组合的图像质量的最低值，则时间图像比较单元1331可以判断为最新检查的图像组合的图像质量满足图像群适合度标准。

步骤S570：显示

图像处理单元130进行图像群形成处理。显示控制单元135使监视器305显示所形成的图像群(即，图像组合)。

具体地，图像处理单元130根据以下过程来进行图像群形成处理。

该过程还包括：(6)获取表示协作构成通过个体图像形成处理所获得的叠加图像群中的在叠加帧数量方面最小的叠加图像的叠加帧的数量的值ANmin。另外，该过程包括将值ANmin设置为构成图像组合的图像的数量并且将各拍摄位置处要叠加的帧的数量改变为ANmin以生成叠加图像。在这种情况下，图像处理单元130从帧群的开头开始选择可以满足与步骤S540中的亮度值有关的标准(a)的ANmin个帧，并且基于所选择的帧来生成叠加图像。帧选择方法不限于上述示例，并且还可使用任何其它任意选择方法。

该过程还包括：(7)使用上述处理(6)中所生成的叠加图像来生成图像组合。

(图6H示出再摄像处理的不包括图像缺失区域的结果。所获得的图像组合关于协作构成图像组合的叠加图像的数量保持相同。)

在本典型实施例中，在完成所有图像的获取之后进行利用监视器305的高倍率图像显示。然而，本发明不限于上述示例。例如，在判断各个体图像的适合度之后，显示控制单元135可以使监视器305显示判断结果和/或所形成的图像，以使得可以顺次确认摄像结果。在这种情况下，如果存在适合度被判断为低且请求再摄像处理的图像，则显示控制单元135可以使监视器305进行任意可辨别的显示(例如，向相应的摄像区域或其框赋予颜色)。

此外，在本典型实施例中，基于图像群适合度的判断所要形成的图像组合是静止图像(即，叠加图像)的组合。然而，本发明不限于上述示例。例如，可以考虑到邻接的运动图像之间的端部或重叠区域中的数据补充性来判断适合度并且如图6J所示显示运动图像组合。

用于显示运动图像的组合的基本处理与用于显示静止图像的组合的基本处理相同，但在以下几点有所不同。更具体地，图像群形成处理包括：(i)使图2B所示的时相数据获取设备50连接至眼科设备10。时相数据获取设备50预先同时获取时相数据和运动图像。例如，时相数据是脉冲波检测器所获取到的生物体信号数据。可以通过参考时相数据来获得各运动图像的心动周期、更具体为再现周期。在这种情况下，时相数据获取设备50对运动图像进行帧插值处理以在运动图像之间(即，在拍摄位置之间和/或在检查之间)消除再现周期的差异。

图像群形成处理还包括：(ii)在针对各拍摄位置的图像形成处理中，选择不包括亮度异常帧的最长连续帧区间。

图像群形成处理还包括：(iii)在图像群适合度判断处理中，根据以下策略来进行适合度判断处理。

1.图像组合不包括图像缺失区域。

2.再现帧数(脉动周期)在各拍摄位置处大致相同。

3.再现帧数(脉动周期)在各检查中大致相同。

(iv)在图像群形成处理的上述处理(6)中所选择的帧是连续帧区间中的帧。

通过上述处理，可以在运动图像的组合的显示中消除图像缺失区域。此外，可以形成包括再现帧数相同的连续帧的运动图像组合。此外，在没有获取到时相数据的情况下，可以在无需调整再现时刻的状态下显示运动图像的组合。

根据上述结构，眼科设备10在显示不同拍摄位置所拍摄到的高倍率自适应光学SLO图像的组合时，基于不可观察(不可分析)区域相比不同检查中拍摄得到的(或所分析的)区域的小的程度来判断图像群适合度。通过上述处理，在观察或分析对象细胞群(或组织)及其病变延伸到多个高倍率图像的获取位置之外的情况下，可以在大致相同的条件下拍摄可观察或可分析的图像群。

其它典型实施例

在上述典型实施例中，眼科设备10基于图像群适合度来自动给出与是否有必要进行再摄像处理以及针对下一图像的摄像条件有关的指示。然而，本发明不限于上述典型实施例。

例如，眼科设备10可被配置为使得用户能够经由指示获取单元140指定需要再摄像处理的图像。在这种情况下，再摄像必要性指示单元1341指示图像获取单元111进行再摄像处理。此外，例如，眼科设备10可被配置为使得用户能够经由指示获取单元140指定下一摄像对象图像的位置。在这种情况下，摄像条件指示单元1342指示图像获取单元111设置针对下一图像的拍摄条件。在这种情况下，显示控制单元135可以使监视器305向需要再摄像处理的图像赋予可辨别标记(例如，彩色框)。此外，在存在由于被检眼的特性(例如，中间透光体的浑浊)而导致无法获取到数据的特定拍摄位置的情况下，用户可以手动指定再摄像位置或非摄像位置以使得可以将所指定的位置从图像群适合度判断处理或再摄像必要性判断处理中排除或者可以防止所指定的位置被指定为下一摄像条件设置对象，这是有用的。

上述典型实施例的特征在于基于一个图像群来判断适合度。然而，本发明的典型实施例不限于上述示例。例如，在一次检查包括如图15A和15B所示获取多个图像群的情况下，与上述典型实施例相同，眼科设备10可以针对各图像群判断图像群适合度，并且可以给出与是否有必要进行再摄像处理有关的指示或者给出与针对下一图像的摄像条件有关的指示。随后，眼科设备10可以判断图像群之间的适合度，并且可以基于该图像群之间的适合度来给出与是否有必要进行再摄像处理有关的指示或者给出与针对下一图像的摄像条件有关的指示。

图15A示出包括自适应光学SLO图像的低倍率图像组合和包括自适应光学SLO图像的高倍率图像组合。在这种情况下，首先，眼科设备10针对低倍率图像组合和高倍率图像组合各自判断图像群适合度。然后，眼科设备10针对各图像组合给出与是否有必要进行再摄像处理有关的指示。此外，眼科设备10判断不同倍率之间的适合度(例如，没有从低倍率图像D2k群的摄像区域起向外突出的高倍率图像D1j群的逻辑和区域的面积)/(整个高倍率图像D1j群的逻辑和区域的面积)。然后，眼科设备10基于所判断出的适合度来给出与是否有必要进行再摄像处理有关的指示。

图15B示出包括多个图像群MnDhj的多配置型图像组合。在这种情况下，与上述典型实施例相同，眼科设备10首先判断各图像群的适合度，然后给出与是否有必要进行再摄像处理或针对下一图像的摄像条件有关的指示。然后，眼科设备10判断图像群之间的适合度(例如，邻接的图像群之间的适合度)，并且基于所判断出的图像群之间的适合度来给出与是否有必要进行再摄像处理或针对下一图像的摄像条件有关的指示。例如，可以参考图像群之间的与平均亮度有关的相似度或者S/N比来定义图像群之间的适合度。此外，在构成多配置型图像组合时，即使在邻接的图像群之间形成重叠区域的情况下，任意确定邻接的图像群之间的距离也是可接受的。此外，任意确定各图像群的大小(即，构成图像群的图像的获取位置数量)是可接受的。

图15C示出包括倍率不同的多个图像群的另一多配置型图像组合。根据该例示示例，尽管眼科设备10可以优先判断不同倍率的图像群之间的适合度或者优先判断不同获取位置处的图像群之间的适合度，但本发明还可适用于任何情况。

此外，在上述典型实施例中，对准对象图像包括眼部的SLO图像或断层图像。然而，本发明不限于上述示例。例如，宽视角图像Dl可以是眼底照相机图像并且高倍率图像Dh可以是自适应光学眼底照相机图像。此外，可以适当地组合医学影像方面有所不同的图像。例如，在宽视角图像Dl是宽视角SLO图像的情况下，高倍率图像Dh可以是自适应光学断层图像的投影图像。此外，在宽视角图像Dl是自适应光学断层图像的情况下，高倍率图像Dh可以是自适应光学SLO图像。此外，自适应光学SLO图像摄像设备20和断层图像摄像设备60可以与多功能外围设备一体化并且可以直接连接至眼科设备10。

此外，如上述典型实施例所述，可以将本发明实现为眼科设备。然而，本发明不限于眼科设备。例如，本发明包括利用计算机的CPU可以执行的软件程序。此外，本发明包括存储上述的软件程序的存储介质。

在这种情况下，在确定拍摄条件时，期望使用多个图像的端部和重叠区域中的至少一个。期望眼科设备包括比较单元(例如，图1所示的图像群判断单元133)，其中该比较单元被配置为将图像组合与相比构成该图像组合的各个图像具有更宽视角的宽视角图像进行比较。在这种情况下，判断单元可以基于比较单元所获得的比较结果来判断表示连续性的值。此外，期望眼科设备包括显示控制单元(例如，图1所示的显示控制单元135)，其中该显示控制单元被配置为使显示单元显示包括基于所确定的拍摄条件在眼部的不同位置所拍摄到的多个图像的图像组合、以及/或者显示所确定的拍摄条件。此外，期望从图像组合中自动地(或者半自动地或响应于手动指示)提取血管，并且测量所提取的血管中的血球的移动速度。此外，作为另一示例，显示控制单元可以使显示单元并排显示多个图像或者选择性地显示各个图像。

其它典型实施例

可以通过进行以下处理来实现本发明。更具体地，该处理包括：将可以实现上述典型实施例的功能的软件程序经由网络或适当的存储介质供给至系统或设备，并且使该系统或设备的计算机(或者CPU或MPU)读取并执行该程序。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改以及等同结构和功能。

Claims (26)

1.一种眼科设备，用于通过在不同时间拍摄眼部的不同的多个区域来获取多个图像，以通过组合所述多个图像来生成图像组合，所述眼科设备包括：

判断单元，用于判断所述图像组合中是否包括图像缺失区域；以及

控制单元，用于控制所述眼科设备，以对所述眼部的所述图像缺失区域进行摄像。

2.根据权利要求1所述的眼科设备，其中，所述多个区域是部分重叠的区域，以及所述判断单元从所述多个区域中选择包括所述图像缺失区域的至少一个区域。

3.根据权利要求1所述的眼科设备，其中，还包括扫描光学系统，所述扫描光学系统用于利用测量光对所述眼部进行扫描，

其中，所述控制单元控制所述扫描光学系统，以利用所述测量光对所述眼部的所述图像缺失区域进行扫描。

4.根据权利要求1所述的眼科设备，其中，还包括扫描光学系统，所述扫描光学系统用于利用测量光对所述眼部进行扫描，

其中，所述控制单元控制被设置成使所述眼部固视的固视目标的位置，以利用所述测量光对所述眼部的所述图像缺失区域进行扫描。

5.根据权利要求1所述的眼科设备，其中，还包括波前校正装置，所述波前校正装置用于校正测量光和来自利用所述测量光所照射的所述眼部的返回光至少之一的波前，

其中，所述眼科设备使用波前校正后的光来获取所述多个图像。

6.根据权利要求1所述的眼科设备，其中，还包括：

图像获取单元，用于通过拍摄所述眼部的不同区域来获取所述眼部的所述多个图像；

第二判断单元，用于判断表示所述图像获取单元所获取到的所述多个图像之间的特性的连续性的值；以及

指示单元，用于以所判断出的值满足预定条件的方式，给出与在不同位置拍摄所述眼部所用的拍摄条件有关的指示，

其中，所述控制单元控制所述眼科设备，以基于所指示的拍摄条件来在不同位置拍摄所述眼部。

7.根据权利要求6所述的眼科设备，其中，所述第二判断单元判断表示所述图像获取单元所获取到的所述多个图像之间的相对位置的连续性的值。

8.根据权利要求6所述的眼科设备，其中，所述第二判断单元判断表示所述图像获取单元所获取到的所述多个图像之间的亮度特性的连续性的值。

9.根据权利要求6所述的眼科设备，其中，所述第二判断单元判断表示所述图像获取单元所获取到的所述多个图像之间的图像特征的连续性的值。

10.根据权利要求6所述的眼科设备，其中，所述第二判断单元判断表示所述图像获取单元所获取到的所述多个图像的端部和重叠区域至少之一中的所述图像获取单元所获取到的所述多个图像之间的特性的连续性的值。

11.根据权利要求6所述的眼科设备，其中，所述第二判断单元基于所生成的图像组合来判断表示所述连续性的值。

12.根据权利要求6所述的眼科设备，其中，所述第二判断单元基于构成所生成的图像组合的图像的总数、面积和无血管区域边界长度至少之一，来判断表示所述连续性的值。

13.根据权利要求6所述的眼科设备，其中，还包括比较单元，所述比较单元用于将所生成的图像组合与视角比所述图像获取单元所获取到的所述多个图像中的各图像的视角宽的宽视角图像进行比较，

其中，所述第二判断单元基于所述比较单元所获得的比较结果，来判断表示所述连续性的值。

14.根据权利要求6所述的眼科设备，其中，还包括显示控制单元，所述显示控制单元用于使显示单元显示所生成的包括基于所指示的拍摄条件而由所述图像获取单元获取到的所述多个图像的图像组合。

15.根据权利要求1至6中任一项所述的眼科设备，其中，还包括显示控制单元，所述显示控制单元用于使显示单元显示所指示的拍摄条件。

16.根据权利要求1所述的眼科设备，其中，还包括：

图像获取单元，用于获取所述眼部的获取位置不同的所述多个图像；

第二判断单元，用于判断所述图像获取单元所获取到的所述多个图像的图像群的适合度；以及

指示单元，用于基于所述第二判断单元所获得的判断结果，来给出与针对要获取的图像的拍摄条件有关的指示。

17.根据权利要求16所述的眼科设备，其中，所述第二判断单元基于同一检查中的图像之间的相对位置来判断所述适合度。

18.根据权利要求16所述的眼科设备，其中，所述第二判断单元基于同一检查中的图像之间的亮度特性的连续性来判断所述适合度。

19.根据权利要求16所述的眼科设备，其中，所述第二判断单元基于同一检查中的图像之间的图像质量的相似度来判断所述适合度。

20.根据权利要求16所述的眼科设备，其中，所述第二判断单元基于所述图像获取单元所获取到的所述多个图像的图像特征来判断所述适合度。

21.根据权利要求16所述的眼科设备，其中，所述第二判断单元基于如下内容至少之一来判断所述适合度：不同检查中的图像群之间的相对位置；不同检查中的图像群之间的亮度特性的连续性；以及不同检查中的图像群之间的图像质量的相似度。

22.根据权利要求16所述的眼科设备，其中，还包括显示控制单元，所述显示控制单元用于使显示单元显示所生成的包括基于所指示的拍摄条件所获取到的图像的图像组合。

23.根据权利要求16所述的眼科设备，其中，还包括测量单元，所述测量单元用于测量基于所指示的拍摄条件所获取到的图像中的血球的移动速度。

24.一种眼科设备的控制方法，所述眼科设备用于通过在不同时间拍摄眼部的不同的多个区域来获取多个图像以通过组合所获取到的所述多个图像来生成图像组合，所述控制方法包括以下步骤：

判断所述图像组合中是否包括图像缺失区域；以及

控制所述眼科设备，以对所述眼部的所述图像缺失区域进行摄像。

25.根据权利要求24所述的控制方法，其中，还包括以下步骤：

图像获取步骤，用于通过拍摄所述眼部的不同的多个区域来获取所述多个图像；

判断表示在所述图像获取步骤中所获取到的所述多个图像之间的特性的连续性的值；

以所判断出的值满足预定条件的方式，给出与在不同位置拍摄所述眼部所用的拍摄条件有关的指示；以及

控制所述眼科设备，以基于所指示的拍摄条件来在不同位置拍摄所述眼部。

26.根据权利要求24所述的控制方法，其中，还包括以下步骤：

图像获取步骤，用于获取所述眼部的获取位置不同的所述多个图像；

判断在所述图像获取步骤中所获取到的所述多个图像的图像群的适合度；以及

基于判断结果来给出与针对要获取的图像的拍摄条件有关的指示。