CN105395164B - 图像处理装置及图像处理装置的控制方法 - Google Patents

Abstract

本发明提供一种图像处理装置及图像处理装置的控制方法。该图像处理装置通过使用多个运动图像的各个中的至少一帧来生成一个图像，所述多个运动图像是通过在不同时间拍摄眼的多个不同区域的运动图像而获得的。该图像处理装置包括：决定单元，其被构造为决定所述多个运动图像的各个中的所述至少一帧，使得在多个区域中的所述多个运动图像中包括实际已被拍摄的区域；以及图像生成单元，其被构造为通过使用从所述多个运动图像的各个中决定的所述至少一帧来生成一个图像。

Description

图像处理装置及图像处理装置的控制方法

技术领域

本发明涉及在眼科诊断和治疗中使用的图像处理装置以及该图像处理装置的控制方法。

背景技术

以对于生活习惯病以及作为失明首要原因的疾病的早期诊断和治疗为目的，广泛进行眼的检查。作为采用激光共聚焦扫描显微镜的原理的眼科装置的扫描激光检眼镜(SLO)对整个眼底进行作为测量光的激光的光栅扫描，并且根据返回光的强度以高速获取高分辨率的平面图像。在下文中将这种平面图像摄像的装置称为SLO装置，并且将平面图像称为SLO图像。

近年来，SLO装置中的测量光的增大的光束直径使得能够以提高的水平分辨率来获取视网膜的SLO图像。然而，测量光的增大的光束直径已导致如下的问题，即在视网膜的SLO图像的获取期间由于被检眼的像差引起SLO图像的S/N比及分辨率的劣化。已开发了自适应光学SLO装置来解决该问题。自适应光学SLO装置具有如下的自适应光学系统，其利用波阵面(wavefront)传感器实时测量被检眼的像差，并且利用波阵面校正设备校正相对测量光及其返回光在被检眼中发生的像差。这使得能够获取具有高水平分辨率的SLO图像(高倍率图像)。

这种高倍率图像可以作为运动图像被获取，并且用于血流动力学状态的非侵入性观察。从每帧提取视网膜血管，并且测量通过毛细血管的血细胞的移动速度等。利用高倍率图像来检测光感体P并且测量光感体P 的密度分布及阵列以评价与视觉功能的关系。图6B示出了高倍率图像的示例。光感体P、对应于毛细血管的位置的低亮度区域Q、以及对应于白细胞的位置的高亮度区域W可以被观察。

在利用高倍率图像观察光感体P或测量光感体P的分布的情况下，在视网膜的外层(图6A中的B5)附近设置焦点位置以拍摄诸如图6B中的高倍率图像。另一方面，视网膜血管以及分支了的毛细血管穿过视网膜内层(图6B中的B2至B4)。在拍摄被检眼的照片的情况下，要摄像的图像区域可能大于高倍率图像的视角。对大面积光感体缺陷区域摄像的情况、对作为早期毛细血管病变的好发区域的近中心窝区域摄像的情况等等落入这类情况。因此，日本特开第2012-213513号公报公开了将通过在不同拍摄位置进行拍摄而获取的多个高倍率图像组合并显示的技术。

另外，日本特开第2013-169309号公报公开了这样一种技术，其中确定一定拍摄位置的高倍率运动图像中的眼微动的影响的异常帧，并且仅显示高倍率运动图像中确定的异常帧以外的帧。

发明内容

图像处理装置通过使用多个运动图像的各个中的至少一帧生成一个图像，所述多个运动图像是通过在不同时间拍摄眼的多个不同区域的运动图像而获得的。该图像处理装置包括：决定单元，其被构造为决定所述多个运动图像的各个中的所述至少一帧，使得在多个区域中的所述多个运动图像中包括实际已被拍摄的区域；以及图像生成单元，其被构造为通过使用从所述多个运动图像的各个中决定的所述至少一帧来生成一个图像。

根据以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是例示根据本发明的第一实施例的图像处理装置的功能结构示例的框图。

图2A到图2C是例示根据本发明的实施例的包括图像处理装置的系统的结构示例的框图。

图3是用于描述根据本发明的实施例的SLO图像摄像装置的整体结构的图。

图4是例示具有与存储单元和图像处理单元相当的硬件并且保持作为被执行的软件的其他单元的计算机的硬件结构示例的框图。

图5是根据本发明的实施例的图像处理装置执行的处理的流程图。

图6A到图6J是例示根据本发明的第一实施例的图像处理中进行的内容的图。

图7A和图7B是例示根据本发明的第一实施例在步骤S530和步骤 S540中执行的处理的详情的流程图。

图8是例示根据本发明的第二实施例的图像处理装置的功能结构示例的框图。

图9A到图9E是例示在根据本发明的第二实施例的图像处理中进行的内容的图。

图10A和图10B是例示根据本发明的第二实施例在步骤S530和步骤S540中执行的处理的详情的流程图。

图11是用于描述根据本发明的第三实施例的层析图像摄像装置的整体结构的图。

图12A到图12D是例示在根据本发明的第三实施例的图像处理中进行的内容的图。

图13是例示根据本发明的第四实施例的图像处理装置的功能结构示例的框图。

图14A到图14C是例示在根据本发明的另一实施例的图像处理中进行的内容的图。

具体实施方式

现在，将考虑从通过在不同拍摄位置进行拍摄获取的多个高倍率运动图像的各个中选择特定帧并且将选择的帧组合(拼贴)的情况。一般从多个高倍率运动图像的帧中选择几个帧，并且使用所选择的帧来获取代表图像。获取的代表图像被组合，由此生成广范围图像。当将相邻的代表图像相互比较时，存在针对拍摄位置、亮度属性、图像属性等等，相邻代表图像的连续性不良的情况。当利用这种广范围图像来测量广区域上分布的细胞群、组织及其病变(光感体缺陷、毛细血管瘤)的分布时，存在出现无法分析的区域的情况、无法提取用于分析的区域的情况等等。

已发现当获取通过在不同拍摄位置进行拍摄而获取的多个高倍率运动图像的各个的代表图像时，要求以使得代表图像的连续性得到改善的方式来选择图像。

根据本实施例的图像处理装置具有选择单元(例如，图1中的选择单元134)，其基于由通过从在眼的不同位置拍摄的多个运动图像的各个中进行选择而获取的图像(代表图像)组成的多个图像(图像组)的属性的连续性，来从所述多个运动图像的各个选择图像。因此，当从不同拍摄位置拍摄的多个高倍率运动图像的各个获取代表图像时，能够以使得代表图像间的连续性更好的方式来选择图像。

现在，多个图像(图像组)的属性是例如所述多个图像的相对位置、亮度属性以及图像属性中的至少一者。多个图像(图像组)的各图像(通过从运动图像进行选择而获取的图像)是从运动图像获取的代表图像，并且可以是从运动图像选择的一个图像，或者可以是被选择并交叠的具有相对小噪声、伪影等等的多个图像。在利用交叠图像的情况下，优选交叠图像的数量小，从而多个图像的属性间的连续性变高。还优选提供确定单元，以确定表示连续性的值，由此可以从运动图像中选择使得确定值满足预定条件的图像。这里确定值满足预定条件的情况例如是确定值超出阈值或是最大的情况。优选利用多个图像被组合的组合图像来确定表示连续性的值。例如，基于将在实施例中详细描述的组合图像的面积以及无血管区域边界的长度中的至少一者来进行确定。以下将参照附图来详细描述根据本发明的图像处理装置及其操作方法的优选实施例。然而，注意本发明并不限于此。

另外，当在多个拍摄位置连续拍摄时，难以在任意的图像中获取无图像失真的图像。因此，通常，进行眼的一定拍摄位置的高倍率运动图像拍摄。现在，日本特开第2012-213513号公报公开了可以在同一位置多次进行拍摄，并且可以选择用于构造全景图像的图像，使得与相邻图像具有最佳相关性的图像被选择。此时，存在如下的问题，即如果从多个图像中仅选择对于构造全景图像最佳的图像，则在全景图像中存在不完整图像的问题。因此，根据另一实施例的图像处理装置从运动图像中选择多帧，从而全景图像中的不完整图像被减至最少。因此，能够减少全景图像中的不完整图像。

以下将参照附图详细描述根据本发明的图像处理装置及其操作方法的优选实施例。然而，注意本发明并不限于这些。

第一实施例：不同位置的多个图像的相对位置或亮度属性的连续性

根据第一实施例的图像处理装置基于不同位置的多个图像(图像组) 的相对位置以及亮度属性中的至少一者的连续性来确定图像组的合适性。已作出了该结构，使得可以通过选择、组合并显示具有最高适合性的帧或图像来在大略相同的条件下观察摄影区域。

具体地，将对由诸如图6G所示的9个高倍率图像组成图像组、利用选择单元按拍摄位置的增量选择的帧来生成交叠图像、所述交叠图像被组合并确定作为图像组的合适性的情况给出描述。

整体结构

图2A是根据本实施例的包括图像处理装置10的系统的结构图。图像处理装置10经由如图2A 所示的包括光纤、通用串行总线(USB)、IEEE 1394等的局域网(LAN)30连接到SLO图像摄像装置20和数据服务器 40。到这些设备的连接的结构可以是经由诸如互联网的外部网络，或者可以是图像处理装置10直接连接到SLO图像摄像装置20的结构。

首先，SLO图像摄像装置20是拍摄眼的广角图像D1和高倍率图像 Dh的装置。SLO图像摄像装置20向图像处理装置10和数据服务器40 发送广角图像D1、高倍率图像Dh以及用于其拍摄的固视目标位置F1和 Fh的信息。在不同拍摄位置获取各倍率的图像的情况下，这被表现为D1i， Dhj。也就是说，i和j是表示针对拍摄位置的数字的变量，这里i＝1,2,...,imax，j＝1,2,...,jmax。在以不同倍率获取高倍率图像的情况下，这按照从最高倍率图像起的顺序被表现如D1j,D2k,...，D1j表示高倍率图像， D2k表示中间倍率图像。

数据服务器40保持眼的广角图像D1和高倍率图像Dh、用于其拍摄的诸如固视目标位置F1和Fh的拍摄条件数据、眼的图像特征、与眼的图像特征的分布相关的通常值等等。在本发明中，与光感体P、毛细血管 Q、血细胞W、视网膜血管以及视网膜层边界相关的图像特征被保持作为眼的图像特征。从SLO图像摄像装置20输出的广角图像D1、高倍率图像Dh、用于其拍摄的固视目标位置F1和Fh、以及从图像处理装置10 输出的眼的图像特征被保存在服务器中。另外，响应于来自图像处理装置10的请求，广角图像D1、高倍率图像Dh、眼的图像特征以及眼的图像特征的通常值DATA被发送到图像处理装置10。

接着，将参照图1来描述根据本实施例的图像处理装置10的功能结构。图1是例示图像处理装置10的功能结构的框图。图像处理装置10 包括数据获取单元110、存储单元120、图像处理单元130以及指令获取单元140。数据获取单元110包括图像获取单元111。图像处理单元130 包括定位单元131、个体图像确定单元132、图像组确定单元133、选择单元134、以及显示控制单元135。另外，图像组确定单元133包括位置确定单元1331和亮度确定单元1332。

具有自适应光学系统的SLO图像摄像装置

接着，将参照图3来描述具有自适应光学系统的SLO图像摄像装置 20的结构。首先，附图标记201表示光源，对于该光源使用超发光二极管(SLD)光源。虽然在本实施例中在眼底摄像与波阵面测量之间共用该光源，但是可以作出这些是中途被复用的分立的光源的结构。从光源 201照射的光通过单模光纤202并且从准直器203作为平行测量光205照射。照射的测量光205传播通过由光束分离器构成的分光单元204并且被导入自适应光学系统的光学系统。

自适应光学系统由分光单元206、波阵面传感器215、波阵面校正设备208以及用于向它们导入光的反射镜207-1至207-4。安装反射镜207-1 至207-4，使得至少眼的瞳孔、波阵面传感器215以及波阵面校正设备208 在光学上为共轭关系。在本实施例中使用光束分离器作为分光单元206。另外，在本实施例中采用利用液晶设备的空间相位调制器作为波阵面校正设备208。注意，可变形状镜可以被用作波阵面校正设备。已通过自适应光学系统的光被扫描光学系统209一维或二维扫描。作为扫描光学系统209，在本实施例的主扫描(眼底水平方向)和副扫描(眼底垂直方向) 中使用两个电扫描器。为了更高速拍摄，可以将共振扫描器用于扫描光学系统209的主扫描侧。由扫描光学系统209扫描的测量光205经由目镜210-1和210-2来对眼211进行扫描。照射眼211的测量光205在眼底被反射或散射。可以通过调节目镜210-1和210-2的位置来实现针对眼 211的可视性的最佳照射。虽然这里使用目镜，但是球面镜等可以用于该结构。

从/在眼211的视网膜反射/散射的反射/散射光(返回光)的一部分沿与其入射时相同的路径但是在相反方向上行进，并且通过分光单元206 在波阵面传感器215被反射以用来测量光束波阵面。波阵面传感器215 还连接到自适应光学控制单元216，并且将接收的波阵面通知给自适应光学控制单元216。波阵面校正设备208还连接到自适应光学控制单元216，并且进行通过自适应光学控制单元216指示的调制。自适应光学控制单元216基于通过波阵面传感器215从测量结果获取的波阵面来计算用于校正到无像差的波阵面的调制量(校正量)，并且指示波阵面校正设备208 进行这种调制。注意，在进行反馈控制以持续保有最佳波阵面的情况下反复进行波阵面测量以及对波阵面校正设备208的指示。

已传播通过分光单元206的反射/散射光的一部分被分光单元204反射，通过准直器212和光纤213并且被导入光强度传感器214。光在光强度传感器214被转换为电信号，被控制单元217形成为用作眼图像的图像，并且被显示在显示器218上。通过在图3所示的结构中增加扫描光学系统的振荡角并且自适应光学控制单元216指示不进行像差校正，SLO 图像摄像装置20还可以作为通常SLO装置操作，并且可以拍摄广角SLO 图像(广角图像D1)。

图像处理装置10的硬件结构和执行过程

接着，将参照图4来描述图像处理装置10的硬件结构。在图4中，附图标记301表示中央处理单元(CPU)、附图标记302表示存储器(随机存取存储器(RAM))、附图标记303表示控制存储器(只读存储器 (ROM))、附图标记304表示外部存储设备、附图标记305表示监视器、附图标记306表示键盘、附图标记307表示鼠标以及附图标记308表示接口。用于实现根据本实施例的图像处理功能的控制程序、以及在控制程序被执行时使用的数据被存储在外部存储设备304中。控制程序以及数据在CPU 301的控制下经由总线309适当地被加载到RAM302，被 CPU 301执行，并且用作以下描述的单元。组成图像处理装置10的块的功能将与图5中的流程图所示的图像处理装置10的具体执行过程相关联。

步骤S510：图像获取

图像获取单元111请求SLO图像摄像装置20获取广角图像D1、高倍率图像Dhj以及相应固视目标位置F1和Fh。在本实施例中，固视目标位置F1和Fh被设置在黄斑的中心窝处，并且获取广角图像D1和高倍率图像Dhj。注意，针对拍摄位置的设置方法不限于此，可以设置在任意位置。

SLO图像摄像装置20根据获取请求，获取并发送广角图像D1和高倍率图像Dhj以及相应的固视目标位置F1和Fh。图像获取单元111经由 LAN 30从SLO图像摄像装置20接收广角图像D1、高倍率图像Dhj以及固视目标位置F1和Fh，并将这些存储在存储单元120中。注意，本实施例中的广角图像D1和高倍率图像Dhj是已经进行了帧间定位的运动图像。

步骤S520：定位

定位单元131对广角图像D1和高倍率图像Dhj进行定位，并且获得高倍率图像Dhj在广角图像D1上的相对位置。在高倍率图像Dhj之间存在交叠区域的情况下，也关于该交叠区域计算图像间相似度，并且将高倍率图像Dhj彼此定位在图像间相似度最大的位置。

接着，在步骤S510中已获取不同倍率的图像的情况下，从较低倍率图像进行定位。例如，在高倍率图像D1j和中间倍率图像D2k已被获取的情况下，首先，在广角图像D1与中间倍率图像D2k之间进行定位，接下来在中间倍率图像D2k与高倍率图像D1j之间进行定位。在仅存在高倍率图像的情况下，仅在广角图像D1与高倍率图像D1j之间进行定位是不言自明的。

注意，定位单元131从存储单元120获取用于拍摄高倍率图像Dhj 的固视目标位置Fh，并且用此来设置针对广角图像D1与高倍率图像Dhj 之间的定位中的定位参数的搜索开始点。任何已知技术可以被用于图像间相似度或者坐标转换技术。在本实施例中，相关系数用于图像间相似度，并且仿射变换被用作进行定位的坐标变换。

步骤S530：确定各运动图像的合适性的处理

个体图像确定单元132基于帧的亮度值以及帧间运动量，来进行针对合适性的确定处理。另外，选择单元134基于合适性确定结果来进行选择处理，并且形成个体图像。这里的个体图像可以是运动图像的全部帧已被交叠的图像，或者可以是一个选择帧。可以使用选择了具有相对小噪声等的多个图像并将所选择的图像交叠的图像。稍后将参照图7A中的流程图来详细描述该步骤的处理。

步骤S540：确定作为图像组的合适性的处理

基于在步骤S530中形成的个体图像，图像组确定单元133基于它们之间的相对位置以及相对亮度来确定图像组(相邻不同位置的多个图像) 的合适性，选择单元134选择具有最高合适性的图像的组合，并且组合这些图像以形成图像。在本实施例中，选择单元134选择图像组确定单元133已确定在各获取位置合适性最高的组合的帧区间，进行交叠以生成图像，并形成组合图像。稍后将参照图7B的流程图来详细描述该步骤的处理。

步骤S550：显示

显示控制单元135基于在步骤S520中获得的定位参数的值或者在步骤S540中选择的区域、帧或图像，在广角图像D1上显示高倍率图像Dhj。在获取了多个高倍率图像Dhj的情况下，显示控制单元135可以校正高倍率图像之间的浓度差，以用于显示。可以使用任何已知的亮度校正方法。在本实施例中，针对各高倍率图像Dhj生成直方图Hj，并且进行高倍率图像Dhj的亮度值的线性变换，使得直方图Hj的均值及方差变为高倍率图像Dhj之间的共同值，由此校正浓度差。注意，高倍率图像之间的亮度校正方法不限于此，可以使用任意已知的亮度校正方法。另外，关于显示倍率，操作者已经由指令获取单元140指定的高倍率图像被放大并显示在监视器305上。

步骤S560：是否保存结果的指令

指令获取单元140从外部获取关于是否将广角图像D1、由选择单元 134选择的高倍率图像Dhj、固视目标位置F1和Fh以及在步骤S520中获取的定位参数值保存到数据服务器40的指令。由操作者例如从键盘306 或鼠标307来输入该指令。在指示了保存的情况下，流程进行到步骤 S570，而在未指示保存的情况下，流程进行到步骤S580。

步骤S570：保存结果

图像处理单元130将检查的日期和时间、识别被检眼的信息、广角图像D1、由选择单元134选择的高倍率图像Dhj及固视目标位置F1和 Fh、以及定位参数值相关联，并且发送到数据服务器40。

步骤S580：是否结束处理的指令

指令获取单元140从外部获取关于是否结束图像处理装置10针对广角图像D1和高倍率图像Dhj的处理的指令。该指令由操作者例如从键盘 306或鼠标307输入。在获取了结束处理的指令的情况下，处理结束。另一方面，在获取了继续处理的指令的情况下，流程返回到步骤S510，并且对下一被检眼进行处理(或者针对同一被检眼再次进行处理)。

关于针对各运动图像的合适性的确定的处理

接着，将参照图7A中的流程图来详细描述在步骤S530中执行的处理。

步骤S710：合适性确定标准的获取

个体图像确定单元132经由指令获取单元140获取合适性确定标准。这里列出以下项目a)到d)作为合适性确定标准；

a)图像的亮度值在适当范围中，

b)图像质量(S/N比等)的适当值的范围，

c)针对参照帧的移动量在适当范围中，以及

d)焦点位置在适当范围内，

这里，a)被获取作为本实施例中的合适性。这是为了排除由于作为眨眼或固视位置的显著偏差的结果、测量光未到达眼底而发生的低亮度帧。

步骤S720：合适性确定

个体图像确定单元132遵照步骤S710中获取的标准，来针对高倍率 SLO图像Dhj的各帧确定合适性。在本实施例中，如果各a)在适当范围内则分配值1，而如果在适当范围外则分配值-1。

步骤S730：图像选择

选择单元134基于步骤S720中确定的合适性来按照拍摄位置的增量选择用于显示的图像(在运动图像的情况下为帧)，并且形成图像。在本实施例中，高倍率图像是如图6C中所示摄像有光感体的运动图像，并且由运动图像来形成交叠图像。这里以下项目(i)和(ii)可以被列为用于形成个体图像的方针，即

(i)将交叠的数量最大化(图像质量优先)，以及

(ii)将交叠图像的面积最大化(不完整图像防止优先)。

在(i)的情况下，在步骤S720中选择的全部帧用于交叠。例如，在如图6(c)所示单独高倍率运动图像中的各帧的位置被关联(Nf：帧编号.) 的情况下，交叠的结果如图6D中所示。在该示例中，领先帧是参照帧。未用于交叠的区域(不完整图像)在图6D中用黑色表示。虽然是高质量图像，但是在交叠中不使用具有这样的帧(即不具有作为帧间定位的结果像素值的帧)的区域，所以易于出现不完整图像。在(ii)的情况下，排除在步骤S720中选择的、哪怕仅具有略微位置偏差的帧。例如，在图6C 的情况下，排除了编号2至4的帧。虽然没有出现不完整图像，但是交叠的图像的数量较小，所以图像质量往往比(i)的情况下更低。现在，在本实施例的情况下，选择具有在S720中计算的1的合适性的帧，遵照方针(i)来形成交叠图像，就是说仅使用像素值在全部选择帧中为正的区域。

确定作为图像组的合适性的处理

接着，将参照图7B中的流程图来详细描述在步骤S540中执行的处理。

步骤S740：合适性确定

图像组确定单元133遵照在S520中使用的定位参数，将在S730中形成的图像组组合，并且基于图像组的相对位置和亮度属性来确定图像组的合适性。在本实施例中将假设图像组由诸如图6G所示的9个交叠图像组成，并且图像编号j从左上按照光栅扫描(锯齿形扫描)的顺序增加。以下按照优先顺序列出与组合图像(图像组)的合适性相关的确定方针，即，

1.在组合图像中不生成不完整图像区域，

2.图像质量不根据拍摄位置变化，以及

3.尽可能多的图像被交叠。

在这些中，1和2是被设置用于使得在组合图像内能够在同一条件下被观察的条件，利用位置确定单元1331确定条件1，用亮度确定单元1332 确定条件2。图像组的相对位置和亮度属性二者不是必须被设置为条件；设置任意一者作为条件即可。

现在，在没有确定作为图像组的合适性的情况下，即，在针对各拍摄位置在S730中遵照(ii)的方针生成组合图像的情况下，将存在以上条件 2不被满足的情况。另外，在遵照(ii)的方针生成组合图像使得以上条件2 被满足的情况下，由于交叠图像的数量必须与具有最少交叠图像的图像的数量一致，因此图像质量比图像组的合适性被确定并且图像被选择的情况低。因此，考虑到相邻图像的边缘以及交叠部分的数据连续性及补充来进行合适性确定，使得能够在满足条件1和2的同时获得较高质量的组合图像(利用较大数量的图像进行交叠)。

在本实施例中，存在诸如由图6F中的灰色区域表示的两个相邻图像之间的冗余区域，以及诸如由图6F中的黑色区域表示的四个相邻图像之间的冗余区域。具体地，通过以下过程来确定图像组的合适性。

(1)根据在S520中获得的定位参数来组合在S730中生成的个体图像(图像质量优先)。

(2)确认在(1)中生成的组合图像内是否存在不完整图像，以及计算(组合图像的面积–不完整图像的面积)/(组合图像的面积)。

步骤S750：图像选择

选择单元134基于在S740中确定的合适性，在各高倍率图像中进行图像选择使得合适性最高，并且基于选择的图像进行图像组的形成处理。具体地，根据以下过程来进行图像选择(帧或区域的选择)，并且进行图像组形成处理。

(3)如果不存在不完整图像，则按照原样形成组合图像并且处理结束。

(4)如果存在不完整图像，则获得不完整图像区域的位置。

(5)确认在包括不完整图像区域或具有与不完整图像区域相邻的边的图像的冗余区域中是否存在补充(替代)数据。例如，在图6G中在图像6和图像9中存在不完整图像，因此确认在图像6和图像5的左边缘以及在图像9中是否存在补充数据。

(6)如果存在补充(替代)数据，则利用该补充数据的具有最佳图像质量(交叠图像的数量最大)的补充数据来替换不完整图像区域，并且执行(8)(与选择单元134在图像中的区域选择处理相当)。

(7)如果不存在补充(替代)数据，则改变具有包括不完整图像区域或与该区域相邻的边的图像的图像选择帧，使得不完整图像区域得到解决。如果存在解决不完整图像区域的多个帧选择方法，则选择交叠图像的数量最大的帧选择方法。

(8)作为在(7)中获得的交叠图像组中的交叠图像的最小数量的交叠图像数ANmin被设置为组合图像的交叠图像的数量，在各拍摄位置的交叠图像的数量被改变为ANmin，并且再次生成交叠图像。

(9)在(8)中生成的交叠图像被用于生成组合图像。如图6H中所示，不再有不完整图像，并且生成交叠图像数相同并且最大的组合图像。

注意，在同一检查中的相同拍摄位置处Nt(Nt≥2)次获取了运动图像的情况下，在S730中选择具有最高合适性的运动图像(第1到第Nt 次)，在S750中在图像选择(5)中确认是否在不同次拍摄中存在关于不完整图像区域的替代数据，并且用全部替代数据中具有最高图像质量的替代数据来进行替代。如果仍剩有不完整图像区域，则确认在相邻图像的冗余区域中是否存在替代数据即可。

注意，虽然在本实施例中将基于作为图像组的合适性的确定形成的组合图像已描述为静止图像(交叠图像)，但是本发明并不限于此。例如，可以考虑到相邻运动图像的边缘和交叠部分处的数据的补充来进行合适性确定，并且运动图像可以被组合并进行显示，如图6J中所示。

在运动图像的组合显示的情况下的基本处理的流程与静止图像的组合显示的情况下的相同，但是不同点如下。

(i)诸如图2B中所示的时间相位数据获取装置50连接到图像处理装置10，并且与运动图像同时获取时间相位数据。时间相位数据例如是通过脉波计(sphygmograph)获取的生物信号数据。参照时间相位数据产生各运动图像的心动周期，即应播放的周期。通过运动图像的帧插值处理在运动图像间将再现周期对齐为相同的。

(ii)在S730中按照拍摄位置的增量在图像形成处理中选择异常发光的帧已被从中去除的最长连续帧部分。

(iii)根据以下方针在S740中在作为图像组的合适性确定处理中进行合适性确定，即

在组合图像中不生成不完整图像区域，

在从一拍摄位置到另一拍摄位置的再现帧的数量无变化，以及

组合并显示尽可能多的帧(周期)的运动图像。

(iv)在S750中在作为图像组的图像形成处理的(6)(7)(8)中选择的帧被设置为连续帧部分。

因此，从运动图像的组合显示中消除不完整图像，并且形成最长连续帧与再现帧的数量相同的组合运动图像。在没有获取时间相位数据的情况下，可以不调节再现时钟时间而作为运动图像来进行组合显示。

根据如上所述的结构，当在不同拍摄位置显示自适应光学SLO图像的组合图像时，图像处理装置10在与要拍摄的区域相比较的情况下确定图像组的合适性，即基于不可观察区域多小来确定合适性。基于相邻图像的边缘或交叠区域处的数据连续性及补充性，从图像中选择区域或帧或图像，从而合适性最大，并且进行组合并显示。因此，在要观察的细胞和组织、及其病变跨越多个高倍率图像存在的情况下，可以生成可以在大略相同条件下观察的组合图像。

第二实施例：在不同位置处的多个图像的图像特征的连续性

根据第二实施例的图像处理装置被构造为基于从相邻高倍率图像提取的图像特征的连续性来确定图像组的合适性，而不是如第一实施例中基于相邻高倍率图像的相对位置和亮度属性的连续性来确定图像组的合适性。具体地，基于从高倍率SLO图像提取的近中央窝的毛细血管区的连续性来确定图像组的合适性。

根据本实施例的与图像处理装置10连接的装置的结构与第一实施例中的相同。除了被检眼的广角图像D1和高倍率图像Dh、以及用于其获取的诸如固视目标位置F1和Fh的获取条件外，数据服务器40还保持眼的图像特征以及与眼的图像特征的分布相关的通常值。虽然可以保持眼的任意图像特征，但是在本实施例中使用与视网膜血管、毛细血管Q以及血细胞W相关的图像特征。从图像处理装置10输出的眼的图像特征被保存在数据服务器40中。另外，响应于来自图像处理装置10的请求，将眼的图像特征以及与眼的图像特征的分布相关的通常值数据发送到图像处理装置10。图8例示了根据本实施例的图像处理装置10的功能块。这与第一实施例中的情况的不同之处在于图像处理单元130配设有图像特征获取单元136。根据本实施例的图像处理流程与图5中的相同，其中 S510、S520、S560、S570及S580与第一实施例中的相同。因此，在本实施例中将仅描述S530、S540及S550的处理。

步骤S530：确定各运动图像的合适性的处理

个体图像确定单元132基于帧的亮度值以及帧间运动量来进行针对合适性的确定处理。另外，选择单元134基于合适性确定结果进行选择处理，并形成个体图像。稍后将参照图10A中的流程图来详细描述该步骤的处理。

步骤S540：确定作为图像组的合适性的处理

基于在步骤S530中形成的个体图像，图像组确定单元133基于图像间的图像特征的连续性来确定合适性，选择单元134选择具有最高合适性的图像的组合，并将它们组合以形成图像。稍后将参照图10B中的流程图来详细描述该步骤的处理。

步骤S550：显示

显示控制单元135利用在S520中获得的定位参数来显示在S540中形成的组合图像。在本实施例中进行诸如图9B所示的毛细血管已被提取的组合图像的显示。

确定各运动图像的合适性的处理

接着，将参照图10A所示的流程图来详细描述在S530中执行的处理。注意，S1010和S1020与第一实施例中的S710和S720相同，因此省略其描述。

步骤S1030：图像选择

选择单元134基于S1020中确定的合适性来按照拍摄位置的增量选择用于显示的图像(在运动图像的情况下的帧)，并且形成图像。在本实施例中，高倍率图像是摄像有毛细血管区域的运动图像，并且形成已从运动图像中提取了毛细血管的图像(下文中写为“毛细血管图像”)。

以下项目(i)和(ii)可以被列举为用于形成个体图像的方针，即

(i)将用于形成毛细血管图像的帧的数量最大化(图像质量优先)，以及

(ii)将毛细血管区域的面积最大化(防止不完整图像优先)。

在(i)的情况下，在S1020中选择的全部帧用于提取毛细血管。在(ii) 的情况下，排除了在S1020中选择的哪怕仅具有略微位置偏差的帧。例如，在图6C的情况下，排除了编号2至4的帧。虽然没有出现不完整图像，但是用于提取毛细血管的帧的数量较小，所以图像质量往往比(i)的情况下更低。现在，在本实施例的情况下，选择具有S1020中计算出的1 的合适性的帧，并且遵照方针(i)来提取毛细血管区域，即，仅使用在全部选择帧中像素值为正的区域。

步骤S1040：提取图像特征

图像特征获取单元136从高倍率图像Dhj中检测毛细血管，并且从检测的毛细血管区域检测无血管区边界。在本实施例中，根据以下过程从高倍率图像Dhj识别第一毛细血管作为血细胞成分运动范围，即，

(a)在关于帧间位置已完成的高倍率图像Dhj的相邻帧之间进行差分处理(生成差分运动图像)，

(b)在(a)中生成的差分运动图像的各x-y位置处计算帧方向上的亮度统计(方差)，以及

(c)差分运动图像的各x-y位置的亮度方差超出阈值Tv的区域被识别作为血细胞已移动的区域，即毛细血管区域。

注意，用于检测毛细血管的方法不限于此；可以使用任意已知方法。例如，可以通过对高倍率图像Dhj的特定帧应用线性增强结构的滤波器来检测血管。

接着，图像特征获取单元136从获取的毛细血管区域检测无血管区边界。在视网膜的中央窝(例如，图6I中的Dh5)附近存在没有视网膜血管的区域(无血管区)。在无血管区边界周围易于发生视网膜血管的早期病变，另外该无血管区随着诸如糖尿病的视网膜疾病的病变发展而蔓延。因此，该无血管区边界是观察分析的重要对象。

在本实施例中，圆形可变形模型被放置在位于高倍率图像组的中心的高倍率图像Dh5中，并且使该可变形模型变形从而与无血管区边界匹配，由此识别无血管区边界。关于变形已被完成的可变形模型的位置被取为无血管区边界的候选位置。注意，用于识别无血管区边界的方法不限于此；可以使用任意已知技术。

确定作为图像组的合适性的处理

接着，将参照图10B中的流程图来详细描述在S540中执行的处理。

步骤S1050：合适性确定

图像组确定单元133计算与从高倍率图像Dhj获取的图像特征(毛细血管区域)相关的以下指标，并且基于该指标来确定图像组的合适性。

(实际获取的无血管区边界的长度的和)/(在S1040中设置的无血管区边界候选点序列的长度的和)

步骤S1060：图像选择及更新图像特征

选择单元134基于在S1050中确定的合适性，以使得合适性最高的方式在各高倍率图像中选择图像，并且基于选择的图像进行图像组的形成处理。具体地，根据以下过程来进行图像选择，并且进行图像组形成处理。

(3')如果不存在不完整图像特征，则按照原样形成组合图像并且处理结束。

(4')如果存在不完整图像特征，则获得不完整图像特征区域的位置。

(5')确认在包括不完整图像特征区域或具有与不完整图像特征区域相邻的边的图像的冗余区域中是否存在补充(替代)数据。例如，在图 9A中存在图像6中的不完整图像特征，从而确认在图像6和图像5的左边缘中是否存在补充数据。

(6')在存在补充(替代)数据的情况下，用该补充数据的具有最佳图像质量的补充数据(用于毛细血管提取的帧的数量最大)来替换不完整图像特征区域，并且执行(8')。

(7')如果不存在补充(替代)数据，则改变具有包括不完整图像特征区域或与该区域相邻的边的图像的图像的选择帧，使得不完整图像特征区域得到解决。如果存在解决不完整图像特征区域的多个帧选择方法，则选择所述选择帧的数量最大的帧选择方法。

(8')作为在(7')中获得的毛细血管图像组中的用于生成毛细血管图像的帧的最小数量的、用于生成毛细血管图像的帧数量ANmin'被设置为各毛细血管图像中使用的帧的数量。用于各拍摄位置处的毛细血管提取的帧的数量被改变为ANmin'，并且再次生成毛细血管图像。

(9')在(8')中生成的毛细血管图像被用于生成组合图像。如图6H 中所示，不再有不完整图像特征，并且生成用于毛细血管提取的帧数相同并且最大的组合图像。

注意，用于计算图像组的合适性的图像特征并不限于无血管区边界；可以使用任意图像特征。例如，在确定如图9C所示的视神经乳头中取的四个高倍率图像的图像组的合适性的情况下，可以通过阈值处理来检测凹陷部分，并且基于该凹陷部分的边界位置的连续性来确定图像组的合适性。具体地，凹陷部分边界的边的和被用作图像组的合适性。当然，图像组的合适性不限于此，可以是例如通过阈值处理检测的凹陷区域的面积。

图像组的合适性最大的图像选择方法与第一实施例中的S750基本相同。然而这与第一实施例的情况不同在于，针对帧选择后生成的交叠图像进行特征提取(凹陷部分边界检测)，利用图像特征的连续性确定图像组的合适性，并且组合经历特征提取的图像。由于该类的图像组的合适性确定处理以及图像组形成处理，如在图9D中的右下的高倍率图像Dh3 中一样具有图像特征的不连续部分的组合图像可以具有如图9E中解决的不连续部分，并且要分析的组织可以在大略相同的条件下被分析。

根据上述结构，图像处理装置10基于从相邻高倍率图像提取的图像特征的连续性来确定图像组的合适性。因此，在要分析的细胞和组织、及其病变跨越多个高倍率图像存在的情况下，可以生成可以在大略相同的条件下分析的组合图像。注意，除了图像特征外，作为第一实施例的条件的图像组的相对位置及亮度属性的至少一个条件例如可以被添加作为用于确定图像组的合适性的条件。

第三实施例：具有自适应光学系统的层析图像摄像装置

当组合并显示在不同拍摄位置拍摄的高倍率自适应光学OCT层析图像时，根据第三实施例的图像处理装置基于当与拍摄(分析)区域相比较时不可观察(不可分析)区域多小来确定图像组的合适性。具体地，关于如下情况进行了描述，即获取中央窝附近的多个(3×3×3＝27)高倍率图像并通过定位处理组合、以及基于与要摄像(分析)的区域相比较不可观察(不可分析)区域多小来确定图像组的合适性。

图2C例示了连接到根据本实施例的图像处理装置10的设备的结构。本实施例与第一实施例关于如下方面不同，即利用具有自适应光学系统的层析图像摄像装置60来进行连接。层析图像摄像装置60是拍摄眼的层析图像的装置，并且被构造为频域光学相干断层扫描(SD-OCT)装置。层析图像摄像装置60响应于操作者的操作(省略说明)对被检眼的层析图像进行三维摄像。摄像的层析图像被发送到图像处理装置10。

接着，根据本实施例的图像处理装置10的功能块与第一实施例的情况的相同，因此省略描述。数据服务器40保持与眼的图像特征以及眼的图像特征的分布相关的通常值数据，并且在本实施例中保持与视网膜层边界及其形状和厚度相关的通常值数据。

接着，将参照图11来描述具有自适应光学系统的层析图像摄像装置 60的结构。在图11中，附图标记201表示光源，对于该光源，在本实施例中使用具有840纳米的波长的SLD光源。低干涉布置对于光源201足以，并且具有30纳米或更长的波长间隔的SLD光源被优选使用。另外，诸如钛蓝宝石激光器的超短脉冲激光器也可以被用作光源。从光源201 照射的光通过单模光纤202并且被导入光纤耦合器520。光纤耦合器520 将该光分光成测量光路521和参照光路522。使用具有10:90的分光比的光纤耦合器，从而输入光量的10％到达测量光路521。已通过测量光路 521的光从准直器203作为平行测量光照射。准直器203的下游结构与第一实施例中的相同，经由自适应光学系统和扫描光学系统照射眼211，并且来自眼211的反射光及散射光按相同路径返回以被导入光纤521并且到达光纤耦合器520。另一方面，已通过参照光路522的参照光在准直器 523被发射，在可变光路长度单元524被反射，并且再次返回到光纤耦合器520。已到达光纤耦合器520的测量光与参照光复用并且通过光纤525 被导入分光单元526。控制单元217基于通过分光单元526分光的干涉光信息来构造眼的层析图像。控制单元217可以控制可变光路长度单元524 以获取期望深度位置的图像。注意，通过在图11所示的结构中增大扫描光学系统的振荡角以及自适应光学控制单元216指示不进行像差校正，层析图像摄像装置60可以作为通常层析图像摄像装置操作，并且可以拍摄广角层析图像(广角图像D1)。

另外，虽然在本实施例中将具有自适应光学系统的层析图像摄像装置60描述为SD-OCT，但是SD-OCT不是必不可少的。例如，这可以被构造为时域OCT或SS-OCT(扫频光源光学相干断层扫描)。在SS-OCT 的情况下，使用在不同时间生成不同波长的光的光源，并且获取频谱信息的频谱元件变得没必要。另外，SS-OCT可以获取不仅包括视网膜而且还包括脉络膜的非常深的图像。

图5例示了根据本实施例的图像处理装置10的图像处理流程。除了 S510、S520、S530、S540及S550外与第一实施例中的情况相同，因此将仅描述S510、S520、S530、S540及S550的处理。

步骤S510：图像获取

图像获取单元111请求层析图像摄像装置60获取广角图像D1、高倍率图像Dhj以及相应固视目标位置F1和Fh。在本实施例中，固视目标位置F1和Fh被设置在黄斑的中央窝，并且获取广角图像D1和高倍率图像Dhj。例如，在本实施例中高倍率图像Dhj被重复拍摄Np次(在本实施例中Np＝3)并且在相同拍摄位置在第n次拍摄的高倍率图像被写为 Dhj_n。注意，针对拍摄位置的设置方法不限于此，在可以在任意位置设置。

层析图像摄像装置60根据获取请求，获取并发送广角图像D1和高倍率图像Dhj_n、以及相应固视目标位置F1和Fh。图像获取单元111经由LAN 30从层析图像摄像装置60接收广角图像D1、高倍率图像Dhj_n、以及固视目标位置F1和Fh，并将它们存储在存储单元120中。注意，本实施例中的广角图像D1和高倍率图像Dhj_n为已经进行了切片间 (inter-slice)定位的三维图像。

步骤S520：定位

定位单元131进行广角图像D1和高倍率图像Dhj_n的定位，并且决定高倍率图像Dhj_n在广角图像D1的位置。首先，图像组确定单元133 从存储单元120获取在拍摄高倍率图像Dhj_n时使用的固视目标位置Fh，并且基于距固视目标位置的相对位置来设置用于广角图像D1和高倍率图像Dhj_n的定位的定位参数的搜索开始点。在高倍率图像Dhj_n中存在交叠区域的情况下，也关于该交叠区域计算图像间相似度，并且将高倍率图像Dhj_n相互定位在图像间相似度最大的位置。

接着，在S530中已获取了不同倍率的图像的情况下，从较低倍率图像起进行定位。在本实施例中，仅存在高倍率图像，因而仅在广角图像 D1与高倍率图像D1j_n之间进行定位。任何已知技术可以用于图像间相似度或者坐标转换技术，并且在本实施例中，(三维)相关系数用于图像间相似度，并且三维仿射变换被用作进行定位的坐标变换。

步骤S530：确定各运动图像的合适性的处理

个体图像确定单元132基于帧的亮度值以及帧间运动量来进行针对合适性的确定处理。另外，选择单元134基于合适性确定结果来进行选择处理，并且形成个体图像。确定标准获取及相似度确定方法与第一实施例中的步骤S710和S720相同，因此这里省略描述。接着，选择单元 134基于确定的相似度来按照拍摄位置的增量选择要用于显示的图像，并且形成图像。本实施例中的高倍率图像是诸如图12(a)中所示的三维层析图像。在这里的说明中省略高倍率图像之间的交叠，以便于理解拍摄位置。

以下可被视为是个体图像形成方针，即

(i)将S/N比最大化(图像质量优先)，以及

(ii)将三维层析图像中的像素的总量最大化(防止不完整图像优先)，

其中，针对(i)，在步骤S510中在相同拍摄位置处获取的层析图像中，具有最高S/N比的图像被选择，并且针对包括不具有像素值的切片的区域(图像边缘部分)的像素值被设置为0。图像质量高，但是易于出现不完整图像。针对(ii)，从在S510中获取的三维层析图像(总量3)中选择关于用0填充图像边缘的处理最少的三维层析图像。虽然没有出现不完整图像，但是S/N比不是必须高，从而图像质量往往比(i)的情况低。在本实施例中，选择合适性为1的切片，并且合适性为-1的切片中的亮度值是借助在前切片以及在后切片中的像素值通过插值处理而获得的值。这里，遵照方针(i)来形成高图像质量个体图像，即利用S/N比最大的三维层析图像。

步骤S540：确定作为图像组的合适性的处理

基于在S530中形成的个体图像，图像组确定单元133确定图像组的合适性，选择单元134选择具有最高合适性的图像的组合，并且组合它们以形成图像。在本实施例中，图像编号j从左上按照光栅扫描(锯齿形扫描)顺序增加。与组合图像(图像组)相关的确定方针按照优先顺序在下面被列出，即，

1.在组合图像中不生成不完整图像区域，以及

2.组合图像的质量尽可能高。

在这些中，1是被设置使得能够在组合图像内在相同条件下被观察的条件。现在，在没有确定作为图像组的合适性的情况下，需要选择帧，从而例如在各拍摄位置不存在不完整图像区域，与基于图像组的合适性确定生成组合图像的情况相比，关于上述条件2形成具有较低图像质量的组合图像。因此，考虑到相邻三维层析图像的边缘和交叠部分处的数据连续性及补充性进行合适性确定，使得能够在满足条件1的同时获得较高质量的组合图像。

在本实施例中，存在诸如由图12B中的灰色区域表示的两个相邻图像之间的冗余区域，诸如由图12B中的黑色区域表示的四个相邻图像之间的冗余区域，以及诸如由图12C中的白色格点表示的八个相邻图像之间的冗余区域。具体地，通过以下过程来确定图像组的合适性。

(1)根据S520中获得的定位参数来组合S530中生成的个体图像(图像质量优先)。

(2)确认在(1)中生成的组合图像内是否存在不完整图像，以及计算(组合的三维图像的体积(像素数量)–不完整图像的体积(像素数量))/(组合的三维图像的体积(像素数量))作为图像组的合适性。

注意，图像组合适性不限于此，并且可以基于在S520中获得的定位参数，可以在广角图像的投影图像上组合个体图像的投影图像，并且可以确定(组合的二维图像的面积-不完整图像的面积)/(组合的二维图像的面积)。

基于以上确定的图像组的合适性，选择单元134进行图像选择，使得在各拍摄位置合适性最高，并且基于选择的图像形成图像组。具体地，根据以下过程来进行图像选择，并且进行图像组形成处理。

(3)如果不存在不完整图像，则按照原样形成组合图像并且处理结束。

(4)如果存在不完整图像，则获得不完整图像区域的位置。

(5)确认在包括不完整图像区域或具有与不完整图像区域相邻的边的图像的冗余区域中是否存在替代数据。例如，在图12D中在高倍率图像Dh3和Dh7中存在不完整图像，从而确认在图像Dh3与图像Dh4的远边缘，Dh7与图像Dh12的上边缘中是否存在补充(替代)数据。

(6)如果存在补充(替代)数据，则用该补充数据中的具有最佳图像质量(最高S/N比)的补充数据来替换不完整图像区域，并且进行图像组合处理。

(7)如果不存在补充(替代)数据，则取消在图像边缘的修整处理(用0填充)从而不完整图像区域最小，通过从附近像素的插值处理针对剩余不完整图像区域决定像素值，然后进行图像组合处理。这样，形成不存在不完整图像并且图像质量最高的组合图像。注意，图像组合适性确定方针不限于上述，并且可以设置任意合适性。例如，除了面积等等以外，作为图像特征的示例的无血管区边界的长度可以被添加到用于合适性的条件。

步骤S550：显示

图像组确定单元133在监视器305上显示在步骤S540中形成的组合图像。在本实施例中，广角图像D1和高倍率图像Dhj_n均是三维层析图像，从而进行以下两种类型的显示。

i)针对z轴方向生成广角图像D1和高倍率图像Dhj_n的投影图像，并且高倍率图像Dhj_n的投影图像被组合并显示在广角图像D1的投影图像上。

ii)根据在仅获取到广角三维层析图像D1的位置的广角三维层析图像D1的像素值，以及根据在获取到广角三维层析图像D1和高倍率三维层析图像Dhj_n二者的位置的高倍率三维层析图像Dhj_n的像素值，生成并显示广角三维层析图像D1"。另外，在i)中的交叠图像上用箭头表示广角三维层析图像D1"上的特定扫描位置，并且与诸如i)中的交叠图像一起显示通过箭头的位置定义的广角三维层析图像D1"的二维层析图像。在该显示中，不仅广角三维层析图像D1的二维层析图像，而且高倍率三维层析图像Dhj_n的二维层析图像被交叠显示。

另外，在ii)的显示中，可以通过操作者利用指令获取单元140来(垂直或水平)移动表示广角层析图像D1"的显示位置的箭头，从而与该操作一起定义(显示)的广角图像D1和高倍率图像Dhj_n的显示切片也改变。

注意，生成投影图像的方法不限于平均强度投影；可以使用任意投影方法。另外，高倍率图像Dhj_n不限于静止图像，可以是运动图像。虽然在本实施例中已将层析图像组的合适性描述为基于针对拍摄的区域不可观察区域多小来确定，但是本发明不限于此。可以进行与第二实施例的情况相同的布置，图像处理装置10具有图像特征获取单元136，并且基于从高倍率图像提取的图像特征的相邻图像之间的连续性来确定层析图像组的合适性。例如，图像特征获取单元136通过以下过程提取层边界作为图像特征。也就是说，图像特征获取单元136从存储单元120 中存储的广角图像D1(即从眼的三维层析图像)中提取内界膜B1、神经纤维层边界B2、内网织层边界B4、光感体内/外边界B5、以及视网膜色素上皮细胞边界B6的边界位置作为图像特征。然后将提取的图像特征存储在存储单元120中。

现在，将详细描述从广角图像D1的特征提取过程。首先，将描述用于提取层边界的提取过程。这里要被处理的三维层析图像可被视为一组二维层析图像(B扫描图像)并且对该二维层析图像进行以下处理。首先，关注的二维层析图像经历平滑处理，并且移除了噪声分量。接着，从二维层析图像检测边缘分量，并且基于其连续性提取几个线段作为层边界候选。在提取的候选中，最上的线段被提取为内界膜B1，从顶起第二的线段被提取为神经纤维层边界B2，以及第三线段被提取为内网织层边界B4。从内界膜B1的外视网膜侧(图6A中z坐标为大的一侧)具有最大对比度的线段被提取作为光感体内/外边界B5。另外，层边界候选组的底部线段被提取作为视网膜色素上皮细胞边界B6。对线段的初始值可以应用诸如Snakes或水平集等的可变形模型，以更精确地提取。图像分割(Graph cuts)可以被用于提取层边界。可以对三维层析图像三维进行或者可以对二维层析图像二维进行利用可变形模型和图像分割的边界提取。任意方法可以被用于提取层边界，只要能够从眼的层析图像中提取层边界即可。

另外，可以基于广角图像D1和高倍率图像Dhj_n的相对位置、以及从广角图像D1检测的层边界位置，来执行从高倍率图像Dhj_n的层边界提取。也就是说，从与高倍率图像Dhj_n相关的广角图像D1来检测层，以及可以在广角图像D1中检测到的层边界的位置附近检测高倍率图像 Dhj_n中的相应层的边界。

根据如上所述的结构，当组合并显示在不同拍摄位置拍摄的高倍率自适应光学OCT层析图像时，图像处理装置10基于与拍摄(分析)的区域相比较在组合图像内不可观察(不可分析)区域多小来确定图像组的合适性。因此，在要分析的细胞和组织及其病变跨越多个高倍率图像存在的情况下，能够生成可以在大略相同条件下分析的组合图像。

第四实施例：组合图像与不同检查中拍摄(分析)的区域之间的比较

根据第四实施例的图像处理装置基于在组合并显示不同拍摄位置的高倍率自适应光学SLO图像时、在比较在不同检查中拍摄(分析)的区域的情况下的不可观察(不可分析)区域多小来确定图像组的合适性。具体地，将关于如下情况进行描述，即基于在与过去的检查日期拍摄的图像组Dhjf(f＝1,2,...,n-1)比较时在组合图像中不可观察(不可分析) 区域多小来确定图像组的合适性。

与根据本实施例的图像处理装置10连接的装置的结构与第一实施例中相同。接着，图13例示了根据本实施例的图像处理装置10的功能块。这与第一实施例中的情况关于如下点不同，即图像组确定单元133配设有经时(temporal)比较单元1333。根据本实施例的图像处理流程与图5 中的相同，其中S530、S560、S570和S580与第一实施例中的相同。因此，将仅描述S510、S520、S540和S550的处理。注意，Dsjf和Fsf各自代表以不同倍率、不同拍摄位置、或不同检查日期获取SLO图像和固视目标的情况，其中s是代表倍率的变量，j是代表拍摄位置编号的变量， f是代表检查日期的变量，被写为s＝1,2,...,smax,j＝1,2,...,jmax,以及 f＝1,2,...,fmax。s越小，拍摄倍率越大(视角越窄)。f越小，检查日期越早。最低倍率图像(广角图像)的拍摄位置是本实施例中的一者，并且为简单起见拍摄位置编号将被缩写。

步骤S510：图像获取

图像获取单元111请求数据服务器40发送过去的SLO图像Dsjf(f＝ 1,2,...,n-1)、固视目标位置Fsf、以及对应于SLO图像Dsjf的定位参数值。数据服务器40将对应于该请求的数据发送到图像处理装置10，并且保存在存储单元120中。在本实施例中，n＝4。

接着，图像获取单元111请求SLO图像摄像装置20获取最新的检查图像和固视目标位置、SLO图像Dsjn和固视目标位置Fsn。在本实施例中，固视目标位置F2n和F1n被设置在黄斑的中央窝处，并且从SLO图像摄像装置20获取低倍率SLO图像D2n和高倍率图像D1jn。

步骤S520：定位

定位单元131进行广角图像D2f(f＝1,2,...,n)和高倍率图像D1jf 的定位，并且获得高倍率图像D1jf在广角图像D2f上的相对位置，由此生成高倍率广角图像D1jf的组合图像。

在相同检查日期的高倍率图像D1jf中存在交叠区域的情况下，关于该交叠区域计算图像间相似度，并且将高倍率图像D1jf彼此定位在图像间相似度最大的位置。在获取了三个以上不同类型的倍率的图像的情况下，从较低倍率图像起进行定位。例如，在获取了图像D3f、图像D2kf 及图像D1jf的情况下，首先，在图像D3f与图像D2kf之间进行定位，接着，在图像D2kf与图像D1jf之间进行定位。另外，定位单元131从存储单元120获取用于拍摄图像D1jf的固视目标位置F1f，并且利用此来设置针对图像D2f与图像D1jf之间的定位中的定位参数的搜索开始点。对于图像间相似度或坐标转换技术，可以使用任何已知技术。在本实施例中，相关系数用于图像间相似度，并且仿射变换用作进行定位的坐标转换技术。

接着，来自最新检查的广角图像D2n和来自过去检查的广角图像D2f (f＝1,2,...,n-1)被定位。另外，利用广角图像D2n相对高倍率图像D1jn 的相对位置、广角图像D2f相对D2n的相对位置、以及高倍率图像D1jf 相对D2f的相对位置，获得来自过去检查的高倍率图像D1jf相对最新检查中的高倍率图像D1jn的相对位置。注意，可以直接在最新检查中的高倍率图像D1jn与来自过去检查的高倍率图像D1jf之间进行定位。定位单元131从存储单元120获取图像的固视目标位置。定位单元131利用这些固视目标位置，来设置用于最新检查的高倍率图像D1jn和最新检查的广角图像D2n的定位、D2n和过去检查的广角图像D2f的定位、以及D2f 和过去检查的高倍率图像D1jf的定位的搜索开始点。

对于定位技术，可以使用任意技术。在本实施例中，首先仿射变换首先用于定位以进行一般定位。接着，利用作为非硬性定位技术的自由形式变形(FFD)技术来进行精细定位。在任一的定位中，相关系数用于图像间相似度。当然，不限于此，可以使用任何已知的图像间相似度。这样，最新检查图像(广角图像D2n或高倍率图像D1jf)的像素以及过去检查图像(广角图像D2f或高倍率图像D1jf)的像素被相关联。

本发明不限于基于像素值的相似度的定位。例如，图像处理装置10 可以与第二实施例相同的方式配设有图像特征获取单元136，图像特征获取单元136识别毛细血管区域、然后利用识别的血管区域，基于特征进行定位。

步骤S540：确定作为图像组的合适性的处理

图像组确定单元133基于在与不同检查中拍摄(分析)的区域相比较时的不可观察(不可分析)区域多小来确定图像组的合适性，选择单元134选择具有最高合适性的图像的组合，并且形成组合图像。在本实施例中将假设图像组由诸如图6G中所示的九个交叠图像组成，并且图像编号j从左上按照光栅扫描(锯齿形扫描)顺序增加。与组合图像(图像组)相关的确定方针按照优先顺序在以下被列出，即，

1.在组合图像中不生成不完整图像区域，

2.图像质量不根据拍摄位置而变化，以及

3.在与不同检查中拍摄(分析)的区域相比较时不易于出现不可观察(不可分析)区域。

在这些中，1和2是被设置以使得能够在组合图像内在相同条件下被观察的条件。现在，在没有确定作为图像组的合适性的情况下，例如， (i)在针对各拍摄位置在S730中遵照(ii)的方针生成组合图像的情况下，将存在以上条件2不被满足的情况。另外，

(ii)在(i)被满足并且条件2也被满足的情况下，由于交叠图像的数量必须与具有最少交叠图像的图像的数量相匹配，因此图像质量比在确定了图像组的合适性并且选择了图像的情况下低。因此，考虑到相邻图像的边缘和交叠部分的数据连续性和补充性来进行合适性确定，使得能够在满足条件1到3的同时获得较高质量的组合图像(利用较大数量的图像来进行交叠)。

在本实施例中，存在诸如由图6F中的灰色区域表示的两个相邻图像之间的冗余区域，以及诸如由图6F中的黑色区域表示的四个相邻图像之间的冗余区域。具体地，通过以下过程来确定图像组的合适性。

(1)根据在S520中获得的定位参数来组合在S530中生成的个体图像(图像质量优先)。

(2)在将(1)中生成的组合图像与在过去检查中生成的组合图像比较的情况下，经时比较单元1333确认是否存在不完整图像区域。

具体地，逻辑析取(∩_f(∪_jD1jf)是关于各检查的图像组D1jf的组合 (即关于D1jf的逻辑析取(∪_jD1jf))的比较区域。在本实施例中存在用作比较的对象(不同检查)的三个图像组，从而在比较区域是逻辑析取 (∪_jD1j1)∩(∪_jD1j2)∩(∪_jD1j3)的情况下，针对各检查的图像组D1jf的组合(即针对∪_jD1jf)来确认是否存在不完整图像区域。

因此，计算((1)中生成的组合图像的面积-不完整图像的面积)/ ((1)中生成的组合图像的面积)作为图像组的合适性。注意，用于设置用于比较的区域的方法不限于此；可以设置任意比较区域。用于比较的区域也可以被手动设置。选择单元134基于图像组的合适性在高倍率图像中进行图像选择，使得合适性最高，并且基于选择的图像进行图像组的形成处理。具体地，根据以下过程来进行图像选择，并且进行图像组形成处理。

(3)如果不存在不完整图像，则按照原样形成组合图像并且处理结束。

(4)如果存在不完整图像，则获得不完整图像区域的位置。

(5)确认在包括不完整图像区域或具有与不完整图像区域相邻的边的图像的冗余区域中是否存在补充(替代)数据。例如，在图6G中在图像6和图像9中存在不完整图像，从而确认在图像6与图像5的左边缘、以及在图像9中是否存在补充数据。

(6)如果存在补充(替代)数据，则用该补充数据的具有最佳图像质量(交叠图像的数量最大)的补充数据来替换不完整图像区域，并且执行(8)。

(7)如果不存在补充(替代)数据，则改变具有包括不完整图像区域或与该区域相邻的边的图像的图像的选择帧，使得不完整图像区域得到解决。如果存在解决不完整图像区域的多个帧选择方法，则选择交叠图像的数量最大的帧选择方法。

(8)作为在(7)中获得的交叠图像组当中的交叠图像的最小数量的交叠图像数ANmin被设置为组合图像的交叠图像的数量，在各拍摄位置的交叠图像的数量被改变为ANmin，并且再次生成交叠图像。

(9)在(8)中生成的交叠图像被用于生成组合图像。如图6H中所示，不再有不完整图像，并且生成交叠图像数相同并且最大的组合图像。注意，在本实施例中基于图像组的合适性的确定来进行形成。

虽然在本实施例中基于作为图像组的合适性的确定而形成的组合图像已被描述为静止图像(交叠图像)，但是本发明并不限于此。例如，可以考虑到相邻运动图像的边缘和交叠部分的数据的补充性来进行合适性确定，并且据此组合并显示运动图像，如图6J中所示。在运动图像的组合显示的情况下的基本处理的流程与静止图像的组合显示的情况下的相同，但是不同点在如下。

(i)诸如图2B中所示的时间相位数据获取装置50连接到图像处理装置10，并且时间相位数据与运动图像同时被获取。时间相位数据例如是通过脉波计获取的生物信号数据。参照时间相位数据产生各运动图像的再现周期。通过运动图像的帧插值处理再现周期在运动图像间(拍摄位置之间、或检查之间、或二者)对齐。

(ii)按照拍摄位置的增量在图像形成处理中选择具有异常发光的帧已被去除的最长连续帧部分。

(iii)根据以下方针在针对图像组的合适性确定处理中进行合适性确定，即组合并显示具有尽可能多帧(脉冲周期)的运动图像，这里再现帧的数量(脉冲周期)(其中，在组合图像中不出现不完整图像区域的再现帧的数量(脉冲周期)通常针对各拍摄位置相同)在各检查之间大致相同。

(iv)在作为图像组的图像形成处理的(6)(7)(8)中选择的帧被设置为连续帧部分。

因此，从运动图像的组合显示中消除不完整图像，并且形成最长连续帧与再现帧具有相同数量的组合运动图像。在没有获取时间相位数据的情况下，可以不调节再现时钟时间而作为运动图像来进行组合显示。虽然在本实施例中利用了以上条件1至3作为针对图像组(静止图像组和运动图像组)的合适性，但是本发明并不限于此；可以设置任意合适性。

步骤S550：显示

显示控制单元135利用在S520中获得的定位参数以及在S540中形成的图像组来在广角图像D2n上组合并显示高倍率图像D1jn。根据上述的结构，当组合并显示在不同拍摄位置拍摄的高倍率自适应光学SLO图像时，图像处理装置10基于在比较不同检查中拍摄(分析)的区域的情况下不可观察(不可分析)区域多小来确定图像组的合适性。因此，在要观察或分析的细胞和组织及其病变跨越多个高倍率图像存在的情况下，能够生成可以在大略相同条件下观察或分析的组合图像。

其他实施例

虽然在上述实施例中描述了拍摄一个图像组并确定合适性的情况，但是本发明的实施例不限于此。也就是说，在如图14A和图14B中所示在一个检查中拍摄多个图像组的情况下，图像组中的图像可以按照与上述实施例中相同的方式来被暂时选择，之后确定图像组之间的合适性并且基于图像组之间的合适性来选择图像。

例如，在获取各拍摄位置的不同倍率的自适应光学SLO图像并且生成如图14A中所示的组合图像的情况下，针对各倍率确定图像组的合适性，并且暂时选择图像。之后，可以进行倍率间的合适性(不超出低倍率图像D2k组的拍摄区域外的高倍率图像D1j组的逻辑析取的面积/高倍率图像D1j组的逻辑析取的面积)的确定，并且可以基于图像组之间的合适性来选择图像。

另外，在具有如图14B所示的多个图像组MnDhj(多配置型)的情况下，首先，如上述实施例中一样在各图像组内确定合适性并且暂时选择图像。之后，基于图像组间(例如，相邻图像组间)的亮度属性(例如，图像组内的平均亮度或S/N比相似度)相关的合适性来确定图像组之间的合适性，并且可以基于图像组之间的合适性来选择图像。在多配置型中，图像组可以彼此远离，可以相邻，或者可以交叠。在本发明中还包括图像组的大小(例如，获取的构成图像组的图像的位置的数量) 在图像组间不同的情况。

另外，在获取如图14C中所示的多倍率的多配置型的图像组的情况下，首先获得具有不同倍率的图像组之间的合适性以及具有不同获取位置的图像组之间的合适性的任一情况被包括在本发明中。

另外，虽然在上述实施例中要定位的图像已被实现为眼的SLO图像或层析图像，但是本发明的实施例不限于这些。例如，广角图像D1可以被实现为眼底照相机图像并且高倍率图像Dh被实现为自适应光学眼底照相机图像。另外，图像可以被实现为具有不同形态的图像，诸如作为广角SLO图像的广角图像D1和作为自适应光学系统层析图像的投影图像的高倍率图像Dh，或者作为自适应光学系统层析图像的广角图像D1 和作为自适应光学SLO图像的高倍率图像。这还可以被实现为自适应光学SLO图像摄像装置20和层析图像摄像装置60的复合机复合机被直接连接到图像处理装置10的结构。

另外，虽然在上述实施例中本发明已被实现为图像处理装置，但是本发明的实施例不仅仅限于图像处理装置。例如，本发明可以被实现为通过计算机的CPU执行的软件。无需说存储该软件的存储介质也构成本发明。

当从运动图像选择图像时，优选使用多个图像的边缘和交叠部分的至少一者。还优选配设将组合图像与比多个运动图像的各个视角更宽的视角的广角图像比较的比较单元(例如，图1中的图像组确定单元133)。这样，确定单元可以基于通过比较单元的比较结果来确定表示连续性的值。还优选配设用于在显示单元上显示所选择图像已被组合的组合图像的显示控制单元(例如，图1中的显示控制单元135)。另外，血管优选从组合图像中被自动(或者由用户手动指示或半自动)提取，提取的血管中的血细胞的运动速度等被测量。注意多个图像不是必须被组合；多个图像的各个可以被显示布置在显示单元上，或者可以在显示单元上一次一个地被切换并显示。

本发明还可以通过执行以下处理来实现。也就是说，如下的处理，即经由网络或各种类型的存储介质向系统或装置提供实现上述实施例的功能的软件(程序)并且系统或装置的计算机(或CPU或微处理器单元 (MPU)等)读出并执行所述程序。

还可以通过读出并执行记录在存储介质(例如，非临时性计算机可读存储介质)上的用于执行本发明的一个或多个上述实施例的功能的计算机可执行指令的系统或装置的计算机来实现本发明的各实施例，以及通过系统或装置的计算机通过例如从存储介质读出并执行用于执行一个或多个上述实施例的功能的计算机可执行指令的方法来实现本发明的各实施例。计算机可以包括中央处理单元(CPU)、微处理单元(MPU)或其他电路中的一个或多个，并且可以包括独立的计算机或独立的计算机处理器的网络。计算机可执行指令可以例如从网络或存储介质被提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)^TM)、闪存设备、存储卡等中的一个或多个。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU) 读出并执行程序的方法。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

Claims (20)

1.一种图像处理装置，其合成多个运动图像的各个中的至少一帧并生成合成图像，所述多个运动图像是通过在不同时间拍摄眼的多个不同区域的运动图像而获得的，该图像处理装置包括：

决定单元，其被构造为决定所述多个运动图像的各个中的所述至少一帧，使得在多个区域中的所述多个运动图像中包括实际已被拍摄的区域；

确定单元，其被构造为确定在由所述决定单元所决定的帧中是否包括不完整图像区域；

获得单元，其被构造为如果在所决定的帧中包括所述不完整图像区域，则获得所述不完整图像区域的位置；

确认单元，其被构造为确认在包括所述不完整图像区域或具有与所述不完整图像区域相邻的边的图像中是否存在补充数据；以及

图像生成单元，其被构造为通过使用所述补充数据来替换所述不完整图像区域来生成所述合成图像。

2.根据权利要求1所述的图像处理装置，

其中，所述决定单元决定所述至少一帧，使得所述多个运动图像中的所述至少一帧之间的相似度等于或高于阈值。

3.根据权利要求1所述的图像处理装置，该图像处理装置还包括：

以能够通信的方式连接到眼科装置的图像获取单元，其获取通过所述眼科装置拍摄眼的运动图像而获得的所述多个运动图像。

4.根据权利要求3所述的图像处理装置，所述眼科装置还包括：

扫描光学系统，其被构造为在眼上扫描测量光；

其中，所述图像获取单元控制所述扫描光学系统，使得在眼的多个区域上反复扫描所述测量光，由此获取所述多个运动图像。

5.根据权利要求3所述的图像处理装置，所述眼科装置还包括：

扫描光学系统，其被构造为在眼上扫描测量光；

其中，所述图像获取单元控制固定眼的固视目标的位置，使得在眼的多个区域的各个上反复扫描所述测量光，由此获取所述多个运动图像。

6.根据权利要求3所述的图像处理装置，所述眼科装置还包括：

波阵面校正设备，其被构造为校正测量光以及来自眼的返回光中的至少一种光的波阵面，

其中，所述图像获取单元获取，通过利用波阵面已被校正过的光来拍摄眼的运动图像而获得的所述多个运动图像。

7.一种图像处理装置，该图像处理装置包括：

图像获取单元，其被构造为获取在眼的不同位置拍摄的多个运动图像；

确定单元，其被构造为确定表示多个图像的属性的连续性的值，所述多个图像由通过从获取的所述多个运动图像的各个进行选择而获得的图像组成；

选择单元，其被构造为从获取的所述多个运动图像中选择图像，使得由所述确定单元确定的值满足预定条件；以及

显示控制单元，其被构造为在显示单元上显示由所述选择单元选择的图像生成的图像。

8.根据权利要求7所述的图像处理装置，

其中，所述确定单元确定表示多个图像的相对位置、亮度属性以及图像特征中的至少一者的连续性的值。

9.根据权利要求7所述的图像处理装置，

其中，所述确定单元确定表示所述多个图像的属性在所述多个图像的边缘以及交叠区域的至少一者中的连续性的值。

10.根据权利要求7所述的图像处理装置，

其中，所述确定单元基于由多个图像生成的图像来确定表示所述连续性的值。

11.根据权利要求7所述的图像处理装置，

其中，所述确定单元基于由多个图像生成的图像的面积以及无血管区边界的长度中的至少一者来确定表示所述连续性的值。

12.根据权利要求7所述的图像处理装置，该图像处理装置还包括：

比较单元，其被构造为将由多个图像生成的图像，与具有比获取的多个运动图像的各个更宽视角的广角图像进行比较，

其中，所述确定单元基于所述比较单元的比较结果来确定表示所述连续性的值。

13.一种图像处理装置，该图像处理装置包括：

图像获取单元，其被构造为在不同获取位置获取与眼相关的多个图像；

确定单元，其被构造为确定获取的所述多个图像的图像组的合适性；以及

选择单元，其被构造为基于所述确定单元的确定结果，来从所述多个图像中选择所述图像内的区域或帧、或者在相同的获取位置的图像的至少一者。

14.根据权利要求13所述的图像处理装置，

其中，所述确定单元基于相同检查的图像之间的相对位置、亮度属性的连续性、图像质量的相似度以及获取的所述多个图像的图像特征中的至少一者，来确定所述图像组的所述合适性。

15.根据权利要求13所述的图像处理装置，

其中，所述确定单元基于不同检查的图像组之间的相对位置、亮度属性的连续性以及图像质量的相似度中的至少一者来确定所述合适性。

16.根据权利要求13所述的图像处理装置，该图像处理装置还包括：

显示控制单元，其被构造为在显示单元上显示通过使用由所述选择单元选择的图像的区域或帧而生成的一个图像。

17.根据权利要求13所述的图像处理装置，该图像处理装置还包括：

测量单元，其被构造为测量由所述选择单元选择的图像的区域或帧中的血细胞的运动速度。

18.一种图像处理装置的控制方法，所述图像处理装置合成多个运动图像的各个中的至少一帧并生成合成图像，所述多个运动图像是通过在不同时间拍摄眼的多个不同区域的运动图像而获得的，该控制方法包括如下步骤：

决定步骤，决定所述多个运动图像的各个中的所述至少一帧，使得在多个区域中的所述多个运动图像中包括实际已被拍摄的区域；

确定步骤，确定在所述决定步骤中所决定的帧中是否包括不完整图像区域；

获得步骤，如果在所决定的帧中包括所述不完整图像区域，则获得所述不完整图像区域的位置；

确认步骤，确认在包括所述不完整图像区域或具有与所述不完整图像区域相邻的边的图像中是否存在补充数据；以及

图像生成步骤，通过使用所述补充数据来替换所述不完整图像区域来生成所述合成图像。

19.一种图像处理装置的控制方法，该控制方法包括以下步骤：

获取步骤，获取在眼的不同位置拍摄的多个运动图像；

确定步骤，确定表示通过从获取的所述多个运动图像的各个中进行选择而获得的图像组成的多个图像的属性的连续性的值；

选择步骤，从获取的所述多个运动图像中选择图像，使得在所述确定步骤中确定的值满足预定条件；以及

显示步骤，在显示单元上显示由在所述选择步骤中选择的图像生成的图像。

20.一种图像处理装置的控制方法，该控制方法包括以下步骤：

获取步骤，在不同获取位置获取与眼相关的多个图像；

确定步骤，确定获取的所述多个图像的图像组的合适性；以及

选择步骤，基于所述确定步骤的确定结果来从所述多个图像中选择图像内的区域或帧、或者在相同的获取位置的图像中的至少一者。