CN104000555A - 眼底信息获取装置、方法和程序 - Google Patents

Abstract

本发明涉及眼底信息获取装置、方法和程序。该眼底信息获取装置包括：注视目标供应部，被配置为提供连续移动的注视目标；眼底图像获取部，被配置为在对象紧密地观看连续移动的注视目标的同时获得对象的眼睛的眼底图像；以及眼底信息获取部，被配置为从获取的眼底图像获取眼底信息。

Description

眼底信息获取装置、方法和程序

相关申请的交叉引用

本申请要求于2013年2月22日提交的日本在先专利申请JP2013-033495的权益，将其全部内容通过引用结合于此。

技术领域

本技术涉及眼底信息获取装置、方法和程序，并且更具体地涉及能够获取关于眼底的高质量信息的眼底信息获取装置、方法和程序。

背景技术

在诊断眼底的某些疾病中，存在必要关于眼底的信息的情况。此外，关于眼底的详细信息促进准确和迅速的诊断。

例如，当以单次拍摄眼底图片时，获取的图像的视野通常被限制。所以可能不是足够的宽，以诊断眼底的状况。为了获取具有广视野的眼底图像，已经广泛地采用捕获眼底的多个静止图像和将这些图像拼接在一起的方法。

例如，日本未经审查专利申请公开第2004-254907号提出通过事先存储不同位置并在将注视目标以存储的顺序移动至这些位置的同时连续地摄影注视目标来获取具有广视野的眼底图像。

发明内容

以上描述的方法通过将多图像拼接在一起使得它们之间的重叠区域小而获取具有广视野的图像。因此，在相邻图像之间的边界可以变得显而易见，并且所获取的图像的质量劣化。

图1示出了具有广视野的示例性眼底图像。在图1中的眼底图像包含视神经乳头1、斑区2、以及血管3。为了生成这种图像，将拍摄十次获取的静止图像拼接在一起。边界4存在于相邻的静止图像之间，并且定义与单帧图像对应的区域。包含单帧图像的特定区域的图像5-i（i=1至10）和包含另一个单个图像的特定区域的相邻图像5-j（j=1至10≠i）被拼接在一起使得它们之间的重叠区域小。

图2是将图像拼接在一起的方法的说明性的示意图。如图2所示，图像5-1包含单帧图像的特定区域，并且图像5-2包含另一个单帧的特定区域。进一步，图像5-1和图像5-2被拼接在一起，因此使用在左虚线左侧的图像5-1中的区域。此外，图像5-2和包含又一个单帧图像的特定区域的图像5-3被拼接在一起，因此使用在右虚线左侧的图像5-2中的区域。图像5-3和另一个图像也同样地被拼接在一起。在以这种方式生成的合成图像中，由于在像素值方面的差异，边界4在相邻图像之间会是显而易见的。

图3是示出了注视目标11-1至11-3的示例性设置的说明性图。在图3的例子中，三个注视目标11-1至11-3，每个配置有发光二极管（LED），在不同的时间点亮。例如，对紧密地观看（凝视）注视目标11-1的对象进行拍摄而获取以上图像5-1。同样地，对紧密地观看注视目标11-2的对象进行拍摄而获取图像5-2；对紧密地观看注视目标11-3的对象进行拍摄而获取图像5-3。

如图1所示，当以上述方式获取的所有图像5-1至5-3通过他们的周围被拼接在一起时，因为在每个边界4附近的像素值彼此不同，所以所得图像可能表现出低可视性。

希望提供能够获取关于眼底的高质量信息的眼底信息获取装置、方法和程序。

根据本技术的实施方式的眼底信息获取装置包括：注视目标供应部，其被配置为提供连续移动的注视目标；眼底图像获取部，其被配置为在对象紧密地观看连续移动的注视目标的同时获取对象的眼睛的眼底图像；以及眼底信息获取部，其被配置为从获取的眼底图像获取眼底信息。

眼底图像获取部可以获取眼底的移动图像。

注视目标供应部可以提供闪烁的内部注视目标。

眼底信息获取部可以将在注视目标未点亮的期间已经获取的移动图像中的帧图像选择作为目标图像，并且眼底信息从所选择的目标图像获取。

眼底图像供应部被配置为以对象的眼睛提供已在所述对象紧密地观看连续移动的注视目标的同时所获取的所述对象的眼睛的眼底图像。

眼底图像供应部在注视目标未点亮期间可以提供作为在移动图像中的帧图像的眼底图像，并且在注视目标点亮的期间可以提供作为在注视目标未点亮期间已经获取的移动图像中的帧图像的眼底图像。

眼底信息获取部可以获取具有广视野的眼底图像。

眼底信息获取部可以获取具有超分辨率的眼底图像。

眼底信息获取部可以获取眼底的3D形状。

眼底信息获取部可以获取3D眼底图像。

眼底图像获取部可以获取利用红外光的眼底的移动图像和利用可见光的眼底的静止图像。眼底信息获取部可以从眼底的红外光移动图像获取眼底的3D形状，并且通过在相对于所述3D形状调整所述可见光静止图像的位置的同时将可见光静止图像映射（mapping）到3D形状来获取可见光3D眼底图像。

根据本技术的实施方式，注视目标供应部提供连续移动的注视目标；眼底图像获取部获取对象的眼睛中眼底的图像，同时对象紧密地观看连续移动的注视目标；并且眼底信息获取部从所获取的眼底图像获取眼底信息。

根据本技术的实施方式的方法和程序分别是与根据本技术的实施方式的以上眼底信息获取装置对应的方法和程序。

如上所述，本技术的实施方式成功地提供了能够获取关于眼底的高质量信息的眼底信息获取装置、方法和程序。

附图说明

图1示出了具有广视野的示例性眼底图像。

图2是将图像拼接在一起的方法的说明性示意图。

图3是示出了注视目标的示例性设置的说明性图。

图4是示出了根据本技术的实施方式的眼底信息获取装置的示例性构造的框图。

图5是示出了眼底信息获取部的示例性功能构造的框图。

图6示出了注视目标供应部的示例性构造。

图7A和图7B是用于说明选择帧图像的方法的帧图像的时序图。

图8示出了眼底信息获取装置的示例性外部构造。

图9A和图9B是注视目标的移动的说明性图。

图10是眼底图像的变化的说明性图。

图11是获取广视野眼底图像的处理的流程图。

图12示出了示例性广视野眼底图像。

图13是合成图像的方法的说明性图。

图14A和图14B是合成图像的方法的说明性的示意图。

图15A和图15B是注视目标的移动的说明性图。

图16是获取超分辨率眼底图像的处理的流程图。

图17是示出了眼底信息获取部的示例性功能构造的框图。

图18是产生超分辨率眼底图像的处理的流程图。

图19A和图19B是注视目标的移动的说明性图。

图20是获取眼底的3D形状的处理的流程图。

图21示出了眼底的示例性3D形状的截面。

图22是获取3D眼底图像的处理的流程图。

图23示出了示例性3D眼底图像。

图24是示出了眼底信息获取装置的示例性构造的框图。

图25是示出了提供捕获的图像的处理的流程图。

图26A和图26B是获取利用红外光的移动图像和利用可见光的静止图像的图像捕获元件的说明性视图。

图27是捕获利用红外光的移动图像和利用可见光的静止图像的方法的说明性视图。

图28是示出了获取3D眼底图像的处理的流程图。

具体实施方式

在下文中，将按以下顺序描述本技术的一些实施方式。

[第一实施方式：获取具有广视野的眼底图像]

1.眼底信息获取装置的构造

2.注视目标供应部

3.获取广视野眼底图像的处理

[第二实施方式：获取具有超分辨率的眼底图像]

4.具有超分辨率的眼底图像

5.眼底信息获取部的另一个构造

6.超分辨率处理部的构造

7.产生眼底图像的处理

[第三实施方式：获取3D形状]

8.获取3D形状

[第四实施方式：获取3D眼底图像]

9.3D眼底图像

[第五实施方式：具有眼底图像供应部的构造]

10.眼底信息获取装置的另一个构造

[第六实施方式：利用红外光获取移动图像]

11.利用红外光获取移动图像和利用可见光获取静止图像

12.本技术应用于程序

13.其他构造

[第一实施方式：获取具有广视野的眼底图像]

（眼底信息获取装置的构造）

图4是示出了根据本技术的第一实施方式的眼底信息获取装置21的示例性构造的框图。眼底信息获取装置21包括眼底图像获取部31、控制部32、眼底信息获取部33、注视目标控制部34、注视目标供应部35、以及存储部36。

眼底图像获取部31具有，例如，电荷耦合器件（CCD）或互补金属氧化物半导体（CMOS）图像传感器，并且捕获待检查的对象的眼睛中的眼底图像。控制部32以，例如，中央处理单元（CPU）配置，并且控制眼底图像获取部31、眼底信息获取部33、注视目标控制部34等的操作。眼底信息获取部33以例如数字信号处理器（DSP）配置，并且获取眼底信息，以将其输出至记录部（未示出）等。

在控制部32的控制下，注视目标控制部34控制注视目标供应部35的操作。注视目标供应部35提供用于对象的注视目标。为了获取眼底的预定部分的图像，注视目标指导对象的眼睛41的视点。存储部36存储控制部32和眼底信息获取部33要处理的程序、数据等。

图5是示出了眼底信息获取部33的示例性功能构造的框图。眼底信息获取部33包括选择部81、获取部82、产生部83、以及输出部84。

选择部81从组成从眼底图像获取部31供应的移动图像的帧图像获取处理目标帧图像。基于在处理目标帧图像中的眼底之间的位置关系，获取部82获取眼底的3D形状等。产生部83产生包括广视野眼底图像、超分辨率眼底图像、3D形状、以及3D眼底图像的眼底信息。输出部84输出产生的眼底信息。

（注视目标供应部）

在第一实施方式中的注视目标供应部35提供在预定范围连续移动的注视目标。注视目标可以是在液晶显示器、有机电致发光（EL）显示器、或其他显示器上的亮点。

在第一实施方式中的注视目标可以是内部注视目标或外部注视目标。图6示出了提供内部注视目标的注视目标供应部35A的示例性构造。具体地，在图6中的一些部件组成眼底图像获取部31。

在图6中的示例性总体光学系统包括照明光学系统、摄影光学系统、以及注视目标光学系统。

照明光学系统的部件是可见光源62-1、红外光源62-2、环状光圈63、透镜64、穿孔镜52、以及物镜51。这里，可见光源62-1产生可见光，并且红外光源62-2产生红外光；并且可以适当使用它们中任何一个。摄影光学系统的部件是物镜51、穿孔镜52、聚焦透镜53、照相透镜54、半反射镜55、场透镜56、视场光阑57、成像透镜58、以及图像捕获元件59。注视目标光学系统的部件是注视目标供应元件61、成像透镜60、半反射镜55、照相透镜54、聚焦透镜53、穿孔镜52、以及物镜51。

注视目标供应元件61以例如能够显示连续移动的亮点的液晶显示器、EL显示器、或其他显示器配置。在注视目标供应元件61中任何给定位置布置的亮点的图像通过成像透镜60、半反射镜55、照相透镜54、聚焦透镜53、穿孔镜52、以及物镜51供应给对象的眼睛41，以便其作为注视目标通过对象的眼睛41观察。

当可见光源62-1发射可见光或红外光源62-2发射红外光时，可见光或红外光通过环状光圈63和透镜64入射在穿孔镜52上。然后，入射光通过穿孔镜52反射，并且通过物镜51照亮对象的眼睛41。

通过物镜51、在穿孔镜52中的通孔、聚焦透镜53、照相透镜54、半反射镜55、场透镜56、视场光阑57、以及成像透镜58，由对象的眼睛41反射的光进入图像捕获元件59。

当对象紧密地观看注视目标时，对象的眼睛41跟随在注视目标供应元件61中的注视目标（在下文将描述的图9中的移动的注视目标151）的移动。因此，可能通过将注视目标的位置改变为合适的而将对象的眼睛41移动至希望的位置。这就是图像捕获元件59怎样获取对象的眼睛41中眼底的希望区域的图像。

图7A和图7B是用于说明选择帧图像的方法的帧图像的时序图。当注视目标出现在对象的眼睛41中的同时拍摄眼底的照片时，因为来自注视目标的光通过对象的眼睛41反射，所以可能获得眼底的劣化图像。因此，如图7所示，例如，优选注视目标闪烁。在图7的实例中，为了将对象的眼睛41引导至预定位置，注视目标在组成移动图像的连续帧图像中的帧图像0至5和12至17的时间点亮。此外，注视目标在帧图像6至11的时间未点亮。因此，注视目标在捕获十二帧图像的时段内连续地闪烁。

仅在注视目标未点亮时所捕获的帧图像（在图7的实例中的帧图像6至11）被获取为眼底图像。换言之，不使用在注视目标点亮时所获取的帧图像（在图7的实例中的帧图像0至5和12至17）。

例如，如果眼底信息获取装置21采用国家电视系统委员会（NTSC）方案，则它的帧率是30fps。在注视目标与此帧率同步地闪烁的情况下，注视目标点亮（6×3/30）秒，并且停止点亮（6×2/30）秒。可替换地，注视目标可以点亮（6×2/30）秒，并且停止点亮（6×3/30）秒。

在前一种情况下，注视目标在一秒内点亮三次并且停止点亮两次。因此，在一秒内捕获移动图像的期间，获取十二帧图像。在后一种情况下，注视目标在一秒内点亮两次并且停止点亮三次。因此，在一秒内捕获移动图像的期间，获取十八张图像。

假如闪烁时段与捕获十帧的时段同步，则注视目标点亮5×3/30秒，并且停止点亮5×3/30秒。在后一种情况下，注视目标点亮三次，并且停止点亮三次。因此，在一秒内捕获移动图像的期间，获取十五帧图像。

因为在注视目标未点亮的时段变得如上所述地短时，对象感觉注视目标连续移动。这防止对象误会对象的眼睛41的引导已经完成并且将对象的眼睛41返回至初始位置。因此，通过内插（的）与每个点亮时段之前及之后的未点亮时段对应的眼底的部分，可以捕获在对象的眼睛41中的眼底的连续部分的图像。

当对象连续地观看如图3所示的彼此分开设置的注视目标11-1至11-3时，可以单独地捕获眼底图像。具体地，例如，对象观看点亮的注视目标11-1，然后在对象的眼睛41停止移动之后，捕获眼底的静止图像。在图像已经使用注视目标11-1捕获之后，注视目标11-2紧随在注视目标11-1之后点亮。对象紧密地观看注视目标11-2，然后在对象的眼睛41停止移动之后，捕获眼底的静止图像。以这种方式，当注视目标11-1至11-3的任何一个点亮时，执行捕获眼底静止图像的操作。在这种情况下，然而，当注视目标11-1至11-3中的点亮注视目标改变时，对象被迫重复地中断并且重新开始观看。这可能使对象感到不便。

相反，如在第一实施方式中，当注视目标151连续地提供时，对象只需要利用对象的眼睛41连续地跟随注视目标151的移动，而无需考虑捕获时间。因此，相比于注视目标11-1至11-3设置为彼此分开的情况（即注视目标如图3所示地断续地提供），对于对象的不便性降低。

在下文将描述的图11的步骤S1等中选择处理目标帧图像的处理中，可以从在未点亮时段获取的帧图像选择任何特定帧图像。具体地，可以从未点亮时段捕获的帧图像选择所有帧图像或任意数量的帧图像。

图8示出了具有提供外部注视目标的注视目标供应部35B的眼底信息获取装置的示例性外部构造。在眼底信息获取装置21中，平台102设置在基座101上，并且主体103安置在平台102上。支柱106与主体103的正面相对布置。支柱106设置有前额支撑105和下巴支撑104。当对象将他的或她的前额和下巴分别地放置在前额支撑105和下巴支撑104上时，眼底信息获取装置21准备通过在主体103的透镜镜筒107中包含的照相透镜捕获眼底的图像。类似于如图6所示的提供内部注视目标的注视目标供应部35A，主体103收容照明和摄影光学系统。

支柱106配备有注视目标供应部35B。注视目标供应部35B可以定位在透镜镜筒107的两侧中的任一侧。对象利用他或她的不会成为摄影目标的眼睛紧密地观看在作为在注视目标供应部35B中的注视目标供应元件的显示器（未示出）上的注视目标。当观看注视目标的眼睛响应于注视目标的移动而移动时，因为两个人眼彼此同步地移动，所以另一个眼睛（对象的眼睛41）也沿相同方向移动。这就是对象的眼睛41怎样地移动至并且定位在希望的位置。

在如图8所示地使用外部注视目标的情况下，因为没有注视目标出现在对象的眼睛41中，所以可以不需要如在图7中的选择帧的处理。

类似于在图6中的注视目标供应元件61，在注视目标供应部35B中的注视目标供应元件配置有液晶显示器、有机EL显示器、或某个其他显示器。然而，能够提供连续移动的注视目标的任何特定元件可以用作注视目标供应部35B中的注视目标供应元件或图6中的注视目标供应元件61。代替这样的种显示器，可以提供能够连续移动由诸如发光二极管（LED）的发光单元构成的注视目标的机构。

下文将给出在图4中的眼底信息获取装置21的总体操作的描述。注视目标控制部34控制注视目标供应部35，使得注视目标沿如图9A或图9B所示的预定轨迹连续移动。同时，眼底图像获取部31在对象的眼睛41被注视目标引导的同时拍摄眼底的移动图像。

图9A和图9B是在捕获具有广视野的眼底图像时注视目标的移动的说明性图；图10是眼底图像的变化的说明性图。在图9A的实例中，注视目标151从内侧向外侧沿螺旋轨迹152连续移动。在图9B的实例中，注视目标151沿正弦轨迹153连续移动。

例如，当注视目标151如图9A所示从内侧向外侧沿螺旋轨迹152连续移动时，捕获的眼底图像200如图10所示地变化。在图10中，示出了组成移动图像的连续的帧F1、F2、F3等的眼底图像200。在连续的帧F1、F2、F3等的眼底图像200中，斑区201和视神经乳头202的位置在逐渐向外移动的同时连续地向上或向下移动。此移动图像通过眼底图像获取部31获取，并且提供给眼底信息获取部33。应注意，图10仅示出了在捕获的眼底图像的变化的原理，而斑区201和视神经乳头202的实际位置改变没有那样大。

眼底信息获取部33基于通过眼底图像获取部31捕获的移动图像获取希望的眼底信息，并且将其输出。眼底信息被输出到存储部36并且存储在其中，或输出到监视器（未示出）并且在其上显示。控制部32以一系列操作彼此结合执行的方式控制整个装置。

接下来，将给出处理的描述，通过该处理眼底信息获取部33将广视野眼底图像、超分辨率眼底图像、3D形状、以及3D眼底图像获取为眼底信息。

（获取广视野眼底图像的处理）

图11是获取通过眼底信息获取部33执行的广视野眼底图像的处理的流程图。在步骤S1，选择部81从构成从眼底图像获取部31接收的移动图像的帧图像选择处理目标帧图像。这种选择处理可以根据需要执行。例如，在内部注视目标使用可见光源62-1提供的情况下，处理目标帧图像可以根据以上的图7中的时序图选择。具体地，可以从连续的帧图像选择在注视目标151未点亮时段捕获的图像帧作为处理目标帧图像。

在如图8所示地使用外注视目标的情况下，为了使用所有帧图像，可以跳过选择处理。即使在如图6所示地使用内注视目标的情况下，在使用红外光源62-2的状况下，也可以跳过选择处理，能够接收红外光的元件用作图像捕获元件59，并且红外光透射滤波器（即可见光截止滤波器）设置在图像捕获元件59的正面。

在步骤S2，产生部83产生广视野眼底图像。更详细地，产生部83调整在步骤S1的处理中选择的处理目标帧图像的相对位置。如果眼底的相同部分包含在多图像中，则这些图像的对应像素值被加权并且相加（例如，平均）。因此，产生广视野眼底图像。在步骤S3，输出部84输出通过在步骤S2的处理产生的广视野眼底图像。这种合成的全景图像供应给由医生观察的显示器，或存储在记录部中。

为了产生具有广视野的眼底图像，需要拍摄眼底的较宽区域。因此，引导视点的注视目标需要例如如图9A或图9B所示地在较宽范围内移动。由于满足这些必要条件，如图12所示地产生并且提供边界不明显的高质量图像。图12示出了示例性广视野眼底图像。

根据在图1中示出的技术，为了产生具有广视野的图像，少量图像被拼接在一起。因此，在相邻图像之间的边界会变得显而易见。相反，根据如在图12中的第一实施方式，对于每个像素合成大量图像，从而获取具有边界不明显的具有广视野的高质量眼底图像。

图13是合成图像的方法的说明性图。在第一实施方式中，如图13所示，在大量连续帧图像中的对应像素值被加权并且相加，使得提供边界不明显的高质量图像。在图13中，虚线281包围的圆形区域对应于从单个帧抽取的图像。大量块图像被包含在这个图像中。

图14A和图14B是合成帧图像的方法的说明性示意图；图14A是帧图像的立体图，并且图14B是帧图像的侧视图。在第一实施方式中，如图14A所示，具有预定区域（在图14A和图14B的情况下具有预定半径的圆形区域）的第一图像271-1至第四图像271-4被从连续帧图像抽取。图像271-1至271-4的每一个对应具有在图13中的虚线281包围的区域的图像。在此例中，仅示出四个图像271-1至271-4，但是事实上，很多帧图像的图像被抽取。例如，这些图像从已经在注视目标151沿图9A中的轨迹152或图9B中的轨迹153连续移动的同时获取的连续帧图像抽取。

在第一图像271-1和第二图像271-2中包含的各个区域彼此稍微偏移。然而，因为图像271-i（i=1、2、3等）是连续帧图像，所以图像271-i的相应圆形区域彼此大量重叠，图像271-i的每个通过在摄影区域的中心绘制具有预定半径的圆圈生成。如图14B所示，例如通过块匹配从帧图像检测出对应部分，并且将检测出的部分加权并且相加，从而彼此覆盖。因此，因为所得图像的大部分由被加权和相加后的像素构成，所以在所得图像中的相邻帧图像之间的边界变得不明显。

[第二实施方式：超分辨率眼底图像的获取]

（具有超分辨率的眼底图像）

接下来，将给出关于待获取的信息是具有超分辨率的眼底图像的情况的描述。已知，应用多帧超分辨率技术结果导致具有高锐度图像的供应。在这种情况下，对于在每个眼底图像中一点和在获取此点的眼底图像获取部31中的图像捕获元件的像素之间的位置关系，必要的是，在比像素之间的间隔小的区域中，这种位置关系在眼底图像的一个眼底图像与另一个眼底图像之间不同。期望的是，在眼底图像中的相同点具有如上所述的与像素的不同位置关系，并且关于眼底的广视野信息未必是必要的。因此，例如，使用如图15A和图15B所示的在比获取具有广视野的眼底图像的情况（在图9A和图9B的情况）更短范围中移动的注视目标。

图15A和图15B是当获取具有超分辨率的眼底图像时注视目标的移动的说明性图；图15A示出了从内侧向外侧沿螺旋轨迹301移动的示例性注视目标151，并且图15B示出了沿正弦轨迹302移动的示例性注视目标151。从图15A和图9A显而易见的是，在图15A中的轨迹301的区域小于在图9A中的轨迹152的区域。

图16是获取超分辨率眼底图像的处理的流程图。将参考图16描述获取超分辨率眼底图像的处理的流程。

在步骤S51，选择部81从构成从眼底图像获取部31接收的移动图像的帧图像选择处理目标帧图像。类似于在图11中的步骤S1的处理，这种选择处理可以根据需要执行。在步骤S52，产生部83将在步骤S51的处理中选择的处理目标帧图像进行相对位置的调整的同时进行重叠，从而产生超分辨率眼底图像。在步骤S53，输出部84输出在步骤S52的处理中产生的超分辨率眼底图像。

（眼底信息获取部的另一个构造）

将给出获取超分辨率眼底图像的处理的细节的描述。例如，眼底信息获取部33可以如图17所示地配置。图17是示出了当获取超分辨率眼底图像时的眼底信息获取部33的示例性功能构造的框图。

眼底信息获取部33基于由多帧图像组成的、从眼底图像获取部31供应的眼底的移动图像产生单个高质量眼底图像，并且然后输出该高质量眼底图像。

如图17所示，眼底信息获取部33包括输入图像缓冲器311、超分辨率处理部312、超分辨率（SR）图像缓冲器313、以及计算部314。

输入图像缓冲器311具有包括例如硬盘、闪速存储器、以及随机存取存储器（RAM）的任何特定记录介质。输入图像缓冲器311将从眼底图像获取部31供应的移动图像保留为输入图像。然后，输入图像缓冲器311在预定时间将构成输入图像的帧图像作为低分辨率（LR）图像供应至超分辨率处理部312。

（超分辨率处理部的构造）

超分辨率处理部312执行超分辨率处理，例如，其与通过在日本未经审查专利申请公开第2009-093676号中描述的超分辨率处理器执行的处理相同。更详细地，超分辨率处理部312循环地重复超分辨率处理。在此超分辨率处理中，从输入图像缓冲器311供应的LR图像和在过去产生、从SR图像缓冲器313供应的SR图像两者用于计算反馈值，通过该反馈值产生新SR图像，并且输出这个反馈值。由于超分辨率处理，超分辨率处理部312将计算出的反馈值供应至计算部314。

SR图像缓冲器313具有包括例如硬盘、闪速存储器、以及（RAM）的任何特定记录介质。此外，SR图像缓冲器313保留所产生的SR图像，并且在预定时间将SR图像供应至超分辨率处理部312或计算部314。

计算部314将从超分辨率处理部312供应的反馈值加至在过去产生的、从SR图像缓冲器313供应的SR图像，从而产生新SR图像。计算部314将产生的新SR图像供应至SR图像缓冲器313；SR图像缓冲器313保留它。这个SR图像将用于下一个超分辨率处理（即新SR图像的产生）。此外，计算部314将产生的SR图像输出至例如外部装置。

如图17所示，超分辨率处理部312包括运动矢量检测部321、运动补偿部322、下采样滤波器323、计算部324、上采样滤波器325、以及逆方向运动补偿部326。

从SR图像缓冲器313读出的SR图像供应给运动矢量检测部321和运动补偿部322两者。从输入图像缓冲器311读出的LR图像供应给运动矢量检测部321和计算部324两者。

基于接收的SR图像和LR图像两者，参考SR图像，运动矢量检测部321检测运动矢量。然后，运动矢量检测部321将检测到的运动矢量供应至运动补偿部322和逆方向运动补偿部326两者。

运动补偿部322基于从运动矢量检测部321供应的运动矢量将SR图像进行运动补偿。由运动补偿所获取的图像供应给下采样滤波器323。在由运动补偿所获取的图像中出现的目标物体的位置接近于在LR图像中出现的目标物体的位置。

下采样滤波器323下采样从运动补偿部322供应的图像，从而产生具有与LR图像相同分辨率的图像。然后，下采样滤波器323将产生的图像供应至计算部324。

如上所述，运动矢量基于SR图像和LR图像两者确定，并且已经使用此运动矢量进行了运动补偿的图像具有与LR图像相同的分辨率。此处理相当于基于在SR图像缓冲器313中存储的SR图像模拟所捕获的眼底图像（LR图像）的处理。

计算部324产生表示在LR图像和以上述方式模拟的图像之间的差异的差分图像，并且将产生的差分图像供应至上采样滤波器325。

上采样滤波器325上采样从计算部324供应的差分图像，从而产生具有与SR图像相同分辨率的图像。然后，上采样滤波器325将产生的图像输出至逆方向运动补偿部326。

逆方向运动补偿部326基于从运动矢量检测部321供应的运动矢量沿将从上采样滤波器325供应的图像进行逆方向上的运动补偿。表示由于逆方向的运动补偿获取的图像的反馈值被供应给计算部314。在由逆方向的运动补偿获取的图像中出现的目标物体的位置接近于在SR图像缓冲器313中存储的SR图像中出现的目标物体的位置。

眼底信息获取部33通过使用超分辨率处理部312将在输入图像缓冲器311中存储的多帧图像（LR图像）进行以上的超分辨率处理。因此，产生单个高质量SR图像。

（产生眼底图像的处理）

图18是产生超分辨率眼底图像的处理的流程图。参考在图18中的流程图，将给出通过眼底信息获取部33执行的产生超分辨率眼底图像的示例性处理的描述。在以下实例中，不执行选择帧图像的处理。

在步骤S101，在输入图像缓冲器311中，眼底信息获取部33将构成通过摄影获取的移动图像的帧图像存储为摄影图像。在步骤S102，眼底信息获取部33采用预定的方法将第一SR图像产生为初始图像，并且将它存储在SR图像缓冲器313中。眼底信息获取部33可以例如通过以第一帧图像具有与SR图像相同分辨率的方式上采样摄影图像的第一帧图像（LR图像）来产生初始图像。

在步骤S103，输入图像缓冲器311从在其中保留的未处理的摄影图像（LR图像）选择一个，并且将它供应至超分辨率处理部312。在步骤S104，运动矢量检测部321基于SR图像和LR图像两者检测运动矢量。在步骤S105，运动补偿部322通过使用检测到的运动矢量将SR图像进行运动补偿。

在步骤S106，下采样滤波器323下采样已经以此SR图像具有与LR图像相同分辨率的方式进行了运动补偿的SR图像。在步骤S107，计算部324确定在输入的LR图像和下采样的SR图像之间的差分图像。

在步骤S108，上采样滤波器325上采样差分图像。在步骤S109，逆方向运动补偿部326通过使用在在步骤S104的处理中检测到的运动矢量将上采样的差分图像进行逆方向的运动补偿。

在步骤S110，计算部314将反馈值加至在过去产生的、在SR图像缓冲器313中保留的SR图像，该反馈值表示已经在步骤S109的处理中计算的上采样的差分图像。在步骤S111，眼底信息获取部33输出最新产生的SR图像，并且将它存储在SR图像缓冲器313中。

在步骤S112，输入图像缓冲器311确定是否所有摄影图像（LR图像）已经被处理。当确定存在至少一个未处理的摄影图像（LR图像）（在步骤S112“否”）时，眼底信息获取部33将当前处理返回至在步骤S103的处理。然后，眼底信息获取部33将新摄影图像选择为处理目标，并且再次将这个处理目标进行随后的处理。

当确定构成从眼底图像获取部31供应的移动图像的所有摄影图像已经被处理并且已经获取了单个高质量眼底图像（在步骤S112“是”）时，输入图像缓冲器311终止产生超分辨率眼底图像的处理。

通过以上处理，高质量眼底图像通过眼底信息获取部33获取。

以上超分辨率处理可以针对每个希望的单位执行。例如，摄影图像可一次性整体处理。可替换地，摄影图像可以分为具有预先设置区域的多个部分图像或大块，并且可以分别处理这些大块。

[第三实施方式：3D形状的获取]

（3D形状的获取）

接下来，将给出关于待获取的信息是眼底的3D形状的信息的情况的描述。为了获取此3D形状，需要在照相机与眼底构成的稍微不同的角度摄影眼底。因此，如图19A和图19B所示，例如，注视目标被迫在用于获取广视野和超分辨率眼底图像的范围之间的中间范围中移动。图19A和图19B是注视目标的移动的说明性图。相比于图9A、图9B、图15A和图15B，在图19A中的螺旋轨迹651的区域小于在被绘制为获取广视野眼底图像的图9A中的螺旋轨迹152的区域，并且大于在被绘制为获取超分辨率眼底图像的图15A中的螺旋轨迹301的区域。同样地，在图19B中的螺旋轨迹652的区域小于在图9B中的螺旋轨迹153的区域，并且大于对在图15B中的螺旋轨迹302的区域。

图20是获取眼底的3D形状的处理的流程图。参考图20，将给出通过眼底信息获取部33执行的获取眼底的3D形状的处理的描述。

在步骤S201，选择部81从构成输入的移动图像的图像帧选择处理目标帧图像。类似于在图11中步骤S1的处理，可以根据需要进行这种选择。在步骤S202，获取部82基于在步骤S201的处理中选择的处理目标帧图像中相应眼底之间的位置关系获取眼底的3D形状。

为了获取3D形状，例如，可以采用运动估计结构（SFM）技术。在SFM技术中，在照相机移动的同时特定目标的移动图像通过照相机捕获，并且从捕获到的移动图像估计该特定目标的形状。Tomasi-Kanade因式分解是实现SFM技术的典型方法。在这种方法中，相应点的p对从捕获的时间系列图像的F数获取，并且2F×P矩阵从相应点群生成。此矩阵具有三或更小的秩（rank），并且因此分解为表明特征点3D位置和照相机位置的相应矩阵。

在第三实施方式中，眼底的移动图像不通过移动照相机捕获。反而，它在对象的眼睛41（基本上被认为是刚体）面向的方向改变的同时被捕获。因此，可以获取相当于在对象的眼睛41面向固定方向并且照相机移动的状况下获取的眼底图像。因此，SFM适用于第三实施方式。迄今为止，已经提出采用SFM技术的各种具体方法；下面列出描述这些方法的示例性文献。

C.Tomasi and T.Kanade,Shape and Motion from Image Streams underOrthography:a Factorization Method,International Journal of ComputerVision,9:2,137-154,1992

C.J.Poelman and T.Kanade,A Paraperspective Factorization Method forShape and Motion Recovery,IEEE Transactions on Pattern Analysis andMachine Intelligence,Vol.19,No.3,1997

在步骤S203，输出部84输出已经在步骤S202的处理中获取的眼底的3D形状。

通过以上处理，获取例如如图21所示的眼底的3D形状。图21示出了示例性眼底的3D形状的截面。在图21的实例中，示出了在视神经乳头202邻近区域中的眼底的截面。视神经乳头202的形状可有效用于例如青光眼的诊断。

[第四实施方式：3D眼底图像的获取]

（3D眼底图像）

接下来，将给出关于待获取的信息是3D眼底图像的信息的情况的描述。在这种情况下的注视目标的移动与当获取眼底的3D形状时（图19A和图19B）注视目标的移动相同。

图22是获取3D眼底图像的处理的流程图。下文将参考图22给出通过眼底信息获取部33执行的获取3D眼底图像的处理的描述。

在步骤S301，选择部81从构成输入的移动图像的帧图像选择处理目标帧图像。类似于在图11中步骤S1的选择处理，可以根据需要进行这种选择。在步骤S302，获取部82基于在步骤S301的处理中选择的处理目标帧图像中的相应眼底之间的位置关系获取眼底的3D形状。

在步骤S303，根据关于已经确定的眼底的对应位置的信息，产生部83将眼底图像映射到在步骤S302的处理中获取的3D形状上，从而产生3D眼底图像。在这种情况下，映像的眼底图像可以是所选择的帧图像中的任意一个。可替换地，如果眼底在相同位置出现在多帧图像中，则可以使用通过将这些帧图像加权并且相加产生的眼底图像。在步骤S304，输出部84输出在步骤S303的处理中产生的3D眼底图像。

图23示出了示例性3D眼底图像。在图23中的图像是在步骤S304的处理中输出的3D眼底图像的实例。在图23中，眼底图像显示在曲面671上。

如上所述，不考虑待获取的信息，眼底信息获取部33在第一步骤选择帧图像。然而，在使用外注视目标的情况下，可以选择所有帧图像。即使在使用内部注视目标的情况下，如上所述，为了减少注视目标的影响，只要通过眼底图像获取部31获取的移动图像是红外图像并且已经通过红外光透射滤波器捕获，也可以选择所有帧图像。

在使用内部注视目标并且待获取的移动图像是可见光图像的情况下，移动图像不能通过红外光透射滤波器（可见光截止滤波器）捕获。这是因为待摄影的可见光不能到达图像捕获元件。在这种情况下，如参考图7所述，必要的是闪烁内注视目标并且仅选择在注视目标未点亮的同时所捕获的图像帧。这使能够在没有受注视目标的光的影响的情况下获取移动图像。帧图像是否在注视目标未点亮时段所捕获的确定可以从关于注视目标的控制信息进行。可替换地，该确定可以通过参考所捕获到的图像的图像处理进行。换言之，不包含注视目标的图像帧可以被检测出并且被选择。

[第五实施方式：具有眼底图像供应部的构造]

（眼底信息获取装置的另一个构造）

图24是示出了眼底信息获取装置701的示例性构造的框图。在图24中，示出了具有眼底图像供应部711的眼底图像获取装置701。作为额外部件，这种构造设置有眼底图像供应部711，其提供所拍摄的眼底的图像。在其它方面，这种构造与图4中的构造类似。

在图24中的眼底信息获取装置701通过使用眼底图像获取部31获取移动图像，并且在眼底图像供应部711中的图像监视器721上显示此移动图像。这使摄影者能够执行摄影操作，同时在图像监视器721上监测捕获到的图像。

在可见光移动图像使用内部注视目标捕获的情况下，通过眼底图像获取部31获取的图像可以全部地和直接地显示在眼底图像供应部711中的图像监视器721上。如果内部注视目标闪烁，则闪烁的内部注视目标的图像显示在图像监视器721上。这可能引起摄影者感到不便。因此，为了减少这种不便，可以选择目标帧图像。然后，如在图25中所示，仅所选择的图像可以提供至图像监视器721，并且图像监视器721可以用这些图像更新它的显示图像。

图25是示出了提供捕获的图像的处理的流程图。在步骤S351，选择部81确定是否已经接收了所有帧图像。当所有帧图像已经被收到（在步骤S351为“是”）时，眼底信息获取装置701终止这种处理。当所有帧图像还没有被收到（在步骤S351为“否”）时，在步骤S352，选择部81等待新帧图像的输入。

当接收到新帧图像是时，在步骤S353，选择部81确定新帧图像是否是选择目标图像。这里，选择目标图像是例如如参考图7所述的在注视目标未点亮时捕获到的帧图像。当新帧图像不是选择目标图像（在步骤S353为“否”）时，眼底信息获取装置701将当前处理返回至在步骤S351的处理，并且重复随后的处理。

当新帧图像是选择目标图像（在步骤S353为“是”）时，在步骤S354，选择部81更新提供的图像。更详细地，已通过图像监视器721提供的图像被更新为新帧图像。换言之，先前已经接收的选择目标帧图像（在注视目标未点亮时段所捕获的最后的帧图像）不被更新，或者被连续地提供，直至接收到新的选择目标帧图像。因为在紧接着注视目标点亮之前已经捕获的帧图像被连续地提供，所以摄影师不可能在图像监视器721上观察到不需要的图像。这消除了引起摄影者感到不便的风险。此后，眼底信息获取装置701将当前处理返回至在步骤S351的处理，并且重复随后的处理。

[第六实施方式：利用红外光的移动图像的获取]

（利用红外光的移动图像和利用可见光的静止图像的获取）

为了获取3D可见光眼底图像，眼底图像获取部31可以首先利用红外光获取移动图像，然后利用可见光获取静止图像。通过相对于红外光移动图像调整可见光静止图像的位置的同时将可见光静止图像映射到从红外光移动图像获取的眼底的3D形状上，获取3D可见光眼底图像。

当首先执行利用可见光捕获静止图像时，为了阻止对象的眼睛41引起瞳孔收缩，必要的是，在捕获红外光之前，将散瞳剂施加到对象的眼睛41。相反，当移动图像首先捕获红外光然后利用可见光捕获静止图像时，仅当捕获静止图像时使可见光照射对象的眼睛41。类似于使用非散瞳式眼底照相机的情况，这消除了施加散瞳剂的必要性，从而降低对于对象的不便。

红外光移动图像和可见光静止图像两者可以通过如图6中配置的注视目标供应部35A捕获。在这种情况下，如图26A和图26B所示的构造可以用于捕获图像。图26A和图26B是利用红外光捕获移动图像和利用可见光捕获静止图像的图像捕获元件的说明性图。在图26A中的图像捕获元件751接收红外光和可见光两者。如图26B所示，图像捕获元件751具有以矩阵样式设置的光接收部分；在这些光接收部分中，通过字母R、G和B表示的部分接收可见光，并且通过字母IR表示的其他部分接收红外光。对于在图像捕获元件751中的像素，使用透过诸如红色、绿色和蓝色的可见光束的彩色滤光片和透过红外线光束的IR滤光片。

红外光移动图像通过设置有IR滤光片的像素获取，并且可见光静止图像通过设置有R、G和B滤光器的像素获取。在第六实施方式中，没有必要改变摄影光路。

为了获取红外光移动图像和可见光静止图像两者，在图27中示出的构造也可以用作第六实施方式的变形。图27是利用红外光捕获移动图像和利用可见光捕获静止图像的方法的说明性图。在此变形中，准备接收可见光的可见光图像捕获元件761和接收红外光的红外光图像捕获元件762两者。此外，可旋转的反射镜763布置在摄影光路中。

在可见光图像捕获元件761接收来自对象的眼睛41的可见光之前，可旋转的反射镜763旋转，从而放置在图27中的虚线表示的位置。因此，可见光仅进入可见光图像捕获元件761。在红外光图像捕获元件762接收来自对象的眼睛41的红外光之前，可旋转的反射镜763旋转，从而放置在图27中的实线表示的位置。因此，在通过可旋转的反射镜763反射之后，红外光仅进入红外光图像捕获元件762。

将参考图28描述通过在调整可见光静止图像相对于红外光移动图像的位置的同时将可见光静止图像映射到从红外光移动图像获取的眼底的3D形状上来获取3D可见光眼底图像的处理。图28是示出了获取3D眼底图像的处理的流程图。

在步骤S401，获取部82基于在构成从眼底图像获取部31接收的红外光移动图像的帧图像中的相应眼底之间的位置关系获取眼底的3D形状。在步骤S402，产生部83在调整可见光静止图像相对于3D形状的位置的同时将可见光静止图像映射到在步骤S401的处理中获取的3D形状上，从而产生3D眼底图像。在步骤S403，输出部84输出在步骤S402的处理中产生的3D眼底图像。

如上所述，本技术的实施方式简单、容易地提供具有广视野的高质量眼底图像、具有超分辨率的眼底图像、眼底的3D形状、以及3D眼底图像，而不会引起摄影者感到不便。此外，本技术的实施方式成功地减少了对于对象的在获取3D可见光眼底图像时发生的不便。

[本技术应用至程序]

如上所述，一系列处理可以通过或硬件或软件执行。

当一系列处理通过软件执行时，构成此软件的程序经由网络或记录介质被安装在内置于专用硬件中的计算机或者在安装了相应程序后能够执行各种功能通用个人计算机中。

存储以上程序的记录介质可以独立于装置的主体，并且可以是待分发给用户以提供程序的可移除介质。可移除介质的实施例包括，但不限于，诸如软盘的磁盘、诸如光盘-只读存储器（CD-ROM）或数字视频盘（DVD）的光盘、以及半导体存储器。可替换地，记录介质可以是配置有存储程序的快闪ROM或硬盘的存储部36，并且在内置到装置的主体的情况下提供给用户。

通过计算机实行的程序可以以本文中描述的顺序执行处理，或平等地执行一些处理。此外，程序可以在合适的时间执行处理，例如，当程序被调用时。

本技术的实施方式不限于以上实施方式，并且在不偏离本技术的精神的前提下，各种修改和变化是可能的。

在本技术的实施方式中的示例性构造可以是云计算，在云计算中，单个功能经由网络通过多个装置共享或通过他们的合作实现。

在上述每个流程图中的步骤的处理可以通过单个装置执行或通过多个装置分开执行。

如果步骤中的一个包含多个处理，则这些处理可以通过单个装置执行或通过多个装置分开执行。

[其他构造]

本发明也可以具有以下构造。

（1）一种眼底信息获取装置包括：注视目标供应部，其被配置为提供连续移动的注视目标；眼底图像获取部，其被配置为在对象紧密地观看所述连续移动的注视目标的同时获取对象的眼底的图像，同时对象紧密地观看连续移动的注视目标；以及眼底信息获取部，其被配置为从获取的眼底图像获取眼底信息。

（2）根据（1）的眼底信息获取装置，其中，眼底图像获取部获取眼底的移动图像。

（3）根据（1）或（2）的眼底信息获取装置，其中，注视目标供应部提供闪烁的内部注视目标。

（4）根据（3）的眼底信息获取装置，其中，眼底信息获取部将在注视目标未点亮时段所获取的移动图像中的帧图像选择为目标图像，并且眼底信息从所选择的目标图像获取。

（5）根据（1）至（4）中的一项的眼底信息获取装置，进一步包括眼底图像供应部，其被配置为已在对象紧密地观看连续移动的注视目标的同时获取的对象的眼睛的眼底的图像。

（6）根据（5）的眼底信息获取装置，其中，眼底图像供应部在注视目标未点亮期间提供作为移动图像中的帧图像的眼底图像，并且在注视目标点亮期间提供作为已在注视目标未点亮时段获取的移动图像中的帧图像的眼底图像。

（7）根据（1）至（6）中的一项的眼底信息获取装置，其中，眼底信息获取部获取具有广视野的眼底图像。

（8）根据（1）至（6）中的一项的眼底信息获取装置，其中，眼底信息获取部获取具有超分辨率的眼底图像。

（9）根据（1）至（6）中的一项的眼底信息获取装置，其中，眼底信息获取部获取眼底的3D形状。

（10）根据（1）至（6）中的一项的眼底信息获取装置，其中，眼底信息获取部获取3D眼底图像。

（11）根据（1）至（6）中的一项的眼底信息获取装置，其中，眼底图像获取部利用红外光获取眼底的移动图像和利用可见光获取眼底的静止图像，并且眼底信息获取部从眼底的红外光移动图像获取眼底的3D形状，并且通过在相对于所述3D形状调整所述可见光静止图像的位置的同时将可见光静止图像映射到3D形状上，获取可见光3D眼底图像，

（12）一种获取眼底信息的方法，包括：提供连续移动的注视目标；在对象紧密地观看连续移动的注视目标的同时获取所述对象的眼睛的眼底的图像；并且从所获取的眼底图像获取眼底信息。

（13）一种允许计算机执行处理的程序，所述处理包括：提供连续移动的注视目标；在对象紧密地观看连续移动的注视目标的同时获取对象的眼睛的眼底的图像；并且从获取的眼底图像获取眼底信息。

本领域中的普通技术人员应当理解，在所附权利要求或其等同物的范围内，根据设计需求和其它因素可以出现各种修改、组合、子组合以及变更。

Claims (13)

1.一种眼底信息获取装置，包括：

注视目标供应部，被配置为提供连续移动的注视目标；

眼底图像获取部，被配置为在对象紧密地观看所述连续移动的注视目标的同时获取所述对象的眼睛中的眼底的图像；以及

眼底信息获取部，被配置为从所获取的眼底图像获取眼底信息。

2.根据权利要求1所述的眼底信息获取装置，其中，

所述眼底图像获取部获取所述眼底的移动图像。

3.根据权利要求2所述的眼底信息获取装置，其中，

所述注视目标供应部提供闪烁的内部注视目标。

4.根据权利要求3所述的眼底信息获取装置，其中，

所述眼底信息获取部将已在所述注视目标未点亮时段获取的所述移动图像中的帧图像选择作为目标图像，并且所述眼底信息从所选择的目标图像获取。

5.根据权利要求4所述的眼底信息获取装置，进一步包括：

眼底图像供应部，配置为提供已在所述对象紧密地观看所述连续移动的注视目标的同时获取的所述对象的眼睛中的眼底图像。

6.根据权利要求5所述的眼底信息获取装置，其中，

所述眼底图像供应部在所述注视目标未点亮时段提供眼底图像，该眼底图像是在所述移动图像中的帧图像，并且在所述注视目标点亮时段提供眼底图像，该眼底图像是已在所述注视目标未点亮时段获取的移动图像中的帧图像。

7.根据权利要求6所述的眼底信息获取装置，其中，

所述眼底信息获取部获取具有广视野的眼底图像。

8.根据权利要求6所述的眼底信息获取装置，其中，

所述眼底信息获取部获取具有超分辨率的眼底图像。

9.根据权利要求6所述的眼底信息获取装置，其中，

所述眼底信息获取部获取所述眼底的3D形状。

10.根据权利要求6所述的眼底信息获取装置，其中，

所述眼底信息获取部获取3D眼底图像。

11.根据权利要求10所述的眼底信息获取装置，其中，

所述眼底图像获取部利用红外光获取所述眼底的移动图像并利用可见光获取所述眼底的静止图像，并且

所述眼底信息获取部从所述眼底的红外光移动图像获取所述眼底的3D形状，并且通过在相对于所述3D形状调整可见光静止图像的位置的同时将所述可见光静止图像映射到所述3D形状上来获取可见光3D眼底图像。

12.一种获取眼底信息的方法，包括：

提供连续移动的注视目标；

在对象紧密地观看所述连续移动的注视目标的同时获取所述对象的眼睛中的眼底的图像；并且

从所获取的眼底图像获取眼底信息。

13.一种让计算机执行处理的程序，所述处理包括：

提供连续移动的注视目标；

在对象紧密地观看所述连续移动的注视目标的同时获取所述对象的眼睛中的眼底的图像；并且

从所获取的眼底图像获取眼底信息。