CN105453133B - 图像处理装置和方法、眼底图像处理装置、图像拍摄方法、及眼底图像拍摄装置和方法 - Google Patents

Abstract

提供了一种能够获得更高质量的图像的眼底图像拍摄装置和方法。眼底图像拍摄装置在针对眼底区的不同于视盘区的外围区的适当曝光条件下拍摄广角眼底图像，并且从广角眼底图像中检测视盘区。此外，基于视盘区的检测结果，眼底图像拍摄装置在针对视盘区的区域的适当曝光条件下拍摄窄角眼底图像，窄角眼底图像将视盘区的区域假设为对象。此外，眼底图像拍摄装置通过合成广角眼底图像和窄角眼底图像生成高动态范围的合成眼底图像。

Description

图像处理装置和方法、眼底图像处理装置、图像拍摄方法、及 眼底图像拍摄装置和方法

技术领域

本技术涉及图像处理装置和方法、眼底图像处理装置、图像拍摄方法、及眼底图像拍摄装置和方法。特别地，本技术涉及能有获得更高质量的图像的图像处理装置和方法、眼底图像处理装置、图像拍摄方法、及眼底图像拍摄装置和方法。

<相关申请的交叉引用>

本申请要求于2013年8月7日提交的日本在先专利申请JP2013-163781的优先权，将其全部内容通过引用结合于此。

背景技术

例如，在体检或眼科检查时拍摄患者的眼底图像的眼底图像相机中，需要高动态范围的拍摄功能来稳定地获得高质量的眼底图像。

在假设人的眼底图像为对象的眼底图像中，光源的反射很强并且很可能在视网膜神经以捆绑方式出现的视盘区引起高光溢出，反射强度很弱，因此，在对应于视网膜神经的黄斑区很容易引起阻断式阴影(blocked-up shadow)。

为了执行拍摄以免在视盘区引起高光溢出，必须优化拍摄时的曝光设置，并且对摄影师的技术有要求。此外，即使执行拍摄以使得不在视盘区引起高光溢出，黄斑区和外围区也可能满是黑色并且变得难以诊断。鉴于这种情况，期望眼底图像相机的高动态范围的拍摄功能。

因此，作为获得高动态范围的眼底图像的技术，提出了一种基于第一次拍摄结果在每个区域中定义适当的光量的方法(例如，参见JP2011-31027A)。

在该方法中，首先，通过第一次拍摄获得视盘区和外围的光量，并且在第二次拍摄中，相对于通过第一次拍摄定义的视盘区的区域以适当光量执行拍摄，并且从获得的图像提取视盘区的区域。

此外，在第三次拍摄中，相对于通过第一次拍摄定义的视盘区附近的外围区以适当光量执行拍摄，并且从获得的图像提取外围区。此外，将如上获得的外围区和视盘区的区域合成，以获得高动态范围的一个眼底图像。

引用列表

专利文献

PTL 1：JP 2011-31027A

发明内容

技术问题

然而，在上述相关技术中，难以获得高质量的眼底图像。

例如，在通过免散瞳相机拍摄眼底图像的情况下，认为在三次拍摄期间发生了瞳孔缩小。特别是在上述技术中，由于在第三次拍摄中拍摄外围区，因此当引起瞳孔缩小时，外围区的图像的图像质量因受到影响而劣化。

鉴于这种情况而作出本技术，并且其可以获得较高质量的图像。

问题的解决方案

根据本技术第一方面的图像处理装置，包括：检测单元，被配置为检测广角图像的窄角区，其中，广角图像使用第一曝光条件生成，第一曝光条件基于广角图像的不同于窄角区的第一区；控制单元，被配置为确定用于窄角区的第二曝光条件；以及图像合成单元，被配置为通过合成窄角图像和广角图像生成合成图像，其中，窄角图像具有比广角图像窄的视角并且使用第二曝光条件生成。

图像合成单元可通过合成连续拍摄的多个窄角图像和广角图像生成合成图像。

图像合成单元可以对多个窄角图像执行运动补偿，并且合成广角图像和通过运动补偿获得的多个窄角图像。

控制单可以确定像素区，以使用像素区并基于对窄角区的检测来拍摄窄角图像。

控制单元可以基于针对窄角区的第二曝光条件控制输出照射到窄角区的照射光的光源或者拍摄窄角图像的拍摄单元。

控制单元可以控制光源，使得在拍摄广角图像和拍摄窄角图像时，通过从光源输出的相等的光照射窄角区。

第二曝光条件设置为使得窄角图像中的窄角区的像素不饱和。

根据本技术的第一方面，从广角图像检测窄角区，其中，广角图像使用第一曝光条件生成，第一曝光条件基于不同于窄角区的广角图像的第一区，确定用于窄角区的第二曝光条件，并且通过合成窄角图像和广角图像生成合成图像，其中，窄角图像具有比广角图像窄的视角并且针对窄角区使用第二曝光条件生成。

根据本技术第二方面的眼底图像处理装置包括：检测单元，被配置为从广角图像检测眼底图像的窄角区，其中，广角图像使用第一曝光条件生成，第一曝光条件基于不同于窄角区的眼底的第一区；控制单元，被配置为确定用于眼底的窄角区的第二曝光条件；以及图像合成单元，被配置为通过合成窄角图像和广角图像生成合成图像，其中，窄角图像具有比广角图像窄的视角并且针对眼底的窄角区使用第二曝光条件生成。

眼底的窄角区可以是视盘的区域。

根据本技术的第二方面，从广角图像检测眼底的窄角区，其中，广角图像使用第一曝光条件生成，第一曝光条件基于不同于窄角区的眼底的第一区，确定用于眼底的窄角区的第二曝光条件，并且通过合成窄角图像和广角图像生成合成图像，其中，窄角图像具有比广角图像窄的视角并且针对眼底的窄角区使用第二曝光条件生成。

根据本技术第三方面的图像处理方法包括：检测广角图像的窄角区，其中，广角图像使用第一曝光条件生成，第一曝光条件基于广角图像的不同于窄角区的第一区；确定用于窄角区的第二曝光条件；以及通过合成窄角图像和广角图像生成合成图像，其中，窄角图像具有比广角图像窄的视角并且针对窄角区使用第二曝光条件生成。

根据本技术的第三方面，从广角图像检测窄角区，其中，广角图像使用第一曝光条件生成，第一曝光条件基于不同于窄角区的广角图像的第一区，确定用于窄角区的第二曝光条件，并且通过合成窄角图像和广角图像生成合成图像，其中，窄角图像具有比广角图像窄的视角并且针对窄角区使用第二曝光条件生成。

根据本技术第四方面的图像拍摄方法包括：使用基于广角图像的第一区的第一曝光条件拍摄广角图像；基于广角图像确定用于不同于第一区的窄角区的第二曝光条件；以及基于第二曝光条件和窄角区，拍摄具有比广角图像窄的视角的窄角图像。

在该图像拍摄方法中，可以基于广角图像检测窄角区，并且基于窄角区的检测结果确定针对窄角区的第二曝光条件。

拍摄窄角图像包括连续拍摄多个窄角图像。

可以使用拍摄单元的像素区拍摄窄角图像，基于窄角区的检测结果确定像素区。

可以控制光源，使得在拍摄广角图像和拍摄窄角图像时，通过从光源输出的相等的光照射窄角区。

第二曝光条件可以设置为使得窄角图像中的窄角区的像素不饱和。

根据本技术的第四方面，使用基于广角图像的第一区的第一曝光条件执行拍摄以拍摄广角图像，基于广角图像确定用于不同于第一区的窄角区的第二曝光条件，并且基于第二曝光条件和窄角区执行拍摄以拍摄具有比广角图像窄的视角的窄角图像。

根据本技术第五方面的眼底图像拍摄方法包括：使用基于广角图像的第一区的第一曝光条件，拍摄广角图像；基于广角图像，确定用于不同于第一区的眼底的窄角区的第二曝光条件；以及基于第二曝光条件和眼底的窄角区，拍摄具有比广角图像窄的视角的窄角图像。

眼底的窄角区可以是视盘的区域。

根据本技术的第五方面，使用基于广角图像的第一区的第一曝光条件执行拍摄以拍摄广角图像，基于广角图像确定用于不同于第一区的眼底的窄角区的第二曝光条件，并且基于第二曝光条件和眼底的窄角区执行拍摄以拍摄具有比广角图像窄的视角的窄角图像。

根据本技术第六方面的眼底图像拍摄装置包括：拍摄单元，被配置为使用基于眼底的第一区的第一曝光条件拍摄广角图像，并且使用基于眼底的窄角区的第二曝光条件拍摄具有比广角图像窄的视角的窄角图像；检测单元，被配置为基于广角图像，从广角图像检测眼底图像的窄角区；控制单元，被配置为基于眼底的窄角区的检测，确定针对眼底的窄角区的第二曝光条件；以及图像合成单元，被配置为通过合成窄角图像和广角图像生成合成图像。

根据本技术的第六方面，使用基于眼底的第一区的第一曝光条件拍摄广角图像，使用基于眼底的窄角区的第二曝光条件拍摄具有比广角图像窄的视角的窄角图像，基于广角图像从广角图像检测眼底的窄角区，基于对眼底的窄角区的检测确定针对眼底的窄角区的第二曝光条件，并且通过合成窄角图像和广角图像生成合成图像。

本发明的有益效果

根据本技术的第一至第六方面，可以获得更高质量的图像。

附图说明

[图1]图1是描述本技术的概述的视图。

[图2]图2是示出眼底图像拍摄装置的配置实例的示意图。

[图3]图3是描述图像生成过程的流程图。

[图4]图4是示出计算机的配置实例的示意图。

具体实施方式

以下，将参照附图描述应用本技术的实施方式。

<第一实施方式>

<本技术的概述>

首先，描述本技术的概述。

根据本技术的实施方式，通过合成在高照射强度下拍摄的整个眼底图像的图像和在低照射强度下拍摄的眼底的视盘区的图像，可以获得宽动态范围的高质量的眼底图像。

特别地，在应用本技术的眼底图像拍摄装置中，例如，对于图1中示出的第一次拍摄处理，在高照射强度下拍摄作为对象的眼底区，结果获得了广角眼底图像WP11。

广角眼底图像WP11是以宽视角拍摄的眼底图像。在该实例中，广角眼底图像WP11包括视盘区V11和黄斑区V12。一般地，已知高光溢出很可能发生在视盘区V11中，并且阻断式阴影有可能发生在黄斑区V12中。

在第一次拍摄处理中，在曝光条件下执行拍摄，在该条件下，在除了视盘区V11的其他区域(诸如黄斑区V12)中，即，在视盘区V11的外围区中(以下也可以称为“外围区”)，不会引起高光溢出和阻断式阴影。即，在针对外围区的自适应曝光条件下执行拍摄。这样，可以获得其中外围区的信噪比(SN比)较高的广角眼底图像WP11，并且可以充分观察外围区。

此外，当获得广角眼底图像WP11时，在眼底图像拍摄装置中从广角眼底图像WP11检测视盘区V11的区域，并且基于检测结果，确定第二次拍摄处理中的曝光条件。

例如，由于以针对外围区的适当曝光条件拍摄广角眼底图像WP11，因此高光溢出应该会发生在视盘区V11的区域中。因此，通过在眼底图像拍摄装置中检测广角眼底图像WP11上的高亮度区，检测视盘区V11的区域。

此外，将第二次拍摄处理中的曝光条件设置为针对视盘区V11的区域的适当曝光条件，在该条件下，在视盘区V11中不会引起高光溢出和阻断式阴影。即，设置了可以充分观察视盘区V11的区域的曝光条件。

当决定曝光条件时，在低照射强度下拍摄包括视盘区V11的区域，作为第二次拍摄处理。在该实例中，在决定的曝光条件下，以高帧率连续拍摄对应于广角眼底图像WP11上的区域R11的眼底区。

这样，获得了四个窄角眼底图像NP11-1至NP11-4。这里，在下文中，在不需要特别区分窄角眼底图像NP11-1至NP11-4的情况下，它们可以简称为“窄角眼底图像NP11”。

窄角眼底图像NP11是具有比广角眼底图像WP11窄的视角的图像。例如，在拍摄广角眼底图像WP11时使用图像传感器的所有有效像素，而在拍摄窄角眼底图像NP11时使用图像传感器的所有有效像素的部分像素。因此，当通过以这种方式将拍摄范围限制到眼底区中的视盘区附近的区域而仅使用有效像素区的一部分执行拍摄时，待处理的数据量减小，因此可以以高帧率执行拍摄。

当以这种方式获得广角眼底图像WP11和窄角眼底图像NP11时，眼底图像拍摄装置合成所获得的广角眼底图像WP11和窄角眼底图像NP11，以生成一个合成眼底图像HP11。该合成眼底图像HP11是具有与广角眼底图像WP11相同的视角的图像，其是通过在广角眼底图像WP11合成窄角眼底图像NP11而获得的高动态范围图像。

在合成眼底图像HP11中，可以充分地观察视盘区V11的区域和包括黄斑区V12的外围区这两个区域。即，在合成眼底图像HP11的每个区域中既不会引起高光溢出也不会引起阻断式阴影。

如上所述，根据本技术的实施方式，通过在第一次拍摄处理中拍摄广角眼底图像WP11，在第二次拍摄处理中拍摄窄角眼底图像NP11并且合成这些图像，可以通过两次拍摄获得合成眼底图像HP11。因此，相比于现有技术中执行三次或三次以上拍摄的情况，可以抑制由于瞳孔缩小而导致的图像质量的劣化并且获得较高质量的眼底图像。

特别地，当在非散瞳拍摄时发生瞳孔缩小时，在视野边缘引起渐晕(vignetting)，并且在图像边缘区域引起图像质量的劣化。然而，在通过应用本技术的眼底图像拍摄装置进行的第二次拍摄处理中，由于使用位于视野中心附近的视盘区作为主要对象来拍摄具有较窄视角的窄角眼底图像，因此可以进一步抑制由于瞳孔缩小引起的图像劣化。

<眼底图像拍摄装置的配置实例>

下面，将更具体地描述应用本技术的眼底图像拍摄装置。

图2是示出应用本技术的眼底图像拍摄装置的配置实例的示意图。

眼底图像拍摄装置11包括光源21、光学系统22、图像传感器23、光盘检测单元24、控制单元25、图像合成单元26、帧存储器27、以及图像输出单元28。

光源21根据控制单元25的控制发出照射光，该照射光照射作为拍摄目标的人的眼睛EY11的眼底。从光源21发出的照射光通过光学系统22照射到眼睛EY11的眼底。

光学系统22包括一个或多个透镜或半反射镜等，其将从光源21进入的照射光照射到眼睛EY11的眼底、聚焦从眼睛EY11的眼底进入的光并且将其导向图像传感器23的光接收表面。

例如，图像传感器23包括例如互补金属氧化物半导体(CMOS)图像传感器等，并且，通过接收从光学系统22进入的光并且根据控制单元25的控制执行光电转换，拍摄广角眼底图像或窄角眼底图像作为眼底的图像。图像传感器23将通过光电转换获得的电信号提供到视盘检测单元24和图像合成单元26作为拍摄的图像的图像信号。

视盘检测单元24从由图像传感器23提供的广角眼底图像中检测视盘区，并且将检测结果和广角眼底图像提供到控制单元25。控制单元25基于检测结果和从视盘检测单元24提供的广角眼底图像，确定针对作为对象的眼底的曝光条件，并且确定窄角眼底图像的拍摄范围。此外，控制单元25根据确定的曝光条件和窄角眼底图像的拍摄范围控制光源21和图像传感器23。

图像合成单元26将从图像传感器23提供的广角眼底图像和窄角眼底图像任意地提供到帧存储器27以进行记录，合成广角眼底图像和窄角眼底图像以生成合成眼底图像，并且将获得的合成眼底图像提供到图像输出单元28。帧存储器27临时地记录从图像合成单元26提供的图像，并且将所记录的图像适当地提供到图像合成单元26。

图像输出单元28将从图像合成单元26提供的合成眼底图像输出到外部。例如，图像输出单元28将合成眼底图像提供到外部显示器，并且在显示器上显示合成眼底图像。

<图像生成处理的说明>

接着，描述图2中示出的眼底图像拍摄装置11的操作。

当接收到进行主体的眼底检查等的医生等人的操作并且指示拍摄眼底图像时，眼底图像拍摄装置11开始图像生成处理，该处理是拍摄作为对象的眼睛EY11的眼底并且输出合成眼底图像。以下，参照图3的流程图描述通过眼底图像拍摄装置11进行的图像生成处理。

在步骤S11，图像传感器23拍摄广角眼底图像。

例如，通过用户(诸如医生)对眼底图像拍摄装置11的输入操作或者通过眼底图像拍摄装置11使用红外光进行曝光控制来定义拍摄广角眼底图像时的曝光条件。控制单元25控制图像传感器23中的曝光时间以及来自光源21的照射光的光量，使得在定义的曝光条件下执行拍摄。

这里，拍摄广角眼底图像时的曝光条件设置成如下的曝光条件：除眼底中的视盘区以外的外围区如上所述不饱和，并且可以充分观察外围区。虽然现有技术中的眼底相机中的曝光条件设置成如下条件：在视盘区V11中尽可能不过多地引起高光溢出；但是步骤S11中的拍摄的曝光条件设置成比现有技术更亮的条件，以在外围区获得更高质量的图像。此外，在拍摄广角眼底图像时，使用图像传感器23的光接收表面上设置的所有有效像素来执行拍摄。

光源21根据控制单元25的控制发出照射光，并且通过光学系统22将照射光照射到作为对象的眼底区。此外，光学系统22聚焦从眼底图像区进入的光，并且将其形成在图像传感器23的光接收表面上。

图像传感器23通过根据控制单元25的控制执行从光学系统22进入的光的光电转换来拍摄广角眼底图像，并且将其提供到视盘检测单元24和图像合成单元26。即，图像传感器23输出包括从光接收表面上设置的所有有效像素输出的像素信号的信号，作为广角眼底图像的图像信号。

这样，例如，获得了图1中示出的广角眼底图像WP11。广角眼底图像被假设为许多像素的静态图像，其中，黄斑区或视盘区呈现为对象。

此外，图像合成单元26将从图像传感器23提供的广角眼底图像提供到帧存储器27，以便临时记录。

因此，如果在针对不包括视盘区的外围区(诸如眼底图像区的黄斑区)的适当曝光条件下拍摄广角眼底图像，可以获得其中可以有效诊断低反射率的诸如黄斑区的外围区的图像作为广角眼底图像。在高照射强度下的这种拍摄中，虽然广角眼底图像上的高反射率的视盘区的区域饱和并且引起了高光溢出，但是可以以低噪声获得高质量图像作为外围区的图像。

在步骤S12，基于从图像传感器23提供的广角眼底图像的每个像素的亮度值和广角眼底图像的组成，视盘检测单元24从上述广角眼底图像检测视盘区。

例如，在拍摄眼底图像的情况下，如图1所示，通常假设组成是如下的组成：其中，视盘区V11位于广角眼底图像WP11的中心的稍右侧的区域，而黄斑区V12位于广角眼底图像WP11的中心的稍左侧的区域。此外，由于视盘区如上所述比外围区具有较高的反射率，因此广角眼底图像的视盘区的区域应该比外围区具有更高的亮度。

因此，例如，通过假设视盘区存在于广角眼底图像的中心的稍右侧的位置，视盘检测单元24假设一个区域作为视盘区，其中，该区域在广角眼底图像的中心的稍右侧的区域中，并且其大小等于或大于包括其中亮度值等于或大于预定阈值的像素的特定区域。视盘检测单元24将广角眼底图像上的视盘区的区域的位置(其作为检测的结果而获得)和广角眼底图像提供到控制单元25。

在步骤S13，基于从视盘检测单元24提供的视盘区的区域的位置和广角眼底图像，控制单元25确定窄角眼底图像的曝光条件。

例如，在包括排列在图像传感器23的水平方向的像素的每个行读取像素信号的情况下，控制单元25确定包括广角眼底图像上的检测的视盘区的区域作为窄角眼底图像的拍摄范围。此外，控制单元25控制图像传感器23的驱动，使得仅从配置对应于确定的拍摄范围区域的图像传感器23的行的像素读取像素信号，。

因此通过仅从配置图像传感器23的光接收表面的行的一部分读取像素信号，在低照射强度下以高帧率拍摄成为可能。当以高帧率拍摄窄角眼底图像时，可以抑制眼球的大活动的影响，并且可以获得不模糊的高质量的窄角眼底图像。

此外，基于广角眼底图像上的外围区的亮度值，控制单元25确定窄角眼底图像中的视盘区的区域的像素不饱和并且可以充分观察视盘区的曝光条件，并且根据曝光条件控制光源21和图像传感器23。实际上，由于在广角眼底图像中视盘区的区域的亮度饱和并且因此不可能被测量，因此可以根据外围区的亮度值分布，设置不会在视盘区中引起高光溢出的足够暗的曝光条件。

特别地，控制单元25驱动图像传感器23，使得以作为确定的曝光条件的曝光时间(快门速度)拍摄窄角眼底图像，并且控制光源21使得通过作为确定的曝光条件的光量照射眼底。

当使用广角眼底图像定义窄角眼底图像的曝光条件时，可以在最佳曝光条件下拍摄窄角眼底图像，而无需用户操作。这样，可以防止作为窄角眼底图像的对象的视盘区中的高光溢出(饱和)，并且抑制外围区中的噪声。此外，由于没有必要仅仅为了获得定义曝光条件的信息而执行拍摄，因此可以通过更少次数的拍摄迅速地获得所需的眼底图像。

在步骤S14，图像传感器23以高帧率拍摄窄角眼底图像。

例如，根据控制单元25的控制，光源21以定义为曝光条件的光量发出照射光，并且通过光学系统22将照射光照射到作为对象的眼底区。此外，光学系统22聚焦将从眼底区22进入的光，并且将其形成在图像传感器23的光接收表面上。

根据控制单元25的控制，图像传感器23通过以定义为曝光条件的曝光时间对从光学系统22进入的光执行光电转换拍摄窄角眼底图像，并且将其提供到图像合成单元26。即，图像传感器23输出包括从设置在光接收表面上的所有行之中的配置定义为窄角眼底图像的拍摄范围的范围内的行的像素输出的像素信号的信号作为窄角眼底图像的图像信号。

这样，例如，获得了图1中示出的窄角眼底图像NP11。窄角眼底图像被假设为其中视盘区附近的区域表现为对象的移动图像的每帧，或者是连续拍摄的静态图像。

此外，图像合成单元26将从图像传感器23提供的窄角眼底图像提供到帧存储器27，以便临时记录。

因此，当在针对眼底区中的视盘区的区域的适当曝光条件下拍摄窄角眼底图像时，可以获得其中可以充分诊断具有高反射率的视盘区的区域的图像作为窄角眼底图像。

这里，已经描述了如下的实例：其中，使用同一光源作为在拍摄广角眼底图像时用于照射对象的光源21和在拍摄窄角眼底图像时用于照射对象的光源21。在以这种方式使用同一光源21的情况下，由于拍摄广角眼底图像时和拍摄窄角眼底图像时的照射光的颜色温度相同，因此可以抑制合成眼底图像的色调变化，并且可以获得高质量的图像。然而，在拍摄广角眼底图像和拍摄窄角眼底图像时可以使用不同的光源。

在步骤S15，图像合成单元26合成帧存储器27中记录的广角眼底图像和窄角眼底图像，并且生成合成眼底图像。

例如，图像合成单元26对窄角眼底图像执行增益调节，使得窄角眼底图像和广角眼底图像之间的照射强度差得到补偿，并且执行图像转换，使得窄角眼底图像和广角眼底图像之间的亮度匹配。此时，由于当通过增益调节放大窄角眼底图像时视盘区的像素的亮度值饱和，因此，图像合成单元26需要在具有足够大的宽度的缓冲区中记录经历了增益调节的窄角眼底图像。然后，图像合成单元26检测窄角眼底图像和广角眼底图像之间的运动。此外，通过根据运动检测结果对窄角眼底图像执行运动补偿，图像合成单元26移动窄角眼底图像，使得广角眼底图像上的视盘区的区域和窄角眼底图像上的视盘区的区域重叠，并且，在补偿主体的眼球运动之后，将窄角眼底图像与广角眼底图像进行合成。

例如，在增益调节中，从拍摄窄角眼底图像时的曝光条件和拍摄广角眼底图像时的曝光条件之间的比率，计算待拍摄的广角眼底图像何时与窄角眼底图像一样亮，并且基于该比率调节窄角眼底图像的增益。这里，另外，可以计算窄角眼底图像中的视盘区的外围像素的亮度平均值和对应于广角眼底图像中的视盘区附近的窄角眼底图像中的外围像素的区域中的亮度平均值，并且增益可以进行增益调节，使得这些亮度平均值匹配。

此外，例如，通过诸如阿尔法混合处理的图像加权加法来执行窄角眼底图像和广角眼底图像的合成。在这种情况下，根据基于每个区域的亮度值的权重将窄角眼底图像和广角眼底图像的像素值相加，例如，窄角眼底图像的权重(即，对合成眼底图像的贡献率)在视盘区的区域增大，并且广角眼底图像的权重在不同于视盘区的区域中增大。

因此，在执行运动补偿和照射亮度补偿的同时，通过将每个窄角眼底图像与广角眼底图像合成获得一个合成眼底图像。这里，由于合成眼底图像是高永泰范围图像，因此比特宽度大。图像合成单元26将大比特宽度的合成眼底图像转换成对应于标准图像信号的比特宽度。此时，通过从诸如键盘和设置按钮(图中未示出)的外部输入装置给定的参数，可对合成眼底图像执行诸如灰度校正的处理，或者可以从大比特宽度的图像切掉任意亮度范围。图像合成单元26将获得的合成眼底图像提供到图像输出单元28。

通过以这种方式在低照射强度下以高帧率拍摄多个窄角眼底图像，对每个获得的窄角眼底图像执行运动补偿，并且将结果与广角眼底图像合成，可以通过超分辨效应获得具有高分辨率的合成眼底图像。

一般地，已知当合成具有不同采样位置的多个图像时，实现了图像的高分辨率。换句话说，已知当合成通过拍摄同一对象并且在相互不同的采样位置进行拍摄获得的多个图像时，可以获得具有高分辨率的图像作为超分辨效应。在拍摄窄角眼底图像时主体的眼球活动的情况下，由于分别在相互不同的采样位置拍摄具有不同拍摄时间的窄角眼底图像，因此当对这些窄角眼底图像执行运动补偿以将其与广角眼底图像合成时，可以通过超分辨效应获得具有高分辨率的合成眼底图像。

此外，通过合成在高照射强度下拍摄的广角眼底图像和在低照射强度下拍摄的窄角眼底图像以产生合成眼底图像，可以获得高动态范围的图像，在该图像中，可以充分观察眼底的每个区域。

在步骤S16，图像输出单元28将从图像合成单元26提供的合成眼底图像输出到外部，并且图像生成处理终止。从图像输出单元28输出的合成眼底图像例如被提供到显示器并被显示。

如上所述，在针对外围区域的适当曝光条件下拍摄广角眼底图像之后，眼底图像拍摄装置11在针对基于广角眼底图像定义的视盘区的区域的适当曝光条件下拍摄窄角眼底图像，并且合成广角眼底图像和窄角眼底图像。

因此，通过合成在具有不同反射率的区域中的合适的曝光条件下拍摄的多个图像，可以获得高质量的合成眼底图像。此外，通过对多个窄角眼底图像执行运动补偿，并且将作为结果获得的每个窄角眼底图像与广角眼底图像进行合成，可以通过超分辨效应获得更高质量的合成眼底图像。

此外，虽然在免散瞳拍摄时将强光作为照射光照射到主体眼睛时会引起瞳孔缩小，但是仅在眼底图像拍摄装置11中的第一次拍摄中进行广角拍摄(即，拍摄广角眼底图像)，并且，在后续拍摄中，拍摄其中拍摄范围较窄并且不会受到瞳孔缩小的影响的窄角眼底图像。因此，根据眼底图像拍摄装置11，即使在免散瞳拍摄时，也可以获得高质量的合成眼底图像。

这里，虽然上面已经描述了执行针对窄角眼底图像的运动补偿的实例，但是可以基于拍摄的窄角眼底图像来校正图像传感器23的拍摄范围。在这种情况下，视盘检测单元24从拍摄的窄角眼底图像检测视盘区，控制单元25基于检测结果定义窄角眼底图像的拍摄范围，并且控制图像传感器23，使得从拍摄范围中的行中读取像素信号。此外，图像传感器23根据控制单元25的控制拍摄下一窄角眼底图像。

顺便说一下，上面描述的一系列处理可以通过硬件执行，也可以通过软件执行。在通过软件执行一系列处理的情况下，配置软件的程序安装在计算机中。这里，计算机包括结合在专用硬件中的计算机，以及，例如，可以通过安装各种程序执行各种功能的通用计算机。

图4是示出通过程序执行上述一系列处理的计算机的硬件的配置实例的框图。

CPU 201、ROM 202、以及RAM 203在计算机中通过总线204相互连接。

此外，输入/输出接口205与总线204连接。输入单元206、输出单元207、记录单元208、通信单元209、和驱动210与输入/输出接口205连接。

输入单元206包括键盘、鼠标、麦克风、和图像传感器等。输出单元207包括显示器、扬声器、和光源等。记录单元208包括硬盘和非易失存储器等。通信单元209包括网络接口等。驱动210驱动诸如磁盘、光盘、此光盘、和半导体存储器的可移除媒体211。

在如上配置的计算机中，例如，当CPU 201通过将记录单元208中记录的程序通过输入/输出接口205和总线205加载到RAM 203上而执行上述程序时，执行上述一系列处理。

例如，由计算机(CPU 201)执行的程序可以作为封装媒体等记录在可移除媒体211中并被提供。此外，可以通过诸如局域网、互联网、和数字卫星广播的有线或无线传输介质来提供程序。

在计算机中，通过将可移除媒体211附接到驱动210，可以通过输入/输出接口205将程序安装在记录单元208中。此外，可以通过有线或无线传输介质在通信单元209中接收程序并安装在记录单元208中。另外，程序可以预先安装在ROM 202或者记录单元208中。

这里，由计算机执行的程序可以是其中按本说明书中描述的顺序以时间序列执行处理的程序，或者可以是其中在请求定时(诸如执行调用时)执行处理的程序。

此外，本技术的实施方式不限于上述实施方式，在不背离本技术的范围的情况下，可以作出各种修改。

例如，本技术可以采用云计算配置，其通过网络以分布式和协作的方式处理一个功能。

此外，在上述流程图中描述的每个步骤都可以通过一个装置执行，或者通过多个装置以分布式方式执行。

另外，在一个步骤中包括多项处理的情况下，一个步骤中包括的多项处理可以通过一个装置执行，或者通过多个装置以分布式方式执行。

另外，本技术可以采用如下配置。

(1)一种图像处理装置，包括：

检测单元，配置为检测广角图像的窄角区，其中，广角图像使用第一曝光条件生成，第一曝光条件基于广角图像的不同于窄角区的第一区；

控制单元，配置为确定用于窄角区的第二曝光条件；以及

图像合成单元，配置为通过合成窄角图像和广角图像生成合成图像，其中，窄角图像具有比广角图像窄的视角并且使用第二曝光条件生成。

(2)根据(1)的图像处理装置，其中，图像合成单元通过合成连续拍摄的多个窄角图像和广角图像生成合成图像。

(3)根据(2)的图像处理装置，其中，图像合成单元对多个窄角图像执行运动补偿，并且合成广角图像和通过运动补偿获得的多个窄角图像。

(4)根据(2)的图像处理装置，其中，控制单元确定像素区，以使用像素区并基于对窄角区的检测来拍摄窄角图像。

(5)根据(2)的图像处理装置，其中，控制单元基于针对窄角区的第二曝光条件控制输出照射到窄角区的照射光的光源或者拍摄窄角图像的拍摄单元。

(6)根据(1)的图像处理装置，其中，控制单元控制光源，使得在拍摄广角图像和拍摄窄角图像时，通过从光源输出的相等的光照射窄角区。

(7)根据(1)的图像处理装置，其中，第二曝光条件设置为使得窄角图像中的窄角区的像素不饱和。

(8)一种眼底图像处理装置，包括：

检测单元，配置为从广角图像检测眼底的窄角区，其中，广角图像使用第一曝光条件生成，第一曝光条件基于眼底的不同于窄角区的第一区；

控制单元，配置为确定用于眼底的窄角区的第二曝光条件；以及

图像合成单元，配置为通过合成窄角图像和广角图像生成合成图像，其中，窄角图像具有比广角图像窄的视角，并且针对眼底的窄角区使用第二曝光条件生成。

(9)根据(8)的眼底图像处理装置，其中，眼底的窄角区是视盘的区域。

(10)一种图像处理方法，包括：

检测广角图像的窄角区，其中，广角图像使用第一曝光条件生成，第一曝光条件基于广角图像的不同于窄角区的第一区；

确定用于窄角区的第二曝光条件；以及

通过合成窄角图像和广角图像生成合成图像，其中，

窄角图像具有比广角图像窄的视角，并且针对窄角区使用第二曝光条件生成。

(11)一种图像拍摄方法，包括：

使用基于广角图像的第一区的第一曝光条件拍摄广角图像；

基于广角图像，确定用于不同于第一区的窄角区的第二曝光条件；以及

基于第二曝光条件和窄角区，拍摄具有比广角图像窄的视角的窄角图像。

(12)根据(11)的图像拍摄方法，其中：

基于广角图像检测窄角区；以及

基于窄角区的检测结果确定针对窄角区的第二曝光条件。

(13)根据(11)的图像拍摄方法，其中：拍摄窄角图像包括连续拍摄多个窄角图像。

(14)根据(12)的图像拍摄方法，其中，使用拍摄单元的像素区拍摄窄角图像，基于窄角区的检测结果确定像素区。

(15)根据(11)的图像拍摄方法，其中，控制光源，使得在拍摄广角图像和拍摄窄角图像时，通过从光源输出的相等的光照射窄角区。

(16)根据(11)的图像拍摄方法，其中，第二曝光条件设置为使得窄角图像中的窄角区的像素不饱和。

(17)一种眼底图像拍摄方法，包括：

使用基于广角图像的第一区的第一曝光条件，拍摄广角图像；

基于广角图像，确定用于眼底的不同于第一区的窄角区的第二曝光条件；

基于第二曝光条件和眼底的窄角区，拍摄具有比广角图像窄的视角的窄角图像。

(18)根据(17)的眼底图像拍摄方法，其中，眼底的窄角区是视盘的区域。

(19)一种眼底图像拍摄装置，包括：

拍摄单元，配置为使用基于眼底的第一区的第一曝光条件拍摄广角图像，并且使用基于眼底的窄角区的第二曝光条件拍摄具有比广角图像窄的视角的窄角图像；

检测单元，配置为基于广角图像，从广角图像检测眼底图像的窄角区；

控制单元，配置为基于眼底的窄角区的检测，确定针对眼底的窄角区的第二曝光条件；以及

图像合成单元，配置为通过合成窄角图像和广角图像生成合成图像。

(20)一种图像处理装置，包括：

检测单元，配置为基于广角图像从广角图像检测特定区，广角图像在针对与特定区不同的区域的适当曝光条件下拍摄；

控制单元，配置为基于特定区域的检测结果，确定相针对特定区的适当曝光条件；以及

图像合成单元，配置为通过将具有比广角图像更窄的视角的窄角图像和广角图像进行合成来生成合成图像，其中，窄角图像将特定区假设为对象并且在针对特定区的适当曝光条件下拍摄。

(21)根据(20)的图像处理装置，其中，图像合成单元通过合成连续拍摄的多个窄角图像和广角图像来生成合成图像。

(22)根据(21)的图像处理装置，其中，图像合成单元对多个窄角图像执行运动补偿，并且合成广角图像和通过运动补偿获得的窄角图像。

(23)根据(21)或(22)的图像处理装置，其中，控制单元基于特定区的检测结果，确定拍摄窄角图像的拍摄单元的像素区中的用于拍摄窄角图像的区域。

(24)根据(20)至(23)中任一项的图像处理装置，其中，控制单元基于针对特定区的适当曝光条件控制输出照射到对象的照射光的光源或者拍摄窄角图像的拍摄单元。

(25)根据(20)至(24)中任一项的图像处理装置，其中，控制单元控制光源，使得当拍摄广角图像和拍摄窄角图像时，通过从同一光源输出的照射光照射对象。

(26)根据(20)至(25]中任一项的图像处理装置，其中，针对特定区的适当曝光条件设置为如下条件：窄角图像中的特定区的像素不饱和。

(27)一种眼底图像处理装置，包括：

检测单元，配置为基于广角图像从广角图像中检测眼底的特定区，在针对眼底的与特定区不同的区域的适当曝光条件下拍摄广角图像；

控制单元，配置为基于眼底的特定区的检测结果，确定针对眼底的特定区的适当曝光条件；以及

图像合成单元，配置为通过合成具有比广角图像窄的视角的窄角图像和广角图像来生成合成图像，其中，窄角图像假设眼底的特定区作为对象并且在针对眼底的特定区的适当曝光条件下拍摄。

(28)根据(27)的眼底图像处理装置，其中，眼底的特定区设置为视盘的区域。

(29)一种图像处理方法，包括：

基于广角图像从广角图像中检测特定区，广角图像在针对与特定区不同的区域的适当曝光条件下拍摄；

基于特定区的检测结果，确定针对特定区的适当曝光条件；以及

通过合成具有比广角图像窄的视角的窄角图像和广角图像来生成合成图像，其中，窄角图像将特定区假设为对象并且在针对特定区的适当曝光条件下拍摄。

(30)一种图像拍摄方法，包括：

在针对与特定区不同的区域的适当曝光条件下执行第一拍摄以拍摄广角图像；

基于广角图像确定针对特定区的适当曝光条件；以及

在针对特定区的适当曝光条件下执行第二拍摄以拍摄窄角图像，窄角图像将特定区假设为对象并且具有比广角图像窄的视角。

(31)根据(30)的图像拍摄方法，其中：

基于广角图像，从广角图像中检测特定区；以及

基于特定区的检测结果确定针对特定区的适当曝光条件。

(32)根据(30)或(31)的图像拍摄方法，其中，在第二拍摄中连续拍摄多个窄角图像。

(33)根据(31)的图像拍摄方法，其中，在第二拍摄中，使用拍摄单元的像素区中的预定范围的区域拍摄窄角图像，基于特定区的检测结果确定上述预定范围。

(34)根据(30)至(33)中任一项的图像拍摄方法，其中，在第一拍摄和第二拍摄中，控制光源，使得通过从同一光源输出的照射光照射对象。

(35)根据(30)至(34)中任一项的图像拍摄方法，其中，针对特定区的适当曝光条件被设置为如下条件：窄角图像的特定区的像素不饱和。

(36)一种眼底图像拍摄方法，包括：

在针对眼底的与特定区不同的区域的适当曝光条件下执行第一拍摄，以拍摄广角图像；

基于广角图像，确定针对眼底图像的特定区的适当曝光条件；以及

在针对眼底的特定区的适当曝光条件下执行第二拍摄，以拍摄窄角图像，窄角图像将眼底的特定区假设为对象并且具有比广角图像窄的视角。

(37)根据(36)的眼底图像拍摄方法，其中，将眼底的特定区设置为视盘的区域。

(38)一种眼底图像拍摄装置，包括：

拍摄单元，配置为在针对眼底的与特定区不同的区域的适当曝光条件下拍摄广角图像，并且在针对眼底的特定区的适当曝光条件下拍摄窄角图像，窄角图像将眼底的特定区假设为对象并且具有比广角图像窄的视角；

检测单元，配置为基于广角图像，从广角图像检测眼底的特定区；

控制单元，配置为基于眼底的特定区的检测结果，确定针对眼底的特定区的适当曝光条件；以及

图像合成单元，配置为通过合成窄角图像和广角图像来生成合成图像。

本领域技术人员应当理解，可根据设计需求和其他因素，进行各种修改、组合、子组合、和替换，只要它们落在所附权利要求及其等同物的范围内。

参考标号列表

11 眼底图像拍摄装置

21 光源

22 光学系统

23 图像传感器

24 视盘检测单元

25 控制单元

26 图像合成单元

Claims (16)

1.一种图像处理装置，包括：

检测单元，被配置为检测广角图像的窄角区，其中，所述窄角区是眼底的视盘部分的区域，所述广角图像使用第一曝光条件生成，所述第一曝光条件基于所述广角图像不同于所述窄角区的第一区；

控制单元，被配置为确定用于所述窄角区的第二曝光条件；以及

图像合成单元，被配置为通过合成窄角图像和所述广角图像来生成合成图像，其中，所述窄角图像具有比所述广角图像窄的视角并且使用所述第二曝光条件生成。

2.根据权利要求1所述的图像处理装置，其中，所述图像合成单元通过合成连续拍摄的多个窄角图像和所述广角图像来生成所述合成图像。

3.根据权利要求2所述的图像处理装置，其中，所述图像合成单元对所述多个窄角图像执行运动补偿，并且合成所述广角图像和通过所述运动补偿获得的所述多个窄角图像。

4.根据权利要求2所述的图像处理装置，其中，所述控制单元确定像素区，以使用所述像素区并基于对所述窄角区的检测来拍摄所述窄角图像。

5.根据权利要求1所述的图像处理装置，其中，所述控制单元基于针对所述窄角区的所述第二曝光条件控制输出照射到所述窄角区的照射光的光源或者拍摄所述窄角图像的拍摄单元。

6.根据权利要求1所述的图像处理装置，其中，所述控制单元控制光源，使得在拍摄所述广角图像和在拍摄所述窄角图像时，通过从所述光源输出的相等的光照射所述窄角区。

7.根据权利要求1所述的图像处理装置，其中，所述第二曝光条件设置为使得所述窄角图像中的所述窄角区的像素不饱和。

8.一种眼底图像处理装置，包括：

检测单元，被配置为从广角图像中检测眼底的窄角区，其中，所述窄角区是眼底的视盘部分的区域，所述广角图像使用第一曝光条件生成，所述第一曝光条件基于所述眼底的不同于所述窄角区的第一区；

控制单元，被配置为确定用于所述眼底的所述窄角区的第二曝光条件；以及

图像合成单元，被配置为通过合成窄角图像和所述广角图像来生成合成图像，其中，所述窄角图像具有比所述广角图像窄的视角并且针对所述眼底的所述窄角区使用所述第二曝光条件生成。

9.一种图像处理方法，包括：

检测广角图像的窄角区，其中，所述窄角区是眼底的视盘部分的区域，所述广角图像使用第一曝光条件生成，所述第一曝光条件基于所述广角图像的不同于所述窄角区的第一区；

确定用于所述窄角区的第二曝光条件；以及

通过合成窄角图像和所述广角图像生成合成图像，其中，

所述窄角图像具有比所述广角图像窄的视角，并且针对所述窄角区使用所述第二曝光条件生成。

10.一种图像拍摄方法，包括：

使用基于广角图像的第一区的第一曝光条件拍摄所述广角图像；

基于所述广角图像，确定用于不同于所述第一区的窄角区的第二曝光条件，其中，所述窄角区是眼底的视盘部分的区域；以及

基于所述第二曝光条件和所述窄角区，拍摄具有比所述广角图像窄的视角的窄角图像。

11.根据权利要求10所述的图像拍摄方法，其中：

基于所述广角图像检测所述窄角区；以及

基于所述窄角区的检测结果确定针对所述窄角区的所述第二曝光条件。

12.根据权利要求10所述的图像拍摄方法，其中，拍摄所述窄角图像包括连续拍摄多个窄角图像。

13.根据权利要求11所述的图像拍摄方法，其中，使用拍摄单元的像素区拍摄所述窄角图像，基于所述窄角区的检测结果确定所述像素区。

14.根据权利要求10所述的图像拍摄方法，其中，控制光源，使得在拍摄所述广角图像和在拍摄所述窄角图像时，通过从所述光源输出的相等的光照射所述窄角区。

15.根据权利要求10所述的图像拍摄方法，其中，所述第二曝光条件设置为使得所述窄角图像中的所述窄角区的像素不饱和。

16.一种眼底图像拍摄装置，包括：

拍摄单元，被配置为使用基于眼底的第一区的第一曝光条件拍摄广角图像，并且使用基于所述眼底的窄角区的第二曝光条件拍摄具有比所述广角图像窄的视角的窄角图像；

检测单元，被配置为基于所述广角图像从所述广角图像中检测所述眼底的所述窄角区，其中，所述窄角区是眼底的视盘部分的区域；

控制单元，被配置为基于所述眼底的所述窄角区的检测，确定针对所述眼底的所述窄角区的所述第二曝光条件；以及

图像合成单元，被配置为通过合成所述窄角图像和所述广角图像来生成合成图像。