CN103218794A - 图像处理装置和方法、记录介质及程序 - Google Patents

Abstract

本发明公开了图像处理装置和方法、记录介质及程序。该图像处理装置包括：运动矢量检测部分，其执行大体上为球状的被拍摄主体的比较，使得在包括被拍摄主体的多个捕获图像中，使用多个捕获图像中的每一个作为处理目标来比较作为处理目标的一个图像和作为比较目标的另一个图像，并且其检测关于处理目标的整个三维球状模型的运动矢量；运动补偿部分，其基于由运动矢量检测部分检测到的多个捕获图像中的每一个的运动矢量来执行处理目标的运动补偿；以及合成部分，其合成作为由运动补偿部分执行的运动补偿的结果所得到的捕获图像中的每一个。

Description

图像处理装置和方法、记录介质及程序

技术领域

本技术涉及图像处理装置和方法、记录介质及程序，具体而言涉及能够使用简单的配置容易地提高通过捕获大体上为球状(substantiallyspherical)的物体所获得的图像的图像质量的图像处理装置和方法、记录介质及程序。

背景技术

已知一种眼底检查(fundus examination)，其中通过瞳孔观察眼底，诸如眼球中的视网膜、视神经乳头(optic papilla)等。使用诸如例如眼底镜或眼底照相机的特殊装置执行眼底检查。执行眼底检查，使得例如在测试主体(test subject)的眼球中的眼底的图像被眼底照相机捕获和生成的捕获图像(以下简称为眼底图像)显示在监视器等上，观察者观察眼底图像。为了使观察者执行准确观察，提高了眼底图像的图像质量。

作为一种提高眼底图像的图像质量的已知技术，有一种在其中例如合成按顺序捕获的多个眼底图像的数据、同时考虑到眼球大体上为球体的事实的技术。使用这项技术合成在一定的时间段内捕获的多个眼底图像。因此，如果在一定时间段内移动眼底，眼底图像的图像质量改善受到阻碍。为了解决这个问题，日本专利申请公开号JP-A-2011-087672公开了一种执行眼底的多个三维图像的旋转方向对准的技术。使用由光学相干断层扫描(OCT)获得的眼底的断层图像形成三维图像。此外，例如，日本专利申请公开号JP-A-2010-269016公开了一种使用仿射变换(affinetransformation)执行包括多个眼底图像的旋转的对准的技术。

发明内容

然而，使用在日本专利申请公开号JP-A-2011-087672中描述的技术，需要OCT的断层图像以便形成三维图像，使得装置的大小增大。此外，使用在日本专利申请公开号JP-A-2010-269016中描述的技术，用于二维图像旋转的仿射变换被用于眼底图像。因此，很难准确地执行作为三维球体的眼球的图像的对准。

概言之，近年来，有对使用简单的配置容易地获得高图像质量的眼底图像的需求。然而，这种需求是已知技术(包括在日本专利申请公开号JP-A-2011-087672和日本专利申请公开号JP-A-2010-269016中描述的技术)无法充分满足的。上述情况不仅适用于眼底图像，而且还适用于捕获大体上为球状的物体所获得的图像。

鉴于上述情况，已设计了本技术，并且可以使用简单的配置容易地提高通过捕获大体上为球状的物体所获得的图像的图像质量。

根据本技术的实施例，提供了一种图像处理装置，其包括：运动矢量检测部分，其执行大体上为球状的被拍摄主体的比较，使得在包括被拍摄主体的多个捕获图像中，使用多个捕获图像中的每一个作为处理目标来比较作为处理目标的一个图像和作为比较目标的另一个图像，并且其检测关于处理目标的整个三维球状模型的运动矢量；运动补偿部分，其基于由运动矢量检测部分检测到的多个捕获图像中的每一个的运动矢量来执行处理目标的运动补偿；以及合成部分，其合成作为由运动补偿部分执行运动补偿的结果所得到的捕获图像中的每一个。

关于从处理目标分成的多个块中的每一个，运动矢量检测部分可通过执行与比较目标的块匹配来检测局部运动矢量。运动矢量检测部分可使用多个块中的每一个的局部运动矢量来检测关于处理目标的整个三维球状模型的运动矢量。

运动矢量检测部分可将关于在处理目标中的多个块中的每一个的局部运动矢量转换成在三维球状模型中的局部球状运动矢量。运动矢量检测部分可使用多个块中的每一个的局部球状运动矢量来检测关于处理目标的整个三维球状模型的运动矢量。

运动矢量检测部分将在处理目标中的多个块中的每一个转换成在三维球状模型中的多个球状块。关于多个球状块中的每一个，运动矢量检测部分可通过执行与比较目标的块匹配来检测出一个局部球状运动矢量作为局部运动矢量。运动矢量检测部分使用多个球状块中的每一个的局部球状运动矢量来检测关于处理目标的整个三维球状模型的运动矢量。

运动矢量检测部分可将处理目标和比较目标中的每一个转换成在三维球状模型中的球状图像。运动矢量检测部分可执行处理目标的球状图像和比较目标的球状图像之间的匹配，并从而检测关于处理目标的整个三维球状模型的运动矢量。

被拍摄主体可以是眼底。

三维球状模型可以按照被拍摄主体的条件被切换和使用。

根据本技术的实施例的图像处理方法、记录介质及程序是与根据上文所述的本技术的实施例的图像处理装置对应的图像处理方法、记录介质及程序。

在根据本技术的实施例的图像处理装置和方法、记录介质及程序中，执行大体上为球状的被拍摄主体的比较，使得在包括被拍摄主体的多个捕获图像中，使用多个捕获图像中的每一个作为处理目标来比较作为处理目标的一个图像和作为比较目标的另一个图像，检测关于处理目标的整个三维球状模型的运动矢量，基于检测到的多个捕获图像中的每一个的运动矢量来执行处理目标的运动补偿，并且合成作为运动补偿的结果所得到的捕获图像中的每一个。

根据本技术的另一个实施例，提供了一种图像处理装置，其包括：转换部分，其使用多个捕获图像中的每一个作为处理目标，在包括大体上为球状的被拍摄主体的多个捕获图像中，将作为处理目标的一个图像和作为比较目标的另一个图像转换成三维球状模型上的球状图像；提取部分，其提取处理目标的球状图像和比较目标的球状图像中的每一个的特征；对准部分，其对准特征的位置，使得特征相互匹配；以及合成部分，其合成作为由对准部分执行的对准的结果所得到的捕获图像中的每一个。

血管形状可以被用作特征。

被拍摄主体可以是眼底。

三维球状模型可以按照被拍摄主体的条件被切换和使用。

根据本技术的另一个实施例的图像处理方法、记录介质及程序是与根据上文所述的本技术的实施例的图像处理装置相应的图像处理方法、记录介质及程序。

在根据本技术的另一个实施例的图像处理装置和方法、记录介质及程序中，使用多个捕获图像中的每一个作为处理目标，在包括大体上为球状的被拍摄主体的多个捕获图像中，将作为处理目标的一个图像和作为比较目标的另一个图像转换成三维球状模型上的球状图像，提取处理目标的球状图像和比较目标的球状图像中的每一个的特征，对准特征的位置，使得特征相互匹配，并且合成作为对准的结果所得到的捕获图像中的每一个。

根据如上所述的本技术，可以使用简单的配置容易地提高通过捕获大体上为球状的物体所获得的图像的图像质量。

附图说明

图1是示出了应用本技术的眼底图像处理装置的配置示例的框图；

图2是示出了运动矢量检测部分的配置示例的框图；

图3是示出了运动矢量检测部分的具体处理的图；

图4是示出了眼底图像生成处理的流程的流程图；

图5是示出了运动矢量检测处理的流程的流程图；

图6是示出了运动矢量检测部分的配置示例的框图；

图7是示出了运动矢量检测部分的具体处理的图；

图8是示出了运动矢量检测处理的流程的流程图；

图9是示出了运动矢量检测部分的配置示例的框图；

图10是示出了运动矢量检测部分的具体处理的图；

图11是示出了运动矢量检测处理的流程的流程图；

图12是示出了眼底图像处理装置的配置示例的框图；

图13是示出了特征提取部分和对准部分的具体处理的图；

图14是示出了血管对准处理部分的配置示例的图；

图15是示出了血管对准处理部分的具体处理的图；

图16是示出了眼底图像生成处理的流程的流程图；

图17是示出了血管对准处理的流程的流程图；以及

图18是示出了应用本技术的图像处理装置的硬件配置示例的框图。

具体实施方式

下面，将按照下列顺序说明本技术的四个实施例(以下分别称为第一实施例至第四实施例)。

1.第一实施例(从每一个块检测的运动矢量被应用到球状模型的示例)

2.第二实施例(检测应用到球状模型的每一个块的运动矢量的示例)

3.第三实施例(从应用到球状模型的眼底图像检测运动矢量的示例)

4.第四实施例(对准应用到球状模型的眼底图像的示例)

第一实施例

眼底图像处理装置的配置示例

图1是示出了应用本技术的眼底图像处理装置的配置示例的框图。

图1所示的眼底图像处理装置10捕获测试主体的眼底(诸如眼球中的视网膜、视神经乳头等)的图像。眼底图像处理装置10对所获得的眼底图像的数据执行图像处理以提高图像质量，并使得图像处理后的眼底图像被显示。

为了减轻测试主体的负担，眼底图像处理装置10捕获被拍摄主体(即测试主体的眼底)的图像，而同时抑制照射到被拍摄主体上的光量。因此，能够得到一张眼底图像的数据。然而，为了获得更高质量的眼底图像，眼底图像处理装置10多次执行被拍摄主体的图像捕获，并对每次获得的多个捕获图像的数据执行各种类型的图像处理，这将在后面描述。作为执行这样的各种类型图像处理的结果，由眼底图像处理装置10显示具有较高图像质量的眼底图像。

注意，这里描述的单次图像捕获是指眼底图像处理装置10的一系列操作，直到光在成像元件的每一个像素上积聚并且电信号(每一个像素的数据)从每一个像素输出为止。在这种情况下，图像捕获的数目和在每一个图像捕获之间的时间间隔都没有特别的限制。例如，如果在每一个图像捕获之间的时间间隔减少到约1/30秒并且以此时间间隔连续执行300次图像捕获，就获得了10秒的运动图像。概言之，这里描述的多次图像捕获是一个包括获得多个静止图像的图像捕获和获得运动图像的图像捕获的概念。

以这种方式配置的眼底图像处理装置10包括成像部分21、图像处理部分22、存储部分23和输出部分24。

成像部分21捕获作为被拍摄主体的位于预定位置的测试主体的眼底的图像，并输出所获得的眼底图像的数据。例如，成像部分21能够具有包括电荷耦合装置(CCD)成像元件、互补金属氧化物半导体(CMOS)成像元件等的配置。然而，成像部分21不限于这一配置，它能够具有任何的配置，只要该配置能够输出眼底图像的数据。注意，在本实施例中，成像部分21具有将光照射到被捕获的被拍摄主体上的功能以便获得具有更高图像质量的眼底图像。

作为一种获得具有更高图像质量的眼底图像的技术，已知一种在图像捕获期间增加照射到测试主体的眼底上的光量的技术。然而，如果在图像捕获期间照射到测试主体的眼底上的光量增加，就增加了测试主体的负担。结果，有可能是将在观察目标上施加不必要的影响或将增加测试主体的心理负担。另外，在这种情况下，由于在图像捕获期间照射到测试主体的眼底上的光量增加，测试主体感到太亮并合上他/她的眼睛或移动，存在不能获得具有高图像质量的眼底图像的可能性。为了解决这个问题，在本实施例中，照射到眼底上的光量在图像捕获过程中不增加，并且成像部分21多次重复眼底的图像捕获而同时保持将低强度的光照射到眼底上的状态。注意，由成像部分21进行的眼底的图像捕获可以多次执行以获得静止图像或者可以执行一次以获得运动图像。

以这种方式由单次图像捕获获得的眼底图像中的每一个都具有低图像质量，这是因为在图像捕获期间照射的光弱(暗)。鉴于此原因，在本实施例中，图像处理部分22对由成像部分21在多次图像捕获中的每一次获得的眼底图像的数据执行预定的图像处理，从而生成并输出具有高图像质量的一张眼底图像的数据。注意，在这种情况下，当作为图像处理目标的多个眼底图像彼此更相似时，图像质量的提高变得更容易。因此，优选为减少执行成像部分21的多次成像操作所占用的时间。

图像处理部分22使得图像处理后的眼底图像的数据(即，具有高图像质量的眼底图像的数据)被存储在存储部分23中或者从输出部分24输出。

存储部分23例如由硬盘、闪存或随机存取存储器(RAM)形成，并存储从图像处理部分22提供的眼底图像的数据。存储在存储部分23中的眼底图像的数据由播放部分等(在附图中未示出)读取，并输出到输出部分24显示或传输到另一个装置。由不是图像处理部分22的图像处理部分(在附图中未示出)对眼底图像的数据执行其它图像处理。

输出部分24包括监视器(如阴极射线管(CRT)、液晶显示器(LCD)等)、输出端子等。输出部分24将从图像处理部分22输出的眼底图像的数据输出并显示在监视器上，或者将数据从输出部分24的输出端子输出到外部装置。

此外，下面将说明包括在图1所示的眼底图像处理装置10中的图像处理部分22的详细配置。图像处理部分22包括输入图像缓冲器31、运动矢量检测部分32、运动补偿部分33、合成部分34和超分辨率处理部分35。

输入图像缓冲器31被配置为诸如例如硬盘、闪存或RAM的给定存储介质的一个区域。输入图像缓冲器31保持具有低图像质量的眼底图像的数据作为输入图像的各自的数据，它们是按顺序从成像部分21提供的。输入图像中的每一个的数据在预定时间被从输入图像缓冲器31读出，并被提供给运动矢量检测部分32或运动补偿部分33。

由成像部分21获得的眼底图像的数据通过多次执行图像捕获来获得，并且眼底图像不一定是彼此完全相同。例如，可以想象的是，在一些或所有眼底图像中产生位置位移。因此，如果简单地合成多个眼底图像，存在由于位置位移等原因使产生的眼底图像变为模糊图像或双图像的可能性。因此，在合成部分34合成多个眼底图像的数据之前，运动矢量检测部分32检测运动矢量并且运动补偿部分33使用运动矢量执行运动补偿从而减少在要合成的图像之间的差异(位置位移等)是有必要的。

运动矢量检测部分32从输入图像缓冲器31读出处理目标输入图像的数据和在不同时间从处理目标输入图像捕获的输入图像的数据。接着，运动矢量检测部分32将两张输入图像的读出数据进行比较，从而检测出在处理目标输入图像中的整个眼底的运动矢量。注意，作为一种运动矢量检测技术，本实施例采用在其中将眼球建模为三维球体并检测整个球体的运动矢量的技术。更具体地说，在包括基本为球体的被拍摄主体的多个捕获图像中，运动矢量检测部分32使用被拍摄主体的三维球状模型(以下简称为球状模型)执行作为处理目标的捕获图像和作为比较目标的捕获图像的比较。该比较是使用多个捕获图像中的每一个作为处理目标来执行的。后面将参照图2介绍这种技术连同运动矢量检测部分32的详细配置。

运动补偿部分33从输入图像缓冲器31读出处理目标输入图像的数据。同时，运动补偿部分33从运动矢量检测部分32获得在处理目标输入图像中的整个眼底的运动矢量。然后，运动补偿部分33使用整个眼底的运动矢量来执行对处理目标输入图像的数据的运动补偿。运动补偿是根据在处理目标输入图像中的整个眼底的运动矢量移动球状模型上的处理目标输入图像的处理。通过这样做，在多个眼底图像之间的差异(位置位移等)被减少。运动补偿后的眼底图像的数据被提供给合成部分34。

以这种方式，由多次执行图像捕获的成像部分21得到的多个眼底图像的各自的数据依次被用作处理目标，在运动补偿部分33对各自的数据执行运动补偿后，它们被按顺序地提供给合成部分34。

当多个眼底图像的所有数据被从运动补偿部分33提供时，合成部分34合成多个眼底图像的数据，从而生成一张眼底图像的数据。合成部分34将所生成的数据提供给超分辨率处理部分35。

超分辨率处理部分35对由合成部分34合成的眼底图像的数据执行超分辨率处理，从而生成具有比在合成时的分辨率更高的分辨率的眼底图像的数据。注意，任何处理方法都能够用来由超分辨率处理部分35执行超分辨率处理。例如，在日本专利申请公开号JP-A-2010-102696中描述的方法或在日本专利申请公开号JP-A-2010-103981中描述的方法可用来执行超分辨率处理。然而，注意，在超分辨率处理中，执行按照活体的特征的处理，以能够得到具有更低噪音的更高分辨率的图像。以这种方式由超分辨率处理部分35生成的高分辨率眼底图像的数据被存储在存储部分23中或者被从输出部分24输出。

接着，将说明运动矢量检测部分32的详细配置。

运动矢量检测部分的配置示例和处理

图2是示出了运动矢量检测部分32的配置示例的框图。图3是示出了运动矢量检测部分32的具体处理的图。

如图2所示，运动矢量检测部分32包括局部运动矢量检测部分41、球状运动矢量转换部分42、球状模型存储部分43和眼底运动矢量检测部分44。

局部运动矢量检测部分41从n张眼底图像51-1至51-n中的各自的数据中读出处理目标眼底图像数据51-i的数据和与处理目标不同的比较目标眼底图像51-j的数据，它们分别作为输入图像数据保持在输入图像缓冲器31中，如图3所示。在这里，n是等于或大于2的整数，表示在输入图像缓冲器31中保持的输入图像的总数。i是等于或大于1并且等于或小于n-1的整数。j是等于或大于1并且等于或小于n的整数，并且是与整数i不同的整数。例如，在本实施例中，设置为j＝i+1。概言之，相邻处理目标图像的图像被用来作为比较目标。

局部运动矢量检测部分41将处理目标眼底图像51-i分成多个具有规定大小的块，并按顺序将多个块的每一个设置为处理目标块61-i。

局部运动矢量检测部分41也以与上述类似的方式将比较目标眼底图像51-j分成多个具有规定大小的块。每一次局部运动矢量检测部分41例如以光栅扫描顺序设置多个块中的每一个作为比较目标块61-j，局部运动矢量检测部分41重复计算处理目标块61-i和比较目标块61-j之间的相似度。概言之，执行所谓的块匹配。

基于处理目标块61-i和与处理目标块61-i匹配(即，具有最高相似度)的比较目标块61-j之间的位置关系，局部运动矢量检测部分41检测在处理目标块61-i中的局部运动作为运动矢量mv。

如图3所示，球状运动矢量转换部分42将处理目标块61-i应用在存储于球状模型存储部分43中的球状模型63上。通过这样做，处理目标块61-i被转换成球状模型63上的预定的块64-i。注意，在下面将转换块64-i称为球状处理目标块64-i。在这种情况下，在处理目标块61-i中的运动矢量mv被转换成球状处理目标块64-i中的运动矢量mvr。注意，在下面将转换后的运动矢量mvr称作球状运动矢量mvr。

这种类型的球状运动矢量mvr通过对从处理目标眼底图像51-i分成的多个块中的每一个反复执行上述一系列处理而获得。

关于处理目标眼底图像51-i，眼底运动矢量检测部分44基于多个块中的每一个的球状运动矢量mvr检测整个眼底的运动矢量65。眼底运动矢量检测部分44将处理目标眼底图像51-i中的整个眼底的运动矢量65提供给运动补偿部分33。

因此，如上参照图1所述，由运动补偿部分33对处理目标眼底图像51-i的数据执行使用整个眼底的运动矢量65的运动补偿。

上面参照图1至图3说明了眼底图像处理装置10的配置。接下来，将参照图4说明由如上所述配置的眼底图像处理装置10执行的处理(以下称为眼底图像生成处理)。

眼底图像生成处理的流程

图4是示出了眼底图像生成处理的流程的流程图。

在步骤S11，成像部分21减少光量并多次捕获测试主体的眼底图像。注意，如上所述，由成像部分21进行的眼底的图像捕获可执行多次以获得静止图像或者可执行一次以获得运动图像。

在步骤S12，图像处理部分22使得输入图像缓冲器31存储由步骤S11的处理所获得的具有低图像质量的多个眼底图像的数据。

在步骤S13，运动矢量检测部分32执行运动矢量检测处理和检测整个眼底的运动矢量。注意，运动矢量检测处理将参照图5在后面进行详细说明。

在步骤14，运动补偿部分33使用由在步骤S13的处理检测出的整个眼底的运动矢量对从输入图像缓冲器31读出的处理目标输入图像的数据执行运动补偿。注意，运动补偿部分33也对已执行处理的输入图像的数据执行类似的运动补偿。

在步骤S15，图像处理部分22确定是否眼底图像的所有数据都已被设置为处理目标。在本实施例中，处理目标眼底图像的数据是眼底图像51-1至51-(n-1)的各自的数据。因此，比较目标眼底图像的数据是眼底图像51-2至51-n的各自的数据。

当眼底图像的所有数据还没有设置为处理目标时，在步骤S15确定为“否”并且处理返回到步骤S13。然后，重复从步骤S13开始的处理。更具体地说，重复从步骤S13到步骤S15的循环处理，直到眼底图像的所有数据都被设置为处理目标为止。例如，如下文参照图5说明的那样，如果检测到眼底图像51-2的运动矢量(它是在步骤S13由运动矢量检测处理设置为处理目标的眼底图像51-1的比较目标)，那么，将眼底图像51-2设置为处理目标图像并检测邻近的比较目标眼底图像51-3的运动矢量。按顺序重复这种类型的处理。

在此之后，当眼底图像的所有数据都已设置为处理目标，在步骤S15确定为“是”并且处理继续到步骤S16。

在步骤S16，合成部分34合成多个眼底图像的运动补偿数据。因此，从n张眼底图像的数据中生成一张眼底图像的数据。

在步骤S17，超分辨率处理部分35对眼底图像的合成数据执行超分辨率处理。因此，生成了具有比步骤S16的合成时更高的分辨率的眼底图像的数据。

在步骤S18，图像处理部分22使得存储部分23存储已经执行超分辨率处理的眼底图像的数据，或者使得输出部分24输出数据。

这就完成了眼底图像生成处理。接下来，将说明在步骤S13的运动矢量检测处理。

运动矢量检测处理的流程

图5是示出了在图4的步骤S13执行的运动矢量检测处理的流程的流程图。

在步骤S31，局部运动矢量检测部分41从输入图像缓冲器31读出作为处理目标和比较目标的两张眼底图像的数据。例如，两张相邻的眼底图像(眼底图像51-1和眼底图像51-2)的数据被读出。

在步骤S32，局部运动矢量检测部分41设置来自处理目标图像的处理目标块(例如，眼底图像51-1)并执行与比较目标眼底图像(例如，眼底图像51-2)的块匹配。因此，在处理目标块中的运动矢量被检测出。

在步骤S33，球状运动矢量转换部分42将在步骤S32检测的运动矢量应用在存储于球状模型存储部分43的球状模型上，从而将运动矢量转换成球状运动矢量。

在步骤S34，运动矢量检测部分32确定是否所有的块都已被处理。更具体地说，运动矢量检测部分32确定与由一张处理目标眼底图像(例如，由步骤S31的处理读出的该张眼底图像51-1)分成的所有的块对应的球状运动矢量是否都已被检测。

当并非所有的块都已被处理时，在步骤S34确定为“否”并且处理返回到步骤S32。然后，重复从步骤S32开始的处理。更具体地说，重复从步骤S32到步骤S34的循环处理，直到所有块都被处理为止。

此后，当所有的块都已被处理时，在步骤S34确定为“是”并且处理继续到步骤S35。

在步骤S35，关于处理目标眼底图像(例如，由步骤S31的处理读出的该张眼底图像51-1)，眼底运动矢量检测部分44基于多个块的各自的球状运动矢量检测整个眼底的运动矢量。

这就完成了运动矢量检测处理。

以这种方式，对获得的多个眼底图像执行使用球状模型的图像处理，同时又抑制照射光量以便减少测试主体的负担。因此，生成了具有高图像质量的一张眼底图像的数据。

在本实施例中，一般性的块匹配被用作在从处理目标眼底图像分成的处理目标块和从比较目标眼底图像分成的比较目标块之间的相似度计算。由于应用了这种类型的一般性块匹配，因此高速处理能够容易地实现。此外，由于对每一个处理目标块执行块匹配，因此可以减少要使用的存储器量。

第二实施例

在第一实施例的运动矢量检测部分32中，球状模型被应用于由块匹配检测的处理目标块中的运动矢量。然而，应用球状模型的目标不仅限于这一示例。例如，可以在执行块匹配前将球状模型应用于处理目标块并且块匹配可以在其后执行。

注意，根据第二实施例的眼底图像处理装置具有与图1所示的眼底图像处理装置10基本相同的功能和配置。因此，在下面省略了与图1所示的眼底图像处理装置10相同的部分的说明，仅将说明一个不同的部分，即运动矢量检测部分70，其与图1所示的眼底图像处理装置10的运动矢量检测部分32不同。

运动矢量检测部分70的配置示例和处理

图6是示出了运动矢量检测部分70的配置示例的框图。图7是示出了运动矢量检测部分70的具体处理的图。

如图6所示，运动矢量检测部分70包括局部球状运动矢量检测部分71、球状模型存储部分72和眼底运动矢量检测部分73。

局部球状运动矢量检测部分71从n张眼底图像81-1至81-n中的各自的数据中读出处理目标眼底图像数据81-i的数据和与处理目标不同的比较目标眼底图像81-j的数据，它们分别作为输入图像数据保持在输入图像缓冲器31中，如图7所示。在这里，n是等于或大于2的整数，并且表示在输入图像缓冲器31中保持的输入图像的总数。i是等于或大于1并且等于或小于n的整数。j是等于或大于1并且等于或小于n的整数，并且是与整数i不同的整数。

局部球状运动矢量检测部分71将处理目标眼底图像81-i分成多个具有规定大小的块，并按顺序将多个块中的每一个设置为处理目标块91-i。

局部球状运动矢量检测部分71将处理目标块91-i应用于存储在球状模型存储部分72中的球状模型92上，如图7所示。通过这样做，处理目标块91-i被转换成球状模型92上的预定的块93-i。注意，转换块93-i在下面称作处理目标球状块93-i。

局部球状运动矢量检测部分71也以与上述类似的方式将比较目标眼底图像81-j分成多个具有规定大小的块。每一次局部球状运动矢量检测部分71例如以光栅顺序设置多个块中的每一个作为比较目标块91-j，局部球状运动矢量检测部分71也将比较目标块91-j应用于球状模型92上。通过这样做，比较目标块91-j被转换成球状模型92上的预定的块93-j。注意，转换块93-j在下面称作比较目标球状块93-j。

局部球状运动矢量检测部分71重复计算在处理目标球状块93-i和比较目标球状块93-j之间的相似度。概言之，执行所谓的块匹配。

局部球状运动矢量检测部分71基于处理目标球状块93-i和与处理目标球状块93-i匹配(即具有最高相似度)的比较目标球状块93-j之间的位置关系检测在处理目标球状块93-i中的球体的局部运动作为球状运动矢量mvr。

这种类型的球状运动矢量mvr通过对从处理目标眼底图像81-i分成的多个块中的每一个反复执行上述一系列处理而获得。

关于处理目标眼底图像81-i，眼底运动矢量检测部分73基于多个块的各自的球状运动矢量mvr检测整个眼底的运动矢量95。眼底运动矢量检测部分73将处理目标眼底图像81-i中的整个眼底的运动矢量95提供给运动补偿部分33。

因此，如上参照图1所述，由运动补偿部分33对处理目标眼底图像81-i的数据执行使用整个眼底的运动矢量95的运动补偿。

接着，将说明根据第二实施例的具有以这种方式配置的运动矢量检测部分70的眼底图像处理装置10的眼底图像的生成处理。根据第二实施例的眼底图像生成处理按照图4所示的流程图以与第一实施例类似的方式执行。然而，在第二实施例中在步骤S13的运动矢量检测处理的内容与第一实施例的不同。因此，下面将参照图8说明在第二实施例中的步骤S13的运动矢量检测处理。

运动矢量检测处理的流程

图8是示出了运动矢量检测处理的流程的流程图。

在步骤S51，局部球状运动矢量检测部分71将从输入图像缓冲器31读出的两张眼底图像(处理目标和比较目标)的各自的数据分成多个块。局部球状运动矢量检测部分71将多个块中的每一个应用于球状模型并将多个块中的每一个转换成球状块。

在步骤S52，局部球状运动矢量检测部分71设置来自处理目标眼底图像的处理目标球状块。

在步骤S53，局部球状运动矢量转换部分71执行在处理目标球状块和比较目标球状块之间的匹配。因此，在处理目标球状块中的球状运动矢量被检测出。

在步骤S54，运动矢量检测部分70确定是否所有的块都已被处理。更具体地说，运动矢量检测部分70确定与由一张处理目标眼底图像分成的所有的块对应的球状运动矢量是否都已被检测。

当并非所有的块都已被处理时，在步骤S54确定为“否”并且处理返回到步骤S52。然后，重复从步骤S52开始的处理。更具体地说，重复从步骤S52到步骤S54的循环处理，直到所有块都被处理为止。

此后，当所有的块都已被处理，在步骤S54确定为“是”并且处理继续到步骤S55。

在步骤S55，关于处理目标眼底图像，眼底运动矢量检测部分73基于多个块的各自的球状运动矢量检测整个眼底的运动矢量。

这就完成了运动矢量检测处理。

在本实施例中，块匹配是在将从处理目标眼底图像分成的处理目标块和从比较目标眼底图像分成的比较目标块已经应用到球状模型上之后执行的。因此，球状模型上的块用于处理目标眼底图像和比较目标眼底图像之间的相似度计算。因此，大体上为球状的物体的整个眼底的运动矢量能够被准确检测。由于对捕获眼底图像执行使用这一运动矢量的图像处理，所以，与第一实施例相比，生成了具有更高图像质量的眼底图像。

第三实施例

在根据第一实施例和第二实施例的运动矢量检测部分32和70中，球状模型被应用于从处理目标图像分成的处理目标块上。然而，应用球状模型的目标不限于此示例。例如，球状模型可以被应用于整个眼底图像并可以在此后执行匹配。

注意，根据第三实施例的眼底图像处理装置具有与图1所示的眼底图像处理装置10基本相同的功能和配置。因此，在下面省略了与图1所示的眼底图像处理装置10相同的部分的说明，仅将说明一个不同的部分，即运动矢量检测部分100，其与图1所示的眼底图像处理装置10的运动矢量检测部分32不同。

运动矢量检测部分100的配置示例和处理

图9是示出了运动矢量检测部分100的配置示例的框图。图10是示出了运动矢量检测部分100的具体处理的图。

如图9所示，运动矢量检测部分100包括眼底球体转换部分101、球状模型存储部分102和眼底运动矢量检测部分103。

眼底球体转换部分101从n张眼底图像111-1至111-n中的各自的数据中读出处理目标眼底图像111-i的数据和与处理目标不同的比较目标眼底图像111-j的数据，它们分别作为输入图像数据保持在输入图像缓冲器31中，如图10所示。在这里，n是等于或大于2的整数，并且表示在输入图像缓冲器31中保持的输入图像的总数。i是等于或大于1并且等于或小于n-1的整数。j是等于或大于1并且等于或小于n的整数，并且是与整数i不同的整数。例如，在本实施例中，设置为j＝i+1。

如图10所示，眼底球体转换部分101将整个处理目标眼底图像111-i应用于存储在球状模型存储部分102中的球状模型上。因此，处理目标眼底图像111-i被转换成球状模型上的眼底图像112i。注意，转换的眼底图像112i在下面被称作处理目标球状眼底图像112i。

眼底球体转换部分101也以与上述类似的方式将比较目标眼底图像111-j应用于存储在球状模型存储部分102中的球状模型。通过这样做，比较目标眼底图像111-j被转换成球状模型上的眼底图像113j。注意，转换的眼底图像113j在下面被称作比较目标球状眼底图像113j。

眼底运动矢量检测部分103在旋转球状处理目标眼底图像112i和比较目标球眼底图像113j的同时反复计算相似度。概言之，对整个球体执行块匹配。在这里，在处理目标球状眼底图像112i和比较目标球眼底图像113j之间的匹配技术不是特别限定的。

眼底运动矢量检测部分103基于在处理目标球状眼底图像112i和与处理目标球状眼底图像112i匹配(即具有最高相似度)的比较目标球状眼底图像113j之间的位置关系检测整个眼底的运动矢量114。眼底运动矢量检测部分103将在处理目标球状眼底图像112i中的整个眼底的运动矢量114提供给运动补偿部分33。

因此，如上文参照图1所述，由运动补偿部分33对处理目标眼底图像111-i的数据执行使用整个眼底的运动矢量114的运动补偿。

接着，将说明根据第三实施例的具有以这种方式配置的运动矢量检测部分100的眼底图像处理装置10的眼底图像生成处理。根据第三实施例的眼底图像生成处理按照如图4所示的流程图以与第一实施例类似的方式执行。然而，在第三实施例中在步骤S13的运动矢量检测处理的内容与第一实施例的不同。因此，下面将参照图11说明在第三实施例中的步骤S13的运动矢量检测处理。

运动矢量检测处理的流程

图11是示出了运动矢量检测处理的流程的流程图。

在步骤S71，眼底球体转换部分101从输入图像缓冲器31读出作为处理目标和比较目标的两张眼底图像的数据。

在步骤S72，眼底球体转换部分101将在步骤S71读出的处理目标整个眼底图像和比较目标整个眼底图像应用于存储在球状模型存储部分102中的球状模型。眼底球体转换部分101分别将它们转换成球状眼底图像。

在步骤S73，眼底运动矢量检测部分103执行在转换的处理目标球状眼底图像和转换的比较目标球状眼底图像之间的匹配，并检测整个眼底的运动矢量。

这就完成了运动矢量检测处理。

在本实施例中，匹配是在将处理目标整个眼底图像和比较目标整个眼底图像已经应用到球状模型上之后执行的。因此，球状模型上的整个眼底图像被用于在处理目标眼底图像和比较目标眼底图像之间的相似度计算。因此，大体上为球状的物体的整个眼底的运动矢量能够被准确检测。由于对捕获眼底图像执行使用这一运动矢量的图像处理，因此与第二实施例相比，生成了具有更高图像质量的眼底图像。

第四实施例

在根据第一实施例至第三实施例的眼底图像处理装置10中，整个眼底的运动矢量通过执行处理目标眼底图像和比较目标眼底图像之间的匹配来检测。然而，在许多情况下，眼底图像基本上在整个图像上具有大体上均匀的颜色。此外，由于照射光量减少，眼底图像趋向于相对较暗的图像。此外，由成像部分21进行的多次图像捕获是在相对较短的时间和尽可能接近对方的条件下执行的。因此，在多个眼底图像之间的运动量趋向于相对较小。此外，即使存在运动，与其它区域相比眼底图像的一些区域显示出明显大的运动也是罕见的，大体上整个图像趋向于几乎一致地运动。因此，运动矢量的检测可能变得困难。为了解决这个问题，关于整个眼底图像，可使用被拍摄主体的生物信息执行眼底图像的对准而不是检测运动矢量。

在本实施例中，例如，使用血管形状信息来作为用于眼底图像对准的被拍摄主体的生物信息。注意，被拍摄主体的生物信息并不限于此示例，它可以是任何信息。例如，可采用神经、神经乳头等的形状信息作为被拍摄主体的生物信息。此外，当器官或细胞作为被拍摄主体使用时，细胞或细胞核的形状等信息可作为被拍摄主体的生物信息被采用。此外，多个类型的生物信息(例如，血管和视神经乳头等)可以被组合和采用。

眼底图像处理装置的配置示例和处理

图12是示出了眼底图像处理装置200的配置示例的框图。

图12所示的眼底图像处理装置200具有与图1所示的眼底图像处理装置10基本相同的功能和配置。因此，在下面省略了与图1所示的眼底图像处理装置10相同的部分的说明，仅将说明一个不同的部分，即图像处理部分212，其与图1所示的眼底图像处理装置10的图像处理部分22不同。

图像处理部分212包括输入图像缓冲器221、眼底球体转换部分222、球状模型存储部分223、特征提取部分224、对准部分225、合成部分226和超分辨率处理部分227。

输入图像缓冲器221具有与图1所示的输入图像缓冲器31基本相同的功能和配置。输入图像缓冲器221保持具有低图像质量的眼底图像数据，它们是作为输入图像的各自的数据按顺序从成像部分21提供的。输入图像中的每一个的数据在预定的时间被从输入图像缓冲器221读出，并提供给眼底球体转换部分222。

眼底球体转换部分222具有与图9所示的眼底球体转换部分101基本相同的功能和配置。眼底球体转换部分222从多个眼底图像的各自的数据中读出处理目标眼底图像的数据和与处理目标不同的比较目标眼底图像的数据，它们分别作为输入图像数据保持在输入图像缓冲器221中。然后，眼底球体转换部分222将处理目标眼底图像和比较目标眼底图像应用于球状模型，该球状模型存储在球状模型存储部分223中。因此，处理目标眼底图像和比较目标眼底图像被转换成在球状模型上的眼底图像。注意，以下将转换的处理目标眼底图像称作处理目标球状眼底图像。此外，以下将转换的比较目标眼底图像称作比较目标球状眼底图像。眼底球体转换部分222将处理目标球状眼底图像和比较目标球状眼底图像提供给特征提取部分224。

特征提取部分224包括血管提取部分231和交叉点提取部分233。对准部分225包括血管对准处理部分232和交叉点对准处理部分234。特征提取部分224和对准部分225的具体处理将参照图13进行说明。

如图13所示，血管提取部分231从眼底球体转换部分222提供的处理目标球状眼底图像251和比较目标球状眼底图像252中的每一个提取诸如血管的形状和位置等的特征(处理261、262)。此时，血管提取部分231使用RGB分量的R分量以从处理目标球状眼底图像251和比较目标球状眼底图像252中的每一个提取血管，如在Katsuyoshi Tanabe、TetsuroTsubouchi、Hidenori Okuda和Masahiro Oku的《Fundus oculi imagesynthesis method using blood vessel features》(2007年)中所述的方法。血管提取部分231将诸如从处理目标球状眼底图像251和比较目标球状眼底图像252中的每一个提取的血管的形状和位置等的特征提供给血管对准处理部分232作为每一个图像的血管提取结果。

如图13所示，血管对准处理部分232使用从血管提取部分231提供的处理目标球状眼底图像251的血管提取结果和比较目标球状眼底图像252的血管提取结果执行处理目标球状眼底图像251和比较目标球状眼底图像252之间的血管对准处理(处理266)。

血管对准处理部分232将已执行血管对准处理的处理目标球状眼底图像253提供给合成部分226。注意，血管对准处理部分232的配置和处理将在下面参照图14和图15进行更详细的说明。

此外，在使用血管提取结果执行血管对准处理(处理266)之前，可使用血管交叉点的位置执行简单的对准。注意，血管交叉点是血管在眼底图像中交叉的部分(包括实际的扭转位置的情况)或血管分流的部分。

在这种情况下，如图13所示，血管提取部分231将由处理261获得的处理目标球状眼底图像251的血管提取结果提供给交叉点提取部分233。此外，如图13所示，血管提取部分231将由处理262获得的比较目标球状眼底图像252的血管提取结果提供给交叉点提取部分233。

如图13所示，交叉点提取部分233使用从血管提取部分231提供的处理目标球状眼底图像251的血管提取结果提取交叉点(处理263)。此外，交叉点提取部分233使用从血管提取部分231提供的比较目标球状眼底图像252的血管提取结果提取交叉点(处理264)。交叉点提取部分233将从处理目标球状眼底图像251和比较目标球状眼底图像252分别提取的交叉点位置提供给交叉点对准处理部分234作为交叉点提取结果。

如图13所示，交叉点对准处理部分234使用从交叉点提取部分233提供的处理目标球状眼底图像251和比较目标球状眼底图像252的各自的交叉点提取结果执行处理目标球状眼底图像251和比较目标球状眼底图像252之间的交叉点对准处理(处理265)。交叉点对准处理部分234将交叉点对准处理的结果提供给血管对准处理部分232作为交叉点对准结果。

血管对准处理部分232使用从交叉点对准处理部分234提供的交叉点对准结果作为在初始状态的球状眼底图像，并进一步使用血管提取结果对在初始状态的球状眼底图像执行血管对准处理(处理266)。更具体地说，在根据交叉点对准结果以与交叉点对准类似的方式执行对准时，血管对准处理部分232叠加各自的血管提取结果并将叠加的图像设置为初始状态。

以这种方式，血管对准处理部分232能够进一步使用血管提取结果对球状眼底图像执行对准，其中已经使用交叉点对该球状眼底图像简单地执行对准。因此，血管对准处理部分232能够更容易地和以较高速度执行对准。

进一步需要注意的是，使用其它生物信息的对准可同时采用。例如，首先，当在视神经乳头位置执行对准时，可进一步对初始状态的球状眼底图像执行使用交叉点的对准，其中使用通过叠加处理目标球状眼底图像251和比较目标球状眼底图像252得到的球状眼底图像作为初始状态的球状眼底图像。

当已经进行对准的多个球状眼底图像的所有数据都从血管对准处理部分232提供时，合成部分226合成多个球状眼底图像的各自的数据，从而生成一张眼底图像的数据。合成部分226将生成的数据提供给超分辨率处理部分227。

超分辨率处理部分227对由合成部分226合成的眼底图像的数据执行超分辨率处理，从而生成具有比合成时更高的分辨率的眼底图像的数据。由超分辨率处理部分227以这种方式生成的高分辨率眼底图像的数据被存储在存储部分23中或者从输出部分24输出。

接下来，将详细说明血管对准处理部分232的配置和处理。

血管对准处理部分的配置示例和处理

图14是示出了血管对准处理部分232的配置示例的图。图15是示出了血管对准处理部分232的具体处理的图。

如图14所示，血管对准处理部分232包括叠加处理部分271、移位(shift)处理部分272、拉伸(stretch)处理部分273、旋转处理部分274、放大/缩小处理部分275、收敛确定部分276和调节部分277。

叠加处理部分271叠加从血管提取部分231提供的处理目标球状眼底图像251和比较目标球状眼底图像252的各自的血管提取结果。当执行使用交叉点的对准时，叠加处理部分271叠加各自的血管提取结果，同时使用从交叉点对准处理部分234提供的交叉点对准结果以与交叉点对准类似的方式执行对准。叠加处理部分271将叠加结果提供给移位处理部分272。注意，血管对准处理部分232执行对准，以使血管提取结果292接近血管提取结果291。

如图15所示，移位处理部分272执行垂直/水平移位281，使得整个血管提取结果292在如垂直方向或水平方向的给定方向上移动(移位)。移位处理部分272在血管提取结果292最大程度接近于血管提取结果291的状态下将叠加结果提供给拉伸处理部分273。任何方法都能够用来确定血管提取结果291和血管提取结果292相互是怎样接近的，例如在两个图像的绝对值之间的差值能够用于确定。更具体地说，移位处理部分272使得整个血管提取结果292移动(移位)并搜索血管提取结果291和血管提取结果292的绝对值之间的差值最小的位置。这一确定方法还适用于以下的处理部分。

如图15所示，拉伸处理部分273执行在诸如垂直方向或水平方向的给定方向上的拉伸(变形)血管提取结果291的垂直/水平拉伸282。拉伸处理部分273在血管提取结果292最大程度地接近血管提取结果291的状态下将叠加结果提供给旋转处理部分274。例如，拉伸处理部分273在给定方向上拉伸(变形)血管提取结果292并搜索使得血管提取结果291和血管提取结果292的绝对值之间的差值最小的形状。

如图15所示，旋转处理部分274执行在左右方向上旋转血管提取结果292的旋转283并在血管提取结果292最大程度地接近血管提取结果291的状态下将叠加结果提供给放大/缩小处理部分275。例如，旋转处理部分274在左右方向上旋转血管提取结果292并搜索血管提取结果291和血管提取结果292的绝对值之间的差值最小的方向。

如图15所示，放大/缩小处理部分275执行放大或缩小血管提取结果292的放大/缩小284，并在血管提取结果292最大程度地接近血管提取结果291的状态下将叠加结果提供给收敛确定部分276。例如，放大/缩小处理部分275放大或缩小血管提取结果292并搜索使得血管提取结果291和血管提取结果292的绝对值之间的差值最小的尺寸。

收敛确定部分276基于所提供的叠加结果确定对准是否已收敛。例如，收敛确定部分276使得上述处理中的每一个反复执行，并将这次得到的对准结果与前一次的对准结果进行比较。当血管提取结果292比前一次更接近血管提取结果291时，收敛确定部分276确定对准还未收敛。当血管提取292的结果没有比前一次更接近血管提取结果291时(例如，在血管提取结果291和血管提取结果292的绝对值之间的差值不小于前一次时)，收敛确定部分276确定对准已收敛。

当确定对准还未收敛时(例如，在血管提取结果291和血管提取结果292的绝对值之间的差值小于前一次时)，收敛确定部分276将叠加结果返回移位处理部分272并使得再次执行对准。

当确定对准已收敛时，调节部分277基于直到前一次为止得到的累积收敛结果执行对准的调节。例如，假设时间递增顺序的第一眼底图像至第五眼底图像是通过连续执行五次捕获所获得的图像。在这种情况下，当第五眼底图像被设置为处理目标时，第四眼底图像被用来作为比较对象。注意，收敛结果是执行对准使第五眼底图像接近第四眼底图像的结果。概言之，在完成收敛时的阶段，第五眼底图像已仅接近第四眼底图像。然而，在将在后面介绍的合成部分266中，使得第五眼底图像接近第一眼底图像而获得的图像(对准图像)被用来作为合成目标。因此，使直接在收敛后的图像(即，使得第五眼底图像接近第四眼底图像而得到的图像(对准图像))进一步接近第一眼底图像是必要的(即，调节对准是必要的)。

为了使第四眼底图像接近第一眼底图像(即，为了执行对准的调节)，需要使用直到前一次为止得到的累积收敛结果。具体地说，调节对准以使第四眼底图像接近第一眼底图像是通过累积地使用使得第五眼底图像接近第四眼底图像得到的收敛结果(最后的收敛结果)、使得第四眼底图像接近第三眼底图像得到的收敛结果(倒数第二个收敛结果)、使得第三眼底图像接近第二眼底得到的收敛结果(倒数第三个收敛结果)和使得第二眼底图像接近第一眼底图像得到的收敛结果(倒数第四个收敛结果)执行的。注意，调节对准的顺序不限于此示例。相反，可执行对准的调节以使多个眼底图像接近第五眼底图像。调节部分277将已对准的处理目标球状眼底图像293提供给合成部分226。

注意，在上面的说明中，作为对准的具体示例，以这个顺序执行4个处理步骤，即垂直/水平移位281、垂直/水平拉伸282、旋转283和放大/缩小284。然而，这只是一个示例，可进一步执行上述步骤之外的处理步骤，或者可以省略以上所述的处理步骤的一部分。另外，在多个处理步骤如上所述执行时，处理顺序能够按期望来设置。

此外，特征提取部分224和对准部分225可使用边缘部分的直方图执行对准，如例如在Serge Belongie、Jitendra Malik和Jan Puzicha的《ShapeMatching and Object Recognition Using Shape Contexts》(2002年)中所描述的。

此外，任何方法都能够用来确定对准是否已收敛，并且在上面描述的之外的方法可以使用。例如，在血管提取结果291和血管提取结果292的绝对值之间的差值等于或小于预定阈值时，可确定对准已收敛。

注意，使用血管的交叉点的对准也以与使用整个血管的对准基本相同的方式执行。换句话说，交叉点对准处理部分234具有与血管对准处理部分232基本相同的配置，并基本上执行相同的处理，唯一的区别在于用来执行对准的生物信息是整个血管的形状或还是血管的交叉点。

如上所述，由于眼底图像是活体的图像，因此眼底图像处理装置200使用了图像的特征并从而使用包括在眼底图像中的生物信息执行整个图像的对准。通过这样做，眼底图像处理装置200能够更容易地实现更准确的对准。

上面参照图12至图15说明了眼底图像处理装置200的配置。接下来，将参照图16说明由以这种方式配置的眼底图像处理装置200执行的眼底图像生成处理。

眼底图像生成处理的流程

图16是示出了眼底图像生成处理的流程的流程图；

在步骤S91，成像部分21减少光量并多次捕获测试主体的眼底图像。注意，如上所述，由成像部分21进行的眼底的图像捕获可执行多次以获得静止图像或者可执行一次以获得运动图像。

在步骤S92，图像处理部分212使得输入图像缓冲器221存储由步骤S91的处理所获得的具有低图像质量的多个眼底图像的数据。

在步骤S93，眼底球体转换部分222从输入图像缓冲器221读出作为处理目标和比较目标的两张眼底图像的数据。

在步骤S94，眼底球体转换部分222将在步骤S93读出的整个处理目标眼底图像和整个比较目标眼底图像应用于存储在球状模型存储部分223中的球状模型，并分别将其转换成处理目标球状眼底图像和比较目标球状眼底图像。

在步骤S95，血管提取部分231从处理目标球状眼底图像提取血管的形状和位置。提取的血管的形状和位置作为血管提取结果被提供给血管对准处理部分232。

在步骤S96，血管提取部分231从比较目标球状眼底图像提取血管的形状和位置。提取的血管的形状和位置作为血管提取结果被提供给血管对准处理部分232。

在步骤S97，特征提取部分224确定是否执行交叉点对准。

当不执行交叉点对准时，在步骤S97确定为“否”并且处理继续到步骤S101。注意，后面将介绍从步骤S101开始的处理。

另一方面，在要执行交叉点对准时，在步骤S97确定为“是”并且处理继续到步骤S98。在这种情况下，血管提取部分231将在步骤S95和S96提取的血管提取结果提供给交叉点提取部分233。

在步骤S98，交叉点提取部分233使用处理目标球状眼底图像的血管提取结果来提取交叉点。所提取的交叉点的位置作为交叉点提取结果被提供给交叉点对准处理部分234。

在步骤S99，交叉点提取部分233使用比较目标球状眼底图像的血管提取结果提取交叉点。所提取的交叉点的位置作为交叉点提取结果被提供给交叉点对准处理部分234。

在步骤S100，交叉点对准处理部分234使用在步骤S98和步骤S99提供的交叉点提取结果执行在处理目标球状眼底图像251和比较目标球状眼底图像252之间的交叉点对准处理。

注意，在步骤S100的交叉点对准处理是以与将参照图17在下面描述的血管对准处理相同的方式执行的，只不过是将血管的交叉点而不是整个血管用于对准。因此，此处省略了对步骤S100的交叉点对准处理的说明，以避免重复。

在步骤S101，血管对准处理部分232执行血管对准处理。更具体地说，关于已使用交叉点简单对准的球状眼底图像，血管对准处理部分232进一步使用血管提取结果执行血管对准。在步骤S101的血管对准处理将在后面参照图17详细描述。

在步骤S102，图像处理部分212确定是否眼底图像的所有数据已被设置为处理目标。

当并非眼底图像的所有数据都被设置为处理目标时，步骤102确定为“否”并且处理返回到步骤S93。然后，重复从步骤S93开始的处理。更具体地说，重复从步骤S93到步骤S102的循环处理，直到眼底图像的所有数据都被设置为处理目标为止。

在那之后，当眼底图像的所有数据都已被设置为处理目标，在步骤102中确定为“是”并且处理继续到步骤S103。

在步骤S103，合成部分226合成已对准的多个球状眼底图像的数据。作为结果，生成一张眼底图像的数据。

在步骤S104，超分辨率处理部分227对眼底图像的合成数据执行超分辨率处理。作为结果，生成具有比在步骤S103的合成时更高的分辨率的眼底图像的数据。

在步骤S105，图像处理部分212使得存储部分23存储已对其执行超分辨率处理的眼底图像的数据或者使得输出部分24输出数据。

这就完成了眼底图像生成处理。接下来，将说明在步骤S101的血管对准处理。

血管对准处理的流程

图17是示出了在图16所示的步骤S101的血管对准处理的流程的流程图。

在步骤S111，叠加处理部分271确定是否已执行交叉点对准。

当已执行交叉点对准时，在步骤S111确定为“是”并且处理继续到步骤S112。

在步骤S112，叠加处理部分271设置交叉点对准结果作为叠加结果。按照叠加结果，叠加处理部分271叠加从血管提取部分231提供的处理目标球状眼底图像和比较目标球状眼底图像的各自的血管提取结果。

另一方面，当交叉点对准尚未执行时，在步骤S111确定为“否”并且处理继续到步骤S113。

在步骤S113，叠加处理部分271叠加处理目标球状眼底图像和比较目标球状眼底图像的各自的血管提取结果。

在步骤S114，移位处理部分272执行移位处理目标球状眼底图像的血管提取结果的移位对准。

在步骤S115，拉伸处理部分273执行拉长和缩短处理目标球状眼底图像的血管提取结果的拉伸对准。

在步骤S116，旋转处理部分274执行旋转处理目标球状眼底图像的血管提取结果的旋转对准。

在步骤S117，放大/缩小处理部分275执行放大或缩小处理目标球状眼底图像的血管提取结果的放大/缩小对准。

在步骤S118，收敛确定部分276确定对准是否已收敛。

当对准尚未收敛时，在步骤S118确定为“否”并且处理返回到步骤S114。然后，重复从步骤S114开始的处理。更具体地说，重复从步骤S114到步骤S118的循环处理，直到对准收敛为止。

在那之后，当对准已收敛时，在步骤S118确定为“是”并且处理继续到步骤S119。

在步骤S119中，调节部分277基于直到前一次为止得到的累积收敛结果调节对准。作为结果，对准的处理目标球状眼底图像被输出到合成部分226。

这就完成了血管对准处理，并且处理继续到图16所示的步骤S102。

以这种方式，使用被拍摄主体的生物信息执行眼底图像的对准。因此，即使在难以检测出运动矢量的情况下，也能得到更高质量的眼底图像而同时减少测试主体的负担。

注意，在上述的示例中使用的球状模型可以根据每一个测试主体的条件(如眼轴长度、视力等)切换到每一个测试主体的合适的球状模型。

此外，眼底并不是完美的球体。因此，也能够对不能使用球状模型近似球体的区域执行掩膜处理，使得该区域不用于匹配处理或对准处理。

[本技术的程序的应用]

以上所述的一系列处理能够通过硬件执行，也能够通过软件执行。

在这种情况下，例如图18所示的个人计算机可作为上述图像处理装置的至少一部分使用。

在图18中，CPU 301按照存储在ROM 302中的程序执行各种类型的处理。此外，CPU 301按照从存储部分308加载到RAM303的程序执行各种类型的处理。CPU 301执行各种类型的处理所需的数据等也适当地存储在RAM 303中。

CPU 301、ROM 302和RAM 303通过总线304相互连接。输入输出(I/O)接口305也连接到总线304上。

由键盘、鼠标等形成的输入部分306和由显示器等形成的输出部分307连接到I/O接口305。此外，由硬盘等形成的存储部分308以及由调制解调器和终端适配器等形成的通信部分309连接到I/O接口305。通信部分309通过包括互联网在内的网络控制执行的与另一个装置(在附图中未示出)的通信。

此外，根据需要将驱动器310连接到I/O接口305。适当地附上由磁盘、光盘、磁光盘、半导体存储器等形成的可移除介质311。然后，根据需要将从可移除介质311读取的计算机程序安装在存储部分308中。

当由软件执行一系列的处理时，将形成软件的程序从网络或记录介质安装到纳入专用硬件的计算机，或者安装到例如可通过安装各种类型的程序执行各种类型的功能的通用个人计算机上。

包括这种类型的程序的记录介质不单由如图18所示与装置主体分开分布以将程序提供给用户的可移除介质(封装介质)311形成，还由在其中记录程序并且以提前纳入在装置主体中的状态提供给用户的ROM 302、包括在存储部分308中的硬盘等形成。可移除介质311是由在其中记录程序的磁盘(包括软盘)、光盘(包括只读存储光盘(CD-ROM)和数字通用光盘(DVD))、磁光盘(包括小型磁盘(MD))、半导体存储器等形成。

注意，在本说明书中，将要记录的程序写入记录介质中的步骤不一定要在时间序列上按步骤的顺序进行，而是可包括并行或单个执行的处理。

应理解的是，本领域的技术人员可根据设计要求和其它因素作出各种修改、组合、子组合和更改，只要它们是在权利要求或其等效内容的范围内。

此外，本技术也可配置如下。

(1)一种图像处理装置，包括：

运动矢量检测部分，其执行大体上为球状的被拍摄主体的比较，使得在包括被拍摄主体的多个捕获图像中，使用多个捕获图像中的每一个作为处理目标来比较作为处理目标的一个图像和作为比较目标的另一个图像，并且其检测关于处理目标的整个三维球状模型的运动矢量；

运动补偿部分，其基于由运动矢量检测部分检测到的多个捕获图像中的每一个的运动矢量来执行处理目标的运动补偿；以及

合成部分，其合成作为由运动补偿部分执行运动补偿的结果所得到的捕获图像中的每一个。

(2)根据(1)所述的图像处理装置，

其中，关于从处理目标分成的多个块中的每一个，运动矢量检测部分通过执行与比较目标的块匹配来检测局部运动矢量，并且

其中，关于处理目标，运动矢量检测部分使用多个块中的每一个的局部运动矢量检测整个三维球状模型的运动矢量。

(3)根据(1)或(2)所述的图像处理装置，

其中，运动矢量检测部分将关于在处理目标中的多个块中的每一个的局部运动矢量转换成在三维球状模型中的局部球状运动矢量，并且

其中，运动矢量检测部分使用多个块中的每一个的局部球状运动矢量来检测关于处理目标的整个三维球状模型的运动矢量。

(4)根据(1)、(2)或(3)的图像处理装置，

其中，运动矢量检测部分将在处理目标中的多个块中的每一个转换成在三维球状模型中的多个球状块；

其中，关于多个球状块中的每一个，运动矢量检测部分通过执行与比较目标的块匹配来检测出一个局部球状运动矢量作为局部运动矢量，并且

其中，运动矢量检测部分使用多个球状块中的每一个的局部球状运动矢量来检测关于处理目标的整个三维球状模型的运动矢量。

(5)根据(1)至(4)中任一项所述的图像处理装置，

其中，运动矢量检测部分将处理目标和比较目标中的每一个转换成在三维球状模型中的球状图像，

其中，运动矢量检测部分执行处理目标的球状图像和比较目标的球状图像之间的匹配，并从而检测关于处理目标的整个三维球状模型的运动矢量。

(6)根据(1)至(5)中任一项所述的图像处理装置，

其中被拍摄主体是眼底。

(7)根据(1)至(6)中任一项所述的图像处理装置，

其中三维球状模型按照被拍摄主体的状况被切换和使用。

(8)一种图像处理装置，包括：

转换部分，其使用多个捕获图像中的每一个作为处理目标，在包括大体上为球状的被拍摄主体的多个捕获图像中将作为处理目标的一个图像和作为比较目标的另一个图像转换成三维球状模型上的球状图像；

提取部分，其提取处理目标的球状图像和比较目标的球状图像中的每一个的特征；

对准部分，其对准特征的位置，使得特征相互匹配；以及

合成部分，其合成作为由对准部分执行的对准的结果所得到的捕获图像中的每一个。

(9)根据(8)所述的图像处理装置，

其中，血管形状被用作特征。

(10)根据(8)或(9)所述的图像处理装置，

其中，被拍摄主体是眼底。

(11)根据(8)、(9)或(10)所述的图像处理装置，

其中三维球状模型按照被拍摄主体的状况被切换和使用。

本技术能够应用到图像处理装置。

本公开包含与在2011年8月31日提交日本专利局的日本优先权专利申请JP 2011-188277中的公开内容有关的主旨，并通过引用将其全部内容并入本文。

Claims (17)

1.一种图像处理装置，包括：

运动矢量检测部分，其执行大体上为球状的被拍摄主体的比较，使得在包括所述被拍摄主体的多个捕获图像中，使用所述多个捕获图像中的每一个作为处理目标来比较作为所述处理目标的一个图像和作为比较目标的另一个图像，并且其检测关于所述处理目标的整个三维球状模型的运动矢量；

运动补偿部分，其基于由所述运动矢量检测部分检测到的所述多个捕获图像中的每一个的所述运动矢量来执行所述处理目标的运动补偿；以及

合成部分，其合成作为由所述运动补偿部分执行运动补偿的结果所得到的所述多个捕获图像中的每一个。

2.根据权利要求1所述的图像处理装置，

其中，关于从所述处理目标分成的多个块中的每一个，所述运动矢量检测部分通过执行与所述比较目标的块匹配来检测局部运动矢量，并且

其中，所述运动矢量检测部分使用所述多个块中的每一个的所述局部运动矢量检测关于所述处理目标的所述整个三维球状模型的所述运动矢量。

3.根据权利要求2所述的图像处理装置，

其中，所述运动矢量检测部分将关于在所述处理目标中的所述多个块中的每一个的所述局部运动矢量转换成在所述三维球状模型中的局部球状运动矢量，并且

其中，所述运动矢量检测部分使用所述多个块中的每一个的所述局部球状运动矢量来检测关于所述处理目标的所述整个三维球状模型的所述运动矢量。

4.根据权利要求2所述的图像处理装置，

其中，所述运动矢量检测部分将在所述处理目标中的所述多个块中的每一个转换成在所述三维球状模型中的多个球状块，

其中，关于所述多个球状块中的每一个，所述运动矢量检测部分通过执行与所述比较目标的块匹配来检测出局部球状运动矢量作为所述局部运动矢量，并且

其中，所述运动矢量检测部分使用所述多个球状块中的每一个的所述局部球状运动矢量来检测关于所述处理目标的所述整个三维球状模型的所述运动矢量。

5.根据权利要求1所述的图像处理装置，

其中，所述运动矢量检测部分将所述处理目标和所述比较目标中的每一个转换成在所述三维球状模型中的球状图像，

其中，所述运动矢量检测部分执行所述处理目标的球状图像和所述比较目标的球状图像之间的匹配，并从而检测关于所述处理目标的所述整个三维球状模型的所述运动矢量。

6.根据权利要求1所述的图像处理装置，

其中所述被拍摄主体是眼底。

7.根据权利要求6所述的图像处理装置，

其中所述三维球状模型按照所述被拍摄主体的条件被切换和使用。

8.一种图像处理方法，包括：

执行大体上为球状的被拍摄主体的比较，使得在包括所述被拍摄主体的多个捕获图像中，使用所述多个捕获图像中的每一个作为处理目标来比较作为所述处理目标的一个图像和作为比较目标的另一个图像，并且检测关于所述处理目标的整个三维球状模型的运动矢量；

基于由所述运动矢量检测步骤的处理检测到的所述多个捕获图像中的每一个的所述运动矢量来对所述处理目标执行运动补偿；以及

合成作为由所述运动补偿步骤的处理执行的运动补偿的结果所得到的所述捕获图像中的每一个。

9.一种存储程序的记录介质，包括：

执行大体上为球状的被拍摄主体的比较，使得在包括所述被拍摄主体的多个捕获图像中，使用所述多个捕获图像中的每一个作为处理目标来比较作为所述处理目标的一个图像和作为比较目标的另一个图像，并且检测关于所述处理目标的整个三维球状模型的运动矢量；

基于所述多个捕获图像中的每一个的所述运动矢量对所述处理目标执行运动补偿；以及

合成作为所述运动补偿的结果所得到的所述捕获图像中的每一个。

10.一种使得计算机执行控制处理的程序，该控制处理包括：

执行大体上为球状的被拍摄主体的比较，使得在包括所述被拍摄主体的多个捕获图像中使用所述多个捕获图像中的每一个作为所述处理目标来比较作为处理目标的一个图像和作为比较目标的另一个图像，并且检测关于处理目标的整个三维球状模型的运动矢量；

基于所述多个捕获图像中的每一个的所述运动矢量执行所述处理目标的运动补偿；以及

合成作为所述运动补偿的结果所得到的所述捕获图像中的每一个。

11.一种图像处理装置，包括：

转换部分，其使用多个捕获图像中的每一个作为处理目标，在包括大体上为球状的被拍摄主体的多个捕获图像中将作为处理目标的一个图像和作为比较目标的另一个图像转换成三维球状模型上的球状图像；

提取部分，其提取所述处理目标的球状图像和所述比较目标的球状图像中的每一个的特征；

对准部分，其对准所述特征的位置，使得所述特征相互匹配；以及

合成部分，其合成作为由所述对准部分执行的所述对准的结果所得到的所述捕获图像中的每一个。

12.根据权利要求11所述的图像处理装置，

其中，血管形状被用作所述特征。

13.根据权利要求12所述的图像处理装置，

其中，所述被拍摄主体是眼底。

14.根据权利要求11所述的图像处理装置，

其中，所述三维球状模型按照所述被拍摄主体的条件被切换和使用。

15.一种图像处理方法，包括：

使用所述多个捕获图像中的每一个作为处理目标，在包括大体上为球状的被拍摄主体的多个捕获图像中将作为处理目标的一个图像和作为比较目标的另一个图像转换成三维球状模型上的球状图像；

提取所述处理目标的球状图像和所述比较目标的球状图像中的每一个的特征；

对准所述特征的位置，使得所述特征相互匹配；以及

合成作为由所述对准步骤的处理执行的所述对准的结果所得到的所述捕获图像中的每一个。

16.一种存储程序的记录介质，包括：

使用所述多个捕获图像中的每一个作为处理目标，在包括大体上为球状的被拍摄主体的多个捕获图像中将作为处理目标的一个图像和作为比较目标的另一个图像转换成三维球状模型上的球状图像；

提取所述处理目标的球状图像和所述比较目标的球状图像中的每一个的特征；

对准所述特征的位置，使得所述特征相互一致；以及

合成作为所述对准的结果所得到的所述捕获图像中的每一个。

17.一种使得计算机执行控制处理的程序，该控制处理包括：

使用所述多个捕获图像中的每一个作为处理目标，在包括大体上为球状的被拍摄主体的多个捕获图像中将作为处理目标的一个图像和作为比较目标的另一个图像转换成三维球状模型上的球状图像；

提取所述处理目标的球状图像和所述比较目标的球状图像中的每一个的特征；

对准所述特征的位置，使得所述特征相互一致；以及

合成作为所述对准的结果所得到的所述捕获图像中的每一个。

Images