CN102129703A - 信息处理设备、信息处理方法及其程序 - Google Patents

Abstract

本发明涉及信息处理设备、信息处理方法及其程序。一种信息处理设备，包括生成部、选择部、匹配处理部和计算部。生成部生成通过将源图像的连接区域分割为多个区域而获得的源图像块和通过将模板图像的连接区域分割为多个区域而获得的模板图像块，模板图像的连接区域重叠在源图像的连接区域上。选择部基于每个模板图像块的亮度信息选择作为分别被进行匹配处理的对象的目标图像块。匹配处理部分计算作为对应于目标图像块的图像的对应图像块和目标图像块的相对位置信息。计算部基于相对位置信息，计算源图像的连接区域和模板图像的连接区域的相对位置偏移信息。

Description

信息处理设备、信息处理方法及其程序

技术领域

本发明涉及能够组合多个图像的信息处理设备、信息处理方法及其程序。

背景技术

过去，存在已知的将多个具有物理连续信息的图像连接起来的拼接技术(stitching technique)，拼接技术用于全景摄影、显微图像的拍摄等。在拼接技术中，适当设置将被彼此连接的多个图像之间的相互位置关系是非常重要。

在多个图像彼此重叠的整个区域上进行诸如模板匹配的处理，从而，计算用来设定将被连接的多个图像之间的最佳相互位置关系的偏离值。

另外，例如，公开号为Hei 09-91410的日本专利申请(下文中称作专利文献1，参见第[0054]到[0071]段，图10和图11等)公开了一种全景图像合成系统，其中连接多个图像的合成参数设置如下。首先，如专利文献1的图11所示，将被连接的两个图像91和92的重合点(coincidence point)由用户分别指定为用户指定点93和94。接着，在图像92上以用户指定点94为中心定义搜索范围95；然后，以图像91上的用户指定点93作为中心切出一个模板图像，叠加在搜索范围95内，从而计算一个像素单元内的差值。差值总和为最小值的点被计算作为图像91和92之间的实际对应点，基于计算出的实际对应点来计算上述合成参数。

发明内容

然而，在多个图像彼此重叠的整个区域上执行上述处理的情况下，计算量增大并且图像合成所需的处理时间周期变长。此外，在专利文献1所公开的全景图像合成系统中，用户指定用户指定点，基于用户指定点计算图像91和92之间的实际对应点，因此，增加了用户的负担。

考虑到上述情况，期望提供能够在短的处理时间周期内连接多个图像并能减轻用户负担的信息处理设备、信息处理方法和相应的程序。

根据本发明的实施方式，提供了一种包含生成装置、选择装置、匹配处理装置和计算装置的信息处理设备。

生成装置生成多个源图像块和多个模板图像块，其中，通过将源图像的连接区域分割成多个区域来获得多个源图像块，通过将模板图像的连接区域分割成多个区域来获得多个模板图像块，所述模板图像的连接区域重叠在所述源图像的连接区域上。

选择装置基于由生成装置生成的每个模板图像块的亮度信息，选择作为分别被进行匹配处理的对象的多个目标图像块。

匹配处理装置通过对对应图像块和多个目标图像块进行匹配处理，计算对应图像块和目标图像块的相对位置信息，其中，对应图像块是生成装置所生成的多个源图像块中对应于选择装置所选择的多个目标图像块的图像。

计算装置基于由匹配处理装置计算的相对位置信息，计算源图像的连接区域和模板图像的连接区域的相对位置偏移信息。

在信息处理设备中，将源图像的连接区域和将要重叠在其上的模板图像的连接区域都分割成多个区域，从而生成多个源图像块和多个模板图像块。然后，从多个模板图像块中选择目标图像块，计算目标图像块与对应图像块之间的相对位置信息。基于所述位置信息，计算源图像连接区域和模板图像连接区域的相对位置偏移信息。从而，对彼此叠加的整个连接区域的匹配处理以及由用户对重合点的指定是不必要的，结果，用户可以很小的负担在较短的处理时间内将源图像1和模板图像2适当地连接。

生成装置可以生成与多个源图像块对应且尺寸小于多个源图像块的多个模板图像块。

在这种情况下，匹配处理装置可以根据各个对应图像块中的各个目标图像块的位置生成基于各个对应图像块的亮度信息和各个目标图像块的亮度信息的相关系数以执行匹配处理，并计算所生成的相关系数作为相对位置信息。

此外，计算装置可以通过累加目标图像块的相关系数来计算相对位置偏移信息，所述相关系数由匹配处理装置来计算。

在信息处理装置中，作为对应图像块和目标图像块的相对位置信息，计算了相关系数。将相关系数累加，结果，可以预测源图像的连接区域与模板图像连接区域的相对位置偏移信息，从而可以在短的时间周期内计算具有高精度的位置偏移信息。

计算装置可以通过累加目标图像块的相关系数生成临时位置偏移信息，并且当包含在预先设定的容限内的临时位置偏移信息被连续生成预定次数时，计算包含在容限内的临时位置偏移信息作为相对位置偏移信息。

在信息处理设备中，相关系数累加，结果，生成临时位置偏移信息。当生成的临时位置偏移信息满足上述条件时，将临时位置偏移信息计算作为最终的位置偏移信息。通过适当设置上述条件，可以适当地设置计算的位置偏移信息的精度、处理时间周期等。

选择装置可以计算每个模板图像块的亮度值的标准偏差值，并且选择标准偏差值等于或大于预定阈值的模板图像块作为目标图像块。

通过基于标准偏差值选择目标图像块，可以选择匹配处理的最优目标图像块。从而，计算出具有高可靠性的位置信息，结果，可以在短的时间周期内精确地计算位置偏移信息。

选择装置可以将表示通过匹配处理装置执行匹配处理的优先级别的第一优先级赋予具有第一标准偏差值的模板图像块，将优先级别低于第一优先级的第二优先级赋予标准偏差值小于第一标准偏差值的模板图像块，并选择被赋予第一优先级的模板图像块和被赋予第二优先级的模板图像块作为目标图像块。

从而，首先选择了具有高可靠性的位置信息，结果，可以在短的时间周期内精确计算位置偏移信息。

选择装置可以选择第一模板图像块和第二模板图像块作为目标图像块，所述第二模板图像块在模板图像的连接区域中与所述第一模板图像块相隔预定距离或更大。

在信息处理设备中，选择板图像的连接区域中彼此相隔预定距离或更大的第一模板图像块和第二模板图像块作为目标图像块。因此，在连接区中，计算了位置信息而无位置偏移。结果，可以基于计算的位置信息精确地计算位置偏移信息。

根据本发明的实施方式，提供了一种由信息处理设备执行的信息处理方法，该信息处理方法包括以下步骤：

具体地，信息处理设备生成多个源图像块和多个模板图像块，其中，通过将源图像的连接区域分割成多个区域来获得多个源图像块，通过将模板图像的连接区域分割成多个区域来获得多个模板图像块，所述模板图像的连接区域重叠在所述源图像的连接区域上。

基于生成的每个模板图像块的亮度信息将多个目标图像块选择作为分别被进行匹配处理的对象。

通过对对应图像块和多个目标图像块进行匹配处理，计算对应图像块和目标图像块的相对位置信息，其中，对应图像块是所生成的源图像块中对应于所选择的目标图像块的图像。

基于计算的相对位置信息，计算源图像的连接区域和模板图像的连接区域的相对位置偏移信息。

根据本发明的实施方式，提供了一种使得信息处理设备执行上述信息处理方法的程序，该程序可以记录在记录介质中。

根据本发明的实施方式，提供了一种信息处理设备，该信息处理设备包括生成部、选择部、匹配处理部和计算部。

生成部被配置为生成多个源图像块和多个模板图像块，其中，通过将源图像的连接区域分割成多个区域来获得多个源图像块，通过将模板图像的连接区域分割成多个区域来获得多个模板图像块，所述模板图像的连接区域重叠在所述源图像的连接区域上。

选择部被配置为基于由生成部生成的每个模板图像块的亮度信息，选择作为分别被进行匹配处理的对象的多个目标图像块。

匹配处理部被配置为通过对对应图像块和多个目标图像块进行匹配处理，计算对应图像块和目标图像块的相对位置信息，其中，对应图像块是生成部所生成的多个源图像块中对应于选择部所选择的多个目标图像块的图像。

计算部被配置为基于由匹配处理部计算的相对位置信息，计算源图像的连接区域和模板图像的连接区域的相对位置偏移信息。

如上所述，根据本发明的实施方式，可以使得用户以很小的负担在较短的处理时间内将多个图像彼此连接。

通过下面的最佳实施方式的详细描述(如附图中所示)，本发明的各种发明这些和其他的目的、特点和优点将变得显而易见。

图说明

图1是根据本发明的第一实施方式的包含至少一个信息处理设备的信息处理系统的结构框图；

图2A和图2B是用来说明用于数字图像的拼接处理的示意图，其中，说明了根据第一实施方式的PC的操作；

图3是示出了根据第一实施方式的PC处理的概述的流程图；

图4是示出了图3中所示的各处理的具体算法的流程图；

图5是示出了根据第一实施方式的源图像模块和模板图像模块的示图；

图6是根据第一实施方式的用来说明选择目标图像模块的方法示图；

图7是根据第一实施方式的用来具体说明目标图像模块和对应图像模块的匹配处理的示图；

图8是根据第一实施方式的用来说明累加结果映射和累加偏离值的示图；

图9A至9C是根据第一实施方式的用来说明用于判断累加偏离值的稳定性的参数的示图；

图10是示出根据本发明第二实施方式的作为信息处理设备的PC的处理的概述的流程图；

图11是示出图10中所示的各处理的具体算法的流程图；

图12A和12B是用来说明图10中所示的统计值管理的处理的示图；

图13A至图13C是示出根据第二实施方式拼接处理的处理结果以及作为比较实例的拼接处理的处理结果的示图；

图14A和图14B是示出第二实施方式拼接处理和作为比较实例的拼接处理之间的差别的示图。

具体实施方式

下文中，将参照附图描述本发明的实施方式。

(第一实施方式)

[信息处理设备的结构]

图1是根据本发明第一实施方式的至少包含一个信息处理设备的信息处理系统的结构框图。作为信息处理设备，例如使用PC(个人计算机)100。

计算机100包括CPU(中央处理器)101、ROM(只读存储器)102、RAM(随机存取存储器)103、输入/输出接口105和连接这些组件的总线104。

显示单元106、输入单元107、存储单元108、通信单元109、驱动单元110等连接到输入/输出接口105。

显示单元106是使用(例如)液晶、EL(电致发光)或CRT(阴极射线管)的显示装置。

输入单元107例如是定点装置(pointing device)、键盘、触摸面板或者其他操作设备。当输入单元107包括触摸面板时，触摸面板可以与显示单元106集成在一起。

存储单元108是诸如HDD(硬盘驱动)、闪存和其他固态存储器的非易失性存储器件。

驱动单元110是能够驱动可移动记录介质111(诸如光学记录介质、软盘(注册商标)、磁带和闪存)的装置。与其相对，存储单元108通常用作主要驱动不可移动的记录介质的装置，并且其预先被结合在PC100中。

通信单元109是调制解调器、路由器或其他能连接到LAN(局域网)、WAN(广域网)等的通信装置，并用于与其他装置通信。通信单元109可以执行无线或有线通信。在许多情况下，通信单元109独立于计算机100使用。

(信息处理设备的操作)

为了描述本实施方式的计算机100的操作，首先将描述用于数字图像的拼接处理。图2是用来说明拼接处理的示图。

如图2A和2B所示，拼接处理是将具有物理连续信息的源图像1和模板图像2适当地连接的处理。源图像1具有作为连接区域的重合图像A，模板图像2具有作为连接区域的重合图像B。连接源图像1和模板图像2使得重合图像A和重合图像B彼此重叠。

图2A示出了重合图像A和重合图像B作为图像数据彼此完全相同的情况。在这种情况下，重合图像A和B彼此重叠，它们的相对位置没有偏移，从而，源图像1和模板图像2适当地彼此连接。因此，重合图像A和B之间的相对位置偏移信息，即图2中示出的在x和y方向上的偏离值为(0，0)。

图2B示出了重合图像A和B作为图像数据彼此不完全相同的情况。例如，由于在拍摄源图像1和模板图像2时的拍摄误差、拍摄图像时的时间差等，出现了图2B中所示的状态。在这种情况下，如果不考虑重合图像A和B之间的相对位置偏移，源图像1和模板图像2就不能适当地彼此连接。在图2B中，偏离值是(4，7)，重合图像B相对于重合图像A在x方向上偏移4(像素)，在y方向上偏移7(像素)，从而彼此重叠。因此，源图像1和模板图像2适当地彼此连接。

通过本实施方式的PC 100来计算上述偏离值，下面将详细描述PC100的操作。

图3是示出了根据该实施方式的作为信息处理设备的PC 100的处理的概述的流程图。图4是示出图3中所示的各处理的具体算法的流程图。

PC 100(各个处理部)的以下处理是通过存储在存储单元108、ROM102等中的软件和PC 100的硬件资源共同协作而实现的。具体地，CPU 101将存储在存储单元108、ROM 102等中的构成软件的程序加载到RAM 103中，并执行该程序，从而实现如下处理。

通过重合图像输入部来输入将要彼此连接的源图像1和模板图像2(步骤101，步骤201)。可以输入整个源图像1和模板图像2，或者仅输入源图像1的重合图像A和模板图像2的重合图像B。

通过重合图像块分割部将重合图像A和B的每一个分割成多个区域(步骤102，步骤202)。这种处理被称为分割成块，通过将重合图像A分割成块而获得的图像被称为源图像块。此外，通过将重合图像B分割成块而获得的图像被称为模板图像块。

图5是示出了源图像块和模板图像块的示图。在此实施方式中，设定了尺寸均为4048×450(像素)的重合图像A和B。然后，将位于重合图像A中部的块区域3分成多块，从而生成29个尺寸均为256×256(像素)的源图像块4。如图5所示，相邻的源图像块4设置在重合图像A上，使得其一半区域彼此重叠。

当定义了源图像块4的各个边的尺寸时，重合图像A的边缘5的尺寸也可以被确定。边缘5均等地分布在重合区域A的上部、下部、左部、右部，从而可以生成源图像块4而同时避开重合图像A的边缘部(其中由于透镜而导致的拍摄失真很大)。这样可以提高利用源图像块4计算的图像块偏离值(随后将描述)的精度。

在重合图像B的中部，设置了尺寸小于块区域3的块区域6。设置重合图像B的块区域6使得其被包含在与重合图像A的块区域3对应的块区域3′中。而且，块区域6设置在区域3′的中部，将块区域6分成多块，从而生成29个尺寸均为128×128(像素)的模板图像块7。

源图像块4和模板图像块7彼此一一对应。图5示出了彼此对应的源图像块4和模板图像块7之间的位置关系。这是一种当将偏离值设置为(0，0)且重合图像A和B彼此重叠时得到的图像块(块n)之间的位置关系，模板图像块7位于源图像块4的中部。

可以适当设置上述的重合图像A和B、源图像块4和模板图像块7的尺寸和数量。此外，也可以适当设置重合图像A和B中的块区域3和6的位置等。

图5示出了右手侧上的源图像1的端部与左手侧上的模板图像2的端部彼此连接的情况。然而，左手侧上的源图像1的端部可以和右手侧上的模板图像2的端部彼此连接。可选地，模板图像2还可以连接至上侧或下侧上的源图像1的端部。在这种情况下，源图像块4和模板图像块7在如图5所示的横向上对准。

通过用在计算中的用于块的提取部，将多个目标图像块从模板图像块7中选取出来，作为与相应的源图像块4进行匹配处理的对象(步骤103)。

图6是用来说明选择目标图像块的方法的示图。在本实施方式中，在匹配处理中，将一个“纹理存在”的指标用于最优目标图像块8，根据该指标，计算每个模板图像块7的亮度值的标准偏差值，根据标准偏差值是否等于或大于预定阈值来判断纹理的存在与否(步骤203和204)。这个预定的阈值例如被设定为10.0，标准偏差值大于等于10.0的模板图像块7被判定为具有纹理。

物理上，亮度值的标准偏差值表示偏离模板图像块7的平均亮度值的程度。因此，标准偏差值等于或大于阈值的模板图像块7是具有少量平坦部且在亮度值的分布中亮度值变化较大的图像。因此，可以说这样的模板图像块7具有适于匹配处理的物理特性。

将预定数量的标准偏差值等于或大于阈值的模板图像块7设定为待计算块组9，然后，将这些模板图像块7以标准偏差值递减的顺序挑选出来，并以此顺序设定为经受匹配处理的目标图像块8(步骤205)。

在图6中，待计算块组9由四个目标图像块8形成。此外，从具有较大标准偏差值的目标图像块8(块7)开始，给出表示以下描述的匹配处理执行的先后顺序(1至4)。应当注意的是，可以适当设置组成待计算块组9的目标图像块8的数量。

目标图像块8和与目标图像块8对应的作为源图像块4的对应图像块通过偏离计算部经受匹配处理。然后，计算目标图像块8与对应图像块的最优偏离值(步骤104，步骤206)。在本实施方式中，采用模板匹配处理，也可以采用其他匹配处理。在下文中，将描述上述的匹配处理。

在对应图像块(256×256(像素))内移动目标图像块8(128×128(像素))，计算目标图像块8和对应图像块重叠的区域中的相关系数。然后，将对应图像块内每个位置的相关系数存储作为单一结果映射。单一结果映射是对应图像块与目标图像块8的相关位置信息。基于对应图像块的像素的亮度值和目标图像块8的像素亮度值，通过归一化的相关系数的如下表达式来计算相关系数：

[表达式1]

$R(x,y)=\frac{\underset{x^{\′},y^{\′}}{\mathrm{\Σ}}T(x^{\′},y^{\′})\·S(x+x^{\′},y+y^{\′})}{\sqrt{\underset{x^{\′},y^{\′}}{\mathrm{\Σ}}T{(x^{\′},y^{\′})}^2\·\underset{x^{\′},y^{\′}}{\mathrm{\Σ}}S{(x+x^{\′},y+y^{\′})}^2}}$

R(x，y)：单一结果映射的坐标；

T(x，y)：目标图像块8中的坐标(x，y)的像素的亮度值；

S(x，y)：对应图像块中的坐标(x，y)的像素的亮度值；

x’＝0，...，w-1；

y’＝0，...，h-1(将目标图像块8和对应图像块叠加的区域设定为w×h)；

对于每个图像的坐标(x，y)，当图像的尺寸为m×m(像素)时，每个图像的左上角被设定为(0，0)，右下角被设定为(m-1，m-1)。在本实施方式中，一直表示到R(0，0)至R(128，128)，T(0，0)至T(127，127)，S(0，0)至S(255，255)。此外，w和h均为128。

在每个位置被存储为单个结果映射的相关系数取大于等于0而小于等于1的值。基于相关系数最大的位置，计算图像块偏离值，即目标图像块8和对应图像块之间的最优偏离值。

图7是用来详细说明上述目标图像块8和对应图像块的匹配处理的示图。为便于理解该说明，在图7中，以10×10(像素)示出对应图像块10(源图像块4)的尺寸。此外，以8×8(像素)示出目标图像块8(模板图像块7)的尺寸。此外，这里，待计算块组9由三个目标图像块8组成，对每个目标图像块8基于其亮度值的标准偏差值给出顺序。

对设为顺序1的目标图像块8和对应图像块10进行匹配处理，从而生成图7所示的单一结果映射R₁。存储为单一结果映射R₁的相关系数如下：

R(0，0)：0

R(1，0)：0.2

R(2，0)：0.1

R(0，1)：0.2

R(1，1)：0.3

R(2，1)：0.2

R(0，2)：0.1

R(1，2)：0.1

R(2，2)：0

因此，在单一结果映射R₁中相关系数最大的位置是R(1，1)。该位置是目标图像块8和对应图像块10之间的相对位置关系，如参照图5所描述的，它是偏离值被设定为(0，0)、重合图像A和B彼此重叠时获取的。换句话说，设为顺序1的目标图像块8与对应图像块10的图像块偏离值为(0，0)。

在通过对设为顺序2的目标图像块8和对应图像块10执行匹配处理而生成的单一结果映射R₂中，R(2，1)具有最大的相关系数。因此，目标图像块8与对应图像块10的图像块偏离值为(1，0)。在单一结果映射R₃中，设为顺序3的目标图像块8与对应图像块10的图像块偏离值为(-1，1)。

应该注意的是，作为用于计算存储为单一结果映射R₁，R₂，R₃的相关值的计算，可以从简单的计算(其中，计算目标图像块8和相应图像块10彼此重叠的区域中的像素的亮度值之差的平方)至稍复杂的计算(其中，计算从各图像块的像素平均值的偏移的相关性)来构思用来判断图像块之间的相似性的各种计算。

通过稳定性判断部累加关于各目标图像块8和对应图像块10的单一结果映射R₁，R₂，R₃，从而生成累加结果映射(步骤207)。然后，根据生成的累加结果映射，计算作为重合图像A和B的临时位置偏移信息的累加偏离值。判断计算得到的累加偏离值是否收敛于预定允许值(步骤105，步骤208)。在步骤208中，将被判定为稳定的累加偏离值输出作为重合图像A和B的最终偏离值。

图8是用于说明累加结果映射和累加偏离值的示图。首先，将参照图7所描述的关于设为顺序1的目标图像块8和对应图像块10的单一结果映射R₁设定为累加结果映射R₁₀。然后，根据在累加结果映射R₁₀中累加相关系数最大的位置R(1，1)计算出累加偏离值(0，0)。

接着，将累加结果映射R₁₀各位置的累加相关系数与关于设为顺序2的目标图像块8和对应图像块10的单一结果映射R₂各位置的相关系数相加，从而设定累加结果映射R₂₀。根据在累加结果映射R₂₀中累加相关系数最大的位置R(2，1)计算出累加偏离值(1，0)。

同样，将累加结果映射R₂₀与单一结果映射R₃的相关系数相加，从而设定累加结果映射R₃₀。累加结果映射R₃₀中累加相关系数最大的位置是R(2，1)，因此累加偏离值为(1，0)。该值不同于根据单一结果映射R₃计算得到的偏离值(-1，1)，而是等于根据累加结果映射R₂₀计算得到的累加偏离值(1，0)。执行累加结果映射的生成和累加偏离值的计算，直到判定累加偏离值稳定为止。

在目标图像块8和对应图像块10的匹配处理中，可能存在由于每个图像块的局部特征等原因而导致的单一结果映射不能表现出相同趋势的情况。关于这一点，将单一结果映射R₁、R₂、R₃累加并生成累加结果映射R₁₀、R₂₀、R₃₀。与单一结果映射R₁、R₂、R₃相比，累加结果映射R₁₀、R₂₀、R₃₀具有恒定的收敛期望值。这是因为通过计算所有目标图像块8相关系数并累加这些值获得的累加映射值(的平均值)变得在数学上基本上等于在不执行块分割而对整个重合图像A和B进行相关系数计算的情况下获得的值。

例如，将对数据(s0，s1，s2，s3)和(t0，t1，t2，t3)同时进行归一化相关性计算的情况和对数据(s0，s1)、(t0，t1)、(s2，s3)和(t2，t3)执行两次运算，然后将结果相加的情况进行比较。用在同时执行计算的情况下的表达式如下：

[表达式2]

另一方面，用在数据被分割为两组来计算且其结果被相加的情况下的表达式如下：

[表达式3]

上述两个表达式都包含通过归一化乘积的除法，所以，数值不完全一致但它们变得彼此非常相近。因此，可以发现，累加结果映射R₁₀，R₂₀，R₃₀具有恒定的收敛期望值。应当注意的是，如果可以忽略各图像块的亮度绝对值变大时带来的影响，可以不执行通过归一化乘积的除法，仅在分子部中执行相加。这种情况下，计算得到的两个值完全一致。

如上所述，在该实施方式中，作为对应图像块10和目标图像块8的相关位置信息，相关系数被存储为单一结果映射R₁、R₂、R₃。然后，将单一结果映射R₁、R₂、R₃的相关系数累加，结果生成累加结果映射R₁₀、R₂₀、R₃₀。从而，可以预测累加偏离值的收敛点(其为作为源图像1的重合图像A与作为模板图像2的重合图像B的最终偏离值)，结果，可以在较短的处理间内计算出高精度的最终偏离值。

此外，如上所述，选择标准偏离值等于或大于预定阈值的模板图像块7作为用来生成单一结果映射R₁、R₂、R₃的匹配处理的最优目标图像块8。从而生成具有高可靠性的单一结果映射R₁、R₂、R₃。

此外，以标准偏离值的降序来对模板图像块7给出用来表示匹配处理执行先后的顺序，并将该模板图像块设为目标图像块8，结果，根据具有高可靠性的图像块，生成了单一结果映射R₁、R₂、R₃。从而，可以在较短的处理时间内计算出高精度的最终偏离值。

将描述对累加偏离值的稳定性的判断。例如，利用下列两个参数可以判断累加偏离值的稳定性。

a.用于当将累加偏离值和先前计算的累加偏离值相比时判断累加偏离值不变的容限；

b.为了确定累加偏离值是稳定的，有必要判断表示多少次“不变”的次数。

图9是用于说明参数a的示图。如图9A、9B和9C所示，适当地设定容限，执行对计算的累加偏离值的“变化”或“不变”的判断。换句话说，与先前计算得到的累加偏离值相比，其在x和y坐标之间的差值小于容限的累加偏离值变成为包含在容限范围内的累加偏离值。

将描述参数b，例如，当通过参数a执行的“不变”的判断被连续获得两次时，判断累加偏离值是稳定的。可选地，“不变”的判断可以连续获得三次而判断累加偏离值是稳定的。换言之，利用连续获得的“不变”判断的次数作为标准来判断累加偏离值稳定性。

以这种方式，当计算的累加偏离值满足参数a和b限定的条件时，就判断累加偏离值是稳定的。将判断为稳定的累加偏离值设置为重合图像A和B的最终偏离值(步骤208中“是”)。通过适当地设置参数a和b，可以适当地设置重合图像A和B的最终偏离值的计算所需的处理时间和最终偏离值的精度。可以使用与该实施方式中所描述的参数a和b不同的参数。

应当注意的是，在通过将选择的目标图像块8的所有单一结果映射R₁、R₂、R₃累加而计算的累加偏离值没有被判断为稳定(步骤208中的“否”)的情况下，在步骤205中选择其他的目标图像块8。

如上所述，在根据该实施方式的作为信息处理设备的PC 100中，源图像1的重合图像A，叠加在重合图像A上的模板图像2的重合图像B均被分割成多个区域。从而生成多个源图像块4和多个模板图像块7。然后，从多个模板图像块7中选出目标图像块8，生成作为目标图像块8和对应图像块10的相对位置信息的单一结果映射R₁、R₂、R₃。基于单一结果映射R₁、R₂、R₃，计算作为源图像1的重合图像A和模板图像2的重合图像B的相对位置偏移信息的最终偏离值。所以，不需要在彼此重叠的整个重合图像A和B上执行匹配处理，用户没必要去指定重合点。这样，可以使得用户以很小的负担在较短的处理时间内将源图像1和模板图像2适当地连接。

(第二实施方式)

下面将以PC为例说明根据本发明第二实施方式的信息处理设备。在下面的描述中，与第一实施方式中描述的PC 100相同的结构和操作将不再描述或仅简单描述。

图10是根据该实施方式的作为信息处理设备的PC的处理概述的流程图。图11是示出图10中所示的各处理的具体算法的流程图。

如图10和11所示，在根据该实施方式的PC中，在步骤105中被稳定性判断部判断为稳定的累加偏离值被输出到统计值管理部。

图12是用来说明统计值管理部的处理的示图。例如，如图12所示，主体11在九个局部图像12(图12中所示的0～8)中被分离拍摄。然后，如图12A所示，九个局部图像12中的8个图像(编号0～7)通过第一实施方式中所述的拼接处理连接。

如图12A所示，局部图像12(编号0)和局部图像12(编号1)在y方向被连接，此时计算得到的最终偏离值为(-5，2)。局部图像12(编号1)和局部图像12(编号2)也在y方向上被连接，最终偏离值为(-4，2)。局部图像12(编号6)和局部图像12(编号7)被类似地连接，最终偏离值为(-5，2)。

将三个最终偏离值累加，从而计算出方向偏离累加值(-14，6)。此外，将表示累加数量的方向计数值设为3。通过将方向偏离累加值(-14，6)除以方向计数值3，从而计算出作为统计值的方向估计值(-5，2)。在方向偏离值不能被方向计数值除尽的情况下，这时执行舍入、四舍五入、上舍入等来计算统计值。

以这种方式，基于通过累加在x和y方向上先前计算的最终偏离值而获得的方向偏离累加值，以及表示累加数量的方向计数值，计算各连接方向上的最终偏离值的平均值。将计算的平均值存储为统计值。

如图12B所示，第九个局部图像12(编号8)在y方向上被连接到局部图像12(编号7)上。此时，比较计算的最终偏离值和存储的统计值(-5，2)，判断它们之间是否有明显的差别(步骤209)。例如，在最终偏离值和统计值(-5，2)之差的绝对值等于或大于预定阈值时，可以判断它们之间具有明显的差别。作为预定阈值，例如，可以考虑大约为20的值。

在判断最终偏离值和统计值(-5，2)之间存在明显差别的情况下(步骤209中“是”)，如图12B所示，统计值(-5，2)在经过必要的修正后作为最终偏离值，而不采用计算的最终偏离值(步骤210)。因此，例如，可以支持由于拍摄局部图像12时的拍摄环境、被判断为纹理的拍摄的灰尘等而导致计算了不合适的最终偏离值的情况。

此外，假设判断在图11所示的步骤204中不存在具有纹理的图像块8(其对匹配处理是优选的)，同样在这种情况下，在步骤210中统计值经必要修正后作为最终偏离值。

在判断最终偏离值和统计值(-5，2)之间未发现明显差别的情况下(步骤209中“否”)，基于计算的最终偏离值，局部图像12(编号8)和局部图像12(编号7)被彼此连接。然后，将最终偏离值加到方向偏离累加值，方向计数值增加(步骤211)。具体地，在步骤211中，将方向偏离累加值(-14，6)和上述方向计数值的值3重置。

图13是示出根据本实施方式的拼接处理的处理结果以及作为比较实例的拼接处理的处理结果的示图。如图13A和13B所示，在这种情况下，示出了在九个局部图像12(编号0～8)中分离地拍摄由光学显微镜获得的观察对象物13的部分图像且对这些图像进行拼接处理时获得的处理结果。这九个局部图像12在由标记1至标记8指示的方向上以从局部图像12(编号0)到局部图像12(编号8)的顺序被彼此连接。

在作为比较实例的拼接处理中，在整个重合图像A和B上进行匹配处理而不将重合图像A和B分割成块。另一方面，在根据本实施方式的拼接处理中，待计算块组9由三个目标图像块8组成(见图13C中的blk)。另外，将图9中所示的稳定性判断的容限设为±1，将执行的稳定性判断的次数设为2。

如图13C所示，通过相互比较的两种类型的处理得到的最终偏离值基本上是相等的值，它们的差别可以考虑为在容限范围内。就计算时间周期而言，在本实施方式中的拼接处理中，总的计算时间周期为0.648秒。相比之下，比较实例的拼接处理花费7.151秒。具体地，可以发现，在根据本实施方式中的拼接处理中，计算时间周期大大缩短，实现了高速拼接处理。

图14示出了根据本实施方式的拼接处理和作为比较实例的拼接处理的差别。图14A和14B示出了模板图像2的相同块区域6。

在作为比较实例的拼接处理中，计算了整个块区域6的亮度值的标准偏差值，并判断纹理存在/不存在。然后，对被判断为具有纹理的整个块区域执行匹配处理。如图14A所示，整个块区域6的标准偏差值是4.72，这较低。因此，利用该块区域6很难执行高精度的匹配处理。可选地，在为判断纹理存在/不存在设定标准偏差值的阈值的情况下，块区域6很可能被判断为没有纹理。这种情况下，块区域6不用于匹配处理。

如图14B所示，本实施方式的拼接处理中，块区域6被分割成块，生成多个模板图像块7。从图14B中观察，在位于块区域6底侧的模板图像块7中，标准偏差值变得很大。因此，这些模板图像块7可被用作计算重合区域A和B的最终偏离值的目标图像块8。

以这种方式，在作为比较实例的上述拼接处理中，对整个块区域6计算标准偏差值，并且该值被设定为纹理判断的标记值。因此，例如，在块区域6的大部分是平坦的情况下，平坦区域为主，从而标准偏差值变得很低。结果，拼接处理的精度降低，或者，块区域6不能被用于拼接处理。

然而，在本实施方式的拼接处理中，块区域6被分割成块，并对每一个生成的模板图像块7计算标准偏差值，从而判断纹理的存在/不存在。因此，在存在很小的纹理的情况下，在拼接处理中，这样的细小纹理可以被以高精度探测到并且可以被用作目标图像块8。

(第三实施方式)

以PC为例描述根据本发明第三实施方式的信息处理设备。在该PC中，选择目标图像块的方法不同于上述根据第一实施方式的PC 100的选择方法。

第一实施方式的PC 100中，在图4所示的步骤205中，选择标准偏差值等于或大于预定阈值的预定数量的模板图像块作为待计算块组。然后，将这些模板图像块按照标准偏差值的降序分类，并设定为作为匹配处理对象的目标图像块的顺序。

在根据本实施方式的PC中，作为待计算块组，以如下方式选择标准偏差值等于或大于预定阈值的预定数量的模板图像块。首先，选择第一模板图像块；接着，在该模板图像块的重合图像上，选择与第一模板图像块相隔预定间距(像素)或更大的第二模板图像。

换言之，在本实施方式中，作为待计算块组，选择了在重合图像上彼此相隔预定距离或更大的第一和第二模板图像块。例如，可以选择包括至少一组彼此相隔预定间距或更大的模板图像块的多个模板图像块作为待计算块组。可选地，可以选择包含彼此相隔预定间距或以上的两个任意模板图像块的多个模板图像块作为待计算块组。

根据由此选择的待计算块组，以标准偏差值的降序设置目标图像块。因此，在模板图像的重合图像上，生成了单一结果映射而没有位置的偏移。结果，基于生成的单一结果映射，可以精确地计算最终偏离值。

通过根据上述实施方式的信息处理设备执行的拼接处理被用于数字化(例如)医学或病理学领域中的活体的细胞、组织或器官等的图像(由光学显微镜捕获)从而基于数字化的图像由医生或病理学者来检查组织等或诊断病人的系统中，或者其他的系统。然而，可以确定的是，拼接处理也可用于其他材料，而不仅是活体的细胞、组织和器官等，因此，拼接处理也可用于医学等领域之外的其他领域。此外，上述本实施方式中的拼接处理也可用于其他数字图像，而不限于由光学显微镜获取的图像。

(其他实施方式)

根据本发明的实施方式不限于上述实施方式，可以是其他各种实施方式。

在上述实施方式中，将PC作为信息处理设备的实例，然而，根据本发明实施方式，可以将具有光学显微镜功能的扫描设备作为信息处理设备，并且可以利用扫描设备等来执行拼接处理。

如图5所示，在上述第一实施方式中，作出设定，使得偏离值为(0，0)，且当重合图像A和B彼此重叠时模板图像块7位于源图像块4的中部，然而，可以适当设置此时的源图像块4和模板图像块7之间的相对位置关系。例如，在作出设定使得模板图像块7位于源图像块4的左上角的情况下，作为相同的值计算图7所示的单一结果映射的位置R(x，y)和图像块偏离值(x，y)，结果，可以缩短处理时间。

可以适当地设置源图像块和模板图像块的尺寸和形状。例如，只要可以得到图像块偏离值与最终偏离值之间的关系，源图像块和目标图像块的尺寸可以相同。

如图6所示，在上述的第一实施方式中，为了选择用于匹配处理的最优目标图像块，计算了每个模板图像块的亮度值的标准偏差值。然而，用来选择用于匹配处理的最优目标图像块的指标并不限于标准偏差值。例如，可以基于每个模板图像块的高频分量的量来选择目标图像块。可选地，可以基于模板图像块的最大亮度值和最小亮度值之间的差(即动态范围的大小)来选择目标图像块。此外，可以基于与亮度值的对比度相关的信息来选择目标图像块。

如图12所示，主体11在九个局部图像12中被分离地拍摄，并且基于这些局部图像12被连接时计算的最终偏离值来计算统计值。将描述其中使用了这样的统计值的其他实施方式。

例如，假设通过数字系统拍摄通过光学显微镜捕获的观察对象物的图像，通过根据上述实施方式所述的信息处理设备对该数字图像执行拼接处理。可以控制光学显微镜的光源或光学系统，从而能够在时序或空间上保持恒定的拍摄条件。因此，如果对每个预定的拍摄条件计算在先前拼接处理中的统计值，则当在同样的拍摄条件下拍摄不同的观察对象物时可以使用该统计值，从而对其图像执行拼接处理。

上述实施方式中描述的算法仅是示例性的，只要能够在各处理部中达到同样的目的，就可以采用任意的算法。

本申请包含于2010年1月19日向日本专利局提交的在先专利申请JP 2010-009452所公开的相关主题，其全部内容结合于此作为参考。

Claims (9)

1.一种信息处理设备，包括：

生成装置，用来生成多个源图像块和多个模板图像块，其中，通过将源图像的连接区域分割成多个区域来获得所述多个源图像块，通过将模板图像的连接区域分割成多个区域来获得所述多个模板图像块，所述模板图像的连接区域重叠在所述源图像的连接区域上；

选择装置，用来基于由所述生成装置生成的每个所述模板图像块的亮度信息，选择作为分别被进行匹配处理的对象的多个目标图像块；

匹配处理装置，用来通过对对应图像块和所述多个目标图像块进行匹配处理，计算所述对应图像块和所述目标图像块的相对位置信息，其中，所述对应图像块是所述生成装置所生成的所述多个源图像块中对应于所述选择装置所选择的所述多个目标图像块的图像；以及

计算装置，用来基于由所述匹配处理装置计算的所述相对位置信息，计算所述源图像的连接区域和所述模板图像的连接区域的相对位置偏移信息。

2.根据权利要求1所述的信息处理设备，其中，

所述生成装置生成与所述多个源图像块对应且尺寸小于所述多个源图像块的所述多个模板图像块；

所述匹配处理装置根据各个所述对应图像块中的所述各个目标图像块的位置生成基于各个所述对应图像块的亮度信息和各个所述目标图像块的亮度信息的相关系数以执行所述匹配处理，并计算所生成的所述相关系数作为所述相对位置信息；

所述计算装置通过累加所述目标图像块的相关系数来计算所述相对位置偏移信息，所述相关系数由所述匹配处理装置来计算。

3.根据权利要求2所述的信息处理设备，其中，

所述计算装置通过累加所述目标图像块的所述相关系数生成临时位置偏移信息，并且当包含在预先设定的容限内的所述临时位置偏移信息被连续生成预定次数时，计算包含在所述容限内的所述临时位置偏移信息作为所述相对位置偏移信息。

4.根据权利要求1所述的信息处理设备，其中，

所述选择装置计算每个所述模板图像块的亮度值的标准偏差值，并且选择标准偏差值等于或大于预定阈值的所述模板图像块作为所述目标图像块。

5.根据权利要求4所述的信息处理设备，其中，

所述选择装置将表示通过所述匹配处理装置执行所述匹配处理的优先级别的第一优先级赋予具有第一标准偏差值的所述模板图像块，将优先级别低于所述第一优先级的第二优先级赋予标准偏差值小于所述第一标准偏差值的所述模板图像块，并选择被赋予所述第一优先级的所述模板图像块和被赋予所述第二优先级的所述模板图像块作为所述目标图像块。

6.根据权利要求1所述的信息处理设备，其中，

所述选择装置选择第一模板图像块和第二模板图像块作为所述目标图像块，所述第二模板图像块在所述模板图像的连接区域中与所述第一模板图像块相隔预定距离或更大。

7.一种由信息处理设备执行的信息处理方法，包括以下步骤：

生成多个源图像块和多个模板图像块，其中，通过将源图像的连接区域分割成多个区域来获得所述多个源图像块，通过将模板图像的连接区域分割成多个区域来获得所述多个模板图像块，所述模板图像的连接区域重叠在所述源图像的连接区域上；

基于生成的每个模板图像块的亮度信息来选择作为分别被进行匹配处理的对象的多个目标图像块；

通过对对应图像块和所述多个目标图像块进行匹配处理，计算所述对应图像块和所述目标图像块的相对位置信息，其中，所述对应图像块是所生成的所述源图像块中对应于所选择的所述目标图像块的图像；以及

基于计算出的所述相对位置信息，计算所述源图像的连接区域和所述模板图像的连接区域的相对位置偏移信息。

8.一种程序，使得信息处理设备执行以下步骤：

生成多个源图像块和多个模板图像块，其中，通过将源图像的连接区域分割成多个区域来获得所述多个源图像块，通过将模板图像的连接区域分割成多个区域来获得所述多个模板图像块，所述模板图像的连接区域重叠在所述源图像的连接区域上；

基于生成的每个模板图像块的亮度信息来选择作为分别被进行匹配处理的对象的多个目标图像块；

通过对对应图像块和所述多个目标图像块进行匹配处理，计算所述对应图像块和所述目标图像块的相对位置信息，其中，所述对应图像块是所生成的所述源图像块中对应于所选择的所述目标图像块的图像；以及

基于计算得到的所述相对位置信息，计算所述源图像的连接区域和所述模板图像的连接区域的相对位置偏移信息。

9.一种信息处理设备，包括

生成部，被配置为生成多个源图像块和多个模板图像块，其中，通过将源图像的连接区域分割成多个区域来获得所述多个源图像块，通过将模板图像的连接区域分割成多个区域来获得所述多个模板图像块，所述模板图像的连接区域重叠在所述源图像的连接区域上；

选择部，被配置为基于由所述生成部生成的每个所述模板图像块的亮度信息，选择作为分别被进行匹配处理的对象的多个目标图像块；

匹配处理部，被配置为通过对对应图像块和所述多个目标图像块进行匹配处理，计算所述对应图像块和所述目标图像块的相对位置信息，其中，所述对应图像块是所述生成部所生成的所述多个源图像块中对应于所述选择部所选择的所述多个目标图像块的图像；以及

计算部，被配置为基于由所述匹配处理部计算的所述相对位置信息，计算所述源图像的连接区域和所述模板图像的连接区域的相对位置偏移信息。

Images