CN104427211A - 图像对齐设备和使用该设备的图像对齐方法 - Google Patents

Abstract

提供了一种图像对齐设备和使用该设备的图像对齐方法。所述图像对齐设备包括：第一转换函数估计单元，用于基于从通过使用第一图像传感器捕获的第一图像和通过使用第二图像传感器捕获的第二图像提取的特征点信息来估计第一转换函数；第二转换函数估计单元，用于基于从第一图像和第二图像提取的运动信息来估计第二转换函数。

Description

图像对齐设备和使用该设备的图像对齐方法

本申请要求于2013年8月20日提交到韩国知识产权局的第10-2013-0098607号韩国专利申请的优先权，所述专利申请的公开通过引用完整地包含于此。

技术领域

与示例性实施例一致的设备和方法涉及图像对齐。

背景技术

近来，为了提高在监视系统和医学图像领域中的用于对变化的检测、运动检测、超分辨率图像的恢复或者对象的识别和跟踪的算法的精度和可靠性，积极地执行了对使用两个或更多个传感器的补充信息融合的研究。

发明内容

一个或更多个示例性实施例提供了一种图像对齐设备和使用该设备的图像对齐方法。

示例性实施例的各个方面将在之后的描述中被部分地阐述，并且部分地，将从描述中是清楚的，或者可通过这些实施例的实践来得知。

根据示例性实施例的一方面，提供了一种图像对齐设备，所述设备可包括：第一转换函数估计单元，用于基于从通过使用第一图像传感器捕获的第一图像和通过使用第二图像传感器捕获的第二图像提取的特征点信息来估计第一转换函数；第二转换函数估计单元，用于基于从第一图像和第二图像提取的运动信息来估计第二转换函数。

所述图像对齐设备还可包括：转换函数选择单元，用于根据第一转换函数是否被估计来选择第一转换函数或者第二转换函数作为最终转换函数。

在第一转换函数没有被估计的情况下或者周期性地，第二转换函数估计单元可估计第二转换函数。

第一转换函数估计单元可包括：特征点检测单元，用于分别检测第一图像和第二图像中的特征点；特征点选择单元，用于从检测到的第一图像和第二图像中的特征点之中选择对应特征点；第一估计单元，用于基于选择的对应特征点来估计第一转换函数。

特征点选择单元可包括：补丁图像获取单元，用于获取在补丁图像的中心分别具有第一图像和第二图像中的特征点的补丁图像；候选选择单元，用于针对第一图像中的特征点，选择与第一图像中的特征点对应的第二图像中的候选特征点；相似性确定单元，用于确定第一图像中的特征点的补丁图像和第二图像中的候选特征点的补丁图像之间的相似性；对应特征点选择单元，用于基于对相似性确定的结果，从第一图像中的特征点和第二图像中的候选特征点之中选择对应特征点。

第二转换函数估计单元可包括：运动检测单元，用于分别检测第一图像和第二图像中的运动；运动矢量选择单元，用于在从检测到的第一图像和第二图像中的运动检测到的运动矢量之中选择对应运动矢量；第二估计单元，用于基于选择的对应运动矢量估计第二转换函数。

运动矢量选择单元可包括：标记单元，用于对从第一图像和第二图像检测到的每个检测到的运动进行标记；运动矢量检测单元，用于针对第一图像和第二图像中的标记的运动来检测运动矢量；相似性确定单元，用于确定检测到的第一图像和第二图像中的运动矢量之间的相似性；对应运动矢量选择单元，用于基于对相似性确定的结果，选择第一图像和第二图像之间的对应运动矢量。

针对第一图像中的运动矢量，相似性确定单元可选择第二图像中的候选运动矢量，并确定第一图像中的运动矢量和第二图像中的候选运动矢量之间的相似性。

相似性确定单元可基于检测到的运动矢量的大小和方向来确定相似性。

所述图像对齐设备还可包括：对齐单元，用于通过使用选择的第一转换函数或第二转换函数来对齐第一图像和第二图像。

根据另一示例性实施例的一方面，提供了一种图像对齐方法，所述方法可包括：基于从通过使用第一图像传感器捕获的第一图像和通过使用第二图像传感器捕获的第二图像提取的特征点信息来估计第一转换函数；基于从第一图像和第二图像提取的运动信息来估计第二转换函数。

所述图像对齐方法还可包括：根据第一转换函数是否被估计来选择第一转换函数或者第二转换函数作为最终转换函数。

在第一转换函数没有被估计的情况下或者周期性地，可执行对第二转换函数的估计。

估计第一转换函数的步骤可包括：分别检测第一图像和第二图像中的特征点；从检测到的第一图像和第二图像中的特征点之中选择对应特征点；基于选择的对应特征点来估计第一转换函数。

选择对应特征点的步骤可包括：获取在补丁图像的中心分别具有第一图像和第二图像中的特征点的补丁图像；针对第一图像中的特征点，选择与第一图像中的特征点对应的第二图像中的候选特征点；确定第一图像中的特征点的补丁图像和第二图像中的候选特征点的补丁图像之间的相似性；基于对相似性确定的结果，从第一图像中的特征点和第二图像中的候选特征点之中选择对应特征点。

估计第二转换函数的步骤可包括：分别检测第一图像和第二图像中的运动；在从检测到的第一图像和第二图像中的运动检测到的运动矢量之中选择对应运动矢量；基于选择的对应运动矢量估计第二转换函数。

选择对应运动矢量的步骤可包括：对从第一图像和第二图像检测到的每个检测到的运动进行标记；针对第一图像和第二图像中的标记的运动来检测运动矢量；确定检测到的第一图像和第二图像中的运动矢量之间的相似性；基于对相似性确定的结果，选择第一图像和第二图像之间的对应运动矢量。

确定相似性的步骤可包括：针对第一图像中的运动矢量，选择第二图像中的候选运动矢量，并确定第一图像中的运动矢量和第二图像中的候选运动矢量之间的相似性。

确定相似性的步骤可包括：基于检测到的运动矢量的大小和方向来确定相似性。

所述图像对齐方法还可包括：通过使用选择的第一转换函数或第二转换函数来对齐第一图像与第二图像。

附图说明

从结合附图对示例性实施例进行的以下描述，这些和/或其他方面将变得清楚和更易于理解，其中：

图1是根据示例性实施例的图像融合系统的示意性框图；

图2是根据示例性实施例的图像对齐设备的示意性框图；

图3是根据示例性实施例的第一转换函数估计单元的示意性框图；

图4是示出根据示例性实施例的选择特征点的示例的示图；

图5是根据示例性实施例的第二转换函数估计单元的示意性框图；

图6是示出根据示例性实施例的选择运动矢量的示例的示图；

图7是用于示出根据示例性实施例的图像对齐方法的流程图；

图8是用于示出根据示例性实施例的选择图7中示出的对应特征点的方法的流程图；

图9是用于示出根据示例性实施例的选择对应运动矢量的方法的流程图。

具体实施方式

现在将对附图中示出的示例性实施例进行详细的描述，其中，相同的标号始终表示相同的元件。就这一点而言，这些实施例可具有不同的形式，并且本发明构思不应被解释为局限于在这里所阐述的描述。因此，下面只是通过参照附图对这些实施例进行描述，以解释本发明构思的一些方面。如这里所使用的，术语“和/或”包括相关的列出项中的一个或更多个的任意和所有组合。当诸如“…中的至少一个”的表述在一列元件之后时，其修饰整列的元件，而不是修饰列中的单个元件。

由于本发明构思允许各种改变和多个实施例，因此将在附图中示出特定示例性实施例并在书面描述中对特定示例性实施例进行详细地描述。然而，这不旨在将本发明构思限制为特定的实践模式，将理解的是，不脱离本发明构思的精神和技术范围的所有更改、等同物和替代物包含在本发明构思中。在描述中，在认为对现有技术的特定的详细解释会不必要地使本发明的实质不清楚时，省略对现有技术的特定的详细解释。

虽然如“第一”、“第二”等的这种术语可用于描述各种组件，但是这种组件不应局限于以上术语。以上术语只是用于区分一个组件与另一组件。

本说明书中所使用的术语只是用于描述特定的示例性实施例，而不是旨在限制本发明构思。除非在上下文中具有明显不同的含义，否则单数的表述包含复数的表述。在本说明书中，要理解的是，诸如“包括”或“具有”等的术语旨在指示存在说明书中所公开的特征、数字、步骤、动作、组件、部分或者它们的组合，而不是旨在排除可存在或可添加一个或更多个其它特征、数字、步骤、动作、组件、部分或者它们的组合的可能性。

可按照功能块组件和各种处理步骤来描述实施例。这种功能块可由被配置为执行特定功能的任意数量的硬件和/或软件组件来实现。例如，实施例可采用各种集成电路组件，例如，可在一个或更多个微处理器或其他控制装置的控制下执行多种功能的存储器元件、处理元件、逻辑元件、查找表（look-uptable）等。类似地，实施例的元件可利用软件编程或者使用任何编程或脚本语言（诸如，C、C++、Java、汇编程序等）的软件元件用各种算法来实现，所述各种算法用数据结构、对象、进程、程序或其他编程元素的任意组合来实现。可以以在一个或更多个处理器上执行的算法来实现功能方面。此外，本发明构思可采用用于电子设备配置、信号处理和/或控制、数据处理等的任意数量的传统技术。词语“机械”和“元件”被广泛使用，且不局限于机械或物理实施例，而可包括与处理器结合的软件程序等。

图1是根据示例性实施例的图像融合系统1的示意性框图。

根据实施例，参照图1，图像融合系统1包括第一图像传感器10、第二图像传感器20、图像对齐设备30、图像融合设备40和显示设备50。

第一图像传感器10和第二图像传感器20可以是具有用于捕获相同场景并提供图像信息的不同特性的相机。第一图像传感器10和第二图像传感器20可设置有平移-倾斜-变焦（PTZ）功能，因此可被一起移动和倾斜以使用各自的变焦比率获得相同位置的图像。第一图像传感器10和第二图像传感器20可被安装为一个整体，可被安装在需要安全的银行或者公共建筑以及用于入口或出口的管理或者犯罪的预防的办公室、住宅、医院的内部或者外部。第一图像传感器10和第二图像传感器20可根据安装位置和使用目的而具有诸如线性类型或圆顶类型的各种形式。

在当前的实施例中，第一图像传感器10为可见光相机。第一图像传感器10可使用光检测方法获得图像信息，并因此根据对象的亮度分布产生作为可见光图像的第一图像。例如，可见光相机可以是使用电荷耦合器件（CCD）或互补金属氧化物半导体（CMOS）作为成像装置的相机。

在当前的实施例中，第二图像传感器20是红外线相机或者热感应相机。第二图像传感器可以感测和检测作为一种电磁波的红外光的波长形式的由对象发射的辐射能（热能），并测量热能的强度，从而产生作为根据强度而示出不同色彩的热图像的第二图像。

图像对齐设备30可通过将从不同的传感器获得的相同场景的两个或更多个图像中的点的位置进行匹配并在一个坐标系中对齐所述位置，来执行图像对齐。在用于使用两个或更多个传感器获得图像以产生一个融合图像的系统（诸如，监视系统或者医学图像）的情况下，需要执行图像对齐。

图像对齐设备30将通过使用第一图像传感器10捕获的第一图像与通过使用第二图像传感器20捕获的第二图像对齐。为此，图像对齐设备30可基于从第一图像和第二图像提取的特征点信息和运动信息来估计转换函数。转换函数是表示第一图像和第二图像之间的特征点信息或者运动信息的对应关系的矩阵。图像对齐设备30通过应用估计的转换函数来对齐第一图像与第二图像。

图像融合设备40可通过将接收到的图像信号输出为符合显示设备的规格的信号来执行信号处理。图像融合设备40将对齐的第一图像与第二图像融合。例如，红外线相机可清楚地提供对象的热分布，但是可能无法清楚地提供对象的形状。与此相反，可见光相机可清楚地提供对象的形状，但是可能无法清楚地提供对象的热分布。通过适当地利用可见光相机和红外线相机的优点和缺点，图像融合设备40可同时显示对象的图像和对象的热分布的状态。

图像融合设备40可减少噪声，并针对第一图像和第二图像执行诸如伽马校正、滤色器阵列插值、色彩矩阵、色彩校正和色彩增强的图像信号处理，以提高图像品质。此外，图像融合设备40可通过压缩从用于图像改善的图像信号处理获得的融合的图像数据来产生图像文件，或者可从图像文件恢复图像数据。图像压缩类型可包括可逆的类型或者不可逆的类型。

此外，图像融合设备40可执行诸如色彩处理、模糊处理、边缘增强处理、图像判读处理、图像识别处理、图像效果处理等的功能。图像识别处理可包括人脸识别处理和场景识别处理。

显示设备50向用户提供从图像融合设备40输出的融合图像，从而用户可监视显示的图像。显示设备50可显示第一图像和第二图像彼此重叠的融合图像。显示设备50可由液晶显示器（LCD）面板、有机发光显示器（OLED）面板、电泳显示器（EPD）面板等形成。显示设备50以可通过用户做出的触摸接收输入的触摸屏的形式被提供，因此，可作为用户输入界面操作。

图2是根据示例性实施例的图像对齐设备30的示意性框图。

参照图2，图像对齐设备30可包括第一转换函数估计单元301、第二转换函数估计单元303、转换函数选择单元305和对齐单元307。

第一转换函数估计单元301可基于从通过第一图像传感器10捕获的第一图像和通过第二图像传感器20捕获的第二图像提取的特征点信息来估计第一转换函数H1。

在这种情况下，第一转换函数估计单元301可从第一图像和第二图像提取特征点，并通过选择一对对应特征点的处理来估计第一转换函数H1。然而，如果难以检测到特征点的图像被输入，则可能无法估计第一转换函数H1，因此，可能难以执行实时对齐。

因此，在当前的实施例中，如果第一转换函数估计单元301不可估计第一转换函数H1，则第二转换函数H2可通过从第一图像和第二图像提取运动信息来被估计，从而可执行实时对齐。

第二转换函数估计单元303可基于从第一图像和第二图像提取的运动信息来估计第二转换函数H2。如果第一转换函数H1没有被估计，或者在根据用户设置预定的时间段内，第二转换函数估计单元303可估计第二转换函数H2。因此，即使第一转换函数估计单元301可能无法估计第一转换函数H1，第二转换函数估计单元303也可估计第二转换函数H2，从而可执行实时对齐。

根据第一转换函数H1是否被估计，转换函数选择单元305可选择第一转换函数H1或者第二转换函数H2作为最终转换函数H。如果第一转换函数估计单元301正常地估计第一转换函数H1（H1_error=0），则转换函数选择单元305选择第一转换函数H1作为最终转换函数H。如果第一转换函数H1没有被估计（H1_error=1），则转换函数选择单元305选择第二转换函数H2作为最终转换函数H。转换函数选择单元305可在预定的时间段内选择第二转换函数H2作为最终转换函数H。下面提供的等式1中示出了通过选择转换函数选择单元305执行的选择方法。

对齐单元307通过使用从第一转换函数H1或者第二转换函数H2选择的转换函数H来对齐第一图像与第二图像。

图3是根据示例性实施例的第一转换函数估计单元301的示意性框图。图4是示出根据示例性实施例的选择特征点的示例的示图。

参照图3，第一转换函数估计单元301可包括特征点检测单元311、特征点选择单元341和第一估计单元391。

特征点检测单元311可包括第一特征点检测单元321和第二特征点检测单元331，第一特征点检测单元321用于检测通过使用第一图像传感器10捕获的第一图像中的一个或更多个特征点F1，第二特征点检测单元331用于检测通过使用第二图像传感器20捕获的第二图像中的一个或更多个特征点F2。第一特征点检测单元321和第二特征点检测单元331被单独实现或者被实现为一体，因此，可顺序地或者并行地执行一个或更多个特征点的检测。

特征点检测单元311可通过使用尺度不变特征变换（SIFT）算法、Harris角点检测算法、最小同值分割吸收核（SUSAN）算法等分别从第一图像和第二图像提取角点、边缘、轮廓和线交点来作为特征点。根据示例性实施例，没有具体地限制特征点检测算法，可采用各种特征点检测算法。

特征点选择单元341可从第一图像和第二图像中的特征点中选择对应特征点。特征点选择单元341可包括补丁图像获取单元351、候选选择单元361、相似性确定单元371和对应特征点选择单元381。

补丁图像获取单元351可获取第一图像和第二图像中的各个特征点的补丁图像。补丁图像可采取在块的中心具有特征点的N×N尺寸的块的形式。

候选选择单元361可将第一图像和第二图像之一视为参考图像，并在其他图像中选择可与参考图像中的特征点对应的候选特征点。针对相同场景获取的两个图像中的特征点表示局域性。候选选择单元361可参照参考图像中的特征点选择均被布置在其他图像中的具有预定尺寸的块中的特征点来作为候选特征点。块的尺寸可根据两个图像传感器之间的视场（FOV）和凝视方向被灵活地优化。例如，如果两个图像传感器之间的FOV和凝视方向彼此接近，则块尺寸可减小。相反地，如果两个图像传感器之间的FOV和凝视方向彼此远离，则块尺寸可增大。候选选择单元361可选择其他图像中的如下特征点作为候选特征点，所述特征点中的每个特征点与其他图像中的和参考图像中的特征点匹配的点的距离小于基于块尺寸的阈值。

相似性确定单元371可确定参考图像中的特征点的补丁图像和其他图像中的候选特征点的补丁图像之间的相似性。确定相似性的步骤可通过使用归一化互信息和梯度方向信息作为参数来被执行。归一化互信息是通过对表示两个概率变量之间的统计相关性的互信息进行归一化所获得的信息。通过使用公知的算法和方法来执行计算归一化互信息和梯度方向信息的方法。因此，这里将不提供其详细描述。

对应特征点选择单元381可基于对相似性确定的结果从在参考图像中的特征点和参考图像中的每个特征点的候选特征点之中选择对应特征点。具体地讲，对应特征点选择单元381可从参考图像中的特征点和其他图像中的候选特征点之中选择彼此具有最高程度的相似性的一对特征点作为彼此对应的对应特征点。根据示例性实施例，可通过对应特征点选择单元381选择多对对应特征点。

图4示出分别从第一图像I1和第二图像I2检测特征点，并通过将第一图像I1看作参考图像来选择一对对应特征点的示例。针对作为第一图像I1中的多个特征点之一的特征点f1，第二图像I2中的候选特征点f21至候选特征点f23被选择。候选特征点f21至候选特征点f23是第二图像I2中的位于在距与第一特征点f1对应的位置特定距离内的区域CFA中的特征点。在中心具有第一图像I1中的特征点f1的补丁图像P1和在中心分别具有第二图像I2中的候选特征点f21至候选特征点f23的补丁图像P21至补丁图像P23之间的相似性被确定。

返回参照图3，第一估计单元391可基于选择的对应特征点来估计第一转换函数H1。第一估计单元391可通过使用随机抽样一致性（RANSAC）算法或者局部优化RANSAC（LO-RANSAC）算法来估计第一转换函数H1。第一转换函数H1可被表示为下面示出的等式2。

$H1=\left(\begin{array}{ccc}{h^1}_{11}& {h^1}_{12}& {h^1}_{13}\\ {h^1}_{21}& {h^1}_{22}& {h^1}_{23}\\ {h^1}_{31}& {h^1}_{32}& {h^1}_{33}\end{array}\right)...\left(2\right)$

第一转换函数H1的各个元素h11至h33包括关于旋转角度的旋转信息、关于沿x、y和z方向的移动距离的平移信息和关于沿x、y和z方向的缩放程度的缩放信息。

图5是根据示例性实施例的第二转换函数估计单元303的示意性框图。图6是示出根据示例性实施例的选择运动矢量的示例的示图。

参照图5，第二转换函数估计单元303可包括运动检测单元313、运动矢量选择单元343和第二估计单元393。

运动检测单元313可包括第一运动检测单元323和第二运动检测单元333，第一运动检测单元323用于检测通过使用第一图像传感器10捕获的第一图像中的一个或更多个运动M1，第二运动检测单元333用于检测通过使用第二图像传感器20捕获的第二图像中的一个或更多个运动M2。第一运动检测单元323和第二运动检测单元333被单独实现或者被实现为一体，因此，可顺序地或者并行地执行运动检测。根据示例性实施例，没有具体地限制运动检测方法，可采用各种运动检测算法。

运动矢量选择单元343可在从检测到的第一图像和第二图像中的运动检测到的运动矢量之中选择对应运动矢量。运动矢量选择单元343可包括标记单元353、运动矢量检测单元363、相似性确定单元373和对应运动矢量选择单元383。

标记单元353可对从第一图像和第二图像检测到的每个运动进行标记。例如，标记单元353可对所有检测到的运动的对象进行标记，因此，可对所有检测到的运动的对象进行分类。

运动矢量检测单元363可针对第一图像和第二图像中的每个标记的运动来检测运动矢量。

相似性确定单元373可确定第一图像和第二图像中的运动矢量之间的相似性。相似性确定单元373可将第一图像和第二图像之一视为参考图像，并选择可与参考图像中的每个运动矢量对应的其他图像中的候选运动矢量。相似性确定单元373可参照参考图像中的运动矢量选择其他图像中的具有预定尺寸的块中的运动矢量作为候选运动矢量。块的尺寸可根据两个图像传感器之间的视场（FOV）和凝视方向被灵活地优化。例如，如果两个图像传感器之间的FOV和凝视方向彼此接近，则块尺寸可减小。相反地，如果两个图像传感器之间的FOV和凝视方向彼此远离，则块尺寸可增大。相似性确定单元373可选择其他图像中的如下运动矢量作为候选运动矢量，所述运动矢量中的每个运动矢量与其他图像中的和参考图像中的运动矢量匹配的点的距离小于基于块尺寸的阈值。

相似性确定单元373可确定参考图像中的运动矢量和其他图像中的候选运动矢量之间的相似性。确定相似性的步骤可通过使用运动矢量的大小和方向作为参数来被执行。

对应运动矢量选择单元383可基于对相似性确定的结果选择第一图像和第二图像之间的对应运动矢量。对应运动矢量选择单元383可从参考图像中的运动矢量和其他图像中的候选运动矢量之中选择彼此具有最高程度的相似性的一对运动矢量作为彼此对应的对应运动矢量。根据示例性实施例，可通过对应运动矢量选择单元383选择多对运动矢量。

图6示出分别从第一图像I1和第二图像I2检测运动矢量，并通过将第一图像I1看作参考图像来选择一对对应运动矢量的示例。针对作为第一图像I1中的多个运动矢量之一的运动矢量m1，第二图像I2中的候选运动矢量m21至候选运动矢量m24被选择。候选运动矢量m21至候选运动矢量m24是位于在距与第二图像I2中的运动对应的位置特定距离内的区域CMA中的运动矢量。第一图像I1中的运动矢量m1与第二图像I2中的候选运动矢量m21至候选运动矢量m24之间的相似性的程度被确定。

参照图5，第二估计单元393可基于选择的对应运动矢量来估计第二转换函数H2。第二估计单元393可通过使用RANSAC算法或者LO-RANSAC算法来估计第二转换函数H2。第二转换函数H2可被表示为下面示出的等式3。

$H2=\left(\begin{array}{ccc}{h^2}_{11}& {h^2}_{12}& {h^2}_{13}\\ {h^2}_{21}& {h^2}_{22}& {h^2}_{23}\\ {h^2}_{31}& {h^2}_{32}& {h^2}_{33}\end{array}\right)...\left(3\right)$

第二转换函数H2的各个元素h11至h33包括关于旋转角度的旋转信息、关于沿x、y和z方向的移动距离的平移信息和关于沿x、y和z方向的缩放程度的缩放信息。

图7是用于示出根据示例性实施例的图像对齐方法的流程图。图8是用于示出根据示例性实施例的选择图7中示出的对应特征点的方法的流程图。图9是用于示出根据示例性实施例的选择对应运动矢量的方法的流程图。

根据实施例，参照图7，在操作S70A中，图像对齐设备可基于从通过使用第一图像传感器10捕获的第一图像和通过使用第二图像传感器20捕获的第二图像提取的特征点信息来估计第一转换函数H1。

详细地讲，在操作S71中，图像对齐设备可检测第一图像和第二图像中的特征点F1和特征点F2。特征点可包括角点、边缘、轮廓和线交点。

然后，在操作S72中，图像对齐设备可从检测到的第一图像和第二图像中的特征点F1和特征点F2之中选择对应特征点。为此，在操作S721中，图像对齐设备可获取在中心分别具有特征点F1和特征点F2的补丁图像。然后，在操作S723中，图像对齐设备可选择可与参考图像中的特征点对应的其他图像中的特征点，其中，参考图像是第一图像和第二图像之一。例如，如果第一图像被视为参考图像，则可与第一图像中的特征点对应的第二图像中的候选特征点可被选择。候选特征点可基于局域性（例如，特征点之间的距离）被选择。此外，在操作S725中，图像对齐设备可确定参考图像中的特征点的补丁图像和其他图像中的候选特征点的补丁图像之间的相似性。可通过使用归一化互信息和梯度方向信息来确定相似性的程度。在操作S727中，基于对相似性确定的结果，图像对齐设备可从参考图像中的特征点和其他图像中的候选特征点之中选择彼此对应的对应特征点。例如，图像对齐设备可选择彼此具有最高程度的相似性的候选特征点作为对应特征点。

然后，在操作S73中，图像对齐设备可基于选择的对应特征点来估计第一转换函数H1。

当第一转换函数H1被估计时，在操作S77中，图像对齐设备可选择第一转换函数H1作为最终转换函数H。

在操作S78中，图像对齐设备可通过将第一转换函数H1视为最终转换函数H来对齐第一图像与第二图像。

在操作S70B中，图像对齐设备可基于从通过使用第一图像传感器捕获的第一图像和通过使用第二图像传感器捕获的第二图像提取的运动信息来估计第二转换函数H2。在第一转换函数H1没有被估计的情况下或者在预定的时间间隔内，图像对齐设备可估计第二转换函数H2。

详细地讲，在操作S74中，图像对齐设备可检测第一图像和第二图像中的运动M1和运动M2。

然后，在操作S75中，图像对齐设备可在从第一图像和第二图像中的检测到的运动M1和运动M2检测到的运动矢量之中选择对应运动矢量。为此，在操作S751中，图像对齐设备可对从第一图像和第二图像检测到的每个运动进行标记。然后，在操作S753中，图像对齐设备可针对标记的运动来检测运动矢量。在操作S755中，图像对齐设备可确定第一图像和第二图像中的运动矢量之间的相似性。例如，如果第一图像被视为参考图像且第二图像被视为其他图像，则针对第一图像中的各个运动矢量，可选择可与第一图像中的每个运动矢量对应的第二图像中的候选运动矢量。然后，可确定参考图像中的运动矢量和其他图像中的候选运动矢量之间的相似性。可通过使用运动矢量的大小和方向信息来确定相似性的程度。在操作S757中，基于对相似性确定的结果，图像对齐设备可选择第一图像和第二图像之间的对应运动矢量。例如，图像对齐设备可在参考图像和其他图像中选择彼此具有最高程度的相似性的运动矢量作为对应运动矢量。

然后，在操作S76中，图像对齐设备可基于选择的对应运动矢量来估计第二转换函数H2。

如果第一转换函数H1没有被估计，则在操作S77中，图像对齐设备可选择第二转换函数H2作为最终转换函数H，直到第一转换函数H1被估计出为止。

在操作S78中，图像对齐设备可将第二转换函数H2视为最终转换函数H，由此，对齐第一图像与第二图像。

在以上描述的实施例中，作为示例，第一图像被描述为可见光图像，第二图像为热图像。然而，本发明构思不限于此。除了可见光相机和红外线相机之外，本发明构思甚至可应用于如下这种情况：从彼此不同的视点或在彼此不同的时间点获取第一图像和第二图像，或者从具有彼此不同的特性的传感器获取第一图像和第二图像。

以上实施例可应用于对诸如一般前哨（GOP：General Out Post）的警戒区的监视、对需要24小时实时监视的森林火灾等的监视、对在无光源环境或者无照明环境中的建筑物或住宅侵入的监视、在诸如山区的地方对失踪的人或罪犯的跟踪或者医学图像的领域。根据示例性实施例，如果不包括特征点的图像被输入，则图像对齐设备可通过检测运动来执行实时图像对齐。

此外，以上实施例还可通过在介质（例如，计算机可读介质）中/上的计算机可读代码/指令来实现，以控制至少一个处理元件实现任何以上描述的实施例。介质可与允许计算机可读代码的存储和/或传输的任意介质/媒介对应。在图2、图3和图5中示出的组件或单元中的至少一个可表示包含用于执行以上所描述的逻辑功能或操作的一个或更多个可执行指令的模块、程序或者代码的一部分。还应该注意的是，所述组件或单元中的至少一个可通过用于执行逻辑功能或操作的基于专用硬件的系统、通过用于执行特定功能或操作的基于软件的系统或者通过专用硬件和计算机指令的组合来被实现。

计算机可读代码可以以各种方式被记录/传输在介质上，介质的示例包括：记录介质，诸如磁存储介质（例如，ROM、软盘、硬盘等）和光学记录介质（例如，CD-ROM或DVD）；以及诸如互联网传输介质的传输介质。因此，介质可以是包括或运载信号或信息的这样定义且可测量的结构，诸如，根据一个或更多个实施例的运载比特流的装置。介质还可以是分布式网络，从而计算机可读代码以分布式方式被存储/传输和执行。此外，处理元件可包括处理器或计算机处理器，处理元件可以分布和/或包括在单个装置中。

应该理解的是，应该仅仅以描述性的意义而不是为了限制的目的来考虑以上示例性实施例。对每个实施例中的特征或者方面的描述通常应被认为可用于其他实施例中的其他类似的特征或者方面。

虽然已参照附图描述了以上示例性实施例，但是本领域的普通技术人员将理解的是，在不脱离由权利要求限定的本发明构思的精神和范围的情况下，可进行形式上和细节上的各种改变。

Claims (20)

1.一种图像对齐设备，所述图像对齐设备包括：

第一转换函数估计单元，被配置为基于从通过使用第一图像传感器捕获的第一图像和通过使用第二图像传感器捕获的第二图像提取的特征点信息来估计第一转换函数；

第二转换函数估计单元，被配置为基于从第一图像和第二图像提取的运动信息来估计第二转换函数。

2.根据权利要求1所述的图像对齐设备，还包括：转换函数选择单元，用于根据第一转换函数是否被估计来选择第一转换函数或者第二转换函数作为最终转换函数。

3.根据权利要求1所述的图像对齐设备，其中，在第一转换函数没有被估计的情况下或者周期性地，第二转换函数估计单元估计第二转换函数。

4.根据权利要求1所述的图像对齐设备，其中，第一转换函数估计单元包括：

特征点检测单元，被配置为分别检测第一图像和第二图像中的特征点；

特征点选择单元，被配置为从检测到的第一图像和第二图像中的特征点之中选择对应特征点；

第一估计单元，用于基于选择的对应特征点来估计第一转换函数。

5.根据权利要求4所述的图像对齐设备，其中，特征点选择单元包括：

补丁图像获取单元，被配置为获取在补丁图像的中心分别具有第一图像和第二图像中的特征点的补丁图像；

候选选择单元，被配置为针对第一图像中的特征点，选择与第一图像中的特征点对应的第二图像中的候选特征点；

相似性确定单元，被配置为确定第一图像中的特征点的补丁图像和第二图像中的候选特征点的补丁图像之间的相似性；

对应特征点选择单元，被配置为基于对相似性确定的结果，从第一图像中的特征点和第二图像中的候选特征点之中选择对应特征点。

6.根据权利要求1所述的图像对齐设备，其中，第二转换函数估计单元包括：

运动检测单元，被配置为分别检测第一图像和第二图像中的运动；

运动矢量选择单元，被配置为在从检测到的第一图像和第二图像中的运动检测到的运动矢量之中选择对应运动矢量；

第二估计单元，被配置为基于选择的对应运动矢量估计第二转换函数。

7.根据权利要求6所述的图像对齐设备，其中，运动矢量选择单元包括：

标记单元，被配置为对从第一图像和第二图像检测到的每个检测到的运动进行标记；

运动矢量检测单元，被配置为针对第一图像和第二图像中的标记的运动来检测运动矢量；

相似性确定单元，被配置为确定检测到的第一图像和第二图像中的运动矢量之间的相似性；

对应运动矢量选择单元，被配置为基于对相似性确定的结果，选择第一图像和第二图像之间的对应运动矢量。

8.根据权利要求7所述的图像对齐设备，其中，针对第一图像中的运动矢量，相似性确定单元被配置为选择第二图像中的候选运动矢量，并确定第一图像中的运动矢量和第二图像中的候选运动矢量之间的相似性。

9.根据权利要求8所述的图像对齐设备，其中，相似性确定单元被配置为基于检测到的运动矢量的大小和方向来确定相似性。

10.根据权利要求2所述的图像对齐设备，还包括：对齐单元，被配置为通过使用选择的第一转换函数或第二转换函数来对齐第一图像和第二图像。

11.一种图像对齐方法，所述图像对齐方法包括：

基于从通过使用第一图像传感器捕获的第一图像和通过使用第二图像传感器捕获的第二图像提取的特征点信息来估计第一转换函数；

基于从第一图像和第二图像提取的运动信息来估计第二转换函数。

12.根据权利要求11所述的图像对齐方法，还包括：根据第一转换函数是否被估计来选择第一转换函数或者第二转换函数作为最终转换函数。

13.根据权利要求12所述的图像对齐方法，其中，在第一转换函数没有被估计的情况下或者周期性地，执行对第二转换函数的估计。

14.根据权利要求12所述的图像对齐方法，其中，估计第一转换函数的步骤包括：

分别检测第一图像和第二图像中的特征点；

从检测到的第一图像和第二图像中的特征点之中选择对应特征点；

基于选择的对应特征点来估计第一转换函数。

15.根据权利要求14所述的图像对齐方法，其中，选择对应特征点的步骤包括：

获取在补丁图像的中心分别具有第一图像和第二图像中的特征点的补丁图像；

针对第一图像中的特征点，选择与第一图像中的特征点对应的第二图像中的候选特征点；

确定第一图像中的特征点的补丁图像和第二图像中的候选特征点的补丁图像之间的相似性；

基于对相似性确定的结果，从第一图像中的特征点和第二图像中的候选特征点之中选择对应特征点。

16.根据权利要求12所述的图像对齐方法，其中，估计第二转换函数的步骤包括：

分别检测第一图像和第二图像中的运动；

在从检测到的第一图像和第二图像中的运动检测到的运动矢量之中选择对应运动矢量；

基于选择的对应运动矢量估计第二转换函数。

17.根据权利要求16所述的图像对齐方法，其中，选择对应运动矢量的步骤包括：

对从第一图像和第二图像检测到的每个检测到的运动进行标记；

针对第一图像和第二图像中的标记的运动来检测运动矢量；

确定检测到的第一图像和第二图像中的运动矢量之间的相似性；

基于对相似性确定的结果，选择第一图像和第二图像之间的对应运动矢量。

18.根据权利要求17所述的图像对齐方法，其中，确定相似性的步骤包括：针对第一图像中的运动矢量，选择第二图像中的候选运动矢量，并确定第一图像中的运动矢量和第二图像中的候选运动矢量之间的相似性。

19.根据权利要求17所述的图像对齐方法，其中，确定相似性的步骤包括：基于检测到的运动矢量的大小和方向来确定相似性。

20.根据权利要求13所述的图像对齐方法，还包括：通过使用选择的第一转换函数或第二转换函数来对齐第一图像与第二图像。