CN101208721B - 图像处理装置和图像处理方法 - Google Patents

Abstract

一种包括光学流检测部分(13)的图像处理装置(12)，用于检测输入图像(10、11)中的特征点。光学流检测部分(13)用作：全特征点检测部分，用于把其像素值在任意方向上发生明显变化的点检测为全特征点；以及半特征点检测部分，用于把其像素值在特定方向上几乎不变、而在其他方向上发生明显变化的点检测为半特征点。这使得当对图像进行合成时，能够从图像的所有部分中均匀地提取特征点，并增强了对准的精度。

Description

图像处理装置和图像处理方法

相关申请的交叉引用

本申请基于2005年8月2日提交的日本专利申请No.2005-223702并要求其优先权，将其全部内容在此引入作为参考。

技术领域

本发明涉及一种图像处理装置。更具体地，本发明涉及一种用于例如数字摄像机等的成像设备中的图像处理装置，该成像设备使用例如CCD和CMOS等的图像拾取设备以电子的形式拍摄对象。

背景技术

当使用例如数字摄像机等的成像设备拍摄例如夜景等的暗对象时，除了打开光圈并延长快门速度之外，提高拍摄敏感度(即提高例如CCD和CMOS等的图像拾取设备的信号增强)也是有效的做法。然而，如果拍摄敏感度过高，例如图像拾取设备的内部噪声的噪声将会增大，而且图像的视觉效果变差。

因此，日本待审(Kokai)专利申请No.2004-357040公开了一种通过对连续获取的多个图像进行合成而减小噪声的技术(下文称作传统现有技术)。这基于如下发现：当从同一对象连续获取多个图像并将这些图像重叠以对其进行合成时，随机噪声分量被平均，而合成后的图像中的对象部分与图像个数成比例地增大。这能够减少噪声并提高拍摄敏感度，从而能够改进暗对象的拍摄性能。

同时，由于获取暗对象的图像时快门速度通常较慢，所以可能发生摄像机的抖动。另外，在连续获取同一对象的图像时，在每一次拍摄定时，摄像机构图(composition)中可能出现微小的改变。

因此，仅仅“把对同一对象连续获取的多个图像进行重叠”是不够的，而且需要提高重叠精度，即执行主体图像的精确对准。关于这方面，传统现有技术规定，从对同一对象连续获取的多个图像中提取“特征点”，并执行对准(即坐标变换)，使得来自这些图像的特征点彼此重叠。

在传统现有技术中，“特征点”被定义为“具有高亮度的点”。然而，其更普遍地是指能够确定运动矢量(即光学流)的点，因为当像素在任意方向上移动时，像素值会发生明显的改变。

然而，上述传统现有技术具有应当改进的问题。

图18是示出了用于解释由传统现有技术所引起不便的对象的示例。这个对象示例包括作为背景的天空1、左侧具有多个窗口2的建筑物3、右侧的公用事业杆4、以及电缆5和6，该电缆从顶部经过杆4的上方并延伸至图的右下部。图左侧的虚线框7表示没有引起合成图像中的不便的拍摄构图(下文称作第一构图7)，而图上部的虚线框8表示引起不便的拍摄构图(下文称作第二构图8)。

图19A是示出了第一构图7中的特征点的示意图，而图19B是示出了第二构图8中的特征点的示意图。上述传统现有技术从图像中提取具有高亮度的点作为特征点。因此，在第一构图7和第二构图8中，均提取具有高亮度的点(即建筑物3外墙的拐角、窗口2的拐角等)作为特征点(见图中的黑圈)。

第一构图7和第二构图8之间的差别在于特征点分布的不均匀。换句话说，其不同在于，特征点在第一构图7中的分布是均匀的，而特征点在第二构图8中的图像的一部分(即这幅图的左下拐角)中的分布是不均匀的。

在这个示例中，当对从同一对象连续获取的多个图像进行合成时，原理上仅需在该图像的一部分(例如图像的中心等)上进行对准。然而从实际的角度来看，由于存在许多因素使得对准中出现小误差，例如由于拍摄镜头的外部偏差所引起的图像失真、图像分辨率的限制、光源的波动、对象自身的形变等(下文称作对准误差因素)，实质上在图像中的不同点上进行对准。

根据上述观点，当如上所述关注第一构图73和第二构图8时，由于特征点在第一构图7的图像中的存在是均匀的，所以当对多个图像进行合成时，能够不引起任何不便地执行对准。另一方面，由于特征点仅存在于第二构图8的图像的一部分中，当对多个图像进行合成时，仅能够在对应位置(即存在特征点的部分)自行精确的对准。因此，对于余下的部分(即天空1和电缆5、6出现的部分)，只能间接地参考远处的特征点的信息来执行对准。因此，其带来的问题是，上述对准误差因素可能引起余下部分(即天空1和电缆5、6出现的部分)中的未对准。

因此，本发明的第一目的是提供一种能够从图像的所有部分中均匀地提取特征点的图像处理装置。

本发明的第二目的是提供一种能够精确地跟踪图像的所有部分中的对象的图像处理装置。

本发明的第三目的是提供一种能够在合成图像时对图像的所有部分处进行精确对准的图像处理装置。

发明内容

为了实现上述目的，根据本发明的一个方面，提供了一种图像处理装置，

全特征点检测部分，用于把像素值在任意方向上变化的点检测为全特征点；

半特征点检测部分，用于把像素值在特定方向上不变、而在其他方向上变化的点检测为半特征点；

第一跟踪部分，用于跟踪第一图像和第二图像之间的全特征点；

第二跟踪部分，用于跟踪第一图像和第二图像之间的半特征点；

H计算部分，用于计算坐标变换等式；

支持计算部分，根据第一跟踪部分和第二跟踪部分所做出的跟踪结果，估计计算的坐标变换等式的正确性；以及

对应位置计算部分，用于根据第一跟踪部分和第二跟踪部分所做出的跟踪结果来对准输入的第一图像和第二图象。

根据本发明的另一方面，其中，第二跟踪部分的跟踪方向仅为像素值发生明显变化的方向。

根据本发明的另一方面，其中，对准部分还包括：估计部分，用于根据第一跟踪部分和第二跟踪部分所做出的跟踪结果来估计所计算的坐标变换等式的正确性；以及对准部分此外还根据估计部分所做出的判断来挑选和选择坐标变换等式。

根据本发明的另一方面，其中，估计部分对与全特征点有关的估计比与半特征点有关的估计赋予更大的权重。

根据本发明的另一方面，提供了一种图像处理装置，还包括：相加部分，用于从已经由对准部分进行对准的多个图像中合成一个图像。

根据本发明的另一方面，一种图像处理方法，包括：

全特征点检测步骤，用于把像素值在任意方向上变化的点检测为全特征点；

半特征点检测步骤，用于把像素值在特定方向上不变、而在其他方向上变化的点检测为半特征点；

第一跟踪步骤，用于跟踪第一图像和第二图像之间的全特征点；

第二跟踪步骤，用于跟踪第一图像和第二图像之间的半特征点；

H计算步骤，用于计算坐标变换等式；

支持计算步骤，根据第一跟踪步骤和第二跟踪步骤所做出的跟踪结果，估计计算的坐标变换等式的正确性；以及

对应位置计算步骤，用于根据第一跟踪步骤和第二跟踪步骤所做出的跟踪结果来对准输入的第一图像和第二图像。

根据下文结合附图的详细描述，本发明的上述和其他新颖特征将会更加明显。然而需要理解的是，附图仅为了示出，而不会限制本发明。

附图说明

图1是本发明实施例中的图像处理装置的示意性结构图；

图2是特征点提取部分13b的操作流程图；

图3是预定约束的示意图；

图4是循环A的概念图(1/2)；

图5是循环A的概念图(2/2)；

图6是循环B的概念图(1/4)；

图7是循环B的概念图(2/4)；

图8是循环B的概念图(3/4)；

图9是循环B的概念图(4/4)；

图10是特征点跟踪部分13c的操作流程图；

图11A至图11E是全特征和半特征的概念图；

图12是忽略无特征方向上的分量的情况下的半特征的概念图；

图13A和图13B分别是仅把无特征方向上的运动约束为特征方向的半特征的概念图，以及示出了跟踪结果的示意图；

图14是RANSAC部分14的操作流程图；

图15是支持计算的操作流程图；

图16是全特征和半特征的匹配判定的概念图；

图17是示出了组合后的程序的操作流程的视图；

图18是用于解释传统现有技术的不便的一个对象示例；以及

图19A和19B分别是示出了第一构图7和第二构图8的特征点的示意图。

具体实施方式

下文参考附图来详细描述本发明的具体实施方式。明显看出，下文描述中的各种详细说明或示例以及附图标记、文本和其他符号的示出仅是用于解释本发明的概念的参考，而且本发明的概念不受所有这些或这些中的一部分的限制。另外，与公知方法、公知过程、公知结构、公知电路构造等有关的详细解释(下文称作‘公知事项’)将被省略，其同样意在进行说明而并不特意排除这些公知事项的全部或一部分。由于这些公知事项在本发明申请时已为本领域的技术人员所知，所以其当然被包括在下文的描述中。

图1是本实施例中的图像处理装置的示意性结构图。在这个图中，参考图像10和待跟踪图像11是对同一对象连续获取的多个图像。尽管本实施例中使用两个图像(参考图像10和待跟踪图像11)，该图像数是指进行图像合成所需的最小图像数。另外，“对同一对象连续获取的多个图像”是指以下之一：执行若干次单独的常规快门操作而获取的图像；连续拍摄的图像，即由单个快门操作连续获取的多个图像；或通过录像而获取的每一个帧。

图像处理装置12包括光学流检测部分13、RANSAC部分14以及图像合成部分15。另外，光学流检测部分13包括图像金字塔产生部分13a、特征点提取部分13b以及特征点跟踪部分13c。RANSAC部分14包括随机选择部分14a、H计算部分14b以及支持计算部分14c。图像合成部分15包括相加部分15a和对应位置计算部分15b。

光学流检测部分13的图像金字塔产生部分13a获取参考图像10和待跟踪图像11，并逐步降低这些图像的分辨率，以便产生从低分辨率图像到高分辨率图像的分层图像(即图像金字塔)。光学流检测部分13的特征点提取部分13b提取传统的“特征点”，即当像素在任意方向移动时其像素值发生明显改变的点。在本说明书中，这个点被称作“全特征点”或“全特征”。另外，特征点提取部分13b提取其像素值在特定方向上几乎不变而在其他方向上明显改变的点。在本说明书中，这个点被称作“半特征点”或“半特征”。

全特征点的示例包括：剪辑窗中容纳的小物件(article)、大物件的拐角、当移动时在任意方向上发生改变的特定图案，等等。另一方面，半特征的示例包括：大物件中除了其拐角的边缘、窄的线型实体、仅在一个方向上发生改变的图案，等等，而且半特征典型地为直线上的点。在特征点由窗口局部地捕获的情况下，具有大半径的圆弧上的点、具有小曲率的曲线上的点等也包括在半特征点中。

对于半特征，像素值发生明显改变的方向被称作“特征方向”。该特征方向与下文描述的“最大本征值的本征矢量方向”等同。另外，对于半特征，像素值几乎不变的方向被称作“无特征方向”。该无特征方向与下文描述的“最小本征值的本征矢量方向”等同。

光学流检测部分13的特征点跟踪部分13c对特征点提取部分13b所提取的全特征点和半特征点执行跟踪处理，并把跟踪结果输出给RANSAC部分14。

RANSAC部分14的随机选择部分14a随机地选择被跟踪的特征点组(即全特征点组和半特征点组)。H计算部分14b计算与所选特征点组相对应的候选坐标变换等式。另外，支持计算部分14c估计已根据该等式而转换的特征点(即，所有全特征点和半特征点)与跟踪结果的匹配程度。例如，可以基于多个支持来进行这个估计，即基于差别在特定距离内的多个特征点(即内围层(inlier))来进行估计。RANSCAC部分14重复这些操作，并把用于确定最佳估计值的坐标变换等式作为最终结果输出至图像合成部分15。

根据RANSAC部分14所输出的坐标变换等式，图像合成部分15的对应位置计算部分15b执行对应位置计算，这对于参考图像10和待跟踪图像11的对准来说是必需的。基于对应位置计算结果，相加部分15a通过把参考图像10与已经相对应参考图像10逐像素地进行变换后的待跟踪图像11相加或进行平均而产生图像(合成图像16)，并输出合成图像16。

现在描述特征点的提取(检测)。

图2是示出了特征点提取部分13b的操作流程图的视图。这个流程包括依次执行的三个循环。第一循环(下文称作循环A)是针对每个特征估计点(即针对特定区间的每个坐标)而重复执行的循环。一旦循环A得以执行，则计算梯度协方差矩阵G(下文简称为矩阵G)的两个本征值(步骤S1)。

现在解释矩阵G的两个本征值。创建以候选特征点(即估计点)为中心的窗口，而且如果假定该窗口中每一个点具有相同的运动(或流)(即局部约束)这个条件得以满足，那么对于窗口中的点p_ij，如下两个等式成立：

公式25

$f\left(p_{\mathrm{ij}}\right)+\left(\begin{array}{cc}{f}_x\left(p_{\mathrm{ij}}\right)& f_y\left(p_{\mathrm{ij}}\right)\end{array}\right)\left(\begin{array}{c}{d}_x\\ d_y\end{array}\right)=f\left(p_{i+d_x,j+d_y}\right)$

以及公式26

$(f_x\≡\frac{\∂f}{\∂x},\mathrm{fy}\≡\frac{\∂f}{\∂y})$

这样，当对公式25进行移项时，得到如下等式：

公式27

$\left.\begin{array}{cc}{f}_x\left(p_{\mathrm{ij}}\right)& f_y\left(p_{\mathrm{ij}}\right)\end{array}\right)\left(\begin{array}{c}{d}_x\\ d_y\end{array}\right)=f\left(p_{i+d_x,j+d_y}\right)-f\left(p_{\mathrm{ij}}\right)$

其中，f(p_ij)是指参考图像10，而f(p_i+dx，j+dy)是指待跟踪图像11。这个标量等式被认为对于与同一个流(d_x，d_y)^T有关的所有点p_ij均大致成立。当假定窗口大小是N*N像素、而未知数是二维(如(d_x，d_y)^T所示)时，等式的个数为N²(无解(overconstrained))。因此，得到最小平方解。通常来讲，用于使误差(即残余误差)||Ax-b||最小化的x是正规等式A^TAx＝A^Tb的解。这里，A^TA是N*2矩阵与2*N矩阵的乘积。在这种情况下，当处理如下等式时：

公式28

g(p)＝(fx(p)fy(p))^T

而且A^TA可以直接变换为2*2矩阵之和的形式，如下成立：

公式29

$G=\left(\begin{array}{cccc}g\left(p_{00}\right)& g\left(p_{01}\right)& ...& g(p_{n-1},n-1)\end{array}\right)\left(\begin{array}{c}g{\left(p_{00}\right)}^T\\ g{\left(p_{01}\right)}^T\\ .\\ .\\ .\\ g{\left(p_{n-1,n-1}\right)}^T\end{array}\right)=\underset{p\∈w}{\mathrm{\Σ}}g\left(p\right)g{\left(p\right)}^T$

如果p的像素残余值为e(p)，则该等式的右边可以描述为：

公式30

e≡∑_p∈wg(p)e(p)

而且如下等式成立：

公式31

Gd＝e

其中e表示相同估计点处两个图像(参考图像10和待跟踪图像11)之间的像素值的差的大小，而未知矢量d代表相同估计点处的运动(即跟踪矢量)。

根据矩阵G的本征值的性质，如下成立。首先，两个本征值均具有非负值。另外，如果矩阵G的任意一个本征值明显接近于0，则与接近于0的本征值有关的本征矢量的扰动变得更大。因此，公式31不能被稳定地求解。事实上，这个状态(即矩阵G的一个本征值明显接近于0)在窗口中的像素值在特定方向上恒定地相等时产生。这个问题也被称作光圈(aperture)问题，其含义是最小本征值越大，当考虑到误差时对公式31的求解就越稳定。另外，矩阵G的本征值是通过把窗口中每一个点的梯度投影到本征矢量方向上所确定的长度的平方和(sumsquare)。与较大的本征值(即最大本征值)相对应的本征矢量具有使平方和最大的方向。另一方面，与较小的本征值(即最小本征值)相对应的本征矢量具有与该方向垂直的方向(即，使平方和最小的方向)。

对于本发明中新提出的“半特征”，应用与用于全特征的算法相类似的算法。然而，该算法的不同之处在于，通过添加下面的公式32中所示的预定约束而对全特征公式31中的d进行求解：

公式32

$d=\left(\frac{1}{\mathrm{\λ}}{u}^{T}e\right)u$

图3是预定约束的说明性视图。在这个图以及公式32中，d代表跟踪矢量，1/λ代表梯度的调整量，而u代表单位本征矢量。u^Te代表单位本征矢量u和残余矢量e的内积，即残余矢量e在单位本征矢量u的方向上的分量(标量)。通过使用这个公式32，当把先前的公式31(提供了不定解，因为矩阵G是线性相关的)约束为具有最大本征值λ的单位本征值u的方向时，可以得到典型解。

这里的约束不限于上述约束，例如，在半特征点的跟踪结果中，可以忽略(或使其未知、不定或随意)运动矢量的无特征方向的分量，以便仅使特征方向中的分量有效。备选地，当跟踪半特征点时，无特征方向上的运动可以被设为常数(例如0)，而且其可以通过块匹配方法等来搜索，约束仅施加到特征方向。

除此之外，对于半特征点，当像素在特定方向上移动时像素值变化最大的方向上的梯度值(或变化率的值)可以用作对半特征点进行分级的估计值。换句话说，可以选择至少在一个方向上出现明显不同的估计点作为半特征点。

另外，当选择半特征点时，将会把其比率通过如下方式而建立的像素从候选半特征中排除：把像素在特定方向上移动时像素值变化最大的方向上的梯度值(或变化率的值)除以像素值变化最小的方向上的梯度值(或变化率的值)。备选地，该像素的估计值可以减小。

另外，作为在将要检测半特征点时用于估计梯度值的特定方法，可以使用先前的公式29中的矩阵G的本征值。换句话说，可以把像素在特定方向上移动时像素值变化最大的方向上的梯度值设为最大本征值，而把像素在特定方向上移动时像素值变化最小的方向上的梯度值设为最小本征值。

另外，最大曲率(的逼近值)可以用作对半特征点的梯度值进行估计的方法。

像素值(亮度)关于坐标(x，y)的主曲率k₁和k₂可以通过如下任一种方法而导出：直接使用平均后的相邻像素值的二次差、或使用通过把相邻像素应用于多项式逼近而获得的系数，检查每一个方向；或者，通过使用平均后的曲率h＝(k₁+k₂)/2(其中高斯曲率是K＝k₁k₂)与像素值(亮度)的一阶导数值P_x，P_y和二阶导数值P_xx，P_yy，P_xy之间的关系(见下文中的公式33和34)。可以使用查找平滑后的相邻像素中的差的方法、或使用通过把相邻像素值应用到多项式逼近而获得的系数查找导数值的方法，作为计算上述等式中的导数值的方法。

公式33

$h=\frac{P_{\mathrm{xx}}+P_{\mathrm{yy}}+P_{\mathrm{xx}}{P}_y^2+P_{\mathrm{yy}}{P}_x^2-2P_{\mathrm{xy}}{P}_x{P}_y}{2(1+P_x^2+P_y^2)}$

公式34

$K=\frac{P_{\mathrm{xx}}{P}_{\mathrm{yy}}-P_{\mathrm{xy}}^2}{1+P_x^2+P_y^2}$

另外，当选择半特征点时，与另一个特征点(即全特征点或半特征点)的最小距离可能大于全特征点之间的最小距离。在多种情况下，其间具有相对小的距离的两个半特征点属于相同本体的相同方向的边。因此，本征矢量高度地线性相关，由于整个图像的运动的约束，这是多余的。这是因为，在这种情况下，不仅增加半特征点的效果较小，而且RANSAC(最小平方方法等)的应用会导致问题。

图4和5是循环A的概念图。首先，如图4所示，应用特定大小(例如大约从7*7像素到31*31像素)的窗口17，以便在参考图像10的初始位置处设置估计点18。接下来，每当重复循环A时，把窗口17移动预定量(例如窗口宽度的1/2)。最后，窗口17到达参考图像10的最后像素，循环A终止。

回到图2，第二循环(下文称作循环B)是在循环A之后执行的循环。每当执行循环B时，选择其最小本征值为最大的估计点作为“全特征点”(步骤S2)，并且把除了所选估计点以外的相邻估计点从估计候选中排除(步骤S3)。只要本征值等于或大于特定值，且未达到特征点的个数(即特征点的个数小于预定值)，则循环B继续。

图6和图9是循环B的概念图。首先，如图6所示，把参考图像10上单独的估计点处的本征值数据彼此依次进行比较，如图7所示，选择其最小本征值为最大的估计点作为“全特征点”。在本实施例中，为简便起见，选择从顶部数第三行且从左侧数第七行上的估计点作为全特征点19。接下来，如图8所示，排除所选全特征点19周围的特定范围20内(近似于特征的估计点之间的距离的数倍)存在的估计点(由虚线圈所示)。接下来，如图9所示，从余下的估计点中选择其最小本征值为最大的估计点作为“全特征点”。在本实施例中，选择从顶部数第六行且从右侧数第五行的估计点作为全特征点21。此后，重复进行该操作，以选择所有的全特征点。

回到图2，当过程从循环B退出后，确定是否达到了特征点的个数(即，特征点的个数小于预定数)(步骤S4)。在特征点的个数达到的情况下，该流程终止。在特征点的个数未达到的情况下，使特征点之间的距离阈值(即图8中的特定范围20的面积)加倍(步骤S5)，然后执行第三循环(下文称作循环C)。在循环C中，每当执行该循环时，重复执行如下处理：从其本征值等于或大于预定值的估计点中选择其最大本征值为最大的估计点作为“半特征点”(步骤S6)，并把除了所选估计点以外的相邻估计点从估计候选中排除(步骤S7)。只要估计值等于或大于特定值且未达到特征点的个数，该循环继续执行，然后该流程终止。

如上所述，除了检测传统的特征点(即当像素在任意方向上移动时像素值发生明显变化的“全特征点”)之外，根据本实施例的特征点提取部分13b在全特征点不足时检测“半特征点”，当像素在一个方向上移动时，这个“半特征点”的像素值几乎不变，而当该像素在其他方向上移动时，像素值发生明显变化。

现在描述特征点的跟踪(即跟踪)。

图10是特征点跟踪部分13c的操作流程图。这个流程包括第一循环(下文称作循环D)以及嵌套在循环D中的第二循环(下文称作循环E)。

一旦该流程开始，首先，执行全局运动搜索(步骤S11)，然后启动循环D。在全局运动搜索中，创建参考图像10和待跟踪图像11的减小尺寸的图像(例如1/4图像)。接下来，使用块匹配在待跟踪图像11中搜索对于参考图像10的中心部分所提供的窗口来说窗口残余误差为最小的位置，以确定全局运动矢量。之后，把该全局运动矢量设置为初始矢量。因此，即使运动较大，而且搜索方向受到约束以致偏离半特征跟踪中的实际方向，然而两个边是匹配的。通过把二维方阵Z与残余矢量(就是说，通过把上述窗口残余和窗口梯度值相乘而确定的二维矢量)相乘而执行循环。

与传统情况相同，该二维方阵Z是针对全特征的矩阵G的逆矩阵(G^-1)，而对于半特征来说是最小范数逆矩阵(G^-)。具体地，使用最大本征值λ以及相应的本征矢量u＝(u_x，y_y)^T的等式如下：

公式35

$Z=\frac{1}{\mathrm{\λ}}\left(\begin{array}{cc}{u}_x^2& u_x{u}_y\\ u_x{u}_y& u_y^2\end{array}\right)$

这个公式35与先前的公式32等同。

针对参考图像10的每个特征点执行循环D。在循环D中，上述全局运动矢量对运动矢量进行初始化(步骤S12)，并确定运动矢量的特征是否为“全特征”(步骤S13)。在全特征的情况下，把“G^-1”设置给二维方阵Z(步骤S14)，而在非全特征的情况下，即在半特征的情况下，把“G^-”设置给二维方阵Z(步骤S15)。

接下来执行循环E。在循环E中，计算误差矢量E(步骤S16)，把Ze设置给跟踪矢量d(步骤S17)，并更新运动矢量(即与d相加)(步骤S18)。此后，重复执行循环E，直到更新后的解的距离等于或小于阈值(即，指示误差容限的预定小值(minute value))。当更新后的解的距离等于或小于阈值时，该过程从循环E中退出，并重复上述处理，直到达到特征点循环的终点。

如上所述，根据本实施例的提取(检测)和跟踪，除了全特征点之外，也对半特征点进行提取和跟踪。因此，例如即使在图像的一部分中存在全特征点的未存在区(未检测区)的情况下，这个未存在区也可以由半特征点来补充。更具体地，根据本实施例，从传统现有技术中已丢弃的并且没有被检测为全特征点的估计点中，把像素在一个方向上移动时像素值几乎不变、而在其他方向上移动时像素值发生明显变化的点检测为“半特征点”。通过利用这些半特征点，可能覆盖整个图像的特征点(即全特征点和半特征点)。结果，即使在传统现有技术难以进行精确对准的特征点未存在部分中，也可以通过使用对象上的半特征点对图像未对准进行精确的修正。

图11A至11E是全特征和半特征的概念图。在图11A中，具有两个拐角的第一对象23和线型第二对象24出现在图像22中。如上所述，全特征点是指当像素在任意方向上移动时其像素值发生明显变化的估计点，而半特征点是指当像素在一个方向上移动时像素值几乎不变、而在其他方向上移动时像素值发生明显变化的估计点。因此，在这个图像22中，第一对象23的两个拐角是全特征点(黑圈中)25，而第一对象23的每条边中线型部分上的任意点与第二对象24的线型部分上的任意点是半特征点(白圈中)26。

换句话说，如图11B所示，全特征点25是指当像素在任意方向上移动时其像素值发生明显变化的点。(在这幅图中，作为代表性示例，以45度为间隔示出各个方向，如白色箭头所示)。如图11C至11E所示，半特征点26是指当像素在特定方向(即沿着线27至29的方向)上移动时像素值几乎不变、而在其他方向(即与线27至29垂直的方向)上移动时像素值发生明显变化的点。

另外，例如基于半特征点的跟踪结果，可以忽略(或使其未知、不定或随意(free))运动矢量的无特征方向的分量，而且仅把特征方向上的分量配置为有效。借此，可以排除估计点在无特征方向上的运动，而且当采用传统算法来检测半特征点时可以消除误差。

图12是忽略无特征方向上的构图的半特征的概念图。在这幅图中，实线箭头30、31分别是全特征点25和半特征点26的跟踪结果的运动矢量。全特征点25的跟踪算法可以和传统算法相同。然而对于半特征点26，该跟踪结果是通过把相应的运动矢量31投影到无特征方向而确定的矢量32。

另外，当跟踪半特征点时，在无特征方向上的运动可以被设为常数(例如0)且仅向特征方向施加约束的情况下对半特征点进行搜索。仅在特征方向上搜索估计点能够使搜索变得稳定、使搜索快速收敛、并减少由于每次重复执行处理时所出现的增强的未对准而导致的出错的跟踪。

图13A是在无特征方向上的运动仅被约束为特征方向上的运动的情况下半特征点的概念图。在这幅图中，实线箭头30、33分别是全特征点25和半特征点26的跟踪结果的运动矢量。对于半特征点26的运动矢量33，仅从开始处在特征方向上找到解。换句话说，图12所示的运动矢量32和图13中所示的运动矢量实质上等同。

图13B是示出了跟踪结果的示意图，该跟踪结果指示通过把与运动相对应的两个图像(参考图像10和待跟踪图像11)进行重叠而产生的合成图像16。图中的符号X指示跟踪结果。从这幅图中明显可以看出，即使在图像的一部分中存在全特征点的未存在区(未检测区)的情况下，该未存在区可以由半特征点来补充。因此，能够覆盖整个图像的特征点(即全特征点25和半特征点26)。结果，即使在传统现有技术难以进行精确对准的图19B中的特征点未存在部分(即电缆5、6出现的部分)中，也可以通过使用对象(即，这个实施例中的电缆5、6)上的半特征点对图像未对准进行精确的修正。

对于半特征点，当像素在特定方向上移动时像素值变化最大的方向上的梯度值(或变化率的值)可以用作对半特征点进行分级的估计值。换句话说，可以选择至少在一个方向上出现明显不同的估计点作为半特征点。借此，更容易找到单向运动中的运动，而且可以选择提供明显差异的点作为半特征点。

另外，当选择半特征点时，将会把具有如下小比率的像素从候选半特征中排除：把像素在特定方向上移动时像素值变化最大的方向上的梯度值(或变化率的值)除以像素值变化最小的方向上的梯度值(或变化率的值)。备选地，该像素的估计值可以减小。借此，能够防止把单向边上不存在的估计点(例如，产生大量噪声的平坦部分上的点)错误地包含到半特征点中。

另外，使用在公知梯度方法中用于跟踪的矩阵G，可以把像素在特定方向上移动时像素值变化最大的方向上的梯度值设置为G的最大本征值，而把像素在特定方向上移动时像素值变化最小的方向上的梯度值设置为G的最小本征值。借此，由于可以从用于跟踪的矩阵G中检测半特征点，所以能够节省计算量。此外，由于使用基于此的估计值对特征点进行分级，所以确保了稳定的跟踪。

另外，最大曲率(的逼近值)可以用作对半特征点的梯度值进行估计的方法。借此，由于使用基于此的估计值对特征进行分级，所以确保了跟踪的稳定。

另外，当选择半特征点时，可以把与另一特征点(即全特征点或半特征点)的最小距离设置为大于全特征点之间的最小距离。借此，能够防止成为约束的无意义的特征增多。

另外，先前的公式32可以应用于半特征点。借此，由于能够基于矩阵G中与用于特征点提取和全特征点跟踪的系数相同的系数来跟踪半特征点，所以能够节省计算量。

尽管在上文描述中使用梯度方法来检测特征点，然而该方法不限于此，可以使用例如块匹配的其他方法。备选地，取代对特征点进行选择或分级，仅需把特征点分为全特征点和半特征点。

用于对应位置计算部分15b(见图2)中的用于对准的坐标变换包括投影变换模型(单应性(homography))(下文称作单应性)(8个自由度)、仿射变换(6个自由度)、欧几里德相似性变换(3个自由度)、刚性变换(3个自由度)、纯粹转换(2个自由度)，等等。虽然具有小自由度的变换具有较小的应用领域，然而其优点是例如计算负荷减小、由误差引起的不稳定性减小，等等。因此，能够方便地选择适当的变换。

通常，可以在正向(从参考图像10到待跟踪图像11)或反向(从待跟踪图像11到参考图像10)中任一方向上确定坐标变换等式。(可以根据一个变换容易地确定反变换)。在这个实施例中，在参考图像10的坐标系中确定特征方向。因此，准确地说，应用以下的处理来建立反向(即，从待跟踪图像11到参考图像10)变换是正确的，即应用于参考图像10的坐标系。然而，即使在确定正向(从参考图像10到待跟踪图像11)变换的情况下，也能够把下文所述的处理如同多种情况中那样而应用。这是因为，对于不包含转动分量的模型(例如纯粹转换模型)该变换是相同的，甚至对于包含转动分量的其他模型(假定该转动较小)，每一个等式均大致成立。因此，下文将进行一般化描述，把参考图像10和待跟踪图像11之一称作第一图像I₁，而把另一个称作第二图像I₂。

在本实施例中，基于RANSAC(即随机采样合意(RANdom SAmpleConsensus))来确定坐标变换等式的系数(即参数)。RANSAC是一种用于估计参数的方法。这个方法从少数点中确定用于估计的候选，把所确定的估计候选应用于多个点，确定与估计相匹配的点的个数以及匹配精确度，即计算支持数，并采用具有最大支持数的估计候选作为最终估计结果。

图14是示出了RANSAC部分哪14的操作流程图的示意图。这个流程包括第一循环(下文称作循环F)和循环F中嵌套的第二循环(下文称作循环G)。

一旦开始该流程，首先，循环F被执行预定次数。在循环F中，首先执行嵌套的循环G。在循环G中，随机选择特征点(步骤S21)，并确定特征的类型(步骤S22)。接下来，如果随机选择的特征点是“全特征点”，则创建两个条件(见下文描述的公式37和38)(步骤S23)。如果特征点是“半特征点”，则创建一个条件(见下文描述的公式39)(步骤S24)。接下来，重复执行循环G，直到所有8个条件都准备好为止。在准备好8个条件后，对等式进行求解，以建立变换等式(即单应性矩阵H)(步骤S25)。接下来，检测单应性的形变值(即H的形变)(步骤S26)，而且仅当形变较小时才会执行下文所述的“支持计算”(步骤S37)。同时，确定支持数是否超过最大支持数(步骤S28)，如果其超过最大数，则对最大支持数进行更新，并保存H(步骤S29)。当达到循环终点时，把已经保存的最佳H输出(步骤S30)，并且该流程终止。

现在，通过检测部分13提取并跟踪全特征点和半特征点，并且把指示每一个半特征点的特征方向的单位矢量u＝(u_x，u_y)^T建立为例如与矩阵G的最大本征值相对应的单位矢量(u_x ²+u_y ²＝1)。

现在，对于采用单应性模型时用于建立单应性矩阵H的等式，将满足被排列为如下列向量的H＝(h_ij)的每一个元素置于该等式中：

公式36

$\tilde{h}={\left(\begin{array}{cccccccc}{h}_{11}& h_{12}& h_{13}& h_{21}& h_{22}& h_{23}& h_{31}& h_{32}\end{array}\right)}^T$

在特征点跟踪处理使得第一图像I₁的坐标(x，y)已经与第二图像I₂的坐标(X，Y)相对应的情况下，针对每一个全特征点来创建下面的公式37和38中所示的两个线性条件：

公式37

$\left(\begin{array}{cccccccc}{f}_x& f_y& f^2& 0& 0& 0& -X_x& -X_y\end{array}\right)\tilde{h}=\mathrm{fX}$

公式38

$\left(\begin{array}{cccccccc}0& 0& 0& f_x& f_y& f^2& -Y_x& -Y_y\end{array}\right)\tilde{h}=\mathrm{fY}$

此外，针对每一个半特征点创建下面的公式39中所示的一个线性条件：

公式39

$\left(\begin{array}{cccccc}{f}_{u_{x}x}& f_{u_{x}y}& {f^2}_{u_x}& f_{u_{y}x}& f_{u_{y}y}& \end{array},{f^2}_{u_y}\right.$

$\left.\begin{array}{cc}-(X_{u_x}+Y_{u_y})x& -(X_{u_x}+Y_{u_y})y\end{array}\right)\tilde{h}=f(X_{u_x}+Y_{u_y})$

当已经准备好8个条件时，通过高斯消去法对等式进行求解，以建立单应性矩阵H。备选地，可以根据8个或更多个等式来得到最小平方解。换句话说，通过对下面的公式40进行求解而确定H的分量，该公式40中8个或更多个条件排列为如下行矢量：

公式40

$A\tilde{h}=b$ [A是左侧的系数矩阵，b是右侧的常数项]

借此，能够明确地确定单应性矩阵。

在本实施例中，例如按照如下来检测单应性失真(H的失真)：当以F_H来移动图像边界上的4个坐标，对变换前和变换后的矩形的边的比率和从90°发散角度(即失真)进行检查。当变换后的矩形与原始矩形明显不同时，省略支持计算(步骤S27)，该过程立即移至对下一候选的处理。

如上所述，在支持计算前插入了如下处理：针对计算后的包含半特征点的单应性矩阵H，检测所确定的变换的失真(即，检测长度或角度的失真是否处于特定界限内)，从而排除异常的单应性H。这是因为，根据同一直线或平行直线上存在的多个半特征点而确定的H是条件不良的(即，几乎是线性相关)，而这个不良条件比仅根据全特征点而确定的不良条件(三个或更多个点排列在同一直线上)更可能出现。

关于除了单应性的坐标变换等式，将阐述两个模型(即，纯粹转换模型和欧几里德相似性变换模型)。

首先，纯粹转换模型是如下公式41中所示的坐标变换：

公式41

$\left(\begin{array}{c}X\\ Y\end{array}\right)=\left(\begin{array}{c}x\\ y\end{array}\right)+\left(\begin{array}{c}a\\ b\end{array}\right)$

当放置如下公式42时：

公式42

$\mathrm{vector}\tilde{h}={\left(\begin{array}{cc}a& b\end{array}\right)}^T$

针对每一个全特征点，确定如下公式43中所示的两个线性条件(即等式)：

公式43

$\left(\begin{array}{cc}f& 0\end{array}\right)\tilde{h}=X-x$

$\left(\begin{array}{cc}0& f\end{array}\right)\tilde{h}=Y-y$

并针对每一个半特征点，确定如下公式44中所示的一个线性条件(即等式)：

公式44

$\left(\begin{array}{cc}{f}_{u_x}& f_{u_y}\end{array}\right)\tilde{h}(X-x)u_x+(Y-y)u_y$

由于这个变换的自由度是2，所以能够通过准备两个或更多个条件而对该等式进行求解。

另外，欧几里德相似性模型是如下公式45中所示的坐标变换：

公式45

$\left(\begin{array}{c}X\\ Y\end{array}\right)=\left(\begin{array}{cc}c& -d\\ d& c\end{array}\right)\left(\begin{array}{c}x\\ y\end{array}\right)+\left(\begin{array}{c}a\\ b\end{array}\right)$

当放置如下公式46时：

$\mathrm{vector}\tilde{h}={\left(\begin{array}{cccc}a& b& c& d\end{array}\right)}^T$

针对每一个全特征点，确定如下公式47中所示的两个线性条件(即等式)：

公式47

$\left(\begin{array}{cccc}f& 0& x& -y\end{array}\right)\tilde{h}=X$

$\left(\begin{array}{cccc}0& f& y& x\end{array}\right)\tilde{h}=Y$

而针对每一个半特征点，确定如下公式48中所示的一个线性条件(即等式)：

公式48

$\left(\begin{array}{cccc}{f}_{u_x}& f_{u_y}& {\mathrm{xu}}_x+{\mathrm{yu}}_y& {\mathrm{xu}}_y-{\mathrm{yu}}_x\end{array}\right)\tilde{h}=X_{u_x}+Y_{u_y}$

由于这个变换的自由度是4，所以能够通过准备四个或更多个条件而对该等式进行求解。

图15是示出了支持计算的操作流程图的示意图。在这个流程中，在对支持数进行初始化后(步骤S31)，针对被跟踪的特征点而执行循环(下文称作循环H)。在循环H中，执行基于坐标变换等式的变换(步骤S32)，并确定特征的类型(步骤S33)。接下来，如果特征类型是“全特征”，则执行针对全特征的内围层确定(步骤S34)，而如果该点是全特征内围层，则向支持数添加权重“2”(步骤S35)。另一方面，如果特征类型是“半特征”，则执行针对半特征的内围层确定(步骤S36)，而如果该点是半特征内围层，则向支持数添加比针对全特征内围层的权重要小的权重“1”(步骤S37)。接下来，更新支持数(步骤S38)，而当达到循环终点时，返回支持数(步骤S39)，且该流程终止。

如上所述，在本实施例中，当计算坐标变换等式时，把通过将每一个矢量沿特征方向投影而创建的一维约束(见先前的公式37至39)设置为用于把被跟踪的运动矢量与通过已确定的坐标变换而创建的偏移矢量进行比较的约束。借此，即使不存在全特征点，只要各个特征方向上存在半特征点，也能够对坐标变换稳定地求解。

根据本实施例，RANSAC用作估计并确认坐标变换的正确性的方法。然而，该方法不限于此。只要对被跟踪运动矢量与通过已确定的坐标变换所创建的偏移矢量的比较是把每一个矢量投影到特征方向上的一维比较，则可以使用任何方法。这些方法中的任一方法都可以消除当使用半特征点来估计和确认坐标变换等式时在无特征方向上出现的误差。

图16是全特征点和半特征点的匹配确定的概念图。在这幅图中，当全特征点25存在于拐角上且半特征点26存在于边上时，通过跟踪所确定的运动矢量34、35由实线所表示，而基于候选坐标变换的偏移矢量36、37由虚线所表示。附在半特征点26的粗箭头是特征方向上的单位矢量38。对于全特征点25，仅需确定通过由两个矢量34、36进行移动而确定的目标坐标是否处于特定距离内。另一方面，对于半特征26，尽管两个矢量35、37的方向和大小在该情况下彼此均不同，然而当它们被投影到特征方向时(即，当在特征方向上计算与单位矢量的内积时)，它们实质上是相同的。因此，可以确定半特征点26的跟踪与坐标变换匹配。

矢量的比较所需的计算量比窗口中像素值的比较所需的计算量要少。因此，当半特征点用于RANSAC时，如果被跟踪的运动矢量与朝向通过由候选坐标变换等式进行移动而确定的目标坐标的偏移矢量被投影到特征方向进行比较，且比较结果是这两个矢量实质上相同，则可以把点确定为内围层。借此，能够增加RANSEC的循环数，从而能够搜索更好的变换等式。

作为不使用特征方向上的投影的备选方法，可以通过比较像素值而执行匹配确定。当半特征点用于RANSEC时，如果在第一图像I₁和第二图像I₂之间对窗口中围绕半特征点的像素值进行比较，且它们之间的差别较小时(可以计算差的绝对值之和、差的平方和等，作为差别度)，则可以把点确定为内围层。借此，通过基于像素值的比较，可以排除明显的重影图像。

另外，在RANSAC的支持计算中，针对全特征内围层点的个数N_f，可以使用大于半特征内围层点的个数N_s的权重值(例如2N_f+N_s)作为支持数。借此，能够执行与全特征和半特征之间的信息量的差别相对应的适当的加权，由此增强与全特征的匹配。另外，虽然全特征具有二维信息，然而半特征仅具有一维信息。因此，如果全特征的个数和半特征的个数几乎相等，那么可以向具有更高精度的全特征赋予优先级，由此能够选择更加稳定的变换等式。

本发明还可以由用于在CPU上运行的上述流的组合程序来实现。图17是示出了组合程序的操作流程图的视图。在这个流程中，在对图像金字塔产生部分进行初始化后(步骤S41)，执行提取特征点(步骤S42)、跟踪特征点(步骤S43)、RANSAC(步骤S44)、对应位置计算(步骤S45)和相加(步骤S46)，然后该流程终止。

本发明还可以应用于全景合成，该全景合成通过把若干幅彼此部分重叠的图像进行连接而对覆盖较大区域的单张图像进行合成。在通过块匹配等对两个图像的重叠区域进行检测后，可以通过使用根据本发明的方法提取并跟踪该重叠范围内的特征点而确定坐标变换。注意，在合成处理中，优选地执行混合处理等，以使边界变得较不明显，而不是仅使用像素值的平均。

另外，本发明可以应用于对录像中的摄像机抖动进行修正(即，摄像机抖动的电子修正)。即，当录像和重放时，计算由摄像机抖动所导致的整个图像的运动矢量，并对每个帧或每个场进行转换，以消除该运动矢量。借此，减轻了摄像机抖动，并能够产生稳定的视频。更具体地，在根据本发明的方法对特征点进行提取和跟踪后，使用例如纯粹转换模型的坐标变换来确定支配该图像的运动矢量。取代通过相加对图像进行合成，新的帧或场可以依次被由此确定的运动矢量进行的转换所创建的图像而取代。借此，能够产生摄像机抖动较小的视频。

此外，尽管作为本发明优选实施例的图像处理装置的计算机程序产品存储在该图像处理装置的存储器(例如ROM等中)，然而该处理程序可以存储在计算机可读介质上，而且还应当在该程序的制造、销售等期间进行保护。在这种情况下，利用专利保护该程序的方法将以存储有计算机程序产品的计算机可读介质的形式来实现。

虽然已经参考优选实施例对本发明进行了描述，本发明不会由这里的描述中的任何细节所限制，而是包括落入所附权利要求的范围内的所有实施例。

Claims (16)

1.一种图像处理装置，包括：

全特征点检测部分(13b)，用于把像素值在任意方向上变化的点检测为全特征点；

半特征点检测部分(13b)，用于把像素值在特定方向上不变、而在其他方向上变化的点检测为半特征点；

第一跟踪部分(13c)，用于跟踪第一图像和第二图像之间的全特征点；

第二跟踪部分(13c)，用于跟踪第一图像和第二图像之间的半特征点；

H计算部分(14b)，用于计算坐标变换等式；

支持计算部分(14c)，根据第一跟踪部分和第二跟踪部分所做出的跟踪结果，估计计算的坐标变换等式的正确性；

以及

对应位置计算部分(15b)，用于根据第一跟踪部分和第二跟踪部分所做出的跟踪结果来对准输入的第一图像和第二图像。

2.根据权利要求1所述的图像处理装置，其中，第二跟踪部分的跟踪方向仅为像素值变化的方向。

3.根据权利要求1所述的图像处理装置，其中，对应位置计算部分(15b)还根据H计算部分(14b)所做出的判断来挑选和选择坐标变换等式。

4.根据权利要求3所述的图像处理装置，其中，支持计算部分(14c)对与全特征点有关的估计比与半特征点有关的估计赋予更大的权重。

5.根据权利要求1所述的图像处理装置，还包括：

相加部分(15a)，用于从已经由对应位置计算部分进行对准的多个图像中合成一个图像。

6.根据权利要求5所述的图像处理装置，其中，第二跟踪部分的 跟踪方向仅为像素值变化的方向。

7.根据权利要求5所述的图像处理装置，其中，对应位置计算部分(15b)还根据H计算部分(14b)所做出的判断来挑选和选择坐标变换等式。

8.根据权利要求7所述的图像处理装置，其中，支持计算部分(14c)对与全特征点有关的估计比与半特征点有关的估计赋予更大的权重。

9.一种图像处理方法，包括：

全特征点检测步骤(S2)，用于把像素值在任意方向上变化的点检测为全特征点；

半特征点检测步骤(S6)，用于把像素值在特定方向上不变、而在其他方向上变化的点检测为半特征点；

第一跟踪步骤(S11、S12、S13、S14、S16、S17、S18)，用于跟踪第一图像和第二图像之间的全特征点；

第二跟踪步骤(S11、S12、S13、S15、S16、S17、S18)，用于跟踪第一图像和第二图像之间的半特征点；

H计算步骤，用于计算坐标变换等式；

支持计算步骤(S27)，根据第一跟踪步骤和第二跟踪步骤所做出的跟踪结果，估计计算的坐标变换等式的正确性；以及

对应位置计算步骤(S32)，用于根据第一跟踪步骤和第二跟踪步骤所做出的跟踪结果来对准输入的第一图像和第二图像。

10.根据权利要求9所述的图像处理方法，其中，第二跟踪步骤的跟踪方向仅为像素值变化的方向。

11.根据权利要求9所述的图像处理方法，其中，对应位置计算步骤还根据H计算步骤所做出的判断来挑选和选择坐标变换等式。

12.根据权利要求11所述的图像处理方法，其中，支持计算步骤对与全特征点有关的估计比与半特征点有关的估计赋予更大的权重。

13.根据权利要求9所述的图像处理方法，还包括：

相加步骤(S46)，用于从已经由对应位置计算步骤进行对准的多个图像中合成一个图像。 

14.根据权利要求13所述的图像处理方法，其中，第二跟踪步骤的跟踪方向仅为像素值变化的方向。

15.根据权利要求13所述的图像处理方法，其中，对应位置计算步骤还根据H计算步骤所做出的判断来挑选和选择坐标变换等式。

16.根据权利要求15所述的图像处理方法，其中，支持计算步骤对与全特征点有关的估计比与半特征点有关的估计赋予更大的权重。 

Images