CN1638441A - 手抖动补正装置、手抖动补正方法及记录手抖动补正程序的记录媒体 - Google Patents

Abstract

在从基准帧到之后任意帧数的帧为止的范围内，进行动态图像数据的手抖动补正的手抖动补正装置中，具备：将输入帧和在时间上相对输入帧为前一帧之间的几何变换系数、即用于将输入帧上的坐标变换为在时间上相对输入帧为前一帧上的坐标的几何变换系数，作为相邻帧间的几何变换系数计算出来的第1模块；通过累积从基准帧到输入帧之间的各相邻帧之间的几何变换系数，计算出输入帧和基准帧之间的间接的几何变换系数的第2模块；利用输入帧和基准帧之间的间接的几何变换系数，计算出输入帧和基准帧之间的直接的几何变换系数的第3模块；以及，使用输入帧和基准帧之间的直接的几何变换系数，对输入帧进行手抖动补正的第4模块。

Description

手抖动补正装置、手抖动补正方法及记录手抖动补正程序的记录媒体

技术领域

本发明，涉及手抖动补正装置、手抖动补正方法及记录手抖动补正程序的记录媒体。

背景技术

一直以来，众所周知有对由摄像机等摄像装置摄得的图像，进行手抖动补正的手抖动补正装置。图1为，手抖动补正装置的块图。手抖动补正装置具有：帧输入部50、几何变换系数计算部51、手抖动补正部52及帧输出部53。

几何变换系数计算部51，例如、利用比对(matching)多个帧等的图像处理，计算几何变换系数。手抖动补正部52，使用由几何变换系数计算部51计算出的几何变换系数，对在临时存储器中记录的输入帧进行几何变换。

几何变换系数，相当于如下面公式(1)所示3×3的矩阵中所表示的、两帧之间的世界坐标变换的系数。

$\left(\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right)=\left(\begin{array}{ccc}{m}_{11}& m_{12}& m_{13}\\ m_{21}& m_{22}& m_{23}\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)\·\·\·\left(1\right)$

图2表示的是，在使用图像处理计算出几何变换系数、并通过对输入帧进行几何变换进行手抖动补正处理时的补正处理流程。

设开始帧(基准帧)为F_S，设当前的输入帧为F₂，设当前输入帧F₂的前一个输入帧为F₁，设帧F₁、F₂之间的几何变换系数(用于将帧F₂上的坐标变换成帧F₁上的坐标的几何变换系数)为M₁₂，设帧F_S、F₁之间的几何变换系数为M_S1，设帧F_S、F₂之间的累积几何变换系数(用于将帧F₂上的坐标变换为帧F_S上的坐标的累积几何变换系数)为M_S2。

对从开始帧到结束帧之间的各个帧进行如下处理。即，将输出帧用存储器清空后(步骤100)，将帧读入到工作存储器，将读入的帧(输入帧)设为F₂(步骤101)。

接着，判断输入帧F₂是否为开始帧F_S(步骤102)。当判断为输入帧F₂为开始帧F_S时，将如公式(2)所示的表示无变换的系数(初始值)，设置到开始帧F_S和输入帧F₂之间的累积几何变换系数为M_S2(步骤103)。

$M=\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right)\·\·\·\left(2\right)$

然后，在将输入帧F₂设置到前一个输入帧F₁的同时，将M_S2设置到开始帧F_S和前一个输入帧F₁之间的几何变换系数M_S1(步骤104)。另外，将输入帧F₂的数据原样绘入(rendering)到输出帧用存储器(步骤105)。之后，返回到步骤100，在清空输出帧用存储器的同时，读入下一帧。

在上述步骤102中，当判断为输入帧F₂不是开始帧F_S时，计算出前帧F₁和当前帧F₂之间的几何变换系数M₁₂(步骤106)。接下来，如式(3)所示，根据M_S1和M₁₂计算出开始帧F_S和当前帧F₂之间的累积变换系数M_S2(步骤107)。

M_S2＝M₁₂M_S1    …(3)

然后，在将输入帧F₂设置到前一个输入帧F₁的同时，将M_S2设置到开始帧F_S和前一个输入帧F₁之间的几何变换系数M_S1(步骤108)。另外，通过累积几何变换系数M_S2对输入帧F₂进行几何变换后，将几何变换后的帧绘入输出帧用存储器(步骤109)。之后，返回到步骤100，将输出帧用存储器清空后，读入下一帧。

如下所示，为两帧之间的几何变换系数的代表性的计算方法(参考特开平11-339021号公报)。首先，从一方的帧上提取边缘部等特征点。然后，在帧之间进行特征点的追踪(比对)，求得对应一方的帧上的特征点的另一方的帧上的对应点。由于根据一组对应点(x1，y1)·(x1′，y1′)可以如式(4)得到两个方程式，因此在通过检测出3组以上的对应点导出6个或6个以上的方程式。根据这些方程式，利用线型解法可计算出未知数的几何变换系数。

x′＝m₁₁x+m₁₂y+m₁₃

y′＝m₂₁x+m₂₂y+m₂₃      …(4)

在现有的几何变换系数的计算方法中，由于是通过累积从开始帧F_S到输入帧F₂间各个相邻帧之间的几何变换系数、计算出开始帧F_S和输入帧F₂间的累积几何变换系数，因此有：随着输入帧数增加，相邻帧之间的几何变换系数计算误差也被积蓄起来这个问题。也就是说其问题在于，当用中途帧计算几何变换系数发生较大错误时，会以用该错误的变换系数进行补正的帧作为基准，对以后的帧进行补正。

另外，在现有的手抖动补正方法中，有在输出帧用存储器中会产生未被绘入的区域的问题。即当在手抖动状态下摄下的多个帧为如图3所示帧时，将这些帧进行几何变换后的数据绘入输出帧用存储器后的图像，如图4所示。在如图4所示的各帧中，斜线部分为未绘入区域。

发明内容

本发明目的是，能够较高精度地求得基准帧和输入帧之间的几何变换系数，其结果是，提供能够进行高精度手抖动补正的手抖动补正装置、手抖动补正方法和记录有手抖动补正程序的记录媒体。

此外，本发明目的是，提供一种能够避免在容纳手抖动补正后的图像的输出帧用存储器的区域中，产生未绘入区域的手抖动补正装置、手抖动补正方法和记录有手抖动补正程序的记录媒体。

另外，本发明目的是，提供一种能够避免在容纳手抖动补正后的图像的输出帧用存储器的区域中，产生未绘入区域，并能保持画角不变、减少画质的劣化的手抖动补正装置、手抖动补正方法和记录有手抖动补正程序的记录媒体。

根据本发明的第1手抖动补正装置，在从基准帧到之后任意帧数的帧为止的范围内，对动态图像数据进行手抖动补正，其特征在于，具备：将输入帧和在时间上相对于输入帧为前一帧之间的几何变换系数，即用于将输入帧上的坐标变换为在时间上相对输入帧为前一个帧上坐标的几何变换系数、作为相邻帧间的几何变换系数计算的第1模块；通过累积从基准帧到输入帧之间的各相邻帧之间的几何变换系数，计算出输入帧和基准帧之间的间接的几何变换系数的第2模块；利用输入帧和基准帧之间的间接的几何变换系数，计算出输入帧和基准帧之间的直接的几何变换系数的第3模块；以及，使用输入帧和基准帧之间的直接的几何变换系数，对输入帧进行手抖动补正的第4模块。

作为第3模块，例如具备：从输入帧求取多个特征点的模块；对每个特征点求取基准帧上的对应点的模块；以及，根据输入帧上的各特征点和各特征点在基准帧上的对应点，计算出输入帧和基准帧之间的直接的几何变换系数的模块。对每个特征点求取基准帧上的对应点的模块，使用输入帧和基准帧之间的间接的几何变换系数，将输入帧上的特征点的坐标坐标变换为基准帧上的坐标，将得到的基准帧上的坐标点作为初始值，通过追踪对应输入帧上的特征点的基准帧上的对应点，求得与输入帧上的特征点对应的基准帧上的对应点。

作为第3模块，例如具备：从基准帧求取多个特征点的模块；对每个特征点求取输入帧上的对应点的模块；以及，根据基准帧上的各特征点和各特征点在输入帧上的对应点，计算出输入帧和基准帧之间的直接的几何变换系数的模块。对每个特征点求取输入帧上的对应点的模块，使用通过逆变换输入帧和基准帧之间的间接的几何变换系数所得到的系数，将基准帧上的特征点的坐标坐标变换为输入帧上的坐标，将得到的输入帧上的坐标点作为初始值，通过追踪与基准帧上特征点对应的输入帧上的对应点，求得与基准帧上的特征点对应的输入帧上的对应点。

根据本发明的第1手抖动补正方法，在从基准帧开始到之后任意帧数的帧为止的范围内，对动态图像数据进行手抖动补正，其特征在于具有：将输入帧、和在时间上相对于输入帧为前一帧之间的几何变换系数，即用于将输入帧上的坐标、变换为在时间上相对输入帧为前一帧上的坐标的几何变换系数，作为相邻帧间的几何变换系数计算出的第1步骤；通过累积从基准帧到输入帧之间的各相邻帧之间的几何变换系数，计算出输入帧和基准帧之间的间接的几何变换系数的第2步骤；利用输入帧和基准帧之间的间接的几何变换系数，计算出输入帧和基准帧之间的直接的几何变换系数的第3步骤；以及，利用输入帧和基准帧之间的直接的几何变换系数，对输入帧进行手抖动补正的第4步骤。

作为第3步骤，例如具有：从输入帧求取多个特征点的步骤；对每个特征点求取基准帧上的对应点的步骤；以及，根据输入帧上的各特征点和各特征点在基准帧上的对应点，计算出输入帧和基准帧之间的直接的几何变换系数的步骤。对每个特征点求取基准帧上的对应点的步骤，使用输入帧和基准帧之间的间接的几何变换系数，将输入帧上的特征点的坐标坐标变换为基准帧上的坐标，将所得到的基准帧上的坐标点作为初始值，通过追踪与输入帧上的特征点对应的基准帧上的对应点，求得与输入帧上的特征点对应的基准帧上的对应点。

作为第3步骤，例如具有：从基准帧求取多个特征点的步骤；对每个特征点求取输入帧上的对应点的步骤；以及，根据基准帧上的各特征点和各特征点在输入帧上的对应点，计算出输入帧和基准帧之间的直接的几何变换系数的步骤，对每个特征点求取输入帧上的对应点的步骤，使用通过逆变换输入帧和基准帧之间的间接的几何变换系数所得到的系数，将基准帧上的特征点的坐标坐标变换为输入帧上的坐标，将得到的输入帧上的坐标点作为初始值，通过追踪对应基准帧上的特征点的输入帧上的对应点，求得与基准帧上的特征点对应的输入帧上的对应点。

根据本发明的第1记录媒体，为记录有在从基准帧到之后任意帧数的帧为止的范围内、对动态图像数据进行手抖动补正的手抖动补正处理程序的计算机可读记录媒体，其特征在于，记录有用于在计算机中运行以下步骤的程序：将输入帧、和在时间上相对于输入帧为前一帧之间的几何变换系数，即用于将输入帧上的坐标、变换为在时间上相对输入帧为前一帧上的坐标的几何变换系数，作为相邻帧间的几何变换系数计算出的第1步骤；通过累积从基准帧到输入帧之间的各相邻帧之间的几何变换系数，计算出输入帧和基准帧之间的间接的几何变换系数的第2步骤；利用输入帧和基准帧之间的间接的几何变换系数，计算出输入帧和基准帧之间的直接的几何变换系数的第3步骤；以及，利用输入帧和基准帧之间的直接的几何变换系数，对输入帧进行手抖动补正的第4步骤。

作为第3步骤，例如具有：从输入帧求取多个特征点的步骤；对每个特征点求取基准帧上的对应点的步骤；以及，根据输入帧上的各特征点和各特征点在基准帧上的对应点，计算出输入帧和基准帧之间的直接的几何变换系数的步骤。对每个特征点求取基准帧上的对应点的步骤，使用输入帧和基准帧之间的间接的几何变换系数，将输入帧上的特征点的坐标变换为基准帧上的坐标，将所得到的基准帧上的坐标点作为初始值，通过追踪对应输入帧上特征点的基准帧上的对应点，求得与输入帧上的特征点对应的基准帧上的对应点。

作为第3步骤，例如具有：从基准帧求取多个特征点的步骤；对每个特征点求取输入帧上的对应点的步骤；以及，根据基准帧上的各特征点和各特征点在输入帧上的对应点，计算出输入帧和基准帧之间的直接的几何变换系数的步骤。对每个特征点求取输入帧上的对应点的步骤，使用通过逆变换输入帧和基准帧之间的间接的几何变换系数所得到的系数，将基准帧上的特征点的坐标坐标变换为输入帧上的坐标，将得到的输入帧上的坐标点作为初始值，通过追踪对应基准帧上的特征点的输入帧上的对应点，求得与基准帧上的特征点对应的输入帧上对应点。

本发明的第2手抖动补正装置，对动态图像数据进行手抖动补正，其特征在于，具备：对每个输入帧，计算出作为手抖动补正基准的帧、和输入帧之间的几何变换系数的第1模块；以及，对每个输入帧，生成输出帧的第2模块。第2模块，具备：清空输出帧用存储器的模块；根据由第1模块计算出的、与输入帧对应的几何变换系数，对该输入帧进行几何变换的模块；将对应输入帧的几何变换后的帧，绘入输出帧存储器的模块；以及，通过输入帧附近1个或1个以上的帧，对输出帧用存储器中未绘入区域进行插值的模块。

根据本发明的第2手抖动补正方法，对动态图像数据进行手抖动补正，其特征在于：具备：对每个输入帧，计算出作为手抖动补正基准的帧、和输入帧之间的几何变换系数的第1步骤；以及，对每个输入帧，生成输出帧的第2步骤。第2步骤，具有：清空输出帧用存储器的步骤；根据由第1步骤计算出的、与输入帧对应的几何变换系数，对该输入帧进行几何变换的步骤；将对应输入帧的几何变换后的帧，绘入输出帧存储器的步骤；以及，通过输入帧附近1个或1个以上的帧，对输出帧存储器中未绘入区域进行插值的步骤。

根据本发明的第2记录媒体，为记录有在从基准帧到之后任意帧数的帧为止的范围内、对动态图像数据进行手抖动补正的手抖动补正处理程序的计算机可读记录媒体，其特征在于，记录有用于在计算机中运行以下步骤的程序：对每个输入帧，计算出作为手抖动补正基准的帧、和输入帧之间的几何变换系数的第1步骤；以及，对每个输入帧，生成输出帧的第2步骤。第2步骤，具有：清空输出帧用存储器的步骤；根据由第1步骤计算出的、与输入帧对应的几何变换系数，对该输入帧进行几何变换的步骤；将对应输入帧的几何变换后的帧，绘入输出帧存储器的步骤；以及，通过输入帧附近1个或1个以上的帧，对输出帧存储器中未绘入区域进行插值的步骤。

根据本发明的第3手抖动补正装置，对动态图像数据进行手抖动补正，其特征在于，具备：对每个输入帧，计算出作为手抖动补正基准的帧、和输入帧之间的几何变换系数的第1模块；对每个输入帧，根据由第1装置计算出的、与其对应的几何变换系数进行几何变换后，将对应输入帧的几何变换后的帧绘入输出帧存储器的第2模块；以及，保持由第2模块产生的绘入结果的第3模块。当第2模块，将与第2号以后的输入帧对应的几何变换后的帧、绘入输出帧存储器时，在到此为止的绘入结果上，覆盖上与该输入帧对应的几何变换后的帧。

本发明的第3手抖动补正方法，对动态图像数据进行手抖动补正，其特征在于，具有：对每个输入帧，计算出作为手抖动补正基准的帧、和输入帧之间的几何变换系数的第1步骤；对每个输入帧，根据由第1步骤计算出的、与其对应的几何变换系数进行几何变换后，将对应输入帧的几何变换后的帧绘入输出帧存储器的第2步骤；以及，保持由第2步骤产生的绘入结果的第3步骤。当第2步骤，将与第2号以后的输入帧对应的几何变换后的帧、绘入输出帧存储器时，在到此为止的绘入结果上，覆盖上与该输入帧对应的几何变换后的帧。

根据本发明的第3记录媒体，为记录有在从基准帧到之后任意帧数的帧为止的范围内、对动态图像数据进行手抖动补正的手抖动补正处理程序的计算机可读记录媒体，其特征在于，记录有用于在计算机中运行以下步骤的程序：对每个输入帧，计算出作为手抖动补正基准的帧、和输入帧之间的几何变换系数的第1步骤；对每个输入帧，根据由第1步骤计算出的、与其对应的几何变换系数进行几何变换后，将对应输入帧的几何变换后的帧绘入输出帧存储器的第2步骤；以及，保持由第2步骤产生的绘入结果的第3步骤。当第2步骤，将与第2号以后的输入帧对应的几何变换后的帧、绘入输出帧存储器时，在到此为止的绘入结果上，覆盖上与该输入帧对应的几何变换后的帧。

附图说明

图1为，表示现有的手抖动补正装置结构的块图。

图2为，表示按照现有方法实施的手抖动补正处理顺序的流程图。

图3为，表示在有手抖动的状态下所拍摄的帧的示意图。

图4为，表示将图3的各帧进行几何变换后的数据，绘入输出帧用存储器得到的图像的示意图。

图5为，表示手抖动补正装置的结构的块图。

图6为，表示几何变换系数计算处理顺序的流程图。

图7为，表示图6的步骤9的详细处理顺序的流程图。

图8为，表示图6的步骤9的详细处理顺序的另一个示例的流程图。

图9为，表示输出帧的生成处理顺序的流程图。

图10为，用于对邻近帧的混合比的计算方法进行说明的示意图。

图11为，表示输出帧的生成处理顺序的另一个示例的流程图。

具体实施方式

下面，对本发明的实施例进行说明。

(1)手抖动补正装置的说明

图5表示手抖动补正装置的结构。

手抖动补正装置，通过个人计算机(PC)10来实现。PC10连接有显示器21、鼠标22和键盘23。PC10具备：CPU11、存储器12、硬盘13及CD-ROM之类的可移动磁盘驱动器(磁盘驱动器)14。

在硬盘13上除了OS(操作系统)等之外，还存放有手抖动补正处理程序。使用存储有手抖动补正处理程序的CD-ROM20，将该程序安装到硬盘13。另外，设硬盘13上预先存放了由摄像机等拍摄的动态图像文件。

(2)在手抖动补正程序启动的情况下，由CPU实施的手抖动补正处理的说明。

在手抖动补正处理中，包含几何变换系数计算处理和输出帧生成处理。首先，在进行几何变换计算处理之后进行输出帧生成处理。

另外，在本实施例中，是否对输出帧用存储器内的未绘入的区域进行插值处理，由用户预先设定。当进行对未绘入区域进行插值处理的设定时，令记录该内容的标志(以下称为是否插值处理判定标志)flag为设置(flag＝1)状态；当进行对对未绘入区域不进行插值处理的设定时，令记录该内容的是否插值处理判定标志flag为重置(flag＝0)的状态。

在手抖动补正处理中，将进行手抖动补正的范围内的最初的帧(开始帧)作为基准帧，对进行该手抖动补正的范围内的其他帧的手抖动进行补正。另外，可以任意设定进行手抖动补正的范围。

图6表示几何变换系数计算处理次序。

设进行手抖动补正的范围内的开始帧(基准帧)为F_S，设进行手抖动补正的范围内的当前的输入帧为F₂，设当前输入帧F₂的前一个输入帧为F₁，设帧F₁和F₂之间的几何变换系数(用于将帧F₂上的坐标变换成帧F₁上的坐标的几何变换系数)为M₁₂，设帧F_S、F₁之间的几何变换系数为M_S1，设帧F_S、F₂之间的累积几何变换系数(用于将帧F₂上的坐标变换为帧F_S上的坐标的累积几何变换系数)为M_S2。

对从进行手抖动补正范围内的开始帧到结束帧的各个帧，进行如下处理。即首先，将帧读入到存储器，设读入的帧(输入帧)为F₂(步骤1)。

接着，判断输入帧F₂是否为开始帧F_S(步骤2)。当判断为输入帧F₂为开始帧F_S时，将如公式(5)所示的表示无变换的系数(初始值)，设置到开始帧F_S和输入帧F₂之间的累积几何变换系数M_S2(步骤3)。

$M=\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right)\·\·\·\left(5\right)$

然后，在将输入帧F₂设置到前一个输入帧F₁的同时，将M_S2设置到开始帧F_S和前一个输入帧F₁之间的几何变换系数M_S1(步骤4)。另外，将M_S2设置到开始帧F_S和输入帧F₂之间的直接几何变换系数M’_S2(步骤5)。之后，返回到步骤1，读入下一帧。

在上述步骤2中，当判断为输入帧F₂不是开始帧F_S时，计算出前帧F₁和当前帧F₂之间的几何变换系数M₁₂(步骤6)。然后如式(6)所示，根据M_S1和M₁₂计算开始帧F_S和当前帧F₂之间的累积几何变换系数M_S2(步骤7)。

M_S2＝M₁₂M_S1    …(6)

然后，在将输入帧F₂设置到前一个输入帧F₁的同时，将M_S2设置到开始帧F_S和前一个输入帧F₁之间的几何变换系数M_S1(步骤8)。

接下来，基于上述步骤7计算出的累积几何变换系数M_S2，计算出开始帧F_S和输入帧F₂之间的直接几何变换系数M’_S2，(步骤9)。对于此处理的细节，在后文进行说明。之后，返回到步骤1，读入下一帧。直到最终帧为止反复进行该处理。

图7表示图6的步骤9处理的详细顺序。

首先，从输入帧F₂提取多个特征点P₂(步骤11)。所谓特征点，是指邻接像素的亮度值发生急剧变化的点。然后，对每个特征点进行步骤12～14的处理。

读取一个特征点P₂(步骤12)。然后，根据累积几何变换系数M_S2将该特征点P₂坐标变换到开始帧F_S，设该点为P’₂(步骤13)，将点P’₂作为探索的初始值(探索开始点)，追踪对应点P₂的开始帧F_S上的特征点，设得到的点为P”₂(步骤14)。

这里，特征点的追踪使用梯度法(gradient method)的光流估算(opticalflow estimation)。由于光流估算，是以在局部区域内的物体运动为前提，因此在开始帧F_S和输入帧F₂之间有较大的相机运动时，无法正确地检测出特征点的运动。因此，如上所述，通过将用累积几何变换系数M_S2将输入帧F₂的特征点P₂坐标变换后得到的P’₂、作为开始帧F_S上的追踪的初始值，从而即使在开始帧F_S和输入帧F₂之间具有较大的相机运动，也能将其假定为微小的运动，并正确地检测出特征点的运动。

对在步骤11中提取的全部特征点进行上述步骤12～14的处理，得到带有帧间的全部特征点对应关系的结果。如前文所述，根据各对应点导出2个方程式；根据全部方程式、通过线性解法，计算出有6个未知数的几何变换系数(步骤15)。将计算出的几何变换系数设为M’_S2。

图8表示图6的步骤9的处理顺序的另一个示例。

首先，从开始帧F_S提取多个特征点P_S(步骤21)。所谓特征点是指邻接像素的亮度值发生急剧变化的点。然后，通过对累积几何变换系数进行逆变换(矩阵逆变换)，求出系数M_S2-inv(步骤22)。以下，对每个特征点进行步骤23～25的处理。

读取一个特征点P_S(步骤23)。然后基于系数M_S2-inv将该特征点P_S坐标变换到输入帧F₂上，将该点设为P’_S(步骤24)。将点P’_S作为探索的初始值(探索开始点)，追踪对应点P_S的输入帧F₂上的特征点，将得到的点设为P”_S(步骤25)。

这里，特征点的追踪使用梯度法的光流估算。由于光流估算，是以局部区域内的物体的运动为前提，因此当开始帧F_S和输入帧F₂之间有较大的相机运动时，无法正确地检测特征点的运动。因此，如上所述通过将用逆变换累积几何变换系数M_S2所得到的系数M_S2-inv、将开始帧F_S的特征点P_S进行坐标变换后得到的P’_S作为输入帧F₂上的追踪的初始值，从而即使在开始帧F_S和输入帧F₂之间有较大的相机运动，也能假定为微小的运动，从而正确地检测特征点的运动。

对在步骤21中提取的全部特征点进行上述步骤23～25的处理，得到带有帧间的全部特征点对应关系的结果。如前面所述，根据各对应点导出2个方程式，根据全部方程式、通过线性解法计算出有6个未知数的几何变换系数(步骤26)。将计算出的几何变换系数设为M’_S2。

图9表示在计算出对应全部帧的几何变换系数M’_S2后进行的输出帧生成处理顺序。

以M’_Si(i＝1，2，…)，表示通过上述图6的几何变换系数计算处理所计算得到的、开始帧F_S和各输入帧F₂之间的直接的几何变换系数M’_S2。

对从开始帧到结束帧的各帧，进行以下处理。即首先清空输出帧用存储器(步骤31)。之后，将对象帧F_i读入存储器(步骤32)。然后，读取对应对象帧F_i的几何变换系数M’_Si(步骤33)。然后，以对应对象帧F_i的几何变换系数M’_Si将该对象帧F_i进行几何变换，从而生成帧F’_i(步骤34)，将几何变换后的帧F’_i绘入输出帧用存储器(步骤35)。

然后，判定是否插值处理判定标志flag是否被设置(flag＝1)(步骤36)。当是否插值处理判定标志flag没有被设置时(flag＝0)，不对输出帧用存储器中的未绘入区域内的各个像素进行插值处理(步骤37～41)。于是，成为对从开始帧到结束帧之间的各帧只进行上述步骤31～35的处理。

当是否插值处理判定标志flag被设置时，对输出帧用存储器中的未绘入区域内的各个像素进行插值处理(步骤37～41)。下面对针对未绘入区域的点P像素的插值处理进行说明。

将在时间上靠近对象帧F_i的前后10帧作为邻近帧F_i-neighbors提取。另外，若前后邻近帧不够10帧，只提取有限的邻近帧。然后，对于每个邻近帧F_i-neighbors进行如下处理。

即，将对应邻近帧F_i-neighbors的几何变换系数M’_Si-neighbors读入到存储器中(步骤37)。然后通过对M’_Si-neighbors进行逆变换(矩阵逆变换)得到系数M’_{Si-neighbors-inv}(步骤38)。这里，M’_{Si-neighbors-inv}相当于将开始帧上的点坐标变换到上述邻近帧的几何变换系数。

将以M’_{Si-neighbors-inv}对点P进行几何变换后得到点、设为P_i-neighbors(步骤39)，并取得上述邻近帧上的点P_i-neighbors的亮度值(步骤40)。将取得的亮度值设为V_pi-neighbors。对各个邻近帧F_i-neighbors都进行这种处理(步骤37～40)。

通过混合对应从各邻近帧F_i-neighbors得到的点P的亮度值V_pi-neighbors，生成点P的亮度值(步骤41)。

另外，当用M’_{Si-neighbors-inv}将点P几何变换后得到的点P_i-neighbors、不存在于邻近帧上，不对该邻近帧的亮度进行混合。当插值中能够使用的邻近帧一个也没有时，就以开始帧的像素值进行插值。

对于对应从各邻近帧F_i-neighbors得到的点P的亮度值V_pi-neighbors的混合比，通过以下方式决定。

首先，如图10所示，从离对象帧最近的帧开始，依次给邻近帧预先赋以1/2ⁿ的系数K。n为补正对象帧和邻近帧之间的帧数。

然后，合计在未绘入区域内的点P的插值中可使用的邻近帧的系数(K_total)。然后，计算该合计的倒数(1/K_total)，将各邻近帧的系数K乘以1/K_total。将其作为各邻近帧的混合比。

例如，当在未绘入区域内的点P的插值中可使用的邻近帧，为K＝1/8的1帧和K＝1/2的1帧时，这些邻近帧的系数的合计K_total为5/8。该合计的倒数为8/5。K＝1/8的上述邻近帧的混合比为(1/8)×(8/5)＝1/5，K＝1/2的上述邻近帧的混合比为(1/2)×(8/5)＝4/5。

这样，通过求取与在插值中可使用的各邻近帧对应的混合比，给在时间上离对象帧越近的邻近帧赋予越大的混合比，且混合比的合计为1。然后，对未绘入区域的全部点、进行上述这种针对点P的插值处理，完成输出帧。

按照上述实施例，即使在中途帧计算几何变换系数中失败，该失败也不会对以后的帧的补正处理产生影响，从而实现高精度的手抖动补正。而且，在手抖动补正后的输出帧中不包含摄影数据以外的数据，能够确保不低于输入帧的视野。

再者，在不需要对未绘入区域进行插值处理时，也可以在图6的步骤1前使输出帧用存储器清空，在图6的步骤5中用M_S2对帧F₂进行几何变换，将几何变换后的数据绘入输出帧用存储器；在图6的步骤9中计算出几何变换系数M’_S2，同时用M’_S2对帧F₂进行几何变换，将几何变换后的数据绘入到输出帧用存储器。

(3)对输出帧的生成处理的变形例进行说明

对于输出帧生成处理变形例进行说明。

图11表示的是，在计算出对应全部帧的几何变换系数M’_S2后、进行的输出帧生成处理顺序的另一个示例。

用M’_Si(i＝1，2，…)，表示通过上述图6的几何变换系数计算处理计算出的、开始帧F_S和各输入帧F₂之间的直接几何变换系数M’_S2。

对从开始帧到结束帧之间的各帧进行如下处理。即，首先判别是否插值处理判定标志flag是否被设置(flag＝1)(步骤41)。当是否插值处理判定标志flag未被设置(flag＝0)时，在清空输出帧用存储器(步骤42)之后，再进到步骤43。当是否插值处理判定标志flag被设置(flag＝1)时，不清空输出帧用存储器，直接进到步骤43。

在步骤43中，将对象帧F_i读入存储器。然后，读入对应对象帧F_i的几何变换系数M’_Si(步骤44)。然后，以对应对象帧F_i的几何变换系数M’_Si、对该对象帧F_i进行几何变换后生成帧F’_i(步骤45)，并将几何变换后的帧F’_i绘入输出帧用存储器(步骤46)。重复进行上述步骤41～46的处理直到结束帧。

在该输出帧的生成处理中，当是否插值处理判定标志flag被设置时，由于不对每个输入帧清空输出帧用存储器，因此在输出帧用存储器中，在过去帧的手抖动补正结果之上、覆盖各输入帧的手抖动补正结果。由于没有对开始帧进行几何变换，因此在将开始帧绘入输出帧用存储器后，在输出帧用存储器上，至少开始帧的尺寸大小的区域为绘入完毕区域。

从而，在将各输入帧的手抖动补正结果绘入输出帧用存储器时，绘入该手抖动补正结果区域以外的区域，处于被由过去帧的手抖动补正结果插值的状态。通过该方法，输出帧可以确保与输入帧相同的视野(画角)。当输入帧内的周边部分没有移动的物体时，过去帧的手抖动补正结果和当前帧的手抖动补正结果的过渡部分并不十分明显，可获比较自然的手抖动补正结果。

Claims (15)

1、一种手抖动补正装置，在从基准帧到之后任意帧数的帧为止的范围内，对动态图像数据进行手抖动补正，其特征在于，具备：

将输入帧和在时间上相对于输入帧为前一帧之间的几何变换系数，即用于将输入帧上的坐标变换为在时间上相对于输入帧为前一个帧上坐标的几何变换系数，作为相邻帧间的几何变换系数计算出的第1模块；

通过累积从基准帧到输入帧之间的各相邻帧之间的几何变换系数，计算出输入帧和基准帧之间的间接的几何变换系数的第2模块；

利用输入帧和基准帧之间的间接的几何变换系数，计算出输入帧和基准帧之间的直接的几何变换系数的第3模块；以及，

使用输入帧和基准帧之间的直接的几何变换系数，对输入帧进行手抖动补正的第4模块。

2、根据权利要求1所述的手抖动补正装置，其特征在于：

第3模块具备：从输入帧求取多个特征点的模块；对每个特征点求取基准帧上的对应点的模块；以及，根据输入帧上的各特征点和各特征点在基准帧上的对应点，计算出输入帧和基准帧之间的直接的几何变换系数的模块，

对每个特征点求取基准帧上的对应点的模块，使用输入帧和基准帧之间的间接的几何变换系数，将输入帧上的特征点的坐标坐标变换为基准帧上的坐标，将得到的基准帧上的坐标点作为初始值，通过追踪对应输入帧上的特征点的基准帧上的对应点，求得与输入帧上的特征点对应的基准帧上的对应点。

3、根据权利要求1所述的手抖动补正装置，其特征在于：

第3模块具备：从基准帧求取多个特征点的模块；对每个特征点求取输入帧上的对应点的模块；以及，根据基准帧上的各特征点和各特征点在输入帧上的对应点，计算出输入帧和基准帧之间的直接的几何变换系数的模块，

对每个特征点求取输入帧上的对应点的模块，使用通过逆变换输入帧和基准帧之间的间接的几何变换系数所得到的系数，将基准帧上的特征点的坐标坐标变换为输入帧上的坐标，将得到的输入帧上的坐标点作为初始值，通过追踪与基准帧上特征点对应的输入帧上的对应点，求得与基准帧上的特征点对应的输入帧上的对应点。

4、一种手抖动补正方法，在从基准帧开始到之后任意帧数的帧为止的范围内，对动态图像数据进行手抖动补正，其特征在于具有：

将输入帧、和在时间上相对于输入帧为前一帧之间的几何变换系数，即用于将输入帧上的坐标、变换为在时间上相对输入帧为前一帧上的坐标的几何变换系数，作为相邻帧间的几何变换系数计算出的第1步骤；

通过累积从基准帧到输入帧之间的各相邻帧之间的几何变换系数，计算出输入帧和基准帧之间的间接的几何变换系数的第2步骤；

利用输入帧和基准帧之间的间接的几何变换系数，计算出输入帧和基准帧之间的直接的几何变换系数的第3步骤；以及，

利用输入帧和基准帧之间的直接的几何变换系数，对输入帧进行手抖动补正的第4步骤。

5、如权利要求4所述的手抖动补正方法，其特征在于：

第3步骤具有：从输入帧求取多个特征点的步骤；对每个特征点求取基准帧上的对应点的步骤；以及，根据输入帧上的各特征点和各特征点在基准帧上的对应点，计算出输入帧和基准帧之间的直接的几何变换系数的步骤，

对每个特征点求取基准帧上的对应点的步骤，使用输入帧和基准帧之间的间接的几何变换系数，将输入帧上的特征点的坐标坐标变换为基准帧上的坐标，将所得到的基准帧上的坐标点作为初始值，通过追踪对应输入帧上特征点的基准帧上的对应点，求得与输入帧上的特征点对应的基准帧上的对应点。

6、根据权利要求4所述的手抖动补正方法，其特征在于：

第3步骤具有：从基准帧求取多个特征点的步骤；对每个特征点求取输入帧上的对应点的步骤；以及，根据基准帧上的各特征点和各特征点在输入帧上的对应点，计算出输入帧和基准帧之间的直接的几何变换系数的步骤，

对每个特征点求取输入帧上的对应点的步骤，使用通过逆变换输入帧和基准帧之间的间接的几何变换系数所得到的系数，将基准帧上的特征点的坐标坐标变换为输入帧上的坐标，将得到的输入帧上的坐标点作为初始值，通过追踪对应基准帧上的特征点的输入帧上的对应点，求得与基准帧上的特征点对应的输入帧上的对应点。

7、一种记录有手抖动补正处理程序的计算机可读记录媒体，记录有在从基准帧到之后任意帧数的帧为止的范围内、对动态图像数据进行手抖动补正的手抖动补正处理程序，其特征在于：记录有用于在计算机中运行以下步骤的程序，

将输入帧、和在时间上相对于输入帧为前一帧之间的几何变换系数，即用于将输入帧上的坐标、变换为在时间上相对输入帧为前一帧上的坐标的几何变换系数，作为相邻帧间的几何变换系数计算出的第1步骤；

通过累积从基准帧到输入帧之间的各相邻帧之间的几何变换系数，计算出输入帧和基准帧之间的间接的几何变换系数的第2步骤；

利用输入帧和基准帧之间的间接的几何变换系数，计算出输入帧和基准帧之间的直接的几何变换系数的第3步骤；以及，

利用输入帧和基准帧之间的直接的几何变换系数，对输入帧进行手抖动补正的第4步骤。

8、根据权利要求7所述的记录有手抖动补正处理程序的计算机可读记录媒体，其特征在于：

第3步骤具有：从输入帧求取多个特征点的步骤；对每个特征点求取基准帧上的对应点的步骤；以及，根据输入帧上的各特征点和各特征点在基准帧上的对应点，计算出输入帧和基准帧之间的直接的几何变换系数的步骤，

对每个特征点求取基准帧上的对应点的步骤，使用输入帧和基准帧之间的间接的几何变换系数，将输入帧上的特征点的坐标变换为基准帧上的坐标，将所得到的基准帧上的坐标点作为初始值，通过追踪对应输入帧上特征点的基准帧上的对应点，求得与输入帧上的特征点对应的基准帧上的对应点。

9、根据权利要求7所述的记录有手抖动补正处理程序的计算机可读记录媒体，其特征在于：

第3步骤具有：从基准帧求取多个特征点的步骤；对每个特征点求取输入帧上的对应点的步骤；以及，根据基准帧上的各特征点和各特征点在输入帧上的对应点，计算出输入帧和基准帧之间的直接的几何变换系数的步骤，

对每个特征点求取输入帧上的对应点的步骤，使用通过逆变换输入帧和基准帧之间的间接的几何变换系数所得到的系数，将基准帧上的特征点的坐标坐标变换为输入帧上的坐标，将得到的输入帧上的坐标点作为初始值，通过追踪对应基准帧上的特征点的输入帧上的对应点，求得与基准帧上的特征点对应的输入帧上对应点。

10、一种手抖动补正装置，对动态图像数据进行手抖动补正，其特征在于：

具备：对每个输入帧，计算出作为手抖动补正基准的帧、和输入帧之间的几何变换系数的第1模块；以及，对每个输入帧，生成输出帧的第2模块，

第2模块，具备：清空输出帧用存储器的模块；根据由第1模块计算出的、与输入帧对应的几何变换系数，对该输入帧进行几何变换的模块；将对应输入帧的几何变换后的帧，绘入输出帧存储器的模块；以及，通过输入帧附近1个或1个以上的帧，对输出帧用存储器中未绘入区域进行插值的模块。

11、一种手抖动补正方法，对动态图像数据进行手抖动补正，其特征在于：

具备：对每个输入帧，计算出作为手抖动补正基准的帧、和输入帧之间的几何变换系数的第1步骤；以及，对每个输入帧，生成输出帧的第2步骤，

第2步骤，具有：清空输出帧用存储器的步骤；根据由第1步骤计算出的、与输入帧对应的几何变换系数，对该输入帧进行几何变换的步骤；将对应输入帧的几何变换后的帧，绘入输出帧存储器的步骤；以及，通过输入帧附近1个或1个以上的帧，对输出帧存储器中未绘入区域进行插值的步骤。

12、一种记录手抖动补正处理程序的计算机可读记录媒体，记录有对动态图像数据进行手抖动补正程序，其特征在于：记录有用于在计算机中运行以下步骤的程序，

对每个输入帧，计算出作为手抖动补正基准的帧、和输入帧之间的几何变换系数的第1步骤；以及，对每个输入帧，生成输出帧的第2步骤，

第2步骤，具有：清空输出帧用存储器的步骤；根据由第1步骤计算出的、与输入帧对应的几何变换系数，对该输入帧进行几何变换的步骤；将对应输入帧的几何变换后的帧，绘入输出帧存储器的步骤；以及，通过输入帧附近1个或1个以上的帧，对输出帧存储器中未绘入区域进行插值的步骤。

13、一种手抖动补正装置，对动态图像数据进行手抖动补正，其特征在于：

具备：对每个输入帧，计算出作为手抖动补正基准的帧、和输入帧之间的几何变换系数的第1模块；对每个输入帧，根据由第1装置计算出的、与其对应的几何变换系数进行几何变换后，将对应输入帧的几何变换后的帧绘入输出帧存储器的第2模块；以及，保持由第2模块产生的绘入结果的第3模块，

当第2模块，将与第2号以后的输入帧对应的几何变换后的帧、绘入输出帧存储器时，在到此为止的绘入结果上，覆盖上与该输入帧对应的几何变换后的帧。

14、一种手抖动补正方法，对动态图像数据进行手抖动补正，其特征在于：

具有：对每个输入帧，计算出作为手抖动补正基准的帧、和输入帧之间的几何变换系数的第1步骤；对每个输入帧，根据由第1步骤计算出的、与其对应的几何变换系数进行几何变换后，将对应输入帧的几何变换后的帧绘入输出帧存储器的第2步骤；以及，保持由第2步骤产生的绘入结果的第3步骤，

当第2步骤，将与第2号以后的输入帧对应的几何变换后的帧、绘入输出帧存储器时，在到此为止的绘入结果上，覆盖上与该输入帧对应的几何变换后的帧。

15、一种记录有手抖动补正处理程序的计算机可读记录媒体，记录有对动态图像数据进行手抖动补正的程序，其特征在于：记录有用于在计算机中运行以下步骤的程序，

对每个输入帧，计算出作为手抖动补正基准的帧、和输入帧之间的几何变换系数的第1步骤；对每个输入帧，根据由第1步骤计算出的、与其对应的几何变换系数进行几何变换后，将对应输入帧的几何变换后的帧绘入输出帧存储器的第2步骤；以及，保持由第2步骤产生的绘入结果的第3步骤，

当第2步骤，将与第2号以后的输入帧对应的几何变换后的帧、绘入输出帧存储器时，在到此为止的绘入结果上，覆盖上与该输入帧对应的几何变换后的帧。

Images