CN102208110A - 图像处理设备、图像处理方法和图像处理程序 - Google Patents

Abstract

公开了一种图像处理设备、图像处理方法和图像处理程序。该图像处理设备包括：匹配处理部，其使用构成多视点视频数据的一帧图像的至少两片视频数据来计算构成所述一帧图像的全部视频数据的中央坐标相对于所述一帧图像的原点坐标的位置，并生成作为计算结果的焦点信息；运动向量检测部，其使用构成所述一帧图像的至少两片视频数据中的一片视频数据，来检测表示所述一帧图像的总体运动的运动向量；运动成分分离处理部，其使用所生成的焦点信息和所检测到的运动向量来分离所述一帧图像的运动成分；以及校正部，其使用所述运动成分分离处理部所分离出的运动成分，来对构成所述一帧图像的全部视频数据进行校正。

Description

图像处理设备、图像处理方法和图像处理程序

技术领域

本发明涉及一种图像处理设备、图像处理方法、图像处理程序和记录介质，更具体地，涉及一种对由例如摄像设备拍摄的多视点视频数据进行编辑的图像处理设备。

背景技术

在过去，这样的摄像设备广为人知：该摄像设备安装有加速度传感器等传感器，并且通过移动对使用者所造成的相机抖动进行补偿的镜头等光学部件来校正相机抖动。(例如，参见：http:/dspace.wul.waseda.ac.jp/dspace/bitstream/2065/5323/3/Honbun-4189.pdf《与用于改善视频系统的脆弱性的核心技术有关的研究》大岛光昭)

在摄像设备中，使用全帧快门方式的CCD(电荷耦合器件)通常被用作摄像器件。该CCD被配置成一次传输对应于一帧的数据。

然而，近年来，由于在成本方面等有优势，许多摄像设备采用使用焦平面快门方式的CMOS(互补型金属氧化物半导体)。

由于该CMOS逐线地传输数据，所以时间上的摄像时序在一帧中仅略微偏离。因此，对于由该CMOS拍摄的帧图像数据，当因相机抖动或使用者有意的运动(以下称作“相机工作”)而使摄像设备移动时，在被摄物处可能会发生所谓焦平面失真。

为了解决这一问题，提出了一种对帧图像数据中的焦平面失真进行校正的摄像设备。(例如，参见日本特开第2008-78808号公报)

发明内容

在具有校正上述相机抖动的功能的摄像设备中，为了防止过度校正被控制系统发散，通过抵消一部分相机抖动来减轻该相机抖动。即，在摄像设备中，尽管可在视频数据中减轻相机抖动的影响，但在所拍摄的视频数据中依然遗留有相机抖动的影响。因此，希望通过拍摄后的后处理来进一步减轻相机抖动的影响。

在摄像设备中，可能无法在后处理中检测到该摄像设备自身的运动(以下称作“相机运动”)的量。由于在日本特开第2008-78808号公报中记载的方法中需要分割摄像器件，因而该方法可能不适用于后处理。

因此，在图像处理设备中，基于根据视频数据检测到的运动向量来计算相机运动成分，并根据该相机运动计算相机抖动量。然而，如上所述，由于摄像设备的相机抖动，发生焦平面失真。

在此情况下，在图像处理设备中，可能因如下事实而产生问题：因焦平面失真对运动向量的影响而可能无法以高精度计算相机运动成分，且可能无法改进帧图像数据的品质。

根据现有技术的对视频数据的相机抖动进行校正的方法被应用于单视点视频数据。因此，当由摄像设备拍摄多视点视频数据、并对所拍摄的多视点视频数据不加修改地应用根据现有技术的对相机抖动进行校正的方法时，可能会因为无法获得所期望的视频数据这一事实而产生问题。

有鉴于此，希望提供一种能够改进多视点视频数据的品质的、新颖且改进的图像处理设备、新颖且改进的图像处理方法以及新颖且改进的图像处理程序。

根据本发明的一个实施例，提供了一种图像处理设备，包括：匹配处理部，所述匹配处理部使用构成多视点视频数据的一帧图像的至少两片视频数据来计算构成所述一帧图像的全部视频数据的中央坐标相对于所述一帧图像的原点坐标的位置，并生成作为计算结果的焦点信息；运动向量检测部，所述运动向量检测部使用构成所述一帧图像的至少两片视频数据中的一片视频数据，来检测表示所述一帧图像的总体运动的运动向量；运动成分分离处理部，所述运动成分分离处理部使用所述匹配处理部所生成的焦点信息和所述运动向量检测部所检测到的运动向量，来分离所述一帧图像的运动成分；以及校正部，所述校正部使用所述运动成分分离处理部所分离出的运动成分，来对构成所述一帧图像的全部视频数据进行校正。

所述匹配处理部可以使用构成所述一帧图像的至少两片视频数据中的中央视频数据和与该中央视频数据相邻的视频数据来计算构成所述一帧图像的全部视频数据的中央坐标相对于所述一帧图像的原点坐标的位置，并可以生成作为计算结果的焦点信息。

所述匹配处理部可以使用构成所述一帧图像的全部视频数据来计算构成所述一帧图像的全部视频数据的中央坐标相对于所述一帧图像的原点坐标的位置，并可以基于计算结果与所述全部视频数据之间的位置关系来生成焦点信息。

所述匹配处理部可以以预定的帧间隔来生成所述焦点信息。

所述匹配处理部可以使用所述运动向量检测部所检测到的运动向量、当基于该运动向量的运动量超过给定阈值时生成所述焦点信息。

所述匹配处理部可以当场景改变检测部检测到所述视频数据中的场景改变时生成所述焦点信息。

在所述视频数据被编码的情况下，所述匹配处理部可以当所述视频数据的图片类型是预定的图片类型时生成所述焦点信息。

所述运动成分分离处理部可以使用所述运动向量检测部所检测到的运动向量当中可信度最高的运动向量，来分离所述一帧图像的运动成分。

所述匹配处理部可以使用构成多视点视频数据的一帧图像的至少两片视频数据来进行立体匹配，可以当作为该立体匹配的结果而获得深度图时计算构成所述一帧图像的全部视频数据中的同一个深度区域的中心坐标相对于所述一帧图像的原点坐标的位置，并可以生成作为计算结果的焦点信息；所述运动成分分离处理部使用所述匹配处理部所生成的焦点信息和所述运动向量检测部所检测到的运动向量，来分离所述同一个深度区域的运动成分；并且所述校正部使用所述运动成分分离处理部所分离出的运动成分，来对构成所述一帧图像的全部视频数据中的同一个深度区域进行校正。

所述运动成分分离处理部可以包括：模型化部，所述模型化部使用分别表示作为相机的运动的相机运动以及焦平面失真的变化量的未知成分参数，来将所述运动向量检测部所检测到的所述运动向量模型化为相机运动成分和焦平面失真成分被分离的成分分离表达式；以及成分计算部，所述成分计算部通过计算用在所述成分分离表达式中的所述成分参数，来计算所述运动向量中的相机运动成分。

所述模型化部可以将所述运动向量模型化为以下表达式：

$\left(\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right)=\left(\begin{array}{ccc}{A}_1& A_2& A_0\\ B_1& B_2& B_0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}_0\\ y_0\\ 1\end{array}\right)$

$=\left(\begin{array}{ccc}1& 0& h_c\\ 0& 1& v_c\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}\frac{1}{p}& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}1& 0& 0\\ 0& e& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}1& b& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right)$

$\left(\begin{array}{ccc}1& 0& h\\ 0& 1& v\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}& 0\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}s& 0& 0\\ 0& s& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}p& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}1& 0& -h_c\\ 0& 1& -v_c\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}_0\\ y_0\\ 1\end{array}\right)......\left(1\right)$

所述校正部可以包括：相机工作成分计算部，所述相机工作成分计算部基于所述相机运动成分来计算作为使用者有意的相机运动的相机工作成分；抖动量计算部，所述抖动量计算部通过从所述相机运动成分中减去所述相机工作成分来计算抖动量；校正向量生成部，所述校正向量生成部基于所述抖动量计算部所计算出的所述抖动量来生成用于对所述运动向量中的抖动进行校正的校正向量；以及运动补偿部，所述运动补偿部对所述运动向量应用所述校正向量生成部所生成的所述校正向量。

所述模型化部可以将相机运动成分和焦平面失真成分表达为行列式。

所述校正向量生成部可以生成包含所述抖动量的逆矩阵的行列式作为所述校正向量。

所述校正部可以进一步包括焦平面失真校正量计算部，所述焦平面失真校正量计算部基于所述成分计算部所计算出的所述焦平面失真成分来计算用于校正所述帧图像的焦平面失真校正量，所述校正向量生成部可以生成包含所述焦平面失真校正量的逆矩阵的行列式作为所述校正向量。

所述模型化部可以在旋转要素之前乘以使基于所述焦点信息的原点移动的原点校正矩阵，并在所述旋转要素之后乘以使所述原点返回所述移动前的位置的原点校正逆矩阵。

在所述旋转要素之前，可以乘以将像素的纵横比改变为1∶1的纵横比校正矩阵，而在所述旋转要素之后，可以乘以使所述像素返回基纵横比的纵横比校正逆矩阵。

假设所述校正向量为Vc，所述原点校正矩阵为C，所述纵横比校正矩阵为P，所述抖动量的逆矩阵为M_s ^-1，所述焦平面失真校正量的逆矩阵为F^-1，所述原点校正逆矩阵为C^-1，且所述纵横比校正逆矩阵为P^-1，则所述校正向量生成部按以下表达式生成所述校正向量。

Vc＝C^-1P^-1M_s ^-1F^-1PC                   ……(2)

根据本发明的另一实施例，提供了一种图像处理方法，该方法包括以下步骤：使用构成多视点视频数据的一帧图像的至少两片视频数据来计算构成所述一帧图像的全部视频数据的中央坐标相对于所述一帧图像的原点坐标的位置，并生成作为计算结果的焦点信息；使用构成所述一帧图像的至少两片视频数据中的一片视频数据，来检测表示所述一帧图像的总体运动的运动向量；使用在所述生成焦点信息的步骤中生成的焦点信息和在所述检测运动向量的步骤中检测到的运动向量，来分离所述一帧图像的运动成分；以及使用在所述分离所述一帧图像的运动成分的步骤中分离出的运动成分，来对构成所述一帧图像的全部视频数据进行校正。

根据本发明的还一实施例，提供了一种使得计算机执行以下步骤的图像处理程序：使用构成多视点视频数据的一帧图像的至少两片视频数据来计算构成所述一帧图像的全部视频数据的中央坐标相对于所述一帧图像的原点坐标的位置，并生成作为计算结果的焦点信息；使用构成所述一帧图像的至少两片视频数据中的一片视频数据，来检测表示所述一帧图像的总体运动的运动向量；使用在所述生成焦点信息的步骤中生成的焦点信息和在所述检测运动向量的步骤中检测到的运动向量，来分离所述一帧图像的运动成分；以及使用在所述分离所述一帧图像的运动成分的步骤中分离出的运动成分，来对构成所述一帧图像的全部视频数据进行校正。

根据本发明的实施例，能改进多视点视频数据的品质。

附图说明

图1是示出了图像处理终端的外观构造的简图。

图2是示出了相机运动与相机工作之间的关系的简图。

图3是示出了根据第一实施例的图像处理部的构造的简图。

图4是说明输入帧的简图。

图5是说明运动补偿处理中的线性插值的简图。

图6A和6B是说明全局运动向量的生成的简图。

图7A和7B是说明匹配处理的简图。

图8是说明匹配处理的流程图。

图9是说明以摄录机为基准确定的方向的定义的简图。

图10A～10C是说明因水平方向上的相机抖动而造成的焦平面失真的简图。

图11A～11C是说明因竖直方向上的相机抖动而造成的焦平面失真的简图。

图12A～12C是说明因相机抖动而造成的图像的变化的简图。

图13A～13C是说明旋转中心坐标的简图。

图14A～14C是说明将肘设定为基准时的相机的运动的简图。

图15A和15B是说明纵横比的转换的简图。

图16是说明成分分离模型的构造的简图。

图17是说明成分计算处理的流程图。

图18是说明过滤处理的流程图。

图19A和19B是说明焦平面失真成分和焦平面失真成分的累积值的简图。

图20是说明帧图像与运动向量之间的关系的简图。

图21A和21B是说明焦平面失真成分的调整的简图。

图22是说明根据第一实施例的FP失真校正量计算处理的序列的流程图。

图23A和23B是说明LFP特性的简图。

图24是说明适当的角度范围的简图。

图25是说明梯形失真估计处理的序列的流程图。

图26是说明校正向量生成处理的流程图。

图27是示出了根据另一实施例的图像处理部的构造的简图。

图28A和28B是说明匹配处理的简图。

图29A和29B是说明深度图的简图。

具体实施方式

下面参照附图详细说明本发明的优选实施例。在说明书和附图中，对具有实质上相同功能的构成要素赋予相同附图标记，因而不再重复其说明。

说明将按以下顺序进行。

1.第一实施例

2.第二实施例

1.第一实施例

1-1.总体构造

如图1所示，图像处理终端10包括监视器部11、操作部12和图像处理部13。图像处理终端10将从摄录机1供给的帧图像数据供给到图像处理部13。

图像处理部13对于由帧图像形成的帧图像数据，检测表示帧图像间的整体帧图像的运动向量的全局运动向量GMV。在本实施例中，假设摄录机1拍摄多视点视频数据，并且构成视频数据的一帧图像的至少两片视频数据被逐帧地依次供给到图像处理部13。

如上所述，全局运动向量GMV不仅包含相机的运动(以下称作“相机运动”)，而且还包含作为焦平面失真的变化量的焦平面失真成分CF。如图2所示，相机运动不仅包含使用者有意的运动(以下称作“相机工作”)，而且还包含作为使用者无意的运动的抖动(以下称作“相机抖动”)。

此处，图像处理部13从全局运动向量GMV中去除焦平面失真成分CF，然后校正相机抖动。

如图3所示，图像处理部13将构成一帧图像的至少两片或更多视频数据逐帧地依次供给到帧记忆存储缓冲器21、运动检测部22和匹配处理部23。在本实施例中，摄录机1拍摄N×M(水平N列且竖直M列)个视点的视频数据，且构成视频数据的一帧图像的N×M片视频数据被逐帧地依次供给到图像处理部13。例如，当摄录机1拍摄2×1个视点的视频数据时，如图4A所示，构成视频数据的一帧图像的两片视频数据被逐帧地依次供给到图像处理部13。再例如，当摄录机1拍摄3×3个视点的视频数据时，如图4B所示，构成视频数据的一帧图像的9片视频数据被逐帧地依次供给到图像处理部13。

运动检测部22根据构成要处理的帧图像的至少两片视频数据中的一片视频数据(以下称作“处理对象视频数据”)和从帧记忆存储缓冲器21供给的、构成前一参照帧图像的至少两片视频数据中的与上述处理对象视频数据同一个视点的一片视频数据(以下称作“参照视频数据”)、通过后面说明的运动检测处理来计算表示帧图像的总体运动向量的全局运动向量GMV。此时，运动检测部22生成表示全局运动向量GMV的可信度的可信度信息，并将该可信度信息与全局运动向量GMV一道供给到运动成分分离处理部24。

匹配处理部23进行后面说明的匹配处理以获得构成处理对象帧图像的至少两片视频数据中的全部视点的视频数据在竖直方向和水平方向上的相对位置关系，然后将后面说明的焦点信息输出到运动成分分离处理部24和校正向量生成部29。

运动成分分离处理部24进行后面说明的成分分离处理以将全局运动向量GMV分离成表示相机运动量的相机运动成分CM和表示焦平面失真的变化量的焦平面失真成分CF。

运动成分分离处理部24将相机运动成分CM、焦平面失真成分CF和可信度信息供给到运动成分/失真成分存储缓冲器25。运动成分/失真成分存储缓冲器25根据例如FIFO(先进先出)方式暂时地存储相机运动成分CM、焦平面失真成分CF和可信度信息。

过滤处理部26进行后面说明的过滤处理以基于可信度信息过滤相机运动成分CM和焦平面失真成分CF。

过滤处理部26将过滤后的相机运动成分CM供给到数字滤波器处理部27和梯形失真估计部28。过滤处理部26将过滤后的焦平面失真成分CF供给到校正向量生成部29。

过滤处理部26进行FP失真校正量计算处理(后面详细地说明)以生成作为对于焦平面失真的校正量的FP失真校正量CFc，然后将该FP失真校正量CFc供给到校正向量生成部29。

数字滤波器处理部27对从过滤处理部26供给的相机运动成分CM进行后面说明的相机工作量计算处理以计算相机工作量，然后将该相机工作量供给到校正向量生成部29。

梯形失真估计部28进行后面说明的梯形失真估计处理以计算用于从帧图像数据中去除梯形失真的影响的梯形失真量A，然后将该梯形失真量A供给到校正向量生成部29。

校正向量生成部29对构成处理对象帧图像的至少两片视频数据中的全部视频数据进行后面说明的校正向量生成处理，以基于相机工作量、FP失真校正量CFc和梯形失真量A生成校正向量Vc，然后将该校正向量Vc供给到运动补偿部30。该校正向量Vc是用于校正相机抖动、焦平面失真和梯形失真的向量。

运动补偿部30通过对从帧记忆存储缓冲器21供给的当前帧图像(当前处理的帧图像)应用校正向量Vc，来进行运动补偿处理。此外，运动补偿部30通过将帧图像切分成比该帧图像尺寸更小的片来校正相机抖动和焦平面失真。因此，如图5所示，为了改进降低的分辨率，运动补偿部30以等于或小于1个像素的精度(例如1/2像素精度或1/4像素精度)来进行线性插值。

运动补偿部30将已受到线性插值的帧图像依次供给到监视器部11(见图1)。结果，相机抖动和焦平面失真已被校正的帧图像被依次显示在监视器部11上。

这样，图像处理终端10的图像处理部13被配置成校正帧图像数据中的相机抖动、焦平面失真和梯形失真。

1-2.运动检测处理

运动检测部22进行运动检测处理，以从所供给的参照视频数据和所供给的处理对象视频数据中检测表示该要处理的帧图像的总体运动的全局运动向量GMV。

如图6所示，运动检测部22对于每个具有预定像素数的像素块单位，计算对于参照视频数据而言处理对象视频数据的运动向量(以下称作“局部运动向量LMV”)。例如，运动检测部22对每个具有16×16像素的宏块作为像素块单位进行块匹配，以计算局部运动向量LMV。

此时，运动检测部22通过使用表示局部运动向量LMV的可信度的各种可信度指标对局部运动向量LMV进行加权，来计算局部运动向量LMV。

可信度指标的实例包括局部运动向量LMV的尺寸、差分绝对值和、块构成像素值的分散值、根据参照视频数据和处理对象视频数据之间的对应块的构成像素值计算出的协方差值以及它们的组合。计算全局运动向量GMV的方法详细地记载于日本特愿第2007-230053号明细书、和日本特愿第2007-230054号明细书。

当该可信度指标高时，可以说局部运动向量LMV的可信度也高。而且，当局部运动向量LMV的可信度高时，也可以说全局运动向量GMV的可信度高。

因此，运动检测部22将处理对象视频数据中的可信度指标用作与该处理对象视频数据对应的全局运动向量GMV的可信度信息。

这样，运动检测部22基于针对每个宏块计算出的局部运动向量LMV来计算表示要处理的帧图像的总体运动的全局运动向量GMV。此时，运动检测部22将局部运动向量LMV的可信度指标用作全局运动向量GMV的可信度信息。

1-3.匹配处理

匹配处理部23进行匹配处理，以获得构成处理对象帧图像的至少两片视频数据中的全部视点的视频数据在竖直方向和水平方向上的相对位置关系。匹配处理的方法记载于日本特愿第2009-176085号明细书。

匹配处理部23能通过进行匹配处理来获得与相邻视点的视频(视频数据)之间的相对位置关系。例如，在立体匹配中，通过对每个块或像素进行匹配，经常可在每个具有相同深度的区域中获得结果。在本实施例中，使用背景也即最深处区域的匹配结果。

当可获得全部视点的视频(视频数据)在竖直方向和水平方向上的相对位置关系时，计算原点与各视点的视频(视频数据)之间的距离作为像素值。计算出的距离是原点与图7A所示的左视点视频(视频数据)的中央之间的距离、原点与图7A所示的右视点视频(视频数据)的中央之间的距离、以及原点与图7B所示的各视点视频(视频数据)的中央之间的距离。当视点数是奇数时，如图7A所示，原点设在中央视点视频(视频数据)的中央位置的坐标处。当视点数是偶数时，原点设在中央2个视点的视频(视频数据)的中央位置的坐标处。此外，在竖直方向和水平方向上都是应用这一概念来设定原点。原点与各视点的视频(视频数据)之间的距离的每个对被作为焦点信息而输出。

接下来，参照图8的流程图说明根据图像处理程序执行的匹配处理。该匹配处理对应于上述匹配处理。

图像处理部13的匹配处理部23当被供给了构成处理对象帧图像的至少两片视频数据时，开始匹配处理，且处理前进至步骤S102。

在步骤S102中，匹配处理部23对多个视点的视频(视频数据)进行匹配，以获得全部视点的视频数据在竖直方向和水平方向上的相对位置关系，然后处理前进至步骤S104。

在步骤S104中，匹配处理部23如上所述那样确定原点，并计算原点与各视点的视频(视频数据)的中央之间的距离，然后处理前进至步骤S106。

在步骤S106中，匹配处理部23将原点与各视点的视频(视频数据)之间的距离的对作为焦点信息输出到运动成分分离处理部24和校正向量生成部29，然后处理前进至结束步骤以结束匹配处理。

1-4.运动成分分离处理

首先，参照图9说明用作摄像设备的摄录机1以及使用该摄录机1作为基准所确定的方向。

当使用摄录机1所拍摄的图像作为基准时，当摄录机1移动时被摄物水平移动的X轴方向被称作水平方向，而当摄录机1移动时被摄物竖直移动的Y轴方向被称作竖直方向。此外，当摄录机1移动时被摄物缩放的Z轴方向被称作缩放方向。

将绕X轴旋转的方向称作俯仰方向，绕Y轴旋转的方向称作偏航方向，绕Z轴旋转的方向称作滚动方向。另外，在帧图像中，当摄录机1在水平方向上移动时被摄物移动的方向被称作横向方向，当摄录机1在竖直方向上移动时被摄物移动的方向被称作纵向方向。

图像处理终端10的图像处理部13允许运动成分分离处理部24进行运动成分分离处理。运动成分分离处理部24仅对处理对象视频数据进行处理。此处，表示帧图像的总体运动的全局运动向量GMV包含各种成分，因此，当这些成分全部被模型化时，图像处理部13的处理负荷增大。

因而，根据本实施例的图像处理部13考虑全局运动向量GMV仅包括表示相机的运动的相机运动成分CM和表示焦平面失真的变化量的焦平面失真成分CF。

图像处理部13的运动成分分离处理部24通过将全局运动向量GMV应用于使用未知的成分参数将全局运动向量GMV分离成相机运动成分CM和焦平面失真成分CF的成分分离模型，来生成成分分离表达式。运动成分分离处理部24被配置成通过计算成分分离表达式中的成分参数来分别计算相机运动成分CM和焦平面失真成分CF。

如图10A所示，例如当拍摄矩形的被摄物SB时，并当摄录机1在水平方向上(箭头所示)移动时，如图10B和10C所示，因上述焦平面失真，导致被摄物SB在上和下部分相对于帧图像在横向方向上偏移，于是失真为平行四边形。

另外，如图11A所示，例如当拍摄矩形的被摄物SB时，并当如图11B和11C所示摄录机1在竖直方向(箭头所示)移动时，被摄物SB在上和下部分相对于帧图像在纵向方向上偏移，于是在竖直方向上被缩放。

因而，图像处理部13如表达式(1)所示利用FP失真纵向缩放成分EFa和FP失真平行四边形成分EFb对焦平面失真成分CF进行模型化。在该表达式中，e是表示纵向方向的缩放的成分参数，b是表示平行四边形的失真程度的成分参数。

$\left(\begin{array}{ccc}1& 0& 0\\ 0& e& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}1& b& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right)......\left(1\right)$

一般而言，相机运动成分CM包括线性变换和旋转变换。线性变换包括：表示被摄物SB在水平方向和竖直方向上移动的平移速度的平移要素；以及表示被摄物SB放大和缩小的缩放速度的缩放要素。旋转变换包括表示被摄物SB在偏航方向、俯仰方向和滚动方向这三个方向的角度变化的旋转要素。

当焦平面失真成分CF被模型化为平移要素、缩放要素和表示三个方向的角度变化的旋转要素时，焦平面失真成分CF被表达为表达式(2)所示的投影变换。

$\left(\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right)=\frac{1}{c_{1}x+c_{2}x+c_0}\left(\begin{array}{ccc}{a}_1& a_2& a_0\\ b_1& b_2& b_0\\ c_1& c_2& c_0\end{array}\right)\left(\begin{array}{c}{x}_0\\ y_0\\ 1\end{array}\right)......\left(2\right)$

然而，由于投影变换不是线性变换表达式，因而投影变换无法用最小平方法求解。例如，必须使用最陡下降法(steepest descent method)。该最陡下降法不仅产生错误的解，而且还增大了处理量。

在第一实施例中，假设供给由具有以下说明的构造的摄录机1拍摄的帧图像数据。

如图12A～12C所示，当摄录机1相对于如图12A那样拍摄的帧图像FM在偏航方向和俯仰方向上移动时，帧图像FM中的被摄物SB变化。图12A～12C的右侧所示的箭头是以摄录机1为基准示出的。

如图12B和12C所示，当摄录机1移动时镜头单元3和被摄物SB之间的位置关系变化。因此，可以理解：帧图像FM中的被摄物SB的位置和角度相对于摄录机1变化。

例如，当被摄物SB的位置保持大致恒定时，可以校正平移要素和缩放要素、或者旋转要素和缩放要素这二者之一。然而，当进行这一校正时，无法适当地校正被摄物SB的角度变化。而且，可能会发生侧面的隐现或闭塞和被摄物的梯形失真(以下将它们统称为“梯形失真”)。

由于摄录机1包括加速度传感器(未示出)，因而摄录机1检测表示相机的运动的相机运动量，并根据该相机运动量计算使用者无意的相机抖动量。而且，通过在偏航方向和俯仰方向上移动安装在主体2上的镜头单元3，相机抖动量在物理上被抵消，从而抑制被摄物SB与镜头单元3之间的位置关系的变化。

由此，摄录机1抑制了如图12B和12C所示的、因偏航方向和俯仰方向上的相机抖动而造成的帧图像FM中的被摄物SB的位置和角度变化。

即，在从摄录机1供给的帧图像数据中，因摄录机1在偏航方向和俯仰方向上的移动而发生的、帧图像FM中的被摄物SB的角度变化被抑制。

此处，图像处理终端10的图像处理部13考虑到在相机运动量当中旋转要素EMb仅是滚动方向的角度变化，从而将相机运动成分CM模型化为表达式(3)。

$\left(\begin{array}{ccc}1& 0& h\\ 0& 1& v\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}& 0\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}s& 0& 0\\ 0& s& 0\\ 0& 0& 1\end{array}\right)......\left(3\right)$

表达式(3)中的三个矩阵从左起依次是平移要素EMa、旋转要素EMb和缩放要素EMc。在该表达式中，h是表示纵向方向上的平移的成分参数，v是表示横向方向上的平移的成分参数，cosθ和sinθ是表示滚动方向上的旋转的成分参数，s是表示因摄录机1与被摄物之间的距离变化而造成的缩放的成分参数。

由此，图像处理部13可以应用以一个方向的旋转变换和三个方向的线性变换来表达全局运动向量GMV的仿射变换。结果，由于图像处理部13能使用一般的变换矩阵来计算成分参数，因而图像处理部13能大幅度减轻计算成分参数时的处理负荷。而且，由于图像处理部13能计算一个给定的解，因而图像处理部13不像最陡下降法那样计算出错误的解。

运动成分分离处理部24对焦平面失真成分CF和相机运动成分CM进行原点校正和像素校正。

当如图13A所示用软件处理图像时，一般采用将帧图像的左上处设定为原点的坐标系。即，当旋转该坐标系时，帧图像绕帧图像的左上处像素旋转。

然而，摄录机1不绕该摄录机1的左上处旋转。由于考虑到使用者尽量使被摄物SB位于中心位置来拍摄，因而如图13C所示，最好是将坐标的旋转中心设定为帧图像的中心。

因而，运动成分分离处理部24如表达式(4)所示预先将焦平面失真成分CF和相机运动成分CM乘以原点校正矩阵MC1，来将原点移动到帧图像的中心。在该表达式中，h_c表示帧图像中在纵向方向上的像素数的1/2，v_c表示帧图像中在横向方向上的像素数的1/2。

$\left(\begin{array}{ccc}1& 0& -h_c\\ 0& 1& -v_c\\ 0& 0& 1\end{array}\right)......\left(4\right)$

如表达式(5)所示，运动成分分离处理部24最后乘以作为原点校正矩阵MC1的逆矩阵的原点校正逆矩阵MC2，来使原点返回帧图像的左上处即中心。

$\left(\begin{array}{ccc}1& 0& h_c\\ 0& 1& v_c\\ 0& 0& 1\end{array}\right)......\left(5\right)$

由此，运动成分分离处理部24能在使原点移动到帧图像的中心的状态下计算焦平面失真成分CF和相机运动成分CM。

如上所述，当如图13C所示将帧图像的中心用作坐标的旋转中心时，h_c表示帧图像中在纵向方向上的像素数的1/2，v_c表示帧图像中在横向方向上的像素数的1/2。在本实施例中，h_c和v_c是针对各视点的视频(视频数据)由从匹配处理部23供给的焦点信息所确定的视频(视频数据)的中心坐标。

此处，如图14A所示，实际进行拍摄的使用者不使用被拍摄的帧图像的中心作为旋转轴来旋转摄录机1。相反，如图14B所示，使用者使用肘、手腕等作为旋转轴来旋转摄录机1。

如图14C所示，例如假设通过使用肘作为旋转轴来旋转摄录机1而使摄录机1仅移动了移动量MT。那么，当用作旋转轴的肘与摄录机1中拍摄的帧图像的中心之间的距离是ha时，移动量MT所决定的运动向量可表达为表达式(6)。

$\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& h\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}& 0\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& -h\\ 0& 0& 1\end{array}\right)$

$=\left(\begin{array}{ccc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}& h\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}& -h\cos \mathrm{\θ}+h\\ 0& 0& 1\end{array}\right)$

$=\left(\begin{array}{ccc}1& 0& h\sin \mathrm{\θ}\\ 0& 1& -h\cos \mathrm{\θ}+h\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}& 0\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right)......\left(6\right)$

即，移动量MT所决定的运动向量可由从原点看到的旋转和平移的运动的组合来表达，因旋转轴的位置不同的事实而造成的负面效应不发生。

一般而言，帧图像数据的帧图像中的各像素的纵横比不是1∶1。如图15A所示，例如当矩形的像素乘以旋转要素EMb时，因横向方向和纵向方向中比例不同的事实，导致如右图所示、矩形的像素随着旋转而失真为平行四边形状。

因而，运动成分分离处理部24通过乘以表达式(7)所示的像素校正矩阵MP1，在乘以旋转要素EMb之前首先将不是正方形的像素转换成正方形的像素。在该表达式中，p表示当像素的一边为“1”时的像素比。

$\left(\begin{array}{ccc}p& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right)......\left(7\right)$

而且，运动成分分离处理部24在乘以旋转要素EMb后、通过乘以作为像素校正矩阵MP1的逆矩阵的像素校正逆矩阵MP2(表达式(8))，来将已转换成正方形的像素再次转换成具有基纵横比的像素。

$\left(\begin{array}{ccc}\frac{1}{p}& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right)......\left(8\right)$

即，如表达式(9)所示，运动成分分离处理部24在旋转要素EMb之前和之后乘以像素校正矩阵MP1和像素校正逆矩阵MP2。

$\left(\begin{array}{ccc}\frac{1}{p}& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}& 0\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}p& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right)......\left(9\right)$

如图16所示，运动成分分离处理部24在校正了原点和像素的纵横比之后，具有使用未知的成分参数来分离焦平面失真成分CF和相机运动成分CM的成分分离模型。而且，运动成分分离处理部24通过将全局运动向量GMV应用于成分分离模型来对全局运动向量GMV进行模型化，并在该成分分离表达式的最后将原点和像素的纵横比返回基纵横比。

实际上，图像处理部13的运动检测部22计算全局运动向量GMV，作为比如表达式(10)那样的仿射变换行列式。

$\left(\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right)=\left(\begin{array}{ccc}{A}_1& A_2& A_0\\ B_1& B_2& B_0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}_0\\ y_0\\ 1\end{array}\right)......\left(10\right)$

当从运动检测部22供给全局运动向量GMV时，运动成分分离处理部24通过将全局运动向量GMV应用于图16所示的成分分离模型，来生成表达式(11)所示的成分分离表达式。

$\left(\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right)=\left(\begin{array}{ccc}{A}_1& A_2& A_0\\ B_1& B_2& B_0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}_0\\ y_0\\ 1\end{array}\right)$

$=\left(\begin{array}{ccc}1& 0& h_c\\ 0& 1& v_c\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}\frac{1}{p}& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}1& 0& 0\\ 0& e& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}1& b& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right)$

$\left(\begin{array}{ccc}1& 0& h\\ 0& 1& v\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}& 0\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}s& 0& 0\\ 0& s& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}p& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}1& 0& -h_c\\ 0& 1& -v_c\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}_0\\ y_0\\ 1\end{array}\right)......\left(11\right)$

运动成分分离处理部24将表达式(11)转换成表达式(12)。

$\left(\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right)={\left(\begin{array}{ccc}\frac{1}{p}& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right)}^{-1}{\left(\begin{array}{ccc}1& 0& h_c\\ 0& 1& v_c\\ 0& 0& 1\end{array}\right)}^{-1}\left(\begin{array}{ccc}{A}_1& A_2& A_0\\ B_1& B_2& B_0\\ 0& 0& 1\end{array}\right){\left(\begin{array}{ccc}1& 0& -h_c\\ 0& 1& -v_c\\ 0& 0& 1\end{array}\right)}^{-1}{\left(\begin{array}{ccc}p& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right)}^{-1}\left(\begin{array}{c}{x}_0\\ y_0\\ 1\end{array}\right)$

$=\left(\begin{array}{ccc}{a}_1& a_2& a_0\\ b_1& b_2& b_0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}_0\\ y_0\\ 1\end{array}\right)$

$=\left(\begin{array}{ccc}1& 0& 0\\ 0& e& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}1& b& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}1& 0& h\\ 0& 1& v\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}\cos & -\sin & 0\\ \sin & \cos & 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}s& 0& 0\\ 0& s& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}_0\\ y_0\\ 1\end{array}\right)......\left(12\right)$

当用一般的方程来求解表达式(12)中的各成分参数(sinθ，e，b，s，h和v)时，可得到以下结果。

在θ＝0(b₁＝0)的情况下：

sinθ＝0

s＝-a₂s＝a₁

$b=\frac{a_2}{s}=\frac{a_2}{a_1}$

$e=\frac{b_2}{s}=\frac{b_2}{a_1}$

$v=\frac{b_0}{s}=\frac{a_1{b}_0}{b_2}$

$h=a_0-\mathrm{bv}=a_0-\frac{a_2{b}_0}{b_2}......\left(13\right)$

在

的情况下：

sinθ＝1

s＝-a₂

$b=\frac{a_1}{s}=-\frac{a_1}{a_2}$

$e=\frac{b_1}{\mathrm{sp}}=-\frac{b_1}{a_2}$

$v=\frac{b_0}{e}=-\frac{a_2{b}_0}{b_1}$

$h=a_0-\mathrm{bv}=a_0-\frac{a_1}{b_1}......\left(14\right)$

在的情况下：

sinθ＝-1

s＝a₂

$b=-\frac{a_1}{s}=-\frac{a_1}{a_2}$

$e=-\frac{b_1}{s}=-\frac{b_1}{a_2}$

$v=\frac{b_0}{e}=-\frac{a_2{b}_0}{b_1}$

$h=a_0-\mathrm{bv}=a_0-\frac{a_1}{b_1}......\left(15\right)$

在其它情况

下：

$\tan \mathrm{\θ}=\frac{b_1}{b_{2}p}$

当b₁＞0，tanθ＞0或b₁＜0，tanθ＜0时

$\sin \mathrm{\θ}=\frac{\tan \mathrm{\θ}}{\sqrt{1+{\tan }^2\mathrm{\θ}}},$ $\cos \mathrm{\θ}=\frac{1}{\sqrt{1+{\tan }^2\mathrm{\θ}}}$

当b₁＜0，tanθ＞0或b₁＞0，tanθ＜0时

$\sin \mathrm{\θ}=\frac{-\tan \mathrm{\θ}}{\sqrt{1+{\tan }^2\mathrm{\θ}}},$ $\cos \mathrm{\θ}=\frac{1}{\sqrt{1+{\tan }^2\mathrm{\θ}}}$

$b=\frac{a_1\sin \mathrm{\θ}+a_2\cos \mathrm{\θ}}{a_1\cos \mathrm{\θ}-a_2\sin \mathrm{\θ}}$

$s=\frac{a_1}{\cos \mathrm{\θ}+b\sin \mathrm{\θ}}$

$e=\frac{b_1}{\sin \mathrm{\θ}}$

$v=\frac{b_0}{e}$

h＝a₀-bv                        ……(16)

这样，运动成分分离处理部24对表达为仿射变换矩阵的全局运动向量GMV这样进行模型化：用使用未知的成分参数将该全局运动向量GMV分离成焦平面失真成分CF和相机运动成分CM的成分分离表达式来代替该全局运动向量GMV。而且，运动成分分离处理部24通过解方程式来计算各成分参数，以将全局运动向量GMV分离成焦平面失真成分CF和相机运动成分CM。

而且，运动成分分离处理部24可以向运动成分/失真成分存储缓冲器25仅供给成分参数作为焦平面失真成分CF和相机运动成分CM，或者可以供给矩阵中的全部值。这同样适用于其它处理。

接下来，参照图17的流程图说明根据图像处理程序执行的成分计算处理。成分计算处理对应于上述运动检测处理和上述运动成分分离处理。

图像处理部13的运动检测部22当被供给了帧图像数据时，开始成分计算处理，然后处理前进至步骤S202。

在步骤S202中，当运动检测部22检测到表示帧图像的总体运动的全局运动向量GMV时，运动检测部22将该全局运动向量GMV供给到运动成分分离处理部24，然后处理前进至步骤S204。

在步骤S204中，图像处理部13的运动成分分离处理部24用表达式(11)所示的成分分离表达式来代替从运动检测部22供给的全局运动向量GMV，并基于从匹配处理部23供给的焦点信息来确定视频(视频数据)的中心坐标从而对该全局运动向量GMV进行模型化。然后，处理前进至步骤S206。

在步骤S206中，运动成分分离处理部24通过计算成分分离表达式的未知的成分参数来分别计算相机运动成分CM和焦平面失真成分CF。然后，处理前进至结束步骤以结束成分计算处理。

1-5.过滤处理

过滤处理部26基于运动检测部22所生成的可信度信息对相机运动成分CM和焦平面失真成分CF进行过滤。

如上所述，可信度信息包括帧图像数据中的各局部运动向量LMV的可信度指标。过滤处理部26判断各可信度指标是否等于或大于预定的高可信度阈值，并针对每个帧图像数据的可信度指标的总数计算值等于或大于高可信度阈值的可信度指标的比率。

当判断为值等于或大于高可信度阈值的可信度指标的比率高于预定的过滤阈值时，全局运动向量GMV的可信度高。因此，过滤处理部26不加改变地使用与该全局运动向量GMV对应的相机运动成分CM和焦平面失真成分CF。

当判断为值等于或大于高可信度阈值的可信度指标的比率低于预定的过滤阈值时，全局运动向量GMV的可信度低。因此，过滤处理部26不使用与该全局运动向量GMV对应的相机运动成分CM和焦平面失真成分CF。

即，过滤处理部26当全局运动向量GMV的可信度高时，将相机运动成分CM供给到数字滤波器处理部27和梯形失真估计部28。

另一方面，过滤处理部26当全局运动向量GMV的可信度低时，毁掉所供给的相机运动成分CM和焦平面失真成分CF。

此时，过滤处理部26将预定的单位矩阵考虑为焦平面失真成分CF，并将该预定的单位矩阵作为相机运动成分CM供给到数字滤波器处理部27和梯形失真估计部28。而且，过滤处理部26例如根据可信度设定多个过滤阈值，并将相机运动成分CM和焦平面失真成分CF这二者之一或每个要素都替换为单位矩阵。

这样，过滤处理部26仅选择和使用基于可信度高的全局运动向量GMV生成的焦平面失真成分CF和相机运动成分CM。

这样，图像处理部13被配置成仅将可信度高且误差小的全局运动向量GM供给到数字滤波器处理部27和梯形失真估计部28。

接下来，参照图18的流程图说明根据图像处理程序执行的过滤处理。

图像处理部13的过滤处理部26当从运动成分/失真成分存储缓冲器25被供给了可信度信息、相机运动成分CM和焦平面失真成分CF时，开始过滤处理，然后处理前进至步骤S302。

在步骤S302中，过滤处理部26基于可信度信息判断全局运动向量GMV的可信度是否高。当获得肯定结果时，表明相机运动成分CM和焦平面失真成分CF是可信的。此时，过滤处理部26使处理前进至步骤S304。

在步骤S304中，当过滤处理部26不加改变地输出由运动成分分离处理部24分离出的相机运动成分CM和焦平面失真成分CF时，处理前进至结束步骤以结束过滤处理。

另一方面，当在步骤S302中获得否定结果时，这表明相机运动成分CM和焦平面失真成分CF不可信。此时，过滤处理部26使处理前进至步骤S306。

在步骤S306中，过滤处理部26毁掉相机运动成分CM和焦平面失真成分CF以将它们替换为单位矩阵，并将该单位矩阵作为相机运动成分CM和焦平面失真成分CF来输出。然后，过滤处理部26使处理前进至结束步骤以结束过滤处理。

过滤处理部26还进行FP失真校正量计算处理。

焦平面失真不是在每个帧图像中独立地发生的，而是当失真在多个帧图像间连续地发生并累积时发生的。然而，全局运动向量GMV表示对于前一帧图像的运动。即，焦平面失真成分CF表示相对于前一帧图像增大或减小的变化量。

因而，为了准确地校正焦平面失真，最好是对焦平面失真成分CF的累积值进行校正。

然而，焦平面失真成分CF有误差。图19A是示出了当例如因相机抖动而轻微地发生焦平面失真时的焦平面失真成分CF的图。当焦平面失真成分CF具有正号时，焦平面失真增大。当焦平面失真成分CF具有负号时，焦平面失真减小。

图19B是示出了作为焦平面失真成分CF(见图19A)的累积值的FP失真累积值的图。从图19B可知：随着帧图像的数目的增大，FP失真累积值显著增大。这是当焦平面失真成分CF的误差累积并发散时获得的结果。即，当使用焦平面失真成分CF的累积值来校正帧图像时，存在因误差的累积而使帧图像破损的危险性。

因而，图像处理部13的过滤处理部26计算FP失真校正量CFc，以使得该FP失真校正量CFc与要处理的帧图像和该要处理的帧图像之前和之后的帧图像当中焦平面失真最小的帧图像的焦平面失真相同。

此处，相机运动成分CM与焦平面失真成分CF相比具有更小的误差和更高的可信度。焦平面失真成分CF与相机运动成分CM的平移速度相关联。此处，过滤处理部26基于平移速度计算FP失真校正量CFc。

FP失真校正量CFc被表达为在表达式(1)所示的焦平面失真成分CF中将FP失真成分参数e替换为e_c并将FP失真成分参数b替换为b_c的矩阵。在后面说明的校正向量生成处理中，要处理的帧图像中的焦平面失真是通过乘以FP失真校正量CFc的逆矩阵来校正的。

如图20所示，要处理的帧图像FM1的前一帧图像被称作参照帧图像FM0，参照帧图像FM0的前一帧图像被称作前方帧图像FM-1。要处理的帧图像FM1的后一帧图像被称作后方帧图像FM2。

当使用参照帧图像FM0作为基准时的要处理的帧图像FM1的运动被称作全局运动向量GMV0。当使用前方帧图像FM-1作为基准时的参照帧图像FM0的运动被称作全局运动向量GMV-1。当使用要处理的帧图像FM1作为基准时的后方帧图像FM2的运动被称作全局运动向量GMV+1。这些全局运动向量统一地简称作全局运动向量GMV。

与全局运动向量GMV对应的相机运动成分CM和焦平面失真成分CF被依次供给到过滤处理部26。与全局运动向量GMV0、GMV+1和GMV-1对应的相机运动成分CM被分别称作相机运动成分CM0、CM+1和CM-1。与全局运动向量GMV0、GMV+1和GMV-1对应的焦平面失真成分CF被分别称作焦平面失真成分CF0、CF+1和CF-1。

过滤处理部26将相机运动成分CM0、CM+1和CM-1中的运动成分参数v的值彼此相比较。运动成分参数v表示纵向方向上的平移速度。当纵向方向上的平移速度大时，焦平面失真变大。当纵向方向上的平移速度小时，焦平面失真变小。

过滤处理部26在相机运动成分CM0、CM+1和CM-1当中选择纵向方向上的平移速度(即，运动成分参数v的值)最小的相机运动成分CM。

当所选择的相机运动成分CM是相机运动成分CM0时，过滤处理部26将焦平面失真设定为与要处理的帧图像FM1的焦平面失真相同。过滤处理部26将单位矩阵设定为FP失真校正量CFc，并将表示FP失真校正量CFc在纵向方向上的缩放的FP失真成分参数e_c设定为“1”。结果，对于纵向方向上的缩放，焦平面失真不被校正。

另一方面，当所选择的相机运动成分CM是相机运动成分CM-1时，过滤处理部26将焦平面失真设定为与要处理的参照帧图像FM0的焦平面失真相同。过滤处理部26将焦平面失真成分CF0设定为FP失真校正量CFc，并将FP失真成分参数e_c设定为焦平面失真成分CF0中的“e”。结果，对于纵向方向上的缩放，焦平面失真被校正为与参照帧图像FM0的焦平面失真相同的水平。

另一方面，当所选择的相机运动成分CM是相机运动成分CM+1时，过滤处理部26将焦平面失真设定为与后方帧图像FM2的焦平面失真相同。过滤处理部26将焦平面失真成分CF+1的逆矩阵设定为FP失真校正量CFc，并将FP失真成分参数e_c设定为焦平面失真成分CF+1中的“e的逆数”。结果，对于纵向方向上的缩放，焦平面失真被校正为与后方帧图像FM2的焦平面失真相同的水平。

同样，过滤处理部26将相机运动成分CM0、CM+1和CM-1中的运动成分参数h的值彼此相比较，并选择横向方向上的平移速度(即，运动成分参数h的值)最小的相机运动成分CM。

过滤处理部26根据所选择的相机运动成分CM0、CM-1和CM+1、从“0”、焦平面失真成分CF0中的“b”和焦平面失真成分CF+1中的“b的逆数”中选择FP失真成分参数b_c。

过滤处理部26将所选择的FP失真成分参数e_c和b_c设定为FP失真校正量CFc，并将该FP失真校正量CFc供给到校正向量生成部29。

由此，由于焦平面失真成分CF不累积，因而过滤处理部26不使FP失真校正量CFc发散。而且，如图21B所示，过滤处理部26可能无法校正全部焦平面失真(图21A)。然而，由于过滤处理部26能使得焦平面失真小于FP失真累积值，因而能使焦平面失真减小。

该焦平面失真以例如约5帧的短间隔增大或减小，正负号被替换，由此确认焦平面失真的最大量不增大太多。因而，过滤处理部26可仅通过减小焦平面失真的最大量而使在帧图像中焦平面失真在视觉上不醒目。

这样，过滤处理部26在要处理的帧图像FM1、参照帧图像FM0和后方帧图像FM2当中，基于平移速度选择焦平面失真最少的帧图像FM。过滤处理部26计算FP失真校正量CFc以便与所选择的帧图像FM具有相同水平。

由此，过滤处理部26能可靠地防止FP失真校正量CFc发散，并能减小焦平面失真以使得焦平面失真在视觉上很不醒目。

接下来，参照图22的流程图说明根据图像处理程序执行的FP失真校正量计算处理。

过滤处理部26当被供给了全局运动向量GMV时，开始FP失真校正量计算处理，然后处理前进至步骤S402。

在步骤S402中，过滤处理部26将相机运动成分CM0、CM+1和CM-1中的运动成分参数h和v的值彼此相比较，然后处理前进至步骤S404。

在步骤S404中，过滤处理部26选择平移速度(即，运动成分参数h和v的值)最低的相机运动成分CM，然后处理前进至步骤S406。

在步骤S406中，过滤处理部26根据在步骤S406中选择的相机运动成分CM来计算FP失真校正量CFc。此时，过滤处理部26计算FP失真校正量CFc以使得焦平面失真与对应于该相机运动成分CM的帧图像的焦平面失真具有相同水平。

然后，过滤处理部26使处理前进至结束步骤以结束FP失真校正量计算处理。

1-6.相机工作量的计算

数字滤波器处理部27通过将预定数目LPF的抽头应用于从过滤处理部26供给的运动成分参数θ、s、h和v，来计算作为使用者有意的运动的相机工作量。

具体地，获得与抽头数对应的成分参数，并通过将该成分参数应用于FIR(有限脉冲响应滤波器)来获得滤波器后的运动成分参数(以下称之为“相机工作成分参数”)。该相机工作成分参数表示相机工作量。在下文中，将相机工作成分参数表示为θ_f、s_f、h_f和v_f。

LPF中的抽头数被设定为充分地反映LPF的特性。在LPF中，截止频率被设定为在被认为是相机抖动的频率的附近可靠地截止。而且，可以使用简单的移动平均滤波器。

当截止频率被设定为0.5Hz时，如图23A所示，通过将抽头数设定为约517，可以使LPF的精度提高。即使如图23B所示当抽头数降低至60时精度降低，不过LPF的性能仍能达到一定程度。

因而，最好是基于图像处理部13的硬件处理性能、输出延迟允许范围等安装约束来设定数字滤波器处理部27。

这样，数字滤波器处理部27被配置成通过对表示相机运动量的运动成分参数θ、s、h和v执行LPF处理，来生成表示相机工作量的相机工作成分参数θ_f、s_f、h_f和v_f。

1-7.梯形失真的去除

如上所述，对摄录机1中的相机抖动进行校正的功能使得偏航方向和俯仰方向上的被摄物与镜头单元3之间的角度变化得以抑制。然而，摄录机1不完全地抵消该角度变化，而是还通过镜头单元3在偏航方向和俯仰方向上的驱动来抵消纵向方向和横向方向上的相机抖动。

因此，帧图像数据含有偏航方向和俯仰方向上的角度变化。该角度变化对于帧图像表现为梯形失真。

此处，根据本实施例的图像处理部13根据全局运动向量GMV中的平移速度来估计偏航方向和俯仰方向上的角度变化，并基于该角度变化来计算梯形失真量A。图像处理部13被配置成通过对于要处理的帧图像抵消梯形失真量A，来从帧图像数据中消除梯形失真的影响。

1-8.梯形失真估计处理

如表达式(11)所示，成分分离表达式不含有偏航方向和俯仰方向上的成分。因此，偏航方向和俯仰方向的角度变化被表达为横向方向和纵向方向上的平移速度(即，运动成分参数h和v)。因而，平移速度与偏航方向和俯仰方向的角度变化相关联。

此处，图像处理部13的梯形失真估计部28基于运动成分参数h和v来估计偏航方向和俯仰方向的角度变化，并进行梯形失真估计处理以计算因该角度变化而造成的梯形失真量。

此处，能通过使用角度参数ω和

以及表达式(2)所示的投影变换表达式来将仅因偏航方向和俯仰方向而造成的梯形失真量A模型化为表达式(17)。在表达式(17)中，与表达式(2)中的c₁对应的代表偏航方向的角度变化，而与c₂对应的

代表俯仰方向的角度变化。

此处，梯形失真是不仅因相机抖动、而且还因相机工作而发生的现象。必须校正的梯形失真是因相机抖动而造成的梯形失真量A。此处，梯形失真估计部28根据因相机抖动而发生的平移速度(以下称作“相机抖动平移速度”)来估计因相机抖动而造成的角度变化。

梯形失真估计部28计算横向方向和纵向方向上的平移速度当中的相机抖动平移速度h-h_f和v-v_f。梯形失真估计部28通过将相机抖动平移速度h-h_f和v-v_f乘以指定的系数m和n以及固定的系数p和q、利用表达式(18)来估计因相机抖动而造成的角度变化yaw和pitch。

yaw＝m(h-h_f)×p，pitch＝n(v-v_f)×q           ……(18)

在该表达式中，指定的系数m和n是由外部指定的参数，并在梯形失真估计处理中被设定为“1”作为初始值。固定的系数p和q是基于因相机抖动而造成的角度变化与相机抖动平移速度之间的关联、以统计方式或从理论上计算出的系数。

梯形失真估计部28通过使用由表达式(18)得到的值，利用表达式(19)来计算角度参数ω和

然而，当角度参数ω和

错误时，帧图像破损。因此，如图24所示，梯形失真估计部28判断角度参数ω和的值是否处在适当的角度范围内(-Ag°至+Ag°)。

当角度参数ω和

的值处在适当的角度范围内时，梯形失真估计部28不加改变地使用角度参数ω和

另一方面，当角度参数ω和

的值不处在适当的角度范围内时，梯形失真估计部28认为角度参数ω和

的值为“0”。

梯形失真估计部28通过将计算出的角度参数ω和

的值代入表达式(17)来计算梯形失真量A作为矩阵。梯形失真估计部28将梯形失真量A供给到校正向量生成部29。

这样，梯形失真估计部28被配置成基于运动成分参数h和v来估计梯形失真量A。

接下来，参照图25的流程图说明根据图像处理程序执行的梯形失真估计处理。

梯形失真估计部28当被供给了运动成分参数h和v时，开始梯形失真估计处理，然后处理前进至步骤S502。

在步骤S502中，梯形失真估计部28通过投影变换将梯形失真量A模型化为表达式(17)，然后处理前进至步骤S504。

在步骤S504中，梯形失真估计部28计算角度参数ω和

然后处理前进至步骤S506。

在步骤S506中，梯形失真估计部28判断角度参数ω和

是否处在适当的角度范围内。当得到肯定结果时，梯形失真估计部28使处理前进至步骤S508。

另一方面，当在步骤S506中得到否定结果时，角度参数ω和

错误的可能性很高。因此，梯形失真估计部28使处理前进至步骤S510。

在步骤S510中，梯形失真估计部28将角度参数ω和

的值替换为“0”，然后处理前进至步骤S508。

当在步骤S508中梯形失真估计部28将角度参数ω和

的值代入表达式(17)时，处理前进至结束步骤以结束梯形失真估计处理。

1-9.校正向量的生成

为了校正相机抖动、焦平面失真和梯形失真，校正向量生成部29生成应用于要处理的帧图像的校正向量Vc。

为方便起见，当将各成分和矩阵表达为式(20)时，可得到式(11)所示的比如式(21)的成分分离表达式。而且，变换前坐标X₀是与参照帧图像FM0对应的坐标，变换后坐标X₁是与要处理的帧图像FM1对应的坐标。

X₁＝C^-1P^-1FMPCX₀                    ……(21)

当相机抖动量为M_s且相机工作量为M_c时，表达式(22)成立。

M＝M_sM_c                             ……(22)

相机抖动量M_s可通过从相机运动成分CM(M)中的运动成分参数中减去相机工作成分参数来计算。校正向量生成部29根据相机工作量计算部27所供给的运动成分参数θ、s、h和v以及相机工作成分参数θ_f、s_f、h_f和v_f、利用表达式(23)来计算相机抖动量M_s。

$M_c=\left(\begin{array}{ccc}1& 0& h_f\\ 0& 1& v_f\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}\cos {\mathrm{\θ}}_f& -\sin {\mathrm{\θ}}_f& 0\\ \sin {\mathrm{\θ}}_f& \cos {\mathrm{\θ}}_f& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}{s}_f& 0& 0\\ 0& s_f& 0\\ 0& 0& 1\end{array}\right)$

$M_s={\mathrm{MM}}_c^{-1}......\left(23\right)$

将表达式(22)代入表达式(21)以变形，可表达为表达式(24)。

X₁＝C^-1P^-1FM_sM_cPCX₀＝(C^-1P^-1FM_sPC)(C^-1P^-1M_cPC)X₁  ……(24)

进而，对表达式(24)进行变形，可得到表达式(25)。

C^-1P^-1M_cPCX₀＝C^-1P^-1M_s ^-1F^-1PCX₁     ……(25)

因而，如表达式(25)所示，可以知道：对于变换前坐标X₀仅操作相机工作量M_c所得到的左边变得等于对于变换后坐标X₁操作相机抖动量M_s的逆矩阵和焦平面失真CF(F)的逆矩阵所得到的右边。

换句话说，通过将表达式(26)所示的校正向量Vc乘以变换后坐标X₁，可得到对参照帧图像FM0仅操作相机工作量M_c(即，抵消相机抖动、FP失真校正量CFc和梯形失真量A)所得到的坐标。

V_c＝C^-1P^-1M_s ^-1F^-1PC                ……(26)

因而，校正向量生成部29当被供给了运动成分参数θ、s、h和v、相机工作成分参数θ_f、s_f、h_f和v_f、以及FP失真成分参数e_c和b_c时，利用表达式(23)和表达式(26)生成校正向量Vc并将该校正向量Vc供给到运动补偿部30。而且，由于一个校正向量Vc是对于各视点的视频(视频数据)生成的，因此在本实施例中可生成多个校正向量Vc。

结果，当运动补偿部30将对于各视点的视频(视频数据)的校正向量Vc应用于各视点的视频(视频数据)时，要处理的帧图像FM1中的相机抖动、焦平面失真和梯形失真得以校正。

这样，校正向量生成部29通过对相机抖动、焦平面失真和梯形失真的校正，与参照帧图像FM0相比生成仅应用相机工作量M_c的要处理的帧图像FM1。

接下来，参照图26的流程图说明根据图像处理程序执行的校正向量生成处理。

校正向量生成部29当被供给了相机运动成分CM、相机工作成分CMc、FP失真校正量CFc和梯形失真量A时，开始校正向量生成处理，然后处理前进至步骤S602。

在步骤S602中，校正向量生成部29基于相机运动成分CM和相机工作成分CMc、利用表达式(23)来计算相机抖动量M_s，然后处理前进至步骤S604。

在步骤S604中，校正向量生成部29将相机抖动量M_s的逆矩阵(M_s ^-1)和FP失真校正量CFc的逆矩阵(F^-1)代入表达式(26)，然后处理前进至步骤S606。

在步骤S606中，校正向量生成部29利用表达式(26)生成校正向量Vc，然后处理前进至结束步骤以结束校正向量生成处理。

上述一系列的图像处理可以由硬件执行或由软件执行。当由软件实现图像处理时，在CPU和RAM中假想地形成图像处理部13。此外，通过将存储在ROM中的图像处理程序展开到RAM中，来实现图像处理。

1-10.操作和优点

具有上述构造的图像处理终端10的图像处理部13从构成处理对象帧图像的至少两片视频数据中的一片视频数据中检测作为表示帧图像的总体运动的运动向量的全局运动向量GMV。图像处理部13通过使用表示相机的运动的相机运动和表示焦平面失真的变化量的未知的成分参数θ、s、h、v、e和b，来将检测到的全局运动向量GMV模型化为成分分离表达式(表达式(11))。结果，相机运动成分CM和焦平面失真成分CF可从成分分离表达式分离。

图像处理部13通过计算用在成分分离表达式中的成分参数θ、s、h、v、e和b，来计算全局运动向量GMV中的相机运动成分CM。

由此，图像处理部13可考虑全局运动向量GMV仅由相机运动成分CM和焦平面失真成分CF构成。因此，图像处理部13能通过简单且容易的处理来计算全局运动向量GMV中的相机运动成分CM。

图像处理部13基于相机运动成分CM来校正帧图像FM中的相机抖动。于是，由于图像处理部13可基于已去除了焦平面失真成分CF的相机运动成分CM来校正作为从相机运动成分CM中排除了使用者有意的运动而得到的抖动的相机抖动，因而相机抖动的校正的精度能得以改进。

图像处理部13将相机运动成分CM表达为表示纵向方向和横向方向上的平移速度的平移要素EMa、表示缩放方向上的缩放速度的缩放要素EMc和表示一个方向上的角度变化的旋转要素。

这样，由于图像处理部13将相机运动成分CM表达为含有平行移动和一个方向的角度变化的仿射变换表达式，因而有可能简单且容易地处置成分分离表达式并计算成分参数。

图像处理部13将全局运动向量GMV表达为包含平移要素EMa、缩放要素EMc和一个方向的旋转要素Emb的仿射变换表达式。

在图像编辑等一般性图像处理中，较多地将全局运动向量GMV作为仿射变换表达式来处置。因此，由于图像处理部13能如一般性图像处理那样处置全局运动向量GMV，因而能高效地进行处理。

图像处理部13通过基于相机运动成分CM计算作为使用者有意的相机运动的相机工作成分CMc、并从相机运动成分CM中减去相机工作成分CMc，来计算表示相机抖动的量的相机抖动量M_s。

图像处理部13基于计算出的相机抖动量M_s来生成用来对全局运动向量GMV中的相机抖动进行校正的校正向量Vc。图像处理部13将所生成的校正向量Vc应用于全局运动向量GMV。

这样，由于图像处理部13对于要处理的帧图像FM1中的相机抖动可仅校正所计算出的相机抖动量M_s，因而要处理的帧图像FM1中的相机抖动可得以减小。

图像处理部13将相机运动成分CM和焦平面失真成分CF表达为行列式。由此，图像处理部13能容易地对相机运动成分CM和焦平面失真成分CF进行模型化。

图像处理部13生成包含相机抖动量M_s的逆矩阵M_s ^-1的行列式作为校正向量Vc。由此，图像处理部13通过对要处理的帧图像应用校正向量Vc，可从要处理的帧图像中抵消与相机抖动量M_s对应的相机抖动。

图像处理部13基于计算出的焦平面失真成分CF来计算作为用来对帧图像进行校正的焦平面失真校正量的FP失真校正量CFc，并生成包含FP失真校正量CFc的逆矩阵F^-1的行列式作为校正向量Vc。

由此，图像处理部13通过对要处理的帧图像应用校正向量Vc，可从要处理的帧图像中抵消与FP失真校正量CFc对应的焦平面失真。

图像处理部13在旋转要素EMb之前乘以使原点移动至帧图像的中心的原点校正矩阵MC1，并在旋转要素EMb之后乘以返回原点在移动到中心前的位置处的原点校正逆矩阵MC2。

由此，图像处理部13即使当原点处在不同于帧图像中心的位置时，也可使用帧图像中心作为原点来适当地旋转帧图像。

图像处理部13在旋转要素EMb之前乘以将像素的纵横比改变为1∶1的纵横比校正矩阵MP1，并在旋转要素EMb之后乘以使像素返回具有基纵横比的像素的纵横比校正逆矩阵MP2。

由此，图像处理部13能将像素的纵横比作为1∶1来处置。因此，即使当像素的纵横比不是1∶1时，也能适当地旋转该帧图像。

假设校正向量为Vc，原点校正矩阵为C，纵横比校正矩阵为P，相机抖动量的逆矩阵为M_s ^-1，焦平面失真校正量的逆矩阵为F^-1，原点校正逆矩阵为C^-1，且纵横比校正逆矩阵为P^-1，图像处理部13利用表达式(26)生成校正向量。

由此，图像处理部13消除了与旋转相关联的旋转轴或像素的纵横比的问题，于是能生成用来对相机抖动量M_s和FP失真校正量CFc进行校正的校正向量Vc。

图像处理部13生成表示全局运动向量GMV的可信度的可信度信息，并基于所生成的可信度信息、仅使用其中全局运动向量GMV的可信度高的相机运动成分CM来计算相机工作成分CMc。

由此，图像处理部13不必要使用可信度低且误差大的相机运动成分CM。因此，相机工作成分CMc的检测精度能得以改进。

图像处理部13利用LPF处理从相机运动成分CM生成相机工作成分CMc。由此，图像处理部13能利用简单且容易的处理来生成相机工作成分CMc。

在帧图像数据中，表示一个方向的角度变化的旋转要素EMb和对于表示两个不同方向的角度变化的旋转要素而言的相机抖动被预先校正。于是，由于角度变化被抑制的两个方向的值被认为非常小，因而图像处理部13能以高精度计算相机运动成分CM。

图像处理部13预先校正对于表示偏航方向和俯仰方向的角度变化的旋转要素而言的相机抖动。由此，图像处理部13能将在成分分离表达式中不能表达为角度变化的偏航方向和俯仰方向的角度变化表达为平移速度，并且相机运动成分CM中的误差能得以减小。

假设成分参数为e和b，图像处理部13将焦平面失真成分CF模型化为表达式(1)。由此，图像处理部13能适当地对表现为纵向方向的缩放和平行四边形状的失真的焦平面失真进行模型化。

假设成分参数为θ、h、v和s，图像处理部13将相机运动成分CM模型化为表达式(3)。由此，图像处理部13能将相机运动成分CM适当地模型化为滚动方向的旋转、纵向方向和横向方向的平移速度、以及缩放速度。

图像处理部13将运动向量模型化为表达式(11)。由此，图像处理部13能消除与旋转关联的旋转轴或像素的纵横比的问题，于是能通过适当地分离相机运动成分CM和焦平面失真成分CF来将全局运动向量GMV模型化为仅包含一个方向的旋转的仿射变换表达式。

利用这种构造，假设全局运动向量GMV近似由相机运动成分CM和焦平面失真成分CF构成，图像处理部13使用未知的成分参数将全局运动向量GMV模型化为成分分离表达式。图像处理部13通过计算成分参数来计算相机运动成分CM。

由此，图像处理部13能使用简单且容易的成分分离表达式、利用简单且容易的处理来计算相机运动成分CM。

在上述第一实施例中，匹配处理部23可以不对每个帧图像进行作为匹配处理的立体匹配。例如，匹配处理部23可以以如下时序进行匹配处理。

例如，匹配处理部23对最初的帧图像进行立体匹配，然后周期性地对例如每30帧进行立体匹配。将立体匹配的处理结果保持在匹配处理部23中，并使用上一次立体匹配的处理结果，直到进行下一次立体匹配为止。

例如，如图27所示，在图像处理部113中，将关于运动向量的信息从运动检测部122供给到匹配处理部123。另外，匹配处理部123对最初的帧图像进行立体匹配。此后，当由运动检测部122检测到的运动向量表现出与等于或大于阈值的值对应的运动时，例如，当通过仿射变换计算画面中心点的运动量且该运动向量在X轴方向或Y轴方向上移动了画面的1/10或更多时，匹配处理部123进行立体匹配。当运动向量未表现出与等于或大于阈值的值对应的运动时，匹配处理部123保持上一次立体匹配的处理结果，且匹配处理部123使用上一次立体匹配的处理结果，直到进行下一次立体匹配为止。

例如，匹配处理部23对最初的帧图像进行立体匹配，然后直到场景改变时才再次进行立体匹配。在这种情况下，另行提供场景改变检测器(未示出)。向场景改变检测器输入输入视频，并向匹配处理部23输出场景改变标志。

例如，在根据MPEG(运动图片专家组)对输入视频进行编码的情况下，匹配处理部23当图片类型是内帧时进行立体匹配。

在上述第一实施例中，对于匹配处理，如图28A所示，匹配处理部23可以在纵向方向和横向方向上使用相同位置关系的立体匹配的处理结果来试图改进匹配处理结果的可信度。例如，当存在相同位置关系的N个匹配处理结果时，从该N个匹配处理结果中去掉最大值和最小值。通过对剩余的值取平均并用平均值改写全部匹配处理结果，能降低误检测率。例如，计算相同位置关系的匹配处理结果的分散值，并当该分散值小于阈值时用平均值改写匹配处理结果，而当该分散值大于阈值时不进行任何处理，从而能降低误检测率。

在上述第一实施例中，匹配处理部23获得构成处理对象帧图像的至少两片视频数据中的全部视点的视频数据在纵向方向和横向方向上的相对位置关系。然而，如图28B所示，在匹配处理中不对全部的视点组合进行立体匹配，而是仅对中央附近的视点进行立体匹配，而其它视点间的立体匹配则可以使用对中央附近的视点所进行的立体匹配的处理结果来估计。如图28B所示，在3×1个视点的情况下，在图中箭头所示的视点间进行立体匹配。例如使用视点4和5的结果来估计视点1和2之间的距离。

在上述第一实施例中，运动成分分离处理部24可以使用Helmert变换。在这种情况下，当计算Helmert变换中的原点时，使用由匹配处理部23计算出的各视点的焦点信息。

在上述第一实施例中，运动成分分离处理部24可以不对在每个帧图像中确定的全局运动向量GMV进行成分分离，而是可以每次动态地进行成分分离以确定全局运动向量GMV。在这种情况下，例如，可以对全局运动向量GMV中的可信度最高的全局运动向量GMV进行成分分离。

在上述第一实施例中，仅在背景区域中使用立体匹配的处理结果。然而，当作为立体匹配的结果而得到比如图29A中那样的深度图DM时，对每个同一深度区域进行从运动成分分离处理部24开始到校正向量生成部29为止的处理，并由运动补偿部30合成各深度区域。即，从运动成分分离处理部24开始到校正向量生成部29为止的处理在约一帧图像中按视点数×深度区域数来进行。

例如，在图29B所示的深度区域DA(为方便起见，虽然由矩形来表示深度区域，但是深度区域不呈矩形而呈人形)中，使用对该深度区域DA计算出的立体匹配的处理结果(图像距离)来进行运动成分分离处理部24之后的处理。而且，在立体匹配中，使用深度区域的中心作为原点来生成焦点信息。运动补偿部30自深度区域内部起以叠加的方式依次地进行处理。此外，运动补偿部30最后进行内画(in-painting)处理等以埋置帧缓冲器中存在的空白区域(即，未被填充像素值的区域)。

2.第二实施例

在上述第一实施例中，已说明了这样的情况：使用相机运动成分CM来计算相机抖动量M_s以校正相机抖动。然而本发明不限于此，且对相机运动成分CM的使用方法没有约束。例如，通过使用相机运动成分CM来指定对应的像素并将这些对应的像素用于线性插值处理，可改进帧图像数据的品质。

在上述第一实施例中，已说明了这样的情况：将相机运动成分CM模型化为平移要素EMa、旋转要素EMb和缩放要素EMc。然而本发明不限于此。例如，可以将相机运动成分CM模型化为平移要素EMa和缩放要素EMc。而且，旋转要素EMb可以表达三个方向的角度变化。

在上述第一实施例中，已说明了这样的情况：利用基于相机运动成分CM的校正向量Vc来校正帧图像。然而，本发明不限于此。也可以利用各种方法比如使用校正系数来校正帧图像。

在上述第一实施例中，已说明了这样的情况：利用表达式(11)计算相机运动成分CM和焦平面失真成分CF这二者。然而本发明不限于此。至少也可以计算相机运动成分CM。

在上述第一实施例中，已说明了这样的情况：由行列式来表达成分分离表达式。然而本发明不限于此。也可以使用一般的方程式来表达成分分离表达式。

在上述第一实施例中，已说明了这样的情况：在旋转要素EMb之前乘以原点校正矩阵MC1，并在旋转要素EMb之后乘以原点校正逆矩阵MC2。然而本发明不限于此。该处理可以不必要进行。例如，当原点初始时就位于中心或接近中心时，该处理可被省略。

在上述第一实施例中，已说明了这样的情况：在旋转要素EMb之前乘以纵横比校正矩阵MP1，并在旋转要素EMb之后乘以纵横比校正逆矩阵MP2。然而本发明不限于此。该处理可以不必要进行。例如，当纵横比初始时就是1∶1或接近1∶1时，该处理可被省略。

在上述第一实施例中，已说明了这样的情况：过滤处理部26基于可信度信息分离焦平面失真成分CF和相机运动成分CM。然而本发明不限于此。过滤处理可以不必要进行。该过滤处理可以对焦平面失真成分CF和相机运动成分CM这二者之一进行。而且，运动检测部22可以将可信度指标的总和值设定为可信度信息。

在上述第一实施例中，已说明了这样的情况：利用LPF处理从相机运动成分CM生成相机工作成分CMc。然而本发明不限于此。也可利用其它各种方法来生成相机工作成分CMc。

在上述第一实施例中，已说明了这样的情况：从摄录机供给的帧图像数据已对于相机抖动提前作了校正。然而本发明不限于此。对帧图像数据中是否校正相机抖动没有约束。

在上述第一实施例中，已说明了这样的情况：用作信息处理设备的图像处理终端10执行根据本发明的实施例的图像处理。然而本发明不限于此。具有摄像功能的摄像设备也可以执行根据本发明的实施例的图像处理。因而，可以从图像处理设备省略硬件传感器。而且，可以将硬件传感器与根据本发明的实施例的图像处理相组合。例如，一边利用陀螺传感器仅在物理上校正偏航方向和俯仰方向的角度变化，一边执行根据第一实施例的图像处理。

在上述第一实施例中，已说明了这样的情况：将图像处理程序等预先存储在ROM或硬盘驱动器等中。然而本发明不限于此。图像处理程序可以从存储棒(索尼公司的商标)等外部存储介质安装到闪速存储器等中。而且，图像处理程序等可以经由USB(通用串行总线)、以太网(商标)、或IEEE(电气和电子工程师学会)802.11a/b/g等无线LAN(局域网)从外部获取。进而，图像处理程序等也可以由地面数字电视广播或BS数字电视广播来递送。

在上述第一实施例中，已说明了这样的情况：使用摄录机作为将被摄物摄像为视频数据的相机。然而本发明不限于此。例如，可以使用数字静止相机或蜂窝电话的内置相机的运动图像功能作为相机。

在上述第一实施例中，已说明了这样的情况：在用作图像处理设备的图像处理部13中包含有用作运动检测部的运动检测部22以及用作模型化部和成分计算部的运动成分分离处理部24。然而本发明不限于此，在根据本发明的实施例的图像处理设备中也可以包含有由其它各种构造所形成的运动检测部、模型化部和成分计算部。

本发明含有与在2010年3月31日向日本专利局提交的日本在先专利申请特愿第2010-082045号中公开的主旨相关的主旨，其全部内容作为引用而合并于此。

本领域的熟练人员应当理解：取决于设计需求和其它有关因素，可以出现各种修改、合并、从属合并和替代，它们全都落入所附权利要求书或其等价物的范围内。

Claims (20)

1.一种图像处理设备，包括：

匹配处理部，所述匹配处理部使用构成多视点视频数据的一帧图像的至少两片视频数据来计算构成所述一帧图像的全部视频数据的中央坐标相对于所述一帧图像的原点坐标的位置，并生成作为计算结果的焦点信息；

运动向量检测部，所述运动向量检测部使用构成所述一帧图像的至少两片视频数据中的一片视频数据，来检测表示所述一帧图像的总体运动的运动向量；

运动成分分离处理部，所述运动成分分离处理部使用所述匹配处理部所生成的焦点信息和所述运动向量检测部所检测到的运动向量，来分离所述一帧图像的运动成分；以及

校正部，所述校正部使用所述运动成分分离处理部所分离出的运动成分，来对构成所述一帧图像的全部视频数据进行校正。

2.根据权利要求1所述的图像处理设备，其中所述匹配处理部使用构成所述一帧图像的至少两片视频数据中的中央视频数据和与该中央视频数据相邻的视频数据来计算构成所述一帧图像的全部视频数据的中央坐标相对于所述一帧图像的原点坐标的位置，并生成作为计算结果的焦点信息。

3.根据权利要求1所述的图像处理设备，其中所述匹配处理部使用构成所述一帧图像的全部视频数据来计算构成所述一帧图像的全部视频数据的中央坐标相对于所述一帧图像的原点坐标的位置，并基于计算结果与所述全部视频数据之间的位置关系来生成焦点信息。

4.根据权利要求1所述的图像处理设备，其中所述匹配处理部以预定的帧间隔来生成所述焦点信息。

5.根据权利要求1所述的图像处理设备，其中所述匹配处理部使用所述运动向量检测部所检测到的运动向量、当基于该运动向量的运动量超过给定阈值时生成所述焦点信息。

6.根据权利要求1所述的图像处理设备，其中所述匹配处理部当场景改变检测部检测到所述视频数据中的场景改变时生成所述焦点信息。

7.根据权利要求1所述的图像处理设备，其中在所述视频数据被编码的情况下，所述匹配处理部当所述视频数据的图片类型是预定的图片类型时生成所述焦点信息。

8.根据权利要求1所述的图像处理设备，其中所述运动成分分离处理部使用所述运动向量检测部所检测到的运动向量当中可信度最高的运动向量，来分离所述一帧图像的运动成分。

9.根据权利要求1所述的图像处理设备，

其中所述匹配处理部使用构成多视点视频数据的一帧图像的至少两片视频数据来进行立体匹配，当作为该立体匹配的结果而获得深度图时计算构成所述一帧图像的全部视频数据中的同一个深度区域的中心坐标相对于所述一帧图像的原点坐标的位置，并生成作为计算结果的焦点信息，

其中所述运动成分分离处理部使用所述匹配处理部所生成的焦点信息和所述运动向量检测部所检测到的运动向量，来分离所述同一个深度区域的运动成分，并且

其中所述校正部使用所述运动成分分离处理部所分离出的运动成分，来对构成所述一帧图像的全部视频数据中的同一个深度区域进行校正。

10.根据权利要求1所述的图像处理设备，其中所述运动成分分离处理部包括：

模型化部，所述模型化部使用分别表示作为相机的运动的相机运动以及焦平面失真的变化量的未知成分参数，来将所述运动向量检测部所检测到的所述运动向量模型化为相机运动成分和焦平面失真成分被分离的成分分离表达式；以及

成分计算部，所述成分计算部通过计算用在所述成分分离表达式中的所述成分参数，来计算所述运动向量中的相机运动成分。

11.根据权利要求10所述的图像处理设备，其中所述模型化部将所述运动向量模型化为以下表达式：

$\left(\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right)=\left(\begin{array}{ccc}{A}_1& A_2& A_0\\ B_1& B_2& B_0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}_0\\ y_0\\ 1\end{array}\right)$

$=\left(\begin{array}{ccc}1& 0& h_c\\ 0& 1& v_c\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}\frac{1}{p}& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}1& 0& 0\\ 0& e& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}1& b& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right)$

$\left(\begin{array}{ccc}1& 0& h\\ 0& 1& v\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}& 0\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}s& 0& 0\\ 0& s& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}p& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}1& 0& -h_c\\ 0& 1& -v_c\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}_0\\ y_0\\ 1\end{array}\right)......\left(1\right)$

12.根据权利要求1所述的图像处理设备，其中所述校正部包括：

相机工作成分计算部，所述相机工作成分计算部基于所述相机运动成分来计算作为使用者有意的相机运动的相机工作成分，

抖动量计算部，所述抖动量计算部通过从所述相机运动成分中减去所述相机工作成分来计算抖动量，

校正向量生成部，所述校正向量生成部基于所述抖动量计算部所计算出的所述抖动量来生成用于对所述运动向量中的抖动进行校正的校正向量，以及

运动补偿部，所述运动补偿部对所述运动向量应用所述校正向量生成部所生成的所述校正向量。

13.根据权利要求12所述的图像处理设备，其中所述模型化部将相机运动成分和焦平面失真成分表达为行列式。

14.根据权利要求13所述的图像处理设备，其中所述校正向量生成部生成包含所述抖动量的逆矩阵的行列式作为所述校正向量。

15.根据权利要求14所述的图像处理设备，其中所述校正部进一步包括：

焦平面失真校正量计算部，所述焦平面失真校正量计算部基于所述成分计算部所计算出的所述焦平面失真成分来计算用于校正所述帧图像的焦平面失真校正量，

其中所述校正向量生成部生成包含所述焦平面失真校正量的逆矩阵的行列式作为所述校正向量。

16.根据权利要求15所述的图像处理设备，其中所述模型化部在旋转要素之前乘以使基于所述焦点信息的原点移动的原点校正矩阵，并在所述旋转要素之后乘以使所述原点返回所述移动前的位置的原点校正逆矩阵。

17.根据权利要求16所述的图像处理设备，其中在所述旋转要素之前，乘以将像素的纵横比改变为1∶1的纵横比校正矩阵，而在所述旋转要素之后，乘以使所述像素返回基纵横比的纵横比校正逆矩阵。

18.根据权利要求17所述的图像处理设备，其中假设所述校正向量为Vc，所述原点校正矩阵为C，所述纵横比校正矩阵为P，所述抖动量的逆矩阵为M_s ^-1，所述焦平面失真校正量的逆矩阵为F^-1，所述原点校正逆矩阵为C^-1，且所述纵横比校正逆矩阵为P^-1，则所述校正向量生成部按以下表达式生成所述校正向量，

Vc＝C^-1P^-1M_s ^-1F^-1PC                  ……(2)

19.一种图像处理方法，包括以下步骤：

使用构成多视点视频数据的一帧图像的至少两片视频数据来计算构成所述一帧图像的全部视频数据的中央坐标相对于所述一帧图像的原点坐标的位置，并生成作为计算结果的焦点信息；

使用构成所述一帧图像的至少两片视频数据中的一片视频数据，来检测表示所述一帧图像的总体运动的运动向量；

使用在所述生成焦点信息的步骤中生成的焦点信息和在所述检测运动向量的步骤中检测到的运动向量，来分离所述一帧图像的运动成分；以及

使用在所述分离所述一帧图像的运动成分的步骤中分离出的运动成分，来对构成所述一帧图像的全部视频数据进行校正。

20.一种使得计算机执行以下步骤的图像处理程序：

使用构成多视点视频数据的一帧图像的至少两片视频数据来计算构成所述一帧图像的全部视频数据的中央坐标相对于所述一帧图像的原点坐标的位置，并生成作为计算结果的焦点信息；

使用构成所述一帧图像的至少两片视频数据中的一片视频数据，来检测表示所述一帧图像的总体运动的运动向量；

使用在所述生成焦点信息的步骤中生成的焦点信息和在所述检测运动向量的步骤中检测到的运动向量，来分离所述一帧图像的运动成分；以及

使用在所述分离所述一帧图像的运动成分的步骤中分离出的运动成分，来对构成所述一帧图像的全部视频数据进行校正。

Images