CN102868858A - 图像处理装置及图像处理方法 - Google Patents

Abstract

本发明涉及图像处理装置及图像处理方法。图像处理装置（1）具备图像输入部（10）、运动矢量取得部（11）及失真分量估计部（12）。图像输入部（10）输入多个帧图像。运动矢量取得部（11）取得2个帧图像之间的平行移动量。失真分量估计部（12）将表示帧图像间的运动的运动矩阵近似为仅由平行移动分量及滚动快门失真分量组成，利用平行移动量逐个帧图像地算出滚动快门失真分量所包含的临时失真系数，利用算出的多个临时失真系数估计失真系数。

Description

图像处理装置及图像处理方法

技术领域

本发明涉及图像处理装置、图像处理方法、图像处理程序及存储介质。

背景技术

以往，作为图像处理装置，已知有采用CMOS（Complementary Metal OxideSemiconductor，互补式金属氧化物半导体）对以焦平面快门方式拍摄的图像进行处理的装置（参照专利文献1）。在上述方式中，逐行地进行帧图像的数据转送。因此，帧图像内的拍摄定时成为每行略微不同的定时。由于这样的拍摄定时的偏移，发生所谓的滚动快门失真（焦平面失真）。

在专利文献1所述的图像处理装置中，采用摄像机动作（camera motion）分量及滚动快门失真分量等将表示画面整体的运动的全局运动矢量模型化。而且，该图像处理装置检测全局运动矢量，利用上述模型从检测出的全局运动矢量中分离出各分量，计算摄像机动作分量或滚动快门失真分量。

【现有技术文献】

【专利文献】

【专利文献1】

日本特开2010－193302号公报

发明内容

但是，在专利文献1所述的图像处理装置中，有时候无法正确算出滚动快门失真分量。例如，在拍摄场景内存在不同运动的多个被摄体的情况下，该多个被摄体的运动有时反映到全局运动矢量。该情况下，全局运动矢量与专利文献1所述的模型之间产生误差，因此获得的滚动快门失真分量发生误差。而且，在专利文献1所述的模型中，为了计算表示滚动快门失真的扩大缩小的分量及表示平行四边形的失真程度的分量，需要各个全局运动矢量的多个分量。因而，在滚动快门失真分量的计算中容易产生误差。

因此，在该技术领域中，期望一种能够稳定且正确地估计滚动快门失真分量的图像处理装置、图像处理方法、图像处理程序及存储介质。

即，本发明的一方面的图像处理装置是处理连续的多个帧图像的图像处理装置。该装置具备图像输入部、平行移动量取得部及失真分量估计部。图像输入部输入多个帧图像。平行移动量取得部取得2个帧图像之间的平行移动量。失真分量估计部将表示帧图像间的运动的运动矩阵近似为仅由平行移动分量及滚动快门失真分量组成，利用平行移动量逐个帧图像地算出滚动快门失真分量所包含的临时失真系数，利用算出的多个临时失真系数估计失真系数。

在该图像处理装置中，将表示帧图像间的运动的运动矩阵近似为仅由平行移动分量及滚动快门失真分量组成。通过这样的近似，利用帧图像间的平行移动量能够计算出滚动快门失真分量所包含的临时失真系数。而且，通过利用算出的多个临时失真系数估计失真系数，可以估计出更合适的失真系数。因此，能够稳定且正确地估计滚动快门失真分量。

在一个实施例中，失真分量估计部可以将多个临时失真系数的平均值或中值估计为失真系数。另外，在一实施例中，失真分量估计部可以在以滚动快门失真分量及平行移动量为坐标轴的2维平面上描绘临时失真系数，根据回归直线的斜率来估计失真系数。通过这样的估计，可以用多个临时失真系数来估计合适的失真系数。

在一个实施例中，失真分量估计部可以在临时失真系数大于帧图像的行数的倒数的情况下，将该帧图像的临时失真系数校正为帧图像的行数的倒数。另外，在一个实施例中，失真分量估计部可以在临时失真系数大于帧图像的行数的倒数的情况下，不用该帧图像的临时失真系数来估计失真系数。通过这样的校正，即使临时失真系数的一个为不合适的值的情况下，也能够估计适当的失真系数。

在一个实施例中，失真分量估计部可以在估计出的失真系数大于帧图像的行数的倒数的情况下，将估计出的失真系数校正为帧图像的行数的倒数。通过这样的校正，可以避免最终的失真系数成为不合适值。

另外，本发明的其他方面的图像处理方法是处理连续的多个帧图像的图像处理方法。该方法具备图像输入步骤、平行移动量取得步骤及失真分量估计步骤。在图像输入步骤中，输入多个帧图像。在平行移动量取得步骤中，取得2个帧图像之间的平行移动量。在失真分量估计步骤中，将表示帧图像间的运动的运动矩阵近似为仅由平行移动分量及滚动快门失真分量组成，利用平行移动量逐个帧图像地算出滚动快门失真分量所包含的临时失真系数，利用算出的多个临时失真系数估计失真系数。

另外，本发明的其他方面的图像处理程序是使计算机工作以处理连续的多个帧图像的图像处理程序。该程序使计算机作为图像输入部、平行移动量取得部及失真分量估计部而工作。图像输入部输入多个帧图像。平行移动量取得部取得2个帧图像之间的平行移动量。失真分量估计部将表示帧图像间的运动的运动矩阵近似为仅由平行移动分量及滚动快门失真分量组成，利用平行移动量逐个帧图像地算出滚动快门失真分量所包含的临时失真系数，利用算出的多个临时失真系数估计失真系数。

另外，本发明的其他方面的存储介质是记录了使计算机工作以处理连续的多个帧图像的图像处理程序的存储介质。该程序使计算机作为图像输入部、平行移动量取得部及失真分量估计部而工作。图像输入部输入多个帧图像。平行移动量取得部取得2个帧图像之间的平行移动量。失真分量估计部将表示帧图像间的运动的运动矩阵近似为仅由平行移动分量及滚动快门失真分量组成，利用平行移动量逐个帧图像地算出滚动快门失真分量所包含的临时失真系数，利用算出的多个临时失真系数估计失真系数。

根据本发明的其他方面的图像处理方法、图像处理程序及存储介质，可以实现与上述图像处理装置同样的效果。

根据本发明的各种方面及实施例，可以提供可稳定正确估计滚动快门失真分量的图像处理装置、图像处理方法、图像处理程序及存储介质。

附图说明

图1是安装有第1实施例的图像处理装置的便携终端的功能框图。

图2是安装有图1的图像处理装置的便携终端的硬件构成图。

图3是说明连续的2幅帧图像的坐标系的概要图。

图4是说明滚动快门失真的概要图。（A）表示X方向的行扫描的扫描顺序为Y方向时，摄像机操作为X方向的情况下的被摄体的失真。（B）表示X方向的行扫描的扫描顺序为Y方向时，摄像机操作为Y方向的情况下的被摄体的失真。（C）表示Y方向的行扫描的扫描顺序为X方向时，摄像机操作为X方向的情况下的被摄体的失真。（D）表示Y方向的行扫描的扫描顺序为X方向时，摄像机操作为Y方向的情况下的被摄体的失真。

图5是说明失真系数的计算方法的概要图。

图6是示出动态帧图像与失真计数之间的关系的曲线图。

图7是示出运动矩阵分量与移动量之间的关系的曲线图。

图8是示出图1的图像处理装置的动作的流程图。

图9是安装了第1实施例的其他图像处理装置的便携终端的功能框图。

图10是安装了第3实施例的图像处理装置的便携终端的功能框图。

图11是示出图10的图像处理装置的动作的流程图。

图12是安装了第4实施例的图像处理装置的便携终端的功能框图。

图13是示出图12的图像处理装置的动作的流程图。

具体实施方式

以下，参照附图说明本发明的实施例。另外，各图中同一或相应的部分赋予相同的标号，并省略重复的说明。

（第1实施例）

本实施例的图像处理装置是对图像失真进行校正的装置。该图像处理装置用于校正例如在移动拍摄装置的同时进行拍摄时发生的滚动快门失真。本实施例的图像处理装置优选安装在例如便携电话、数字摄像机、PDA（Personal Digital Assistant）等资源受限制的移动终端，但也不限于此，也可以安装在例如通常的计算机系统。另外，以下，考虑到便于说明理解，作为本发明的图像处理装置的一例，说明安装在具备摄像机功能的便携终端中的图像处理装置。

图1是具备本实施例的图像处理装置1的便携终端2的功能框图。图1所示便携终端2是例如用户携带的移动终端，具有图2所示的硬件构成。图2是便携终端2的硬件构成图。如图2所示，便携终端2构成为物理上包含CPU（Central ProcessingUnit）100、ROM（Read Only Memory）101及RAM（Random Access Memory）102等的主存储装置、摄像机或键盘等的输入设备103、显示器等的输出设备104、硬盘等的辅助存储装置105等的通常的计算机系统。后述的便携终端2及图像处理装置1的各功能通过下述操作而实现：在CPU100、ROM101、RAM102等的硬件上读入预定的计算机软件，在CPU100的控制下使输入设备103及输出设备104工作的同时进行主存储装置、辅助存储装置105中的数据的读出及写入。另外，上述说明中介绍了便携终端2的硬件构成，但是，图像处理装置1也可以构成为包含CPU100、ROM101及RAM102等的主存储装置、输入设备103、输出设备104、辅助存储装置105等的通常的计算机系统。另外，便携终端2也可以具备通信模块等。

如图1所示，便携终端2具备摄像机20、图像处理装置1、图像记录部21、摄像机信息记录部22及显示部23。摄像机20具有图像拍摄功能。作为摄像机20，采用例如CMOS的像素传感器等，以焦平面快门方式进行拍摄。即，摄像机20向图像的纵方向或横方向进行扫描而输入像素值。摄像机20具有例如从通过用户操作等指定的定时开始以规定的间隔反复进行拍摄的连续拍摄功能。即，摄像机20具有不仅取得静止图像（静止帧图像）还取得动态图像（连续的动态帧图像）的功能。摄像机20具有例如在每次拍摄所拍摄的帧图像（对象图像）时向图像处理装置1输出的功能。

图像处理装置1具备图像输入部10、运动矢量取得部11、失真分量估计部12、校正参数算出部13及图像校正部14。

图像输入部10具有输入由摄像机20拍摄的帧图像的功能。图像输入部10具有例如在每次拍摄时输入利用摄像机20所拍摄的帧图像的功能。另外，图像输入部10具有将输入帧图像保存在便携终端2所具备的图像记录部21中的功能。另外，图像输入部10具有将输入帧图像向运动矢量取得部11及图像校正部14输出的功能。

运动矢量取得部（平行移动量取得部）11具有利用输入帧图像和该输入帧图像之前拍摄的紧邻的2幅帧图像来取得运动矢量的功能。运动矢量取得部11例如参照图像记录部21，取得输入帧图像之前的帧图像。运动矢量取得部11以块为单位对连续的帧图像进行映射，取得局部运动矢量。接着，运动矢量取得部11利用取得的多个局部运动矢量，算出因摄像机20相对于被摄体的相对运动而产生的帧间的摄像机动作分量。这里，如图3所示，当以图像中心为原点，设算出对象的帧图像的坐标系为（xⁱ,yⁱ,1）^t，设前一个帧图像的坐标系为（x^i-1,y^i-1,1）^t，则摄像机动作分量用式（1）表示。其中，ｉ是自然数。

$\left(\begin{array}{c}{x}^i\\ y^i\\ 1\end{array}\right)=\left(\begin{array}{ccc}{m}_{00}^{i-1\→i}& m_{01}^{i-1\→i}& m_{02}^{i-1\→i}\\ m_{10}^{i-1\→i}& m_{11}^{i-1\→i}& m_{12}^{i-1\→i}\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}^{i-1}\\ y^{i-1}\\ 1\end{array}\right)...\left(1\right)$

另外，也可以用式（1）以外的方法取得摄像机动作，只要至少取得摄像机20的平行移动分量即可。运动矢量取得部11具有将摄像机动作分量向失真分量估计部12及校正参数算出部13输出的功能。

失真分量估计部12具有根据摄像机动作分量估计滚动快门失真分量的功能。图4是说明滚动快门失真的概要图。滚动快门失真是指如图4的（A）那样，摄像机2

0相对于被摄体在水平方向相对移动的情况下，被摄体在水平方向失真为平行四边形状的情况。摄像机20在垂直方向移动的情况下，如图4的（B）那样，滚动快门失真以被摄体在垂直方向扩大/缩小的方式发生。失真量随着摄像机20的移动速度越快而越大。根据该情况，滚动快门失真可以通过摄像机20的移动速度来估计。摄像机20的移动速度可以通过帧间的平行移动量来估计。失真分量估计部12输入由运动矢量取得部11取得的摄像机动作分量，将摄像机动作分量的水平及垂直方向的平行移动分量（m₀₂ ^i-1→i,m₁₂ ^i-1→i）^t设为帧间的平行移动量（d_x ⁱ,d_y ⁱ）^t，根据平行移动量，估计滚动快门失真分量。另外，也可以将帧间的平行移动量设为帧图像的中心坐标的平行移动量。若将有失真的坐标系设为（xⁱ,yⁱ,1）^t，无失真的坐标系设为（Xⁱ,Yⁱ,1）^t，则滚动快门失真分量可用下式（2）表示。

$\left(\begin{array}{c}{x}^i\\ y^i\\ 1\end{array}\right)=\left(\begin{array}{ccc}1& \mathrm{\α}\·d_x^i& 0\\ 0& 1+\mathrm{\α}\·d_y^i& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{X}^i\\ Y^i\\ 1\end{array}\right)...\left(2\right)$

如上式（2）所示，Y的值影响失真分量。这里，滚动快门失真分量所包含的α是失真系数。失真系数α是将读入1行帧图像的时间除以读入全体帧图像的时间与读入下一帧图像之前的时间的相加值而算出的值。换言之，失真系数α是将读入1行帧图像的时间除以从读入该帧图像的最初行的时刻到读入下一帧图像的最初行的时刻为止的时间而算出的值。失真系数α根据摄像机20具备的像素传感器的规格和像素传感器的驱动设定而变化。例如，在各个像素传感器中，扫描速度、帧速率、曝光时间、图像尺寸、扫描线的方向、缩放倍率、ｆ值、机械式手抖校正机构的接通/断开（ON／OFF）、从帧的拍摄到输出为止的时间、读出速度、读出方向等的设定信息不同。因而，在失真估计之前，必须预先计算包含像素传感器的各种设定、拍摄模式或环境条件的拍摄条件。另外，在图像传感器中，若将相邻行间的时间差设为ｔ_L，相邻帧间的时间差设为ｔ_F，则失真系数α可以用下式算出。另外，相邻帧间的时间差ｔ_F可以根据动态帧图像列的帧速率而导出。

$\mathrm{\α}=\frac{t_L}{t_F}$

这里，若设帧图像的行数（图像的高度）为N_L，则以下的不等式成立。

$t_L\≤\frac{t_F}{N_L}$

上述不等式可以如下变形。

$\mathrm{\α}\≤\frac{1}{N_L}$

这样，在帧图像的行数N_L已知的情况下，可以确定失真系数α的上限值。

这里，说明失真系数α的计算方法。图5是说明失真系数α的计算方法的概要图。如图5所示，用静止帧图像frame^b、动态帧图像列frameⁱ来计算失真系数α。通过比较静止帧图像和动态帧图像，求出发生了何种程度的失真，进而，求出在动态帧图像间存在何种程度的平行移动量，由此来求出失真与平行移动量的相关。根据该相关关系算出失真系数α。

具体地说，首先，使被摄体及摄像机20静止，拍摄静止帧图像frame^b。接着，使被摄体或摄像机20移动，拍摄动态帧图像列：frame⁰、frame¹、frame²、…、frame^i-1、frameⁱ。动态帧图像frameⁱ的失真量可以通过计算从静止帧图像frame^b到动态帧图像frameⁱ的运动矩阵M^b→i而算出。当设静止帧图像frame^b的坐标系为（x^b,y^b,1），设动态帧图像frameⁱ的坐标系为（xⁱ,yⁱ,1），则失真量用下式（3）表示。

$\left(\begin{array}{c}{x}^i\\ y^i\\ 1\end{array}\right)=\left(\begin{array}{ccc}{m}_{00}^{b\→i}& m_{01}^{b\→i}& m_{02}^{b\→i}\\ m_{10}^{b\→i}& m_{11}^{b\→i}& m_{12}^{b\→i}\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}^b\\ y^b\\ 1\end{array}\right)...\left(3\right)$

这里，若假定运动矩阵M^b→i仅为平行移动分量及失真分量，则失真量可以近似为下式（4）。

$\left(\begin{array}{c}{x}^i\\ y^i\\ 1\end{array}\right)=\left(\begin{array}{ccc}1& m_{01}^{b\→i}& m_{02}^{b\→i}\\ 0& m_{11}^{b\→i}& m_{12}^{b\→i}\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}^b\\ y^b\\ 1\end{array}\right)...\left(4\right)$

比较公式（2）和公式（4）。在公式（4）中，失真分量为

及

另一方面，在公式（2）中，失真分量的来源是设为连续帧间的运动分量的平行移动量（d_x ⁱ,d_y ⁱ）^t。为了求出平行移动量，根据动态帧图像frameⁱ和其前一动态帧图像frame^i-1，求出运动矩阵M^i-1→i。动态帧图像frameⁱ和其前一动态帧图像frame^i-1的关系可以用下式（5）表示。

$\left(\begin{array}{c}{x}^i\\ y^i\\ 1\end{array}\right)=\left(\begin{array}{ccc}{m}_{00}^{i-1\→i}& m_{01}^{i-1\→i}& m_{02}^{i-1\→i}\\ m_{10}^{i-1\→i}& m_{11}^{i-1\→i}& m_{12}^{i-1\→i}\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}^{i-1}\\ y^{i-1}\\ 1\end{array}\right)...\left(5\right)$

也可以用上式（5）将帧间的运动分量

设为平行移动分量（d_x ⁱ,d_y ⁱ）^t。另外，也可以将动态帧图像frameⁱ的中心坐标的平行移动量设为（d_x ⁱ,d_y ⁱ）^t。另外，也可以采用连续帧图像中的帧图像frameⁱ和其之前的帧图像frame^i-1算出第1平行移动量，同时，用帧图像frameⁱ和其之后的帧图像frameⁱ⁺¹算出第2平行移动量，用第1平行移动量及第2平行移动量的平均（加权平均、多项式近似等）求出平行移动量。通过采用平均的平行移动量可以提高精度。通过算出（d_x ⁱ,d_y ⁱ）^t，失真系数α可以用下式（6）、（7）表示。

$\mathrm{\α}=\frac{m_{01}^{b\→i}}{d_x^i}...\left(6\right)$

$\mathrm{\α}=\frac{m_{11}^{b\→i}-1}{d_y^i}...\left(7\right)$

这里，在一个帧图像frameⁱ中，可以测定

并利用公式（6）、公式（7）来求出失真系数α。其中，假定在作为用于求出失真系数α的测定值的

中包含误差。为此，也可以对于一个帧图像frameⁱ，将求出的失真系数设为临时失真系数，对于多个帧图像，逐个帧图像地求出临时失真系数，用这些临时失真系数算出使误差收敛的精度较佳的失真系数α。图6的横轴为frameⁱ，纵轴为失真系数α^ｉ。如图6所示，也可以对于各种frameⁱ，求出临时失真系数α^ｉ，将它们的平均值（加权平均值）用作失真系数α。或者，也可以对于各种frameⁱ，求出临时失真系数α^ｉ，将它们的中值用作失真系数α。图7的横轴是移动量ｄ_ｘ ^ｉ，纵轴是运动矩阵分量

如图7所示，也可以在以平行移动量及滚动快门失真分量为坐标轴的2维平面上进行绘图，并根据公式（7）所示的回归直线的斜率求出失真系数α。即使在作为测定值的

的值较小且误差影响较大的情况下，也能够通过上述方法高精度地求出失真系数α。另外，临时失真系数α^ｉ及失真系数α必须在上述上限值（帧图像的行数N_L的倒数）以下。因此，在预定的帧图像frame^k的临时失真系数α^ｋ比帧图像的行数N_L的倒数大的情况下，也可以通过进行将该帧图像frame^k的临时失真系数α^ｋ设为帧图像的行数N_L的倒数的校正，然后通过上述平均值、中值或回归直线的方法算出失真系数α。或者，在预定的帧图像frame^k的临时失真系数α^ｋ比帧图像的行数N_L的倒数大的情况下，除了该帧图像frame^k的临时失真系数α^ｋ以外，还可以通过上述平均值、中值或回归直线的方法算出失真系数α。另外，在导出的失真系数α比帧图像的行数N_L的倒数大的情况下，也可以进行将失真系数α设为帧图像的行数N_L的倒数的校正。滚动快门失真发生的情形因像素传感器的规格和像素传感器的驱动的设定而不同。通过利用上述方法对作为摄像机20的像素传感器的设定分别计算失真系数α，由此能够反映摄像机20固有的条件，正确估计滚动快门失真。另外，在利用实际的测定值计算失真系数α的情况下，也可以预先记录在怎样的拍摄环境条件下算出了失真系数α。作为拍摄环境条件，例如，包括“亮度”或“气温”等。

失真分量估计部12构成为可参照摄像机信息记录部22。摄像机信息记录部22记录利用上述的方法计算出的失真系数α。例如，具备将元件设定值与失真系数α相关联的表。也可以具备将元件设定值及拍摄环境与失真系数α相关联的表。失真分量估计部12参照摄像机信息记录部22，根据像素传感器的设定，取得失真系数α的值，利用摄像机动作分量估计滚动快门失真分量。像素传感器目前的设定信息、拍摄环境有关的信息也可以例如从摄像机20取得。另外，在摄像机信息记录部22中相关联地记录了读入1行帧图像的时间及读入帧图像全体的时间和到读入下一帧图像之前的时间与设定信息或拍摄环境有关的信息的情况下，也可以不从摄像机信息记录部22直接取得失真系数α，而是根据摄像机信息记录部22中记录的信息，计算失真系数α。失真分量估计部12具有将滚动快门失真分量向校正参数算出部13输出的功能。

校正参数算出部13具有根据摄像机动作分量及滚动快门失真分量算出用于抵消失真的校正参数的功能。例如，校正参数算出部13算出动态图像手抖校正及滚动快门失真校正的参数。这里，对于动态图像手抖校正，如下算出校正参数：首先，求出从作为摄像机20的静止位置的基准的帧开始的摄像机动作分量的累积值。然后，例如，根据摄像机动作分量的累积值仅提取出手抖的频率。为了抵消该频率而计算校正参数。在进行动态图像手抖校正的情况下，设运动校正前的坐标为（x^b,y^b,1）^t，设运动校正后的坐标为（x，ⁱ,y，ⁱ,1）^t，此时，动态图像的运动校正可以用下式（8）定式化。

$\left(\begin{array}{c}{x}^i\\ y^i\\ 1\end{array}\right)=\left(\begin{array}{ccc}{m}_{00}^{\′b\→i}& m_{01}^{\′b\→i}& m_{02}^{\′b\→i}\\ m_{10}^{\′b\→i}& m_{11}^{\′b\→i}& m_{12}^{\′b\→i}\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}^{\′i}\\ y^{\′i}\\ 1\end{array}\right)...\left(8\right)$

这里，式（8）中采用的以下矩阵为运动校正矩阵。

$\left(\begin{array}{ccc}{m}_{00}^{\′b\→i}& m_{01}^{\′b\→i}& m_{02}^{\′b\→i}\\ m_{10}^{\′b\→i}& m_{11}^{\′b\→i}& m_{12}^{\′b\→i}\\ 0& 0& 1\end{array}\right)$

运动校正前的坐标（x^b,y^b,1）^t是有失真的坐标系。这里，假设将运动校正前的坐标（x^b,y^b,1）^t临时变换为无失真的坐标系（X^b,Y^b,1）^t后应用基于同一运动校正矩阵的校正。在该情况下，失真量表现为下式（9）。

$\left(\begin{array}{c}{X}^i\\ Y^i\\ 1\end{array}\right)=\left(\begin{array}{ccc}{m}_{00}^{\′b\→i}& m_{01}^{\′b\→i}& m_{02}^{\′b\→i}\\ m_{10}^{\′b\→i}& m_{11}^{\′b\→i}& m_{12}^{\′b\→i}\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}^{\′i}\\ y^{\′i}\\ 1\end{array}\right)...\left(9\right)$

将式（2）代入式（9）后，可以如下式（10）那样进行计算。

${\left(\begin{array}{ccc}1& \mathrm{\α}{\·d}_x^i& 0\\ 0& \mathrm{\α}\·d_y^i& 0\\ 0& 0& 1\end{array}\right)}^{-1}\left(\begin{array}{c}{x}^i\\ y^i\\ 1\end{array}\right)=\left(\begin{array}{ccc}{m}_{00}^{\′b\→i}& m_{01}^{\′b\→i}& m_{02}^{\′b\→i}\\ m_{10}^{\′b\→i}& m_{11}^{\′b\→i}& m_{12}^{\′b\→i}\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}^{\′i}\\ y^{\′i}\\ 1\end{array}\right)$

$\left(\begin{array}{c}{x}^i\\ y^i\\ 1\end{array}\right)=\left(\begin{array}{ccc}1& \mathrm{\α}\·d_x^i& 0\\ 0& 1+\mathrm{\α}\·d_y^i& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}{m}_{00}^{\′b\→i}& m_{01}^{\′b\→i}& m_{02}^{\′b\→i}\\ m_{10}^{\′b\→i}& m_{11}^{\′b\→i}& m_{12}^{\′b\→i}\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}^{\′i}\\ y^{\′i}\\ 1\end{array}\right)$

$=\left(\begin{array}{ccc}{m}_{00}^{\′b\→i}+m_{10}^{\′b\→i}\·\mathrm{\α}\·d_x^i& m_{01}^{\′b\→i}+m_{11}^{\′b\→i}\·\mathrm{\α}\·d_x^i& m_{02}^{\′b\→i}+m_{12}^{\′b\→i}\·\mathrm{\α}\·d_x^i\\ m_{10}^{\′b\→i}+m_{10}^{\′b\→i}\·\mathrm{\α}\·d_y^i& m_{11}^{\′b\→i}+m_{11}^{\′b\→i}\·\mathrm{\α}\·d_y^i& m_{12}^{\′b\→i}+m_{12}^{\′b\→i}\·\mathrm{\α}\·d_y^i\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}^{\′i}\\ y^{\′i}\\ 1\end{array}\right)$

…（10）

上述式（10）为同时进行失真校正及动态图像手抖校正的模型式。此外，对于上述公式（10）的平行移动分量

必须依赖于失真系数α的原点的位置进行偏置。

如上所述，校正参数算出部13根据摄像机动作分量求出运动校正矩阵，接着，根据运动校正矩阵及滚动快门失真分量，通过由式（10）表示的运算，算出动态图像手抖校正及滚动快门失真校正的参数。校正参数算出部13具有将参数向图像校正部14输出的功能。

图像校正部14具有根据动态图像手抖校正及滚动快门失真校正的参数对输入的帧图像进行运动的校正的功能。例如，图像校正部14根据参数对帧图像进行基于仿射变换等的图像变形及像素插值。图像校正部14可以校正手抖造成的帧图像间的平行移动、旋转、扩大或缩小等的运动和滚动快门失真。而且，图像校正部14根据需要选择校正的对象并进行图像的校正。如上所述，在本实施例的图像处理装置1中，滚动快门失真限定为仅仅由摄像机动作的平行移动分量引起。这里，当对于手抖也限定为平行移动的运动时，可以通过从校正前的帧图像将与校正帧图像的各水平线对应的位置的水平线的必要区域行拷贝到校正帧图像，由此来进行图像的校正。通过该方法，可高速进行图像校正。图像校正部14具有将校正了手抖及滚动快门失真的校正帧图像向显示部23输出的功能。显示部23具有显示校正帧图像的功能。

接着，说明本实施例的图像处理装置1的动作。图8是示出本实施例的图像处理装置1的动作的流程图。关于图8所示的控制处理，在例如便携终端2的拍摄功能为开启的定时中执行，并按照预定的周期反复执行。

如图8所示，最初，图像输入部10输入处理对象的帧图像（S10：图像输入步骤）。接着，运动矢量取得部11取得运动矢量（S12：平行移动量取得步骤）。运动矢量取得部11参照图像记录部21，根据之前刚输入的帧图像（之前图像）和在S10的处理中输入的帧图像，取得运动矢量，作为摄像机动作分量。S12的处理结束后，向失真分量估计处理转移（S14：失真分量估计步骤）。

在S14的处理中，失真分量估计部12利用S12的处理中取得的摄像机动作分量来估计滚动快门失真分量。例如，失真分量估计部12参照摄像机信息记录部22，根据像素传感器的设定，取得失真系数α的值。然后，失真分量估计部12利用失真系数α和摄像机动作分量，根据式（2）估计滚动快门失真分量。在S14的处理结束后，向校正参数算出处理转移（S16）。

在S16的处理中，校正参数算出部13利用在S14的处理中估计出的失真分量算出校正参数。例如，校正参数算出部13利用公式（10）算出校正参数。在S16的处理结束后，向校正处理转移（S18）。

在S18的处理中，图像校正部14利用在S16的处理计算出的校正参数校正帧图像。在S18的处理结束后，向显示处理转移（S20）。

在S20的处理中，显示部23显示在S18的处理中进行了校正的帧图像。S20的处理结束后，图8所示的控制处理结束。

接着，说明使便携终端（计算机）2作为上述图像处理装置1发挥作用的图像处理程序。

图像处理程序具备主模块、输入模块及运算处理模块。主模块是统一地控制图像处理的部分。输入模块使便携终端2工作以取得输入图像。运算处理模块具备运动矢量取得模块、失真分量估计模块、校正参数算出模块及图像校正模块。通过执行主模块、输入模块及运算处理模块而实现的功能与上述图像处理装置1的图像输入部10、运动矢量取得部11、失真分量估计部12、校正参数算出部13及图像校正部14的功能分别相同。

图像处理程序例如通过ROM等的存储介质或半导体存储器提供。另外，图像处理程序也可以作为数据信号，经由网络来提供。

以上，根据第1实施例的图像处理装置1，取得因摄像机20的运动而产生的运动矢量，根据运动矢量，估计帧图像的滚动快门失真分量。因摄像机20的运动而产生的运动矢量与表示画面整体的运动的全局运动矢量相比，自由度被限制。例如，在全局运动矢量中，存在平行移动分量、扩大缩小分量、旋转分量、变形（失真）分量等的参数，而摄像机20的运动无需考虑变形或失真的参数。具体地说，全局运动矢量中必须检测6个参数的仿射参数，而根据图像处理装置1，考虑水平及垂直方向的平行移动量即2个参数即可。因而，与全局运动矢量相比，运动矢量即使是在不同运动的被摄体混合存在的拍摄场景，也可以排除被摄体的误差，容易且稳定地正确取得。因此，通过采用因摄像机20的运动而产生的运动矢量，可以稳定且正确地估计滚动快门失真分量。而且，通过采用2个参数的简单计算来估计滚动快门失真分量，因此可以进行高速处理。

另外，根据第1实施例的图像处理装置1，通过采用运动矢量中可非常稳定且正确取得的平行移动分量，可以进一步稳定且正确地估计滚动快门失真分量。

而且，根据第1实施例的图像处理装置1，可以考察摄像机20的固有的要因和拍摄时的环境信息等来估计滚动快门失真分量。因而，即使摄像机20的设定改变，滚动快门失真的发生的情形变化，也可以高精度进行估计。

另外，作为第1实施例的图像处理装置1的变形例，也可以采用由陀螺传感器检测出的运动信息来估计滚动快门失真分量。采用陀螺传感器的图像处理装置1的构成如图9所示。如图9所示，运动矢量取得部11与陀螺传感器24连接。运动矢量取得部11取得陀螺传感器24输出的运动信息（运动矢量）作为摄像机动作。其他构成相同。这样，通过采用陀螺传感器24，即使是1幅帧图像，也可以估计滚动快门失真而进行校正。

而且，第1实施例的图像处理方法及图像处理程序也可以实现与图像处理装置1同样的作用效果。

（第2实施例）

第2实施例的图像处理装置1构成为与第1实施例的图像处理装置1大致相同，失真分量估计部12的部分功能不同。具体地说，失真分量估计部12在根据从摄像机20取得的信息切换多个滚动快门失真分量的模型来使用这点不同。以下，以与第1实施例的图像处理装置1不同点为中心进行说明，省略重复部分的说明。

失真分量估计部12具有根据与摄像机20的像素传感器的扫描顺序的方向有关的信息来变更滚动快门失真分量的估计方法的功能。例如，在摄像机信息记录部22中，作为摄像机20的设定信息，记录了与当前的像素传感器的扫描顺序方向有关的信息。失真分量估计部12参照摄像机信息记录部22来取得上述信息。滚动快门失真分量根据像素传感器的扫描的方向，失真发生的情形不同，如图4的（A）、（B）及图4的（C）、（D）所示。如图4的（A）、（B）所示，当扫描顺序为垂直方向的情况下，如第1实施例所说明的那样，可以用公式（2）所示的模型表现滚动快门失真。另一方面，如图4的（C）、（D）所示，当扫描顺序为水平方向的情况下，无法用公式（2）所示模型表现滚动快门失真。在该情况下，若将有失真的坐标系设为（xⁱ,yⁱ,1）^t，将无失真的坐标系设为（Xⁱ,Yⁱ,1）^t，则滚动快门失真分量可以用下式（11）所示的模型表现。

$\left(\begin{array}{c}{x}^i\\ y^i\\ 1\end{array}\right)=\left(\begin{array}{ccc}1+\mathrm{\α}\·d_x^i& 0& 0\\ \mathrm{\α}\·d_y^i& 1& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{X}^i\\ Y^i\\ 1\end{array}\right)...\left(11\right)$

如上述式（11）所示，X的值影响失真分量。

失真分量估计部12根据参照摄像机信息记录部22获得的与像素传感器的扫描顺序方向有关的信息，判定是否通过式（2）或式（11）的模型进行估计。然后，根据所确定的模型估计滚动快门失真分量。例如，根据静止的帧图像与动态帧图像之间的运动矩阵、以及静止的帧图像与该动态帧图像的前一个动态帧图像之间的运动矩阵，算出该动态帧图像中的失真系数。在采用式（2）的模型的情况下，可以用与第1实施例说明的方法同样的方法来算出失真系数。即使是在采用式（11）的模型的情况下，也可以切换ｘ轴和ｙ轴，用第1实施例所说明的方法来计算失真系数。即，失真量与式（4）同样，可以近似为下式（12）。

$\left(\begin{array}{c}{x}^i\\ y^i\\ 1\end{array}\right)=\left(\begin{array}{ccc}{m}_{00}^{b\→i}& 0& m_{02}^{b\→i}\\ m_{10}^{b\→i}& 1& m_{12}^{b\→i}\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}^b\\ y^b\\ 1\end{array}\right)...\left(12\right)$

关于公式（5），与扫描顺序无关地为相同。另外，对于公式（6）、公式（7），当扫描顺序变更后，变更为以下的公式（13）、公式（14）。

$\mathrm{\α}=\frac{m_{10}^{b\→i}}{d_y^i}...\left(13\right)$

$\mathrm{\α}=\frac{m_{00}^{b\→i}-1}{d_x^i}...\left(14\right)$

其他结构与第1实施例相同。另外，本实施例的图像处理程序构成为与第1实施例的图像处理程序相同。

以上，根据第2实施例的图像处理装置1，可以实现与第1实施例的图像处理装置1同样的作用效果，并且，根据图像传感器的扫描顺序的方向，可以利用适当的模型来估计滚动快门失真。因而，即使由于摄像机20的设定图像传感器的扫描顺序的方向发生变化，也可以进行正确的估计。

（第3实施例）

第3实施例的图像处理装置1构成为与第1实施例的图像处理装置1大致相同，失真分量估计部12的部分功能不同。具体地说，失真分量估计部12在检测滚动快门失真的变化这一方面以及根据该变化调整估计值这一方面不同。以下，以与第1实施例的图像处理装置1不同点为中心进行说明，省略重复部分的说明。

图10是安装有本实施例的图像处理装置1的便携终端2的功能框图。如图10所示，便携终端2具备失真分量记录部25。失真分量记录部25构成为可从失真分量估计部12进行读出以及对其进行写入。失真分量记录部25存储由失真分量估计部12估计出的滚动快门失真分量的履历。

失真分量估计部12估计出滚动快门失真分量后，记录在失真分量记录部25。然后，失真分量估计部12判定估计出的滚动快门失真分量与失真分量记录部25中存储的前次值相比是否急剧变化。前次值是指利用前一个帧图像估计出的滚动快门失真的估计值。失真分量估计部12算出例如估计出的滚动快门失真分量与前次值的差分，如果差分值是比第1阈值大的值，则判定为存在急剧的变化。而且，失真分量估计部12在判定为存在急剧变化的情况下，调节滚动快门失真分量的估计值。失真分量估计部12以差分变小的方式进行调节。例如，失真分量估计部12将滚动快门失真的估计值设为与前次帧图像的滚动快门失真的估计值相同的值。或者，失真分量估计部12采用滚动快门失真的估计值及前次以前的滚动快门失真分量进行加权平均。另外，失真分量估计部12将选择用于加权平均的前次以前的滚动快门失真分量的数值设为第2阈值以下。通过调节第2阈值，可以调节为以何种程度来抑制滚动快门失真的变化。关于其他构成，与第1实施例的图像处理装置同样。另外，本实施例的图像处理程序构成为与第1实施例的图像处理程序同样。

接着，说明本实施例的图像处理装置1的动作。图11是示出本实施例的图像处理装置1的动作的流程图。图11所示的控制处理在例如便携终端2的拍摄功能为开启的定时中执行，以规定的周期反复执行。

图11所示的帧图像输入处理（S30）、运动矢量取得处理（S32）及失真分量估计处理（S34）与图8所示的处理相同。

在S36的处理中，失真分量估计部12参照失真分量记录部25，取得利用前次帧图像估计出的滚动快门失真分量（前次值）。然后，失真分量估计部12算出在S34的处理中算出的滚动快门失真分量与前次值之间的差分。在S36的处理结束后，向差分判定处理转移（S38）。

在S38的处理中，失真分量估计部12判定在S36的处理中算出的差分是否比预定值（第1阈值）大。在S38的处理中，当判定为差分比第1阈值大的情况下，向调节处理转移（S40）。

在S40的处理中，失真分量估计部12调节在S34的处理中估计出的滚动快门失真分量。例如，设为与S36的处理中采用的前次值相同的值。或者，失真分量估计部12利用S34的处理中估计出的滚动快门失真分量及预定数量的前次值进行加权平均。S40的处理结束后，向校正参数算出处理转移（S42）。

另一方面，在S38的处理中，在判定为差分不大于第1阈值的情况下，向校正参数算出处理转移（S42）。

校正参数算出处理（S42）、校正处理（S44）及显示（S46）与图8所示的处理相同。

以上，根据第3实施例的图像处理装置1，可以实现与第1及第2实施例的图像处理装置1同样的效果，而且，可以检测在滚动快门失真分量的变化中比预定值大的变化，调节滚动快门失真分量以抑制该变化。但是，如果是现有的图像处理装置，在不采用陀螺传感器等而根据图像计算失真分量的情况下，在被摄体进入/退出画面的场景中，滚动快门失真急剧变化。因此，当采用滚动快门失真分量来校正滚动快门失真时，画面（帧图像）中产生闪烁和锯齿。而与此相对地，第3实施例的图像处理装置1通过抑制滚动快门失真分量的急剧变化，可以避免在画面中产生闪烁和锯齿。因此，例如，即使是被摄体进入/退出画面的场景，也可以避免画面被不自然地校正。

（第4实施例）

第4实施例的图像处理装置1构成为与第1实施例的图像处理装置1大致相同，运动矢量取得部11的部分功能不同。具体地说，运动矢量取得部11在检测运动矢量的变化这一方面和根据该变化调节摄像机动作这一方面不同。以下，以与第1实施例的图像处理装置1不同点为中心进行说明，省略重复部分的说明。

图12是安装了本实施例的图像处理装置1的便携终端2的功能框图。如图12所示，便携终端2具备运动矢量记录部26。运动矢量记录部26构成为可从运动矢量取得部11进行读出及对其进行写入。运动矢量记录部26存储由运动矢量取得部11取得的运动矢量的履历。

运动矢量取得部11取得运动矢量后，记录在运动矢量记录部26中。运动矢量取得部11判定所取得的运动矢量与运动矢量记录部26中存储的前次值相比是否急剧变化。前次值是指利用前一个帧图像取得的运动矢量。运动矢量取得部11算出例如估计出的运动矢量与前次值的差分，如果差分值是大于第1阈值的值，则判定存在急剧变化。在运动矢量取得部11判定为存在急剧变化的情况下，调节运动矢量。运动矢量取得部11以差分变小的方式进行调节。例如，运动矢量取得部11将运动矢量设为与前次的帧图像的运动矢量相同的值。或者，运动矢量取得部11利用运动矢量及前次以前的运动矢量进行加权平均。另外，失真分量估计部12将选择用于加权平均的前次以前的运动矢量的数量设为比第2阈值小的值。通过调节第2阈值，可以调节为以何种程度抑制运动矢量的变化。其他构成与第1实施例的图像处理装置相同。另外，本实施例的图像处理程序与第1实施例的图像处理程序相同。

接着，说明本实施例的图像处理装置1的动作。图13是示出本实施例的图像处理装置1的动作流程图。图13所示的控制处理在例如便携终端2的拍摄功能为开启的定时执行，以规定的周期反复执行。

图11所示帧的图像输入处理（S50）、运动矢量取得处理（S52）与图8所示的处理相同。

在S54的处理中，运动矢量取得部11参照运动矢量记录部26，取得利用前一个帧图像取得的运动矢量（前次值）。然后，运动矢量取得部11算出S52的处理中取得的运动矢量与前次值的差分。S54的处理结束后，向差分判定处理转移（S56）。

在S56的处理中，运动矢量取得部11判定在S54的处理中算出的差分是否大于预定值（第1阈值）。在S54的处理中，在判定为差分大于第1阈值的情况下，向调节处理转移（S58）。

在S58的处理中，运动矢量取得部11调节在S52的处理中取得的运动矢量。例如，设为与S54的处理中使用的前次值相同的值。或者，运动矢量取得部1

1利用在S52的处理中取得的运动矢量及规定数量的前次值进行加权平均。S58的处理结束后，向失真分量估计处理转移（S60）。

另一方面，在S56的处理中，在判定为差分不大于第1阈值的情况下，向失真分量估计处理转移（S60）。

失真分量估计处理（S60）、校正参数算出处理（S62）、校正处理（S64）及显示（S66）与图8所示的处理相同。

以上，根据第4实施例的图像处理装置1，可以实现第1及第2实施例的图像处理装置1同样的效果，而且，可以检测在运动矢量的变化中比预定值大的变化，调节运动矢量以抑制该变化。但是，如果是现有的图像处理装置，在不采用陀螺传感器等而根据图像来计算失真分量的情况下，在被摄体进入/退出画面的场景中，滚动快门失真急剧变化。因而，当采用运动矢量来校正滚动快门失真时，在画面（帧图像）中产生闪烁和锯齿。与此相对地，第4实施例的图像处理装置1通过抑制运动矢量的急剧变化，可以避免在画面中产生闪烁和锯齿。因此，例如，即使是被摄体进入/退出画面的场景，也能够避免画面被不自然地校正。

另外，上述实施例示出了本发明的图像处理装置的一例。本发明的图像处理装置不限于实施例的图像处理装置1，在不改变各权利要求所记载的精神的范围内，还可以对实施例的图像处理装置进行变形，或应用于其他装置。

例如，上述各实施例中，说明了摄像机20取得帧图像的例子，但是，也可以是从其他设备经由网络发送的图像。

另外，也可以使上述各实施例的图像处理装置1与手抖校正装置一起工作。例如，在手抖校正装置中存在利用连拍的多个连续帧图像输出一幅校正帧图像的装置。在这样的手抖校正装置中，通过采用上述实施例的图像处理装置1，可以校正连续帧图像间的滚动快门失真，因此可以进一步正确地进行手抖校正。

而且，作为上述第3及第4实施例的变形例，也可以构成为，利用由陀螺传感器检测出的运动信息，取得运动矢量取得部11检测出的摄像机动作分量与来自陀螺传感器的运动信息之差，在该差急剧变化的情况下调节滚动快门失真分量。

标号说明

1…图像处理装置，10…图像输入部，11…运动矢量取得部（平行移动量取得部），12…失真分量估计部，13…校正参数算出部，14…图像校正部，20…摄像机（拍摄装置），21…图像记录部，22…摄像机信息记录部，23…显示部，24…陀螺传感器，25…失真分量记录部，26…运动矢量记录部。

Claims (7)

1.一种处理连续的多个帧图像的图像处理装置，其中，该图像处理装置具备：

图像输入部，其输入所述多个帧图像；

平行移动量取得部，其取得2个帧图像之间的平行移动量；

失真分量估计部，其将表示帧图像间的运动的运动矩阵近似为仅由平行移动分量及滚动快门失真分量组成，利用所述平行移动量逐个帧图像地算出所述滚动快门失真分量所包含的临时失真系数，利用算出的多个临时失真系数估计失真系数。

2.根据权利要求1所述的图像处理装置，其中，

所述失真分量估计部将所述多个临时失真系数的平均值或中值估计为所述失真系数。

3.根据权利要求1所述的图像处理装置，其中，

所述失真分量估计部在以所述滚动快门失真分量及所述平行移动量为坐标轴的2维平面上描绘所述临时失真系数，根据回归直线的斜率来估计所述失真系数。

4.根据权利要求1～3中任一项所述的图像处理装置，其中，

所述失真分量估计部在所述临时失真系数大于帧图像的行数的倒数的情况下，将该帧图像的临时失真系数校正为帧图像的行数的倒数。

5.根据权利要求1～3中任一项所述的图像处理装置，其中，

所述失真分量估计部在所述临时失真系数大于帧图像的行数的倒数的情况下，不使用该帧图像的临时失真系数来估计所述失真系数。

6.根据权利要求1～3中任一项所述的图像处理装置，其中，

所述失真分量估计部在估计出的所述失真系数大于帧图像的行数的倒数的情况下，将估计出的所述失真系数校正为帧图像的行数的倒数。

7.一种处理连续的多个帧图像的图像处理方法，其中，所述方法具备：

图像输入步骤，输入所述多个帧图像；

平行移动量取得步骤，取得2个帧图像间的平行移动量；

失真分量估计步骤，将表示帧图像间的运动的运动矩阵近似为仅由平行移动分量及滚动快门失真分量组成，利用所述平行移动量逐个帧图像地算出所述滚动快门失真分量所包含的临时失真系数，利用算出的多个临时失真系数估计失真系数。

Images