CN103503432A - 图像处理装置、图像处理方法和图像处理程序 - Google Patents

Abstract

图像处理装置（1）具有：图像输入部（10）、运动矢量取得部（11）和失真成分估计部（12）。图像输入部（10）输入作为处理对象的图像即对象图像。运动矢量取得部（11）取得由于拍摄了对象图像的摄像装置在该对象图像的摄像时相对于在该对象图像中所描绘的被摄体发生了相对移动而产生的运动矢量。失真成分估计部（12）根据运动矢量，估计对象图像的卷帘快门失真成分。

Description

图像处理装置、图像处理方法和图像处理程序

技术领域

本发明涉及图像处理装置、图像处理方法和图像处理程序。

背景技术

以往，作为图像处理装置，已知有使用CMOS（Complementary Metal OxideSemiconductor，互补式金属氧化物半导体）对以焦平面快门方式所拍摄的图像进行处理的装置（参照专利文献1）。在上述方式中，逐行地进行帧图像的数据传送。因此，帧图像内的摄像定时成为每行略微不同的定时。由于这样的摄像定时的偏移，发生所谓的卷帘快门失真（焦平面失真）。

在专利文献1所述的图像处理装置中，使用照相机运动（Camera Motion）成分和卷帘快门失真成分等对表示画面整体的运动的全局运动矢量进行模型化。而且，该图像处理装置检测全局运动矢量，使用上述模型从检测出的全局运动矢量中分离出各成分，计算照相机运动成分或卷帘快门失真成分。

现有技术文献

专利文献

专利文献1：日本特开2010－193302号公报

发明内容

但是，在专利文献1所述的图像处理装置中，有时无法正确计算卷帘快门失真成分。例如，在摄像场景内存在不同运动的多个被摄体的情况下，该多个被摄体的运动有时反映到全局运动矢量。该情况下，全局运动矢量与专利文献1所述的模型之间产生误差，因而获得的卷帘快门失真成分发生误差。而且，在专利文献1所述的模型中，为了计算表示卷帘快门失真的放大缩小的成分、和表示平行四边形的失真程度的成分，分别需要全局运动矢量的多个成分。因此，在卷帘快门失真成分的计算中容易产生误差。

因此，在该技术领域中，期望一种可稳定正确地估计卷帘快门失真成分的图像处理装置、图像处理方法和图像处理程序。

即，本发明的一方面的图像处理装置是处理图像的装置。图像处理装置具有图像输入部、运动矢量取得部和失真成分估计部。图像输入部输入作为处理对象的图像即对象图像。运动矢量取得部取得由于拍摄了对象图像的摄像装置在该对象图像的摄像时相对于在该对象图像中所描绘的被摄体发生了相对移动而产生的运动矢量。失真成分估计部根据运动矢量，估计对象图像的卷帘快门失真成分。

根据该图像处理装置，取得因摄像装置的运动而产生的运动矢量，根据运动矢量估计对象图像的卷帘快门失真成分。因摄像装置的运动而产生的运动矢量与表示画面整体的运动的全局运动矢量相比自由度被限制。因此，与全局运动矢量相比，运动矢量即使是在不同运动的被摄体混合存在的拍摄场景，也可以容易排除被摄体的误差来稳定正确地取得。因而，通过使用因摄像装置的运动而产生的运动矢量，可以稳定正确地估计卷帘快门失真成分。

这里，所述失真成分估计部可以根据所述运动矢量的平行移动成分，估计所述对象图像的卷帘快门失真成分。通过这样构成，通过使用在运动矢量中也能特别稳定正确地取得的平行移动成分，可进一步稳定正确地估计卷帘快门失真成分。

所述失真成分估计部根据所述运动矢量和所述摄像装置的摄像条件的设定值，估计所述卷帘快门失真成分。通过这样构成，可考虑摄像装置固有的因素和摄像的环境信息来估计卷帘快门失真成分。因此，能够正确地估计卷帘快门失真成分。

所述运动矢量取得部构成为能够参照记录部，所述记录部存储紧接在所述对象图像之前所拍摄的图像即紧前图像也就是紧接在之前所拍摄的图像即紧前图像，所述运动矢量取得部可以根据存储在记录部内的紧前图像和对象图像取得运动矢量。或者，所述运动矢量取得部取得由所述摄像装置具有的陀螺传感器所检测的运动矢量。

而且，所述图像处理装置可以具有校正部，所述校正部根据所述卷帘快门失真成分校正所述对象图像。通过这样构成，可在减少失真的状态下拍摄被摄体。

并且，所述校正部构成为能够参照记录部，所述记录部存储所述卷帘快门失真成分的紧前的历史记录，在存储于所述记录部内的紧前的所述卷帘快门失真成分与所述对象图像中的所述卷帘快门失真成分的差分大于预定值的情况下，所述校正部可以调整所述对象图像中的所述卷帘快门失真成分，使得所述差分变小。通过这样构成，可检测卷帘快门失真成分的比预定值大的变化，调整卷帘快门失真成分以抑制该变化。因此，例如，即使是被摄体进入/退出画面的场景，也能够避免画面被不自然地校正。

所述运动矢量取得部构成为能够参照记录部，所述记录部存储所述运动矢量，在存储于所述记录部内的紧前的所述运动矢量与所述对象图像中的所述运动矢量的差分大于预定值的情况下，所述运动矢量取得部调整所述对象图像中的所述运动矢量，使得所述差分变小。通过这样构成，可检测运动矢量的比预定值大的变化，调整运动矢量以抑制该变化。因此，例如，即使是被摄体进入/退出画面的场景，也能够避免画面被不自然地校正。

并且，本发明的另一方面的图像处理方法是处理图像的方法。图像处理方法具有：图像输入步骤、运动矢量取得步骤和失真成分估计步骤。在图像输入步骤中，输入作为处理对象的所述图像即对象图像。在运动矢量取得步骤中，取得由于拍摄了对象图像的摄像装置在该对象图像的摄像时相对于在该对象图像中所描绘的被摄体发生了相对移动而产生的运动矢量。在失真成分估计步骤中，根据运动矢量，估计对象图像的卷帘快门失真成分。

并且，本发明的另一方面的图像处理程序是使计算机进行动作以处理图像的程序。图像处理程序使计算机作为图像输入部、运动矢量取得部和失真成分估计部进行动作。图像输入部输入作为处理对象的图像即对象图像。运动矢量取得部取得由于拍摄了对象图像的摄像装置在该对象图像的摄像时相对于在该对象图像中所描绘的被摄体发生了相对移动而产生的运动矢量。失真成分估计部根据运动矢量，估计对象图像的卷帘快门失真成分。

根据本发明的另一方面的图像处理方法和图像处理程序，取得与上述的图像处理装置相同的效果。

根据本发明的各种方面及实施方式，提供可稳定正确估计卷帘快门失真成分的图像处理装置、图像处理方法和图像处理程序。

附图说明

图1是搭载了第1实施方式的图像处理装置的便携终端的功能框图。

图2是搭载有图1的图像处理装置的便携终端的硬件结构图。

图3是说明连续的2幅帧图像的坐标系的概要图。

图4是说明卷帘快门失真的概要图。（A）表示X方向的行扫描的扫描顺序为Y方向时，照相机操作为X方向的情况下的被摄体的失真。（B）表示X方向的行扫描的扫描顺序为Y方向时，照相机操作为Y方向的情况下的被摄体的失真。（C）表示Y方向的行扫描的扫描顺序为X方向时，照相机操作为X方向的情况下的被摄体的失真。（D）表示Y方向的行扫描的扫描顺序为X方向时，照相机操作为Y方向的情况下的被摄体的失真。

图5是说明失真系数的计算方法的概要图。

图6是示出动态帧图像与失真计数之间的关系的曲线图。

图7是示出运动矩阵成分与移动量之间的关系的曲线图。

图8是示出图1的图像处理装置的动作的流程图。

图9是搭载了第1实施方式的其他图像处理装置的便携终端的功能框图。

图10是搭载了第3实施方式的图像处理装置的便携终端的功能框图。

图11是示出图10的图像处理装置的动作的流程图。

图12是搭载了第4实施方式的图像处理装置的便携终端的功能框图。

图13是示出图12的图像处理装置的动作的流程图。

具体实施方式

以下，参照附图说明本发明的实施方式。另外，各图中相同或相应的部分赋予相同的标号，并省略重复的说明。

（第1实施方式）

本实施方式的图像处理装置是对图像失真进行校正的装置。该图像处理装置在校正例如在移动摄像装置的同时进行摄像时发生的卷帘快门失真的情况下采用。本实施方式的图像处理装置优选搭载在例如便携电话、数字照相机、PDA（Personal DigitalAssistant，个人数字助理）等资源受限制的移动终端，但也不限于此，也可以搭载在例如通常的计算机系统内。另外，以下，考虑到便于说明理解，作为本发明的图像处理装置的一例，说明搭载在具有照相机功能的便携终端中的图像处理装置。

图1是具有本实施方式的图像处理装置1的便携终端2的功能框图。图1所示的便携终端2是例如由用户携带的移动终端，具有图2所示的硬件结构。图2是便携终端2的硬件结构图。如图2所示，便携终端2构成为通常的计算机系统，物理上包含CPU（Central Processing Unit，中央处理单元）100、ROM（Read Only Memory，只读存储器）101和RAM（Random Access Memory，随机存取存储器）102等的主存储装置、照相机或键盘等的输入设备103、显示器等的输出设备104、硬盘等的辅助存储装置105等。后述的便携终端2和图像处理装置1的各功能通过下述操作而实现：通过在CPU100、ROM101、RAM102等的硬件上读入预定的计算机软件，在CPU100的控制下使输入设备103和输出设备104动作，并进行主存储装置、辅助存储装置105中的数据的读出和写入。另外，上述说明中介绍了便携终端2的硬件结构，但是，图像处理装置1也可以构成为通常的计算机系统，包含CPU100、ROM101和RAM102等的主存储装置、输入设备103、输出设备104、辅助存储装置105等。并且，便携终端2也可以具有通信模块等。

如图1所示，便携终端2具有照相机20、图像处理装置1、图像记录部21、照相机信息记录部22和显示部23。照相机20具有图像摄像功能。作为照相机20，采用例如CMOS的像素传感器等，以焦平面快门方式进行摄像。即，照相机20向图像的纵方向或横方向进行扫描而输入像素值。照相机20具有例如从通过用户操作等所指定的定时开始以规定的间隔反复进行摄像的连续摄像功能。即，照相机20具有不仅取得静止图像（静止帧图像）还取得动态图像（连续的动态帧图像）的功能。照相机20具有例如在每次摄像时将所拍摄的帧图像（对象图像）向图像处理装置1输出的功能。

图像处理装置1具有：图像输入部10、运动矢量取得部11、失真成分估计部12、校正参数计算部13和图像校正部14。

图像输入部10具有输入由照相机20所拍摄的帧图像的功能。图像输入部10具有例如在每次拍摄时输入由照相机20所拍摄的帧图像的功能。并且，图像输入部10具有将输入帧图像保存在便携终端2所具备的图像记录部21中的功能。并且，图像输入部10具有将输入帧图像向运动矢量取得部11和图像校正部14输出的功能。

运动矢量取得部11具有使用输入帧图像和紧接在该输入帧图像之前所拍摄的2幅帧图像来取得运动矢量的功能。运动矢量取得部11例如参照图像记录部21，取得紧接在输入帧图像之前的帧图像。运动矢量取得部11以块为单位对连续的帧图像进行匹配，取得局部运动矢量。接着，运动矢量取得部11使用所取得的多个局部运动矢量，计算因照相机20相对于被摄体的相对运动而产生的帧间的照相机运动成分。这里，如图3所示，当以图像中心为原点，设计算对象的帧图像的坐标系为（xⁱ,yⁱ,1）^t，设前一个帧图像的坐标系为（x^i-1,y^i-1,1）^t，则照相机运动成分用以下的式（1）表示。另外，i是自然数。

$\left(\begin{array}{c}{x}^i\\ y^i\\ 1\end{array}\right)=\left(\begin{array}{ccc}{m}_{00}^{i-1\→i}& m_{01}^{i-1\→i}& m_{02}^{i-1\→i}\\ m_{10}^{i-1\→i}& m_{11}^{i-1\→i}& m_{12}^{i-1\→i}\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}^{i-1}\\ y^{i-1}\\ 1\end{array}\right)\·\·\·\left(1\right)$

另外，也可以用式（1）以外的方法取得照相机运动，只要至少取得照相机20的平行移动成分即可。运动矢量取得部11具有将照相机运动成分向失真成分估计部12和校正参数计算部13输出的功能。

失真成分估计部12具有根据照相机动作成分估计卷帘快门失真成分的功能。图4是说明卷帘快门失真的概要图。卷帘快门失真是指如图4的（A）那样，照相机20相对于被摄体在水平方向上相对移动的情况下，被摄体在水平方向上失真为平行四边形状的情况。照相机20在垂直方向上移动的情况下，如图4的（B）那样，卷帘快门失真以被摄体在垂直方向上放大/缩小的方式发生。照相机20的移动速度越快则失真量越大。根据该情况，卷帘快门失真可以说能够根据照相机20的移动速度来估计。照相机20的移动速度可以根据帧间的平行移动量来估计。失真成分估计部12输入由运动矢量取得部11所取得的照相机运动成分，将照相机运动成分的水平和垂直方向的平行移动成分（m₀₂ ^i-1→i,m₁₂ ^i-1→i）^t设为帧间的平行移动量（d_x ⁱ,d_y ⁱ）^t，根据平行移动量，估计卷帘快门失真成分。另外，也可以将帧间的平行移动量设为帧图像的中心坐标的平行移动量。若将有失真的坐标系设为（xⁱ,yⁱ,1）^t，无失真的坐标系设为（Xⁱ,Yⁱ,1）^t，则卷帘快门失真成分可用下式（2）表示。

$\left(\begin{array}{c}{x}^i\\ y^i\\ 1\end{array}\right)=\left(\begin{array}{ccc}1& \mathrm{\α}\·d_x^i& 0\\ 0& 1+\mathrm{\α}\·d_y^i& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{X}^i\\ Y^i\\ 1\end{array}\right)\·\·\·\left(2\right)$

如上述式（2）所示，Y值影响失真成分。这里，α是失真系数。失真系数α是将读入帧图像的1行的时间除以读入帧图像整体的时间与读入下一帧图像之前的时间相加后的值而计算出的值。换言之，失真系数α是将读入帧图像的1行的时间除以从读入该帧图像的最初行的时刻到读入下一帧图像的最初行的时刻为止的时间而计算出的值。失真系数α根据照相机20具备的像素传感器的规格和像素传感器的驱动设定而变化。例如，在各个像素传感器中，扫描速度、帧速率、曝光时间、图像尺寸、扫描线的方向、缩放倍率、f值、机械式手抖校正机构的启动/关闭（ON／OFF）、从帧的摄像到输出为止的时间、读出速度、读出方向等的设定信息不同。因此，在失真估计之前，有必要预先针对包含像素传感器的各种设定、摄像模式或环境条件的摄像条件进行计算。

这里，说明失真系数α的计算方法。图5是说明失真系数α的计算方法的概要图。如图5所示，使用静止帧图像frame^b、动态帧图像列frameⁱ来计算失真系数α。通过比较静止帧图像和动态帧图像，求出发生何种程度的失真，进而，求出在动态帧图像间存在何种程度的平行移动量，由此来求出失真与平行移动量的相关。根据该相关关系计算失真系数α。

具体地说，首先，使被摄体和照相机20静止，拍摄静止帧图像frame^b。接着，使被摄体或照相机20移动，拍摄动态帧图像列：frame⁰、frame¹、frame²、…、frame^i-1、frameⁱ。动态帧图像frameⁱ的失真量可以通过计算从静止帧图像frame^b到动态帧图像frameⁱ的运动矩阵M^b→i来计算。当设静止帧图像frame^b的坐标系为（x^b,y^b,1），设动态帧图像frameⁱ的坐标系为（xⁱ,yⁱ,1），则失真量用下式（3）表示。

$\left(\begin{array}{c}{x}^i\\ y^i\\ 1\end{array}\right)=\left(\begin{array}{ccc}{m}_{00}^{b\→i}& m_{01}^{b\→i}& m_{02}^{b\→i}\\ m_{10}^{b\→i}& m_{11}^{b\→i}& m_{12}^{b\→i}\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}^b\\ y^b\\ 1\end{array}\right)\·\·\·\left(3\right)$

这里，若假定运动矩阵M^b→i仅为平行移动成分和失真成分，则失真量可以近似为下式（4）。

$\left(\begin{array}{c}{x}^i\\ y^i\\ 1\end{array}\right)=\left(\begin{array}{ccc}1& m_{01}^{b\→i}& m_{02}^{b\→i}\\ 0& m_{11}^{b\→i}& m_{12}^{b\→i}\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}^b\\ y^b\\ 1\end{array}\right)\·\·\·\left(4\right)$

比较式（2）和式（4）。在式（4）中，失真成分为

及

另一方面，在式（2）中，成为失真成分源的是作为连续帧间的运动成分的平行移动量（d_x ⁱ,d_y ⁱ）^t。为了求出平行移动量，根据动态帧图像frameⁱ和其前一动态帧图像frame^i-1，求出运动矩阵M^i-1→i。动态帧图像frameⁱ和其前一动态帧图像frame^i-1的关系可以用下式（5）表示。

$\left(\begin{array}{c}{x}^i\\ y^i\\ 1\end{array}\right)=\left(\begin{array}{ccc}{m}_{00}^{i-1\→i}& m_{01}^{i-1\→i}& m_{02}^{i-1\→i}\\ m_{10}^{i-1\→i}& m_{11}^{i-1\→i}& m_{12}^{i-1\→i}\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}^{i-1}\\ y^{i-1}\\ 1\end{array}\right)\·\·\·\left(5\right)$

也可以用上述式（5）将帧间的运动成分设为平行移动成分（d_x ⁱ,d_y ⁱ）^t。并且，也可以将动态帧图像frameⁱ的中心坐标的平行移动量设为（d_x ⁱ,d_y ⁱ）^t。通过计算（d_x ⁱ,d_y ⁱ）^t，失真系数α可以用下式（6）、（7）表示。

$\mathrm{\α}=\frac{m_{01}^{b\→i}}{d_x^i}\·\·\·\left(6\right)$

$\mathrm{\α}=\frac{m_{01}^{b\→i}-1}{d_y^i}\·\·\·\left(7\right)$

假定在作为用于求出失真系数α的测定值的中包含误差。图6中，横轴是frameⁱ，纵轴是失真系数α^ｉ。如图6所示，也可以对于各种frameⁱ求出失真系数α^ｉ，将它们的平均值用作失真系数α。图7中，横轴是移动量

纵轴是运动矩阵成分

如图7所示，也可以在2维平面上进行绘图，根据式（7）所示的回归直线的斜率求出失真系数α。即使在作为测定值的

的值较小且误差产生的影响较大的情况下，也能够通过上述方法高精度地求出失真系数α。卷帘快门失真发生的情形因像素传感器的规格和像素传感器的驱动的设定而不同。通过利用上述方法针对作为照相机20的像素传感器的设定分别计算失真系数α，可以反映照相机20固有的条件来正确估计卷帘快门失真。另外，在使用实际的测定值计算失真系数α的情况下，也可以针对在怎样的摄像环境条件下计算失真系数α进行记录。作为摄像环境条件，包含有例如“亮度”或者“气温”等。

失真成分估计部12构成为可参照照相机信息记录部22。照相机信息记录部22记录利用上述方法所计算的失真系数α。例如，具有将元件设定值与失真系数α相关联的表。也可以具有将元件设定值和摄像环境与失真系数α相关联的表。失真成分估计部12参照照相机信息记录部22，根据像素传感器的设定取得失真系数α的值，使用照相机运动成分估计卷帘快门失真成分。像素传感器的当前的设定信息、摄像环境有关的信息也可以例如从照相机20取得。并且，在照相机信息记录部22中与设定信息或关于摄像环境的信息相关联地记录有读入帧图像的1行的时间以及读入帧图像整体的时间和到读入下一帧图像之前的时间的情况下，也可以不从照相机信息记录部22直接取得失真系数α，而是根据照相机信息记录部22中记录的信息运算失真系数α。失真成分估计部12具有将卷帘快门失真成分向校正参数计算部13输出的功能。

校正参数计算部13具有根据照相机运动成分和卷帘快门失真成分计算用于抵消失真的校正参数的功能。例如，校正参数计算部13计算动态图像手抖校正和卷帘快门失真校正的参数。这里，关于动态图像手抖校正，按以下方式计算校正参数：首先，求出从成为照相机20的静止位置基准的帧开始的照相机运动成分的累积值。然后，例如，根据照相机运动成分的累积值仅提取手抖的频率。为了抵消该频率而计算校正参数。在进行动态图像手抖校正的情况下，当运动校正前的坐标由（x^b,y^b,1）^t表现、运动校正后的坐标由（x’ⁱ,y’ⁱ,1）^t表现时，动态图像的运动校正可以用下式（8）定式化。

$\left(\begin{array}{c}{x}^i\\ y^i\\ 1\end{array}\right)=\left(\begin{array}{ccc}{m}_{00}^{\′b\→i}& m_{01}^{\′b\→i}& m_{02}^{\′b\→i}\\ m_{10}^{\′b\→i}& m_{11}^{\′b\→i}& m_{12}^{\′b\→i}\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}^{\′i}\\ y^{\′i}\\ 1\end{array}\right)\·\·\·\left(8\right)$

这里，式（8）中使用的以下矩阵是运动校正矩阵。

$\left(\begin{array}{ccc}{m}_{00}^{\′b\→i}& m_{01}^{\′b\→i}& m_{02}^{\′b\→i}\\ m_{10}^{\′b\→i}& m_{11}^{\′b\→i}& m_{12}^{\′b\→i}\\ 0& 0& 1\end{array}\right)$

运动校正前的坐标（x^b,y^b,1）^t是有失真的坐标系。这里，假设将运动校正前的坐标（x^b,y^b,1）^t临时变换为无失真的坐标系（x^b,y^b,1）^t后，应用基于同一运动校正矩阵的校正。在该情况下，失真量表现为下式（9）。

$\left(\begin{array}{c}{X}^i\\ Y^i\\ 1\end{array}\right)=\left(\begin{array}{ccc}{m}_{00}^{\′b\→i}& m_{01}^{\′b\→i}& m_{02}^{\′b\→i}\\ m_{10}^{\′b\→i}& m_{11}^{\′b\→i}& m_{12}^{\′b\→i}\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}^{\′i}\\ y^{\′i}\\ 1\end{array}\right)\·\·\·\left(9\right)$

将式（2）代入式（9）后，可以如下式（10）那样进行计算。

${\left(\begin{array}{ccc}1& \mathrm{\α}\·d_x^i& 0\\ 0& 1+\mathrm{\α}\·d_y^i& 0\\ 0& 0& 1\end{array}\right)}^{-1}\left(\begin{array}{c}{x}^i\\ y^i\\ 1\end{array}\right)=\left(\begin{array}{ccc}{m}_{00}^{\′b\→i}& m_{01}^{\′b\→i}& m_{02}^{\′b\→i}\\ m_{10}^{\′b\→i}& m_{11}^{\′b\→i}& m_{12}^{\′b\→i}\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}^{\′i}\\ y^{\′i}\\ 1\end{array}\right)$

$\left(\begin{array}{c}{x}^i\\ y^i\\ 1\end{array}\right)=\left(\begin{array}{ccc}1& \mathrm{\α}\·d_x^i& 0\\ 0& 1+\mathrm{\α}\·d_y^i& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}{m}_{00}^{\′b\→i}& m_{01}^{\′b\→i}& m_{02}^{\′b\→i}\\ m_{10}^{\′b\→i}& m_{11}^{\′b\→i}& m_{12}^{\′b\→i}\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}^{\′i}\\ y^{\′i}\\ 1\end{array}\right)$

$=\left(\begin{array}{ccc}{m}_{00}^{\′b\→i}+m_{10}^{\′b\→i}\·\mathrm{\α}\·d_x^i& m_{01}^{\′b\→i}+m_{11}^{\′b\→i}\·\mathrm{\α}\·d_x^i& m_{02}^{\′b\→i}+m_{12}^{\′b\→i}\·\mathrm{\α}\·d_x^i\\ m_{10}^{\′b\→i}+m_{10}^{\′b\→i}\·\mathrm{\α}\·d_y^i& m_{11}^{\′b\→i}+m_{11}^{\′b\→i}\·\mathrm{\α}\·d_y^i& m_{12}^{\′b\→i}+m_{12}^{\′b\→i}\·\mathrm{\α}\·d_y^i\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}^{\′i}\\ y^{\′i}\\ 1\end{array}\right)\·\·\·\left(10\right)$

上述式（10）为同时进行失真校正及动态图像手抖校正的模型式。另外，对于上述式（10）的平行移动成分 ${(m_{02}^{\′b\→i}+m_{12}^{\′b\→i}\·\mathrm{\α}\·d_x^i,m_{12}^{b\→i}\·\mathrm{\α}\·d_y^i)}^t,$ 有必要依赖于失真系数α的原点位置进行偏置。

如上所述，校正参数计算部13根据照相机运动成分求出运动校正矩阵，接着，根据运动校正矩阵和卷帘快门失真成分，通过由式（10）表示的运算，计算动态图像手抖校正和卷帘快门失真校正的参数。校正参数计算部13具有将参数向图像校正部14输出的功能。

图像校正部14具有根据动态图像手抖校正和卷帘快门失真校正的参数对所输入的帧图像进行运动校正的功能。例如，图像校正部14根据参数对帧图像进行基于仿射变换等的图像变形和像素插值。图像校正部14能够校正手抖造成的帧图像间的平行移动、旋转、放大或缩小等的运动和卷帘快门失真。并且，图像校正部14根据需要选择校正对象，进行图像校正。如上所述，在本实施方式的图像处理装置1中，卷帘快门失真限定为仅由照相机运动的平行移动成分引起。这里，当对于手抖也限定为平行移动的运动时，可以通过从校正前的帧图像将与校正帧图像的各水平线对应的位置的水平线的必要区域行复制到校正帧图像来进行图像校正。通过该方法，能够高速进行图像校正。图像校正部14具有将校正了手抖和卷帘快门失真后的校正帧图像向显示部23输出的功能。显示部23具有显示校正帧图像的功能。

接着，说明本实施方式的图像处理装置1的动作。图8是示出本实施方式的图像处理装置1的动作的流程图。图8所示的控制处理是在例如便携终端2的摄像功能启动的时刻执行，并按照预定的周期反复执行。

如图8所示，最初，图像输入部10输入处理对象的帧图像（S10：图像输入步骤）。接着，运动矢量取得部11取得运动矢量（S12：运动矢量取得步骤）。运动矢量取得部11参照图像记录部21，根据之前刚输入的帧图像（紧前图像）和在S10的处理中所输入的帧图像，取得运动矢量，作为照相机运动成分。S12的处理结束后，向失真成分估计处理转移（S14：失真成分估计步骤）。

在S14的处理中，失真成分估计部12使用在S12的处理中所取得的照相机运动成分来估计卷帘快门失真成分。例如，失真成分估计部12参照照相机信息记录部22，根据像素传感器的设定取得失真系数α的值。然后，失真成分估计部12使用失真系数α和照相机运动成分，根据式（2）估计卷帘快门失真成分。在S14的处理结束后，向校正参数计算处理转移（S16）。

在S16的处理中，校正参数计算部13使用在S14的处理中所估计的失真成分来计算校正参数。例如，校正参数计算部13使用式（10）来计算校正参数。在S16的处理结束后，向校正处理转移（S18）。

在S18的处理中，图像校正部14使用在S16的处理中所计算的校正参数来校正帧图像。在S18的处理结束后，向显示处理转移（S20）。

在S20的处理中，显示部23显示在S18的处理中所校正的帧图像。在S20的处理结束后，结束图8所示的控制处理。

接着，说明用于使便携终端（计算机）2作为上述图像处理装置1执行功能的图像处理程序。

图像处理程序具有：主模块、输入模块和运算处理模块。主模块是统一地控制图像处理的部分。输入模块使便携终端2进行动作以取得输入图像。运算处理模块具有：运动矢量取得模块、失真成分估计模块、校正参数计算模块和图像校正模块。通过执行主模块、输入模块和运算处理模块而实现的功能与上述的图像处理装置1的图像输入部10、运动矢量取得部11、失真成分估计部12、校正参数计算部13和图像校正部14的功能分别相同。

图像处理程序例如是通过ROM等的存储介质或半导体存储器来提供的。并且，图像处理程序也可以作为数据信号经由网络来提供。

以上，根据第1实施方式的图像处理装置1，取得因照相机20的运动而产生的运动矢量，根据运动矢量估计帧图像的卷帘快门失真成分。因照相机20的运动而产生的运动矢量与表示画面整体的运动的全局运动矢量相比自由度被限制。例如，在全局运动矢量中，存在平行移动成分、放大缩小成分、旋转成分、变形（失真）成分等的参数，而照相机20的运动无需考虑变形或失真的参数。具体地说，在全局运动矢量中，需要检测6个参数的仿射参数，而根据图像处理装置1，只要考虑水平和垂直方向的平行移动量即2个参数即可。因此，与全局运动矢量相比，运动矢量即使是在不同运动的被摄体混合存在的拍摄场景，也可以容易排除被摄体的误差来稳定正确地取得。因而，通过使用因照相机20的运动而产生的运动矢量，可以稳定正确地估计卷帘快门失真成分。而且，由于在使用2个参数的简单计算中估计卷帘快门失真成分，因此可进行高速处理。

并且，根据第1实施方式的图像处理装置1，通过使用在运动矢量中也能特别稳定正确地取得的平行移动成分，可进一步稳定正确地估计卷帘快门失真成分。

而且，根据第1实施方式的图像处理装置1，可考察照相机20固有的要因和摄像时的环境信息等来估计卷帘快门失真成分。因此，即使照相机20的设定改变且卷帘快门失真的发生情形变化，也能高精度进行估计。

另外，作为第1实施方式的图像处理装置1的变形例，也可以使用由陀螺传感器所检测的运动信息来估计卷帘快门失真成分。图9示出使用陀螺传感器的图像处理装置1的结构。如图9所示，运动矢量取得部11与陀螺传感器24连接。运动矢量取得部11取得由陀螺传感器24输出的运动信息（运动矢量）作为照相机运动。其他结构相同。这样，通过使用陀螺传感器24，即使是1幅帧图像，也能估计卷帘快门失真进行校正。

而且，第1实施方式的图像处理方法和图像处理程序也取得与图像处理装置1相同的作用效果。

（第2实施方式）

第2实施方式的图像处理装置1构成为与第1实施方式的图像处理装置1大致相同，失真成分估计部12的一部分功能不同。具体地说，失真成分估计部12根据从照相机20所取得的信息切换多个卷帘快门失真成分的模型来使用这一点不同。以下，以与第1实施方式的图像处理装置1的不同点为中心进行说明，省略重复部分的说明。

失真成分估计部12具有根据与照相机20的像素传感器的扫描顺序的方向有关的信息来变更卷帘快门失真成分的估计方法的功能。例如，在照相机信息记录部22中，作为照相机20的设定信息，记录有与当前的像素传感器的扫描顺序方向有关的信息。失真成分估计部12通过参照照相机信息记录部22来取得上述信息。卷帘快门失真成分根据像素传感器的扫描方向，如图4的（A）、（B）和图4的（C）、（D）所示，失真发生的情形不同。如图4的（A）、（B）所示，当扫描顺序为垂直方向的情况下，如第1实施方式所说明的那样，可以用式（2）所示的模型来表现卷帘快门失真。另一方面，如图4的（C）、（D）所示，当扫描顺序为水平方向的情况下，无法使用式（2）所示的模型来表现卷帘快门失真。在该情况下，若将有失真的坐标系设为（xⁱ,yⁱ,1）^t，将无失真的坐标系设为（Xⁱ,Yⁱ,1）^t，则卷帘快门失真成分用下式（11）所示的模型来表现。

$\left(\begin{array}{c}{x}^i\\ y^i\\ 1\end{array}\right)=\left(\begin{array}{ccc}1+\mathrm{\α}\·d_x^i& 0& 0\\ \mathrm{\α}\·d_y^i& 1& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{X}^i\\ Y^i\\ 1\end{array}\right)\·\·\·\left(11\right)$

如上述式（11）所示，X的值影响失真成分。

失真成分估计部12根据参照照相机信息记录部22所得到的与像素传感器的扫描顺序方向有关的信息，判定是否利用式（2）或式（11）的模型进行估计。然后，根据所决定的模型估计卷帘快门失真成分。其他结构与第1实施方式相同。并且，本实施方式的图像处理程序构成为与第1实施方式的图像处理程序相同。

以上，根据第2实施方式的图像处理装置1，可取得与第1实施方式的图像处理装置1相同的作用效果，并可根据图像传感器的扫描顺序的方向使用适当的模型来估计卷帘快门失真。因此，即使由于照相机20的设定而使图像传感器的扫描顺序的方向发生变化，也能够进行正确的估计。

（第3实施方式）

第3实施方式的图像处理装置1构成为与第1实施方式的图像处理装置1大致相同，失真成分估计部12的一部分功能不同。具体地说，失真成分估计部12检测卷帘快门失真的变化这一点以及根据该变化调整估计值这一点不同。以下，以与第1实施方式的图像处理装置1的不同点为中心进行说明，省略重复部分的说明。

图10是搭载了本实施方式的图像处理装置1的便携终端2的功能框图。如图10所示，便携终端2具有失真成分记录部25。失真成分记录部25构成为可由失真成分估计部12进行读出和写入。失真成分记录部25存储由失真成分估计部12所估计的卷帘快门失真成分的历史记录。

失真成分估计部12当估计出卷帘快门失真成分后，向失真成分记录部25进行记录。然后，失真成分估计部12判定所估计的卷帘快门失真成分与存储在失真成分记录部25内的上次值相比是否急剧变化。上次值是指利用前一个帧图像所估计的卷帘快门失真的估计值。失真成分估计部12计算例如所估计的卷帘快门失真成分与上次值的差分，如果差分是比第1阈值大的值，则判定为存在急剧变化。然后，失真成分估计部12在判定为存在急剧变化的情况下，调整卷帘快门失真成分的估计值。失真成分估计部12以差分变小的方式进行调整。例如，失真成分估计部12将卷帘快门失真的估计值设定为与上次帧图像的卷帘快门失真的估计值相同的值。或者，失真成分估计部12使用卷帘快门失真的估计值和上次以前的卷帘快门失真成分进行加权平均。另外，失真成分估计部12将选择用于加权平均的上次以前的卷帘快门失真成分的数设定为第2阈值以下。通过调整第2阈值，可调整以何种程度抑制卷帘快门失真的变化。关于其他结构，与第1实施方式的图像处理装置相同。并且，本实施方式的图像处理程序构成为与第1实施方式的图像处理程序相同。

接着，说明本实施方式的图像处理装置1的动作。图11是示出本实施方式的图像处理装置1的动作的流程图。图11所示的控制处理在例如便携终端2的摄像功能启动的定时来执行，并以规定的周期反复执行。

图11所示的帧图像输入处理（S30）、运动矢量取得处理（S32）和失真成分估计处理（S34）与图8所示的处理相同。

在S36的处理中，失真成分估计部12参照失真成分记录部25，取得使用上次帧图像所估计的卷帘快门失真成分（上次值）。然后，失真成分估计部12计算在S34的处理中所计算的卷帘快门失真成分与上次值之间的差分。在S36的处理结束后，向差分判定处理转移（S38）。

在S38的处理中，失真成分估计部12判定在S36的处理中所计算的差分是否比预定值（第1阈值）大。在S38的处理中，判定为差分比第1阈值大的情况下，向调整处理转移（S40）。

在S40的处理中，失真成分估计部12调整在S34的处理中所估计的卷帘快门失真成分。例如，采用与在S36的处理中所使用的上次值相同的值。或者，失真成分估计部12使用在S34的处理中所估计的卷帘快门失真成分和预定数的上次值来进行加权平均。在S40的处理结束后，向校正参数计算处理转移（S42）。

另一方面，在S38的处理中，判定为差分不大于第1阈值的情况下，向校正参数计算处理转移（S42）。

校正参数计算处理（S42）、校正处理（S44）和显示（S46）与图8所示的处理相同。

以上，根据第3实施方式的图像处理装置1，可取得与第1和第2实施方式的图像处理装置1相同的效果，并可检测在卷帘快门失真成分的变化中比预定值大的变化，调整卷帘快门失真成分以抑制该变化。而如果是现有的图像处理装置，在不使用陀螺传感器等而根据图像运算失真成分的情况下，在被摄体进入/退出画面的场景中，卷帘快门失真急剧变化。因此，当使用卷帘快门失真成分来校正卷帘快门失真时，画面（帧图像）中产生闪烁（ちらつき）或锯齿（がたつき）。与此相对，第3实施方式的图像处理装置1通过抑制卷帘快门失真成分的急剧变化，可避免在画面中产生闪烁或锯齿。因此，例如，即使是被摄体进入/退出画面的场景，也能够避免画面被不自然地校正。

（第4实施方式）

第4实施方式的图像处理装置1构成为与第1实施方式的图像处理装置1大致相同，运动矢量取得部11的一部分功能不同。具体地说，运动矢量取得部11检测运动矢量的变化这一点和根据该变化调整照相机运动这一点不同。以下，以与第1实施方式的图像处理装置1的不同点为中心进行说明，省略重复部分的说明。

图12是搭载了本实施方式的图像处理装置1的便携终端2的功能框图。如图12所示，便携终端2具有运动矢量记录部26。运动矢量记录部26构成为可由运动矢量取得部11进行读出和写入。运动矢量记录部26存储由运动矢量取得部11所取得的运动矢量的历史记录。

运动矢量取得部11当取得运动矢量后，向运动矢量记录部26进行记录。然后，运动矢量取得部11判定所取得的运动矢量与存储在运动矢量记录部26内的上次值相比是否发生了急剧变化。上次值是指使用前一个帧图像所取得的运动矢量。运动矢量取得部11计算例如所估计的运动矢量与上次值的差分，如果差分是大于第1阈值的值，则判定为存在急剧变化。然后，运动矢量取得部11在判定为存在急剧变化的情况下，调整运动矢量。运动矢量取得部11以差分变小的方式进行调整。例如，运动矢量取得部11将运动矢量设定为与上次的帧图像的运动矢量相同的值。或者，运动矢量取得部11使用运动矢量和上次以前的运动矢量进行加权平均。另外，失真成分估计部12将选择用于加权平均的上次以前的运动矢量的数设为比第2阈值小的值。通过调整第2阈值，可调整以何种程度抑制运动矢量的变化。其他结构与第1实施方式的图像处理装置相同。并且，本实施方式的图像处理程序与第1实施方式的图像处理程序相同。

接着，说明本实施方式的图像处理装置1的动作。图13是示出本实施方式的图像处理装置1的动作的流程图。图13所示的控制处理在例如便携终端2的摄像功能启动的定时执行，并以规定的周期反复执行。

图11所示的帧图像输入处理（S50）、运动矢量取得处理（S52）与图8所示的处理相同。

在S54的处理中，运动矢量取得部11参照运动矢量记录部26，取得使用上次的帧图像所取得的运动矢量（上次值）。然后，运动矢量取得部11计算在S52的处理中所取得的运动矢量与上次值的差分。在S54的处理结束后，向差分判定处理转移（S56）。

在S56的处理中，运动矢量取得部11判定在S54的处理中所计算的差分是否大于预定值（第1阈值）。在S54的处理中，判定为差分大于第1阈值的情况下，向调整处理转移（S58）。

在S58的处理中，运动矢量取得部11调整在S52的处理中所取得的运动矢量。例如，采用与在S54的处理中所使用的上次值相同的值。或者，运动矢量取得部11使用在S52的处理中所取得的运动矢量和规定数的上次值进行加权平均。在S58的处理结束后，向失真成分估计处理转移（S60）。

另一方面，在S56的处理中，判定为差分不大于第1阈值的情况下，向失真成分估计处理转移（S60）。

失真成分估计处理（S60）、校正参数计算处理（S62）、校正处理（S64）和显示（S66）与图8所示的处理相同。

以上，根据第4实施方式的图像处理装置1，可取得与第1和第2实施方式的图像处理装置1相同的效果，并可检测在运动矢量的变化中比预定值大的变化，调整运动矢量以抑制该变化。而如果是现有的图像处理装置，在不使用陀螺传感器等而根据图像运算失真成分的情况下，在被摄体进入/退出画面的场景中，卷帘快门失真急剧变化。因此，当使用运动矢量来校正卷帘快门失真时，在画面（帧图像）中产生闪烁或锯齿。与此相对，第4实施方式的图像处理装置1通过抑制运动矢量的急剧变化，可避免在画面中产生闪烁或锯齿。因此，例如，即使是被摄体进入/退出画面的场景，也能够避免画面被不自然地校正。

另外，上述的实施方式示出本发明的图像处理装置的一例。本发明的图像处理装置不限于实施方式的图像处理装置1，在不改变各权利要求所记载的宗旨的范围内，还可以对实施方式的图像处理装置进行变形，或者应用于其他装置。

例如，在上述的各实施方式中，说明了照相机20取得帧图像的例子，但是也可以是从其他设备经由网络所发送的图像。

并且，也可以使上述的各实施方式的图像处理装置1与手抖校正装置一起进行动作。例如，在手抖校正装置中，存在使用连拍的多个连续的帧图像来输出一幅校正帧图像的装置。在这样的手抖校正装置中，通过采用上述的实施方式的图像处理装置1，可校正连续的帧图像间的卷帘快门失真，因而能够进一步正确地进行手抖校正。

而且，作为上述第3和第4实施方式的变形例，也可以构成为，利用由陀螺传感器所检测的运动信息，取由运动矢量取得部11所检测的照相机运动成分与来自陀螺传感器的运动信息之差，在该差急剧变化的情况下调整卷帘快门失真成分。

标号说明

1：图像处理装置；10：图像输入部；11：运动矢量取得部；12：失真成分估计部；13：校正参数计算部；14：图像校正部；20：照相机（摄像装置）；21：图像记录部；22：照相机信息记录部；23：显示部；24：陀螺传感器；25：失真成分记录部；26：运动矢量记录部。

Claims (10)

1.一种处理图像的图像处理装置，所述图像处理装置具有：

图像输入部，其输入作为处理对象的所述图像即对象图像；

运动矢量取得部，其取得由于拍摄了所述对象图像的摄像装置在该对象图像的摄像时相对于在该对象图像中所描绘的被摄体发生了相对移动而产生的运动矢量；以及

失真成分估计部，其根据所述运动矢量，估计所述对象图像的卷帘快门失真成分。

2.根据权利要求1所述的图像处理装置，其中，所述失真成分估计部根据所述运动矢量的平行移动成分，估计所述对象图像的卷帘快门失真成分。

3.根据权利要求1或2所述的图像处理装置，其中，所述失真成分估计部根据所述运动矢量和所述摄像装置的摄像条件的设定值，估计所述卷帘快门失真成分。

4.根据权利要求1～3中任一项所述的图像处理装置，其中，所述运动矢量取得部构成为能够参照记录部，所述记录部存储紧接在所述对象图像之前所拍摄的图像即紧前图像也就是紧接在之前所拍摄的图像即紧前图像，所述运动矢量取得部根据存储在记录部内的紧前图像和所述对象图像取得运动矢量。

5.根据权利要求1～3中任一项所述的图像处理装置，其中，所述运动矢量取得部取得由所述摄像装置具有的陀螺传感器所检测的运动矢量。

6.根据权利要求1～5中任一项所述的图像处理装置，其中，所述图像处理装置具有校正部，所述校正部根据所述卷帘快门失真成分校正所述对象图像。

7.根据权利要求6所述的图像处理装置，其中，所述校正部构成为能够参照记录部，所述记录部存储所述卷帘快门失真成分的紧前的历史记录，在存储于所述记录部内的紧前的所述卷帘快门失真成分与所述对象图像中的所述卷帘快门失真成分的差分大于预定值的情况下，所述校正部调整所述对象图像中的所述卷帘快门失真成分，使得所述差分变小。

8.根据权利要求1～6中任一项所述的图像处理装置，其中，所述运动矢量取得部构成为能够参照记录部，所述记录部存储所述运动矢量，在存储于所述记录部内的紧前的所述运动矢量与所述对象图像中的所述运动矢量的差分大于预定值的情况下，所述运动矢量取得部调整所述对象图像中的所述运动矢量，使得所述差分变小。

9.一种处理图像的图像处理方法，所述方法具有：

图像输入步骤，输入作为处理对象的所述图像即对象图像；

运动矢量取得步骤，取得由于拍摄了所述对象图像的摄像装置在该对象图像的摄像时相对于在该对象图像中所描绘的被摄体发生了相对移动而产生的运动矢量；以及

失真成分估计步骤，根据所述运动矢量，估计所述对象图像的卷帘快门失真成分。

10.一种图像处理程序，其使计算机进行动作以处理图像，所述图像处理程序使所述计算机作为以下部分进行动作，即：

图像输入部，其输入作为处理对象的所述图像即对象图像；

运动矢量取得部，其取得由于拍摄了所述对象图像的摄像装置在该对象图像的摄像时相对于在该对象图像中所描绘的被摄体发生了相对移动而产生的运动矢量；以及

失真成分估计部，其根据所述运动矢量，估计所述对象图像的卷帘快门失真成分。

Images