CN101656832A

CN101656832A - 图像处理装置、图像处理方法、程序和成像装置

Info

Publication number: CN101656832A
Application number: CN200910163761A
Authority: CN
Inventors: 酒井康雄
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2008-08-18
Filing date: 2009-08-18
Publication date: 2010-02-24
Anticipated expiration: 2029-08-18
Also published as: JP2010045733A; US20100039548A1; CN101656832B; US9215374B2; JP4640470B2

Abstract

提供一种图像处理装置，包括：操作显示单元，用于在显示屏幕上显示图像，且能够对在所述显示屏幕上显示的图像进行操作输入；操作输入检测单元，用于检测在所述操作显示单元中的操作输入；近似直线导出单元，用于基于在所述操作输入检测单元中的检测结果来导出近似地指示操作输入的轨迹的第一近似直线；以及图像校正单元，用于基于所导出的第一近似直线和预定基准线来校正在所述显示屏幕上显示的图像的倾斜。

Description

图像处理装置、图像处理方法、程序和成像装置

技术领域

本发明涉及图像处理装置、图像处理方法、程序和成像装置。

背景技术

近年来，已经广泛地使用了具有对静态图像和/或动画进行成像的成像功能的装置，诸如数码相机、包括Handycam(本申请人所拥有的商标)的数字视频摄像机，以及具有数字摄像机功能的手机。另外，在诸如手机的便携式装置中提供成像功能，以便用户经常进行成像。由于使用上述装置进行成像的用户不是专业摄影师，因此由于例如摄像机抖动等，可能将被拍摄体成像为相对于水平方向而倾斜。在上述情况下，在通过成像而获得的图像中，被拍摄体相对于图像的水平方向而倾斜。

已经发展了在没有用于检测倾斜的倾斜传感器的情况下获得水平维持的拍摄图像的技术。例如，在日本未审查专利申请公开No.2007-173966中描述了一种用于从框中的被拍摄体提取直线以导出相对于水平方向的角度并基于所导出的角度来校正图像的倾斜以获得水平维持的拍摄图像的技术。

发明内容

但是，如果在框中不存在具有直线的被拍摄体，则采用了现有技术中用于获得水平维持的拍摄图像的技术的具有成像功能的装置(以下称为“成像装置”)可能无法校正图像的倾斜。在上述情况下，应用了现有技术的成像装置可能无法获得水平维持的拍摄图像。另外，即使当在框中存在具有直线的被拍摄体且基于被拍摄体的直线来校正倾斜时，应用了现有技术的成像装置也可能无法获得用户期望的拍摄图像。例如，假设如下情况：应用了现有技术的成像装置基于不想要的直线(诸如原本相对于水平方向就倾斜的部分)来校正倾斜。另外，即便当在没有倾斜传感器的情况下获得水平维持的拍摄图像的现有技术应用于用于处理在诸如硬盘或存储棒的记录介质中存储的图像的图像处理装置时，也发生类似于上述的情况。

因此，即使当使用在没有倾斜传感器的情况下获得水平维持的拍摄图像的现有技术时，也可能无法校正相对于图像的水平方向的倾斜。

另外，当在成像装置中提供倾斜传感器时，由倾斜传感器检测相对于成像装置的水平方向的倾斜，从而获得水平维持的拍摄图像，但导致了成本的增加。另外，即使当在用于处理在记录介质中存储的图像的成像处理装置中提供倾斜传感器时，因为倾斜传感器可能不能检测出图像的倾斜，所以也可能无法校正图像的倾斜。

鉴于上述问题，提出了本发明，且期望提供一种新颖而改进的能够基于操作输入而校正相对于图像的水平方向的倾斜的图像处理装置、图像处理方法、程序和成像装置。

根据本发明的实施例，提供一种图像处理装置，包括：操作显示单元，用于在显示屏幕上显示图像，且能够对在所述显示屏幕上显示的图像进行操作输入；操作输入检测单元，用于检测在所述操作显示单元中的操作输入；近似直线导出单元，用于基于在所述操作输入检测单元中的检测结果来导出近似地指示操作输入的轨迹的第一近似直线；以及图像校正单元，用于基于所导出的第一近似直线和预定基准线来校正在所述显示屏幕上显示的图像的倾斜。

通过这种配置，能够基于操作输入校正相对于图像的水平方向的倾斜。

图像校正单元可以通过假设第一近似直线的倾斜与基准线的倾斜相同来校正图像的倾斜。

所述图像校正单元还可以在由平行于所述第一近似直线的两条第一直线和正交于所述第一近似直线的两条第二直线所定义的区域中切出被包括在图像中的区域。

所述图像校正单元可以从先前和随后的帧的图像中估计并补充除了切出区域以外的区域。

所述近似直线导出单元可以从被显示在显示屏幕上的图像检测预定特征点，并进一步基于所述特征点来导出一条或多条近似直线，以及当在基于所述基准点的近似直线中存在相对于所述第一近似直线的倾斜的差处于预定范围内的第二近似直线时，所述图像校正单元可以基于所述第二近似直线和基准线来校正在显示屏幕上显示的图像的倾斜。

当在被显示在显示屏幕上的图像中不存在关于所述第二近似直线的特征点时，所述图像校正单元可以终止图像的倾斜的校正。

根据上述本发明的实施例，提供一种图像处理方法，包括如下步骤：在显示屏幕上显示图像，并检测在操作显示单元中的操作输入，所述操作显示单元能够对在显示屏幕上显示的图像进行操作输入；基于在所述检测步骤中的检测结果来导出近似地指示操作输入的轨迹的第一近似直线；以及基于在所述导出步骤中所导出的第一近似直线和预定基准线来校正在所述显示屏幕上显示的图像的倾斜。

通过这种方法，能够基于操作输入校正相对于图像的水平方向的倾斜。

根据上述本发明的实施例，提供一种程序，用于使得计算机进行如下步骤：在显示屏幕上显示图像，并检测在操作显示单元中的操作输入，所述操作显示单元能够对在显示屏幕上显示的图像进行操作输入；基于在所述检测步骤中的检测结果来导出近似地指示操作输入的轨迹的第一近似直线；以及基于在所述导出步骤中所导出的第一近似直线和预定基准线来校正在所述显示屏幕上显示的图像的倾斜。

通过这种程序，能够基于操作输入校正相对于图像的水平方向的倾斜。

根据上述本发明的实施例，提供一种成像装置，包括：成像单元，用于成像被拍摄体并生成拍摄图像；操作显示单元，用于在显示屏幕上显示由所述成像单元成像的拍摄图像，且能够对在所述显示屏幕上显示的拍摄图像进行操作输入；操作输入检测单元，用于检测在所述操作显示单元中的操作输入；近似直线导出单元，用于基于在所述操作输入检测单元中的检测结果来导出近似地指示操作输入的轨迹的第一近似直线；图像校正单元，用于基于所导出的第一近似直线和预定基准线来校正在所述显示屏幕上显示的拍摄图像的倾斜；以及图像记录单元，用于在记录介质中记录被校正的图像。

根据上述本发明的实施例，能够基于操作输入来校正相对于图像的水平方向的倾斜。

附图说明

图1是用于说明根据本发明实施例的校正相对于图像的水平方向的倾斜的方法的说明图。

图2是用于说明根据本发明实施例的第一校正处理的说明图。

图3是用于说明根据本发明实施例的第一校正处理的说明图。

图4是用于说明根据本发明实施例的第一校正处理的一个例子的流程图。

图5是用于说明根据本发明实施例的第二校正处理的说明。

图6是用于说明根据本发明实施例的第二校正处理的说明。

图7是示出根据本发明实施例的第二校正处理的一个例子的流程图。

图8是示出根据本发明实施例的跟随处理的一个例子的流程图。

图9是用于说明根据本发明实施例的校正处理的另一例子的说明图。

图10是用于说明根据本发明实施例的校正处理的另一例子的说明图。

图11是示出根据本发明的实施例图像处理装置的配置的一个例子的方块图。

图12是示出根据本发明实施例的图像处理装置的硬件配置的一个例子的说明图。

图13是示出根据本发明实施例的图像处理装置中的图像倾斜校正处理的一个例子的流程图。

图14是示出根据本发明实施例的成像装置的配置的一个例子的方块图。

图15是示出根据本发明实施例的成像装置的硬件配置的一个例子的说明图。

图16是示出根据本发明实施例的在成像装置中的图像倾斜校正处理的一个例子的流程图。

具体实施方式

以下，将参考附图详细描述本发明的优选实施例。注意，在说明书和附图中，具有实质相同的功能和配置的结构元件被标以相同的附图标记，且省略对这些结构元件的重复说明。

以下将描述能够校正图像的倾斜的根据本发明的实施例的图像处理装置(以下称为“图像处理装置100”)和成像装置(以下称为“成像装置200”)。在此，根据本发明的实施例的图像可以是静态图像或动画(所谓的视频)。

以下，将按如下顺序来进行说明：

1.根据本发明的实施例的方法

2.根据本发明的实施例的图像处理装置

3.根据本发明的实施例的与图像处理装置相关的程序

4.根据本发明的实施例的成像装置

5.根据本发明的实施例的与成像装置相关的程序

(根据本发明实施例的方法)

在对根据本发明实施例的图像处理装置100和成像装置200的配置进行描述之前，首先描述根据本发明实施例的校正相对于图像的水平方向的倾斜的方法。

图1是用于说明根据本发明实施例的校正相对于图像的水平方向的倾斜的方法的说明图。图1示出了成像装置200的一个例子。此后，将通过使用成像装置200作为例子来描述根据本发明的实施例的校正图像的倾斜的方法。以下示出的根据本发明的实施例的校正图像的倾斜的方法还可应用于图像处理装置100。

如图1所示，成像装置200在显示屏幕上显示图像。成像装置200的用户对在显示屏幕上显示的图像进行操作输入(用户输入)，并画出用于校正倾斜的参考轨迹(trajectory)。操作输入包括，但不限于例如在显示屏幕上触摸(接触)。用于校正倾斜的轨迹包括如图1所示的直线(其可以不是一条直线)。在图1中，在显示屏幕上明示了操作输入的轨迹(图2所示的T)，但不限于此。例如，成像装置200可以不在显示屏幕上明示操作输入的轨迹。然后，成像装置200基于由操作输入画出的直线来校正图像的倾斜。

更具体地，成像装置200通过例如下面的处理(1)到(3)来校正相对于图像的水平方向的倾斜。

(1)基于由操作输入的轨迹的近似直线导出处理

成像装置200基于如图1所示的操作输入的轨迹来导出近似的直线。成像装置200基于操作输入周期性地获得在轨迹上的坐标(此后可以称为“触摸坐标(Xn，Yn)”，其中，n是自然数)，且存储所获得的触摸坐标(Xn，Yn)。然后，成像装置200基于多个所存储的触摸坐标(Xn，Yn)来导出近似的直线。近似直线导出方法包括，但不限于，例如最小二乘法。另外，成像装置200可以通过假设在显示屏幕上的特定位置作为原点(基准点)来导出触摸坐标(Xn，Yn)。原点(基准点)包括，但不限于，例如显示屏幕的左下角，或显示屏幕的中心位置。以下，基于操作输入的轨迹而导出的近似直线将被称为“第一近似直线”。

(2)图像倾斜校正处理

当在处理(1)中导出了第一近似直线时，成像装置200基于第一近似直线和基准线来校正图像的倾斜。根据本发明的实施例的基准线是被预先确定的、用于校正图像的倾斜的参考直线。基准线包括例如在图像的垂直方向上的直线或在图像的水平方向上的直线。

根据本发明的实施例的图像倾斜校正方法包括，但不限于，例如图像的旋转或图像的切出。例如，当该图像是动画时，成像装置200可以基于与切出的图像的先前和随后的帧对应的图像来估计和补充所剪切的图像(即，使得用户意识不到该切出的图像)。另外，而且当图像是静态图像时，类似于当图像是动画时，成像装置200可以基于与先前和随后的帧对应的图像(诸如在该倾斜校正的图像之前和之后拍摄的图像)来估计和补充所切出的图像。稍后将描述根据本发明的实施例的、未校正的图像和校正了的图像的例子和在成像装置200中的处理的具体例子。

(2-1)第一倾斜校正处理：当旋转图像时

(2-1-1)当基准线是在垂直方向上的直线时

当基准线是在垂直方向上的直线时，成像装置200旋转图像以校正倾斜，以便第一近似直线的倾斜与基准线的倾斜相同、即第一近似直线与基准线彼此平行。更具体地，在成像装置200中，例如，当第一近似直线被表示为y＝ax+b时，坐标系统被表示为如图2所示。作为一个例子，假设-π/4＜tan^-1(a)＜π/4为垂直方向。成像装置200通过例如把图像旋转“-tan^-1(a)”来校正倾斜。

(2-1-2)当基准线是水平方向上的直线时

当基准线是水平方向上的直线时，成像装置200通过基于与第一近似直线的倾斜a对应的tan^-1(a)的值旋转图像来校正倾斜。作为一个例子，假设tan^-1(a)≤-π/4，tan^-1(a)≥π/4为水平方向。更具体地，当与第一近似直线的倾斜a对应的tan^-1(a)的值是tan^-1(a)≤-π/4时，成像装置200将图像旋转例如“(-π/2)-tan^-1(a)”。另外，在tan^-1(a)≥π/4的情况下，成像装置200将图像旋转例如“π/2-tan^-1(a)”。

在倾斜校正之际当旋转图像时旋转的中心位置包括、但不限于例如图像的中心位置。例如，成像装置200可以假设操作输入的轨迹上的被拍摄体(用户指定的拍摄对象)或在图像内的移动被拍摄体(在动画的情况下)作为旋转的中心位置。另外，成像装置200可以通过在图像上显示旋转的中心以及用户选择旋转的中心位置(诸如用户的触摸操作或对所显示的中心位置的拖曳操作)来确定旋转的中心位置。

(2-2)第二倾斜校正处理：当切出(cut out)图像时

例如，成像装置200导出由与第一近似直线平行的两条直线(此后，各个直线将被称为“第一直线”)和与第一近似直线正交的两条直线(此后，各个直线将被称为“第二直线”)所定义的区域。然后，成像装置200切出该区域并旋转该切出的图像(对应于该区域的图像)，以便第一近似直线和基准线彼此平行。成像装置200可以切出在图像中包括的其面积是在区域中最大的区域，但该区域不局限于以上的。例如，成像装置200可以通过下列方法切出与图像的倾斜一样倾斜、且其尺寸不超过切出前的图像的尺寸的图像：

1.旋转并切出该图像以便图像的中心与校正后的图像的中心一致

2.旋转并切出该图像以便操作输入的轨迹(诸如用户画出的直线)的位置与校正后的图像的中心一致。

3.旋转并切出该图像以便移动到图像的中心附近的对象(被拍摄体)是校正后的图像的中心(在动画的情况下)。

4.旋转并切出该图像以便在图像中包含的人(被拍摄体)是校正后的图像的中心。

5.通过在图像上显示用于校正的该中心并通过用户(例如，通过用户的触摸操作或对所显示的中心位置的拖曳操作)选择用于校正的中心位置来确定用于校正的中心位置。基于所确定的用于校正的中心位置来切出图像。

成像装置200可以通过上述处理(2-1)和(2-2)，基于根据上述操作输入的第一近似直线和基准线来校正相对于图像的水平方向的倾斜。在此，由于成像装置200基于操作输入导出第一近似直线，因此与用于在没有倾斜传感器的情况下获得水平维持的拍摄图像的现有技术不同，不框中不需要存在具有直线的被拍摄体。另外，由于成像装置200基于操作输入来导出第一近似直线，因此与用于在没有倾斜传感器的情况下获得水平维持的拍摄图像的现有技术不同，不会基于用户不想要的直线来校正图像的倾斜。因此，相比于现有技术，该成像装置200可以通过上述处理(2-1)和(2-2)来更准确地校正相对于图像的水平方向的倾斜。

已经描述了成像装置200基于图1所示的操作输入的轨迹(直线)来导出近似直线以校正图像的倾斜，但根据本发明的实施例的相对于图像的水平方向来校正倾斜不局限于此。例如，成像装置200可以从由操作输入(诸如，用户的触摸操作)指定的被拍摄体提取特征点，并基于所提取的特征点来导出近似直线，由此校正图像的倾斜。由于同样在上述情况下成像装置200可以基于操作输入来导出近似直线以校正图像的倾斜，所以可以比现有技术更准确地校正相对于图像的水平方向的倾斜。

(3)跟随处理

成像装置200可以通过上述处理(2)来校正图像的倾斜。在此，当图像是动画时或当即使在静态图像的情况下在显示屏幕上显示的图像被切换时，在显示屏幕上显示的内容可能极大地改变。在上述情况下，基于第一近似直线的倾斜的校正可能不适用于该图像。相反，如果在显示屏幕上显示的图像的内容不极大地改变，则即使当对其他图像应用了与采用上述处理(2)的校正类似的校正时，也可能校正相对于图像的水平方向的倾斜。因此，成像装置200还进行跟随处理，作为对应于上述情况的处理。

更具体地，成像装置200基于根据操作输入存储的触摸坐标(Xn，Yn)从靠近触摸坐标(Xn，Yn)的被拍摄体提取特征点。另外，成像装置200基于所导出的特征点来导出一个或多个近似直线，并例如从基于所导出的特征点的近似直线中选择相对于第一近似直线的倾斜的差处于预定范围内的近似直线(以下被称为“第二近似直线”)。成像装置200还可以从所导出的特征点的组合中选择性地使用适用于校正的特征点来导出第二近似直线。当第二近似直线存在时，成像装置200基于第二近似直线和基准线来类似于处理(2)地校正图像的倾斜。

该成像装置200周期性地/非周期性地从图像中提取用于第二近似直线的特征点，且当在图像中存在用于第二近似直线的特征点时，再次基于特征点来导出第二近似直线。然后，成像装置200重复基于第二近似直线和基准线的校正和用于第二近似直线的特征点的提取。当在图像中不存在用于第二近似直线的特征点时，成像装置200确定在显示屏幕上显示的图像的内容已经极大地改变了，且结束基于第二近似直线和基准线的校正。

附近的被拍摄体包括在触摸坐标(Xn，Yn)上的被拍摄体或其特征点位于离触摸坐标(Xn，Yn)的预定距离内的被拍摄体。特征点包括例如、但不限于建筑物(被拍摄体的一个例子)的直线或人(被拍摄体的一个例子)的脸、肩膀或腿的位置。例如，成像装置200可以使用脸部检测技术来检测人(被拍摄体的一个例子)的双眼、鼻子、嘴或耳朵作为特征点。

成像装置200可以通过处理(1)(基于操作输入的轨迹的近似直线导出处理)的操作输入来校正相对于图像的水平方向的倾斜。此后，需要时将通过未校正的图像和校正了的图像的例子来描述在成像装置200中的每个处理的具体例子。如上所述，稍后描述的根据本发明的实施例的每个处理可应用于图像处理装置100。

[在成像装置200中的每个处理的具体例子]

[1]第一校正处理：通过图像旋转的倾斜校正

图2和3是用于分别说明根据本发明的实施例的第一校正处理的说明图。图2示出了在显示屏幕上显示的未校正的图像的一个例子，从其可以看出被拍摄体(人和树)在图像的水平方向上倾斜。另外，图3示出了在显示屏幕上显示的校正了的图像的一个例子，从其可以看出，图2所示的图像的倾斜已经通过旋转图像而校正了。

如图2所示，当对显示屏幕进行操作输入时，成像装置200基于操作输入的轨迹T来导出第一近似直线A。图2示出了其中第一近似直线A从轨迹T水平地移动的例子，但该移动不局限于该例子。另外，图2示出了在图像的垂直方向上的基准线D。但成像装置200可以不在显示屏幕上显示基准线D。成像装置200通过基于第一近似直线A和基准线D来进行上述处理(2-1)来校正图像。因此，显示屏幕在其上显示其相对于水平方向的倾斜已经如图3所示地校正了的图像。此后，将更具体地描述根据本发明的实施例的第一校正处理。

图4是示出了根据本发明的实施例的第一校正处理的一个例子的流程图。在此，图4示出了通过旋转图像来校正倾斜的处理的一个例子。

成像装置200确定是否检测到在显示屏幕上的触摸(操作输入的一个例子)(S100)。当显示屏幕由例如触摸屏组成时，成像装置200可以使用抵抗膜方式、光学方式、电容方式或超声波方式的各种触摸屏来进行在步骤S100中的确定。当在步骤S100中没有确定检测到在显示屏幕上的触摸时，成像装置200可以不继续处理直到检测到在显示屏幕上的触摸。

当在步骤S100中确定检测到了在显示屏幕上的触摸时，成像装置200设置n＝0(S102)。

然后，成像装置200在其中存储触摸坐标(Xn，Yn)(S104)。成像装置200假设在显示屏幕上的特定位置为原点(基准点)，例如，且导出并存储对应于设置的n的触摸坐标(Xn，Yn)。原点(基准点)包括例如显示屏幕的左下角或显示屏幕的中心位置，但不限于此。

当在步骤S104中存储了触摸坐标(Xn，Yn)时，成像装置200确定是否还未检测到在显示屏幕上的触摸(S106)。成像装置200可以使用阻抗膜方式、光学方式、电容方式或超声波方式的各种触摸屏来进行在步骤S106中的确定。

当在步骤S106中没有确定还没有检测到在显示屏幕上的触摸时，成像装置200等待预定时间(S108)并在等待结束后更新n＝n+1(S110)。然后，成像装置200重复在步骤S104之后的处理。

当在步骤S106中确定还没有检测显示屏幕上的触摸时，成像装置200确定是否满足在以下公式1中的关系(S112)。在此，在公式1中指示的m(m＞0)是用于确定操作输入的轨迹是否满足预定长度的阈值。在公式1中指示的m的值可以被假设为预定固定值，例如但不限于上述值，且可以是通过操作输入改变的可变值。

[公式1]

\sqrt{{(Xn - X 0)}^{2} + {(Yn - Y 0)}^{2}} > m

当在步骤S112中没有确定满足公式1中的关系时。成像装置200终止第一校正处理。在此方式中，设置阈值m以便成像装置200可以防止由于用户错误的操作(诸如对触摸屏幕的不小心的触摸)而导致的用户不想要的图像的校正。

当在步骤S112中确定满足公式1中的关系时，成像装置200基于所存储的触摸坐标(X0，Y0)到(Xn，Yn)来导出第一近似直线(S114)。成像装置200可以使用例如最小二乘法来导出第一近似直线，但用于导出第一近似直线的方法不限于上述方法。

当在步骤S114中导出了第一近似直线时，成像装置200基于第一近似直线和预定基准线来校正图像的倾斜(S116)。成像装置200可以通过例如上述处理(2-1)来校正图像的倾斜。

成像装置200可以进行例如如图4所示的处理，以通过旋转图像来实现倾斜的校正。

[2]第二校正处理：通过图像切出的校正

图5和6是用于分别说明根据本发明的实施例的第二校正处理的说明图。图5示出了在显示屏幕上显示的未校正的图像的一个例子，从其可以看出，被拍摄体(人和树)类似于图2在图像的水平方向上倾斜。图6示出了在显示屏幕上显示的校正了的图像的一个例子，从其可以看出，如图5所示的图像的倾斜已经通过切出图像而校正了。

如图5所示，当在显示屏幕上进行操作输入时，成像装置200基于操作输入的轨迹T来设置区域R。成像装置200导出第一近似直线A(未示出)，并例如基于所导出的第一近似直线A来并导出第一直线和第二直线，由此设置区域R。图5示出了其中成像装置200设置其面积最大的区域R的例子。图5示出了在图像的垂直方向上的基准线D，但成像装置200可以不在显示屏幕上显示该基准线D。成像装置200切出所设置的区域R，并基于第一近似直线和基准线来进行上述处理(2-2)以校正图像。因此，显示屏幕在其上显示如下图像：该图像相对于水平方向的倾斜已经通过切出并旋转该图像而被校正，如图6所示。此后，将更具体地描述根据本发明的实施例的第二校正处理。

图7是示出根据本发明的实施例的第二校正处理的一个例子的流程图。图7示出了通过切出图像的倾斜校正处理的一个例子。

类似于图4的步骤S100，成像装置200确定是否检测到了在显示屏幕上的触摸(操作输入的一个例子)(S200)。当在步骤S200中没有确定检测到在显示屏幕上的触摸时，成像装置200可以不继续处理，直到检测到在显示屏幕上的触摸。

当在步骤S200中确定检测到了在显示屏幕上的触摸时，类似于图4的步骤S102，成像装置200设置n＝0(S202)。然后，类似于图4的步骤S104，成像装置200存储触摸坐标(Xn，Yn)(S204)。

当在步骤S204中存储了触摸坐标(Xn，Yn)时，类似于图4的步骤S106，成像装置200确定是否还没有检测到在显示屏幕上的触摸。

当在步骤S206中没有确定还没有检测到在显示屏幕上的触摸时，成像装置200等待预定时间(S208)并在等待结束之后更新n＝n+1(S210)。然后，在成像装置200中重复在步骤S204之后的处理。

当在步骤S206中确定还没有检测到在显示屏幕上的触摸时，类似于图4的步骤S112，成像装置200确定是否满足公式1的关系(S212)。

当在步骤S212中没有确定满足在公式1中的关系时。成像装置200终止第二校正处理。类似于图4所示的第一校正处理，在此方式中，设置阈值m以便成像装置200可以防止由于用户错误的操作而导致的用户不想要的图像的校正。

当在步骤S212中确定满足公式1中的关系时，类似于图4的步骤S114，成像装置200基于所存储的触摸坐标(X0，Y0)到(Xn，Yn)来导出第一近似直线(S214)。

当在步骤S214中导出了第一近似直线时，成像装置200基于第一近似直线来设置要被切出的区域(S216)。成像装置200可以通过例如上述处理(2-2)来设置要被切出的区域。

当在步骤S216中设置了要被切出的区域时，成像装置200基于所设置的区域、第一近似直线和基准线来校正图像的倾斜(S218)。成像装置200可以通过例如上述处理(2-2)来校正图像的倾斜。

成像装置200可以通过例如如图7所示的处理来校正被切出的图像的倾斜。

[跟随处理]

接下来描述根据本发明的实施例的跟随处理。图8是示出根据本发明的实施例的跟随处理的一个例子的流程图。

成像装置200从靠近触摸坐标(X0，Y0)到(Xn，Yn)的被拍摄体提取特征点f_all(S300)。成像装置200从例如在距触摸坐标(X0，Y0)到(Xn，Yn)的预定距离内存在的被拍摄体中提取特征点，由此从该图像提取特征点f_all。

当在步骤S300中提取了特征点f_all时，成像装置200从特征点f_all选择特定特征点f_e(S302)。成像装置200从在被包含在图像中的被拍摄体中的特定被拍摄体选择特定特征点(例如，当被拍摄体是建筑物时的直线或当被拍摄体是人时人的脸、肩膀或腿的位置)，由此进行在步骤S302中的处理。

当在步骤S302中选择了特征点f_e时，成像装置200基于所选的特征点f_e来导出近似的直线(S304)。成像装置200可以通过例如最小二乘法来导出近似的直线，但导出方法不限于此。

当在步骤S304中导出了近似直线时，成像装置200确定在第一近似直线的倾斜和基于特征点f_e的近似直线的倾斜之间的差是否处于预定范围内(S306)。成像装置200可以基于该差的值和指示预定范围的阈值来进行步骤S306中的确定，但该确定方法不限于此。另外，可以假设阈值为例如、但不限于预定固定值，且可以是通过操作输入改变的可变值。

当在步骤S306中确定在倾斜之间的差不在预定范围内时，成像装置200重复在步骤S302之后的处理。此时，成像装置200从如下特征点选择不同的特征点f_e，通过该特征点，导出了近似的直线用于在步骤S306中的确定。

当在步骤S306中确定在倾斜之间的差处于预定范围内时，成像装置200基于针对特征点f_e的近似直线(第二近似直线)和基准线来校正图像的倾斜。成像装置200可以通过例如上述处理(2-1)或(2-2)来校正图像的倾斜。

当在步骤S308中校正了图像时，成像装置200确定是否在图像中是否存在第二近似直线的特征点f_e(S310)。

当在步骤S310中确定特征点f_e存在于图像中时，成像装置200基于特征点f_e来导出近似直线(第二近似直线)(S312)。然后，成像装置200重复在步骤S308之后的处理。

当在步骤S310没有确定特征点f_e存在于图像中时，成像装置200终止跟随处理。

当在显示屏幕上显示的图像的内容没有极大地改变时，通过图8所示的处理，例如，成像装置200可以在没有操作输入的情况下校正相对于图像的水平方向的倾斜。

成像装置200可以进行如图4、7、8所示的处理来实现处理(2)(图像倾斜校正处理)和处理(3)(跟随处理)。

[根据本发明的实施例的图像倾斜校正处理的另一例子]

描述了基于根据操作输入的第一近似直线和基准线的图像倾斜校正处理作为根据本发明的实施例的图像倾斜校正处理。但是，根据本发明的实施例的图像倾斜校正处理不局限于上述处理。

图9和10是用于说明根据本发明的实施例的校正处理的另一例子的说明图。图9示出了在显示屏幕上显示的未校正的图像的一个例子，从其可以看出被拍摄体(人和树)在图像的水平方向上倾斜。图10示出了在显示屏幕上显示的校正了的图像的一个例子，从其可以看出，图9所示的图像的倾斜已经通过旋转图像而校正了。

如图9所示，成像装置200可以基于操作输入任意地旋转图像。由于同样在上述情况下也基于操作输入进行校正，因此，与用于在没有倾斜传感器的情况下获得水平维持的拍摄图像的现有技术不同，成像装置200不会基于用户不想要的直线来校正图像倾斜。因此，成像装置200可以比现有技术更准确地校正相对于图像的水平方向的倾斜。另外，即使当基于用户的轨迹T的第一近似直线与用户想要的线轻微地偏离时，也可以进行精细调整。

使用上述校正相对于图像的水平方向的倾斜的方法，以便根据本发明实施例的图像处理装置100和成像装置200可以分别基于操作输入来校正相对于图像的水平方向的倾斜。此后，将描述能够分别实现处理(1)(基于操作输入的轨迹的近似直线导出处理)到处理(3)(跟随处理)的根据本发明的实施例的图像处理装置100和成像装置200的配置例子。

(根据本发明的实施例的图像处理装置100)

图11是示出根据本发明的实施例的图像处理装置100的配置的一个例子的方块图。

参考图11，图像处理装置100包括操作输入单元102、控制单元104、存储单元106和通信单元108。

图像处理装置100可以包括ROM(只读存储器：未示出)，在其中记录了诸如由控制单元104使用的程序或计算参数的控制数据；RAM(随机存取存储器：未示出)，在其中临时存储了由控制单元1-6执行的程序；等等。图像处理装置100经由作为数据传输路径的总线来连接上述组件。

[图像处理装置100的硬件配置例子]

图12是示出根据本发明的实施例的图像处理在100的硬件配置的一个例子的说明图。参考图12，图像处理装置100包括MPU 150、ROM 152、RAM154、记录介质156、输入/输出接口158、和操作显示设备160、操作输入设备162、显示设备164、和通信接口166。另外，图像处理装置100经由例如作为传输路径的总线168来连接组件。

MPU 150用作用于控制整个图像处理装置100的控制单元104。另外，MPU 150可以用作例如稍后描述的操作输入检测单元110、近似直线导出单元112、图像校正单元114和显示控制单元116。

MPU 150可以对从各个记录介质(诸如存储单元106)读出的图像数据进行扩展处理，以将其在操作显示设备160(操作输入/显示单元102)或显示设备164上显示。

ROM 152在其中存储诸如由MPU 150使用的程序或计算参数的控制数据、关于基准线的数据等。上述各个阈值可以先前被记录在例如ROM 152中。另外，RAM 154在其中临时存储由MPU 150执行的程序、对应于操作输入的触摸坐标(Xn，Yn)等。

记录介质156用作存储单元106，并在其中存储例如图像数据、应用等。记录介质156包括、但不限于诸如硬盘的磁性记录介质或者非易失性存储器，诸如EEPROM(电可擦除可编程只读存储器)、闪存、MRAM(磁阻随机存取存储器)、FeRAM(铁电随机存取存储器)或PRAM(相位改变随机存取存储器)。

输入/输出接口158连接例如操作显示设备160、操作输入设备162、显示设备164等。输入/输出接口162包括、但不限于USB(通用串行总线)端自、DVI(数字视觉接口)端子、HDMI(高清多媒体接口)等。

操作显示设备160用作操作输入/显示单元102、在显示屏幕上显示图像，并使能在被显示在显示屏幕上的图像上的操作输入。操作显示设备160被配置了例如触摸屏，且被连接到图像处理装置100内的输入/输出接口160。另外，由诸如LCD(液晶显示器)、有机电致发光显示器或OLED(有机发光二极管)显示器和其中排列的用于检测接触的设备的矩阵开关的显示设备来实现，但不限于此。

以例如按钮、方向键、诸如转盘(jog dial)的旋转选择器或其组合的形式在图像处理装置100上提供操作输入设备162，且操作输入设备162被连接到图像处理装置100内的输入/输出接口158。操作输入设备162用作在图像处理装置100中的操作输入/显示单元102(或操作单元(未示出))。

显示设备164被配置了例如LCD、有机EL显示器等，且被提供在图像处理装置100上。显示设备164被连接到例如图像处理装置100内的输入/输出接口158。显示设备164用作在图像处理装置100内的操作输入/显示单元102(或显示单元(未示出))。

输入/输出接口158可以被连接到作为图像处理装置100的外部设备的操作显示设备(诸如液晶写字板)、操作输入设备(诸如键盘或鼠标)或显示设备(诸如外部显示器)。

通信接口166是在图像处理装置100中提供的通信部件，且用作用于经由网络(或直接)与外部设备进行无线/有线通信的通信单元108。该网络包括、但不限于诸如LAN(局域网)或WAN(广域网)的有线网络、诸如经由基站的WWAN(无线广域网)或WMAN(无线城域网)的无线网络、或使用诸如TCP/IP(传输控制协议/因特网协议)的通信协议的因特网。图像处理装置100可以通过例如USB连接与外部设备直接通信。

通信接口166包括、但不限于通信天线和RF电路(无线通信)、IEEE802.15.1端口和发送/接收电路(无线通信)、IEEE 802.11b端口和发送/接收电路(无线通信)、LAN端子和发送/接收电路(有线通信)、或USB端口和USB控制器(有线通信/无线通信)。例如，通信接口166可以被配置以对应于网络。

图像处理装置100用图12所示的硬件配置进行处理(1)(基于操作输入的轨迹的近似直线导出处理)到处理(3)(跟随处理)。因此，图像处理装置100可以基于操作输入来校正相对于图像的水平方向的倾斜。

图像处理装置100的硬件配置不局限于图12所示的配置。例如，图像处理装置100可以包括各种设备，诸如作为声音输入设备的麦克风或作为声音输出设备的扬声器。图像处理装置100可以包括用于在其中插入诸如存储棒的可移除外部存储器的槽。

再次参考图11，将描述图像处理装置100的配置。操作输入/显示单元102(操作显示单元)在显示屏幕上显示图像，并使能对于在显示屏幕上显示的图像的操作输入。提供操作输入/显示单元102以便图像处理装置100使能图像对用户的呈现和操作输入，并能够识别例如如图2所示的用户的轨迹“T”。换句话说，操作输入/显示单元102用作用于进行处理(1)(基于操作输入的轨迹的近似直线导出处理)的输入设备。操作输入/显示单元102被配置了、但不限于例如触摸屏。例如，操作输入/显示单元102被配置了显示设备和定点设备，且可以被配置以通过用户操作该定点设备来对显示在显示屏幕上的图像进行操作输入。

控制单元104被配置了例如MPU，且用于控制整个图像处理装置100。另外，控制单元104包括操作输入检测单元110、近似直线导出单元112、图像校正单元114和显示控制单元116。

操作输入检测单元110检测在操作输入/显示单元102中的操作输入，并在例如RAM 154中保存对应于该操作输入的触摸坐标(Xn，Yn)。例如，操作输入检测单元110可以基于响应于来自操作输入/显示单元102的操作输入而传输的操作信号(诸如对应于按压改变的信号或静电信号)来检测操作输入。因此，操作输入检测单元110用于进行处理(1)(基于操作输入的轨迹的近似直线导出处理)的部分。

近似直线导出单元112基于在操作输入检测单元110中的检测结果、即触摸坐标(Xn，Yn)来导出近似地指示操作输入的轨迹的第一近似直线。

近似直线导出单元112可以从在显示屏幕上显示的图像检测预定特征点f_e，并进一步基于特征点f_e来导出近似直线。

因此，近似直线导出单元112用于进行处理(1)(基于操作输入的轨迹的近似直线导出处理)的部分和处理(3)(跟随处理)的部分。

图像校正单元114用于进行上述处理(2)(图像倾斜校正处理)，并基于第一近似直线和预定基准线来校正在显示屏幕上显示的图像的倾斜。在图像校正单元114中的图像倾斜的校正对应于通过信号处理进行的校正。

另外，图像校正单元114可以从由近似直线导出单元112导出的基于特征点f_e的近似直线中确定第二近似直线，并可以基于第二近似直线和基准线来校正在显示屏幕上显示的图像的倾斜。在上述情况下，当在被显示在显示屏幕上的图像中不存在针对第二近似直线的特征点f_e时，图像校正单元114终止对图像倾斜的校正。

因此，图像校正单元114用于进行上述处理(2)(图像倾斜校正处理)和处理(3)(跟随处理)的一部分。图像校正单元114可以在诸如存储单元106或外部存储器的记录介质中记录在校正处理和跟随处理中校正的图像。

显示控制单元116进行控制以在操作输入/显示单元102或显示单元(未示出)中显示图像或字符。例如，显示控制单元116可以被提供以在操作输入/显示单元102上再现和显示在存储单元106中存储的图像数据或再现和显示由通信单元108从外部设备获得的图像数据。

图像处理装置100可以包括操作输入检测单元110、近似直线导出单元112和图像校正单元114，以进行上述处理(1)到(3)。

存储单元106是在图像处理装置100中提供的存储部件。存储单元106在其中存储例如图像数据或由控制单元104执行的应用。图11示出了其中在存储单元106中存储了图像数据120、122......的例子。存储单元106包括但不限于诸如硬盘的磁性记录介质或诸如闪存的非易失性存储器。

通信单元108是在图像处理装置100中提供的通信部件，且用于与外部设备进行有线/无线通信。该通信单元108由例如控制单元104控制用于其通信。图像处理装置100可以包括通信单元108以从外部设备获得图像数据或应用，并向外部设备发送在存储单元106中记录的图像数据。

图像处理装置100通过上述配置进行处理(1)(基于操作输入的轨迹的近似直线导出处理)、处理(2)(图像倾斜校正处理)和处理(3)(跟随处理)。因此，图像处理装置100可以通过上述配置基于操作输入来校正相对于图像的水平方向的倾斜。

[在图像处理装置100中的一系列处理]

以下将描述用于在图像处理装置100中的图像倾斜校正的一系列处理。图13是示出根据本发明的实施例的在图像处理装置100中的图像倾斜校正处理的一个例子的流程图。

图像处理装置100确定是否再现图像(S400)。图像处理装置100可以基于响应于诸如用户对再现按钮按压的用户的操作输入而从操作单元(未示出)发送的操作信号，来进行步骤S400中的确定。当在步骤S400中没有确定将再现图像时，图像处理装置100可能不继续处理直到确定将再现图像。

当在步骤S400中确定将再现图像时，图像处理装置100进行图像校正处理(S402)。由图像处理装置100进行的图像校正处理包括但不限于例如图4所示的第一校正处理或图7所示的第二校正处理。图像处理装置100还可以在诸如存储单元106的记录介质中记录在步骤S402中校正了的图像。

当在步骤S402中进行了图像校正处理时，图像处理装置100进行跟随处理(S404)。图像处理装置100可以通过例如图8中的处理来实现跟随处理。图像处理装置100可以在诸如存储单元106的记录介质中记录在步骤S404中的跟随处理中校正的图像。

当在步骤S404中终止了跟随处理时，图像处理装置100确定是否终止图像的再现(S406)。类似于步骤S400，图像处理装置100可以基于用户的操作输入来进行步骤S406中的确定。

当在步骤S406中没有确定将终止图像的再现时，图像处理装置100重复在步骤S402之后的处理。另外，当在步骤S406中确定将终止图像的再现时，图像处理装置100终止图像的再现。在上述情况下，还将终止在图像处理装置100中的图像倾斜校正处理。

图像处理装置100可以进行图13所示的处理来基于操作输入而校正相对于图像的水平方向的倾斜。

如上所述，根据本发明的实施例的图像处理装置100基于操作输入的轨迹来导出第一近似直线，且基于所导出的第一近似直线和预定基准线来在没有倾斜传感器的情况下校正相对于图像的水平方向的倾斜。由于图像处理装置100基于操作输入而导出了第一近似直线，因此与用于在没有倾斜传感器的情况下获得水平维持的拍摄图像的现有技术不同，具有直线的图形主体不需要存在于在框中。由于图像处理装置100基于操作输入来导出第一近似直线，因此与用于在没有倾斜传感器的情况下获得水平维持的拍摄图像的现有技术不同，不会基于用户不想要的直线而校正图像的倾斜。因此，图像处理装置100可以比现有技术更准确地校正相对于图像的水平方向的倾斜。

图像处理装置100基于用于第一近似直线的触摸坐标(Xn，Yn)来导出第二近似直线，且基于所导出的第二近似直线和基准线来校正图像的倾斜。图像处理装置100适当地更新第二近似直线来取决于其内容而校正图像。当在显示屏幕上显示的图像的内容极大地改变时(例如，当没有确定特征点f_e存在于在图像中时)，图像处理装置100终止使用第二近似直线的校正。因此，当在显示屏幕上显示的图像的内容不极大地改变时，图像处理装置100可以在没有操作输入的情况下校正相对于水平方向的倾斜。

已经通过图像处理装置100的例子来描述了本发明的实施例，但本发明的实施例不限于此。例如，本发明的实施例可应用于各种设备，诸如具有成像功能的成像装置、诸如数字摄像机或具有数字摄像功能的手机、诸如个人计算机的计算机、诸如手机或PHS(个人手提电话系统)的便携式通信设备、诸如WALKMAN(注册商标)的视频/音乐播放器和诸如PlayStation Portable(注册商标)的便携式游戏机。稍后将描述本发明的实施例对成像装置的应用。

(根据本发明的实施例的用于图像处理装置的程序)

使用计算机用作根据本发明实施例的图像处理装置100的程序可以基于操作输入来校正相对于图像的水平方向的倾斜。

(根据本发明的实施例的成像装置200)

以下将描述根据本发明实施例的成像装置200的配置。图14是示出根据本发明实施例的成像装置200的配置的一个例子的方块图。

参考图14，成像装置200包括成像单元202、操作输入单元102、控制单元204、存储单元106和通信单元108。

成像装置200可以包括在其中记录诸如由控制单元204使用的程序或计算参数的控制数据的ROM(未示出)、在其中临时存储由控制单元106执行的程序的RAM(未示出)等。成像装置200例如经由总线作为数据传输路径来连接上述组件。

[成像装置200的硬件配置例子]

图15是示出根据本发明的实施例的成像装置200的硬件配置的一个例子的说明图。参考图15，成像装置200包括镜头/成像设备250、信号处理电路252、MPU 150、ROM 152、RAM 154、记录介质156、输入/输出接口158、操作显示设备160、操作输入设备162、显示设备164和通信接口166。成像装置200经由作为数据传输路径的例如总线168来连接组件。

镜头/成像设备250和信号处理电路252用作成像单元202。镜头/成像设备250被配置了使用光学镜头的图像传感器和诸如CCD(电荷耦合设备)或CMOS(互补金属氧化物半导体)的成像设备。信号处理电路252包括例如AGC(自动增益控制)电路或ADC(模拟到数字转换器)，并将由成像设备生成的模拟信号转换为数字信号(图像数据)以进行各种信号处理。由信号处理电路252进行的信号处理包括但不限于白平衡校正处理、内插处理、色调校正处理、伽马校正处理、YCbCr转换处理、边缘增强处理、Jpeg编码处理等。白平衡校正处理是例如对RAW(原始)图像数据(在信号处理之前的图像)的RGB(红绿蓝)的每个颜色应用预定增益并放大对应于每个像素的像素值的处理。内插处理是为来自例如Bayer排列的所有像素创建RGB的处理。色调校正处理是例如校正图像的色调的处理。伽马校正处理是将RGB信号非线性地转换为安全视觉线性(secure visual linearity)的处理。YCbCr转换处理是例如基于预定转换公式而将RGB转换为YCbCr的处理。分别地，Y表示亮度，Cb表示色度且Cr表示色度。边缘增强处理是例如从图像中检测边缘并增加所检测的边缘的亮度来增强图像的对比度的处理。然后，Jpeg编码处理是将图像转换为Jpeg(联合图像专家组)格式的图像文件的处理。

MPU 150用作用于控制整个成像装置200的控制单元204。MPU 150可以用作例如稍后描述的操作输入检测单元110、近似直线导出单元112、图像校正单元214、图像记录单元216和显示控制单元116。

MPU 150可以对经过了在信号处理电路252中的信号处理的图像数据进行压缩处理，并将所处理的数据记录到各种记录介质(诸如存储单元106)中。另外，MPU 150可以对从各种记录介质读出的图像数据进行扩展处理，并在操作显示设备160(操作输入/显示单元102)或显示设备164上显示被处理的数据。

ROM 152、RAM 154、记录介质156、输入/输出接口158、操作显示设备160、操作输入设备162、显示设备164和通信接口166可以分别具有与在图12所示的图像处理装置100的配置中的相同的功能。

因此，成像装置200通过图15所示的硬件配置来进行处理(1)(基于操作输入的轨迹的近似直线导出处理)到处理(3)(跟随处理)。因此，成像装置200可以基于操作输入来校正相对于图像的水平方向的倾斜。

成像装置200还可以在记录介质中记录校正后的图像。在其中记录了由成像装置200成像的图像的记录介质包括但不限于例如记录介质156。例如，成像装置200还可以包括用于在其中插入可移除外部存储器(一种记录介质)的槽，并在槽中所插入的外部存储器中记录图像。外部存储器包括但不限于例如存储棒。另外，成像装置200还可以经由通信接口166在由外部设备包括的存储单元(一种记录介质)中记录图像。

再次参考图14，将描述成像装置200的配置。成像单元202是被包括在成像装置200中的成像部件，其可以通过成像来获得图像(拍摄的图像)。通过成像而获得的图像包括但不限于例如以静态图像格式(诸如JPEG或bitmap)记录的图像(静态图像)或以动画格式(诸如WMV(Windows MediaVideo)或H.264/MPEG-4AVC(H.264/运动图像专家组阶段-4增强视频编码))记录的图像(动画)。

成像单元202被配置了镜头210和光电转换单元212。光电转换单元212被配置了：图像传感器，其中以矩阵形状排列诸如CCD或CMOS的成像设备(与镜头210的组合可以被假设为图像传感器)；以及信号处理电路252。

成像单元202可以响应于从控制单元204(更严格地，稍后描述的图像校正单元214)发送的校正信号来旋转镜头210或图像传感器。成像单元202被配置以能够如上所述旋转镜头210或图像传感器以便成像装置200可以物理地校正拍摄的图像的倾斜。

控制单元204被配置了例如MPU等，且用于控制整个成像装置200。控制单元204包括操作输入检测单元110、近似直线导出单元112、图像校正单元214和显示控制单元116。

操作输入检测单元110、近似直线导出单元112和显示控制单元116分别具有与在图11所示的图像处理装置100中的操作输入检测单元110、近似直线导出单元112和显示控制单元116相同的功能和配置。

图像校正单元214用于进行上述处理(2)(图像倾斜校正处理)并基于第一近似直线和预定基准线来校正在显示屏幕上显示的图像的倾斜。图像校正单元214可以通过以下校正(A)到(C)的任一个或其组合来校正图像的倾斜。在成像装置200中的图像倾斜的校正不局限于如下校正(A)到(C)。例如，成像装置200可以使用镜像来旋转图像。

(A)由信号处理进行的校正

图像校正单元214与图11所示的图像处理装置100中的图像校正单元114类似地校正图像的倾斜。

(B)通过旋转成像单元202进行的校正

图像校正单元214生成对应于用于旋转图像的角度的校正信号，并向成像单元202发送校正信号。校正(B)针对物理地旋转成像单元202来旋转图像。组合校正(A)和校正(B)，从而实现上述校正处理(2-2)(第二倾斜校正处理)。

(C)通过旋转图像传感器进行的校正

类似于校正(B)，图像校正单元214生成对应于用于旋转图像的角度的校正信号，并向成像单元202发送校正信号。校正(C)针对物理地旋转图像传感器来旋转图像。另外，类似于校正(B)，组合(B)和校正(C)，从而实现上述校正处理(2-2)(第二倾斜校正处理)。

图像校正单元214可以从由近似直线导出单元112导出的基于特征点f_e的近似直线确定第二近似直线，并类似于在图11所示的图像处理装置100中的图像校正单元114，基于第二近似直线和基准线来校正在显示屏幕上显示的图像的倾斜。

因此，类似于图11所示的图像处理装置100中的图像校正单元114，图像校正单元214用作进行上述处理(2)(图像倾斜校正处理)和处理(3)(跟随处理)的一部分。

成像装置200包括操作输入检测单元110、近似直线导出单元112和图像校正单元214，由此进行上述处理(1)到(3)。

图像记录单元216在记录介质中记录由图像校正单元216校正的图像。记录介质包括例如存储单元106、在槽(未示出)中插入的外部存储器、经由通信单元108而连接的在外部设备(未示出)中包括的存储单元等。

成像装置200利用上述配置进行处理(1)(基于操作输入的轨迹的近似直线导出处理)、处理(2)(图像倾斜校正处理)和处理(3)(跟随处理)。因此，类似于图11所示的图像处理装置100，图像处理装置200可以基于操作输入来校正相对于图像的水平方向的倾斜。

成像装置200通过上述配置在记录介质中记录校正了倾斜的图像。因此，用于再现由成像装置200记录的图像的装置可以在没有特别校正的情况下在显示屏幕上显示其相对于水平方向的倾斜已经被校正了的图像。

[在成像装置200中的一系列处理]

以下将描述在成像装置200中的一系列图像倾斜校正处理。图16是示出根据本发明的实施例的在成像装置200中的图像倾斜校正处理的一个例子的流程图。

成像装置200确定是否进行成像(S500)。成像装置200可以基于响应于诸如用户对成像按钮的按压的用户的操作输入而从操作单元(未示出)发送的操作信号来进行在步骤S500中的确定。

[当没有确定进行成像时]

当在步骤S500中没有确定将进行成像时，成像装置200确定是否再现图像(S502)。类似于图13的步骤S400，成像装置200可以基于响应于用户的操作输入而从操作单元(未示出)发送的操作信号来进行在步骤S502中的确定。当在步骤S502中没有确定将再现图像时，成像装置200重复在步骤S502之后的处理。

当在步骤S502中确定将再现图像时，成像装置200进行第一图像校正处理(S504)。第一图像校正处理指的是上述处理(A)(通过信号处理进行的校正)。换句话说，成像装置200通过类似于图13的步骤S402的处理来校正图像的倾斜。

当在步骤S504中进行图像校正处理时，成像装置200进行跟随处理(S510)。类似于图13的步骤S404，成像装置200可以通过例如图8所示的处理来实现跟随处理。

当在步骤S510中终止跟随处理时，成像装置200确定是否终止图像的成像和再现(S512)。类似于步骤S500或步骤S502，成像装置200可以例如基于用户的操作输入来进行在步骤S508中的确定。

当在步骤S512中没有确定将终止图像的成像和再现时，成像装置200重复在步骤S500之后的处理。当在步骤S512中确定将终止图像的成像和再现时，成像装置200终止图像的成像和再现。在上述情况下，还将终止在成像装置200中的图像倾斜校正处理。

[当确定进行成像时]

当在步骤S500中确定将进行成像时，成像装置200进行第二图像校正处理(S506)。第二图像校正处理指的是例如上述处理(A)(通过信号处理进行的校正)到处理(C)(通过旋转图像传感器进行的校正)中的任何一个或其组合。

当在步骤S506中进行图像校正处理时，成像装置200在记录介质中记录被校正的图像(S508)。然后，成像装置200进行跟随处理(S510)。虽然未在图16中示出，成像装置200在跟随处理中继续记录在记录介质中记录被校正的图像。然后，当在步骤S510中终止了跟随处理时，成像装置200确定是否终止图像的成像和再现(S512)，并响应于确定结果来终止图像的成像和再现。

成像装置200可以进行图16所示的处理以基于操作输入来校正相对于图像的水平方向的倾斜。

如上所述，根据本发明的实施例的成像装置200基于操作输入的轨迹来导出第一近似直线，并在没有倾斜传感器的情况下基于所导出的第一近似直线和预定基准线来校正相对于图像的水平方向的倾斜。类似于图像处理装置100，由于成像装置200基于操作输入来导出第一近似直线，所以与用于在没有倾斜传感器的情况下获得水平维持的拍摄图像的现有技术不同，具有直线的被拍摄体不需要存在于在框中。另外，由于成像装置200基于操作输入来导出第一近似直线，因此与用于在没有倾斜传感器的情况下获得水平维持的拍摄图像的现有技术不同，将不会基于用户不想要的直线来校正图像的倾斜。因此，类似于图像处理装置100，相比于现有技术，该成像装置200可以更准确地校正相对于图像的水平方向的倾斜。另外，即使当基于用户的轨迹T的第一近似直线与用户想要的线轻微地偏离时，成像装置200也可以类似于图像处理装置100进行精细调整。

类似于图像处理装置100，成像装置200基于用于第一近似直线的触摸坐标(Xn，Yn)来导出第二近似直线，且基于所导出的第二近似直线和基准线来校正图像的倾斜。图像处理装置200适当地更新第二近似直线来取决于其内容而进行校正。当在显示屏幕上显示的图像的内容极大地改变时，图像处理装置200终止使用第二近似直线的校正。因此，当在显示屏幕上显示的图像的内容没有极大地改变时，图像处理装置200可以在没有操作输入的情况下校正相对于图像的水平方向的倾斜。

由于成像装置200还可以在成像期间校正图像的倾斜，因此即使在例如由于不能设置三角架而导致难以水平成像的情况下也能够获得具有相对于水平方向的微小倾斜(或无倾斜)的图像(拍摄图像)。

通过成像装置200的例子来描述了本发明的实施例，但本发明的实施例不限于此。例如，本发明的实施例可应用于具有成像功能的各种设备、诸如数字摄像机或具有数字摄像功能的手机、诸如具有摄像机的PC的计算机、和具有摄像机的便携式游戏机。

(根据本发明的实施例的用于成像装置的程序)

用于使得计算机用作根据本发明的实施例的成像装置200的程序可以基于操作输入来校正相对于图像的水平方向的倾斜。

本申请包含与2008年8月18日在日本专利局提交的日本优先权专利申请JP2008-210018中公开的主题，其全部内容被引用附于此。

本领域技术人员应该理解，在所附权利要求或其等同物的范围内，可以基于设计需要和其他因素进行各种修改、组合、子组合和变更。

已经描述下述情况，其中提供了用于使得计算机用作根据本发明的实施例的图像处理装置100和成像装置200的程序(计算机程序)，但本发明的实施例还可以提供在其中存储该程序的存储介质。

已经描述了用于在没有操作输入的情况下校正相对于图像的水平方向的倾斜的图像处理装置100和成像装置200作为本发明的实施例，但本发明的实施例不局限于该配置。本发明的实施例可以通过处理(1)(基于操作输入的轨迹的近似直线导出处理)、处理(2)(图像倾斜校正处理)和处理(3)(跟随处理)来在没有操作输入的情况下校正相对于图像的垂直方向的倾斜。

上述配置是本发明实施例的一个例子，且自然落入本发明的技术范围内。

Claims

1.一种图像处理装置，包括：

操作显示单元，用于在显示屏幕上显示图像，且能够对在所述显示屏幕上显示的图像进行操作输入；

操作输入检测单元，用于检测在所述操作显示单元中的操作输入；

近似直线导出单元，用于基于在所述操作输入检测单元中的检测结果来导出近似地指示操作输入的轨迹的第一近似直线；以及

图像校正单元，用于基于所导出的第一近似直线和预定基准线来校正在所述显示屏幕上显示的图像的倾斜。

2.根据权利要求1的图像处理装置，其中，所述图像校正单元通过设定第一近似直线的倾斜与基准线的倾斜相同来校正图像的倾斜。

3.根据权利要求2的图像处理装置，其中，所述图像校正单元还在由平行于所述第一近似直线的两条第一直线和正交于所述第一近似直线的两条第二直线所定义的区域中切出被包含在所述图像中的区域。

4.根据权利要求3的图像处理装置，其中，所述图像校正单元从先前和随后的帧的图像中估计并补充除了切出区域以外的区域。

5.根据权利要求1的图像处理装置，其中，所述近似直线导出单元从被显示在显示屏幕上的图像中检测预定特征点，并进一步基于所述特征点来导出一条或多条近似直线，以及

当在基于所述基准点的近似直线中存在相对于所述第一近似直线的倾斜的差处于预定范围内的第二近似直线时，所述图像校正单元基于所述第二近似直线和所述基准线来校正在显示屏幕上显示的图像的倾斜。

6.根据权利要求5的图像处理装置，其中，当在被显示在显示屏幕上的图像中不存在关于所述第二近似直线的特征点时，所述图像校正单元终止图像的倾斜的校正。

7.一种图像处理方法，包括如下步骤：

在显示屏幕上显示图像，并检测在操作显示单元中的操作输入，所述操作显示单元能够对在显示屏幕上显示的图像进行操作输入；

基于在所述检测步骤中的检测结果来导出近似地指示操作输入的轨迹的第一近似直线；以及

基于在所述导出步骤中所导出的第一近似直线和预定基准线来校正在所述显示屏幕上显示的图像的倾斜。

8.一种程序，用于使得计算机进行如下步骤：

9.一种成像装置，包括：

成像单元，用于对被拍摄体成像并生成拍摄图像；

操作显示单元，用于在显示屏幕上显示由所述成像单元成像的拍摄图像，且能够对在所述显示屏幕上显示的拍摄图像进行操作输入；

近似直线导出单元，用于基于在所述操作输入检测单元中的检测结果来导出近似地指示操作输入的轨迹的第一近似直线；

图像校正单元，用于基于所导出的第一近似直线和预定基准线来校正在所述显示屏幕上显示的拍摄图像的倾斜；以及

图像记录单元，用于在记录介质中记录校正后的图像。