CN1937716B - 具有图像补偿的图像捕获设备及其方法 - Google Patents

Abstract

提供了一种具有图像补偿的图像补偿设备及其方法，所述设备及方法能够根据比如相机的图像捕获装置的位置对变形的用户的脸部图像执行补偿。所述具有图像补偿的图像捕获设备包括：图像捕获单元，捕获对象的图像；倾斜确定单元，确定图像捕获单元相对于对象的倾斜；和补偿单元，根据确定的倾斜来补偿捕获的图像。

Description

具有图像补偿的图像捕获设备及其方法

本申请分别要求于2005年9月22日在韩国知识产权局提交的第10-2005-0088356号韩国专利申请以及2006年9月1日在韩国知识产权局提交的第10-2006-0084321号韩国专利申请的优先权，这些申请公开于此以资参考。

技术领域

本发明涉及一种具有图像补偿的图像捕获设备及其方法，更具体地讲，本发明涉及这样一种具有图像补偿的图像捕获设备及其方法，所述设备及方法可对根据相机相对于成像的对象的位置而发生变形的用户的脸部图像执行补偿。

背景技术

最近，设置有用于捕获图像的相机的移动通信装置已经得到广泛的使用。用这样的装置，用户可通过使用移动通信装置来捕获用户的脸部图像，并在所述移动通信装置的显示屏上设置捕获的图像，或者将捕获的图像通过无线网络发送到另一用户。IMT-2000服务，作为最近出现的新一代的移动通信服务，还在设置有相机的移动通信装置的用户之间提供视频摄影功能。

在视频电话的操作期间，因为视频电话通常需要用户连续盯着显示在移动通信装置的屏幕上的通信对方的脸部图像几到十几分钟，所以用户保持向下看手中的移动通信装置的姿势。也就是，附在移动通讯装置上的相机大多数位于用户的脸的下方以捕获用户的脸。在这种情况下，三维的用户的脸部图像会以这样的方式变形：用户的下巴显得要比实际的大而用户的额头显得要比实际的窄。这种现象被称之为透视。这种变形的脸部图像通常对用户来说是不自然的并且可引起心理上的抵触，这可能推迟视频摄影装置的广泛使用。

具体地讲，如果移动通信装置如图1A所示低于用户的脸、如图1B所示位于用户的脸前面或者如图1C所示高于用户的脸(即在用户的脸上方)，则由移动通信装置捕获的用户的脸部图像可能根据图像捕获角而有所不同。如上所述，如果用户保持向下看移动通信装置的一个姿势，即，如果用户的脸部图像被位于用户的脸下方的移动通信装置捕获，则用户的下巴显得比较大而用户的额头显得窄。也就是说，用户的下巴显得比正常的宽而用户的额头部分好像变窄了。

公开号为2004-0107890的韩国未审查专利公开了一种用于移动电话的图像显示补偿方法，该方法根据在用户和移动电话的显示屏之间的相对旋转角度差通过对移动电话的显示屏上出现的图像倾斜自动执行补偿来调节捕获的图像使之平行于用户的双眼。根据所述操作图像捕获设备的方法，通过对经过移动电话看到的图像的旋转角执行补偿，而不管用户的运动从而使图像平行于用户的眼，就可更容易更自然地识别显示的信息。

然而，用于补偿在捕获在视频摄影期间向下看相机的用户的脸部图像的处理中发生的三维变形的方法或设备还不是可利用的。

发明内容

本发明的一方面提供了一种具有图像补偿的图像补偿设备及其方法，所述设备及方法能够在使用移动通信装置的视频电话期间通过下述操作来获得用户期望的图像：确定捕获对象的图像的移动通信装置的倾斜状态，并根据确定的所述装置的倾斜状态来对捕获的图像执行补偿。

根据本发明的一方面，提供了一种具有图像补偿的图像补偿设备，所述图像捕获设备包括：图像捕获单元，捕获对象的图像；倾斜确定单元，确定图像捕获单元相对于对象的倾斜；和补偿单元，根据确定的倾斜来补偿捕获的图像。

根据本发明的另一方面，提供了一种图像补偿方法，所述方法包括：捕获对象的图像；确定图像捕获单元相对于对象的倾斜；和根据确定的倾斜来补偿捕获的图像。

根据本发明的另一方面，提供了一种视频电话设备，包括：装置中的图像捕获单元，具有光轴，并相对于所述装置的机身可移动；机身中的倾斜检测单元，检测装置相对于水平的倾斜；倾斜计算单元，基于机身所处的平面和光轴之间的角计算图像捕获单元的倾斜；补偿单元，基于计算出的倾斜来补偿由图像捕获单元捕获的图像的变形。

根据本发明的另一方面，提供了一种图像补偿方法，包括：检测作为安装有图像捕获单元的装置相对于水平面的角的第一倾斜角；计算作为图像捕获单元相对于所述装置的角的第二倾斜角；捕获对象的图像，并基于第一和第二倾斜角确定图像捕获单元是在对象的上方、还是对象的下方、或者与对象水平；和当图像捕获单元被确定为在对象的上方或者下方时，补偿捕获的图像的图像变形。

根据本发明的其他方面，提供了一种编码有用于使处理器执行上述方法的处理指令的计算机可读存储介质。

本发明的另外和/或其他方面和优点将在下面的描述中部分阐述，部分地，上述方面将会变得明显或通过实施本发明而获得。

附图说明

从下面结合附图对本发明的详细描述中，本发明的上述和/或其他方面和优点将变得更清楚并更容易理解，其中：

图1A到图1C是表示由一般视频摄影装置捕获的图像的示例性示图；

图2是表示根据本发明实施例的具有图像补偿的图像捕获设备的结构的框图；

图3是表示根据本发明实施例的倾斜检测单元的示图；

图4是表示根据本发明实施例的图像捕获单元和倾斜检测单元的示图；

图5是表示根据本发明实施例的捕获对象的图像的移动通信装置的示图；

图6A和图6B表示根据本发明实施例的捕获的图像和补偿的图像的示图；

图7是解释根据本发明实施例的在被补偿之前的图像的划分的部分的示图；

图8是解释根据本发明实施例的补偿的图像的划分的部分的示图；

图9表示根据本发明实施例的显示区域中的多余区域的示图；

图10A至10D是解释根据本发明实施例的处理显示区域中的多余区域的方法的示图；

图11是表示根据本发明实施例的具有图像补偿的图像捕获设备的结构的框图；

图12是表示通过将用户补偿单元添加到图2的设备上所提供的具有图像补偿的图像捕获设备的结构的框图；

图13是表示通过将用户补偿单元添加到图11的设备上所提供的具有图像补偿的图像捕获设备的结构的框图；

图14是表示根据本发明实施例的图像补偿方法的流程图；和

图15是表示根据本发明实施例的图像补偿方法的流程图。

具体实施方式

现在将对本发明实施例进行详细描述，其示例表示在附图中，其中，相同的标号始终指相同的部件。下面将参照附图来描述这些实施例以解释本发明。

在下面对实施例进行的描述中，具有图像补偿的图像捕获设备被描述为应用于比如相机和附有相机的移动通信装置(例如，移动电话或者个人数字助理(PDA))的装置。然而，应该理解：这些只是非限制性的示例，并且本实施例的所述设备也可被应用于，例如连接到个人计算机的相机。另外，根据实施例的图像补偿按照捕获对象的图像的模块的位置来补偿捕获的图像。在本实施例中，为了判断捕获对象的图像的模块的位置，可使用能检测对特定参考面的倾斜的装置，比如，作为非限制性实施例，倾斜传感器及加速计，或者可使用预定的倾斜。

图2是表示根据本发明实施例的具有图像补偿的图像捕获设备的结构的框图。

如图2所示，根据本发明实施例的具有图像补偿的图像捕获设备100包括：图像捕获单元110，捕获特定对象的图像；倾斜检测单元120，检测设置有图像捕获单元110的装置的倾斜；倾斜确定单元130，根据检测的倾斜确定图像捕获单元110的倾斜；和补偿单元140，根据确定的倾斜对捕获的图像执行补偿。

所述图像捕获设备100还包括：第一存储单元150，存储捕获的图像和补偿的图像；第二存储单元160，存储由倾斜检测单元120检测的倾斜及由倾斜确定单元130确定的倾斜；和发送单元170，通过特定的接口将补偿的图像发送到外面。在本实施例中，第一存储单元150、第二存储单元160及发送单元是可选的。

在下面对本实施例的描述中，对象是人。另外，图像捕获单元110的位置是向上看对象的位置。换句话说，图像捕获单元110位于对象所处的并且垂直于重力方向的平面的下方。因而，图像捕获单元110位于所述对象的下方来拍摄对象。然而，应该理解：这些只是非限制性的示例，也可使用其他的方位。

图像捕获单元110可为，作为非限制性的示例，安装在移动通信装置上的相机，由图像捕获单元110捕获的图像可被存储在第一存储单元150中。第一存储单元150可为，作为非限制性的示例，高速缓存、ROM、PROM、EPROM、EEPROM、闪存、或SRAM。在下面对本实施例的描述中，作为非易失性存储器的闪存被用于第一存储单元150。

图像捕获单元110被安装在所述移动通信装置中。然而，应该理解：这只是一个非限制性的示例以增强对本实施例的理解。所述图像捕获单元110可被应用于需要拍摄对象的其他装置。

倾斜检测单元120可通过使用可检测对特定参考面的倾斜的装置(比如，作为非限制性的示例，倾斜传感器和加速计)检测安装有图像捕获单元110的装置对特定的参考面的倾斜。换句话说，如果对象是人，则图像检测单元120可使用由图像捕获单元110捕获的图像来从人的脸部特征点之间的相对位置检测人和图像捕获单元之间的倾斜。在这种情况下，假设上述传感器被用于测量装置，则参考面是垂直于重力方向的面。在下面对本实施例进行的描述中，参考面是地。然而，应该理解，这只是非限制性的示例。

倾斜检测单元120被安装在通常被划分为机身和显示装置的移动通信装置的内部。

现在，将解释检测移动通信装置的机身对地的倾斜的情况。

图3是表示根据本发明实施例的图1的倾斜检测单元120的示图，所述倾斜检测单元120被用于检测移动通信装置的机身对(即，相对于)地的倾斜。

参照图2和图3，倾斜检测单元120被安装在移动通信装置的机身210中。倾斜检测单元120检测移动通信装置的机身210对与地220平行的面的倾斜。检测的倾斜被存储在第二存储单元160中。第二存储单元160可为，作为非限制性的示例，高速缓存、ROM、PROM、EPROM、EEPROM、闪存、或SRAM。另外，所述第一存储单元150和第二存储单元160可由硬件分别构造，但并不限于此。相反，作为非限制性的示例，它们可由硬件集成。

移动通信装置的机身210对与地220平行的平面的倾斜被表示为θ₁。使用地作为对由倾斜检测单元120检测的倾斜的参考面是非限制性的方便对本实施例的理解的一个示例，由倾斜检测单元120检测的倾斜的参考面可根据图像捕获环境而改变。如图3所示，对地220的θ₁为负值。然而，应该理解，θ₁不必要为负值，它也可能为正值。

在倾斜检测单元120的基础上，考虑到倾斜检测单元120和图像捕获单元110的图4的光轴111之间的角，倾斜确定单元130计算图像捕获单元110的倾斜。由倾斜确定单元130计算出的倾斜以与存储倾斜检测单元120检测的倾斜相同的方式被存储在第二存储单元160中。考虑由倾斜检测单元120检测出的倾斜和倾斜检测单元120和图像捕获单元110之间的角来计算图像捕获单元110的倾斜，从而图像捕获单元110的倾斜可为在特定对象的基础上对移动通信装置的位置的测量。具体地讲，参照图2至图4，倾斜确定单元130计算安装在移动通信装置的机身210中的倾斜检测单元120和图像捕获单元110的光轴111之间的角，然后通过计算出的角和由倾斜检测单元120检测出的倾斜来计算图像捕获单元110的倾斜。如图4所示，图像捕获单元110和倾斜检测单元120之间的角被称作θ₂。如图4所示，θ₂对倾斜检测单元120具有正值。然而，应该理解，θ₁不必要为负值，它也可能为正值。因此，由倾斜确定单元130计算的倾斜可为“θ₁+θ₂”。

补偿单元140通过由倾斜确定单元130计算出的倾斜“θ₁+θ₂”确定图像捕获单元110是在对象上面(上方)还是在对象下面。例如，如果假定地面的角是“0”而“θ₁+θ₂”为“0”，则确定图像捕获单元110的光轴平行于地220。当倾斜检测单元120平行于图像捕获单元110的光轴(即，在前面)安装时，由倾斜检测单元120检测的倾斜可被认为是相机参考地的倾斜。因此，如图5所示，确定如果计算出的倾斜“θ₁+θ₂”为负值，则图像捕获单元110位于对象300之上，而如果计算出的倾斜“θ₁+θ₂”为正值，则图像捕获单元110位于对象300之下。

在下面对本实施例的描述中，对象是用户的脸，用户期望的其脸部图像是由位于用户的脸上方的图像捕获单元110捕获的图像。另外，图像捕获单元110的光轴111指向用户。然而，应该理解，这些只是非限制性的示例。实际上，图像捕获单元110的光轴111也可指向对象而非用户。因此，根据“θ₁+θ₂”确定的图像捕获单元110的位置可被图像捕获单元110的光轴111改变。

如果在用户的脸下方的图像捕获单元110捕获了用户的脸，即如果“θ₁+θ₂”具有正值，则捕获的图像不是用户期望的图像。在这种情况下，补偿单元140对捕获的图像执行补偿。具体地讲，补偿单元140通过将用户预定的倾斜或缺省的倾斜与倾斜确定单元130计算出的倾斜相比较来确定是否捕获了用户期望的图像，然后按照判断的结果确定是否执行补偿。如果计算出的倾斜被确定为引起用户所不期望的脸部图像的透视变形的角，则补偿单元140补偿产生的变形。

具体地讲，如果位于用户的脸下方的图像捕获单元110已经捕获了用户的脸部图像，如图6A所示，则捕获的图像可谓变形的图像，其中，下巴部分310显得突出而额头部分320显得窄。因此，补偿单元140对图6A所示的图像执行透视补偿以提供如图6B所示的补偿的图像。在图6B的补偿的图像中，与图6A的变形的图像相比，下巴部分310变小而额头部分320变大。例如，如果假定图6A的下巴部分310的宽度是“A”而图6B的下巴部分的宽度为“B”，则在它们之间存在“A＞B”的关系。

在本实施例中，除了如图6A和图6B所示的图像修改之外，还可在图像捕获期间通过相机闪光灯强制闪光或者增加图像的亮度来执行图像补偿以减小图像的阴影效果。

更具体地讲，如图7所示，补偿单元140可以以这样的方式执行图像补偿，即捕获的图像在xy平面上被划分为在水平及垂直方向上具有相同间距的格子；随着y从原点(0，0)增加，图像的宽度W和垂直方向上的格子的间距d减小。因此，如图8所示，补偿单元140可通过加宽由位于用户的脸下方的图2的图像捕获单元110捕获的图像上部、使所述图像的下部变窄并减小垂直方向上的格子间距d来对所述图像进行补偿。换句话说，补偿单元140以如下所述的方式执行补偿，即：捕获的图像被划分成两个分别与执行图像补偿之前的区域具有相同形状和大小的并且在上下方向上具有不同位置的特定区域，从而，图像的下面区域的大小小于上面区域的大小。

如果补偿的图像的区域不同于补偿的图像被显示的区域，即如果补偿的图像的区域小于或与显示区域不一致，则在由补偿单元140对捕获的图像执行补偿之后，补偿单元140可对空白区域执行另一处理以防止用户对没有图像显示的空白区域产生心理上的抵触。例如，在执行根据图7和图8的补偿之后，补偿的图像的下部的宽度变得比其上部的宽度窄。因此，当显示区域是正方形的形状时，补偿的图像的上部的宽度变得与显示区域的宽度相等，但是补偿的图像的下部的宽度变得比显示区域的宽度小，从而引起在补偿的图像的下面两侧发生空白区域。

换句话说，如图9所示，所述补偿单元可对由于显示区域410和补偿的图像区域420的不同大小而发生的空白区域430执行处理。

在本实施例中，为了处理空白区域430，如图10A所示，空白区域430可由构成执行补偿之前的图像440的空白区域430的像素值填充；如图10B所示，在空白区域中的特定像素的基础上，所述空白区域可用在相同行中最近的位置上存在的补偿的图像的像素值填充；或者如图10C所示，特定的帧(例如，图像帧)可沿着显示区域410的周围被覆盖以便空白区域被隐藏。在这种情况下，覆盖和像素值可被用于这样的情况：补偿的图像的上部的宽度等于显示区域410的宽度。如果捕获的图像明显大于显示区域410，则可如图10D所示，在捕获的图像被补偿之后补偿的图像可被剪切(即，裁剪)以匹配于显示区域410。在这种情况下，应该考虑到由图像捕获单元110捕获的图像的分辨率高于显示区域410的分辨率，并且没有被显示在显示区域410中的图像区域在图像补偿之后被去除。

除了以上参照图10A到图10D描述的处理空白区域430的方法之外，可考虑剪出除空白区域430之外的补偿的图像420的未受损害的方形区域并将剪出的区域放大到足以填充显示区域410的方法。

如上所述，已经参照图10A到图10D解释了处理由于显示区域410和补偿的图像420之间大小的不同而发生的空白区域430的方法。然而，对空白区域的处理并不限于此。

补偿单元140可使用几何变换技术和作为几何变换技术的一种的透视变换技术执行图像补偿。然而，应该理解，这些只是非限制性的方便对本实施例的理解的示例，其他的多种技术也可用于图像补偿。

作为参考，所述透视变换指典型的基于矩阵的图像变换算法，并且可根据等式(1)来执行所述图像补偿。在等式(1)中，“x”和“y”表示在图像被补偿之前的特定点，“x’”和“y’”表示其位置已经被所述透视变换技术改变的图像的补偿的点，“w”表示权值。

在本实施例中，在图像捕获单元110的参考地的倾斜的基础上来调节作为等式(1)的变换矩阵的系数的m00、m01、m02、m10、m11、m20和m22的值，所述图像捕获单元110的参考地的倾斜已经最后由倾斜确定单元130计算。

等式(1)

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ w\end{array}\right]\text{=}\left[\begin{array}{ccc}m00& m01& m02\\ m10& m11& m12\\ m20& m21& m22\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$

$x^{\′}=\frac{m00x+m01y+m02}{m20x+m21y+m22}$

$y^{\′}=\frac{m10x+m11y+m12}{m20x+m21y+m22}$

$X=\frac{x^{\′}}{w},$ $Y=\frac{y^{\′}}{w}$

在等式(1)中，“x”和“y”表示在图像被补偿之前的图像的坐标，“x’”和“y’”表示补偿的图像的坐标。另外，在等式(1)中使用3×3的矩阵只是示例性的，并不限于此。2×2的矩阵也可被使用。在这种情况下，用户可通过改变水平幅度值m00和垂直幅度值m11来再补偿由补偿单元140补偿的图像，所述水平幅度值m00和垂直幅度值m11是用户可实际上通过用户补偿单元190改变的参数。

发送单元170将存储在第一存储单元150中的图像发送到另一用户或者发送到外部装置。所述发送单元170可通过有线网络(比如作为非限制性的示例的以太网和通用串行总线(USB))、移动电话网络(比如CDMA、TDMA和GSM)、和无线网络(比如蓝牙和802.11a/b/g)发送图像。在这种情况下，发送单元170可在对图像执行/不执行特定处理的情况下发送存储在第一存储单元150中的图像。如果需要快速发送，则不对图像进行处理，发送单元直接发送存储在第一存储单元150中的图像。在这种情况下，补偿的图像被存储在缓冲器(未示出)中，然后被发送到外部。

图11是表示根据本发明实施例的具有图像补偿的图像捕获设备的结构的框图。

如图11所示，具有图像补偿的图像捕获设备100包括：图像捕获单元110，捕获特定对象的图像；倾斜存储单元180，存储关于图像捕获单元110的预定倾斜的信息；倾斜确定单元130，根据存储的倾斜信息确定图像捕获单元110的倾斜；和补偿单元140，根据确定的倾斜对捕获的图像执行补偿。

与图2的具有图像补偿的图像捕获设备100不同，图11的具有图像补偿的图像捕获设备100不检测倾斜，而是使用预定的倾斜。换句话说，从当使用包括图像捕获单元110的设备时通常采用的姿势来试验性地获得存储在倾斜存储单元180中的倾斜信息。另外，存储在倾斜存储单元180中的倾斜信息可在制作处理中被存储或者稍后通过固件升级，但倾斜信息的存储并不限于此。

与图2中标号相同的图11中的构成部件具有相同的功能，从而省略其重复的描述。

然而，与图2的倾斜确定单元130不同，图11的倾斜确定单元130通过使用存储在倾斜存储单元180中的倾斜信息来确定图像捕获单元110的倾斜。

如上所述，参照图2和图11，补偿单元140可按照由倾斜确定单元130确定的倾斜对图像捕获单元110捕获的图像执行补偿。然而，在由补偿单元140执行补偿之后，用户可根据用户的倾向或者品味来直接执行补偿。

为此，如图2和图11所示的图像捕获设备还可包括用户补偿单元190，从而用户可如图12和图13所述直接补偿图像。在这种情况下，如果图像捕获设备100是移动通信装置，则用户补偿单元190可以是设置在所述移动通信装置中的按钮。因此，通过再补偿曾由补偿单元140补偿的图像，用户可获得适合于用户的图像。这时，通过用户补偿单元140来改变作为等式(1)的参数的参数m00和m11，曾由补偿单元140补偿的图像被补偿。

例如，假定对象是人，如果根据倾斜确定单元130确定的倾斜在m00＝0.7的情况下，用户期望人的脸显得更尖一些，那么他/她可通过用户补偿单元190将m00＝0.7改变为m00＝0.8。如果相对于大多数用户来说在移动通信装置位于脸的上方时，用户使用移动通信装置，则用户可通过用户补偿单元190将根据倾斜确定单元130确定的倾斜的m11＝0.90改变为m11＝0.8。

图14是表示操作根据本发明实施例的具有图像补偿的图像捕获设备的方法的流程图。仅为了便于解释，将参照图2的设备来描述所述方法。

如图14所示，按照操作根据本实施例的图像捕获设备的方法，倾斜检测单元120检测安装有图像捕获单元110的装置的倾斜(操作S110)。在下面对本实施例的描述中，图像捕获单元110是安装在移动通信装置中的相机，并且倾斜检测单元120被安装在所述移动通信终端的机身210中。因此，如上所述，倾斜检测单元120检测移动通信装置的机身210对地220的倾斜，并且检测出的倾斜被存储在第二存储单元160中。然而，应该理解相机只是一个非限制性的示例。

倾斜确定单元130考虑倾斜检测单元120和图像捕获单元110的光轴之间的角来计算图像捕获单元110的倾斜(操作S120)。计算出的倾斜可以以与存储检测出的倾斜相同的方式被存储在第二存储单元160中。

然后，补偿单元140确定图像是否已通过捕获单元110而被捕获(操作S130)。换句话说，补偿单元确定通过用户的操作由图像捕获单元110捕获的图像是否已经存储在第一存储单元150中。

另外，补偿单元140通过图像捕获单元110的倾斜确定在捕获的图像中是否已经发生变形(操作S140)。在下面对本发明实施例的描述中，用户期望通过图像捕获单元110来捕获对象的上部的图像，从而补偿单元140在图像捕获单元110的倾斜的基础上确定图像捕获单元110是位于对象的上方还是对象的下方。

作为判断结果，如果图像没有在用户期望的位置被捕获，则补偿单元140通过使用透视变换技术等来对存储在第一存储单元150中的图像执行补偿(操作S150)。例如，如果如图6A所示，虽然用户期望在用户的脸的上方的位置捕获图像，但是如果在用户的脸的下方的位置捕获了图像，则如图6A所示，补偿单元使用透视变换技术对存储在第一存储单元150中的图像执行补偿。

如果完成了图像补偿，则补偿单元140将补偿的图像存储在第一存储单元150中(操作S160)。

其后，用户可通过设置用户的移动通信装置的显示屏或者将用户的图像发送到另一用户来考虑通信。

这时，如果用户期望再补偿已经被补偿单元140补偿的图像(操作S170)，他/她可通过用户补偿单元190来再补偿所述图像(操作S180)。

图15是表示根据本发明实施例的操作具有图像补偿的图像捕获设备的方法的流程图。仅为了便于解释，将参照图11的设备来描述所述方法。

如图15所示，按照根据本实施例的具有图像补偿的视频电话装置，倾斜确定单元参照存储在倾斜存储单元180中的倾斜信息确定图像捕获单元110的倾斜(操作S210)。

然后，补偿单元140确定是否已通过图像捕获单元110捕获了图像(操作S220)。换句话说，补偿单元140确定通过用户的操作由图像捕获单元110捕获的图像是否已经存储在第一存储单元150中。

如果对象的图像被图像捕获单元110捕获，则补偿单元140参照确定的倾斜来对捕获的图像执行补偿(操作S230)。

如果完成了图像的补偿，则补偿单元140将补偿的图像重新存储在第一存储单元150中(操作S240)。

这时，如果用户期望再补偿已经被补偿单元140补偿的图像(操作S250)，他/她可通过用户补偿单元190来再补偿在第一存储单元150中存储的图像(操作S260)。

根据本发明上述实施例，在具有图像补偿的图像捕获设备及操作所述图像捕获设备的方法中，这里使用的术语“单元”，是指，但并不限于，软件或硬件组件，比如场可编程门阵列(FPGA)或者执行特定任务的专用集成电路(ASIC)。一个单元可被方便地配置以驻留在可寻址的存储介质上或者被配置为在一个或多个处理器上运行。从而，作为示例，单元可包括：组件(比如，软件组件、面向对象的软件组件、类组件及任务组件)、进程、函数、属性、程序、子例程、程序代码段、驱动程序、固件、微码、电路、数据、数据库、数据结构、表、数组和变量。组件和单元中设置的这些功能可被结合成更少的组件或单元，或者进一步被分离为另外的组件和单元。

在上面对本发明实施例进行的描述中，参考了表示框图和流程图的附图。应该理解，在流程图中的每一块及流程图中的多个块的结合可由计算机程序指令来实现。这些计算机程序指令可被提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器以产生设备，从而，这些经所述计算机或者其他可编程数据处理设备的处理器执行的指令创建用于实现在一个流程块或多个流程块中指定的功能的方法。

这些计算机程序指令还可被存储在计算机可用或者计算机可读的存储器中，所述存储器可指示计算机或其他可编程数据处理设备以特定的方式工作，从而存储在计算机可用或计算机可读存储器中的指令产生一项包括用于实现所述流程块中指定的功能的指令方法的产品。

所述计算机程序指令还可被加载到计算机或者其他可编程的数据处理设备以引起一系列的将在所述计算机或者其他可编程设备上执行的操作处理来产生计算机实现的处理，从而在所述计算机或者其他可编程设备上执行的指令提供用于实现在流程块中指定的功能。

另外，流程图中的每一块可代表包括一个或多个用于实现特定逻辑功能的模块、程序段或一部分代码。还应该注意到：在一些可替换的实施例中，块中表示的功能可以不同于描述和/或表示的那些顺序出现。例如，根据涉及的功能，连续示出的两个块实际上可同时执行或者这些块有时可以以相反的顺序执行。

根据本发明上述实施例，按照具有图像补偿的图像捕获设备及操作所述图像捕获设备的方法，即使用户在通过移动通信装置进行视频通话期间保持着自然的姿势，也可以补偿由于相机的捕获角而引发用户的脸部图像的变形，对被对方看到的脸部图像的心理上的抵触可被最小化从而促进了视频摄影装置的广泛应用。

尽管已经显示并描述了几个本发明实施例，但是本发明并不限于描述的这些实施例。相反，本领域的技术人员应该理解：在不脱离本发明的原理和精神的情况下，可对这些实施例进行修改，本发明的范围由权利要求及其等同物所限定。

Claims (38)

1.一种图像捕获设备，包括：

图像捕获单元，捕获对象的图像；

倾斜检测单元，检测安装有图像捕获单元的装置相对于特定参考面的倾斜；

倾斜确定单元，基于检测的装置相对于特定参考面的倾斜和倾斜检测单元与图像捕获单元的光轴之间的角来确定图像捕获单元相对于对象的倾斜；和

补偿单元，根据图像捕获单元相对于对象的倾斜来确定图像捕获单元相对于所述对象的位置，并根据确定的位置来补偿捕获的图像。

2.如权利要求1所述的图像捕获设备，其中，所述对象是人。

3.如权利要求1所述的图像捕获设备，其中，所述图像捕获单元从对象下方的位置捕获所述对象的图像。

4.如权利要求1所述的图像捕获设备，还包括：

第一存储单元，存储由图像捕获单元捕获的图像；和

第二存储单元，存储关于检测的倾斜和确定的倾斜的信息。

5.如权利要求1所述的图像捕获设备，其中，所述倾斜检测单元使用惯性传感器检测安装有图像捕获单元的装置相对于垂直于重力方向的平面的倾斜。

6.如权利要求1所述的图像捕获设备，其中，所述倾斜确定单元将存储的倾斜之一选择为图像捕获单元相对于对象的倾斜。

7.如权利要求1所述的图像捕获设备，其中，所述补偿单元根据由倾斜确定单元确定的图像捕获单元相对于对象的倾斜来确定是否对捕获的图像执行补偿并确定补偿的水平。

8.如权利要求7所述的图像捕获设备，其中，所述补偿单元通过几何变换技术来补偿捕获的图像。

9.如权利要求8所述的图像捕获设备，其中，所述补偿单元根据确定的倾斜来调节用于图像补偿的变换矩阵系数。

10.如权利要求8所述的图像捕获设备，其中，所述补偿单元使用捕获的图像的几何变换技术之中的透视变换技术。

11.如权利要求8所述的图像捕获设备，其中，当通过几何变换技术变换捕获的图像时，所述补偿单元执行补偿以便确定两个特定的区域，所述这两个特定的区域分别与图像被补偿之前的区域具有相同的形状和大小并且在上下方向上具有不同位置，并且相对靠下的位置上的区域的大小小于相对靠上的区域的大小。

12.如权利要求1所述的图像捕获设备，还包括：用户补偿单元，通过接收用户对确定的图像捕获单元相对于对象的倾斜的改变来调节在补偿单元中执行的图像补偿的程度。

13.如权利要求8所述的图像捕获设备，还包括：显示单元，显示由补偿单元补偿的图像，

其中，当补偿的图像的区域与显示单元的显示区域不一致并且显示了没有图像的空白区域时，所述补偿单元对空白区域执行处理。

14.如权利要求13所述的图像捕获设备，其中，所述补偿单元用在图像被补偿之前构成相应区域的图像像素值来填充空白区域。

15.如权利要求13所述的图像捕获设备，其中，在空白区域的特定像素的基础上，所述补偿单元用在相同行中最近位置上存在的补偿的图像的像素值来填充空白区域。

16.如权利要求13所述的图像捕获设备，其中，所述补偿单元在显示区域的周围上覆盖特定的帧以便隐藏空白区域。

17.如权利要求13所述的图像捕获设备，其中，当所述图像捕获单元捕获了大于显示区域的图像时，所述补偿单元补偿所述图像，然后裁剪补偿的图像以与显示区域匹配。

18.如权利要求13所述的图像捕获设备，其中，所述补偿单元可以以正方形的形式从补偿的图像剪出除空白区域之外的区域，然后将剪出的区域扩大到足以填充显示区域的大小。

19.一种图像补偿方法，所述方法包括：

捕获对象的图像；

检测安装有捕获图像的图像捕获单元的装置相对于特定参考面的倾斜；

基于检测的装置相对于特定参考面的倾斜和用于检测装置相对于特定参考面的倾斜的倾斜检测单元与图像捕获单元的光轴之间的角来确定图像捕获单元相对于对象的倾斜；和

根据图像捕获单元相对于对象的倾斜来确定图像捕获单元相对于所述对象的位置，并根据确定的位置来补偿捕获的图像。

20.如权利要求19所述的方法，其中，所述对象是人。

21.如权利要求19所述的方法，其中，所述捕获的步骤包括从对象下方的位置捕获所述对象的图像。

22.如权利要求19所述的方法，还包括：

存储捕获的图像；和

存储关于检测的倾斜和确定的倾斜的信息。

23.如权利要求19所述的方法，其中，在所述检测步骤中，使用惯性传感器检测安装有所述图像捕获单元的装置相对于垂直于重力方向的平面的倾斜。

24.如权利要求19所述的方法，其中，所述补偿步骤包括：根据确定的图像捕获单元相对于对象的倾斜来确定是否对捕获的图像执行补偿并确定补偿的水平。

25.如权利要求24所述的方法，其中，在所述补偿步骤中，通过几何变换技术来补偿捕获的图像。

26.如权利要求24所述的方法，其中，所述补偿步骤包括：根据确定的倾斜来调节被用于图像补偿的变换矩阵系数。

27.如权利要求24所述的方法，其中，在所述补偿步骤中，通过捕获的图像的几何变换技术之中的透视变换技术来补偿捕获的图像。

28.如权利要求24所述的方法，其中，在所述补偿步骤中，当通过几何变换技术补偿捕获的图像时，执行所述补偿步骤以便确定两个特定的区域，所述两个特定的区域分别与图像被补偿之前的区域具有相同的形状和大小并且在上下方向上具有不同位置，并且相对靠下的位置上的区域的大小小于相对靠上的区域的大小。

29.如权利要求19所述的方法，还包括：使用户改变确定的倾斜来调节在补偿单元中执行的图像补偿的程度。

30.如权利要求25所述的方法，其中，当补偿的图像的区域与显示补偿的图像的显示区域不一致，从而显示了没有图像的空白区域时，所述补偿步骤包括：对空白区域执行处理。

31.如权利要求30所述的方法，其中，在所述补偿步骤中，用在图像被补偿之前构成相应区域的图像像素值来填充空白区域。

32.如权利要求30所述的方法，其中，在所述补偿步骤中，在空白区域的特定像素的基础上，用在相同行中最近位置上存在的补偿的图像的像素值来填充空白区域。

33.如权利要求30所述的方法，其中，所述补偿步骤包括：在显示区域的周围上覆盖特定的帧以便隐藏空白区域。

34.如权利要求30所述的方法，其中，当捕获了大于显示区域的图像时，所述补偿步骤包括：补偿所述图像，然后裁剪补偿的图像以与显示区域匹配。

35.如权利要求30所述的方法，其中，所述补偿步骤包括：可以以正方形的形式从补偿的图像剪出除空白区域之外的区域，然后将剪出的区域放大到足以填充显示区域的大小。

36.一种视频电话设备，包括：

所述视频电话设备中的图像捕获单元，具有光轴，并相对于所述视频电话设备的机身可移动；

机身中的倾斜检测单元，检测所述视频检测设备相对于水平的倾斜；

倾斜确定单元，基于机身所处的平面与光轴之间的角和由倾斜检测单元检测的倾斜来确定图像捕获单元相对于对象的倾斜；

补偿单元，基于确定的图像捕获单元相对于对象的倾斜来补偿由图像捕获单元捕获的图像的变形。

37.如权利要求36所述的设备，其中，所述补偿单元通过判断捕获的图像是否展示了透视变形来补偿捕获的图像的变形，并通过使用透视补偿来补偿所述变形。

38.一种图像补偿方法，包括：

检测作为安装有图像捕获单元的装置相对于水平面的角的第一倾斜角；

计算作为图像捕获单元相对于所述装置的角的第二倾斜角；

捕获对象的图像，并基于第一和第二倾斜角确定图像捕获单元是在对象的上方、还是对象的下方、或者与对象水平；和

当图像捕获单元被确定为在对象的上方或者下方时，补偿捕获的图像的图像变形。

Images