CN100403767C - 移动终端摄像装置的图像补偿系统及其方法 - Google Patents

Abstract

提供了一种用于具有照相机的移动通信终端的图像修正系统。在一个实施例中，图像修正系统包含检测和修正照相机捕获图像的不希望的图像方向的处理单元，其中根据由在捕获图像中的准色彩信息象素形成的第一参考线计算不希望的方向。

Description

移动终端摄像装置的图像补偿系统及其方法

相关申请的交叉参考

按照35U.S.C.§119(a)，本申请要求于2004年7月6日提交的韩国申请号为10-2004-52365的在先提交日的权益和优先权，因此其公开内容通过参考被整体合并于此。

发明领域

本发明涉及一种具有照相机的移动终端，以及尤其涉及一种具有自动补偿摄影图像倾斜的移动终端图像补偿装置。

发明背景

一个移动终端通过移动交换中心(MSC)在基站的服务区中与另一终端进行无线通信。第三代移动通信系统提供语音和多媒体功能。能使用一种配备照相机的移动终端来发送/接收摄像图像。

具有照相机的移动终端具有拍摄物体的照相机和用于在显示屏上显示拍摄图像的显示单元。通常，数字照相机的显示单元显示水平长度长于垂直长度的图像。然而，具有照相机的移动终端显示单元显示垂直长度长于水平长度的图像。

图1A和1B是展示分别显示在数字照相机显示单元和移动终端显示单元上的图像的视图。

正如图1A和1B所示，在大于30万象素(640×480)的图像中水平长度(640象素)长于垂直长度(480象素)。如果使用数字照相机，显示的图像在水平长度和垂直长度之间具有与直接存储的图像相同的比率。因此，即使屏幕倾斜(也就是说，有角度的)，用户也能在适当的位置检测倾斜和偏移。

然而，如果使用移动终端，图像主要被显示在垂直长度长于水平长度的矩形显示单元上，正如虚线所示。因此，当产生图像倾斜时，用户不能通过移动终端的预览屏幕容易地检测图像倾斜。而且，在使用移动终端拍摄物体的时，用户用一只可能发抖的手拍摄物体。因此，不管采用的是否是高图像质量的传感器，移动终端拍摄的图像是经常倾斜的或模糊的。

发明概述

提供了一种具有照相机的移动通信终端图像修正系统。在一个实施例中，图像修正系统包含一个处理单元，用于检测和修正照相机捕获的图像的不希望的图像方向，其中根据由在捕获图像中的准色彩信息的象素形成的第一参考线来计算不希望的方向。

该系统进一步包含存储捕获图像的存储单元以及通过在以线单元格式输出的捕获图像中比较第一参考线和第二参考线来检测不希望的图像方向的处理单元。

不希望的图像方向是由照相机在第一方向上倾斜一个第一角度A引起的，当捕获图像时，其中通过在第二方向上旋转捕获图像一个第二角度B来修正不希望的图像方向。

在一个优选实施例中，第二角度B等于第一角度A并且第二方向与第一方向相对。存储单元包含至少一个暂时存储捕获图像的RAM；和存储捕获图像的修正图像的闪存存储器。

在另一个实施例中，该系统进一步包含用于提高预处理与捕获图像相关的数据的处理单元速度的数字信号处理器；一个用于无线传送包含捕获图像的修正图像的信号的无线通信单元；和一个用于显示捕获图像的修正图像的显示单元。

根据实施方式，捕获的图像以YCbCr，YUV和RGB中的至少一种格式存储在存储器中。当捕获的图像以YCbCr，YUV格式被存储时，处理单元基于表示亮度分量的Y值检测第一参考线。在一个替换实施例中，当以RGB格式存储捕获图像时，处理单元基于G值的分布检测第一参考线。

在另一个实施例中，处理单元检测由在捕获图像中的M比特表示的Y值，并且如果M比特中有N个比特相等，Y值被设定为第一参考线。在一些实施例中，如果处理单元检测由捕获图像中的M比特表示的G值，并且如果M比特中有N个比特相等，G值被设定为第一参考线。

然而根据本发明的另一方面，提供了具有照相机的移动通信终端的一种修正方法。该方法包含使用照相机拍摄物体；产生拍摄物体的图像数据；根据由在图像数据中的准色彩信息的象素形成的第一参考线检测不希望的图像方向；并且修正不希望的图像方向。

该检测包含通过分析图像中心附近的图像数据来确定图像数据的分布，当图像是以YCbCr，YUV格式时，检测表示图像亮度分量的Y值分布，或者当数据是以RGB格式时确定G值的分布。

在一个实施例中，该检测进一步包含检测由在捕获图像中的M比特表示的Y值；和如果M比特中有N个比特相等时，设定Y值为第一参考线。

结合附图从以下本发明的详细描述中，本发明的前述和其它目的，特征，方面和优点将变得更明显。

附图简述

被包括以提供了本发明的进一步理解并且被包含组成了本说明书的一部分的附图，说明了本发明的示例性实施例并且与说明书一起用来解释本发明原理。

图1A和1B是分别展示在数字照相机的显示单元上的图像和在移动终端的显示单元上的图像的视图。

图2是根据本发明的优选实施例其中具有照相机的移动终端的图像补偿装置的方框图。

图3是展示根据本发明的一个实施例用于判断图像倾斜的图像数据的参考线的示意性视图。

图4是展示根据本发明的优选实施例其中具有照相机的移动终端的图像补偿方法的流程图。

图5A是展示倾斜图像的示意性视图。

图5B是展示以倾斜的方式存储在RAM中的示意性视图。

图5C是展示根据本发明的一个实施例用于判断图像倾斜过程的示意性视图。

图5D是展示根据本发明的优选实施例补偿图像的示意性视图。

图5E是展示根据本发明的优选实施例在补偿之后对损失区域进行剪切处理的图像的示意性视图。

图5F是展示根据本发明优选实施例在补偿之后对损失区域进行展开处理的图像的示意性视图。

优选实施例的详细描述

现在详细参考本发明的优选实施例，在附图中说明其实例。

正如在图2中所示，其具有照相机的移动终端的图像补偿装置包含用于拍摄物体的照相机10和输出拍摄图像的图像数据。包括中央处理单元40用于基于由准色彩信息的象素形成的参考线确定图像的倾斜。当检测到图像倾斜时分析从照相机输出的图像数据。

同样提供了数字信号处理器30，它对高速图像数据执行数字信号操作并且因而补充中央处理单元40的操作。还提供了用于存储从照相机10提供的图像数据的存储单元50或者中央处理单元40；用于无线发送/接收通信信号的无线通信单元20；和用于把从照相机输出的图像或者从中央处理单元输出的图像显示在屏幕上的显示单元60。

存储单元50包含暂时存储由照相机10拍摄的图像数据的RAM51，和用于存储已经由中央处理单元40补偿的图像数据的闪存存储器52。显示单元60可以包含LCD屏幕，但是不限于LCD屏幕。

参考图3和4，用户预览将要被拍摄在显示单元60上的物体图像并且拍摄物体(S10)。然后，由照相机的图像传感器20拍摄的物体图像被暂时存储在RAM51中(S20)。图像数据被存储在RAM51中，例如，以YCbCr格式，YUV格式，或者RGB格式。

中央处理单元40分析拍摄的图像数据以确定图像是否倾斜(S30)。例如，由于图像数据从作为线路单元的照相机的图像传感器被输出并且被显示在屏幕上，作为线路单元输出的图像数据可以被设定为参考线。因此分析图像数据以检测准色彩信息的象素。通过比较作为线路单元输出的图像数据的参考线和由准色彩信息形成的参考线，获得图像倾斜度。

当确定已经产生图像倾斜时(S40)，中央处理单元40补偿图像倾斜。例如，通过在与图像倾斜方向相对的方向上旋转图像来执行补偿。

在一个实施例中，中央处理单元40确定在允许的范围内是否已经产生了图像倾斜(S50)。如果在允许的范围内已经产生了图像倾斜，则补偿图像数据(S60)。然后由于在补偿过程中图像旋转进原始尺寸中，图像数据被重新存储在损失的区域中(S70)。然后补偿的图像数据被存储进闪存存储器中(S80)。如果图像没有倾斜，不进行补偿图像数据就被存储进闪存存储器中。

参考图5A到5E详细解释根据本发明的移动终端的图像补偿方法。

正如在图5A中所示，假定使用移动终端拍摄物体。

正如在图5B中所示，在被存储进闪存存储器52中之前拍摄的图像被暂时存储进RAM51中。例如，从照相机10的图像传感器输出的一个值以YCbCr，YUV和RGB格式被存储进存储单元50中。

正如在图5C中所示，中央处理单元40分析存储在RAM中的图像数据因而检测图像倾斜(或错误)。也就是说，由于在拍摄的时候物体被放置在屏幕的中间，通过分析图像中心附近的输出数据确定图像数据的分布。在本发明中，当从照相机传感器输出的数据是YCbCr，YUV时通过检测Y值的分布、亮度分量来检查图像倾斜并且当数据是RGB时通过确定G值的分布来检查图像倾斜。Y值和G值是从照相机的图像传感器输出的图像数据中检测到的。

在一个实施例中，基于分析的图像数据，通过检测存储在RAM51的图像数据之间的准色彩信息确定图像倾斜。例如，从照相机10的图像传感器中输出的图像数据被作为线路单元输出，以便和确定准色彩信息象素形成的参考线一样确定线路单元的图像数据参考线。同样，例如通过验证Y值或G值设定由准色彩信息象素形成的参考线。

考虑到从照相机传感器输出的图像数据通常由8比特组成，如果Y值中的6比特与G值中的6比特相等，考虑该值为同一色彩信息因而来设定由准色彩信息象素形成的参考线。

正如在图5D中所示，如果确定已经产生了图像倾斜，确定图像倾斜是否在允许的范围内。如果图像倾斜在允许的范围内，补偿图像数据。在优选实施例中，允许的范围被限制在倾斜角在基于水平线的5°范围内以便补偿图像能保持与原始图像类似的状态。通过在与参考线的图像倾斜方向相对的方向上旋转图像数据来执行图像补偿，其中该参考线是由与基于线路单元图像数据参考线的倾斜角一样大的准色彩信息象素形成的参考线。

如果图像倾斜不在允许的范围内，不执行图像补偿而是在闪存存储器中存储原始图像。

正如图5E和5F中所示，处理由于在补偿过程时候的图像旋转损失的区域。也就是说，由于当产生图像倾斜时旋转图像用于图像补偿，产生了损失的区域。因此，通过剪切或扩大补偿图像损失的图像被重新存储进原始尺寸中。最后，补偿的图像被存储进存储单元的闪存存储器52中。

由于本发明在不脱离其精神或基本特征的情况下以几种形式表达，同样也能理解上述实施例不能被前述说明的任何细节所限制，除非另外说明，而应该在广义上构成落入所附权利要求书定义的精神和范围内，并且因此落入权利要求边界和范围或者这种边界和范围的等效物的所有的变化和修改都希望被所附权利要求所包含。

Claims (19)

1.一种用于具有照相机的移动通信终端的图像修正系统，该图像修正系统包含：

用于检测和修正由照相机捕获图像的不希望的图像方向的处理单元，其中所述处理单元将由在捕获图像中的准色彩信息象素形成的第一参考线和在捕获图像中以线路单元格式输出的第二参考线进行比较，以检测捕获图像的不希望的图像方向，并将捕获图像以与不希望的图像方向相反的方向旋转，从而修正不希望的图像方向。

2.权利要求1的系统，进一步包含存储捕获图像的存储单元。

3.权利要求1的系统，其中当图像被捕获时，不希望的图像方向由照相机在第一方向上倾斜一个第一角度A引起，并且其中通过在第二方向上旋转捕获图像一个第二角度B来修正不希望的图像方向。

4.权利要求3的系统，其中第二角度B等于第一角度A。

5.权利要求4的系统，其中第二方向与第一方向相对。

6.权利要求2的系统，其中存储单元包含

用于暂时存储捕获图像的RAM；和

存储捕获图像的修正图像的闪存存储器中的至少一个。

7.权利要求1的系统，进一步包含通过预处理与捕获图像相关的数据来提高处理单元速度的数字信号处理器。

8.权利要求1的系统，进一步包含：

用于无线传送包含捕获图像的修正图像的信号的无线通信单元。

9.权利要求1的系统，进一步包含：

用于显示捕获图像的修正图像的显示单元。

10.权利要求1的系统，其中捕获图像以至少一个YCbCr，YUV和RGB格式存储进存储单元中。

11.权利要求10的系统，其中当捕获图像以YcbCr，YUV格式被存储时，处理单元基于表示亮度分量的Y值检测第一参考线。

12.权利要求10的系统，其中当捕获图像以RGB格式被存储时，处理单元基于G值的分布检测第一参考线。

13.权利要求10的系统，其中处理单元检测由捕获图像中的M比特表示的Y值，并且如果M比特中有N个比特相等，Y值被设定为第一参考线。

14.权利要求10的系统，其中处理单元检测由捕获图像中的M比特表示的G值，并且如果M比特中有N个比特相等，G值被设定为第一参考线。

15.一种用于具有照相机的移动通信终端的图像修正方法，该方法包含：

使用照相机拍摄物体；

产生拍摄物体的图像数据；

通过将由在图像数据中的准色彩信息象素形成的第一参考线和在捕获图像中以线路单元格式输出的第二参考线进行比较，以检测所述图像数据的不希望的图像方向；和

通过将图像数据以与不希望的图像方向相反的方向旋转，修正不希望的图像方向。

16.权利要求15的方法，其中该检测包含：

通过分析图像中心附近的图像数据确定图像数据的分布。

17.权利要求16的方法，其中该检测进一步包含：

当图像数据是YCbCr，YUV格式时，检测表示图像亮度分量的Y值的分布。

18.权利要求16的方法，其中该检测进一步包含当图像数据为RGB格式时确定G值的分布。

19.权利要求16的方法，其中该检测进一步包含：

检测由捕获图像中的M比特表示的Y值；和

如果M比特中有N个比特相等，设定Y值为第一参考线。

Images