CN101771797B - 用于生成压缩文件的方法和装置及包括该装置的终端 - Google Patents

Abstract

用于生成压缩文件的方法和装置及包括该装置的终端。本发明提出了一种用于生成压缩文件的方法和装置，以及一种包括该装置的终端。在一个方面，所述方法包括：接收至少包括原始图像的压缩图像数据的帧数据，当该压缩图像数据处于预设的基准值或更低的低照度状态时，对该压缩图像数据执行图像校正处理，并且当该压缩图像数据处于低照度状态时，生成包括校正处理的压缩图像数据和缩略图压缩图像数据的压缩图像文件，并且当压缩图像数据没有处于低照度状态时，生成包括原始压缩图像数据和缩略图压缩图像数据的压缩图像文件。

Description

用于生成压缩文件的方法和装置及包括该装置的终端

本申请要求2009年10月8日提交的第10-2009-0095765号韩国专利申请和2008年12月31日提交的第10-2008-0137884号韩国专利申请的权益，通过引用将其并入本申请。

技术领域

本申请涉及图像处理，并且更具体地，涉及用于生成压缩文件的方法和装置以及包括该装置的终端。

背景技术

随着近来数字信号处理领域中技术的快速发展，涉及数字图像的应用领域大为扩展。另外，随着数字通信的发展以及多媒体应用的增长，对数字图像处理技术的需求越来越多。

尤其是在视频信号中，由于必须处理大量数据，所以用于有效传输或存储数字图像的图像压缩技术是必不可少的。

这样的图像压缩技术的典型示例是联合图像专家组(JPEG)和运动图像专家组(MPEG)。JPEG是用于关于静止图像的图像压缩技术的标准，而MPEG是关于运动图像压缩技术的标准。

已经公知JPEG(即，关于静止图像压缩技术的标准)因其具有极好的数据压缩效率并且可以呈现各种色彩，所以主要适用于需要显示高图像质量和高分辨率的电子设备。因为在创建图像时可以控制图像的质量和图像文件的大小，因而JPEG也是有益的。由于以上优点，大多数新的电子设备采用JPEG标准作为压缩静止图像的方法。根据需要更高图像质量和更高分辨率的图像的趋势，需要一种能够高效高速地压缩大量图像数据的方法。

近来，总的趋势是将具有亿像素或更高的高图像质量和高分辨率的相机模块安装在除了将图像捕捉作为其主要目的的图像捕捉电子设备之外(例如，数字静态照相机)的多种通用电子设备上。尤其在诸如笔记本计算机和便携式电话的移动终端中，诸如拍照或捕捉和播放运动图像之类的功能是用户所广泛使用的一些补充功能。因此，相机(camera)模块被认为是应当安装在电子设备上必要组件。

然而，一般而言，诸如便携式电话的移动设备和小型电子设备与图像捕捉电子设备、大型电子设备及固定终端相比，具有低的数据处理能力或低效率或二者兼有以及缓慢的处理速度。尽管如此，传统移动设备和小型电子设备采用用于图像捕捉电子设备、大型电子设备和固定终端的图像压缩方法(即，基于设备内主机系统的图像压缩处理(参考图2))。在这种情况下，存在降低了压缩效率和速度并且增加了数据处理负荷的问题。因此，急需一种用于生成压缩文件的方法和技术，该方法和技术可以专用于移动设备和小型电子设备。

发明内容

本申请的一方面在于提供一种用于生成压缩文件的方法和装置，以及一种包括该装置的终端。

附图说明

附图提供对本发明的进一步理解并且附图并入说明书且组成本说明书的一部分，附图图示了本发明的实施例，并且与说明书正文一起用于解释本发明的原理。

图1是可以应用于本发明的现有技术，并且是示意性地示出包括相机模块和主机系统的终端的结构的框图；

图2是图示传统JPEG编码方法的图；

图3是根据本发明的实施例的相机模块的框图；

图4是根据本文的实施例的用于生成JPEG文件的装置的框图；

图5是图示根据本发明的实施例的生成JPEG文件的方法的流程图；

图6是根据本发明的另一实施例的相机模块的框图；

图7是根据本发明的另一实施例的用于生成JPEG文件的装置的框图；

图8是图示根据本发明的另一实施例的生成JPEG文件的方法的流程图；

图9是根据本发明的又一实施例的相机模块的框图；

图10是根据本发明的又一实施例的用于生成JPEG文件的装置的框图；

图11是图示根据本发明的又一实施例的生成JPEG文件的方法的流程图；

图12是示出从图6中所示的相机模块输出的帧数据的格式的示例的图；

图13是图示图6中所示的相机模块输出帧数据的方法的图；以及

图14是示出根据本发明的实施例创建的缩略图JPEG图像文件、JPEG报头和JPEG图像文件的格式的图。

具体实施方式

现在将详细参考本发明的实施例，在附图中图示了本发明的实施例的示例。

从以下结合附图的具体描述中，本发明的以上目的、特征和优点将更加明显。本发明可以用多种方式进行修改，并且可以具有若干实施例。在下文中，在附图中示出了一些实施例，并且将参考附图来对该实施例进行详细描述。按一般的规则，相同的附图标记在附图中代表相同的元件。另外，如果认为公知功能或构造的具体描述将使本发明的主旨不必要地模糊，则将省略该具体描述。还应当注意，在本发明的描述中所使用的编号(例如，第一和第二)仅是用于将一个元件与其他元件进行区分的标识符号。

应当注意，在以下描述中使用的元件后缀，诸如‘模块’和‘单元’是在仅考虑到易于撰写本申请而使用的情况下被指派或混合，而没有具体地给定重要性和作用。

应当理解，除了诸如移动电话、智能电话、膝上型计算机、用于数字广播的终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)和导航仪的移动终端(或手持终端)以外，在说明中描述的终端可以包括固定终端，诸如数字TV和台式计算机。

在下文中，参考附图来具体地描述本发明的一些实施例。

通过将JPEG(即，代表性静止图像压缩技术)作为说明书中的示例来描述本发明。然而，很明显本发明还可以适用于对其应用相同或类似的技术精神的其他静止图像压缩技术(例如，GIP、BMP和TIF)和运动图像压缩技术(例如，MPEG)。

另外，在下文中描述了作为本发明的典型示例的情况，在该情况中，包括压缩图像数据的帧数据由相机模块生成，并且然后被输入到终端的主机系统。然而，应当理解，本发明不限于由相机模块生成压缩图像数据然后将其输入到终端的主机系统的上述情况。例如，在一种根据本发明的一些实施例的用于生成压缩文件的装置和方法中，可以输入由主机系统或终端外部的第三装置而非相机模块生成并且输出的压缩图像数据(或包括压缩图像数据的帧数据)，并且然后将其生成为压缩图像文件。另外，在下文中将其中生成压缩图像数据的物体与生成包括压缩图像数据的帧数据的物体彼此相同的情况描述为典型示例。然而，应当注意，生成压缩图像数据的物体可能与生成包括压缩图像数据的特定格式的帧数据的物体不同。

在以下描述的典型示例的情况中，帧数据中包括除压缩图像数据之外的数据。然而，应当注意，压缩图像数据本身可以就是帧数据。也就是说，只有压缩图像数据可以被包括在帧数据中。

作为有助于清楚理解本发明的前提，首先参考图1来描述可以应用于本发明的现有技术。然后，参考图2来描述可以与本发明作比较的传统JPEG图像压缩方法。

以下参考图3至图14描述了本发明的一些实施例。此处，参考图3至图5描述了根据本发明的实施例的相机模块的构造、用于生成压缩文件的装置的构造、以及生成压缩文件的方法。参考图6至图8描述了根据本发明另一实施例的相机模块的构造、用于生成压缩文件的装置的构造、以及生成压缩文件的方法。参考图9至图11描述了根据本发明又一实施例的相机模块的构造、用于生成压缩文件的装置的构造、以及生成压缩文件的方法。因此，可以明确地推导出根据本发明的包括相机模块(参考图3、6和9)和用于生成压缩文件的装置(参考图4、7和10)的终端。

在下文中，根据以上次序顺序地描述了本发明。

图1是可以应用于本发明的相关技术，并且是示意性地示出包括相机模块和主机系统的终端的结构的框图。

在下文中，来自参考图1描述的内容中的除了在图2中所具体示出的与现有技术相关的内容之外的所有内容都可以适用于本发明，而无需任何改变。

首先应当注意，基于本领域的一般常识，根据相关组成元件的主要作用或者根据相关组成元件的一般功能来对本说明书中描述的组成元件进行分类。

也就是说，可以将稍后描述的两个或多个组成元件集成为一个组成元件，并且，可以将稍后描述的一个组成元件根据其功能分类为两个或多个组成元件。另外，稍后描述的组成元件的每一个可以进一步执行其他组成元件的功能的一部分或全部功能，以及其本身的主要功能，并且稍后描述的组成元件的每一个的主要功能的一部分或全部功能可以完全由其他组成元件来执行。

例如，参考图1，图像传感器21和图像信号处理器22及后端芯片31和基带芯片32被图示为在物理上或功能上明确地彼此分离。然而，这仅是为了易于在组成元件之间进行区分、便于绘图。具体而言，根据近来向多功能/集中型和小尺寸的趋势，例如，图像信号处理器22的功能的一部分或全部功能可以被包括在图像传感器21的功能中，或者可以在单个芯片(例如，片上系统(SOC))中实现图像信号处理器22和图像传感器21二者的功能。相同原理可以应用于后端芯片31和基带芯片32之间。例如，可以在基带芯片32中实现稍后参考图2描述的后端芯片31的功能的一部分或全部功能。

以类似的方式，为执行相应的功能，图1(这对于图3、4、6、7、9和10也是适用的)中所示的组成元件的每一个无需必须用硬件来实现，而是可以用软件来实现。

另外，图1中所示的终端100可以是用于图像捕捉的电子设备，诸如数字静态相机。在下文中，在终端100是具有主要目标的功能(即，移动通信功能)并且还具有补充图像捕捉功能的电子设备(诸如移动终端)的情况被描述为典型示例。

参考图1，终端100包括相机模块20、主机系统30、显示器40和存储器50。相机模块20包括图像传感器21和图像信号处理器22，并且主机系统30包括后端芯片31和基带芯片32。此处，主机系统30位于相机模块20的外部，并且可以通过串行接口或并行接口被连接到相机模块20。

图像传感器21接收从物体反射的光线，并且生成与接收到的光线量相对应的电信号。图像传感器21的典型示例可以是电荷耦合器件(CCD)图像传感器或互补型金属氧化物半导体(CMOS)图像传感器。

在将具有拜耳图案(Bayer patterns)的彩色滤光镜置于图像传感器21的光接收表面上的情况下，图像传感器21生成包括红(R)、绿(G)和蓝(B)的波长信息的模拟信号。可以通过模数转换器(ADC)(未示出)来将RGB模拟信号转换成RGB数字信号。

图像信号处理器(ISP)22将从图像传感器21接收到的视频信号(即，RGB图像数据)转换成YCbCr(或YUV)格式的图像数据。在YCbCr(或YUV)方法中，由于注意到人眼对照度比对色彩更敏感，因此视频信号由具有亮度(Y)分量和色度(C)分量的数据来表示。图像信号处理器22还可以执行预处理，诸如像素间内插、对图像数据的伽马校正及白平衡控制。

可以通过串行或并行接口将从相机模块20输出的数据输入到主机系统30的后端芯片31。

后端芯片31可以负责在基带芯片32的控制下对接收到的图像数据进行处理的功能(例如，编码、解码和缩放)。

例如，后端芯片31可以在基带芯片32的控制下，根据预定的编码方法(例如，JPEG或BMP)来对接收到的图像数据进行编码。此处，可以在基带芯片32的控制下，将编码的图像数据存储在存储器50中。稍后参考图2来描述与后端芯片31的功能相关的传统JPEG编码方法。

后端芯片31可以在基带芯片32的控制下对编码的图像数据进行解码。可以在基带芯片32的控制下在显示器40中显示解码的图像。另外，后端芯片31可以在基带芯片32的控制下，根据显示器40的屏幕尺寸来缩放接收到的图像数据。替代地，后端芯片31可以根据缩略图图像大小来对接收到的图像数据进行缩放。还可以在基带芯片32的控制下在显示器40中显示缩放的图像。

基带芯片32执行完全控制与图像捕捉功能和图像处理功能相关的相机模块20和后端芯片31的操作的功能。

下面，与相关于根据本发明的一些实施例的方法和设备的用于生成JPEG文件的方法和装置以及相机模块相比较地介绍传统JPEG编码方法。

图2是图示传统JPEG编码方法的图。

在描述传统JPEG编码方法所固有的问题之前，如下描述典型的JPEG编码过程。典型的JPEG编码过程在与JPEG标准相关的文档中是公知的，并且因此在本发明中被简要描述。

如图2中所示，JPEG编码过程主要包括下采样处理(S230)、离散余弦变换(DCT)处理(S240)、量化处理(S250)和霍夫曼编码处理(S260)。JPEG编码处理基于接收到的图像数据具有YCbCr格式的前提。如果获取的原始图像数据不具有YCbCr格式，则可以进一步包括色彩转换处理(参考S220)。与图2中不同，可以在主机系统30中执行色彩转换处理。

当接收到已经将其色彩转换成YCbCr格式的图像数据时，执行用于整个减小接收到的图像数据的大小的下采样处理(S230)。在通过下采样处理减小了图像数据的大小之后，执行用于将图像数据分成某个数量的块的块化处理。在JPEG中，以8x 8矩阵为单位执行块化。8x8矩阵单位是JPEG压缩的基本单位。

在DCT处理中(S240)，分成亮度(Y)分量和色度(C)分量的分量数据由余弦函数的和表示，并然后基于称为离散余弦变换的数学变换公式来进行变换。如果执行这样的DCT变换，则图像被分离成低频分量和高频分量。此处，低频分量指邻近在像素之间几乎不存在照度或色彩上的差异，而高频分量指在邻近像素之间存在照度或色彩上的很大差异。由于低频分量的数目在统计上大于高频分量的数目，所以即使去除高频分量，图像质量也几乎不受影响。DCT基于该原理来执行压缩。

为了减少图像数据量，执行量化处理(S250)来将已经执行过DCT处理的图像数据分成称为量化矩阵的预定整数矩阵。可以使用DCT来将图像数据从空间域变换到频域。如果适当地执行量化处理，则可以以高压缩比来获得极好的图像质量。

使用霍夫曼码来执行霍夫曼编码处理(S260)。霍夫曼编码是针对预定信号可能发生的概率分布来实现最短平均编码长度的编码。在预定的信号可能发生的概率分布倾向于一侧的情况下，可以使用可变长度的代码来减少全部代码量，其中，将短代码指派给具有高发生概率的信号，并且将长代码指派给具有低发生概率的信号。

如上所述，由按照顺序色彩变换、下采样、块化、DCT、量化和霍夫曼编码组成的JPEG编码过程可以基本上适用于本发明，而无需改变。

因为终端100的主机系统30执行关于从相机模块20获取的1帧的主图像的JPEG编码，所以产生了传统JPEG编码方法所固有的问题。换言之，在公知领域，由主机系统30内的后端芯片31或基带芯片32内的JPEG编码器33来执行用于生成JPEG图像数据的JPEG编码方法。

根据传统技术，从相机模块20获取的未经压缩的原始图像数据被积累在主机系统30的帧缓存中，并且然后可以在主机系统30中进行JPEG编码。

然而，这样的传统JPEG编码方法对终端100的主机系统30造成了沉重负载，并且导致低的压缩效率和缓慢的处理速度。在诸如数字静态相机的图像捕捉专用电子设备中，这样的负载可能不是很重要的问题。然而，这样的传统JPEG编码方法可以对移动终端、小尺寸电子设备以及非图像捕捉专用电子设备的设备的系统资源造成沉重负载。

例如，在便携式电话中，主机系统被实现为以最高优先级来处理与移动通信功能相关的应用。因此，如果具有高图像质量、高分辨率、或高容量的图像数据持续在帧缓存中被累积，则主机系统必须耗费大量时间和资源以便压缩和处理图像数据，这引起了严重的问题。

在下文中，用于生成JPEG文件的方法和装置以及与该方法和装置相关的相机模块和终端被描述为对以上问题的解决方案。以下主要参考图5与图3和图4一起来描述根据本发明的实施例的用于生成JPEG文件的相机模块以及装置和方法。此处，为了简化，省略了可你能如先前的描述来应用的或与先前的描述那些重叠的内容描述。

图5是图示根据本发明的实施例的JPEG文件生成方法的流程图，图3是根据本发明的实施例的相机模块的框图，并且图4是根据本发明的实施例的JPEG文件生成装置的框图。

图4中所示的JPEG文件生成装置700a(即，用于实现图5中所示的JPEG文件生成方法的装置)可以被包括在终端的主机系统中。更具体地说，根据本实施例的JPEG文件生成装置或该装置的所有功能可以被包括在主机系统的基带芯片中。替代地，可以在基带芯片内实现JPEG文件生成装置的一些功能，并且可以在后端芯片内实现JPEG文件生成装置的一些功能。很明显，可以进行各种修改。同样的原理应用于根据本发明的其余实施例的JPEG文件生成装置(参考图7和图8，以及图10和图11)。

参考图5，JPEG文件生成装置从相机模块200a接收包括主JPEG图像的1帧的帧数据[S510]。

根据本实施例，包括主JPEG图像的1帧的帧数据由相机模块200a生成，并且然后被输入到JPEG文件生成装置700a。为此，可以对相机模块200a进行配置，诸如图3中所示。以下简要描述图3中所示的相机模块200a的构造。

参考图3，根据本实施例的相机模块200a包括：图像传感器210、装备有主JPEG编码器221的图像信号处理器220a、数据输出单元230、微控制单元(MCU)240和缓存251和252。

与图3中不同，可以与图像信号处理器220a分离地提供主JPEG编码器221。另外，主JPEG编码器221和图像信号处理器220a不是必须用硬件来实现，而是可以用软件来实现。

图像传感器210捕捉物体的图像，并且生成1帧的视频信号。从图像传感器210输出的视频信号可以是具有RGB波长信息的模拟电信号。为了描述的简便，假定图3中所示的图像传感器210包括ADC并且输出RGB原始图像数据。

经由在图像传感器210的输出级上提供的缓存251，将RGB原始图像数据输入到图像信号处理器220a。

尽管在图3中没有示出，但是图像信号处理器220a可以包括附加存储装置，该附加存储装置用于临时地存储接收到的RGB原始图像数据。图像信号处理器220a可以进一步包括色彩转换单元，该色彩转换单元用于将RGB原始数据转换成具有YCbCr(或YUV)格式的图像数据(下文称为‘YCbCr数据’)。将转换的YCbCr原始图像数据输入到主JPEG编码器221。

主JPEG编码器221从接收到的YCbCr原始图像数据生成JPEG图像数据。为了区分的目的，从1帧的原始图像数据生成的JPEG图像数据被称为‘主JPEG图像’。

此处，生成主JPEG图像的主JPEG编码器221的JPEG编码过程与以上参考图2描述的基本相同。然而，因为与其中在终端的主机系统中执行JPEG编码过程的现有技术不同，相机模块200a直接执行用于原始图像数据的JPEG编码过程，所以根据本发明的JPEG编码过程与传统JPEG编码方法的非常不同。

另外，在传统JPEG编码方法中，对终端100内的主机系统造成了沉重负载，导致了诸如低压缩效率、缓慢的处理速度、以及增加的压缩处理时间的问题。然而，如在本发明中，当在相机模块200a内执行用于原始图像数据的JPEG编码过程时，与现有技术相比，可以改善压缩效率并且提高处理速度。

相机模块200a被最优地设计成执行诸如获取、处理、存储和发送图像的事件。因此，当在相机模块200a内直接执行JPEG编码过程时，与其中由主机系统执行JPEG编码过程的现有技术相比，可以期望诸如减少的主机系统上的负载和减少的系统资源、以及改善的压缩效率和提高的压缩速度的改进效果。

将从主JPEG编码器221输出的主JPEG图像经由缓存252传送到数据输出单元230。

因此，可以通过数据输出单元230来将主JPEG图像发送到主机系统。在下文中，将经由数据输出单元230输出到主机系统并且与获取的1帧图像相关的数据被称为‘帧数据’。从数据输出单元230输出的帧数据可以具有特定的传输格式。稍后参考图12来更加具体地描述帧数据的传输格式。

另外，用于将帧数据传送给主机系统的在相机模块200a和主机系统之间的接口连接可以使用现有的接口连接方法，而无需改变相机模块的结构。例如，在相机模块200a和主机系统之间的接口连接可以由例如垂直同步信号(Vsync或帧同步)、水平同步信号(Hsync或行同步)、像素时钟(PIXCLK)和多个数据线Dout[7:0]组成(参考图3)。同一原理可以应用于本发明的实施例(参考图6到图8和图9到图11)。

如上所述，由相机模块200a生成和传送的并且被配置成包括主JPEG图像的帧数据可以被输入到JPEG文件生成装置700a的数据输入单元710，诸如图4中所示。

在步骤S510处从相机模块接收到包括主JPEG图像的帧数据之后，根据本实施例的图4中所示的JPEG文件生成装置700a执行一系列以下过程，以便于生成JPEG图像文件。

作为用于生成JPEG图像文件的第一前提过程(参考图4中所示的<过程2>)，从包括在接收到的帧数据中的主JPEG图像生成缩略图JPEG图像[S520]。

作为用于生成JPEG图像文件的第二前提过程(参考图4中所示的<过程1>)，确定从相机模块接收到的主JPEG图像是否处于低照度状态[S530]。作为确定的结果，如果确定主JPEG图像处于低照度状态，则执行用于主JPEG图像的图像校正处理[S540]。

此处，与图5所示的顺序不同，可以并行(即，同时)地执行用于生成JPEG图像文件的两个前提过程(即，步骤S520和步骤S540)。

因此，如果从相机模块接收到的主JPEG图像处于低照度状态，则使用在步骤S520处生成的缩略图JPEG图像以及在步骤S540处已经被执行过图像校正处理的JPEG图像来最终生成JPEG图像文件[S550]。然而，作为确定的结果，如果确定主JPEG图像没有处于低照度状态，则不执行在步骤S540处的图像校正处理，而是使用原始主JPEG图像(即，从相机模块接收到的整个主JPEG图像)以及在步骤S520处生成的缩略图JPEG图像来最终生成JPEG图像文件[S560]。

作为用于实现以上JPEG文件生成方法的实施例，以下描述了图4中所示的JPEG文件生成装置700a的构造。

参考图4，根据本发明的实施例的JPEG文件生成装置700a包括：数据输入单元710、缩略图图像生成单元730、缩略图缓存735、缩略图JPEG图像生成单元740、照度确定单元750、图像校正单元760和文件生成单元770。JPEG文件生成装置700a可以在终端内分立地存在，但可以存在于主机系统内(尤其是基带芯片内)。

在根据本实施例的JPEG文件生成装置700a中，用于生成JPEG图像文件的整个过程如下所述。当从相机模块接收到包括主JPEG图像的帧数据时，JPEG文件生成装置700a首先将接收到的帧数据存储在存储器中。

在存储帧数据之后，根据本实施例的JPEG文件生成装置700a基于两个过程来执行生成JPEG文件的过程。

在两个过程的一个(此后称为‘第一过程’，参考图4中所示的<过程1>)中，确定从相机模块接收到的主JPEG图像是否处于低照度状态(其与图4中所示的照度确定单元750的功能相关)。作为确定的结果，如果确定从相机模块接收到的主JPEG图像处于低照度状态，则根据图4中所示的<路径2>来对主JPEG图像执行图像校正处理(其与图4中所示的图像校正单元760的功能相关)。基于校正的主JPEG图像来创建JPEG图像文件。然而，作为确定的结果，如果确定从相机模块接收到的主JPEG图像没有处于低照度状态，则根据图4中所示的<路径1>，基于原始主JPEG图像来创建JPEG图像文件。

在两个过程的另一个中(此后称为‘第二过程’，参考图4中所示的<过程2>)，对从相机模块接收到的主JPEG图像进行解码和缩放，从而创建缩略图图像(其与图4中所示的缩略图图像生成单元730的功能相关)。对缩略图图像进行JPEG编码，从而创建缩略图JPEG图像(其与图4中所示的缩略图JPEG图像生成单元740的功能相关)。

因为并行(即，同时)地执行根据本实施例的在JPEG文件生成装置700a中的两个过程，所以具有有益效果。

另外，根据第二过程，创建的缩略图图像将其色彩转换成RGB格式，并且然后可以立即在终端100的显示器40中进行显示。在现有技术中，从最终产生(创建的)JPEG图像文件中解码缩略图图像，并且然后在屏幕上显示该缩略图图像。然而，在本发明中，在生成JPEG图像文件的过程期间所获取的缩略图图像立即在屏幕上被输出。因此，因为与现有技术相比，可以改善处理速度或工作负载或二者，所以是有利的。这可以以相同或类似方式应用于本发明的其余实施例。

为了执行以上操作，数据输入单元710可以包括：用于从相机模块接收帧数据的元件；用于接收帧数据的数据接口以及用于存储接收到的帧数据的存储器。

缩略图图像生成单元730、缩略图缓存735和缩略图JPEG图像生成单元740是用于生成缩略图JPEG图像(即，用于生成JPEG图像文件的第一前提)的元件。

缩略图图像生成单元730可以包括，例如，JPEG解码器(未示出)和缩放器(未示出)，并且因此可以从主JPEG图像创建具有缩略图图像尺寸的缩略图图像。此处，可以在主机系统的基带芯片(参考图1中所示的32)的控制下，将创建的缩略图图像存储在缩略图缓存735中，并且可以在显示器(参考图1所示的40)中进行显示。

缩略图JPEG图像生成单元740通过执行用于创建缩略图图像的JPEG编码来创建缩略图JPEG图像。为此，缩略图JPEG图像生成单元740可以包括JPEG编码器(未示出)。

如上所述，在图4的情况下，在原始主JPEG图像被包括在帧数据中并且与之一起传送的情况下，通过对原始主JPEG图像进行处理来创建缩略图图像或缩略图JPEG图像。然而，应当注意，以上的示例仅是说明性的，并且可以使用其他方法来创建缩略图图像或缩略图JPEG图像。例如，很明显，缩略图图像或缩略图JPEG图像并不是通过对从相机模块接收到的原始主JPEG图像进行处理来创建的，而是可以通过对由图像校正单元760校正和处理的JPEG图像进行处理来创建的。

照度确定单元750通过确定主JPEG图像是否处于比预设的基准值更低的低照度状态来确定是否必须对从相机模块接收到的主JPEG图像执行图像校正处理。

作为确定的结果，如果确定接收到的主JPEG图像处于低照度状态，则照度确定单元750通过图像校正单元760来对主JPEG图像执行图像校正处理。然而，作为确定的结果，如果确定接收到的主JPEG图像没有处于低照度状态，则照度确定单元750不使用图像校正单元760来执行图像校正处理。

照度指物体的发光度，并且使用称为“勒克斯(lux)”的单位。当光平均照射到其面积为一平方米的表面上时定义了1勒克斯。

照度确定单元750可以从相机模块接收这样的照度信息，或者可以从接收到的主JPEG图像直接计算出照度信息。例如，相机模块可以获取照度信息，其中，已经从通过孔径光阑的进入的光强度反映了外部图像捕捉的环境。如上所述，由于相机模块所获取的照度信息被传送到主机系统，因此照度确定单元750可以使用接收到的照度信息。如另一示例，照度确定单元750可以包括照度计算模块(未示出)，该照度计算模块用于从接收到的主JPEG图像的RGB值或YcbCr值(尤其是Y(亮度)值)计算出照度信息。

因此，当从相机模块接收到的主JPEG图像的照度值处于低照度状态(即，预设的基准值或更少(例如，75勒克斯))时，照度确定单元750将主JPEG图像传送到图像校正单元760(参考图4中所示的<路径2>)。

此处，图像校正单元760可以将改进算法(包括亮度增强、噪声减少和块效应减少中的至少一个)应用于主JPEG图像，以便于改善主JPEG图像(即，在低照度状态下)的亮度或图像质量或二者。为此，图像校正单元760可以包括，例如，霍夫曼解码器(参考图4中所示的762)、改进算法应用单元(参考图4中所示的764)和霍夫曼编码器(参考图4中所示的766)。

也就是说，图像校正单元760使用霍夫曼解码方法把主JPEG图像解码成为8x8块数据(即，最小编码单位)。接下来，图像校正单元760通过将改进算法应用于8x8块数据来调整DC/AC系数。在将改进算法应用于8x8块数据的过程中，基于DC/AC阈值从块数据中分离出图像区域，并且然后调整DC/AC系数，从而可以增强亮度(亮度增强)。第二，可以对DC/AC系数进行调整或控制以便于减少噪声(噪声减少)。最后，可以对AC系数进行调整以便于减少块噪声(块效应减少)。

如上所述，根据本实施例的图像校正单元760被配置成通过基于块数据来对图像进行解码来去除噪声。因此，与完全解码和校正图像的情况相比，可以减少校正所花费的时间。8x8块数据是改进算法可以应用的最小块单位。应当注意，当改变最小块单位时，对应的块数据大小可能被改变。

使用霍夫曼编码方法来对已经应用了改进算法的块数据进行编码，并且因而可以创建具有改进的亮度或图像质量或二者的主JPEG图像(即，校正和处理的主JPEG图像)。将如上所述的由图像校正单元760校正和处理的主JPEG图像传送到图像生成单元770。

因此，当从相机模块接收到的主JPEG图像处于低照度状态时，根据本实施例的JPEG文件生成装置的文件生成单元770使用由图像校正单元760校正和处理的主JPEG图像和缩略图JPEG图像来创建具有JPEG格式的JPEG图像文件。

作为确定的结果，如果确定主JPEG图像的照度值超过预设的基准值，则照度确定单元750把接收到的主JPEG图像不加改变地传送到文件生成单元770(参考图4中所示的<路径1>)。在这种情况下，根据本实施例的JPEG文件生成装置的文件生成单元770使用主JPEG图像(即，原始主JPEG图像，其上还没有执行使用图像校正单元706的图像校正处理)和缩略图JPEG图像来创建具有JPEG格式的JPEG图像文件。

以下参考例如图14来描述使用缩略图JPEG图像和校正处理的JPEG图像(或原始主JPEG图像)生成JPEG图像文件的方法。图14是示出根据本发明的实施例创建的缩略图JPEG图像文件、JPEG报头和JPEG图像文件的格式的图。

文件生成单元770接收由缩略图JPEG图像生成单元740创建的缩略图JPEG图像数据，并且创建缩略图JPEG图像文件(参考图14的(c))，包括缩略图JPEG图像数据(参考图14的(c)中所示的‘缩略图JPEG图像数据’)和缩略图JPEG报头(参考图14的(c)中所示的‘缩略图JPEG报头’)。

此处，可以基于包括在帧数据中并且被传送的信息段(参考图12)来创建缩略图JPEG报头。替代地，可以通过从缩略图图像数据获取并且计算用于生成缩略图JPEG报头的基本信息来创建缩略图JPEG报头。

作为又一替换，文件生成单元770可以基于信息段或主JPEG图像数据来创建缩略图JPEG报头。在该情况下，缩略图JPEG图像文件还被插入到创建的JPEG报头(参考图14的(b))中。通过该过程，文件生成单元770可以创建JPEG图像文件(参考图14的(a))，包括JPEG报头(参考图14的(a)中所示的‘JPEG报头’)和校正处理的(或原始)主JPEG图像数据(参考图14的(a)中所示的‘JPEG主图像数据’)。

以上已经参考图3到图5描述了根据本发明的实施例(此后称为‘第一实施例’)的JPEG文件生成方法和装置。在下文中，参考图6到图8和图9到图11分别顺序地描述了根据本发明的另一实施例(此后称为‘第二实施例’)的用于生成JPEG文件的方法和装置，以及根据本发明的又一实施例(此后称为‘第三实施例’)的用于生成JPEG文件的方法和装置。

根据第二和第三实施例的JPEG文件生成方法和JPEG文件生成装置可能与第一实施例的那些几乎相同。第一、第二和第三实施例的不同之处在于，什么数据被包括在从相机模块传送到主机系统的帧数据中。

换言之，在第一实施例中，“主JPEG图像”被包括在从相机模块接收到的帧数据中。同时，假定在第二实施例中，还没有被执行过JPEG压缩处理的“缩略图图像数据”与“主JPEG图像”一起被包括在帧数据中，而在第三实施例中，已经被执行过JPEG压缩处理的“缩略图图像数据”与“主JPEG图像”一起被包括在帧数据中。由于这样的差异而导致JPEG文件生成方法的过程和JPEG文件生成装置的构造在第一、第二和第三实施例中略有不同。

因此，主要描述在第一实施例和第二及第三实施例之间的差异，并且省略对与第一实施例重合的那些或者可以用与第一实施例相同的方式应用的部分的描述。

以下参考图6至图8来描述第二实施例。图6是根据本发明的另一实施例的相机模块的框图，图7是根据本发明的另一实施例的用于生成JPEG文件的装置的框图，而图8是图示根据本发明的另一实施例的生成JPEG文件的方法的流程图。

图示根据第二实施例的由JPEG文件生成装置执行的JPEG文件生成方法的流程图可能与图8中所示的流程图相同。

首先，JPEG文件生成装置700b从相机模块200b接收1帧的帧数据，包括主JPEG图像和缩略图图像[S810]。

作为用于生成JPEG图像文件的第一前提过程，从包括在接收到的帧数据中的缩略图图像生成缩略图JPEG图像[S820]。

作为用于生成JPEG图像文件的第二前提过程，确定从相机模块接收到的主JPEG图像是否处于低照度状态[S830]。作为确定的结果，如果主JPEG图像处于低照度状态，则执行用于主JPEG图像的图像校正处理[S840]。

此处，与图8中所示的顺序不同，可以并行地执行用于生成JPEG图像文件的两个前提过程(即，步骤S820和步骤S840)。

因此，当从相机模块接收到的主JPEG图像处于低照度状态时，使用在步骤S840处校正和处理的JPEG图像以及在步骤820处生成的缩略图JPEG图像来最终生成JPEG图像文件[S850]。然而，当从相机模块接收到的主JPEG图像不处于低照度状态时，不执行在步骤S840处的图像校正处理，并且使用原始主JPEG图像(即，从相机模块接收到的主JPEG图像)以及在步骤S820处生成的缩略图JPEG图像来最终生成JPEG图像文件[S860]。

当将根据图8的流程图的JPEG文件生成方法与根据图5的流程图的JPEG文件生成方法作比较时，除了步骤S810和S820之外的步骤S830、S840、S850和S860与步骤S530、S540、S550和S560相同。这是因为与在图5中所示的步骤S510处从相机模块输入到JPEG文件生成装置的帧数据不同，在图8中所示的步骤S810处接收到的帧数据除主JPEG图像外还包括缩略图图像。

也就是说，在第二实施例中，除主JPEG图像以外，相机模块进一步生成缩略图图像，并且将生成的缩略图图像发送到主机系统。为此，与根据第一实施例的图3的相机模块200a相比，根据第二实施例的图6的相机模块200b进一步包括在图像信号处理器220b内的缩略图缩放器222。换言之，除了主JPEG编码器221以外，图6的相机模块200b进一步包括缩略图缩放器222。因此，可以将包括用于原始图像的缩略图图像和主JPEG图像的帧数据发送到主机系统。

此处，从相机模块200b发送到主机系统的帧数据可以具有诸如图12中所示的传输格式。图12是示出从图6中所示的相机模块输出的帧数据的格式的示例的图。以下参考图12来描述帧数据的传输格式。

参考图12，将被发送到主机系统的1帧的帧数据包括：范围是从帧数据0(参考图12中所示的‘帧数据0’)到帧数据N(参考图12中所示的‘帧数据N’)的总数目(N+1)个单元的帧数据。

例如，在帧数据0的情况下，一个单元帧数据包括：缩略图图像数据部分(参考图12中所示的1003)、主JPEG图像数据部分(参考图12中所示的1006)、以及预定的标记(参考图12中所示的1001、1002、1004和1005)，这些标记将被用作在缩略图图像数据和主JPEG图像数据之间的分隔符。

然而，应当注意，在一些实施例中，可以用多种方式来修改传输格式。例如，尽管在图12中，总共四个标记被插入到单个单元帧数据中，但是如果它们仅用于将缩略图图像数据和主JPEG图像数据区分开来，则标记数为1个或2个就足够了。另外，其中缩略图图像数据和主JPEG图像数据被插入到一个单元帧数据的流程图可能与图12中所示的不同。另外，缩略图图像数据和主JPEG图像数据也不必如图12中的被插入在一个单元帧数据的中间部分之间。

另外，在图12中所示的传输格式中，哑数据(dummy data)1007和信息段1008、1009和1010被包括在一个单元帧数据的末尾。哑数据1007是为根据垂直同步信号(Vsync)的帧同步所插入的无意义的数据(参考图13)。

根据本发明，因为主JPEG图像数据是JPEG压缩图像数据，所以在其压缩处理之前，主JPEG图像数据可能不具有与用于图像数据的帧同步相同的数据部分。哑数据1007用于解决同步失配问题。

信息段1010包括生成JPEG图像文件的JPEG报头所必需的信息。生成JPEG报头所必需的信息可以包括关于1帧的图像的帧信息，诸如原始图像数据的大小、JPEG图像数据的大小、帧长度、或缩略图图像数据的大小。生成JPEG报头所必需的信息可以替代地或附加地包括将用于对图像数据进行编码的编码信息(例如，量化表、霍夫曼表和DCT信号处理方法)。

还应当注意，尽管在图12中，信息段被包括在帧数据的传输格式中，但是信息段可以不必被包括在传输格式中。信息段被用作用于顺序地生成JPEG报头或缩略图JPEG报头的基本信息。这是因为在主机系统侧无法直接获取用于生成报头的基本信息。

在图12中，根据第二实施例，假定主JPEG图像和缩略图图像被包括在帧数据中。很明显，在第一实施例中，缩略图图像将不被包括在传输格式中，而在第三实施例中，缩略图JPEG图像代替缩略图图像被包括在传输格式中。

如图13中所示，与像素时钟、垂直同步信号(即，帧同步信号)和水平同步信号(即，行同步信号)同步地将具有上述传输格式的帧数据从相机模块传送到JPEG文件生成装置。与像素时钟、垂直同步信号和水平同步信号同步地在JPEG文件生成装置的数据输入单元710中读取该传送的帧数据。

与图4中所示的JPEG文件生成装置700a相比，图7中所示的JPEG文件生成装置700b进一步包括解析单元720，但不包括图4中所示的缩略图图像生成单元730。这是因为在图6中所示的从相机模块200b接收到的帧数据中除了主JPEG图像之外还包括缩略图图像。

图7中所示的JPEG文件生成装置700b的解析单元720(这对于稍后描述的图10也是适用的)用于将包括在接收到的帧数据中的主JPEG图像和缩略图图像进行区分。可以基于包括在接收到的帧数据中的标记来执行这样的数据区分。

如上所述，由于帧数据与对其添加的缩略图图像一起被传送，所以图7中所示的JPEG文件生成装置700b不包括作为必要组成元件的图4中所示的缩略图图像生成单元730。图7中所示的JPEG文件产生装置700b的其余元件及其功能与图4中所示的JPEG文件生成装置700a的那些相同。

以下参考图9至图11来描述第三实施例。图9是根据本发明的又一实施例的相机模块的框图，图10是根据本发明的又一实施例的用于生成JPEG文件的装置的框图，并且图11是图示根据本发明的又一实施例的生成JPEG文件的方法的流程图。

图示根据第三实施例的由JPEG文件生成装置执行的JPEG文件生成方法的流程图可能与图11中所示的流程图相同。

首先，JPEG文件生成装置700c从相机模块200c接收1帧的帧数据，包括主JPEG图像和缩略图JPEG图像[S1110]。

确定从相机模块接收到的主JPEG图像是否处于低照度状态[S1130]。作为确定的结果，如果确定主JPEG图像处于低照度状态，则JPEG文件生成装置700c执行用于主JPEG图像的图像校正处理[S1140]。

接下来，使用在步骤S1104处校正和处理的JPEG图像以及在步骤S1110处传送的缩略图JPEG图像来最终生成JPEG图像文件[S1150]。然而，作为确定的结果，如果确定主JPEG图像没有处于低照度状态，则不执行步骤S1140处的图像校正处理，并且按无改变的文件形式存储具有JPEG格式的原始主JPEG图像和缩略图JPEG图像[S1160]。

根据图11中所示的流程图的JPEG文件生成方法与根据图5或图8中所示的流程图的JPEG文件生成方法几乎相同。因为缩略图JPEG图像已经被包括在从相机模块接收到的帧数据中，所以根据图11中所示流程图的JPEG文件生成方法不包括生成缩略图JPEG图像的步骤，诸如图5的步骤S520或图8的步骤S820。

出于以上原因，图9中所示的相机模块200c除了主JPEG编码器221和缩略图缩放器222以外，进一步包括图像信号处理器220c内的缩略图JPEG编码器223。另外，因为缩略图JPEG图像在其被包括在帧数据中的情况下被直接传送，所以图10中所示的JPEG文件生成装置700c不包括图4或图7中所示的缩略图图像生成单元730、缩略图缓存735和缩略图JPEG图像生成单元740。

前述实施例和优点仅仅是示例性的，并且不被解释为限制本发明。本教导可以容易地适用于其他类型的装置。希望对前述实施例的描述是说明性的，而不限制权利要求的范围。很多替代、修改和变化对本领域的技术人员来说将是显而易见的。

Claims (26)

1.一种在移动终端处生成压缩图像文件的方法，所述方法包括：

通过JPEG文件生成装置的接口，接收由相机模块生成并从所述相机模块接收的、包括原始图像的至少一帧的编码的图像数据的帧数据；

通过所述JPEG文件生成装置的缩略图图像生成单元，生成所述编码的图像数据的第一编码的缩略图图像数据；

当所述编码的图像数据具有低于预设的基准值的照度值时，通过所述JPEG文件生成装置的图像校正单元，对所述编码的图像数据进行校正，并且通过使用所校正的图像数据和所述第一编码的缩略图图像数据来生成所述压缩图像文件；以及

当所述编码的图像数据具有高于所述预设的基准值的照度值时，通过所述JPEG文件生成装置的文件生成单元，通过使用所述编码的图像数据和所述第一编码的缩略图图像数据来生成所述压缩图像文件。

2.根据权利要求1所述的方法，其中，对所述编码的图像数据进行校正包括：

基于数据块来解码所述编码的图像数据，以输出至少一个解码的数据块；

将改进算法应用于所述至少一个解码的数据块，其中，所述改进算法包括亮度增强、噪声减少、或块效应减少中的至少一个；以及

对应用了所述改进算法的所述至少一个解码的块数据进行编码，以生成所述校正的图像数据。

3.根据权利要求2所述的方法，其中，所述编码的图像数据是JPEG图像数据。

4.根据权利要求2所述的方法，其中，所述解码是通过霍夫曼解码方法来处理的，并且所述编码是使用霍夫曼编码方法来处理的。

5.根据权利要求1所述的方法，其中，生成所述第一编码的缩略图图像数据包括：

对所述编码的图像数据进行解码，以生成解码的图像数据；

对所述解码的图像数据进行缩小，以生成缩略图大小的图像的缩小的图像数据；以及

对所述缩小的图像数据进行编码，以生成所述第一编码的缩略图图像数据。

6.根据权利要求5所述的方法，其中，所述缩小的图像数据包括被转换成红-绿-蓝(RGB)格式的色彩，并且显示屏使用所述RGB格式化的色彩来显示所述缩小的图像数据的缩略图大小的图像。

7.根据权利要求5所述的方法，其中，校正所述编码的图像数据和生成所述缩小的图像数据并行地被执行。

8.根据权利要求1所述的方法，其中，所接收到的帧数据进一步包括：所述原始图像的至少一帧的缩略图图像数据。

9.根据权利要求8所述的方法，进一步包括：

对所述原始图像的至少一帧的缩略图图像数据进行编码，以生成所述第一编码的缩略图图像数据。

10.根据权利要求8所述的方法，其中，所接收到的帧数据进一步包括：所述原始图像的至少一帧的第二编码的缩略图图像数据。

11.根据权利要求10所述的方法，其中，生成所述压缩图像文件包括：使用与所述帧数据一起接收到的所述第二编码的缩略图图像数据。

12.根据权利要求1所述的方法，进一步包括：

从相机模块接收所述编码的图像数据的照度值。

13.根据权利要求1所述的方法，进一步包括：

根据所述编码的图像数据计算所述照度值。

14.一种用于生成压缩文件的装置，包括：

存储单元，所述存储单元用于存储通过所述装置中的接口而接收的、由相机模块生成并从所述相机模块接收的、包括原始图像的至少一帧的压缩编码的图像数据的帧数据；

照度确定单元，所述照度确定单元用于确定所存储的压缩编码的图像数据是否具有低于预设的基准值的照度值；

图像校正单元，所述图像校正单元用于当所述照度确定单元确定了所述存储的压缩编码的图像数据的照度值低于所述预设的基准值时，对所述存储的压缩编码的图像数据进行校正；以及

文件生成单元，所述文件生成单元用于生成压缩图像文件，其中，所述文件生成单元，在当所述照度值低于所述预设的基准值时，生成包括所校正的压缩编码的图像数据和第一编码的缩略图图像数据的所述压缩图像文件，并且在当所述照度值高于所述预设的基准值时，生成包括所述压缩编码的图像数据和所述第一编码的缩略图图像数据的所述压缩图像文件。

15.根据权利要求14所述的装置，其中，所述图像校正单元包括：

解码器，所述解码器用于基于块数据来解码所述压缩编码的图像数据，以输出至少一个解码的数据块；

算法应用单元，所述算法应用单元用于将改进算法应用于所述至少一个解码的数据块，其中，所述改进算法包括亮度增强、噪声减少或块效应减少中的至少一个；以及

编码器，所述编码器用于对应用了所述改进算法的所述至少一个解码的数据块进行编码。

16.根据权利要求15所述的装置，其中：

所述压缩编码的图像数据是JPEG图像数据，

所述解码器是霍夫曼解码器，以及

所述编码器是霍夫曼编码器。

17.根据权利要求14所述的装置，进一步包括：

解码器，所述解码器用于对所述压缩编码的图像数据进行解码，以生成解码的图像数据；

缩放器，所述缩放器用于对所述解码的图像数据进行缩小，以生成缩略图大小图像的缩小的图像数据；

编码器，所述编码器用于通过对所述缩小的图像数据进行编码来生成所述第一编码的缩略图图像数据。

18.根据权利要求17所述的装置，进一步包括：

色彩转换单元，所述色彩转换单元用于将所述缩小的图像数据的色彩数据转换成红-绿-蓝(RGB)格式；以及

显示屏，所述显示屏用于使用所述RGB格式化的色彩来显示所述缩小的图像数据的所述缩略图大小的图像。

19.根据权利要求17所述的装置，其中，所接收到的帧数据进一步包括：所述原始图像的至少一帧的缩略图图像数据。

20.根据权利要求19所述的装置，其中，所述编码器对所述缩略图图像数据进行编码，以生成所述第一编码的缩略图图像数据。

21.根据权利要求14所述的装置，其中，所述帧数据进一步包括：所述原始图像的至少一帧的第二编码的缩略图图像数据。

22.根据权利要求21所述的装置，其中，所述文件生成单元使用与所述帧数据一起接收到的所述第二编码的缩略图图像数据来生成所述压缩图像文件。

23.根据权利要求14所述的装置，其中，所述照度确定单元从相机模块接收所述存储的压缩编码的图像数据的照度值。

24.根据权利要求14所述的装置，其中，所述照度确定单元根据所述存储的压缩编码的图像数据计算所述照度值。

25.根据权利要求14所述的装置，进一步包括：

缩略图图像生成单元，所述缩略图图像生成单元使用所述校正的压缩编码的图像数据来生成缩略图图像数据。

26.一种终端，包括：

相机模块，其中，所述相机模块包括：

图像传感器，

编码器，所述编码器根据由所述图像传感器获取的至少一帧的原始图像来生成压缩编码的图像数据，以及

数据输出单元，所述数据输出单元用于输出帧数据，其中，所述帧数据包括所述压缩编码的图像数据；以及

主机系统，所述主机系统通过接口被连接到所述相机模块，其中，所述主机系统包括：

存储单元，所述存储单元用于存储从所述相机模块接收到的所述帧数据，

缩略图图像生成单元，所述缩略图图像生成单元用于生成所述压缩编码的图像数据的编码的缩略图图像数据，

照度确定单元，所述照度确定单元用于确定所述压缩编码的图像数据是否具有低于预设的基准值的照度值，

图像校正单元，所述图像校正单元用于当所述照度确定单元确定了所述压缩编码的图像数据的照度值低于所述预设的基准值时，执行对所述压缩编码的图像数据进行校正的图像校正过程，以及

文件生成单元，所述文件生成单元用于生成压缩图像文件，其中，当所述照度值低于所述预设的基准值时，所述压缩图像文件包括所述校正的压缩编码的图像数据和所述编码的缩略图图像数据，并且当所述照度值高于所述预设的基准值时，所述压缩图像文件包括所述压缩编码的图像数据和所述编码的缩略图图像数据。

Images