CN103259975A - 使用相机的数据处理设备和方法 - Google Patents

Abstract

本发明提供一种使用相机的数据处理设备和方法。一种便携式终端设备的图像拍摄方法包括：在相机操作模式下按每帧时间段从相机传感器获取图像；将获取的图像转换为浏览图像和压缩图像；在便携式终端的显示单元上显示浏览图像的同时缓冲压缩图像。

Description

使用相机的数据处理设备和方法

技术领域

本发明涉及一种相机和数据处理设备及配备有所述相机的移动终端的方法，具体地讲，涉及一种用于在相机中处理高像素数据的设备和方法。

背景技术

相机设备和配备有相机的移动终端能够处理高质量图像并提供各种用户便利功能。现有技术中的相机设备配备有能够处理全高清晰度(HD)图像或更高分辨率图像的图像传感器或相机传感器。

这样的相机设备在预览模式下显示由相机传感器感测到的图像，并保存由相机传感器响应于快门按钮的按下所获取的图像。在现有技术中，在快门释放时间和全尺寸图像捕获时间之间存在快门延迟或快门时滞。即，在快门开启时间与相机传感器捕获对象的时间之间存在时间差，此时间差是由对象捕获环境和图像信号处理器(ISP)的处理时间导致的。因此，现有技术中的相机设备和现有技术中配备有相机的移动终端的缺点在于：由于快门延迟(或快门时滞)难以在预期的时间点获取图像。

此外，如果稍后发现在拍摄图像的时间发生的任何过失(诸如相机抖动或图片模型的不必要行为(例如，闭眼))，则由于不能相同地上演过去拍摄图像的情形而难以修正过失，从而导致摄影工作的限制。

发明内容

本发明是一种用于在相机设备或配备有相机的终端设备的快门开启时间捕获图像的设备和方法。本发明还包括一种用于记录在由相机设备或配备有相机的终端设备捕获的图像中选择的图像的设备和方法。本发明还包括一种用于获取相机和与图像相关的传感器的拍摄信息并处理所述信息和图像的设备和方法。

为此目的，根据本发明的示例性实施例，相机设备或配备有相机的终端设备处理通过使用相机传感器获取的图像以产生每帧的多个图像，并作为预览图像和捕获图像来处理产生的图像。

根据本发明的示例性实施例，相机设备或配备有相机的终端设备按每帧从相机和传感器获取拍摄信息，并与图像一起处理拍摄信息。

根据本发明的一方面，一种便携式终端设备的图像拍摄方法包括：在相机操作模式下按每帧时间段从相机传感器获取图像；将获取的图像转换为浏览图像和压缩图像；在显示单元上显示浏览图像的同时缓冲压缩图像。

根据本发明的另一方面，一种便携式终端设备包括：相机，在相机操作模式下按每帧获取图像；图像处理器，将获取的图像转换为浏览图像和压缩图像，并在单个帧中产生浏览图像和压缩图像；应用处理器(AP)，处理将被显示的浏览图像，并缓冲压缩图像；显示单元，显示由应用处理器输出的浏览图像。

根据本发明的另一方面，一种便携式终端设备的图像拍摄方法包括：在相机操作模式下按每帧从相机传感器获取图像；将图像转换为浏览图像和压缩图像；产生图像的拍摄信息；按帧输出浏览图像、压缩图像和拍摄信息；在显示单元上显示浏览图像；缓冲压缩图像和拍摄信息。

根据本发明的另一方面，一种便携式终端设备包括：相机单元，在相机操作模式下从相机传感器获取图像；图像处理器，处理来自相机传感器的获取的图像以产生浏览图像和压缩图像，从相机单元接收拍摄信息，在单个帧中输出浏览图像、压缩图像和拍摄信息；应用处理器，处理浏览图像，缓冲压缩图像和拍摄信息；显示单元，显示浏览图像。

根据本发明的另一方面，一种相机设备包括：相机单元，在相机操作模式下按每帧时间段从相机传感器获取图像；传感器单元，具有至少一个传感器；处理单元，处理由相机单元获取的图像以产生浏览图像和压缩图像，在拍摄图像时从相机单元和传感器单元的输出获取拍摄信息，处理将被显示的浏览图像，缓冲压缩图像和拍摄信息；显示单元，显示浏览图像。

根据本发明的另一方面，一种便携式终端设备包括：通信单元，负责与外部装置的无线电通信；终端控制器，通过使用通信单元控制便携式终端设备的语音呼叫和通信；相机单元，在相机操作模式下按每帧从相机传感器获取图像；传感器单元，具有至少一个传感器并产生传感器信息；图像处理器，处理从相机单元获取的图像以产生浏览图像和压缩图像，利用在捕获图像时来自相机单元的信息来产生拍摄信息，在单个帧中输出浏览图像、压缩图像和拍摄信息；应用处理器，与终端控制器通信，处理通信应用，处理将被显示的浏览图像，分别缓冲浏览图像、压缩图像和拍摄信息；显示单元，显示浏览图像。

根据本发明的示例性实施例的相机设备或配备有相机的终端设备能够按每帧获取由相机传感器拍摄的图像以获取多个图像和拍摄信息，并使用拍摄信息选择优选图像。因此，所述相机设备或配备有相机的终端设备能够通过在期望的时间捕获图像并保存在捕获的图像中选择的正确的图像来实现零快门时滞。

附图说明

图1是示出根据本发明的示例性实施例的相机设备的配置的框图；

图2是示出根据本发明的示例性实施例的相机单元的配置的框图；

图3是示出根据本发明的示例性实施例的ISP和AP的配置的框图；

图4A是示出根据本发明的示例性实施例的由ISP产生的图像帧的结构的示图；

图4B是示出根据本发明的示例性实施例的包括YUV图像、JPEG图像和拍摄信息的帧的格式的示图；

图4C是示出根据本发明的示例性实施例的每帧的数据传送格式的示图；

图5是示出根据本发明的示例性实施例的浏览图像缓冲器和压缩图像缓冲器以及拍摄信息缓冲器的配置的示图；

图6是示出根据本发明的可选示例性实施例的相机设备的配置的框图；

图7是示出图6的设备的ISP和AP的配置的框图；

图8是示出根据本发明的示例性实施例的利用单个处理块处理图像和应用的相机设备的配置的框图；

图9是示出图8的处理块的配置的框图；

图10是示出根据本发明的示例性实施例的用于在相机设备中处理每帧的浏览图像和压缩图像的过程的流程图；

图11是示出在图10的捕获图像中用于在显示缩略图图像的同时存储由用户选择的压缩图像的过程的流程图；

图12是示出在根据本发明的可选示例性实施例的用于相机设备中处理每帧的浏览图像和压缩图像以及拍摄信息的过程的流程图；

图13是示出在图12中用于在图像捕获时间显示拍摄信息的同时存储由用户选择的压缩图像的过程的流程图；

图14A和图14B是示出根据本发明的示例性实施例的用于利用拍摄信息的闪光信息提高闪光时间的方法的示图；

图15是示出根据本发明的示例性实施例的用于缓冲压缩图像的缓冲器的结构的框图；

图16是示出根据本发明的示例性实施例的使用拍摄信息捕获在没有抖动的情况下拍摄的图像的过程的流程图；

图17是示出根据本发明的另一可选示例性实施例的配备有相机设备的便携式终端设备的配置的框图。

具体实施方式

参照附图来详细描述本发明的示例性实施例。贯穿附图，相同的标号用于表示相同或相似的部件。

虽然在以下描述中呈现了诸如图像的像素数量、元数据项和数据大小的详细特征，但是对本领域的技术人员而言显然的是，这些特征仅作为示例而给出，以帮助理解本发明，而不限制本发明。在以下描述中，可省略对合并于此的公知功能和结构的描述，以避免模糊本发明的主题。然而，本发明可被实现为许多不同的形式，并且不应被解释为限于在此阐述的示例性实施例。此外，在此描述的考虑本发明的功能而定义的术语可依据用户和操作者的意图和实践被不同地实现。因此，应基于贯穿说明书的公开内容来理解术语。可在不脱离本发明的范围的情况下，在变化的多种实施例中采用本发明的原理和特征。

此外，虽然附图表现了本发明的示例性实施例，但是为了更加清楚地示出和解释本发明，附图不必按比例缩放并且特定特征可被夸大或省略。

在这里阐述的术语中，电子装置是指能够处理发送到任何外部实体或从任何外部实体接收的数据的任何种类的装置。电子装置可在存储的数据和各种可执行功能被分配或映射到的屏幕上显示图标。电子装置可包括计算机、笔记本电脑、平板PC、移动装置等。以下描述示出了示例电子装置是智能电话的本发明。

在这里阐述的术语中，屏幕是指显示器或在视觉上向用户显示信息的其它输出装置，所述其它输出装置可选地能够接收使用触控笔、用户的手指或将用户选择从用户传送到输出装置的其它技术的来自用户的触觉输入，并对所述触觉输入进行电处理。以下描述示出了示例屏幕是触摸屏的本发明。

本发明涉及一种相机设备或配备有相机的终端设备，所述相机设备或终端设备能够通过处理由相机的图像传感器获取的图像来产生多个图像，并产生从相机和/或设备的传感器获取的信息来作为拍摄信息。这里，所述多个图像可以是将被显示在显示单元上的浏览图像和将被存储在存储单元中的压缩图像。拍摄信息可以是当相机在相应帧中拍摄图像时从相机和/或设备的传感器获取的信息(下文中，术语“拍摄信息”可与术语“元数据”和“嵌入数据”互换)。压缩图像是从为了存储而被压缩的静止图像获得的，术语“捕获的图像”和“压缩图像”可以互换使用。

这里，浏览图像可以是调整(裁剪和/或按比例缩放)的以适合于显示单元的尺寸的YUV图像。压缩图像是在压缩数据中编码的相机的全分辨率图像(例如，全高清晰度(FHD)、超高清晰度(UHD)或更高分辨率图像)，在此，在本发明的示例性实施例中对示例性的JPEG图像进行了描述。根据本发明的示例性实施例，浏览图像是从相机的全分辨率图像按比例缩放的YUV图像的预览图像，压缩图像是通过在尺寸上压缩浏览图像所获取的或压缩的编码JPEG图像。

拍摄信息是在拍摄与每帧的各个图像相关的图像中从相机或设备的传感器获取的信息。典型地，相机设备仅具有用于设置相机传感器的信息，诸如可交换图像文件格式(exif)数据。exif数据可包括关于相机制造者、相机模型、图像编辑器(诸如软件)、图片修改日期(诸如日期和/或时间参数)、Exif版本、拍摄日期(诸如拍摄日期和/或时间)、图像尺寸、表示快门速度的曝光时间、曝光程序、焦距和光圈孔径(F数)的信息。然而，用于存储所述信息的存储空间是有限的，并且仅与捕获的图像被引用。本发明提供一种用于从相机和/或设备的传感器获取拍摄信息并使用拍摄信息有效地选择和处理图像的设备和方法。

根据本发明的示例性实施例的相机设备或配备有相机的终端设备例如在预览模式下处理由相机获取的每帧的图像，以产生浏览图像和压缩图像。

在这种情况下，相机设备通过使用相机按每帧时间段获取图像，并将获取的图像转换为浏览图像和压缩图像，浏览图像被显示在显示单元上，压缩图像被缓冲。如果由用户输入了捕获请求(即，记录请求)，则相机设备在输入捕获请求的时间点在缓冲器中的压缩图像中选择并存储压缩图像。在这种情况下，在用户的快门开启时间的图像可被选择并被存储，以解决快门延迟问题，即，使零快门时滞的实现成为可能。如果发生用户的捕获请求，则显示缓冲的压缩图像，从而存储由用户选择的压缩图像。在这种情况下，可存储在快门开启时间缓冲的图像中的由用户选择的图像。

根据本发明的可选示例性实施例的相机设备或配备有相机的终端设备通过处理由相机传感器按每帧时间段获取的帧的图像来产生浏览图像和压缩图像，并在图像获取时间从相机和/或设备的传感器获取拍摄信息。

在相机正工作时，相机设备通过使用相机按每帧时间段获取图像，并且在将获取的图像转换为浏览图像和压缩图像的同时，在图像获取时间从相机和/或设备的传感器获取拍摄信息。然后，相机设备在显示单元上显示浏览图像，并缓冲压缩图像和拍摄信息。如果按每帧获取图像，则相机设备逐帧地产生压缩图像和拍摄信息，并处理压缩图像和拍摄信息。

这里，相机输出相机的全分辨率图像，浏览图像是按比例缩放的将被显示在显示器上的YUV图像，压缩图像是在尺寸上压缩的JPEG图像，拍摄信息可包括相机信息、闪光信息、由设备的传感器产生的任何位置信息和相机设备状态信息中的所有或一些，其中，相机设备状态信息可包括由陀螺仪传感器、加速度传感器、高度传感器、方向传感器等产生的信息。

如果由用户输入了捕获请求，则相机设备能够存储在捕获请求时间缓冲的压缩图像中选择的压缩图像、在缓冲的压缩图像中选择的压缩图像或者与在呈现的拍摄信息中选择的拍摄信息相应的压缩图像。

在下文中，参照附图来描述本发明。图1是示出根据本发明的示例性实施例的相机设备的配置的框图。

参照图1，相机单元110设置有用于在相机正工作时拍摄图像的图像传感器，诸如合并在相机单元110中的传感器单元120或连接到相机单元110的传感器单元120。传感器单元120可包括安装在相机设备上的至少一个传感器，诸如全球定位系统(GPS)接收器、陀螺仪传感器、加速度传感器、高度传感器和方向传感器。

响应于捕获请求，图像信号处理器(ISP)130处理从相机单元110获取的图像，以在显示单元160上显示浏览图像并将压缩图像存储在存储单元150中。这里，浏览图像可以是YUV图像。YUV是颜色发射格式(颜色空间)，其中，Y表示明亮度(亮度)，U和V表示色度，即，U表示亮度与蓝色分量之间的差异(Y-B)，V表示亮度与红色分量之间的差异(Y-R)。ISP130对从相机单元110获取的图像执行色彩转换以产生YUV图像，并在尺寸上调整图像(缩放和/或裁减)以使YUV图像适合于显示单元160。即，ISP130产生YUV图像，并将图像缩放至适合于显示单元160的显示能力的尺寸。ISP130还对由相机单元110输出的图像执行编码以产生压缩图像。这里，压缩图像是响应于用户的捕获请求将被存储的图像，并且可以是通过根据预定编码方案对由相机单元110输出的全分辨率图像进行压缩编码所获取的图像。此时，由相机单元110输出的全分辨率图像可以是具有UHD像素数或更高分辨率的图像，编码器可以是JPEG编码器。

ISP130还从相机单元110和传感器单元120获取关于图像的拍摄信息。此时，除了当相机单元110拍摄图像时获取的exif信息之外，拍摄信息还可包括补充信息。补充信息可以是从传感器单元120获取的任何信息。

ISP130能够按每帧时间段产生浏览图像和压缩图像。ISP130还能够按每帧时间段产生浏览图像、压缩图像以及拍摄信息。ISP130还能够以每秒30帧的帧率(30fps)或更高帧率(例如，60fps)产生浏览图像和压缩图像(或者浏览图像和压缩图像以及拍摄信息)。

应用处理器(AP)140控制由ISP130产生的浏览图像和压缩图像(或者浏览图像和压缩图像以及拍摄信息)的缓冲，并在相机正工作时控制浏览图像在显示单元160上的显示。如果检测到用户的捕获请求(保存请求)命令，则AP140将缓冲的压缩图像(例如，与快门开启时间(即，用户的捕获请求时间)相应的帧图像)中的满足预定条件的压缩图像存储在存储单元150中。

输入单元170能够产生输出到AP140的相机驱动命令和捕获命令。响应于用户输入，输入单元170还能够产生请求显示存储在缓冲器中的压缩图像的拍摄信息和缩略图图像的命令。这里，相机驱动命令可以是相机电源开启或相机按钮开启输入，捕获命令可以是快门按钮开启输入。显示单元160在预览模式下显示由AP140输出的浏览图像。显示单元160还能够在捕获模式下显示由AP140输出的拍摄信息和/或缩略图图像。这里，输入单元170可以是能够检测用户的触摸输入的触摸面板，显示单元160可以是用于显示通过执行程序产生的数据和图像的LCD或OLED面板。这里，输入单元170和显示单元160可被集成到触摸屏中。输入单元170还可包括有在相机设备的外部的按钮布置或者从相机设备的外部扩展的按钮布置。

响应于捕获请求，存储单元150存储由AP140缓冲的压缩图像(或者压缩图像和拍摄信息)。

图2是示出根据本发明的示例性实施例的相机单元110的配置的框图。

参照图2，如果产生了相机驱动命令，则相机单元110的电源开启。ISP130驱动电机240，致动器250控制光学单元210的操作。这里，光学单元210的操作可包括放大操作和聚焦操作。光学单元210在拍摄时间左右拍摄或捕获图像，并产生与图像相应的光学信号或对图像进行编码的光学信号，图像传感器220感测由光学单元210拍摄的图像，并将图像的光学信号转换为电信号。可选择地或者另外，光学单元210输出例如用于聚焦操作的光，并且图像传感器220将光学单元210发射的光转换为电信号并产生相应的图像信号。这里，图像传感器220可以是支持FHD、UHD或更高分辨率的任何公知的图像传感器。在以下描述中，术语“全分辨率”表示图像传感器220所支持的最大分辨率。由图像传感器220感测的图像被A/D转换器230转换为数字图像，并随后被发送到ISP130。闪光260可被ISP130驱动以产生用于成像和光学操作的闪光。

图3是示出根据本发明的示例性实施例的ISP130和AP140的配置的框图。

参照图3，ISP130的图像处理部320将由相机单元110输出的图像转换为YUV图像。这里，图像处理部320可包括预处理部和后处理部。在这种情况下，预处理部对从相机单元110获取的图像执行预处理，预处理可包括3A(自动白平衡(AWB)、自动曝光(AE)和自动聚焦(AF))提取和处理、镜头阴影校正、死像素校正、坏像素补偿等，后处理执行预处理后的色彩插值、噪声消除、色彩补偿和图像转换以产生YUV数据。由相机单元110输出的图像是具有与图像传感器220支持的全分辨率相应的像素数的原始图像，图像处理部320处理图像以产生可显示在显示单元160上的YUV图像。

ISP130还包括用于存储静止图像的静止图像压缩器(静止图像编码器)340，静止图像压缩器340能够支持各种静止图像编码方法(诸如JPEG和TIFF)。在本发明的示例性实施例中，静止图像压缩器340是JPEG编码器。JPEG编码器340将由图像处理部320输出的图像压缩为JPEG图像。缩放器330将由图像处理部320输出的图像缩放至适合于显示单元160的尺寸。缩放器330能够进行对图像分量的缩放、裁减和调整大小中的至少一个。在图像处理部320不执行色彩转换功能的情况下，缩放器330可被实现为浏览图像产生器，并且在这种情况下，浏览图像产生器可包括用于将原始图像转换为YUV图像并用于执行缩放功能的色彩转换器。

图像处理控制器310在应用处理控制器360的控制下在相机操作模式下控制相机单元110的操作和ISP130的总体操作。图像处理控制器310还能够在相机单元110正工作时利用输入的与由相机单元110拍摄的图像相关并由传感器单元120产生的信息或数据来产生拍摄信息。图像处理控制器310进行控制以按每帧时间段产生相应帧的压缩图像和浏览图像(或者压缩图像和浏览图像以及拍摄信息)，并且每帧可以以例如每秒30帧或60帧的帧率被产生。

复用器350在图像处理控制器310的控制下对压缩图像和浏览图像(或者压缩图像和浏览图像以及拍摄信息)进行复用，并将复用结果发送到AP140。

另外，ISP130可包括用于将浏览图像转换为缩略图图像的缩略图图像产生器。在这种情况下，ISP130从浏览图像产生缩略图图像，JPEG编码器340对图像处理部320的输出进行压缩，并可产生包括压缩图像的头、缩略图图像和压缩的JPEG图像的压缩图像。

在AP140的配置中，应用处理控制器360根据输入单元170的命令控制ISP130的操作，缓冲由ISP130输出的图像并在显示单元160上显示所述图像，并且当检测到捕获命令时，应用处理控制器360将缓冲的压缩图像存储在存储单元150中。

解复用器355在应用处理控制器360的控制下对来自ISP130的浏览图像和压缩图像(或者浏览图像和压缩图像以及拍摄信息)进行解复用和输出。解析器370将由解复用器355解复用的图像和信息解析为浏览图像和压缩图像(或者浏览图像和压缩图像以及拍摄信息)。在可选示例性实施例中，在应用处理控制器360控制解复用器355对ISP130的输出执行软件解析以获取浏览图像和压缩图像(或者浏览图像和压缩图像以及拍摄信息)的情况下，可省略解析器370。

缓冲器380可包括浏览图像缓冲器383和压缩图像缓冲器385(或者浏览图像缓冲器383和压缩图像缓冲器385以及拍摄信息缓冲器387)。缓冲器380在应用处理控制器360的控制下对解析的浏览图像和压缩图像(或者浏览图像和压缩图像以及拍摄信息)进行缓冲。这里，缓冲器380具有能够缓冲N帧浏览图像和压缩图像(或者浏览图像和压缩图像以及拍摄信息)的大小，并可被配置为例如环形缓冲器结构。将缓冲器380配置为环形缓冲器结构的原因在于，将接收帧的图像和信息限制到预定数量。

AP140可包括用于响应于运动图像保存请求来压缩运动图像数据的运动图像压缩器(运动图像编码器)390，运动图像压缩器390可包括各种公知的运动图像编码器，诸如H.264编码器和MPEG编码器。在本发明的示例性实施例中，运动图像压缩器390是MPEG编码器。如果用户输入运动图像保存请求，则应用处理控制器360驱动MPEG编码器390，以对在缓冲器380的浏览图像缓冲器383中缓冲的浏览图像进行压缩并将压缩结果存储在存储单元150中。

AP140可包括用于通过调整浏览图像的尺寸来产生缩略图图像的缩略图图像产生器395。缩略图图像产生器395调整从浏览图像缓冲器383输出的浏览图像的尺寸以产生缩略图图像，所述缩略图图像可包括JPEG图像并可在应用处理控制器360的控制下被显示在显示单元160上。

在捕获图像的同时，ISP130继续产生浏览图像和压缩图像(或者浏览图像和压缩图像以及拍摄信息)，AP140可控制显示单元160同时显示压缩图像和浏览图像。例如，AP140能够在捕获模式下将浏览图像显示为预览图像的同时在显示单元160上将捕获的图像显示为缩略图图像。相反，AP140能够在捕获模式下在显示单元上显示捕获的图像的同时在显示单元160上将浏览图像显示为缩略图运动图像。即，AP140能够在捕获模式下使用浏览图像产生缩略图图像，并将JPEG头、缩略图图像和压缩图像存储为相应帧的压缩图像。在本发明的示例性实施例中，AP140能够在捕获模式下在显示单元160上同时显示浏览图像和捕获图像，在这种情况下，一图像(诸如浏览图像或捕获图像)可被显示为缩略图图像。在捕获模式下，AP140还能够对相应帧的压缩图像进行解码，并随后在显示单元160上将解码图像显示为静止图像。此时，捕获的压缩图像可以是考虑相机设备的快门延迟而配置的帧的压缩图像，应用处理控制器360能够响应于捕获请求在压缩图像缓冲器385中缓冲的压缩图像中选择所配置的帧的压缩图像，以将选择的压缩图像存储在存储单元150中。

在图3中，ISP130以及AP140的静止图像压缩组件和运动图像压缩组件被配置为编码器。然而，图像压缩组件和图像解压缩组件可被集成为编码器和解码器(编解码器)的单个芯片。因此，ISP130的静止图像编码器340(例如，JPEG编码器)可被配置为静止图像编解码器(诸如JPEG编解码器)，AP140的运动图像编码器390(例如，MPEG编码器390)可被配置为运动图像编解码器(诸如MPEG编解码器)。在本发明的示例性实施例中，所作描述针对显示并存储由相机单元110拍摄的图像的操作。另外，存在对用于将存储在存储单元150中的静止图像(例如，JPEG图像)进行解压缩和显示的本发明的配置的需要。为此目的，AP140可包括现有技术中公知的静止图像解码器(或静止图像编解码器)。在此情况下，如果用户通过使用输入单元170请求存储在存储单元150中的压缩图像的重放，则AP140通过使用静止图像解码器对压缩图像进行解码(解压缩)，以在显示单元160上显示解码图像。以现有技术中公知的方式执行使用这种公知的静止图像解码器或编解码器对静止图像进行解码和显示的操作。

在图3的配置中，ISP130能够产生用于预览的浏览图像，并从相机单元110输出的图像中产生用于捕获的压缩图像，或者产生浏览图像、压缩图像和拍摄信息。

首先，对本发明的示例性实施例中的浏览图像处理操作和压缩图像处理操作进行描述。

如果用户通过使用输入单元170输入相机驱动命令，则应用处理控制器360向ISP130通知该输入的相机驱动命令，图像处理控制器310驱动相机单元110。由相机单元110输出的图像被输入到图像处理部320。图像处理部320将来自相机单元110的原始图像转换为YUV图像，在此情况下，图像可以是相机单元的全分辨率图像。JPEG编码器340以JPEG格式对从图像处理部320输出的图像进行压缩以产生压缩图像，缩放器330将从图像处理部320输出的图像缩放(和/或调整尺寸)为将在显示单元160上显示的浏览图像。复用器350将压缩图像和浏览图像进行复用，并在图像处理控制器310的控制下将复用的图像输出到AP140。

这里，ISP130按每帧时间段以例如30fps或60fps的帧率产生每帧的浏览图像和压缩图像。

解复用器355对复用的浏览图像和压缩图像进行解复用，解析器370将解复用的图像解析为浏览图像和压缩图像。解析的浏览图像在应用处理控制器360的控制下在缓冲器380的浏览图像缓冲器383中缓冲并同时被显示在显示单元160上。压缩图像在应用处理控制器360的控制下在缓冲器380的压缩图像缓冲器385中缓冲。

这里，响应于用户的捕获请求，在压缩图像缓冲器385中缓冲的压缩图像可被用于补偿相机设备的快门延迟(快门时滞)并用于在缓冲的压缩图像中选择用户期望的图像。

如果由用户输入了捕获请求，则AP140能够捕获在压缩图像缓冲器385中缓冲的压缩图像中的用于补偿快门延迟的压缩图像。在相机设备检测到用户的捕获请求的时间诸如通过相机设备的取景器呈现在显示单元160上的图像可不同于由相机单元110捕获的图像。在本发明的示例性实施例中，当检测到捕获请求时，应用处理控制器360在正在压缩图像缓冲器385中缓冲的压缩图像中选择用于补偿快门延迟的帧的压缩图像并且将选择的图像保存在存储单元150中，以实现零快门时滞。例如，如果快门延迟是3帧，则应用处理控制器360在压缩图像缓冲器385中缓冲的压缩图像中选择3帧之前的压缩图像，并将选择的图像存储在存储单元150中。

其次，当检测到用户的捕获请求时，可能不能正常地拍摄待捕获的图像或画面。在人像的示例性情况下，画面模型可能关闭他/她的眼睛或者相机可能抖动。在此情况下，优选地捕获另一压缩图像。在本发明的示例性实施例中，AP140使用浏览图像产生在压缩图像缓冲器中缓冲的压缩图像的缩略图图像。即，AP140的缩略图图像产生器395调整(缩放和/或裁减)从浏览图像缓冲器383输出的浏览图像的尺寸以产生缩略图图像。其后，如果输入了捕获请求，则应用处理控制器360在显示单元160上显示缩略图图像以将压缩图像存储在存储单元150中，存储的图像对应于由用户选择的缩略图图像。在本发明的示例性实施例中，浏览图像在浏览图像缓冲器383中缓冲。因此，当输入捕获请求时，除了缩略图图像之外的正在浏览图像缓冲器383中缓冲的浏览图像可在后浏览模式(post view mode)下显示在显示单元160上，从而用户选择显示在显示单元160上的浏览图像中的一个浏览图像，以将选择的图像存储在存储单元150中。在包括头、缩略图图像和压缩图像的帧压缩图像的情况下，应用处理控制器360能够响应于捕获请求而显示存储在压缩图像缓冲器385中的压缩图像中的缩略图图像，在此情况下，用户可在检查显示的缩略图图像的同时选择正确的图像。

如上所述，根据本发明的示例性实施例的方法能够处理由相机单元110在预览模式下按每帧时间段产生的图像以产生浏览图像和压缩图像，以预定帧率缓冲浏览图像和压缩图像，并在捕获请求时间点或者作为捕获请求时间点的预定时间点存储从缓冲的压缩图像中选择的压缩图像，从而在检查与缓冲的压缩图像相应或与浏览图像相应的缩略图图像的同时实现零快门时滞并选择性地保存正确的压缩图像。

在本发明的示例性实施例中，可选地不使用拍摄信息。在此情况下，作为压缩图像的JPEG图像通常可包括exif数据。在此情况下，可不使用缓冲器380的拍摄信息缓冲器387。

再次，对本发明的可选示例性实施例的浏览图像和压缩图像以及拍摄信息的处理操作进行描述。

如果通过输入单元170输入了用户的相机驱动命令(即，如果执行了预览模式)，则应用处理控制器360向ISP130通知该输入的相机驱动命令，图像处理控制器310驱动相机单元110。从相机单元110输出的图像被输入到图像处理部320。

此时，ISP130按每帧时间段产生浏览图像、压缩图像和拍摄信息。这里，ISP130可以以30fps或更高(例如，60fps)的帧率产生图像。此时，图像处理部320对从相机单元110输入的原始图像执行3A处理、色彩插值和/或YUV转换，在此情况下，图像可以是相机单元110的全分辨率图像。静止图像解码器340处理由图像处理部320输出的图像以产生压缩图像。此时，压缩图像可以是JPEG图像或以现有技术中公知的尺寸减小编码格式编码的且不同于JPEG的图像。在本发明的可选示例性实施例中，压缩图像以JPEG格式被编码。缩放器330通过将从图像处理部320输出的图像缩放至适合于在显示单元160上显示的预定尺寸，来产生浏览图像。此时，可利用裁减、调整大小等中的至少一个来完成图像缩放以产生浏览图像。这里，在捕获运动图像中，浏览图像可以是将被显示在显示单元160上的图像和/或将被存储的图像。此时，ISP130的缩放器330可改变浏览图像的数据大小以在预览模式下使用或在存储运动图像中使用。如上所述，在图像处理部320不执行色彩转换功能的情况下，缩放器330可被配置为浏览图像产生器。在此情况下，浏览图像产生器可被配置为具有缩放功能和用于将原始图像转换为YUV图像的色彩转换功能。

当按每帧时间段产生浏览图像和压缩图像时，ISP130还利用在相机设备拍摄图像时获取的各种传感器信息来产生拍摄信息。通常，相机设备具有用于设置相机单元110的信息，而不具有由相机单元110提供的信息。当存储相机单元110的输出图像时，产生exif数据；然而，exif数据受限于存储拍摄信息的量并可仅从捕获的图像被引用。根据本发明的可选示例性实施例，如果相机单元110被驱动，则图像处理控制器310利用设备的相机单元110和传感器单元120的输入来产生帧图像的拍摄信息。AP140缓冲获取的拍摄信息以及作为嵌入数据(元数据)的相应帧的图像，从而利用缓冲的信息来有效地使用相机设备的功能。

在本发明的可选示例性实施例中，按每帧从相机单元110接收图像的ISP130产生浏览YUV图像和压缩图像以及相应帧图像的拍摄信息(图像数据加上嵌入数据)。这里，拍摄信息(元数据)的示例包括表1中列出的数据。

表1

使用以上描述的拍摄信息(元数据)，用户能够配置各种功能。也就是说，用户能够使用经常描绘的对象信息和相机菜单信息找到适合情况的设置值。例如，当在预览模式下检测到人脸时，相机设备能够通过基于拍摄信息自动地引用肖像数据库(DB)，来配置在拍摄相应人的照片中经常使用的菜单并保证满意的输出。经常拍摄家庭成员、朋友和爱人的肖像并得到愉悦的相机设备的用户能够在肖像DB中搜索对拍摄他们的肖像有用的信息，或者如果没有有用的信息，则设置有助于拍摄他们的肖像的菜单(例如，微笑拍摄、美颜拍摄、肖像场景模式、AF模式、对象跟踪、ISO、效果、白平衡、曝光、测光、变焦、闪光等)。此外，如果在预览模式下没有提供关于人的信息，则相机设备能够通过检查与风景画面相关的部分来设置适合于风景画面的配置(例如，室外可视度、闪光、ISO、效果、白平衡、曝光、测光、风景场景模式、扇聚焦模式(Fan focus mode)等)。可基于用户的相机利用模式(例如，拍摄爱人的照片并将照片存储在爱人相册中，或者发布到指定的SNS，或者上传到电子云存储系统)来存储如上所述拍摄的图像。相机设备还能够显示连续拍摄的图像以及相似性信息，从而用户可利用相册或后浏览图像检查相似性。

ISP130的复用器350在图像处理控制器310的控制下将浏览图像、压缩图像和拍摄信息进行复用，并将复用结果输出到AP140。

图4A是示出根据本发明的示例性实施例的由ISP产生的图像帧的结构的示图，图4B是示出根据本发明的示例性实施例的由YUV图像、JPEG图像和拍摄信息构成的帧的格式的示图，图4C是示出根据本发明的示例性实施例的每帧的数据传送格式的示图。

参照图4A至图4C，ISP130按每帧时间段产生YUV图像、JPEG图像和拍摄信息(嵌入数据或元数据)；复用器350如图4A所示地对YUV图像和JPEG图像以及拍摄信息进行复用，并将复用结果传送到AP140。

如图4B所示，作为压缩图像的JPEG数据是响应于捕获请求将被存储为静止图像的源图像和数据。此时，JPEG数据的大小可由相机单元110的图像传感器220确定为等于或大于例如8M字节。YUV数据是将被显示在显示单元160上以被缩放至适合显示单元160的尺寸的图像。YUV数据还能够被用作后浏览数据以及预览数据。即，存储在浏览图像缓冲器383中的浏览图像可响应于捕获请求作为后浏览数据显示在显示单元160上。拍摄信息是相机的补充功能信息并包括相机单元110拍摄图像时产生的信息以及由传感器单元120获取的信息。此时，拍摄信息可通过被包括在压缩图像中而被存储或与压缩图像分开存储。在本发明的示例性实施例中，拍摄信息与压缩图像分开存储。ISP130能够使用由相机单元110和传感器单元120获取的信息来产生如表1中所示格式的拍摄信息，拍摄信息与浏览图像和压缩图像相关联地存储在单个帧中。其后，用户能够使用拍摄信息有效地存储和处理图像。

根据本发明的示例性实施例，如图4B所示结构的相机帧数据由ISP130产生并以如图4C所示的传送格式被发送到AP140。例如，YUV数据可具有高达2MB(全HD：1920×1080×2(YUV422格式是每个像素2字节))的大小，JPEG数据可具有高达8MB的大小，作为拍摄信息的元数据可具有高达4KB的大小。在这种情况下，ISP130发送每帧数据所必需的总线带宽变为(1920×1080×2+8×1024×1024+4×1024)×30fps×8bit＝3,009,576,960bps＝2.87Gbps。

AP140的解复用器355对由ISP130复用的浏览图像、压缩图像和拍摄信息进行解复用，解析器370利用分别在浏览图像缓冲器383、压缩图像缓冲器385和拍摄信息缓冲器387中缓冲的浏览图像、压缩图像和拍摄信息对浏览图像、压缩图像和拍摄信息进行解析。缓冲器380被实现为环形缓冲器的形式，从而与预定数量的帧相应的数据在缓冲器中被覆盖。

图5是示出根据本发明的示例性实施例的浏览图像缓冲器和压缩图像缓冲器以及拍摄信息缓冲器的配置的示图。参照图5，缓冲器383、385和387中的每一个被配置为具有能够存储与N帧相应的数据的N个环形缓冲器，并在应用处理控制器360的控制下缓冲相应数据。此时，如果N个环形缓冲器填充有给定类型的数据，诸如浏览图像、压缩图像或存储信息，则应用处理控制器360从各个类型的缓冲器的底部覆盖数据。例如，压缩图像缓冲器385具有能够按照从JPEG1图像至JPEG n图像的产生的顺序存储N帧JPEG图像的环形缓冲器的结构。压缩图像缓冲器385被JPEG n+1图像至JPEG2n图像覆盖。浏览图像缓冲器383、压缩图像缓冲器385和拍摄信息缓冲器387的帧通过帧计数值被同步。因此，应用处理控制器360能够基于帧计数值来处理相同帧的浏览图像、压缩图像和拍摄信息。

应用处理控制器360进行控制，使得在浏览图像缓冲器383中缓冲浏览图像时浏览图像在显示单元160上被显示为预览图像。如果在此状态下输入用户的捕获请求命令，则应用处理控制器360检测捕获命令，并存储在压缩图像缓冲器385中缓冲的压缩图像中的预定帧的压缩图像。这里，预定帧可以是具有零快门时滞的帧。压缩图像可以是JPEG图像，在此情况下，将被存储的压缩图像可包括JPEG头、缩略图图像和JPEG图像。

在本发明的可选示例性实施例中，当检测到捕获请求时，可使用缓冲的压缩图像实现零快门时滞，并存储由用户在缓冲的帧图像中选择的压缩图像或基于拍摄信息选择的压缩图像。在此情况下，用户能够预先或者在捕获被触发的时间配置零快门时滞功能及图像和拍摄信息检查功能。在本发明的示例性实施例的以下描述中，预先配置这样的功能。

首先，在配置了零快门时滞功能的情况下，当捕获请求命令被输入时，应用处理控制器360检测通过输入单元170输入的命令，在压缩图像缓冲器385缓冲的图像中选择在先前帧中产生的压缩图像，并将选择的图像存储在存储单元150中。例如，如果快门延迟(快门时滞)被设置为一帧，则应用处理控制器360在检测到捕获请求命令时存储使用如图5所示的缓冲器缓冲的前一帧的压缩数据。例如，如果在图5的JPEG2的时间点发生捕获命令，则应用处理控制器360将在压缩图像缓冲器385中缓冲的JPEG1图像以及元数据1或Meta1存储在存储单元150中。此时，与JPEG1图像具有相同帧计数值的YUV1和Meta1可与JPEG1图像一起被存储。如上所述，可通过当捕获请求发生时在压缩图像缓冲器385中缓冲的先前帧的压缩图像中选择与快门释放时间点的帧相应的压缩图像并将选择的图像存储在存储单元150中，来实现零快门时滞。

其次，对用于执行在显示缩略图图像和浏览图像时选择想要或期望的压缩图像的第二功能的操作进行描述。待捕获的画面或图像可能是非正常拍摄的画面或图像。例如，画面中的图像可能归因于相机的抖动，或者图像中的人可能闭眼。由于照片在瞬间被拍摄，因此确保用于再次拍摄对象的图像的相同条件可能变得不可行。因此，如果难以在相同的条件下重新拍摄对象的图像，则优选地捕获被缓冲的压缩图像之一。根据本发明的示例性实施例的方法能够在压缩图像缓冲器385中缓冲的图像中选择照片图像。为此目的，根据本发明的示例性实施例的方法在产生浏览图像时产生缩略图图像。当检测到捕获请求时，应用处理控制器360在存储与由用户选择的缩略图图像相应的压缩图像时显示在压缩图像缓冲器385中缓冲的压缩图像的缩略图图像。此外，当检测到捕获请求时，应用处理控制器360可进行控制以显示在浏览图像缓冲器383中缓冲的浏览图像，以便用户选择目标压缩图像。

上述第二功能能够与零快门时滞功能一起被配置。在此情况下，应用处理控制器360在运行零快门时滞功能时选择压缩图像，如果所述压缩图像不是期望的图像，则检查缩略图图像或浏览图像以选择另一压缩图像。

再次，如果在用于使用特定拍摄信息选择捕获图像的第三功能的状态下请求图像捕获，则AP140检查拍摄信息以选择压缩图像。例如，如果图像在闪光的情况下被拍摄，则应用处理控制器360检查拍摄信息的闪光信息以选择在发出最亮闪光的时间的压缩图像；如果用户配置了抖动检测功能，则应用处理控制器360检查抖动传感器(例如，陀螺仪传感器、加速度传感器等)的信息以选择在不抖动的情况下拍摄的压缩图像。此外，应用处理控制器360可通过检查拍摄信息的数据大小来控制在缓冲器380中对图像的缓冲。

图1和图3是示出根据本发明的示例性实施例的相机设备的配置的框图。这里，ISP130处理从相机单元110输出的图像，控制相机单元110的操作，执行用于获取相机单元110的拍摄信息的功能。传感器单元120连接到ISP130以在相机工作时利用从相机单元110和传感器单元120获取的信息来产生拍摄信息。AP140控制ISP130的操作，处理由ISP130输出的数据(浏览图像和压缩图像以及拍摄信息)。

然而，除了ISP130的应用(即，与相机相关的应用)之外，AP140还可执行或操作其它应用。这样的应用可包括传感器单元120的应用。例如，传感器单元120可包括用于接收GPS信号的GPS模块，并显示设备的位置。例如，所述设备可包括相机设备或包括相机设备的终端装置。传感器单元120还可包括用于指示设备的运动状态的运动传感器。例如，运动传感器能够感测设备的任何水平和/或垂直运动，陀螺仪传感器能够检测绕x轴、y轴和z轴中的任何一个的轴运动。因此，所述应用感测运动传感器的输出，基于运动传感器的输出指示设备的姿势、方位和/或运动。在此情况下，传感器单元120可连接到AP140。

图6是示出根据本发明的另一可选示例性实施例的AP140处理传感器单元120的输出的相机设备或包括相机设备的终端设备的配置的框图，图7是示出图6的设备的ISP130和AP140的配置的框图。以下，所作描述指向当相机正工作时拍摄信息的产生和处理操作。除了拍摄信息的产生和处理操作之外的其它操作与参照图1和图3描述的操作相同。

参照图6和图7，如果用户通过使用输入单元170输入了相机驱动命令(例如，如果执行了预览模式)，则应用处理控制器360向ISP130通知该相机驱动命令的检测，图像处理控制器310驱动相机单元110。由相机单元110输出的图像被输入到图像处理部320。

此时，ISP130产生浏览图像和压缩图像以及拍摄信息。图像处理部320能够对从相机单元110输入的原始图像执行各种功能和方法，诸如3A处理、色彩插值和/或YUV转换，在此情况下，图像可以是相机单元110的全分辨率图像。响应于捕获请求，JPEG编码器340以JPEG格式对由图像处理部320输出的图像执行压缩编码，以产生将被存储的压缩图像，缩放器330对由图像处理部320输出的图像执行尺寸减小，以产生将在预览模式下显示在显示单元160上的浏览图像。如上所述，如果图像处理部320不负责色彩转换功能，则缩放器330可被配置为浏览图像产生器。在此情况下，浏览图像产生器可配置有色彩转换功能(从原始图像转换为YUV图像)和缩放器功能。

在ISP130按每帧时间段产生浏览图像和压缩图像的同时，ISP130还产生在相机单元110拍摄图像的时间获取的拍摄信息。在此情况下，ISP130的图像处理控制器310利用相机单元110的操作配置信息(设置信息)以及在相机工作时从相机单元110获取的信息来产生拍摄信息。也就是说，在如图6和图7所示配置的设备中，ISP130控制相机单元110，并仅使用从相机单元110获取的信息产生拍摄信息(下文中，称为第一拍摄信息)。

ISP130还按每帧时间段产生YUV图像、JPEG图像和第一拍摄信息，复用器350如图4A所示地对YUV图像和JPEG图像以及拍摄信息进行复用，并将复用结果传送到AP140。

这里，相机设备和配备有相机设备的终端设备可以是由用户携带的便携式装置。所述设备可移动，从而它的位置根据用户行进或漫步的范围或区域而改变，它的移动性根据用户怎样移动(通过汽车、飞机或火车或步行)而改变，它的高度根据用户的垂直位置(建筑物的屋顶或地下室、山顶或海洋)而改变，它的姿势根据用户的行为(沿垂直方向或水平方向运动，或沿x轴方向、y轴方向或z轴方向中的任何一个运动)而改变，它的方位(向东、向西、向南和向北，或者它们的组合)改变。相机设备或配备有相机设备的终端设备可包括用于检测位置和运动的上述属性的传感器单元120，传感器单元120可包括各种传感器。传感器单元120可包括用于检测终端的位置、区域和移动性的GPS接收器、用于检测设备的运动的运动传感器(加速度传感器、陀螺仪传感器等)、用于测量设备的高度的高度传感器、用于检测设备的方位的方位传感器、用于感测关于设备的周围环境亮度的照度传感器等。相机设备或配备有相机设备的终端设备还能够在相机正工作时通过互联网或其它公知的通信方法和/或网络接收天气和温度信息以及其它补充信息。为此目的，相机设备或配备有相机设备的终端设备可包括用于连接到通信网络或互联网的通信单元，例如，Wi-Fi模块。当相机正运行时由传感器单元120和/或通信单元获取的信息被称为第二拍摄信息。

作为复用数据或图像的由ISP130发送的浏览图像、压缩图像和第一拍摄信息被AP140的解复用器355解复用，被解析器370解析为浏览图像、压缩图像和拍摄信息，并分别缓冲到浏览图像缓冲器383、压缩图像缓冲器385和拍摄信息缓冲器387中。此时，AP140的应用处理控制器360利用传感器单元120的输出和/或通过通信单元接收的补充信息来产生第二拍摄信息，将解析的第一拍摄信息与第二拍摄信息合并为拍摄信息，同时缓冲合并的拍摄信息。也就是说，AP140按每帧将由AP140产生的第二拍摄信息与由ISP130发送的第一拍摄信息进行合并，从而在拍摄信息缓冲器387中缓冲合并的拍摄信息。在示例实施例中，缓冲器380被配置为如图5所示的环形缓冲器的形式，如果与预定数量的帧相应的数据被缓冲，则所述数据被覆盖。浏览图像缓冲器383、压缩图像缓冲器385和拍摄信息缓冲器387的帧利用帧计数值互相同步。因此，应用处理控制器360检查帧计数值以按每帧处理浏览图像、压缩图像和拍摄信息。

应用处理控制器360还进行控制使得浏览图像在显示单元160上被显示为预览图像的同时被缓冲到浏览图像缓冲器383中。如果在以上状态下输入了用户的捕获请求命令，则应用处理控制器360检测输入的命令，并存储根据配置在压缩图像缓冲器385中缓冲的压缩图像中选择的压缩图像。在配置了零快门时滞功能的情况下，AP140选择当检测到捕获命令(即，当用户已检查了显示单元160或取景器时)时的帧的压缩图像，并存储选择的图像。在用户已配置特定功能，以(例如，利用用于闪光、人脸识别、防抖等的功能)拍摄或捕获图像的情况下，AP140分析与相应功能有关的拍摄信息，并基于分析结果存储被选为最佳图像的帧的压缩图像。在由用户配置了手动设置的情况下，AP140显示缩略图图像和/或拍摄信息以存储由用户选择的帧的压缩图像。此时，将被存储的压缩图像可以是JPEG图像，在此情况下，压缩图像可由JPEG头、缩略图图像和JPEG图像构成。

如图1、3、6和7所示配置的相机设备针对ISP130和AP140处理由相机单元110拍摄的图像的情况。然而，ISP130和AP140可被集成为单个处理器。图8是示出根据本发明的另一可选示例性实施例的用于利用单个处理块处理图像并执行应用的相机设备的配置的框图，图9是示出图8的处理块的配置的框图。

参照图8和图9，当相机正在运行时，相机单元810拍摄外部图像，传感器单元820可包括上述的GPS接收器、陀螺仪传感器、加速度传感器、高度传感器和方位传感器中的至少一个。

处理单元830处理从相机单元810获取的图像以产生将被显示在显示单元160上的浏览图像、响应于捕获请求将被存储的压缩图像以及拍摄信息，并缓冲所述图像和拍摄信息。这里，处理单元830被配置为整体地执行ISP和应用处理单元的功能。处理单元830按每帧时间段产生浏览图像、压缩图像和拍摄信息，并缓冲相同帧中的所述图像和拍摄信息。

输入单元860可向处理单元830产生相机驱动命令和捕获命令。响应于用于图像捕获的用户输入，输入单元860能够产生请求显示拍摄信息和/或缩略图图像的命令。显示单元850在预览模式下显示由处理单元输出的浏览图像。显示单元850还能够在捕获图像中显示由处理单元830输出的拍摄信息和/或缩略图图像。这里，输入单元860可以是检测用户的触摸输入的触摸板，显示单元850可以是用于显示通过程序的执行所产生的数据和图像的LCD或OLED面板。这里，输入单元860和显示单元850可被集成为触摸屏。输入单元860可包括布置在相机设备的外部的按钮或从相机设备的外部扩展的按钮。

存储单元840响应于捕获请求来存储缓冲的压缩图像。

在图9中，在没有如本发明的其它实施例中的ISP将帧图像和拍摄信息进行复用且将复用结果传送到AP并且将从应用处理单元接收的帧图像和信息进行解复用且解析所述帧图像和信息的情况下来描绘处理单元830。结合图8和图9(例如，使用缩放器930、JPEG编码器940、浏览图像缓冲器953、压缩图像缓冲器955、拍摄信息缓冲器957、MPEG编码器960和缩略图图像产生器970)在此描述的其它配置和操作与参照图3和图7描述的配置和操作相同并且可与参照图3和图7描述的组件相比和/或相同。

也就是说，由图像处理部920处理的全HD图像或更高分辨率图像被压缩编码为JPEG图像并在尺寸上被缩放器930调整为浏览图像。控制单元910利用在拍摄图像中从相机单元810和传感器单元820获取的信息来产生拍摄信息。此时，按每帧时间段产生JPEG图像、浏览图像和拍摄信息；JPEG图像、浏览图像和拍摄信息具有相同的帧计数值。因此，在相同帧产生的JPEG图像、浏览图像和拍摄信息被同步处理。JPEG图像、浏览图像和拍摄信息在控制单元910的控制下分别缓冲到缓冲器950的相应缓冲器955、953和957中，浏览图像在显示单元850上被显示为预览图像。

如果输入了捕获请求，则控制单元910选择在压缩图像缓冲器955中设置的先前帧的压缩图像并将选择的图像存储在存储单元840中，从而实现零快门时滞。如上所述，控制单元910能够将缩略图图像或浏览图像显示为后浏览图像，以便用户选择性地存储压缩图像。控制单元910能够根据用户配置显示正在缓冲的拍摄信息，从而用户通过选择性地检查拍摄信息并输入选择，来存储压缩图像。

如上所述，根据本发明的示例性实施例的相机设备能够在相机正运行时按每帧产生用于预览的浏览图像和用于存储的压缩图像，或者产生并缓冲预览图像和压缩图像以及拍摄信息。因此，所述相机设备能够响应于捕获(保存)请求利用正在缓冲的图像实现零快门时滞，并选择性地将在拍摄时间周围拍摄的任一图像存储为用户的目标图像。

图10是示出用于在根据本发明的示例性实施例的相机设备中处理每帧的浏览图像和压缩图像的过程的流程图。

参照图10，如果通过输入单元170输入了相机操作请求，则AP140在步骤1011检测该请求，并向ISP130通知该请求的检测，因此在步骤1013，ISP130驱动相机单元110以操作相机。否则，在步骤1011，如果没有输入相机操作请求，则所述方法重复地循环，直到检测到该请求为止。在步骤1013，ISP130根据配置信息(例如，聚焦、变焦、白平衡等)驱动相机。

如果在步骤1013相机被驱动，则ISP130在步骤1015以单个帧获取由相机单元110拍摄的全HD图像或更高分辨率图像，并在步骤1017产生相应帧的浏览图像和压缩图像。此时，帧率可以是30fps或更高(例如，60fps)。因此，ISP130产生每秒30帧的浏览图像和压缩图像。在步骤1019，在浏览图像在显示单元160上被显示为预览图像的同时，浏览图像和压缩图像被复用并被传送到缓冲浏览图像和压缩图像的AP140。

如果在相机设备正在预览模式下工作的状态下用户输入捕获请求命令，则AP140在步骤1021检测该命令，并在步骤1023将根据配置在缓冲的压缩图像中选择的压缩图像存储在存储单元150中。否则，在步骤1021，如果没有接收到捕获请求命令，则所述方法进行到步骤1025。参考步骤1023，可以以各种方式配置压缩图像的选择。在配置了零快门时滞功能的情况下，AP140将在缓冲的压缩图像中选择的先前帧的压缩图像存储在存储单元150中。例如，如果快门延迟(快门时滞)被设置为一帧并且如果捕获请求命令被输入，则通过存储如图5所示的缓冲的前一帧的压缩数据来实现零快门时滞。可配置用于在显示缩略图图像或浏览图像时选择目标压缩图像的功能。参考回步骤1025，如果由用户输入了相机操作终止命令，则AP140在步骤1025检测该命令输入并通过使用ISP130关闭相机单元110，随后，图10中的方法结束。然而，如果没有输入相机操作终止命令，则所述方法循环回步骤1015来执行步骤1015至1025，直到在步骤1025输入并检测到相机操作终止命令为止。

图11是示出在图10的步骤1023的捕获图像中用于在显示缩略图图像的同时存储由用户选择的压缩图像的过程的流程图。

参照图11，画面中的图像可能不是满意的。例如，通过抖动的相机拍摄的图像或具有在拍摄时间人运动或闭眼的图像可能要被丢弃。然而，难以在相同的条件下重新拍摄场景。为了克服该问题，根据本发明的示例性实施例的方法能够存储在缓冲的压缩图像中选择的目标图像。在本发明的示例性实施例中，使用浏览图像产生缩略图图像。如果捕获请求被检测到，则AP140在步骤1111在显示单元160上例如以JPEG格式显示与缓冲的压缩图像相应的缩略图图像。所述方法随后在步骤1113检测用户对缩略图图像的选择。如果没有检测到选择，则所述方法循环回步骤1111以继续显示缩略图，直到检测到选择为止。如果用户通过输入单元170选择了缩略图图像，则AP140在步骤1113检测该选择并进行至步骤1115，从而AP140在步骤1115将与用户选择的缩略图图像相应的压缩图像存储在存储单元150中，所述方法返回以完成图10的步骤1023。如果捕获请求被检测到，则AP140按顺序显示缓冲的浏览图像(后浏览)，从而用户选择压缩图像中的一个压缩图像。

在如图11所示的过程中执行的捕获功能可与零快门时滞功能一起被配置。在此情况下，AP140利用零快门时滞功能选择压缩图像，如果对压缩图像不满意，则检查缩略图图像或浏览图像以选择另一压缩图像。

在重复上述操作时，相机设备执行预览模式和捕获操作。

图12是示出用于在根据本发明的可选示例性实施例的相机设备中处理每帧的浏览图像和压缩图像以及拍摄信息的过程的流程图。

参照图12，如果输入了请求相机操作的相机命令，则AP140通过与图10的步骤1011至1015相同的步骤1211至1215从相机单元110获取图像。然而，如果在步骤1211没有请求相机操作，则所述方法重复地循环执行步骤1211，直到相机操作被请求为止。

其后，当执行了步骤1215时，AP140在步骤1217产生相应帧的浏览图像和压缩图像以及拍摄信息。此时，帧率可以是30fps或更高(例如，60fps)，ISP130能够产生与每秒30或更多帧相应的如表1中所示结构的浏览图像和压缩图像以及拍摄信息。如以上产生的浏览图像和压缩图像以及拍摄信息被复用并随后被传送到AP140，从而在步骤1219，AP140在缓冲浏览图像和压缩图像以及拍摄信息的同时在显示单元160上将浏览图像显示为预览图像。

如果在相机设备正在预览模式下工作的状态下用户输入了捕获请求命令，则AP140在步骤1221检测该命令，并在步骤1223将根据配置在缓冲的压缩图像中选择的压缩图像存储在存储单元150中。此时，可以以各种方式执行压缩图像选择配置。在配置了零快门时滞功能的状态下输入捕获请求命令的情况下，AP140选择在先前帧中产生并缓冲的压缩图像中选择的压缩图像，并将选择的图像存储在存储单元150中。其次，在配置了用于在显示缩略图图像或浏览图像的同时选择目标压缩图像的功能的情况下，AP140能够在步骤1223执行图11的过程。再次，可在显示拍摄信息的同时选择压缩图像。

在步骤1223之后通过循环回步骤1215来重复以上操作，相机设备执行预览模式和捕获操作。然而，在步骤1221，如果没有检测到捕获请求命令，则所述方法进行至步骤1225以检测相机操作终止命令。如果用户输入了相机操作终止命令，则AP140在步骤1225检测该命令，并在步骤1227通过ISP130关闭相机单元110，所述方法结束。然而，在步骤1225，如果没有检测到相机操作终止命令，则所述方法循环回步骤1215。

图13是示出在图12的步骤1223中用于在图像捕获时间显示拍摄信息的同时存储由用户选择的压缩图像的过程的流程图。

参照图13，AP140能够配置如下功能：基于拍摄信息选择最佳图像，以及在拍摄图像之后手动检查拍摄信息以选择最佳图像。首先，在用于基于特定信息选择图像的功能的情况下，AP140在检测到捕获命令时分析与配置的功能相关的拍摄信息，基于分析结果选择在配置的功能的最佳条件下拍摄的帧的压缩图像，并存储选择的图像。稍后参照图14B和图16描述该过程。

在配置了手动功能的情况下，AP140能够显示缓冲的拍摄信息，以便用户选择压缩图像。例如，如果图像利用闪光被拍摄，则AP140能够检查拍摄信息的闪光信息并进行控制，从而利用最亮闪光灯拍摄的压缩图像被选择，并且AP140能够检查关于传感器单元120(例如，陀螺仪传感器、加速度传感器等)的信息，从而在没有抖动的情况下拍摄的压缩图像被选择。为此目的，AP140在步骤1311分析拍摄信息(元数据)，并在步骤1313显示被配置为在缓冲的拍摄信息中提供的并被确定为满足预定条件的拍摄信息项。例如，AP140能够在显示单元160上显示在利用闪光拍摄图像中获取的拍摄信息中的闪光信息。此时，设置闪光信息以检查在拍摄图像中利用最亮闪光灯获取的帧的拍摄信息的闪光信息。因此，用户可检查利用最亮闪光灯拍摄的帧。此时，如果用户选择了相应帧，则在步骤1315，AP140在缓冲的压缩图像中选择与选择的帧相应的压缩图像，并将选择的图像存储在存储单元150中。

在图13的过程中执行的捕获功能可与零快门时滞功能一起被配置。在此情况下，AP140在执行零快门时滞功能的同时选择压缩图像，如果对压缩图像不满意，则用户可在检查显示的拍摄信息的同时选择另一压缩图像。

如上所述，根据本发明的示例性实施例的相机设备利用缓冲的数据和信息按每帧从由相机单元110拍摄的图像中产生相应帧的用于存储的浏览图像和压缩图像以及拍摄信息。利用缓冲的图像，可实现零快门时滞并选择期望的图像的压缩数据。如上所述，将按每帧存储的拍摄信息(嵌入数据)中的值进行分析并应用于相机功能，从而确保用于特定情况的最佳解决方案。

下文中，对使用拍摄信息改善相机设备的功能的示例方法进行描述。

首先，可使用闪光数据提高闪光时间。图14A和图14B是示出根据本发明的示例性实施例的用于利用拍摄信息的闪光信息提高闪光时间的方法的示图。

参照图14A，ISP130在闪光模式下操作相机单元110的闪光灯260。此时，图2中的闪光灯260发射光，ISP130将拍摄信息的闪光参数(见表1)设置为全发光状态下的帧中的特定值。ISP130能够通过监视内部寄存器值来检查闪光灯260的全发光状态，并且当闪光灯发射最亮光时，ISP130将拍摄信息的闪光信息设置为帧中的指示全发光状态的值。图14A指向拍摄信息的闪光信息被设置为1的示例性情况，其中，1用于在闪光灯的全发光状态下拍摄的帧。

参照图14B，当在图10的步骤1021检测到捕获请求时，AP140能够在步骤1023执行图14B的过程。在闪光功能被配置为开启的情况下，AP140在步骤1411检测配置了闪光功能，并在步骤1413分析拍摄信息的闪光信息。否则，在步骤1411，如果闪光功能未开启或未被配置，则所述方法执行设备的不同的相应功能。参考回步骤1413，闪光灯可被配置为如图14A所示发射最亮光。在此情况下，AP140在步骤1415利用闪光信息检查传感器帧数据内的在最强闪光强度(the flash intensity century)下设置的帧，并在步骤1417存储与所述帧相应的压缩图像。随后，所述方法结束。

在此情况下，来自快门开启帧的差异可以很小。也就是说，由于闪光灯在快门按钮按下的时间被驱动，因此，闪光灯的最亮发射时间可能在快门开启时间之后在图14A的最强闪光强度内晚几帧。因此，用户可在快门开启时间选择压缩图像(即，实现零快门时滞的帧)或闪光灯的最亮发光时间选择压缩图像。在前一情况中，AP140选择并显示利用零快门时滞效应获取的压缩图像，如果随后用户通过检查拍摄信息选择了利用闪光灯的最亮光发射所拍摄的图像，则AP140存储相应的压缩图像。在后一情况中，AP140能够选择并存储在闪光灯的最亮发光时间的帧。

如上所述，当闪光灯被激活时，AP140在显示单元160上显示如图14A所示的拍摄信息的闪光信息，如果用户选择了利用最亮发光帧拍摄的帧，则AP140选择相应帧的压缩图像，并将选择的图像存储在存储单元150中。因此，当借助闪光灯拍摄图像时，不必检查全发光时间而使用拍摄信息(嵌入数据)的闪光信息值。也就是说，由于利用全发光时间拍摄的图像由闪光信息值指示，所以不需要分开同步闪光时间。

其次，在零快门时滞环境中，可管理用于缓冲具有图像的典型JPEG尺寸(诸如8MB)的压缩图像的缓冲器。图15是示出根据本发明的示例性实施例的用于缓冲压缩图像的缓冲器的结构的框图。

参照图15，在根据本发明的示例性实施例的相机设备的零快门时滞环境中，预定数量的图像被缓冲到多个图像缓冲器中。此时，当JPEG图像的尺寸是8MB时，压缩图像缓冲器必须被配置为具有如图5所示的总共8M×N个缓冲器。例如，如果每一个能够存储8MB图像的五个缓冲器被使用，则图3或图7中的压缩图像缓冲器385或者图9中的压缩图像缓冲器955必须被配置为具有能够存储五个8MB图像的尺寸。然而，按每帧产生的JPEG图像的尺寸根据拍摄的图像1511而变化，因此，存在缓冲器的未使用部分1513的浪费部分。使用包括在具有表1的结构的拍摄信息(嵌入数据)中的数据大小信息(数据大小和JPEG大小)，可将图像存储在压缩图像缓冲器385、955中，以在实际产生的JPEG图像1511的大小范围内更加有效地使用存储器并重新使用用于存储如图15所示的下一帧1515的图像的剩余存储器。在此情况下，当五个8MB大小的缓冲器被使用并且捕获的图像的平均实际JPEG大小是2MB时，可存储大约20个图像。此时，可利用如表1所示结构的拍摄信息的帧计数来同步帧。也就是说，JPEG图像可由JPEG头、缩略图图像和JPEG图像构成，如果JPEG头具有帧计数值，则在压缩图像缓冲器中缓冲的压缩图像、拍摄信息和浏览图像可按帧被同步。

再次，可使用传感器单元120的拍摄信息来解决捕获抖动图像的问题。图16是示出根据本发明的示例性实施例的使用拍摄信息捕获在相机设备没有抖动的情况下拍摄的图像的过程的流程图。

参照图16，传感器单元120的陀螺仪传感器和加速度传感器通常检测相机设备的抖动。因此，相机设备在执行图12的过程的同时产生并缓冲浏览图像和压缩图像以及拍摄信息，浏览图像在显示单元160上被显示为预览图像。此时，如果抖动检测功能被配置为开启，则AP140在步骤1611检测抖动，并在步骤1613分析包括在拍摄信息中的抖动传感器信息。然而，在步骤1611，如果抖动检测功能没有开启，则所述方法执行不同的相应功能。参考回步骤1613，抖动传感器可以是加速度传感器和/或陀螺仪传感器。此时，陀螺仪传感器能够检测相机设备的轴运动(关于x轴、y轴和z轴的运动)。如表1所示的产生的拍摄信息包括由传感器单元120的加速度传感器和陀螺仪传感器产生的信息。

如果用户在以上状态下按下图像捕获按钮，则AP140检查是否配置了抖动检测功能，如果配置了抖动检测功能，则在步骤1613，AP140选择零快门时滞帧的拍摄信息，从选择的拍摄信息提取陀螺仪传感器和加速度传感器的信息，并分析提取的两个数据值。此时，配置用于基于陀螺仪传感器信息和加速度传感器信息来判断抖动的发生的预定阈值，从而在步骤1615，AP140将拍摄信息的传感器信息与相应预定阈值进行比较以确定抖动的存在。此时，如果所述两个传感器的拍摄信息的至少一个传感器信息大于每个传感器的相应阈值，则AP140在步骤1615确定图像发生了抖动，否则在步骤1619选择下一帧的拍摄信息，并且所述过程循环回步骤1613。此时，可选择刚好在由零快门时滞配置指示的帧之前或之后的帧。即，可以按如下方式来执行帧选择：首先选择刚好在零快门时滞执行帧之前的帧，然后选择刚好在零快门时滞执行帧之后的帧。

然而，如果在步骤1615确定在没有抖动的情况下拍摄了帧或图像，即，如果用于相应帧的拍摄信息的加速度传感器和陀螺仪传感器的信息满足预定阈值(也就是说，加速度传感器和陀螺仪传感器的传感器信息都在它们各自的传感器阈值之下)，则在步骤1617，AP140确定与该帧或图像相应的图像在没有抖动的情况下被拍摄，因此将相应帧的压缩图像存储在存储单元150中。所述方法随后结束。

如上所述，在配置了抖动检测功能的情况下，当检测到捕获请求时，AP140首先从零快门时滞帧的拍摄信息提取与加速度传感器和陀螺仪传感器相关的拍摄信息来作为抖动传感器值，如果所述两个传感器值中的至少一个急剧变化，则AP140确定发生了抖动。在此情况下，AP140从待捕获的帧的一帧之前或之后的帧的拍摄信息提取陀螺仪传感器和加速度传感器的信息，并分析提取的信息。此时，如果所述两个传感器值的变化小于各个预定阈值，则确定帧或图像在抖动的情况下被拍摄，并将缓冲的相应帧的压缩图像存储在存储单元150中。虽然在以上描述中基于陀螺仪传感器和加速度传感器二者的信息确定了抖动的存在，但是可基于陀螺仪传感器信息和加速度传感器信息之一来确定抖动的存在。

如上所述，相机设备在预览模式下产生并缓冲浏览图像和压缩图像以及拍摄信息，拍摄信息包括用于确定相机是否抖动的来自传感器单元120的信息(诸如加速度传感器信息和/或陀螺仪传感器信息)。如果用户在预览模式下释放快门按钮，则AP140分析预定帧的拍摄信息(在零快门时滞功能被激活的情况下，在快门按钮释放时间缓冲的帧的拍摄信息)以确定抖动的存在。此时，如果作为传感器信息分析结果的抖动值等于或小于预定阈值，则AP140存储相应帧的压缩图像，否则，如果抖动值大于预定阈值，则AP140分析先前帧的拍摄信息以确定抖动的存在。在重复此处理时，AP140按顺序分析帧的拍摄信息以存储抖动值等于或小于预定阈值的帧的压缩图像。

最后，可通过积累和分析拍摄信息值(诸如嵌入数据)来实现相机设备的自动设置功能。如表1中所示的拍摄信息按每帧被产生并被存储在存储单元150中。此外，可通过分析按每帧产生的拍摄信息值(诸如嵌入数据)自动地配置相机设置以预先适合用户环境。例如，可分析前100帧的嵌入数据以获取可被自动应用的最佳帧率(帧每秒，fps)、曝光值(ev)、场景模式、效果iso值等。

图17是示出根据本发明的另一可选示例性实施例的配备有相机设备的便携式终端设备的配置的框图。

参照图17，相机单元110设置有当相机工作时负责获取图像的传感器。传感器单元120可包括安装在便携式终端设备上的至少一个传感器，所述传感器是GPS接收器、陀螺仪传感器、加速度传感器、高度传感器、方位传感器和照度传感器中的至少一个。这里，传感器单元120可如图1和图3所示连接到ISP130或者如图6和图7所示连接到AP140，或者传感器单元120的一些传感器连接到ISP130，传感器单元120的其它传感器连接到AP140。在本发明的示例性实施例的以下描述中，传感器单元120连接到AP140。

ISP130处理从相机单元110获取的图像，以产生将被显示在显示单元160上的浏览图像、响应于捕获请求将被存储的压缩图像以及与相应帧的图像相关的拍摄信息。例如，仅为了说明的目的，浏览图像可以是YUV图像，压缩图像可以是JPEG图像。拍摄信息包括当相机单元110拍摄图像时获取的exif信息以及包括传感器单元120的输出的其它信息。ISP130能够以30fps(每秒30帧)或更高(例如，60fps)的帧率产生浏览图像和压缩图像以及拍摄信息。

AP140执行便携式终端设备的各种应用功能。AP140接收传感器单元120的输出，并能够响应于用户请求来处理各种传感器应用。例如，可利用GPS接收器的输出以及根据终端设备的运动而操作预定功能的应用来执行导航功能以及基于位置的本地信息搜索应用。具体地，在本发明的示例性实施例中，AP140能够进行控制以缓冲由ISP130按每帧产生的浏览图像和压缩图像或者浏览图像、压缩图像和拍摄信息，并在相机工作时在显示单元160上显示浏览图像，并且当输入用户的捕获请求命令时，AP140将在缓冲的压缩图像中选择的图像存储在存储单元150中。AP140将由ISP130产生的第一拍摄信息和由传感器单元120的传感器产生的第二拍摄信息合并为缓冲的最终拍摄信息。

通信单元1720负责与外部装置和基站的通信功能。通信单元1720可包括发送器和接收器，其中，发送器具有用于将发送信号上转换为RF频带信号的频率上转换器和用于放大上转换信号的放大器，接收器具有用于对接收到的RF信号进行低噪声放大的低噪声放大器和用于将RF信号下转换为基带信号的频率下转换器。通信单元1720还可包括用于调制发送信号并用于将调制信号发送到发送器的调制器和用于对由接收器输出的信号进行解调的解调器。这里，调制器/解调器可包括WCDMA模式调制解调器、GSM模式调制解调器和LTE模式调制解调器中的至少一个和/或Wi-Fi模式调制解调器和Wibro模式调制解调器。

终端控制器1710控制便携式终端设备的整体操作，管理语音呼叫功能和数据通信功能。这里，终端控制器1710可包括通信单元1720的调制器/解调器，在此情况下，通信单元1720可仅包括RF通信部。在此情况下，终端控制器1710负责信号调制/解调功能和编码/解码功能。音频处理单元1730连接到便携式终端设备的发送器/接收器，以在终端控制器1710的控制下处理语音通信会话中的语音信号。存储器1740可以是用于加载终端控制器1710和AP140的程序的工作存储器，在此情况下，存储器1740可被实现为用于存储数据、程序、应用、操作系统和其它信息的随机存取存储器(RAM)。

输入单元170向终端控制器1710和AP140产生各种功能执行命令和数据输入信号。具体地，输入单元170能够向AP140产生相机驱动命令和捕获命令。输入单元170还能够响应于用户输入而产生用于显示拍摄信息和/或缩略图图像的命令。显示单元160在终端控制器1710和AP140的控制下显示便携式终端设备的操作和应用执行状态。具体地，在本发明的示例性实施例中，显示单元160在预览模式下显示由AP140输出的浏览图像。显示单元160还能够显示由AP140输出的且与捕获的图像相应的拍摄信息和/或缩略图图像。这里，输入单元170可以是能够检测用户的触摸输入的触摸板，显示单元160可以是用于显示通过程序的执行而产生的数据和图像的LCD面板或OLED面板。这里，输入单元170和显示单元160可被集成为触摸屏。输入单元170可包括布置在相机设备的外部的按钮或从相机设备的外部扩展的按钥。

存储单元150可包括用于存储与便携式终端设备的操作相关的程序和根据本发明的示例性实施例的程序的程序存储器以及用于存储与程序执行相关的且在程序正运行时产生的数据的数据存储器。存储单元150可包括非易失性存储器，诸如闪存。具体地，在本发明的示例性实施例中，当检测到捕获请求时，存储单元150存储通过AP140缓冲的压缩图像。

根据本发明的示例性实施例，如图17所示配置的便携式终端设备能够提供语音呼叫服务和数据通信服务，并处理由相机单元110在相机拍摄模式下拍摄的图像。当便携式终端设备开启或操作特定功能时，终端控制器1710将用于语音呼叫和数据通信的程序以及便携式终端设备的其它应用程序加载到存储器1740中。如果AP140被请求执行应用，则AP140将用于操作相应应用的程序从存储单元150加载到存储器1740。因此，存储器1740能够作为用于加载便携式终端设备的操作程序和应用程序的工作存储器来操作。这里，存储器1740可被AP140和终端控制器1710共享，或者被划分为用于AP140和终端控制器1710的单独部件。

根据本发明的示例性实施例，AP140处理相机的图像处理应用和便携式终端设备的各种应用。为了处理各种应用，AP140能够接收传感器单元120的输出，以基于传感器单元120的输出执行应用或者基于传感器单元120的输出控制应用处理操作。终端控制器1710也能够接收传感器单元120的输出，执行语音呼叫服务和数据通信服务，并基于传感器单元120的输出控制语音呼叫服务和数据通信服务。

当进行呼出时，用户能够输入接受者的电话号码和呼叫进行请求信号，终端控制器1710通过使用通信单元1720建立呼叫会话，并在检测到呼叫进行信号时利用基站控制呼出处理。此外，如果通过使用通信单元1720检测到呼入，则终端控制器1710控制音频处理单元1730输出呼入警报，并控制显示单元160显示呼入信息。此时，如果用户通过使用输入单元170输入响应，则终端控制器1710控制通信单元1720建立用于提供语音呼叫服务的呼入通道。在数据通信的情况下，以与语音呼叫通道的建立相似的方式建立通信通道。

便携式终端设备还能够执行其它应用。此时，如果用户通过输入单元170请求特定应用的执行，则AP140执行相应应用并在显示单元160上显示执行结果。如果用户输入相机操作请求命令，则AP140检测该命令，并控制ISP130驱动相机单元110。ISP130按每帧处理由相机单元110拍摄的图像，以从相机单元110的输出和传感器单元120产生浏览图像和压缩图像以及拍摄信息。AP140进行控制以缓冲按每帧产生的浏览图像和压缩图像以及拍摄信息，并在显示单元160上将浏览图像显示为预览图像。如果输入了相机操作请求，则便携式终端设备在显示单元160上将浏览图像显示为预览图像时分别缓冲浏览图像、压缩图像和拍摄信息。此时，AP140能够缓冲预定数量的帧图像(压缩图像和浏览图像)和信息(拍摄信息)。

如果用户在以上状态下通过使用输入单元170输入了捕获命令，则AP140在缓冲的压缩图像中选择在检测到捕获请求的时间的帧的压缩图像，将选择的图像存储在存储单元150中。由于AP140存储在快门开启时间(即，当快门被向上推或被打开时)选择的压缩图像，因此可实现零快门时滞。此时，AP140能够在浏览图像被显示在显示单元160上的状态下显示与存储的压缩图像相应的缩略图图像，或者相反，AP140能够在存储了与压缩图像相应的浏览图像的状态下在显示单元160上以运动图像的形式显示与浏览图像相应的缩略图图像。

响应于捕获命令在快门开启时间拍摄的图像可能不是令人满意的。也就是说，如果相机在快门开启时间发生抖动或者图像借助闪光灯被拍摄，则在快门开启时间或闪光发射时间之前或之后拍摄的图像可能比在快门开启时间或闪光发射时间拍摄的图像更令人满意。在此情况下，用户能够在程序注册、设置或配置模式下配置闪光功能和抖动检测功能。如果在配置了闪光功能的状态下检测到捕获请求，则AP140检查拍摄信息的闪光信息，以存储利用全发光值构造的帧的压缩图像。在配置了抖动检测功能的情况下，AP140分析在快门开启时间的帧的拍摄信息的运动传感器信息，以确定抖动的存在，如果检测到抖动，则AP140在下一帧(在快门开启帧之前和之后的帧)确定抖动的存在，从而将没有发生抖动的帧的压缩图像存储在存储单元150中。

在本发明的示例性实施例中，拍摄信息的一部分可由AP140产生。例如，如果AP140处理传感器单元120的输出，则ISP130处理相机单元110的输出以产生相机单元110的浏览图像和压缩图像以及拍摄信息，AP140缓冲浏览图像和压缩图像，并从由ISP130提供的拍摄信息和由传感器单元120输出的在拍摄时间测量的传感器信息来产生最终拍摄信息，所述最终拍摄信息被缓冲。此时，浏览图像、压缩图像和拍摄信息利用帧计数值在单个帧中互相同步，从而AP140能够处理利用帧计数值在单个帧中同步的浏览图像、压缩图像和拍摄信息。

根据本发明的上述方法可被实现在硬件、固件中，或者可被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码或者通过网络下载并存储在非暂态机器可读介质上的软件或计算机代码，从而在此描述的方法可被实施在这样的使用通用计算机的软件中或者专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)中。在本领域中应理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机访问和执行时，处理器或硬件实现在此描述的处理方法。另外，应认识到，当通用计算机访问用于实现在此示出的处理的代码时，代码的执行将通用计算机变换为用于执行在此示出的处理的专用计算机。

虽然以上已经使用特定术语详细描述了本发明的示例性实施例，但这仅是为了描述特定实施例的目的，不意在限制本发明。虽然已经示出和描述了本发明的特定实施例，但是将对本领域的技术人员显然的是，在不脱离本发明的精神和范围的情况下，可进行各种其它改变和修改。

Claims (39)

1.一种便携式终端设备的图像拍摄方法，所述方法包括：

在相机操作模式下按每帧时间段从相机传感器获取图像；

将获取的图像转换为浏览图像和压缩图像；

在显示单元上显示浏览图像的同时缓冲压缩图像。

2.如权利要求1所述的方法，还包括：

响应于捕获请求，在缓冲的压缩图像中选择预定帧的压缩图像之一；

存储选择的压缩图像。

3.如权利要求2所述的方法，其中，预定帧是具有零快门时滞的帧。

4.如权利要求3所述的方法，其中，浏览图像是YUV图像，压缩图像是JPEG图像。

5.如权利要求4所述的方法，还包括：使用YUV图像产生缩略图图像。

6.如权利要求5所述的方法，还包括：响应于捕获请求显示缩略图图像，存储与在缩略图图像中选择的缩略图图像相应的JPEG图像，相应JPEG图像被显示为捕获图像。

7.一种便携式终端设备，包括：

相机，在相机操作模式下按每帧时间段获取图像；

图像处理器，将获取的图像转换为浏览图像和压缩图像，并在单个帧中产生浏览图像和压缩图像；

应用处理器，处理将被显示的浏览图像，并缓冲压缩图像；

显示单元，显示由应用处理器输出的浏览图像。

8.如权利要求7所述的便携式终端设备，还包括：

存储单元，将压缩图像存储为捕获图像；

输入单元，向应用处理器产生相机驱动信号，

其中，应用处理器响应于通过输入单元输入的捕获请求信号来存储在缓冲的压缩图像中选择的至少一个预定帧的压缩图像之一。

9.如权利要求8所述的便携式终端设备，其中，预定帧是具有零快门时滞的帧。

10.如权利要求9所述的便携式终端设备，其中，图像处理器包括：

图像处理部，处理从相机获取的图像；

压缩编码器，对由图像处理部输出的获取的图像进行压缩以产生压缩图像；

缩放器，将由图像处理部输出的获取的图像转换为浏览图像；

复用器，将浏览图像和压缩图像复用为存储在帧中的复用信号。

11.如权利要求10所述的便携式终端设备，其中，图像处理部将来自相机获取的图像转换为YUV图像，压缩编码器以预定的JPEG格式对YUV图像进行压缩以产生相应JPEG图像。

12.如权利要求10所述的便携式终端设备，其中，应用处理器包括：

解复用器，对复用信号进行解复用；

浏览图像缓冲器，缓冲解雇用后的浏览图像；

压缩图像缓冲器，缓冲解复用后的压缩图像；

应用处理控制器，在相机操作模式下将浏览图像输出到显示单元，并且响应于捕获请求，存储在压缩图像缓冲器中缓冲的压缩图像中选择的与具有零快门时滞的预定帧相应的选择的压缩图像。

13.如权利要求12所述的便携式终端设备，其中，压缩图像缓冲器是环形缓冲器，并缓冲与所述至少一个预定帧的数量相应的压缩图像。

14.如权利要求13所述的便携式终端设备，其中，应用处理器包括：缩略图图像产生器，用于处理浏览图像以产生缩略图图像。

15.如权利要求14所述的便携式终端设备，其中，应用处理控制器在显示单元上显示缩略图图像，并将与使用输入单元选择的缩略图图像相应的帧的JPEG图像作为捕获图像存储在存储单元中。

16.一种便携式终端设备的图像拍摄方法，所述方法包括：

在相机操作模式下按每帧时间段从相机传感器获取图像；

将获取的图像转换为浏览图像和压缩图像；

产生图像的拍摄信息；

输出每帧的浏览图像、压缩图像和拍摄信息；

在显示单元上显示浏览图像；

缓冲压缩图像和拍摄信息。

17.如权利要求16所述的方法，还包括：当检测到捕获请求时，存储在缓冲的压缩图像和拍摄信息中选择的预定帧的压缩图像和拍摄信息。

18.如权利要求17所述的方法，其中，预定帧是具有零快门时滞的帧。

19.如权利要求18所述的方法，其中，浏览图像是YUV图像，压缩图像是JPEG图像。

20.如权利要求18所述的方法，其中，拍摄信息包括在图像获取时间从便携式终端设备的相机和相机传感器获取的信息。

21.如权利要求19所述的方法，还包括：

响应于捕获请求，显示缓冲的帧的缩略图图像；

存储与在显示的缩略图图像中选择的缩略图图像相应的JPEG图像和拍摄信息。

22.如权利要求20所述的方法，还包括：

响应于捕获请求，显示拍摄信息；

将通过参考拍摄信息所选择的帧的JPEG数据和拍摄信息存储为捕获图像。

23.一种便携式终端设备，包括：

相机单元，在相机操作模式下从相机传感器获取图像；

图像处理器，处理来自相机传感器的获取的图像以产生浏览图像和压缩图像，从相机单元接收拍摄信息，在单个帧中输出浏览图像、压缩图像和拍摄信息；

应用处理器，处理浏览图像，缓冲压缩图像和拍摄信息；

显示单元，显示浏览图像。

24.如权利要求23所述的便携式终端设备，还包括：

输入单元，产生相机驱动信号和捕获请求信号；

存储单元，存储捕获的图像，

其中，当使用输入单元输入捕获请求信号时，应用处理器选择预定帧的压缩图像和相应拍摄信息中的一个，并将选择的压缩图像和拍摄信息作为捕获图像存储在存储单元中。

25.如权利要求24所述的便携式终端设备，其中，图像处理器包括：

图像处理部，处理来自相机单元的获取的图像；

压缩编码器，对由图像处理部输出的获取的图像进行压缩以产生压缩图像；

缩放器，处理由图像处理部输出的获取的图像以产生浏览图像；

图像处理控制器，控制相机单元的操作，并在图像获取时间利用相机单元的设置信息产生拍摄信息；

复用器，将浏览图像、压缩图像和拍摄信息复用为存储在帧中的复用信号。

26.如权利要求25所述的便携式终端设备，其中，图像处理部将来自相机单元的获取的图像转换为YUV图像，压缩编码器将YUV图像压缩为预定的JPEG格式以产生相应JPEG图像。

27.如权利要求26所述的便携式终端设备，还包括至少一个传感器，

其中，图像处理控制器通过将相机单元的第一拍摄信息和由相机传感器检测到的第二拍摄信息进行合并来创建拍摄信息。

28.如权利要求25所述的便携式终端设备，其中，应用处理器包括：

解复用器，将由图像处理器输出的复用信号解复用为浏览图像、压缩图像和拍摄信息；

浏览图像缓冲器，缓冲浏览图像；

压缩图像缓冲器，缓冲压缩图像；

拍摄信息缓冲器，缓冲拍摄信息；

应用处理控制器，将浏览图像输出到显示单元，并且响应于捕获请求从缓冲的压缩图像和拍摄信息中选择与具有零快门时滞的预定帧相应的压缩图像和拍摄信息，并将选择的压缩图像和拍摄信息存储为捕获图像。

29.如权利要求28所述的便携式终端设备，还包括具有至少一个传感器的传感器单元，

其中，当缓冲拍摄信息时，应用处理控制器将图像处理器的第一拍摄信息和从传感器单元输出的第二拍摄信息合并为最终拍摄信息，并在拍摄信息缓冲器中缓冲最终拍摄信息。

30.如权利要求26所述的便携式终端设备，其中，应用处理器包括从YUV图像产生缩略图图像的缩略图图像产生器，

其中，当使用输入单元输入捕获请求时，应用处理控制器在显示单元上显示缩略图图像，并将与选择的缩略图图像相应的帧的JPEG图像和拍摄信息存储为捕获图像。

31.一种相机设备，包括：

相机单元，在相机操作模式下按每帧时间段从相机获取图像；

传感器单元，具有至少一个传感器；

处理单元，处理由相机单元获取的获取的图像以产生浏览图像和压缩图像，当拍摄图像时从相机单元和传感器单元获取拍摄信息，处理将被显示的浏览图像，缓冲压缩图像和拍摄信息；

显示单元，显示浏览图像。

32.如权利要求31所述的相机设备，还包括：

输入单元，产生相机操作信号和捕获请求信号；

存储单元，存储捕获的图像，

其中，当由输入单元产生捕获请求信号时，处理单元在缓冲的压缩图像和拍摄信息中选择具有零快门时滞的至少一个预定帧的压缩图像和相应拍摄信息中的一个，并将选择的压缩图像和相应拍摄信息在存储单元中存储为捕获图像。

33.一种便携式终端设备，包括；

通信单元，用于与外部装置执行无线电通信；

终端控制器，使用通信单元控制便携式终端设备的语音呼叫和通信；

相机单元，在相机操作模式下按每帧时间段从相机获取图像；

传感器单元，具有至少一个传感器并产生传感器信息；

图像处理器，处理来自相机单元的获取的图像以产生浏览图像和压缩图像，使用在捕获获取的图像中来自相机单元的数据来产生拍摄信息，在单个帧中输出浏览图像、压缩图像和拍摄信息；

应用处理器，与终端控制器通信，处理通信应用，处理将被显示的浏览图像，缓冲浏览图像、压缩图像和拍摄信息；

显示单元，显示浏览图像。

34.如权利要求33所述的便携式终端设备，还包括：

输入单元，产生相机驱动信号和捕获请求信号；

存储单元，存储捕获图像，

其中，响应于来自输入单元的捕获请求信号，应用处理器将缓冲的压缩图像中的至少一个预定帧的压缩图像和相应拍摄信息中的一个存储为捕获图像。

35.如权利要求33所述的便携式终端设备，其中，图像处理器包括：

图像处理部，处理来自相机单元的获取的图像；

压缩编码器，将由图像处理部输出的获取的图像进行压缩以产生压缩图像；

缩放器，处理由图像处理部输出的获取的图像以产生浏览图像；

图像处理控制器，控制相机单元的操作，在图像获取时间利用相机单元的设置信息来产生拍摄信息；

复用器，将浏览图像、压缩图像和拍摄信息复用为存储在帧中的复用信号。

36.如权利要求35所述的便携式终端设备，其中，图像处理部将来自相机单元的获取的图像转换为YUV图像，压缩编码器将YUV图像压缩为预定JPEG格式以产生相应JPEG图像。

37.如权利要求35所述的便携式终端设备，其中，应用处理器包括：

解复用器，将由图像处理器输出的复用信号解复用为浏览图像、压缩图像和拍摄信息；

浏览图像缓冲器，缓冲浏览图像；

压缩图像缓冲器，缓冲压缩图像；

拍摄信息缓冲器，缓冲拍摄信息；

应用处理控制器，将浏览图像输出到显示单元，并且响应于捕获请求从缓冲的压缩图像和拍摄信息中选择与具有零快门时滞的预定帧相应的压缩图像和拍摄信息，并将选择的压缩图像和拍摄信息存储为捕获图像。

38.如权利要求36所述的便携式终端设备，其中，应用处理器包括缩略图图像产生器，

其中，当使用输入单元输入捕获请求时，应用处理控制器在显示单元上显示缩略图图像，并将与选择的缩略图图像相应的帧的JPEG图像和拍摄信息存储为捕获图像。

39.如权利要求37所述的便携式终端设备，其中，当由输入单元产生捕获请求信号时，应用处理器在显示单元上显示拍摄信息，并将从缓冲的压缩图像和拍摄信息中选择的压缩图像和相应拍摄信息存储为捕获图像。

Images