CN103297682A - 运动图像拍摄设备和使用摄像机装置的方法 - Google Patents

Abstract

一种用于在播放和编辑运动图像中使用的在运动图像拍摄模式下生成和存储元数据的设备和方法。配备摄像机的设备的运动图像处理方法包括：在运动图像拍摄模式下在每个帧周期处获取图像；生成图像的元数据；将图像编码成运动图像；将运动图像与元数据一起存储；以及在运动图像回放模式下显示从元数据中选择的特定元数据，作为运动图像的补充功能。

Description

运动图像拍摄设备和使用摄像机装置的方法

技术领域

本发明涉及运动图像拍摄设备和使用摄像机装置的方法，具体地，涉及用于在拍摄供播放和编辑运动图像中使用的运动图像时生成和存储元数据的设备和方法。

背景技术

摄像机装置和配备摄像机的移动终端能够处理高质量图像并且提供各种用户便利功能。现有技术中的摄像机装置配备能够处理全高清晰度(HD)或更高分辨率图像的图像传感器(或摄像机传感器)。

现有技术中的这种摄像机装置在预览模式下显示由摄像机传感器感测的图像并且响应于快门按钮的按动保存由摄像机传感器获取的图像。在现有技术中，由摄像机传感器获取的图像能够以运动图像的形式被编码及存储，以在后来被重播。然而，现有技术中的摄像机装置限于处理用于在除了回放以外的功能中使用的已存储的运动图像。

发明内容

本发明是在拍摄运动图像和利用处理(例如播放和编辑)用于各种补充功能的运动图像时的元数据记录元数据补充的设备和方法。

同样，本发明是在拍摄运动图像时连同运动图像一起存储作为元数据的由摄像机和摄像机的传感器生成的信息的设备和方法。元数据可以包括拍摄时间和缩略图图像。本发明的设备和方法能够使用在拍摄运动图像时所存储的元数据编辑运动图像并且使用运动图像生成和显示具有补充功能的图像。

根据本发明的一个方面，一种配备摄像机的设备的运动图像处理方法，包括：在运动图像拍摄模式下在每个帧周期处获取图像；生成图像的元数据；将图像编码成运动图像；将运动图像与元数据一起存储；以及，在运动图像回放模式下显示从元数据中选择的特定元数据，作为运动图像的补充功能。

根据本发明的另一个方面，一种运动图像拍摄和回放设备，包括：摄像机，获取运动图像；图像信号处理器，处理由摄像机获取的连续帧图像并且生成帧图像的摄像机拍摄信息；传感器单元，包括至少一个传感器；存储单元，存储运动图像；应用处理器(AP)，将连续帧图像编码成运动图像并且在运动图像拍摄模式下将运动图像和由摄像机和传感器单元输出的元数据一起存储，并且在运动图像回放模式下，连同从元数据中选择的特定元数据一起显示运动图像，作为辅助功能；以及显示单元，在应用处理器的控制下显示运动图像。

根据本发明的又一个方面，一种终端设备，包括：通信单元，负责与外部装置无线通信；终端控制器，通过通信单元控制终端的的语音呼叫和通信服务；摄像机，在运动图像拍摄模式下获得图像；图像信号处理器，将在每帧处获取的图像转换为观看图像并且生成观看图像的元数据；应用处理器，将观看图像编码成运动图像、重新生成元数据、以及连同运动图像一起将元数据存储在存储单元中；以及，显示单元，显示运动图像。

附图说明

图1是说明根据本发明的示例性实施例的摄像机装置的配置的方框图；

图2是说明根据本发明的示例性实施例的摄像机单元的配置的方框图；

图3是说明根据本发明的示例性实施例的图像信号处理器(ISP)和应用处理器(AP)的配置的方框图；

图4A是说明根据本发明的示例性实施例的由ISP生成的图像帧的结构的图；

图4B是说明根据本发明的示例性实施例的由YUV图像、JPEG图像、以及拍摄信息构成的帧的格式的图；

图4C是说明根据本发明的示例性实施例的每个帧的数据传输格式的图；

图5是说明根据本发明的示例性实施例的摄像机装置或者包括摄像机装置的终端设备的配置的方框图；

图6是说明图5中的设备的ISP和AP的配置的方框图；

图7是说明根据本发明的示例性实施例的图像和应用集成处理器的摄像机装置的配置的方框图；

图8是说明图7中的图像和应用集成处理器的配置的方框图；

图9是说明根据本发明的示例性实施例的摄像机装置或者配备摄像机的终端设备的运动图像拍摄和回放方法的流程图；

图10是说明根据本发明的示例性实施例的摄像机装置的运动图像拍摄条件配置过程的流程图；

图11是说明根据本发明的示例性实施例的摄像机装置的运动图像拍摄过程的流程图；

图12是说明图11中运动图像拍摄和存储步骤的细节的流程图；

图13是说明根据本发明的示例性实施例的摄像机装置的元数据重新生成和存储过程的流程图；

图14是说明当图13中delta函数设定为开启时用于重新生成当前帧和先前帧之间的差异信息作为的元数据的过程的流程图；

图15是说明将缩略图图像插入到图11的元数据中的过程的流程图；

图16是说明在开启缩略图功能的情况的条件下处理缩略图图像的机制的图示；

图17是说明根据本发明的示例性实施例的运动图像回放模式中的操作过程的流程图；

图18是说明根据本发明的示例性实施例的基于元数据的运动图像预览功能执行过程的流程图；

图19是说明与图18中的过程相关联的运动图像预览操作的原理的图示；

图20是说明根据本发明的示例性实施例的显示与正在播放的运动图像相关联的元数据的原理的图；

图21是说明根据本发明的示例性实施例的在运动图像之上显示元数据的位置信息的过程的流程图；

图22A至22E是显示在图21的过程中所显示的示例性屏幕图像的图；

图23是说明根据本发明的示例性实施例的利用元数据将运动图像转换为全景图像的过程的流程图；

图24是说明展现通过图23中的过程从运动图像到对应全景图像的转换的示例的示例性图像的图；

图25是说明根据本发明的示例性实施例的展现精细图像质量调整过程的示例的示例性图像的图；和

图26是说明根据本发明的示例性实施例的配备摄像机装置的终端设备的配置的方框图。

具体实施方式

参照所附图示详细描述本发明的示例性实施例。图中始终采用相同的参考数字表示相同或类似的部件。

虽然在以下的描述中呈现了诸如图像的像素数目、元数据项、以及数据量等详细特征，但是对于本领域技术人员明显的是这些特征仅作为示例给出以帮助理解本发明而非限制本发明。在以下的描述中，可能省略了结合在此的公知功能和结构的详细描述，以避免使得本发明的主题变得不明显。

然而，本发明可以具体为多个不同的形式并且不应解释为限于这里所阐述的示例性实施例。此外，这里所描述的参考本发明的功能所限定的术语能够根据使用者或者操作者的意图和实践而不同地实现。因此，应该基于贯穿说明书的本发明公开内容理解这些术语。在不偏离本发明的精神和范围的情况下，本发明的原理和特征可以具体化为不同的且大量的实施例。

此外，虽然附图表示本发明的示例性实施例，但是附图不必按比例，而且特定特征可能被扩大或者省略，从而更加清楚地说明和解释本发明。

在这里所述的术语中，终端是指能够处理被发送至/接收来自任何外部实体的数据的任何装置。终端可以在屏幕上显示图标或者菜单，所存储的数据和各种可执行功能被分配或者绘制到该屏幕。终端可以包括计算机、笔记本、台式PC、移动装置等。

在这里所述的术语中，屏幕是指在视觉上显示信息给用户并且能够从使用触控笔、用户的手指、或用于传递从用户至输出装置的用户选择的其它技术的用户可选地接收和电子处理触觉输入的显示器或其它输出装置。

在这里所述的术语中，图标是指显示在装置的屏幕上的诸如图形或者符号的图形元素，使得用户能够容易地选择需要的功能或数据。具体地，每个图标与装置中可执行的任何功能或者与存储在装置中的数据具有映射关系，并且用来处理功能或者选择装置中的数据。当用户选择所显示图标中的一个时，装置识别与所选图标相关联的具体功能或数据。接着，装置执行所识别的功能或者显示所识别的数据。

在这里所述的术语中，数据是指由装置处理的各种信息，包括从任何外部实体所接收的文本和/或图像、发送或者接收的消息、以及在装置执行特定功能时生成的信息。

本发明涉及摄像机装置和配备摄像机的终端设备，所述设备用于使用摄像机获取运动图像并且连同从摄像机和/或摄像机装置的传感器获取的拍摄信息一起存储运动图像。这里，可能在拍摄运动图像时获取多个图像，并且这些图像可以是用作预览图像的图像或者运动图像以及用于捕获静止图像的图像。拍摄信息可以是由摄像机和/或设备的传感器在摄像机拍摄图像时拍摄相应帧的图像中获取的拍摄信息(以下，术语“拍摄信息”与术语“元数据”和“嵌入式数据”相互交换地使用)。

这里，观看图像可以是被调整(被修剪和/或被按缩放)以适应显示单元的尺寸的YUV图像。所捕获的图像是使用摄像机传感器获取的图像并且可以是在本发明的示例性实施例中由JPEG图像表示的压缩图像。在本发明的示例性实施例中，设备和方法在每帧生成和缓冲观看图像和压缩图像而摄像机在进行拍摄运动图像时操作并连同已编码的观看图像一起存储元数据。

JPEG图像可以被格式化以符合任何公知的JPEG标准，例如，ISO/IED10918-4：1999规定的JPEG第四部分标准。

元数据是在操作摄像机时摄像机传感器信息和由摄像机传感器或装置生成的信息。典型地，摄像机装置仅具有用于在设定摄像机传感器中使用的信息，诸如可交换地图像文件格式(exif)数据。exif数据可以包括摄像机制作者的信息、摄像机型号、诸如软件的图像编辑器、诸如日期和/或时间参数的图片修改日期、Exif版本、诸如拍摄日期和/或时间的拍摄日期、图像大小、表示快门速度的曝光时间、曝光程序、焦距、光阑孔径(F数量)、以及是否已经使用闪光器的信息。然而，用于存储信息的存储空间仅限于或涉及所捕获的图像。本发明提供用于从摄像机和/或设备的传感器获取元数据并且有效使用元数据播放和处理图像的设备和方法。

在摄像机作业时，根据本发明的示例性实施例的摄像机装置或配备摄像机的终端设备在每个帧周期从摄像机传感器获取图像并且将所获取的图像转换为观看图像和压缩图像，同时在图像获取时间从摄像机传感器和/或设备的传感器获取元数据、在显示单元上显示观看图像、并且缓冲观看图像和压缩图像和元数据。

如果生成捕获请求，则摄像机装置在检测到捕获请求时从被缓冲的压缩图像中选择和存储JPEG图像，该JPEG图像对应于从所呈现的缩略图图像中选择的缩略图图像，或者用户参照所呈现的元数据选择的JPEG数据。

如果输入运动图像拍摄请求，则摄像机对缓冲的观看图像中执行压缩编码以生成运动图像和连同缓冲的元数据一起存储运动图像。此时，元数据可以包括缩略图图像并且可以在每帧处或者在多个预定数目帧处被存储。能够存储整个元数据或者元数据的不同于先前所存储的元数据的不同部分。即，当元数据变化时，本发明能够存储先前所存储的元数据，并且仅额外存储元数据相对于先前所存储的元数据的任何变化。

在下述描述中，本发明的示例性实施例涉及摄像机装置在每帧处生成观看图像和压缩图像以及元数据的情况。然而，根据本发明的示例性实施例的设备和方法也可能在每帧处仅生成观看图像和元数据。

术语“观看图像”可以用来表示图像没有完成但是仅作为预览图像被存储，并且在本发明的示例性实施例中使用示例进行描述，使得观看图像为YUV图像。尽管描述涉及观看图像被调整大小和/或被按缩放的情况，但是能够使用由摄像机所获取的观看图像，而不需要被调整大小和/或被按缩放。根据本发明的示例性实施例，观看图像可以是用于生成MPEG格式运动图像的压缩编码的图像。压缩图像这里被定义为通过压缩编码方法以静止图像格式压缩的图像，并且使用示例进行描述使得在本发明的示例性实施例中压缩图像为JPEG图像。

以下参照附图进行本发明的描述。以下参照示例性摄像机装置进行描述。

图1是说明根据本发明的示例性实施例的摄像机装置的配置的方框图。在图1中，传感器单元120连接生成元数据的图像信号处理器(ISP)130。传感器单元120可以包括安装在摄像机装置上或者内的以下中的至少一个：全球定位系统(GPS)接收器，陀螺仪传感器、加速度传感器、高度传感器、亮度传感器、以及方向传感器。ISP130处理由摄像机单元110所获取的图像以生成观看图像和压缩图像。这里，观看图像是在显示单元160上显示并且压缩编码成运动图像的图像。这里，观看图像可以是YUV图像。YUV是颜色发光格式(颜色空间)，其中Y表示明亮度(亮度)，而U和V表示色度，即U为亮度和蓝色分量之间的差异(Y-B)而V为亮度和红色分量之间的差异(Y-R)。ISP130对从摄像机单元110所获取的图像执行转换以生成YUV图像并且调整(修剪和/或按缩放)图像的大小以适应显示单元160。也即，ISP130生成YUV图像并且缩放将YUV图像按缩放至适应显示单元160的显示能力的大小。ISP130还对由摄像机单元110输出的图像执行编码以生成压缩图像。这里，压缩图像是响应于用户的捕获请求待存储的图像并且可以是通过压缩编码从摄像机单元110所获得的图像而获取的图像。

ISP130还从摄像机单元110和传感器单元120获取图像的元数据。此时，元数据除了摄像机单元110拍摄或者捕获图像时所获取的exif信息之外还可以包括补充信息。

ISP130能够在每个帧周期处生成观看图像或者压缩图像，或者在每个帧周期处生成观看图像、压缩图像、和拍摄信息。ISP130还能够以每秒30帧(30fps)或更高(例如60fps)的帧速率生成观看图像或者压缩图像(或观看图像和压缩图像和元数据)。

应用处理器(AP)140控制由ISP130生成的观看图像和压缩图像(或观看图像和压缩图像和拍摄信息)的缓冲并且控制摄像机在作业时显示单元160上观看图像的显示。如果检测到用户的捕获请求命令，则AP140存储与检测到捕获请求命令时的帧相对应的压缩图像，从而选择具有零快门滞后的压缩图像。如果输入运动图像拍摄请求，则AP140对观看图像执行压缩编码以存储压缩图像到存储单元150中并且以预定方式处理元数据以与运动图像的帧速率同步地存储元数据。此时，可以根据运动图像拍摄时间的用户设定存储或不存储元数据。在存储元数据的情况下，元数据可以作为表示当前帧和先前帧之间差异的信息(以下可交换地被称为“delta信息”)或作为由ISP130生成的信息存储。可以在每帧处或者以预定帧数目间隔存储元数据。元数据还可以包括相应帧的缩略图图像。

输入单元170能够生成输出至AP140的摄像机驱动命令、静止图像捕获命令、和运动图像拍摄命令。输入单元170还能够响应于用户命令生成请求元数据和/或缩略图图像的命令。显示单元160显示预览模式和运动图像拍摄模式中由AP140输出的观看图像以及运动图像回放模式中已存储的运动图像。这里，输入单元170可以是能够检测用户的触摸输入的触摸板，而显示单元160可以利用用于显示执行程序所生成的数据和图像的LCD板或OLED板实现。输入单元170和显示单元160可以集成到触摸屏中。输入单元170还可以包括布置在或者扩展自摄像机装置外部的按钮。

存储单元150存储在AP140中正缓冲的压缩图像。

图2是说明根据本发明的示例性实施例的摄像机单元110的配置的方框图。

参见图2，如果生成摄像机驱动命令，则摄像机单元110上电。ISP130驱动电机240，而致动器250控制光学单元210的操作。这里，光学单元210的操作可以包括放大和对焦操作。光学单元210在拍摄时间拍摄或捕获图像，并且生成对应于或者编码该图像的光学信号，并且图像传感器220感测由光学单元210拍摄的图像并且将图像的光学信号转换为电信号。可选择地或者附加地，光学单元210输出光，例如，用于对焦操作，而图像传感器220将由光学单元210发射的光转换为电信号并且生成相应的图像信号。这里，图像传感器220可以是支持全HD或者更高分辨率的任何公知的图像传感器。由图像传感器220感测的图像由A/D转换器230转换为数字图像并且然后被传输至ISP130。闪光器260可以由ISP130驱动以生成用于成像和光学操作的闪光。

图3是说明根据本发明的示例性实施例的ISP130和AP140的配置的方框图。

参见图3，ISP130的图像处理部件320将由摄像机单元110输出的图像转换为YUV图像。这里，图像处理部件320可以包括预处理部件和后处理部件。在此情况中，预处理部件对从摄像机单元110获取的图像执行预处理，而预处理可以包括3A(自动白平衡(AWB)，自动曝光(AE)，以及自动对焦(AF))提取和处理，镜头阴影校正、死像素校正、坏像素校正等。后处理部件执行已预处理的颜色插值、噪声去除、颜色补偿、以及图像转换来生成YUV数据。ISP130包括用于存储静止图像的静止图像压缩器(静止图像编码器)340，并且静止图像压缩器340可以支持诸如JPEG和TIFF的静止图像编码方法。在本发明的示例性实施例中，例如，静止图像压缩器340为JPEG编码器。

JPEG编码器340将由图像处理部件320输出的图像压缩成JPEG图像。缩放器330将缩放由图像处理部件320输出的图像缩放至适合显示单元160的尺寸。缩放器330能够缩放、修剪、和调节图像分量大小中的至少一个。在图像处理部件320不能执行颜色转换功能的情况下，缩放器330可以作为观看图像发生器实现，并且在此情况下，观看图像发生器可以包括用于将原始图像转换为YUV图像的颜色转换器以及用于执行缩放功能的缩放器。缩放器330还能够在预览模式和运动图像拍摄模式下生成不同大小(像素数目)的观看图像。例如，缩放器330能够在预览模式下生成在显示单元160中待显示的观看图像以及在运动图像拍摄模式下生成待压缩编码成运动图像的另一观看图像。在此情况中，缩放器330能够处理观看图像以生成像素数目大于预览模式的观看图像的像素数目运动图像模式图像。此时，观看图像的像素数目可以等于或者少于摄像机单元110获取的图像并且等于或者大于预览图像的像素。

图像处理控制器310在应用处理控制器360的控制下在摄像机操作模式下控制摄像机单元110的操作和ISP130的一般操作。图像处理控制器310还能够在摄像机单元110作业的同时利用信息或数据是输入生成元数据，所述信息或数据与摄像机单元110所拍摄并由传感器单元120所生成的图像相关联。在每帧处重新生成压缩和观看图像和/或元数据，并且可以以30或60帧每秒的帧速率生成每个帧。如果从AP140接收运动图像拍摄控制信号，那么图像处理控制器310控制缩放器330缩放将观看图像缩放到要以运动图像的形式被存储的大小。可以在摄像机单元110拍摄的图像的大小和如上所述的预览模式下的观看图像的大小之间确定运动图像的大小。在运动图像拍摄模式下，图像处理控制器能够控制JPEG编码器340的操作。即，JPEG图像用来捕获静止图像。图像处理控制器310能够在运动图像拍摄模式下停止JPEG编码器340的操作以及缩放摄像机单元110输出的图像以及压缩缩放的图像。也即，在JPEG编码器340操作的同时，图像处理控制器310能够在运动图像拍摄模式下停止JPEG编码器340的操作以及压缩摄像机单元110输出的图像或者减少压缩摄像机单元110输出的图像像素数目，即缩放以压缩图像。在本发明的示例性实施例中，还能够在拍摄运动图像的同时操作JPEG编码器340以捕获静止图像，并且此时，例如，输入至JPEG编码器340的图像输入是由摄像机单元110输出的图像或者缩放的图像之一。

复用器350在图像处理控制器310的控制下对压缩和观看图像和/或元数据进行复用，并且将多复用结果输送至AP140。

此外，ISP130可以包括用于将观看图像转换成缩略图图像的缩略图图像生成器。在此情况中，ISP130从观看图像生成缩略图图像，而JPEG编码器340压缩图像处理部件320的输出并且可以生成包括压缩图像的字幕、缩略图图像、和已压缩的JPEG图像的压缩图像。

在AP140的配置中，应用处理控制器360根据输入单元170的命令控制ISP130的操作，缓冲并在显示单元160上显示ISP130输出的图像，并且在检测到捕获命令时将已缓冲的压缩图像存储到存储单元150中。应用处理控制器360控制使得在运动图像拍摄模式下根据已配置的条件连同运动图像一起将元数据存储在存储单元150中。此时，元数据可以包括缩略图图像。在运动图像回放模式下，应用处理控制器360控制显示单元160显示运动图像，并且此时，响应于通过输入单元170输入的请求控制更新或添加通过利用已存储的元数据编辑的运动图像而配置的信息更新。

解复用器355在应用处理控制器360的控制下从ISP130解复用和输出观看图像和压缩图像和元数据。解析器370解析由解复用器355将解复用器355解复用的图像和信息解析成观看图像和压缩图像以及元数据。在一个备选示例性实施例中，在应用处理控制器360控制解复用器355对ISP130的输出执行软件解析以获取观看图像和压缩图像(或观看图像和压缩图像以及拍摄信息)的情况中，可以省略解析器370。缓冲器380可以包括观看图像缓冲器383和压缩图像缓冲器385和/或元数据缓冲器387。缓冲器380在应用处理控制器360的控制下缓冲经解析的观看图像和压缩图像以及元数据。这里，缓冲器380具有能够缓冲N帧的观看图像和压缩图像和/或元数据的大小并且可以配置成例如环形缓冲结构。按照环形缓冲结构配置缓冲器380的原因是将所接收帧的图像和信息限制在预定数目。

AP140可以包括用于响应于运动图像保存请求压缩运动图像数据的视频或运动图像编解码器(运动图像编码器/解码器)390，而运动图像编解码器390可以包括诸如H.264和MPEG编解码器的多种运动图像编解码器。在本发明的示例性实施例中，运动图像编解码器390为MPEG编解码器。如果用户输入运动图像保存请求，则应用处理控制器360驱动MPEG编解码器390压缩在缓冲器380的观看图像缓冲器383中缓冲的观看图像并且将压缩结果存储在存储单元150中。AP140还可以包括用于通过调整观看图像大小生成缩略图图像的缩略图图像生成器395。缩略图图像生成器395调整从观看图像缓冲器383输出的观看图像的大小以生成可能包括JPEG图像并且可以在应用处理控制器360的控制下在显示单元上显示的缩略图图像。AP140还可以包括JPEG编解码器3。在元数据包括按照压缩格式存储的缩略图图像时，JPEG编解码器能够编码缩略图图像以减少其大小以及解码已压缩的缩略图图像以播放或显示缩略图图像。JPEG编解码器能够解码存储在存储单元150中存储的压缩图像以播放和显示已解码的图像。

在AP140正捕获静止图像或者拍摄运动图像时，ISP130能够连续地生成观看图像、已捕获图像、和元数据，并且AP140控制显示单元160显示观看图像。

在上述构造的摄像机装置中，如果通过输入单元170生成摄像机驱动命令(即，如果请求了预览模式执行)，那么应用处理控制器360通知输入ISP130输入命令，并且图像处理控制器310驱动摄像机单元110。摄像机单元110输出的图像被传送至ISP130。

ISP130在每个帧周期处生成观看图像和压缩图像以及元数据。这里ISP能够以30fps或更高(例如60fps)的帧速率生成帧图像。此时，图像处理部件320对摄像机单元110输入的原始图像3A执行处理、颜色插值和/或YUV转换，并且在此情况中，图像可以是摄像机单元110的全分辨率图像。

JPEG编码器340处理由图像处理部件320输出的图像以生成压缩图像。此时，已压缩图像可以是JPEG图像或者以业界公知大小减小编码格式编码且不同于JPEG的图像。在本发明的示例性实施例中，例如，已压缩图像是以JPEG格式编码的图像。缩放器330通过缩放由图像处理部件320输出的图像生成观看图像，以适应显示单元160上用于显示的预定大小。此时，可以用修剪、调整大小等的至少一种完成图像缩放以生成观看图像。这里，观看图像可以是要在显示单元160上显示的图像和/或在捕获运动图像时要存储的图像。此时，ISP130的缩放器330可以改变观看图像的数据量，以供在预览模式下或者在存储运动图像中使用。如上所述，在图像处理部件320不执行图像转换功能的情况下，缩放器330可以配置成观看图像生成器。在此情况中，观看图像生成器可以配置成具有缩放功能和用于将原始图像转换为YUV图像的颜色转换功能。

当在每个帧周期生成观看图像和压缩图像时，ISP130还利用在摄像机装置拍摄图像时所获取的各种传感器信息生成元数据。典型地，摄像机装置具有设定摄像机单元110的信息，而非由摄像机单元110提供的信息。当存储摄像机单元110的输出图像时，生成exif数据；然而，exif数据限于用于存储拍摄信息的量并且仅参照所捕获的图像。在本发明的示例性实施例中，如果驱动摄像机单元110或者如果执行运动图像拍摄模式，则图像处理控制器310从摄像机单元110和位于或延伸自摄像机装置外部的传感器单元120获取每个帧的元数据并且连同相应的帧图像一起缓冲元数据，作为用于在有效执行摄像机装置的各种功能中使用的嵌入式数据。

在本发明的示例性实施例中，ISP130接收来自摄像机单元110的每个帧图像以生成观看图像和压缩图像并且生成相应帧图像的元数据(图像数据加上嵌入式数据)。元数据(嵌入式数据)的示例可以包括表1中所示的数据。

表1

使用上述拍摄信息(元数据)，用户能够配置用于拍摄照片的多个功能。即，用户能够使用频繁拍摄的目标信息和摄像机菜单信息找到适于场景的设定值。例如，当在预览模式下检测到人脸时，摄像机装置能够配置频繁用于拍摄此人的照片的菜单，并且许诺通过基于拍摄信息自动参考人像数据库(DB)而输出的满意度。摄像机装置的频繁拍摄家人、朋友、和爱人的人像、以及想要款待的用户能够检索人像DB中对于拍摄他们的人像有用的信息、或者，如果没有有用的信息，设定帮助拍摄他们的人像的菜单(例如，笑脸拍摄、精彩拍摄、人像场景模式、AF模式、目标追踪、ISO、效果、白平衡、曝光度、度量、缩放、闪光等)。还有，如果在预览模式中没有提供关于此人的信息，则摄像机装置能够通过检查与风景照片相关的部分(例如，室外可见度、闪光、ISO、效果、白平衡、曝光度、计量、风景场景模式、扇形对焦模式等)设定适于风景照片的配置。在用户摄像机使用模式的基础上可以存储上述拍摄的图像(例如，在情侣相册中拍摄和存储爱人的相片或者递送至指定的SNS或上传至电子云存储系统)。摄像机装置还能够连同类似信息一起显示连续拍摄的图像，使得用户能够检查与相册或后览图像的类似度。如果设定特定元数据以供在运动图像拍摄模式下使用，则能够根据相应的元数据配置运动图像拍摄功能(例如，如果选择脸部识别功能，则能够利用对场景中脸部的对焦来拍摄相片)。

复用器350在图像处理控制器310的控制下复用观看图像、压缩图像、和元数据并且输出复用结果至AP140。

图4A是说明根据本发明的示例性实施例的由ISP130生成的图像帧的结构的方框图，图4B是说明根据本发明的示例性实施例的由YUV图像、JPEG图像、以及拍摄信息构成的帧的格式的方框图，而图4C是说明根据本发明的示例性实施例的每帧的数据传输格式的方框图。

参见图4A-4C，ISP130在如图4A所示的每帧周期生成图像和元数据至AP140。图像可以是观看图像并且还包括压缩图像。以下，采用图4A的图像由观看图像和压缩图像构成的示例进行描述。在此情况中，每帧处由ISP130生成的帧信息包括如图4B所示的YUV图像，JPEG图像，和拍摄信息(嵌入式数据或者元数据)，而复用器350复用YUV和JPEG图像以及元数据并且传送复用结果至AP140。

如图4B所示的，作为压缩图像的JPEG图像是源图像和响应于捕获请求的作为静止图像的待存储数据。此时，JPEG数据的量可以由等于或大于例如8兆字节的摄像机单元110的图像传感器220确定。在本发明的示例性实施例中，由摄像机单元110输出的图像可以具有等于或大于8兆字节的超高清晰度(UHD)。YUV数据是待在显示单元160上显示或者待作为运动图像拍摄模式下的运动图像存储的图像。用于预览模式的观看图像被按缩放至小于由摄像机单元110输出的图像，而在运动图像拍摄模式下使用的图像具在由摄像机单元110输出的图像和用于预览模式的观看图像之间的数据量。YUV数据可以用作回顾后览数据以及预览数据。即，可以响应于捕获请求能够在显示单元160上显示存储在观看图像缓冲器383中的观看图像作为后览。元数据是摄像机装置的补充功能信息并且包括在摄像机单元110拍摄由传感器单元120获取的图像和信息时所生成的信息。此时，元数据可以与压缩图像分开存储。ISP130能够使用由摄像机单元110和传感器单元120生成的信息以生成在表1中所示的格式化的元数据，而元数据与单个帧中的观看图像和压缩图像相关联地存储。具体地，在帧运动图像拍摄模式下元数据可以逐帧地与运动图像帧同步存储。此后，用户能够在运动图像回放模式下利用元数据有效率地播放/显示和编辑图像。

根据本发明的示例性实施例，如图4B所示所构造的摄像机帧数据由ISP130生成并且以如图4C所示的传输模式被传输至AP140。例如，由摄像机单元110输出的图像的大小为UHD(8兆字节)，YUV数据量在预览模式下为2兆字节(全高清：1920*1080*2(YUV422格式是2字节每像素))，并且在运动图像拍摄模式下可达8兆字节，JPEG数据的量可以可达8兆字节，而作为拍摄信息的元数据的量为4KB。在此情况中，ISP130传输每个帧数据的所需总线带宽变成(1920*1080*2+8*1024*1024+4*1024)*30fps*8bits＝3,009,576,960bps＝2.87Gbps。优选地是，运动图像拍摄模式下使用的观看图像的数据量大于预览模式下使用的观看图像的数据量。这是因为运动图像拍摄模式下使用的观看图像是要以运动图像形式存储的图像。因此，针对运动图像拍摄模式的带宽可以根据观看图像和压缩图像的大小变化。此时，如果将观看图像设为4MB而将压缩图像设为最大4MB，运动图像拍摄模式下的带宽变得等于预览模式下的带宽。由ISP130压缩传输的观看图像和压缩图像以及元数据由AP140的解复用器355解压缩，由解析器370解析成观看图像、压缩图像、和元数据，并且由相应观看图像缓冲器383、压缩图像缓冲器385、和元数据缓冲器387缓冲。缓冲器380例如被构造成环形缓冲器的形式并且因此用差不多预定数目帧缓冲的数据盖写。

如果捕获请求由输入单元170生成，那么AP140使用压缩图像缓冲器中所缓冲的压缩图像来实现零快门滞后，检查所缓冲的帧图像来选择用户想要的压缩图像，并且将用户想要的压缩图像和元数据一起存储。如果检测到捕获请求命令，则AP140从压缩图像缓冲器385中所缓冲的图像中选择在先前帧处所缓冲的压缩图像并且将所选择的图像存储到存储单元150中。如果在将快门滞后设为一帧的状态中检测捕获请求命令，那么应用处理控制器360选择在压缩图像缓冲器中缓冲的第一JPEG图像(其可被标为JPEG1图像)，并且选择第一元数据(其可被标为元数据1)，并且在存储单元150中存储选择的JPEG1图像和元数据1。此时，也可以存储作为被标为YUV1的第一YUV图像，以及具有与JPEG1图像相同帧计数值的元数据。由于响应于捕获请求，选择和存储与从先前在压缩图像缓冲器385中缓冲的帧的压缩图像中检测到捕获请求的时间(快门释放时间)之前的帧相对应的压缩图像，因此能够完成零快门滞后。

如果输入运动图像拍摄请求，则MPEG编解码器390编码正在观看图像缓冲器383中缓冲的观看图像，并且因此将观看图像压缩成运动图像中并且将运动图像存储到存储单元150中。此时，应用处理控制器360根据预定拍摄条件将正在元数据缓冲器387缓冲的元数据存储在存储单元150中，并且此时，运动图像和元数据通过帧计数值同步。此时，能够预先配置用于在运动图像拍摄模式中重新生成元数据的条件，使得根据拍摄条件存储元数据缓冲器387输出的信息或者与先前信息的差异，可以配置元数据是否包括缩略图图像；以及如果包括缩略图图像的话是否压缩缩略图图像。一旦配置了运动图像元数据的拍摄条件，AP140编码、压缩、以及存储观看图像，并且根据运动图像拍摄条件重新生成运动图像帧的元数据。如果生成运动图像回放请求，则应用处理控制器360将存储在存储单元150中的运动图像传送至MPEG编解码器395使得在显示单元160上播放已解码的运动图像。此时，如果通过输入单元170输入运动图像编辑命令，那么应用处理控制器360能够使用元数据和每相应时间戳的缩略图图像编辑运动图像并且在显示单元160上连同运动图像一起播放元数据或者元数据的所选部分。

如上所述，图1-3示出了根据本发明的示例性实施例的摄像机装置的配置。这里，ISP130处理由摄像机单元110输出的图像，控制摄像机单元110的操作，并且执行获取摄像机单元110的元数据的功能。这里，传感器单元120连接至ISP130并且在摄像机作业时利用由摄像机单元110和传感器单元120获取的信息生成元数据。AP140控制ISP130的操作并且处理由ISP130输出的数据(观看图像和压缩图像以及元数据)。

AP140还能够处理来自其它应用程序以及ISP130的应用程序(即，摄像机相关应用程序)的数据。这种应用程序可以包括传感器单元120的应用程序。传感器单元120可以包括用于基于所接收的GPS信号定位装置的GPS模块(这里，摄像机装置或终端设备包括摄像机装置)。传感器单元120可以包括运动传感器和用于显示摄像机装置状态的显示器。例如，运动传感器能够感测装置的垂直和水平运动，而陀螺仪传感器能够感测摄像机装置的轴(X，Y，和Z轴)运动。因此，AP140能够控制用于收集运动传感器的输出的应用程序并且基于传感器单元120的输出指示装置的状态。在此情况中，传感器单元120能够连接至AP140。

图5是说明根据本发明的示例性实施例的摄像机装置或者包括摄像机装置的终端设备的配置的方框图，其中根据本发明的示例性实施例，AP140处理传感器单元120的输出；而图6是说明图5中的设备的ISP130和AP140的配置的方框图。以下，描述涉及摄像机装置操作时的元数据生成和处理操作。除了元数据生成和处理操作之外的其它操作与参考图1和3所描述的操作相同。

参见图5和6，如果用于通过输入单元170输入摄像机驱动命令(即，如果执行预览模式)，那么应用处理控制器360通知ISP130输入命令，而图像处理控制器310驱动摄像机单元110。由摄像机单元110输出的图像被输入至图像处理部件320。

此时，ISP130在帧周期处生成观看图像和压缩图像以及元数据。图像处理部件320执行3A处理、颜色插值、和/或从摄像机单元110输入的原始图像的YUV转换。JPEG编码器340响应于捕获请求将由图像处理部件320输出的图像编码和压缩成JPEG格式以生成待存储的压缩图像，而缩放器330缩放由图像处理部件320输出的图像以生成具有预定大小的观看图像。如前所述，如果图像处理部件320不配置颜色转换功能，那么缩放器330可以被配置成观看图像生成单元。在此情况中，观看图像生成单元可以包括颜色转换功能(从原始图像至YUV图像的转换)以及缩放功能。ISP130能够当ISP130在每个帧周期处生成观看图像和压缩图像时输出由摄像机单元110拍摄的相应帧图像的拍摄信息。在此情况中，ISP130的图像处理控制器310在摄像机作业时利用摄像机单元110的操作的配置信息和从摄像机单元110获取的信息生成元数据。即，在如图5和6所示的配置的设备中，ISP130仅使用摄像机单元110的控制信息和从摄像机单元110获取的信息生成元数据(以下，称为第一拍摄信息)。

ISP130在每个帧周期处生成YUV图像、JPEG图像、和第一拍摄信息，而复用器350复用YUV图像、JPEG图像、和元数据或第一拍摄信息，并且将复用结果传送至AP140，如图4A所示。

这里，摄像机装置和配备摄像机装置的终端设备可以是用户携带的可携带装置。设备是移动的，使得其位置根据用户漫游的区域而变化，其移动性根据用户如何移动(坐车、坐飞机、坐火车、或者步行)而变化，其高度根据用户的位置(建筑物的顶层或者地下室、山顶、或者海上)而变化，其姿势根据用户的行为(垂直或水平方向或者x，y，或z轴向方向的运动)而变化，以及其方位变化(东、西、南、北)。摄像机装置或配备摄像机装置的终端设备可以包括用于检测上述特性的传感器单元120，而传感器单元120可以包括各种传感器。传感器单元120可以包括用于检测终端设备或摄像机装置的位置、区域、或移动性的GPS接收器，用于检测终端的运动的运动传感器(加速度传感器，陀螺仪传感器等)，用于测量终端设备或摄像机装置的高度的高度传感器，用于检测终端设备或摄像机装置的方位的方位传感器，用于感测环境亮度的照度传感器等。摄像机装置或配备摄像机装置的终端设备还能够在摄像机装置工作时通过英特网或者其它通信网络接收天气和温度信息以及其它补充信息。为此目的，摄像机装置或配备摄像机装置的终端设备可以包括通信单元，例如，Wi-Fi模块，以连接至通信网络或英特网。由传感器单元120和/或通信单元获取的信息在摄像机装置运行时被称为第二拍摄信息。

由ISP130传输的复用的观看图像和压缩图像以及第一拍摄信息由AP140的解复用器355解复用并且由解析器370解析成观看图像、压缩图像、和拍摄信息，并且分别在观看图像缓冲器383、压缩图像缓冲器385、和元数据缓冲器387中缓冲。此时，AP140的应用处理控制器360利用传感器单元120的输出生成第二拍摄信息(和/或通过通信单元接收的补充信息)并且将解析后的第一拍摄信息和第二拍摄信息合并成如表1所示构造的元数据。即，AP140在每帧处合并由AP140生成的第二拍摄信息和由ISP130传输的第一拍摄信息，这样，合并后的拍摄信息在元数据缓冲器387中缓冲。此时，缓冲器380配置成，例如，环形缓冲器的形式，并且如果缓冲与预定数目的帧相对应的数据，则盖写该数据。采用帧计数值使得观看图像缓冲器383、压缩图像缓冲器385、和元数据缓冲器387的帧彼此之间同步。因此，应用处理控制器360检测帧计数值以处理每帧的观看图像、压缩图像、和元数据。

应用处理控制器360还控制使得观看图像在观看图像缓冲器383并且同时在显示单元160上作为预览图像显示。如果在以上述状态中输入用户的捕获请求命令，那么应用处理控制器360检测该命令并且存储根据压缩图像缓冲器385中缓冲的压缩图像中的配置选择的压缩图像。在配置了零快门滞后的情况中，AP140在检测到捕获命令时(即，在用户检查显示单元160或取景器时)选择该帧的压缩图像，并且存储所选图像。

如果输入运动图像拍摄命令，那么应用处理控制器360检查拍摄条件并且接着编码并压缩在观看图像缓冲器383中缓冲的观看图像并且处理在元数据缓冲器387中缓冲的元数据，以同时存储到存储单元150中。此时，观看图像缓冲器383中缓冲的观看图像可以具有与用于预览模式的不观看图像不同的像素数目。在此情况中，应用处理控制器360通知图像处理控制器310执行运动图像拍摄模式，而ISP130控制缩放器330和JPEG编码器340调节观看图像和/或压缩图像的大小。例如，ISP130压缩由摄像机单元110输出的图像以生成压缩图像并且缩放将摄像机单元110输出的图像缩放至例如四分之一比例的大小以生成预览模式下的观看图像，而ISP130将缩放摄像机单元110输出的图像缩放至二分之一大小并且压缩按缩放的图像以生成压缩图像，并且缩放将摄像机单元10输出的图像按缩放至二分之一大小以生成观看图像。在此情况中，可能将待存储运动图像的图像分辨率提高至8兆字节，而同时同等地保持在预览模式和运动图像拍摄模式下的带宽。例如，由摄像机单元110输出的图像具有8兆字节的大小，观看图像具有2兆字节的大小，而在预览模式下通过压缩8兆字节的图像来获得压缩图像；以及观看图像具有4兆字节的大小，而通过压缩4兆字节的图像来获得压缩图像。在此情况中，缩放器330在ISP130的控制下生成具有根据操作模式确定的大小，而JPEG编码器340能够配置不同大小的待压缩的帧。

应用处理控制器360编码和压缩观看图像并且在运动图像拍摄模式下根据已配置拍摄条件生成待同时存储的元数据。此时，拍摄条件可以为存储原始元数据或者相邻帧之间的差异并且可以指示元数据是否包括缩略图图像。

可以在运动图像拍摄模式下和/或运动图像回放模式下调节运动图像的分辨率。即，AP140能够分析每帧的元数据以在运动图像拍摄模式下或回放模式下自动调节视频质量。AP140能够分析帧元数据以在运动图像拍摄模式下利用特定元数据(EV，度量，脸部检测等)执行精细视频质量调节 功能并且能够在回放模式下使用运动图像记录的元数据调节回放视频质量。元数据能够用来在回放模式下根据用户请求编辑运动图像，能够显示字幕形式的运动图像，并且能够用来提取具体拍摄信息(例如，基于位置信息跟踪用户路径)。

图1和3或5和6所示构造的摄像机装置包括ISP130和AP140以处理由摄像机单元110拍摄的图像。然而，ISP130和AP140能够集成到信号处理单元中。图7是说明根据本发明的示例性实施例的集成图像信号处理器(ISP)和应用处理器(AP)的摄像机装置的配置的方框图，而图8是说明图7的集成图像信号处理器和应用处理器的配置的方框图。

参见图7和8，摄像机单元110在摄像机上电时拍摄外部图像，而传感器单元120安装或者包括在摄像机装置中并且包括如上所述的GPS接收器，陀螺仪传感器、加速度传感器、高度传感器、亮度传感器、以及方向传感器中的至少一个。

处理单元700处理从摄像机单元110获取的图像以生成缓冲的观看图像和压缩图像以及元数据。处理单元700配置成完整执行图1至3或5和6的实施例的ISP130和AP140的功能。处理单元700在每个帧周期生成观看图像和压缩图像以及元数据并且以单个帧缓冲图像和元数据。

输入单元170能够针对处理单元700生成摄像机驱动命令、捕获命令、以及运动图像拍摄命令。输入单元170也能够针对用于显示元数据和/或缩略图图像的请求生成命令，以在运动图像回放模式下响应用户请求执行运动图像编辑或者补充功能。显示单元160在预览模式和运动图像拍摄模式下显示由处理单元700输出的观看图像。显示单元160能够在图像捕获模式下显示由处理单元700输出的观看图像。这里，输入单元170可以是能够感测用户的触摸输入的触摸板，并且显示单元160可以是用于显示与应用程序的运行相关联而生成的数据和图像。这里，输入单元170和显示单元160可以集成到触摸屏中。输入单元170可以包括布置在或者扩展自摄像机装置的外部的按钮。

存储单元150响应于捕获请求存储正在处理单元700中缓冲的压缩图像并且在运动图像拍摄模式下存储运动图像和与运动图像相对应的元数据。

如图8所示，处理单元700不包括用于将帧图像和元数据从ISP130复用和传输至AP140的元件或部件，用于解复用所接收的解复用的图像和元数据的元件或部件，以及用于解析解复用的图像和元数据的元件或部件。这些元件或部件其它功能块和操作与图3或6中的那些元件相同。

也即，由图像处理部件720处理的图像由JPEG编码器740编码和压缩以作为JPEG图像输出，并且然后被按缩放至具有预定尺寸的观看图像。控制单元710在拍摄图像时处理从摄像机单元110和传感器单元120获取的信息以生成元数据。此时，在每个帧周期处生成JPEG图像、观看图像、和元数据，并且在相同帧处生成的JPEG图像和观看图像和元数据具有相同的帧计数值。因此，在单个帧中同步地处理在相同帧处生成的JPEG图像和观看图像以及元数据。JPEG图像和观看图像以及元数据在缓冲器750的各个缓冲器中重新缓冲，而观看图像以预览图像形式在显示单元160上显示。

如果输入捕获请求，那么控制单元710从压缩图像缓冲器755中选择预定的先前帧的压缩图像并且将所选图像存储在第二存储单元840中以实现零快门滞后。在运动图像拍摄模式下，MPEG编码器760编码存储在存储单元150中要在每帧处压缩的观察图像，并且控制单元710根据预定调节在每帧处处理元数据并且将处理后的元数据存储在存储单元150中。此时，预定条件可以包括以下中的至少一个：元数据类型(帧与帧之间是否有差异)、是否包括缩略图图像、以及如果包括缩略图图像则是否压缩缩略图图像。在运动图像回放模式下，MPEG编解码器760解码在显示单元160上显示的压缩运动图像。此时，控制单元710能够根据由输入单元170生成的回放命令利用元数据执行各种补充功能。这里，补充功能可以包括编辑运动图像、处理字幕形式的元数据、在运动图像回放中呈现拍摄环境信息、以全景格式播放、执行闭路字幕(closed captioned)TV功能等。

根据本发明的示例性实施例的摄像机装置能够在摄像机操作模式中在每帧处生成和缓冲图像和元数据，并且在捕获静止图像中使用缓冲的图像完成零快门滞后。运动图像拍摄模式下，摄像机装置能够彼此同步地存储运动图像和与运动图像相应的元数据，并且执行与运动图像编辑和回放相关的补充功能。为了实现这种同步，摄像机装置和/或配备摄像机的终端设备能够在运动图像拍摄模式下生成和存储与运动图像相对应的元数据，并且在相对长的时间内记录数据量相对小的元数据。由于运动图像的帧速率为30fps或更高，因此两个连续帧之间的元数据差异典型地不够大。因此，当生成元数据时，可以重新生成当前帧和邻近(先前)帧的拍摄信息的差异(delta)作为元数据。元数据可以包括缩略图图像。如上所述，在两个连续缩略图图像之间仅可能具有小的变化。因此，可能在元数据中包括以预定间隔选择的缩略图图像。缩略图图像可以是YUV图像或者压缩缩略图图像(例如，JPEG缩略图图像)。在编辑和压缩缩略图图像的情况中，图1-3和5-6中的AP140可以包括用于编码缩略图图像和解码压缩的缩略图图像的编解码器(例如，JPEG编码的)。

在运动图像拍摄模式下连同元数据一起存储运动图像，并且在运动图像拍摄模式下使用元数据以各种方式播放。

图9是说明根据本发明的示例性实施例的摄像机装置或者配备摄像机的终端设备的运动图像拍摄和回放方法的流程图。以下，采用示例进行描述，使得摄像机装置或者配备摄像机的终端设备如图5和6所示配置。压缩图像不可能在运动图像拍摄模式下生成。以下描述中，例如，生成压缩图像。

参见图9，运动图像拍摄条件可以被配置用于在运动图像拍摄模式下获取元数据。如果用于构造运动图像拍摄条件的请求信号通过输入单元170输入，那么AP140在步骤911中检测运动图像拍摄条件配置请求信号并且在步骤913中配置用于获取元数据的条件，并且接着该方法进行至步骤915。这里，运动图像拍摄条件可以包括元数据类型、是否包括缩略图图像、以及如果包括缩略图图像那么缩略图图像是否被压缩。元数据类型指示元数据是整个拍摄信息还是当前帧和先前帧之间的部分差异。然而，在步骤911中，如果没有输入请求信号，那么该方法跳过步骤913而继续步骤915。如果在配置了拍摄条件的状态下生成运动图像拍摄请求，那么AP140在步骤915中检测到这种生成并且在步骤917中采用ISP130控制摄像机单元110执行运动图像拍摄操作。此时，ISP130处理由摄像机单元110输出的图像以生成观看图像和压缩图像，并且处理摄像机单元110的设定信息和摄像机单元110输出的拍摄信息以生成第一拍摄信息。此后，AP140合并第一拍摄信息和从传感器单元120获取的第二拍摄信息以生成元数据。AP140将观看图像压缩成存储在存储单元150的运动图像中，并且根据拍摄条件处理元数据并且将经处理的元数据存储在存储单元150中。此时，运动图像和元数据同步存储在一个帧中。回到步骤915，如果没有生成拍摄请求，则该方法跳过步骤917而进行步骤919。

如果用户在运动图像已被完全记录的状态下选择运动图像来播放，那么应用处理单元140在步骤919中检测该选择并且在步骤921中播放运动图像，并且该方法然后结束。此时，通过解码压缩的运动图像数据播放运动图像，并且元数据可以用来编辑运动图像或者呈现运动图像的拍摄环境信息，将运动图像转换为其它运动图像格式，或者操纵运动图像的特定部分。再次参照步骤919，如果没有检测到选择，则该方法跳过步骤921，并且然后图9中的方法结束。

以后详细描述步骤913、917和921。

图10是说明根据本发明的示例性实施例的摄像机装置的运动图像拍摄条件配置过程的流程图。

参见图10，AP140在步骤1011中检查元数据的delta信息。这里，此处限定的delta信息是指两个连续帧之间的任何差异的信息，并且在本发明的示例性实施例中，是指当前帧的元数据和先前帧的元数据之间的差异。如果AP140没有配置为在步骤1011中使用delta数据，那么该方法跳过步骤1013-1015，并且进行步骤1021。然而，如果AP140配置为使用delta数据(处于“delta开启”状态下)，那么AP140在步骤1011中检查该配置，并且因此在步骤1013中开启delta功能，并且在步骤1015中配置参考帧周期，并且进行至步骤1021。这里，delta信息被确定为，使得在运动图像拍摄模式下配置当前帧和先前帧之间的差异作为元数据，并且存储针对预定持续时间的帧的元数据，而不需要对差异信息的额外的测量，其中该额外的测量是delta值。这可能引起特定体帧处的delta值错误传播至后续帧。因此，在本发明的示例性实施例中，在使用delta信息时采用用于以特定帧的间隔存储由ISP130和AP140生成的元数据而不需要修改的方法。也即，在参考帧处使用以上述方式生成的元数据而无需修改。存储了无需修改的元数据的帧被称作参考帧。这里，参考帧可以匹配运动图像帧的帧内帧(I帧)或者可以设为以预定间隔出现的帧(例如，50ms，1秒，2秒，3秒等)。然而，再次参考步骤1011，如果方法确定没有使用DELTA信息，则AP140在步骤1011中检测这种使用缺失并且存储由ISP130和AP140生成的元数据而不需要修改，并且该方法继续至步骤1021。根据本发明的示例性实施例，元数据可以包括相应帧的缩略图图像。缩略图图像可以根据用户的选择而显示、播放、或者执行。因此，如果用户请求在元数据中包括缩略图图像，那么AP140在步骤1021中检测用户选择并且在步骤1023中将元数据中的缩略图功能指示器设定到开启状态，并且在步骤1025中配置缩略图图像包括周期。也即，缩略图图像可以包括在每个帧或者以预定数目帧的间隔的元数据中。在帧速率为30fps或更高的情况中，帧之间的元数据或图像的差异可以不大。因此，可能更加有效率的是以预定数目的帧间隔包括缩略图图像。这里，缩略图图像包括周期间隔可以设为等于I帧间隔或预定时间间隔。缩略图图像可以以YUV格式或者其它公知压缩图像格式(JPEG格式)存储。再次参照步骤1021，在由于用户没有请求在元数据中包括缩略图图像而缩略图图像没有包括在元数据中的情况下，AP140在步骤1021中检测用户请求缺失并且关闭缩略图功能。接着图10中的方法结束。

图11是说明根据本发明的示例性实施例的摄像机装置的运动图像拍摄过程的流程图。参见图11，应用处理单元140在步骤1111中执行运动图像拍摄模式下的运动图像拍摄过程，并且在步骤1113处处理运动图像并将已处理的运动图像存储在存储单元150中。可以如图12所示执行运动图像拍摄和存储功能。

图12是说明图11中步骤1111-1113的运动图像拍摄和存储步骤的细节的流程图。

参见图12，AP140请求ISP130执行运动图像拍摄模式。此时，用来在预览模式和运动图像拍摄模式中使用的观看图像大小彼此不同。在此情况中，ISP130能够配置缩放器330和/或JPEG编码器340以配置观看图像和压缩图像的大小。为了在保持运动图像拍摄模式下的带宽或者几乎相同的带宽(即保持在相同或者几乎相同水平下从ISP130至AP140的数据速率)的同时提高在存储单元150中记录的运动图像的分辨率，可以在本发明的示例性实施例中使用在提高运动图像拍摄模式下观看图像的分辨率的同时减小压缩图像的数据量的方法。

在上述状态中，摄像机单元110拍摄图像，而ISP130在步骤1211处在每帧处获取帧图像并且在步骤1213处生成相应帧处的观看图像和压缩图像以及与摄像机单元110相关联的元数据(这里，第一拍摄信息)。此时，帧速率可以是30fps或更高(例如60fps)。如上生成的观看图像和压缩图像以及第一拍摄信息被复用以被传送至AP140，并且AP140在步骤1215中分别缓冲观看图像和压缩图像以及第一拍摄信息，正在显示单元160上显示的观看图像作为预览图像。AP140合并第一拍摄信息和通过传感器单元120获取的第二拍摄信息以生成在缓冲器380中缓冲的元数据。

在步骤1217中，AP140使用MPEG编解码器390将观看图像编码和压缩成运动图像并且将编码后的运动图像存储(记录)到存储单元150中。即，AP140在步骤1111中执行图12的过程以获取运动图像，并且在步骤1113中将压缩的运动图像信号存储(记录)到存储单元150中。图12的方法然后结束并且返回以执行图11中的步骤1115。

再次参照图11，AP140根据预先配置的运动图像拍摄条件重新生成元数据，并且在步骤1115中将元数据存储在存储单元中。此时，步骤1113中所存储的运动图像信号和在步骤1115中所生成的元数据必须帧同步，并且使用元数据的帧计数值可以获取帧同步。

图13是说明根据本发明的示例性实施例的摄像机装置的步骤1115中的元数据重新生成和存储过程的流程图。图14是说明当在图13中将delta函数设定为开启状态时用于重新生成当前帧和先前帧之间的差异信息作为元数据的过程的流程图。

参见图13和14，AP140在步骤1311确定是否开启delta函数。如果开启delta函数，那么帧开启的delta函数指示当前帧和相邻帧的信息之间的差异被存储为元数据的一部分，而该方法继续至步骤1313。然而，如果delta函数设为关闭，那么AP140在步骤1311中检测关闭状态并且在步骤1315处将在元数据缓冲器387中缓冲的拍摄信息配置为元数据，并且然后图13的方法结束，并且返回执行图12中的步骤1117。否则，在步骤1311中，如果delta函数设为开启，那么AP140在步骤1312中确定当前帧是否为参考帧，并且如果是，在步骤1315处将在元数据缓冲器387中缓冲的拍摄信息配置为当前帧的元数据。然而，再次参照步骤1313，如果在步骤1313处当前帧不是参考帧，那么AP140在步骤1317中检查当前帧和先前帧之间的信息差异并且在步骤1319处存储该信息差异为元数据。也即，理由两个帧直之间的差异信息重新生成元数据。然后图13的方法结束，并且返回执行图11中的步骤1117。

如图14所示，如果delta函数设为开启并且如果当前帧为参考帧1411，那么AP140将当前帧的元数据存储在存储单元150的文件系统1417中而不作修改。如上所述，AP140可以配置成以预定数目帧的间隔存储元数据使得即便在运动图像回放和编辑过程中发生delta值恢复错误，也可以恢复该错误。AP140访问由图14中的帧数目0表示的当前帧1411的元数据以及由图14中的帧数目1表示的先前帧1413的元数据，并且将元数据彼此相比较以使用AP140中的差异部件1415检查是否在当前帧和先前帧之间有任何差异。此时，元数据可以如表1中所示的构造并且因此可能逐项地确定元数据之间是否彼此匹配。如果在元数据之间有任何差异，那么AP140重新生成差异信息(即，delta值)作为元数据并且存储在元数据在存储单元150的文件系统1417中。可以在每帧处执行这个元数据重新生成过程，并且由于元数据的数据量相对大(约4千字节)，可以记录每个帧的元数据。参见图14所述的，当形成利用帧之间的差异信息所生成的元数据的数据量非常小时，可能在相对长的周期内存储在每帧处所生成的所有元数据。

再次参照图11，在如上所述的重新生成元数据之后，AP140在步骤1117中确定缩略图功能是否设为开启。这里，如果缩略图功能设为开启，则这种开启设定指示在元数据根据参照图13和14所描述的方法重新生成之后，缩略图图像包含在重新生成的元数据中。因此，如果缩略图功能设为开启，那么AP140在步骤1117中检测到该开启状态并且在步骤1119中在执行图15的过程的同时将缩略图图像插入元数据中，并且接着继续步骤1121。然而，如果AP140在步骤1117中没有检测到该开启状态，那么图11的方法跳过步骤1119并且继续步骤1121。图15是说明将缩略图图像插入到图11的元数据中的过程的流程图，而图16是说明在开启缩略图功能的情况的条件下处理缩略图图像的图。

参见图15和16，如果缩略图功能设为开启，则正如图11中的步骤1117所检测到的，AP140在步骤1511中确定当前帧1611是否为缩略图图像插入周期的帧，在图16中当前帧1611通过帧附近的索引0指示为当前帧，帧1611具有YUV、JPEG、和元数据的帧1611。如果帧速率为30fps或更高，那么连续帧的缩略图图像之间的差异不大。因此，可能配置本发明使得缩略图图像包括在以预定数目帧的间隔元数据中。如果当前帧不是用于缩略图包含的周期，那么AP140结束图15的方法，并且返回到图11的过程以控制使得重新生成的元数据存储在存储单元150中。否则，参见图15-16，如果当前帧1611在用于缩略图包含的周期中，那么AP140在步骤1513中控制缩略图图像生成器395生成缩略图图像，在步骤1515中确是否配置定压缩功能，并且，如果配置了压缩功能，那么在步骤1517处压缩缩略图图像。然而，在步骤1515中，如果确定没有配置压缩功能，那么方法继续至步骤1519并且省略步骤1517中的对缩略图图像进行压缩。压缩选项可以配置在运动图像拍摄条件配置过程中，并且缩略图图像可以通过调整大小和/或编码而与元数据插入JPEG或YUV格式中，如图16中所示的。通过步骤1515和1517被处理成JPEG或YUV格式中的缩略图图像处包含在步骤1519处所存储的元数据中，并且包括缩略图图像的元数据作为相应帧的元数据记录在存储单元150中。存储在存储单元150中的运动图像和元数据帧同步，如上所述。

在步骤1519中生成的元数据可以存储在图16的结构1613中并且参照系统时钟1617的时间戳记录。如果帧配置成作为缩略图图像使用，则缩略图图像生成器395重新调整和/或按缩放交织数据(在帧中作为复用的YUV、JPEG和元数据传输的数据)的YUV图像以生成缩略图图像，并且在元数据中包括已生成的缩略图图像1613，该缩略图图像为YUV图像或者JPEG图像1615。如果缩略图功能如上所述地设定为开启(标记缩略图)，则AP140能够将大小调整为(和编码为)缩略图图像的YUV图像连同预定周期处(即参照元数据记录表格的预定数目帧处)的时间戳插入元数据。步骤1519之后，然后结束图15的方法，并且返回执行图11中的步骤1121。

当重复上述操作时，AP在图11中的步骤1111和1113处执行图12的过程来编码运动图像，并且在步骤1115至1119中通过图13至16的过程重新生成和存储元数据。在每帧处执行上述操作以将运动图像和元数据存储在存储单元150中。再次参照图11中的步骤1121，如果通过输入单元170输入运动图像拍摄终止请求，那么AP140在步骤1121处检测终止请求并且在步骤1123处结束运动图像拍摄操作。然后结束图11中的方法。然而，在步骤1121中，如果没有检测到终止请求，那么方法返回以重复并继续步骤1111-1121直至检测到终止请求为止。

如上所述，如果执行运动图像拍摄功能，那么运动图像和与运动图像帧同步的元数据存储在存储单元150中。在运动图像回放模式中，能够使用元数据基于视频制作者、全景拍摄、或者其它拍摄信息执行编辑、预览、呈现运动图像拍摄信息、以及图像重新配置(图像合成)。

图17是说明根据本发明的示例性实施例的运动图像回放模式中的操作过程的流程图。

参见图17，如果在步骤1711处检测到运动图像回放请求，那么AP140在步骤1713处访问存储在存储单元150中的压缩运动图像，使用MPEG编解码器390解码压缩运动图像，并且在步骤1713处在显示单元160上输出已解码的运动图像。当播放运动图像时，能够使用元数据执行各种补充功能。

然而，如果在步骤1711处没有检测到运动图像回放请求，如果用元数据选择运动图像预览功能，那么AP140在步骤1715处检测到该选择，并且按照时间顺序显示缩略图图像以在步骤1717中执行预览功能。

图18是说明根据本发明的示例性实施例的基于元数据的运动图像预览功能执行过程的流程图，而图19是说明与图18中的过程相关联的运动图像预览操作的原理的图。

参见图18和19，如果选择运动图像预览模式，那么AP140在步骤1811处访问在存储单元150的文件系统1911中存储的方法数据，在步骤1813处检查运动图像的当前帧1915，并且显示与时间戳相对应的缩略图图像1915。如果在播放或者正在播放运动图像的状态下触摸屏幕，那么运动图像回放停止使得当前屏幕图像连同通过解析当前帧的时间戳而检查的相邻帧的缩略图图像呈现为静止图像。如果如步骤1815处所检测的在回放停止状态下选择缩略图图像，那么AP140能够在步骤1817处在运动图像预览模式下将缩略图图像和相应元数据一起显示，并且继续步骤1819。如果在图19的缩略图图像1915上检测到拖动检索手势，那么AP140还能够控制额外显示已发现的缩略图图像的元数据。此时，缩略图图像可以包括在图19的元数据1913中，并且在此情况中，能够显示从元数据中快速获取的相应帧的缩略图图像。

再次参照步骤1815，如果没有检测到对缩略图图像的选择，那么步骤省略步骤1817并且继续步骤1819。接着该方法在步骤1819处检查终端命令，而且如果没有检查到终止命令，那么该方法返回至步骤1811以重复步骤1811-1819。然而，如果在步骤1819中没有检测到终止命令，那么该方法在步骤1821处结束运动图像预览模式并且返回图17中的步骤1715。

在步骤1715中，如果没有检测到运动图像预览请求，那么该方法在步骤1719中检测用于运动图像元数据显示的请求。AP140能够连同运动图像一起显示元数据。图20是说明根据本发明的示例性实施例的显示与正在播放的运动图像相关联的元数据的原理的图。参见图17和20，如果输入运动图像元数据请求，则AP140在步骤1719处检测输入请求而在步骤1721中显示与正在播放的运动图像相关联的元数据。也即，如果在正在播放运动图像的状态下输入元数据请求，那么AP140访问在存储单元150的文件系统2011中存储的元数据，并且将元数据解析成在显示单元160上显示的缩略图图像和元数据2013。如上所述，AP140能够同时显示被记录的元数据，用于播放或者编辑包含在该元数据中的运动图像和缩略图图像，正如显示器2015中所示的，并且在此情况中，与当前正在播放的运动图像相关联的元数据可以以字幕形式呈现，诸如显示器2015的回放运动图像下方的字幕中GPS、EV和陀螺仪信息。

在步骤1719中，如果没有检测到运动图像显示请求，那么该方法在步骤1723中检测用于运动图像补充功能的请求。AP140能够子当前正在播放的运动图像上以视频制作者的形式呈现特定元数据。因此，如果用户请求显示器呈现特定元数据，那么AP140在步骤1723处检测用户请求，并且在步骤1725处生成配置有所选元数据的补充信息，以利用所选元数据执行补充功能，并且根据所选元数据连同运动图像一起呈现补充功能。图21是说明根据本发明的示例性实施例的在运动图像之上显示元数据的位置信息的过程的流程图，而图22A至22E是显示在图21的过程中所显示的示例性屏幕图像的图。

参见图21和图22A至22E，AP140在步骤2111处分析所选或者所配置的元数据。此时，如果所选元数据不是位置信息(例如GPS信息)，择AP在步骤2113处检测到所选信息不是位置信息，并且该方法采用所选或者所配置的元数据存储用于在图像之上显示的辅助信息。然而，如果所选元数据是位置信息(例如GPS信息)，则AP在步骤2113中检测到所选信息不是位置信息，并且在步骤2115处检查正在播放(或选择)运动图像的元数据中的位置信息。以后，AP140通过映射运动图像的拍摄位置信息，在步骤2117处访问与位置信息相对应的地图数据并且将地图数据和跟踪路线一起显示。AP140根据配置的显示功能，在步骤2119中显示运动图像和/或地图。如果没有输入位置信息显示终止请求，那么AP140在步骤2121中检测到这种请求的缺失，并且该方法返回以重复执行步骤2115-2121直至检测到终止请求为止。然而，如果输入位置信息显示终止请求，那么AP140在步骤2121处检测到终止请求并且在步骤2123处结束显示地图。该方法然后返回图17中的步骤1723。

如上所述，AP140能够连同与运动图像拍摄模式下相应元数据相关联的元数据以以压缩格式存储观看图像。AP140还能够使用拍摄时间在屏幕上将辅助功能和与元数据相对应的拍摄时间和缩略图图像一起显示。例如，如果在运动图像回放或编辑处理中输入位置请求命令，那么AP140能够使用在元数据中包括的位置信息、时间信息、以及缩略图图像通过链接运动图像的拍摄位置来显示跟踪途径。例如，可能在图22A中所示的播放运动图像之前或者之中显示运动图像的跟踪路线。在此情况中，如果用户选择运动图像和待呈现的元数据数据，例如位置信息，则AP140在步骤2113处检测到用户选择并且通过步骤2115和2117显示连接正如图22B中所示的运动图像拍摄位置的跟踪路线。此时，AP140能够在如图22B中所示的跟踪路线的相应位置处显示包括元数据中包括的缩略图图像，并且可以根据用户配置确定缩略图图像显示间隔。在运动图像回放模式下，AP140能够检查正在播放的运动图像的帧的元数据中的时间戳和/或位置信息，以沿着地图的跟踪路线标记运动图像拍摄位置，如图22B中所示。当在步骤2119处显示运动图像或地图数据时，根据用户选择，AP140能够如图22A所示仅显示运动图像、如图22B所示仅显示地图数据、如图22C所示显示运动图像和地图数据两者、如图22D所示的作为主屏幕显示的地图数据和作为缩略图图像的运动图像、或者如图22E所示显示运动图像作为主屏幕和地图数据作为缩略图图像。

还能够使用运动图像的元数据将运动图像转换成全景图像。再次参照图17，如果在步骤1723中没有检测到运动图像辅助功能，则该方法继续至步骤1727。如果在运动图像预览模式或者运动图像回放模式下选择全景图像转换功能，则AP140在图17的步骤1727处检测到所选功能，并且分析所选元数据并且在步骤1729处处理运动图像以转换在所选位置处拍摄的运动照片，从而生成全景图像。图23是说明根据本发明的示例性实施例的利用元数据将运动图像转换为全景图像的过程的流程图；而图24是说明用于展现通过图23中的过程从运动图像到对应全景图像的转换示例的示例性图像的图。

参见图23和24，如果在缩略图图像显示模式中设定全景转换功能和两个缩略图图像的间隔，并且在步骤2311处显示缩略图图像，那么AP140在步骤2313处检查到所选缩略图图像的起始帧和结束帧，在步骤2315处将起始帧到结束帧的图像解码成静止图像，并且在步骤2317处处理和结合已解码图像以生成全景图像。如果在步骤2319处检测到全景图像转换图像功能没有终止，那么该方法返回以重复步骤2311-2319，直至输入和检测到终止命令为止。然而，如果全景图像转换图像功能终止，那么AP140在步骤2319处检测到终止命令并且在步骤2321处结束全景图像转换操作和全景图像显示，并且然后该方法返回图17中的步骤1727中。图23示出了使用缩略图将运动图像转换为全景图像的过程。可以使用元数据的特定拍摄信息通过执行全景拍摄功能来获取全景图像。一个方法是使用陀螺仪传感器和/或加速传感器。即，如果在运动图片拍摄模式下操作的摄像机装置操作在特定方向上移动(例如，在特定位置处停止摄像机并且然后在具体方向上移动摄像机装置)，那么陀螺仪传感器和/或加速度传感器检测到该方向的移动，使得AP140将这个所检测到的移动视为全景图像拍摄。在此情况中，参见图24，AP140在运动图像回放模式下分析元数据中由陀螺仪传感器生成的信息，并且如果基于来自陀螺仪传感器的信息检测到全景运动图案，那么将运动图像2411转换成全景图像2413，如图24所示。

再次参照图17，如果在步骤1727中没有检测到全景转换选择，那么该方法继续到步骤1731以检测是否选择了图像合成功能。如果没有检测到，则该方法执行便携式终端的相应或不同功能。否则，在步骤1733中，该方法执行图像的合成。AP140能够结合或合成元数据满足特定条件的图像，以使用元数据执行精细图像质量调整。因此，如果选择用于精细图像质量调整的图像合成功能，那么AP140在图17的步骤1731处检测到该选择，并且使用所配置的元数据结合相应帧的图像以实现精细图像质量调整功能。图25是说明根据本发明的示例性实施例的利用运动图像的元数据通过结合满足特定条件的图像来展现精细图像质量调整过程的示例的示例性图像的图。如图25中所示的，CCTV，安全摄像机，或者车辆黑匣子没有高质量摄像机并且缺少用于获取高质量图像的处理器，并且因此获得低质量图像2511。然而，如果在拍摄运动图像的同时如上所述的生成和存储元数据，那么以后可能利用元数据调整运动图像的视频质量。例如，如果记录了低视频质量的图25的运动图像2511，那么利用存储在运动图片拍摄模式下的元数据(例如振动减少，运动灵敏度等)可以将高质量图片2513作为备份存储。

如上所述，能够连同在拍摄模式下获取的元数据一起存储运动图像，并且在运动图像回放模式使用所存储的元数据以各种方式执行运动图像回放。

再次参照图17，在完成步骤1713、1717、1721、1725、1729和1733之后，该方法返回至步骤1711以继续这里所述的运动图像处理。

图26是说明根据本发明的示例性实施例的配备摄像机装置的终端设备的配置的方框图。

参见图26，摄像机单元110配备用于在摄像机操作模式下获取图像的传感器单元120。传感器单元120可以包括GPS接收器，陀螺仪传感器、加速度传感器、高度传感器、振动传感器、方向传感器、以及照度传感器中的至少一个。传感器单元120能够连接至如图1和3中所示的ISP130或者如图5和6所示的AP140，或者将一些传感器连接至ISP130而将另一些连接至AP140。下面，使用示例进行描述，使得传感器单元102连接至AP140。

ISP130处理利用摄像机单元110获得的图像以生成待在显示单元160上显示的观看图像以及每帧的压缩图像和元数据。这里，观看图像可以是YUV图像，而压缩图像可以是JPEG图像。元数据可以包括在摄像机单元110拍摄图像时所获取的exif信息以及包括终端设备的传感器单元120的输出的其它信息。ISP130能够以30fps或更高(60fps)的帧速率生成观看图像和压缩图像以及元数据。

AP140负责处理终端设备的各种应用功能。AP140接收传感器单元120的输出，并且响应用户请求处理各种传感器应用。例如，AP140能够处理具有GPS接收器的输出的导航功能，基于终端位置的位置信息搜索应用，以及根据终端设备的运动执行在当前运行应用中所配置的功能的应用。具体地，在本发明的示例性实施例中，AP140控制ISP130缓冲在每帧处所生成的观看图像和压缩图像以及元数据，并且摄像机操作模式下在显示单元160上显示观看图像。如果生成用户的捕获命令，则AP140将正缓冲的图像中捕获请求时间处的压缩图像存储到存储单元150中，从而实现零快门滞后。在缓冲元数据的状态下，AP140利用传感器单元120输出的传感器信息生成第二拍摄信息，将拍摄信息和ISP130生成的第一拍摄信息结合到元数据中，并且缓冲元数据。

AP140还将观看图像压缩成运动图像并且在运动图像拍摄模式下将运动图像存储在存储单元150中并且根据拍摄条件重新生成元数据，所生成的元数据正在被存储到存储单元150中。如上所述，拍摄条件可以包括使用整个元数据还是delta值以及缩略图图像是否包含在元数据中以及如果是的话是否要压缩缩略图图像。AP140基于前述运动图像拍摄条件生成和存储运动图像和元数据并且在运动图像回放模式下利用元数据执行各种辅助功能。

通信单元2620负责与外部装置或基站通信。通信单元2620可以包括发射器和接收器，发射器具有用于将要发射的信号的频率上变频至射频(RF)频道上变频器和用于放大发射信号的功率的放大器，而接收器具有噪声对所接收的信号进行低噪声放大的低噪声放大器用于将所接收的RF信号下变频至基带信号的下变频器。通信单元2620还可以包括用于调制发射信号并且将经调制的信号传送至发射器的调制器和用于解调接收器输出的信号的解调器。这里，调制器/解调器可以是WCDMA、GSM、LTE、Wi-Fi和Wibro调制器/解调器中的任何一种。

终端控制器2610控制终端设备的整体操作以及语音和数据通信功能。这里，终端控制器2610可以包括通信单元2620的调制器/解调器，并且在此情况中，通信单元2620仅包括RF通信部件。在此情况中，终端控制器2610能够执行信号调制/解调和编码/解码。音频处理单元2630连接至终端设备的语音发射器/接收器，用于在终端控制器2610的控制下处理语音呼叫会话中的语音。存储器2640可以是用于加载终端控制器2610和AP140的程序的工作存储器，并且在此情况中，存储器2640可以用RAM实现。

输入单元170生成各种操作命令以及数据输入信号至终端控制器1610和AP140。具体地，在本发明的示例性实施例中，输入单元170能够生成摄像机驱动命令、捕获命令、运动图像拍摄命令、以及运动图像回放命令。显示单元160在终端控制器1610和AP140的控制下显示终端设备的操作和应用执行状态。根据本发明的示例性实施例，显示单元160在预览模式和运动图像拍摄模式下显示AP140输出的观看图像以及在运动图像回放模式下的将运动图像和各种辅助图像以及元数据一起解码。这里，输入单元170可以是能够感测用户的触摸输入的触摸面板，而显示单元160可以是用于显示程序生成的数据和图像的LCD或OLED面板。输入单元170和显示单元160可以集成到触摸屏中。输入单元170可以包括布置在或延伸自摄像机装置外部的按钮。

存储单元150可以由用于存储根据本发明的示例性实施例的操作系统(OS)和程序操作以及用于存储用于操作和程序生成的数据。在此情况中，存储单元150可以用诸如闪存存储器的非易失性存储器实现。具体地，本发明的示例性实施例中，存储单元150存储与运动图像拍摄模式下编码的运动图像相关的元数据。当终端设备接通时，终端控制器2610将语音和数据通信其它终端操作相关程序载入存储器2640中。如果请求了应用执行，则AP140将来自存储单元150的对应应用程序加载到存储器2640中。存储器2640作为用于载入操作和应用程序的工作存储器操作。这里，AP140和终端控制器2610可以分享存储器2640或单独使用分配存储器。

根据本发明的示例性实施例，AP140处理摄像机单元110的图像处理应用以及终端设备的各种应用。为了处理各种应用，AP140能够接收传感器单元120的输出，利用传感器单元120的输出执行应用，以及根据传感器单元120的输出控制应用处理操作。终端控制器2610还能够接收传感器单元120的输出、执行语音呼叫和通信服务、以及控制根据传感器单元120的输出的语音呼叫和通信服务。

在带外语音呼叫过程中，用户能够利用输入单元170键入接收方电话号码和电话位置信号，并且终端控制器2610在检测语音位置信号时控制通信单元2620建立通信频道并且经过基站管理带外呼叫会话。如果接收来电，终端控制器2610利用通信单元2620中检测到来电的接收，利用音频处理单元2630生成来电警报，并且在显示单元160上显示来电电话信息。如果用户利用输入单元170接收来电，终端控制器2610利用用于语音电话服务的通信单元2620建立通信路径。在数据通信服务的情况下，以语音电话服务类似的方式建立通信频道。

终端设备能够执行各种应用。如果用户请求通过输入单元170执行特定应用，则AP140执行相应的应用并且在显示单元160上显示执行结果。如果用户请求是摄像机驱动命令，则AP140控制ISP130驱动摄像机单元110。ISP130处理摄像机单元110拍摄的图像以利用摄像机单元110和传感器单元120的输出在每帧处生成观看图像和压缩图像以及每帧的元数据。AP140缓冲每帧处生成的观看图像和压缩图像以及元数据并且在显示单元上显示观看图像作为预览图像。在此状态中，如果用户通过输入单元170键入运动图像拍摄命令，则AP140编码和压缩正缓冲到存储单元150中存储的运动图像的观看图像，并且根据预先配置的条件重新生成元数据，重新生成的元数据正存储在存储单元中。在运动图像回放模式下，利用元数据(预览、拍摄信息呈现、基于元数据的视频制作者功能、运动图像拍摄位置的跟踪路径、全景图像转换、CCTV功能等)，AP连同各种辅助功能一起解码所存储运动图像以在显示单元中播放运动图像。

如上所述，根据本发明的摄像机装置和配备摄像机的终端设备能够在运动图像拍摄模式下记录拍摄信息(元数据)和/或缩略图图像，利用所记录的拍摄信息和缩略图图像播放和编辑运动图像，并且利用拍摄信息用于更新指示信息和执行辅助功能。此外，根据本发明的摄像机装置和配备摄像机的终端设备能够分析在每帧处所获取的拍摄信息(元数据)以在记录和播放运动图像时自动调整视频质量。也即，本发明能够执行除了记录模式下的基于帧数据分析的视频质量调整之外的利用拍摄信息(EV、度量、脸部检测等)的精细视频质量调整，以及利用所记录的拍摄信息改进回放视频质量。可以在运动图像回放模式和编辑模式中以字幕形式提供从所记录的拍摄信息中提取的一些信息。

根据本发明的上述设备和方法可以在硬件或固件中、或者作为软件或计算机编码、或者它们的结合执行。另外，软件或计算机编码还可以被存储在非瞬间记录媒介，诸如CD ROM、RAM、可擦或可重写的ROM、软盘、CD、DVD、内存条、硬盘、磁性存储媒介、光学记录媒介、或者磁性光学盘或者通过网络从原来存储在远程记录媒介中下载的计算机编码、计算机可读记录媒介、或者非瞬间机器可读媒介并且待存储在本地可读媒介中，使得这里所述的方法可以以在利用通用计算机、数字计算机、或专业处理器或者诸如ASIC或FPGA的可编程或专用硬件存储在记录媒介中的这种软件、计算机编码、软件模块、软件标的、指示、应用程序、小应用程序、apps等来实现。正如本领域中所理解的，计算机、处理器、微处理器控制器或者可编程硬件包括可以存储或接收计算机、处理器或硬件所访问和执行时的软件或计算机编码的易失性和/或非易失性存储和存储器元件，例如RAM、ROM、Flash等。此外，要认识到的是当通用计算机访问用于执行这里所示的处理的代码时，代码的执行将通用计算机转化成用于执行这里所示的处理的专用计算机。此外，可以是通过诸如有线/无线连接发送的通信信号的任何媒介以及它们的等同物电传送程序。程序和计算机可读记录媒介还可以被分布在网络耦合计算机系统中，使得计算机可读编码以分布的形式被存储和执行。

虽然这里上面已经用专业术语详细描述了本发明的示例性实施例，但是目的仅在于描述具体实施例而非旨在限制本发明。虽然已经说明和描述了本发明的具体实施例，但是对于本领域技术人员明显的是在不偏离本发明的精神和范围的情况下，可以进行各种其它改变和变化。

Claims (15)

1.一种配备有摄像机的设备的运动图像处理方法，所述方法包括：在运动图像拍摄模式下在每个帧周期处获取图像，生成所述图像的元数据，并且将所述图像编码成运动图像，所述方法的特征在于：

将运动图像与所述元数据一起存储；以及

在运动图像回放模式下显示从所述元数据中选择的特定元数据，作为运动图像的补充功能。

2.如权利要求1所述的方法，其特征在于，所述元数据包括运动图像的两个连续帧之间差异的信息。

3.如权利要求2所述的方法，其特征在于，所述元数据包括相应帧观看图像的缩略图图像。

4.如权利要求3所述的方法，其特征在于，所述补充功能包括在运动图像预览模式下显示与正显示的当前帧邻近的帧的缩略图图像，所述当前帧是通过解析时间戳而获取的。

5.如权利要求3所述的方法，其特征在于，所述补充功能包括输出运动图像的元数据。

6.如权利要求3所述的方法，其特征在于，所述补充功能包括以字幕形式输出运动图像的元数据。

7.如权利要求3所述的方法，其特征在于，所述补充功能包括连同运动图像一起输出所选元数据，并且所选元数据是形成地图上输出的跟踪路径的拍摄位置信息。

8.如权利要求3所述的方法，其特征在于，所述补充功能包括通过分析运动图像的所选元数据将运动图像转换为全景图像。

9.一种运动图像拍摄和回放设备，具有：摄像机，获取多个连续帧图像；图像信号处理器，处理摄像机获取的连续帧图像并且生成连续帧图像的摄像机拍摄信息；传感器单元，包括至少一个传感器；存储单元，存储运动图像，所述运动图像拍摄和回放设备的特征在于：

应用处理器，在运动图像拍摄模式下将连续帧图像编码成运动图像并且将运动图像与摄像机和传感器单元输出的元数据一起存储，并且在运动图像回放模式下连同运动图像一起显示从元数据中选择的特定元数据，作为补充功能；和

显示单元，在应用处理器的控制下显示运动图像。

10.如权利要求9所述的设备，其特征在于，所述应用处理器处理运动图像的两个连续帧之间的来自摄像机的摄像机拍摄信息和来自传感器单元的传感器拍摄信息的差异信息，以产生所述元数据。

11.如权利要求10所述的设备，其特征在于，所述应用处理器在所述元数据中包括相应帧观看图像的缩略图图像。

12.如权利要求11所述的设备，其特征在于，所述应用处理器在运动图像预览模式下显示与正显示的当前帧邻近的帧的多个缩略图图像，所述当前帧是通过解析时间戳而获取的。

13.如权利要求11所述的设备，其特征在于，所述应用处理器输出运动图像的元数据。

14.如权利要求11所述的设备，其特征在于，所述应用处理器以字幕形式输出运动图像的元数据。

15.如权利要求11所述的设备，其特征在于，所述应用处理器连同运动图像一起输出所选元数据，并且所选元数据是形成地图上输出的跟踪路径的拍摄位置信息。

Images