CN103260026A - 在摄像机设备中拍摄移动画面的装置和方法 - Google Patents

Abstract

一种在摄像机设备中拍摄移动画面的方法包括当拍摄移动画面时从摄像机获取每一帧的帧图像。所述方法还包括将所获取的图像划分并产生为显示图像和压缩图像以发送一帧，并将压缩图像配置为与参考帧图像或参考帧图像的压缩图像相对应的帧的运动矢量。所述方法还包括显示所述显示图像，将压缩图像恢复并压缩为移动画面，以及存储压缩的移动画面。

Description

在摄像机设备中拍摄移动画面的装置和方法

技术领域

本公开涉及一种拍摄装置和摄像机的方法，更具体地，涉及一种能够拍摄摄像机设备的全高清(HD)分辨率图像作为移动画面的装置。

背景技术

摄像机设备和包括摄像机的便携式终端设备可以提供高质量图像和各种用户便利功能。图像传感器(可以称作“摄像机传感器”)可以处理具有全HD分辨率或更高分辨率的图像。

在一些情况下，摄像机设备以预览模式显示从摄像机传感器检测的图像。如果用户按压快门按钮，则摄像机设备存储从摄像机传感器获取的图像。如果用户再次按压快门按钮(快门释放)，则在捕获之前可能存在快门延迟或快门滞后。即，在用户按钮快门按钮和摄像机拍摄对象之间存在时间差。由于对象的拍摄环境和图像处理器的处理时间会导致出现这种时间差。因此，问题在于由于快门延迟(快门滞后)导致现有技术中的摄像机设备和包括摄像机的便携式终端设备不能够获取希望时间点的图像。

摄像机设备和包括摄像机的便携式终端设备可以包括用于处理摄像机的图像的图像处理器和用于处理包括摄像机应用在内的各种应用的应用处理器。在某些情况下，图像处理器和应用处理器彼此串联连接。图像处理器将从摄像机获取的图像转换为串行数据并将串行数据发送到应用处理器。从摄像机获取的图像可以包括具有HD分辨率或更高分辨率(超HD(UHD)分辨率)的图像。UHD分辨率的图像是指具有4K*2K分辨率或更高分辨率的图像。

因此，具有图像处理器和应用处理器的摄像机设备或具有摄像机设备的终端设备难以将UHD分辨率的图像拍摄为移动画面。这是因为当前摄像机设备中的图像处理器难以或不可能在期望的时刻向应用处理器发送连续移动画面的UHD分辨率的图像数据。

发明内容

为了解决现有技术的上述缺陷，主要目的在于提供一种装置及其方法，用于从摄像机设备或包括摄像机的终端设备捕获拍摄的图像，并选择并存储来自拍摄图像的期望图像。为此，根据本公开的摄像机设备或包括摄像机的终端设备建议了一种装置和方法，处理从摄像机传感器获取的图像以产生每一帧的多个图像，并将产生的图像用作预览图像和捕获图像。

本公开还提供了一种装置和方法，能够在摄像机设备或包括摄像机的终端设备中将UHD分辨率的图像用作移动图像。为此，本公开实施例建议了一种装置和方法，由图像处理器将从摄像机获取的UHD分辨率的图像与相邻帧的UHD分辨率的图像进行比较以便进行压缩编码，发送压缩结果，并由应用处理器恢复压缩编码的图像以便将其编码为移动图像。

根据本公开的一个方面，一种方法包括当拍摄移动画面时从摄像机获取每一帧的帧图像。所述方法还包括将所获取的图像划分并产生为显示图像和压缩图像以发送一帧，并将所述压缩图像配置为与参考帧图像或参考帧图像的压缩图像相对应的帧的运动矢量。所述方法还包括显示所述显示图像，将压缩图像恢复并压缩为移动画面；并且存储压缩的移动画面。

根据本公开的另一方面，一种摄像机设备包括摄像机。所述摄像机设备还包括图像处理器，配置为当拍摄移动画面时从摄像机获取每一帧的帧图像；将所获取的图像划分并产生为显示图像和压缩图像以发送一帧，并将所述压缩图像配置为与参考帧图像或参考帧图像的压缩图像相对应的帧的运动矢量。所述摄像机设备还包括应用处理器，配置为显示所述显示图像，并将压缩图像恢复并压缩为移动画面；存储器，配置为存储压缩的移动画面；以及显示单元，配置为显示所述显示图像。

根据本公开的另一方面，一种便携式终端设备，包括：通信单元，配置为执行与外部设备的无线通信；以及终端控制器，配置为通过通信单元控制便携式终端设备的呼叫和通信。所述便携式终端还包括：摄像机，配置为当驱动摄像机时针对每一帧从摄像机传感器捕获图像；以及图像处理器，配置为当拍摄移动画面时从摄像机获取每一帧的帧图像，将所获取的图像划分为显示图像和压缩图像以发送一帧，并将所述压缩图像配置为与参考帧图像的压缩图像或参考帧图像相对应的帧的运动矢量。所述便携式终端还包括：应用处理器，配置为显示所述显示图像，将压缩图像恢复和压缩为移动画面；存储器，配置为存储压缩的移动画面；以及显示单元，配置为显示所述显示图像。

在阐述下面的本发明的详细描述之前，先阐述在本专利文件整篇中使用的某些词和词语的定义是有利的：术语“包括”和“包含”以及它们的派生词的意思是非限制性的包含；术语“或”是开放式的，意味着和/或；词语“相关联”和“与其相关联”以及它们的派生词的意思可以是包括、被包括在内、与…互连、包含、被包含在内、连接到或与…连接、耦合到或与…耦合、与…通信、与…合作、交错、并列、接近、受……限制、具有、具有…属性，等等；术语“控制器”的意思是控制至少一个操作的任何设备、系统或它们的一部分，这样的设备可以以硬件、固件或软件实现，或其中至少两种的组合。应注意的是，与任何特定的控制器相关联的功能可以本地或远程地集中实现或分布实现。提供了贯穿本专利文件的某些词和词语的定义，本领域的普通技术人员应理解的是，在很多情况下或者大多数情况下，这样的定义适用于如此定义的词和词语的之前以及将来的使用。

附图说明

为了更全面的理解本公开及其优点，现在结合附图来参考一下描述，图中类似参考数字表示类似部件：

图1是示出了根据本公开实施例的摄像机设备的配置的框图；

图2是示出了根据本公开实施例的图像处理器的配置的框图；

图3是示出了根据本公开实施例的应用处理器的配置的框图；

图4是示出了根据本公开实施例的由摄像机设备存储移动画面的方法的图；

图5是示出了根据本公开实施例的当图像处理器拍摄移动画面时摄像机设备的操作的流程图；

图6是示出了根据图5所示本公开实施例产生压缩图像的方法的流程图；

图7是示出了根据本公开实施例的由应用处理器执行的拍摄移动画面的方法的流程图；

图8是示出了根据本公开实施例的恢复并存储压缩图像的方法的流程图；以及

图9是示出了根据本公开实施例的包括摄像机设备的便携式终端的配置的框图。

具体实施方式

该专利文件中以下描述的图1到9和用于描述描述本公开原理的各种实施例仅作为演示，而不应被理解为以任意方式限制本公开的范围。本领域技术人员可以理解可以在任意适当排列的电子设备中实现本公开的原理。参考附图详细描述本公开的示例性实施例。贯穿附图将相同参考数字用于表示相同或类似部件。

以下说明书演示了例如图像的像素数目或数据大小的具体特定信息。省略对于本文包括的公知功能和结构的详细描述以避免模糊本公开的主题。

本公开涉及一种摄像机设备或包括摄像机的终端设备，处理从摄像机传感器获取的图像以产生每一帧的多个图像。所产生的图像可以包括用于预览的图像和用于在摄像机的存储驱动时存储的压缩图像。

显示图像可以包括YUV图像，并且可以被控制为要显示在显示单元上的适当大小(截取和/或缩放)。用于存储的压缩图像是从摄像机传感器获取的图像(例如，全HD分辨率或更高分辨率(UHD分辨率)的图像)，是一种压缩编码图像。在以下实施例中将用于存储的压缩图像描述为JPEG图像。本公开的实施例可以包括一种装置和方法，能够通过以下方式来实现零快门滞后：产生并在摄像机的存储驱动时缓冲预览图像和用于捕获的图像，以及由用户或预设方案来选择并存储压缩图像。

根据本公开实施例的摄像机设备或包括摄像机的终端设备在摄像机的存储驱动时(例如预览模式)处理从摄像机获取的每一帧的图像，以产生预览图像和捕获图像。

当用户操作摄像机时，摄像机设备从摄像机传感器获取针对每一帧时段的图像，将所捕获的图像转换为显示图像和压缩图像，在显示单元上显示所述显示图像，并缓冲压缩图像。显示图像可以是YUV图像，压缩图像可以是全HD分辨率的JPEG。此外，压缩图像可以是用于存储静止图像的压缩图像，因此，捕获图像和压缩图像是指同一图像。

如果用户请求捕获静止图像，则当请求捕获时摄像机设备可以从缓冲的JPEG图像中选择并存储JPEG图像，显示缩略图图像，或存储与选择的缩略图图像相对应的JPEG图像。

根据本公开实施例的摄像机设备或包括摄像机的终端设备包括图像信号处理器(ISP)和应用处理器(AP)，并拍摄UHD分辨率的图像作为移动画面。为此，ISP针对每一帧获取UHD分辨率的图像，并将所获取的图像转换为显示图像和压缩图像。接下来，ISP存储每第N帧图像作为参考图像，产生第N帧图像作为压缩图像并输出到AP。ISP将除每第N帧以外的剩余图像与参考图像进行比较以检测运动分量(以下称作“运动矢量”)。如果运动矢量小于预设参考值，则ISP对运动矢量进行压缩编码以向AP输出对应帧的图像。

如果运动矢量等于或大于预设参考值，则ISP对对应帧的图像进行压缩编码并输出到AP。

AP缓冲接收到的压缩图像，恢复并存储每第N帧的压缩图像作为参考图像。AP分析除每第N帧以外的剩余帧的压缩图像。如果剩余帧的压缩图像是运动压缩数据，则AP恢复运动压缩数据并将运动压缩数据与参考图像相融合。如果剩余帧的压缩图像是静止图像压缩数据，则AP恢复该静止图像压缩数据。此外，AP压缩并存储恢复的帧图像作为移动画面。

显示图像可以是YUV图像，压缩图像可以是全HD分辨率或更高分辨率的JPEG。运动矢量的压缩可以使用行程长度编码(以下称作“RLC”)。行程长度可以是相同长度的连续像素。

下文中，参考附图来详细描述本公开。以下描述中作为示例来描述摄像机设备。

图1是示出了根据本公开实施例的摄像机设备的配置的框图。

参考图1，摄像机110包括图像传感器。当操作摄像机时，摄像机110通过图像传感器执行获取图像的功能。获取的图像可以是UHD分辨率的图像。传感器120可以包括安装在摄像机设备或包括摄像机的终端设备中的至少一个传感器，可以包括GPS接收机、陀螺仪传感器、加速度传感器、高度传感器和方向传感器中的至少一个。

ISP130处理从摄像机110获取的图像以产生要显示在显示单元160上的显示图像和在捕获请求(捕获静止图像或移动画面)时要存储的压缩图像。显示图像可以包括YUV图像。ISP130对从摄像机110获取的图像进行颜色转换，并将图像的大小控制为用于显示在显示单元160上的大小(缩放和/或截取)。即，ISP130产生YUV图像，并且可以根据显示单元160的显示能力来适当地设置YUV图像。在实施例中，YUV图像可以具有与压缩图像的大小不同的数据大小。ISP130以JPEG方案压缩从摄像机110输出的图像。压缩图像可以是当用户请求捕获时要存储的图像，并且可以是高于全HD分辨率的UHD分辨率的图像。

ISP130产生每第N帧的图像作为JPEG图像，并存储JPEG图像作为参考图像。ISP130将剩余帧的图像与参考图像进行比较以估计运动矢量。如果估计的运动矢量小于特定大小，ISP130对剩余帧的图像进行RLC编码，并输出RLC编码图像作为对应帧的压缩图像。如果估计的运动矢量大于特定大小，则ISP130将对应帧图像压缩为JPEG图像并输出该JPEG图像。通常在移动画面的情况下，在相邻帧之间的图像中运动矢量不会显著变化。

因此，ISP130以预定帧间隔发送作为UHD分辨率的压缩图像的JPEG图像，估计具有剩余帧的图像和参考图像之间差的运动矢量，并输出估计的矢量作为对应帧的压缩图像。因此，当向AP140发送压缩图像时，由于除每第N帧以外剩余帧的压缩图像仅发送运动矢量，可以明显地减少压缩图像的传输量。当运动矢量等于或大于特定大小时发送对应帧图像作为JPEG图像的原因在于要发送的对应帧图像的传输量较大；发送对应帧的效率不高于发送JPEG图像的效率，这是因为AP140恢复对应帧图像并再次执行对应帧图像与参考图像的融合过程。

当操作摄像机时，AP140缓冲由ISP130产生的显示图像和压缩图像，并控制显示单元160输出显示图像。如果用户产生静止图像捕获请求，AP140存储缓冲压缩图像的预设压缩图像以实现零快门滞后。

AP140分析当拍摄移动画面时缓冲的压缩图像，产生并存储压缩图像作为移动画面。如果压缩图像是每第N帧的压缩图像，则AP140恢复压缩图像作为静止图像(UHD的YUV图像)并存储静止图像作为参考图像。由于剩余帧的压缩图像是通过压缩运动矢量获得的数据，因此AP140恢复压缩的运动矢量并将压缩的运动矢量与参考图像相融合以恢复UHD的静止图像。AP140按照帧的顺序将之前恢复的UHD图像压缩编码为移动画面，并在存储单元150中存储移动画面。

输入单元170可以产生并向AP140提供摄像机操作命令和捕获命令(捕获静止图像、捕获移动画面等)。显示单元160以预览模式显示从AP140输出的显示图像。输入单元170可以是用于检测用户的触摸输入的触摸板，显示单元160可以是LCD或OLED，显示在程序的执行期间产生的数据和图像。输入单元170和显示单元160可以集成在触摸屏中。输入单元170可以包括位于摄像机设备外部的按钮。

存储单元150存储在AP140中缓冲的压缩图像作为静止图像或移动画面。

图2是示出了根据本公开实施例的ISP130的配置的框图.

参考图2，ISP130的图像处理部件210将从摄像机110输出的图像转换为YUV图像。图像处理部件320可以包括预处理部件和后处理部件。在这种情况下，预处理部件预处理从摄像机110获取的图像。预处理操作包括提取和处理3A(自动白平衡(AWB)、自动曝光(AE)、自动聚焦(AF))、镜头阴影校正、哑像素校正、拐点(knee)校正等。后处理部件对预处理的图像执行颜色插值、噪声去除、颜色补偿和颜色变换中的至少一个并产生YUV数据。

从摄像机110输出的图像是原始图像，具有比图像传感器120检测的全HD分辨率更多数目的像素。图像处理部分210执行例如预处理3A、颜色插值和颜色转换之类的图像预处理功能。预处理3A可以包括自动白平衡(AWB)、自动曝光(AE)和自动聚焦(AF)，颜色转换可以是将原始图像转换为YUV数据的功能。图像处理器210可以执行前述功能的全部或部分。图像处理控制器200在AP140的控制下控制摄像机100的操作，并在摄像机操作模式下控制ISP130的整体操作。针对每一帧产生压缩图像、显示图像和/或拍摄信息，可以利用每秒30帧或更多帧(例如60帧)来配置帧。

缩放器220将从图像预处理器210输出的图像缩放为适于在显示单元160上显示的适当大小的图像。缩放器220可以包括用于缩放、截取和/或图像处理图像数据的构成元件或其一部分。当图像处理部件210不执行颜色转换功能时，可以由显示图像产生器来配置缩放器220。可以由用于将原始图像转换为YUV图像的颜色转换器和缩放器来配置显示图像产生器。

压缩编码器230产生当捕获时要存储的压缩图像，该压缩编码器230是一种静止图像压缩器，并且可以使用各种编码器(例如JPEG编码器、TIFF编码器等)。在本公开的一个实施例中假定静止图像压缩器230是JPEG编码器230。JPEG编码器230将从图像处理部件210输出的图像压缩为JPEG图像。在图像处理控制器200的控制下，参考图像存储器260针对每第N帧存储UHD图像作为参考图像。存储的参考图像可以是YUV方案的UHD图像。在图像处理控制器200的控制下，运动检测器240将除每第N帧以外剩余帧的UHD图像与参考图像进行比较以检测运动矢量，并向图像处理控制器200输出检测的运动矢量。运动编码器250对从运动检测器240输出的运动矢量进行压缩编码以输出压缩编码的运动矢量。在这种情况下，压缩编码方案可以包括RLC方案。选择器270根据图像处理控制器200的输出选择信号，选择并输出压缩编码器230或运动编码器250的输出。如果运动矢量等于或大于特定大小，则图像处理控制器200产生压缩编码器230的输出选择信号。如果运动矢量小于特定大小，则图像处理控制器200产生运动编码器250的输出选择信号。运动检测器240包括用于确定检测的运动矢量等于还是大于特定大小的参考数据，并检测运动矢量。运动检测器240可以将检测的运动矢量与参考数据相比较以产生大小确定信号。在一个实施例中，图像处理控制器200可以根据大小确定信号产生压缩编码器240或压缩编码器230的输出选择信号。

在图像处理控制器200的控制下，复用器280将压缩图像和显示图像复用为一帧并将该一帧发送到AP140。

图3是示出了根据本公开实施例的AP的配置的框图。

参考图3，应用处理控制器300根据输入单元170的命令控制ISP130的操作，缓冲从ISP输出的图像，在显示单元160上显示图像并当出现捕获(静止图像或移动画面)命令时在存储单元150中存储缓冲的压缩图像。在应用处理控制器300的控制下，多路分解器310对来自ISP130的显示图像和压缩图像进行多路分解并输出多路分解的图像。解析器320将由多路分解器310多路分解的图像解析为显示图像和压缩图像。当应用处理控制器300控制多路分解器310软件解析从ISP130输出的显示图像和压缩图像时，可以省略解析器320。缓冲器330可以包括显示图像缓冲器333和压缩图像缓冲器335。缓冲器330在应用处理控制器300的控制下缓冲解析的显示图像和压缩图像。缓冲器330具有能够缓冲N个帧的显示图像的大小，缓冲器330的结构可以具有环形缓冲器结构。将缓冲器330配置为环形缓冲器结构的原因在于以预设帧数目来保持接收的帧显示图像和压缩图像。

在AP300的控制下，压缩解码器340恢复压缩图像以产生UHD的YUV图像。在应用处理控制器300的控制下，参考图像存储器360存储从压缩解码器340输出的针对每第N帧的UHD的YUV图像作为参考图像。运动解码器350对除每第N帧以外的剩余帧的运动压缩数据进行解码。图像产生器370输入参考图像存储器360和运动解码器350的输出，并向参考图像应用恢复的运动矢量以产生UHD的YUV图像。在应用处理控制器300的控制下，选择器380输入压缩解码器340和图像产生器370的输出，并选择压缩解码器340或图像产生器370的输出，以便针对每一帧输出UHD恢复图像。移动画面编码器390将从选择器380输出的UHD的YUV图像编码为移动画面并输出该移动画面。可以利用例如H.264或MPEG的各种移动画面编码器来配置移动画面编码器390。本公开的实施例中假定移动画面编码器390是MPEG编码器390。

图3将编码器演示为用于压缩在ISP130和AP140中包括的静止图像和移动画面的配置。

然而，通常压缩图像并解压缩的配置是作为CODEC(编解码器)的一个芯片。因此，可以利用静止图像CODEC(JPEG CODEC)来配置静止图像编码器(例如JPEG编码器)。AP140的移动画面编码器(例如MPEG编码器)可以是移动画面CODEC(MPEG CODEC)。根据将从摄像机110拍摄的图像编码为移动画面并存储移动画面的操作来描述本公开的实施例。

参考图1-3来描述根据本公开实施例压缩并存储移动画面的操作。下文中，假定压缩编码器230是JPEG编码器，运动编码器250是RLC编码器。

首先，以下是ISP130的操作。图像处理部件210针对每一帧将从摄像机110获取的图像转换为YUV数据并输出该YUV数据。在这种情况下，图像可以是UHD的YUV图像。将YUV数据分别提供到缩放器220、压缩编码器230、运动编码器240和参考图像存储器260.然后，缩放器220缩放用于预览的YUV数据以产生显示图像。图像处理控制器200的压缩编码器230编码N帧时段中N个帧的第一帧中的YUV图像以产生JPEG图像。参考图像存储器260存储N帧中第一帧的YUV图像作为参考图像。运动检测器240将N帧时段中第一帧以外的剩余帧的YUV图像与参考图像进行比较以检测两帧之间的运动矢量，并向图像处理控制器200输出处理结果。运动编码器250对运动检测器240检测的运动矢量进行RLC编码。

然后，图像处理控制器200控制选择器270选择压缩编码器230的输出或运动编码器250的输出作为压缩图像。即，图像处理控制器200在第一帧时段期间选择压缩编码器230的输出，在N帧时段的剩余帧时段期间选择运动编码器250的输出。图像处理控制器200分析在选择运动编码器250输出的帧时段期间运动编码器250的输出以确定运动矢量等于还是大于特定大小。当运动矢量等于或大于特定大小时，图像处理控制器200控制选择器270选择压缩编码器230的输出。当运动矢量小于特定大小时，图像处理控制器200控制选择器270选择运动编码器250的输出。

因此，图像处理控制器200控制选择器270输出JPEG图像(例如，当是第N帧，或者当运动矢量等于或大于特定大小时)或输出编码运动矢量(例如，当不是第N帧且运动矢量小于特定大小时)。复用器280将从缩放器220输出的显示图像和从选择器270输出的压缩图像复用为一帧并将该一帧发送到AP140。

当运动矢量具有特定大小以发送JPEG图像时，图像处理控制器200在参考图像存储器260中存储与对应帧的图像相对应的YUV数据，运动检测器240可以将后续帧的YUV图像与存储的参考图像进行比较以检测运动矢量。即，当在第N帧时段期间特定帧的运动矢量大于预设大小时，对应帧的图像意味着运动分量较大。当将对应N帧时段中后续剩余帧的图像与参考图像(N帧中的第一帧图像)相比较时，可以检测到较大的运动矢量。可以使用输出为JPEG图像的帧的YUV图像存储为参考图像并检测后续帧的运动矢量的方法。当接收到作为JPEG图像的压缩图像时，AP140将通过恢复对应JPEG图像获得的YUV图像存储为参考图像，并估计后续帧的运动矢量以恢复YUV图像。

其次，之后是AP140的操作。AP140通过多路分解器310和解析器320分离接收的帧的显示图像和压缩图像，缓冲器330在显示图像缓冲器333中缓冲用于预览的YUV数据，并在压缩图像缓冲器335中缓冲JPEG图像或编码器运动矢量。将显示图像缓冲器333中缓冲的显示图像发送到显示单元160，使得显示单元160显示所述显示图像。由压缩编码器340将N帧时段中第一帧的压缩图像恢复为UHD的YUV图像，将UHD的恢复图像存储在参考图像存储器360中，并通过选择器380输出。由运动编码器350对N帧时段中的剩余帧进行RLC编码以产生运动矢量。图像产生器370恢复参考图像中的运动矢量以产生对应帧中的UHD的YUV图像，并通过选择器380输出产生的YUV图像。

在这种情况下，应用处理控制器300分析在压缩图像缓冲器335中缓冲的压缩图像。如果缓冲的压缩图像是JPEG图像，则应用处理控制器300将缓冲的压缩图像传送到压缩编码器340。如果缓冲的压缩图像是运动矢量，则应用处理控制器300将缓冲的压缩图像传送到运动编码器340。因此，如果在压缩图像缓冲器335中缓冲的压缩图像是JPEG图像，则应用处理控制器300产生用于选择压缩编码器340的输出的输出选择信号。如果在压缩图像缓冲器335中缓冲的压缩图像是编码的运动矢量，则应用处理控制器300产生用于选择图像产生器370的输出的输出选择信号。因此，选择器380选择性地输出压缩编码器340和图像产生器370的输出。在一个实施例中，从选择器380输出的图像可以是UHD的YUV图像，运动图像编码器390将图像编码为移动画面并在存储单元150中存储移动画面。

当发送JPEG图像时，图像处理控制器100在参考图像存储器160中存储与JPEG图像相对应的YUV数据。运动检测器240将后续帧的YUV图像与存储的参考图像进行比较以检测并发送运动矢量。当接收到作为JPEG图像的压缩图像时，AP140将通过恢复对应JPEG图像获得的YUV图像存储为参考图像，并估计后续帧的运动矢量以恢复YUV图像。

下文是ISP130和AP140执行的存储静止图像的操作。如果用户在预览模式下请求捕获静止图像，则图像处理控制器200控制选择器270选择压缩编码器230的输出。缩放器220缩放从图像处理部件210输出的YUV图像以产生显示图像，并由压缩编码器230产生为JPEG图像。复用器280将显示图像和JPEG图像复用为一帧并输出这一帧。

AP140将多路分解器310和解析器320接收的图像划分为显示图像和JPEG图像，缓冲器330缓冲划分的图像。应用处理控制器300禁用压缩编码器340、运动编码器350、参考图像存储器360、图像产生器370和移动画面编码器390的操作。如果用户在之前状态下请求捕获静止图像，则应用处理控制器300访问并存储在存储单元150的压缩图像缓冲器335中缓冲的压缩图像之中与当请求捕获时的帧对应的压缩图像。因此，摄像机设备可以捕获当用户请求时的图像以实现零快门滞后。

图4是示出了根据本公开实施例由摄像机设备执行的存储移动画面的方法的图。图4演示了N＝4的实施例。图4演示了在UHD60fps参考中以4帧为单位发送一帧(15fps)作为JPEG数据，仅发送压缩其中三帧(中间帧)的运动矢量。应理解从图像处理部件210输出的YUV图像可以是具有8M的UHD图像，ISP130向AP140发送显示图像和用于存储的UHD压缩图像。

ISP130存储四帧时段中第一帧的YUV图像作为参考图像，将YUV图像转换为JPEG图像，并输出该JPEG图像。ISP130将剩余帧(四帧时段中的第二、第三和第四帧)的YUV图像与参考图像进行比较以检测运动估计运动矢量，并对运动估计运动矢量进行RLC编码以产生编码运动矢量。对于通常的移动画面，在主导(majority)图像的帧图像之间的运动较小或无运动。因此，可以仅利用较小运动来处理帧图像。据此，帧图像的数据大小明显小于JPEG图像的数据大小。为了记录最大压缩率，可应用MPEG压缩方案中的P帧和B帧。然而，一个实施例仅使用MPEG压缩算法之中可应用于ISP130的压缩方案。在该实施例中，如果比较数据明显较小，则执行运动估计(ME)，然后发送由RLC编码获得的数据结果，作为对应帧的压缩图像。

然后，当发送的压缩图像是JPEG图像时，AP140解码JPEG图像以产生YUV18M数据并在参考图像存储器360中存储对应的JPEG图像。可以利用循环队列来配置参考图像存储器360。如果从ISP130发送的图像是其中编码了(ME+RLC数据)图像的运动矢量，则AP140解码运动矢量，存储解码的运动矢量，并将运动矢量与参考图像的YUV数据进行比较以产生新YUV图像(即，对应帧的YUV图像)。前述YUV图像可以是UHD的YUV图像，被按照帧的顺序恢复，并提供给移动画面编码器390，以便将YUV数据压缩编码为移动画面，并将移动画面存储在存储单元150中。在图4中，当请求移动画面拍摄时以15fps的速率拍摄移动画面时，不执行检测运动矢量的操作，而是产生压缩图像并作为JPEG图像进行处理，使得可以执行编码移动画面的操作。即，图4演示了当拍摄移动画面时以15fps的速率产生JPEG图像。因此，当以15fps的速率拍摄移动画面时，可以不执行检测运动矢量的操作。然而，当以60fps的速率拍摄移动画面时，如图4所示，产生基于4帧的第一帧图像f₁作为JPEG图像，并产生剩余帧f₂、f₃、f₄作为编码运动矢量。因此，当运功矢量等于或大于预设大小时，如上所述，可以输出对应帧的图像作为JPEG图像。

如上所述，当拍摄并存储UHD移动画面时，N帧时段中第一帧的图像被存储为参考图像、进行压缩并输出为JPEG图像，对于剩余帧的图像仅输出关于参考图像的运动矢量，因此可以明显减少数据的传输量，并由此将UHD图像存储为移动画面。

图5是示出了根据本公开实施例当ISP130拍摄移动画面时摄像机设备的操作的流程图。

参考图5，如果从输入单元170输入摄像机操作请求，则AP140检测并通知输入摄像机操作请求，ISP130操作摄像机110。ISP130根据预设信息(例如，焦距、变焦、白平衡等)操作摄像机110。如果操作摄像机110，则摄像机110拍摄UHD的图像，ISP130和AP140执行预览模式(框511)。ISP130获取每一帧的图像并产生对应帧的显示图像和压缩图像。在一个实施例中，帧速率可以是30fps或更大(例如60fps)。

复用产生的显示图像和压缩图像，并将复用图像传输到AP140，AP140缓冲显示图像和压缩图像，在显示单元160上将显示图像显示为预览图像。如上所述，当用户在执行预览模式的状态下命令移动画面拍摄时(框513)，ISP130获取每一帧的图像(框515)，产生获取的图像作为显示图像(框517)，并产生获取的图像作为压缩图像(框519)。在一个实施例中，压缩图像是用于存储的图像，可以是静止图像的压缩图像或运动矢量的压缩图像。

ISP130产生N帧时段中第一帧的静止图像的压缩图像，产生该静止图像的运动矢量以及N帧时段中剩余帧的对应帧图像(框519)。接下来，ISP130将显示图像和压缩图像复用为一帧，将该一帧发送到AP140(框521)。重复执行前述操作直到终止移动画面拍摄为止。当终止移动画面拍摄时，ISP130检测终止的移动画面拍摄(框523)并终止用于移动画面拍摄的图像处理操作。

图6是示出了根据图5所示本公开实施例的产生压缩图像的方法的流程图。

参考图6，当检测到来自图像处理部件210的UHD的YUV图像的输出时(框611)，图像处理控制器200确定对应YUV图像是否是N帧时段中的第一帧(框613)。当对应YUV图像是N帧时段中的第一帧时，图像处理控制器200检测YUV图像(框613)并在参考图像存储器260中存储YUV图像作为参考图像(框615)，压缩编码器230对对应帧图像进行压缩编码以产生JPEG图像(框617)，图像处理控制器200控制选择器270输出JPEG图像(框625)。

备选地，如果对应YUV图像不是N帧时段中的第一帧，则图像处理控制器200将对应帧的YUV图像与参考图像进行比较以检测对应帧的YUV图像与参考图像之间的运动矢量(框619)，对检测的运动矢量进行RLC编码(框623)，并控制选择器270输出检测的运动矢量(框625)。

在一个实施例中，优选地当检测的运动矢量等于或大于特定大小时压缩静止图像而不是使用运动矢量。因此，图像处理控制器200分析来自运动检测器240的运动矢量并确定运动矢量等于还是大于特定大小(框621)。当运动矢量等于或大于特定大小时，图像处理控制器200选择性地输出压缩编码器230的输出作为对应帧的压缩图像(框617)。当运动矢量小于特定大小时，图像处理控制器200编码运动矢量(框623)，并选择性地输出运动矢量作为压缩图像。复用器280将静止图像的压缩图像、通过编码运动矢量获得的压缩图像和显示图像复用为一帧并将该一帧发送到AP140。

图7是示出了根据本公开实施例由AP执行的拍摄移动画面的方法的流程图。

参考图7，多路分解器310分解来自复用器280的复用帧图像，解析器320将多路分解的帧图像解析为显示图像和压缩图像，缓冲器330的显示图像缓冲器333和压缩图像缓冲器335分别缓冲来自解析器320的显示图像和压缩图像(框711)。然后，应用处理控制器300向显示单元160输出缓冲的显示图像，使得显示单元160显示缓冲的显示图像(框713)。

接下来，应用处理控制器300将压缩图像恢复为YUV图像(框715)。如果压缩图像是静止图像的压缩图像，则应用处理控制器300通过压缩编码器340恢复压缩图像。如果压缩图像是编码运动矢量的压缩图像，则应用处理控制器300恢复运功矢量并应用恢复的运动矢量以恢复对应帧的YUV图像。之后，应用处理控制器300通过移动画面编码器390将恢复的YUV图像压缩为移动画面(框717)并在存储单元150中存储压缩的移动画面(框719)。重复地执行上述操作直到移动画面拍摄终止为止。当移动画面拍摄终止时，应用处理控制器300检测终止的移动画面拍摄(框721)并终止用于移动画面拍摄的图像处理操作。

图8是示出了根据本公开实施例的恢复并存储压缩图像的方法的流程图。

参考图8，当接收到压缩图像时(框811)，应用处理控制器300确定对应压缩图像是否是N帧时段中第一帧的压缩图像(框813)。如果对应压缩图像是N帧时段中第一帧的压缩图像，则应用处理控制器300通过压缩编码器340将压缩图像恢复为YUV图像(框815)，通过选择器380向移动画面编码器390传送恢复的YUV图像(框817)，并在参考图像存储器360中存储恢复的YUV图像作为参考图像(框817)。

备选地，如果在框813处对应压缩图像不是N帧时段中第一帧的压缩图像，则应用处理控制器300解码编码的运动矢量以通过运动解码器350来恢复运动矢量(框821)，并向参考图像应用恢复的运动矢量以通过图像产生器370来产生对应帧的YUV图像(框823)。

当运动矢量等于或大于特定大小时，ISP130可以输出对应帧的压缩图像作为JPEG图像。因此，在这种情况下，可以接收除N帧时段中第一帧以外帧的JPEG图像。当压缩图像不是通过编码运动矢量获得的压缩图像时(框819)，应用处理控制器300通过压缩编码器340将JPEG图像恢复为YUV图像(框825)。

当从除N帧时段中第一帧以外的帧检测到的运动矢量具有大于特定大小的值并因此发送JPEG图像时，ISP130可以存储与对应帧的图像相对应的YUV数据作为参考图像，并将后续帧的YUV图像与存储的参考图像进行比较以检测运动矢量。当接收到作为JPEG图像的压缩图像时，AP140将恢复对应JPEG图像的YUV图像存储为参考图像，并估计后续帧的运动矢量以恢复YUV图像。

图9是示出了根据本公开实施例的包括摄像机设备的便携式终端的配置的框图。

参考图9，摄像机110包括传感器120并当摄像机操作时执行通过传感器获取图像的功能。传感器120可以包括安装在便携式终端设备中的至少一个传感器，包括GPS接收机、陀螺仪传感器、加速度传感器、高度传感器和方向传感器中的至少一个。ISP130处理从摄像机110获取的图像以针对每一帧产生要显示在显示单元160上的显示图像和在捕获请求(静止图像和移动画面)时要存储的压缩图像。显示图像可以是YUV图像，压缩图像可以是JPEG图像。

如果请求移动画面拍摄以便向AP140传送UHD的图像，则ISP130产生对N帧时段中第一帧的静止图像进行压缩编码的压缩图像，检测第一帧的图像和剩余帧中对应帧之间的运动矢量，并编码检测的运动矢量以产生压缩图像。ISP130可以以30帧每秒或更大(例如60fps)的帧速率来产生显示图像、压缩图像和拍摄信息。

AP140执行便携式终端设备的各种功能。AP140可以输入传感器120的输出并根据用户请求处理各种传感器应用。例如，AP140可以输入处理导航功能的GPS接收的输出和根据终端位置来检测区域信息的应用，并根据终端设备的运动执行应用，以执行当前执行应用中的预设功能。在一个实施例中，AP140缓冲ISP130针对每一帧产生的显示图像和压缩图像，控制显示单元160基于根据本公开实施例的摄像机的操作来显示图像。

如果出现静止图像的捕获请求命令，则AP140在存储单元150中存储缓冲压缩图像之中缓冲的压缩图像的预设压缩图像以实现零快门滞后。如果出现移动画面拍摄命令，则AP140解码相对于N帧时段中第一帧的静止图像的压缩图像，以恢复YUV图像，并将接收的运动矢量应用到第一帧的恢复YUV图像以产生对应帧的YUV图像。接下来，AP140将恢复YUV图像压缩编码为移动画面并在存储单元150中存储移动画面。

通信单元920执行与外部设备或基站的通信功能。通信单元920可以包括：将传输信号上变频到RF波段的上变频器、噪声放大RF接收信号的放大器和将RF信号下变频到基带的下变频器。通信单元920可以包括调制传输信号并将调制信号传送到发射器的调制器以及解调从接收器输出的信号的解调器。调制器和解调器可以包括WCDMA、GSM、LTE、WIFI或WIBRO方案的调制器和解调器。

终端控制器910控制便携式终端设备的整体操作，并执行语音呼叫和数据通信功能。终端控制器910可以包括通信单元920的调制器和解调器。在这种情况下，通信单元920可以仅包括RF通信单元。在这情况下，终端控制器910可以执行调制/解调和编码/解码通信信号的功能。

音频处理器930可以与便携式终端设备的手持机相连并在终端控制器910的控制下在语音通信期间处理呼叫语音。存储器940可以是其中加载了终端控制器910和AP140的程序的工作存储器。在这种情况下，存储器940可以被配置为RAM。

输入单元170产生便携式终端设备的各种操作命令的数据输入信号并提供给终端控制器910和AP140。具体地，输入单元170可以产生摄像机操作命令和捕获命令并提供给AP140。输入单元170可以在捕获图像时根据用户请求产生请求显示拍摄信息和/或缩略图图像的命令。在终端控制器910和AP140的控制下，显示单元160显示便携式终端的操作和应用执行状态。具体地，根据本公开的实施例，显示单元160在预览模式中显示从AP140输出的显示图像。显示单元160可以显示从AP140输出的拍摄信息和/或缩略图图像。输入单元170可以包括用于检测用户触摸输入的触摸板。显示单元160可以包括LCD或OLED板，用于显示在程序的执行期间产生的数据和图像。输入单元170和显示单元160可以是集成触摸屏。输入单元170可以包括位于摄像机设备外部的按钮。

存储单元150可以包括程序存储器，存储便携式终端设备的操作程序和根据本公开实施例的程序；以及数据存储器，存储用于执行程序的数据和在程序执行期间产生的数据。在一个实施例中，存储单元150可以配置为非易失性存储器，例如快闪存储器。具体地，根据本公开的实施例，存储单元150存储当捕获请求时AP140中的缓冲压缩图像。

具有图9所示配置的便携式终端设备可以执行来电/去电呼叫和通信服务，并根据本公开实施例在摄像机拍摄模式中处理由摄像机110拍摄的图像。当根据便携式终端的加电启动便携式终端时，终端控制器910将存储单元150中的呼叫和通信以及便携式终端设备的操作程序加载到存储器940。当请求执行应用时，AP140将用于控制存储单元150中存储的对应应用的程序加载到存储器940中。因此，当启动系统时，存储器940执行加载便携式终端的操作程序和应用程序的工作存储器功能。AP140可以与终端控制器910共享存储器940，可以独立地配置和使用存储器940。

AP140处理摄像机110的图像处理应用和便携式终端设备的各种应用。为了处理前述各种应用，AP140可以输入传感器120的输出。AP140可以使用传感器120的输出来执行应用，或根据传感器120的输出来控制应用的处理操作。终端控制器910可以输入传感器120的输出，并根据传感器120的输出来执行呼叫、或通信服务，或控制呼叫或通信服务。

在去电呼叫时，用户可以产生去电电话号码和呼叫请求信号。具有检测去电电话号码和呼叫请求信号的终端控制器910控制通信单元920以形成呼叫路径，并通过基站执行去电呼叫功能。如果产生来电呼叫，则终端控制器910检测产生的来电呼叫，并通过音频处理器930产生来电告警，并通过显示单元160显示来电信息。如果用户通过输入单元170进行响应，则终端控制器910通过通信单元920形成来电呼叫路径以执行呼叫服务。数据通信通过类似于呼叫通信的操作来形成通信路径。

便携式终端设备可以执行各种应用。如果用户通过输入单元170请求执行特定应用，AP140执行对应应用并在显示单元160上显示执行结果。如果用户产生摄像机操作请求命令，AP检测产生的摄像机操作请求命令，并通过ISP130操作摄像机110。然后，ISP130针对每一帧处理摄像机110拍摄的图像，以产生显示图像和压缩图像。然后，AP140缓冲针对每一帧产生和接收的显示图像和压缩图像，并在显示单元160上显示显示图像作为预览图像。

如上所述，如果用户通过输入单元170产生移动画面捕获命令以便向AP140发送UHD的YUV图像，则ISP130检测将静止图像压缩编码为JPEG图像的压缩图像以及特定帧的静止图像与对应帧图像之间的运动矢量，并产生通过对运动矢量进行RLC编码获得的运动矢量作为压缩图像。将静止图像编码为JPEG图像的帧可以是N个帧单元中的第一帧，在剩余帧中，将第一帧图像和对应帧图像与对运动矢量进行RLC编码获得的数据之间的运动矢量用作压缩图像。因此，可以显著降低当获取压缩编码帧图像时要发送的数据量，从而ISP130可以向AP140传送UHD的图像。

因此，AP140可以恢复N个帧时段中第一帧的压缩图像作为静止图像，并将使用恢复图像的剩余帧的图像和对应帧的运动矢量恢复为原始帧。如上所述，AP140再次压缩恢复的图像并在存储单元150中存储压缩图像。AP140可以存储摄像机110拍摄的UHD图像作为移动画面。

在根据本公开的摄像机设备或包括摄像机的终端设备中，ISP将从摄像机获取的UHD图像与相邻帧的UHD图像进行比较，并压缩编码和发送压缩结果。AP将压缩编码的图像恢复和编码为移动画面图像，并存储移动画面图像。因此，ISP向AP发送UHD图像，从而可以将从摄像机获取的UHD图像存储为移动画面。

尽管已经参照示例性实施例描述了本发明，但是本领域技术人员可以建议各种改变和修改。在不背离所附权利要求限定的范围的情况下，本公开意欲包括这种改变和修改。

Claims (15)

1.一种便携式终端的图像处理方法，包括：

在拍摄移动画面时从摄像机获取每一帧的帧图像；

将所获取的图像划分并产生为显示图像和压缩图像以发送一帧，并将所述压缩图像配置为与参考帧图像或参考帧图像的压缩图像相对应的帧的运动矢量；

显示所述显示图像，并将压缩图像恢复并压缩为移动画面；并且

存储压缩的移动画面。

2.根据权利要求1所述的方法，其中产生压缩图像包括：

当获取帧图像时，产生每N个帧中的特定帧的图像，作为静止图像的压缩图像；

检测N个帧中剩余帧的图像和所述特定帧的图像，并产生检测到的运动矢量作为压缩图像；并且

按照帧的顺序选择产生的压缩图像。

3.根据权利要求2所述的方法，其中产生运动矢量作为压缩图像包括：

存储第一帧的静止图像作为参考图像；

检测对应帧图像和参考图像的运动矢量；

对检测到的运动矢量进行压缩编码以产生压缩图像。

4.根据权利要求3所述的方法，还包括：

在检测运动矢量之后将检测到的运动矢量与预设大小进行比较；

当检测到的运动矢量大于预设大小时，产生静止图像作为压缩图像。

5.根据权利要求4所述的方法，还包括：当产生静止图像作为压缩图像时，存储对应帧的静止图像作为参考图像。

6.根据权利要求2所述的方法，其中恢复压缩图像包括：

当接收到的压缩图像是每N个帧中的特定帧的图像时，解码压缩图像以产生静止图像；并且当接收到的压缩图像不是特定帧的图像时，将运动矢量应用到解码的静止图像以产生对应帧的图像；并且

按照帧的顺序将产生的帧图像压缩编码为移动画面。

7.根据权利要求2或6所述的方法，其中所述特定帧是每N个帧中的第一帧。

8.根据权利要求7所述的方法，其中使用运动矢量产生帧图像包括：

存储第一帧的解码静止图像作为参考图像；

解码对应帧的压缩编码运动矢量；以及

将解码的运动矢量应用到参考图像以产生对应帧的图像。

9.一种摄像机设备，包括：

摄像机；

图像信号处理器ISP，配置为在拍摄移动画面时从摄像机获取每一帧的帧图像，将所获取的图像划分为显示图像和压缩图像以发送一帧，并将所述压缩图像配置为与参考帧图像或参考帧图像的压缩图像相对应的帧的运动矢量；

应用处理器AP，配置为显示所述显示图像，并将压缩图像恢复并压缩为移动画面；

存储器，配置为存储压缩的移动画面；以及

显示单元，配置为显示所述显示图像。

10.根据权利要求9所述的摄像机设备，其中所述ISP包括：

编码器，配置为当获取帧图像时，将每N个帧中的特定帧的图像编码为静止图像的压缩图像；

运动检测器，配置为检测N个帧中剩余帧的图像和所述特定帧的图像，以产生压缩图像；

选择器，配置为按照帧的顺序选择产生的压缩图像；以及

复用器，配置为将选择的压缩图像复用为显示图像和一帧。

11.根据权利要求10所述的摄像机设备，其中ISP包括：

参考图像存储器，配置为存储第一帧的静止图像作为参考图像；以及

运动编码器，配置为对用于检测对应帧图像和参考图像的运动矢量的运动检测器的输出进行压缩编码以产生压缩图像。

12.根据权利要求10或11所述的摄像机设备，其中，所述AP包括：

压缩解码器，配置为当接收到的压缩图像是每N个帧中的特定帧的图像时，解码压缩图像以产生静止图像；

图像产生器，配置为当接收到的压缩图像不是特定帧的图像时，将运动矢量应用到解码静止图像以产生对应帧的图像；

选择器，配置为按照帧的顺序选择产生的帧图像；以及

移动画面编码器，配置为将选择的帧图像压缩编码为移动画面。

13.根据权利要求10或12所述的摄像机设备，其中所述特定帧是每N个帧中的第一帧。

14.根据权利要求13所述的摄像机设备，其中所述AP包括：

参考图像存储器，配置为存储第一帧的解码静止图像作为参考图像；

运动解码器，配置为解码对应帧的压缩编码运动矢量；

其中，图像产生器配置为将解码的运动矢量应用到参考图像以产生对应帧的图像。

15.根据权利要求12所述的摄像机设备，还包括：

通信单元，配置为执行与外部设备的无线通信；以及

终端控制器，配置为通过通信单元与AP进行通信并控制便携式终端设备的呼叫和通信。

Images