CN103384307A - 图像处理设备和方法 - Google Patents

Abstract

提供了一种图像处理设备和方法，该设备和方法用于调节图像处理器的观看图像输出，图像处理器以时分方式处理运动图像和静止图像。图像处理设备包括：图像处理器，以时分方式处理观看图像和静止图像；时序管理器，临时地存储由图像处理器处理的观看图像并在帧时间段的预设时间输出观看图像；控制器，响应于捕获请求，控制图像处理器在当前帧的剩余部分到下一帧的开始部分处理静止图像，并在下一帧的剩余部分处理缓冲的观看图像，其中，下一帧的剩余部分是在完成处理静止图像之后剩余的部分。

Description

图像处理设备和方法

技术领域

本发明涉及一种相机的图像处理设备和方法。更具体地讲，本发明涉及一种用于调节从图像处理器输出的图像的观看的设备和方法，其中，图像处理器以时分方式处理运动图像和静止图像。

背景技术

相机装置和配备有相机的电子装置能够处理高质量图像并提供各种用户便利功能。现有技术的相机装置配备有图像传感器或相机传感器，图像传感器或相机传感器能够处理全高清晰度(HD)图像或更高分辨率图像。

相机装置在预览模式下显示由相机传感器感测的图像并且响应于快门按钮的按下保存由相机传感器获取的图像。在触发快门和当相机记录照片之间可存在快门延迟或快门滞后(shutter lag)。例如，在当用户按下快门时和当图像处理器完全地处理照片时之间存在时间差，并且这被称为滞后。快门延迟或快门滞后是用户可能没有捕获期望的照片的原因。

另外，现有技术的相机装置限于同时地处理预览图像和静止图像或者同时地处理运动图像和静止图像。在同时地处理运动图像和静止图像的情况下，现有技术的相机装置的图像处理器的有限处理能力可能不能处理静止图像以保证以等于输入帧率的输出帧率输出运动图像。

以上信息被呈现为背景信息以仅帮助对本公开的理解。关于任何以上内容是否可适用于本发明的现有技术还没有确定并且没有断言。

发明内容

本发明的多个方面在于解决至少上述问题和/或缺点并且提供至少以下优点。因此，本发明的一方面在于提供一种用于在相机装置或配备有相机的电子装置中以预定帧率输出处理的运动图像的设备和方法。这里，运动图像可能是预览图像和/或正在录制的运动图像，帧时间段的预设时间可能是延迟达距帧结束时间或帧开始时间预定持续时间的时间。

在同时处理静止图像和运动图像的情况下，图像处理器首先处理并缓冲运动图像，随后处理静止图像，然后在帧时间段的预设时间输出处理的运动图像。如果在下一帧持续时间接收到用于处理静止图像的帧图像，则图像处理器缓冲静止图像，随后在处理静止图像之后处理所述下一帧的运动图像，在帧时间段的预设时间输出处理的运动图像。

根据本发明的一方面，提供了一种图像处理设备。该设备包括：图像处理器，包括：图像缩放器，通过在每帧时间段将由相机产生的图像缩放为观看图像；观看图像缓冲器，缓冲观看图像；静止图像缓冲器，缓冲由相机产生的图像作为静止图像，图像处理器以时分方式处理观看图像和静止图像；时序管理器，临时地存储由图像处理器处理的观看图像并且在帧时间段的预设时间输出观看图像；控制器，响应于捕获请求，控制图像处理器在当前帧的剩余部分到下一帧的开始部分处理静止图像，并在所述下一帧的剩余部分处理缓冲的观看图像，其中，所述下一帧的剩余部分是在完全地处理静止图像之后剩余的部分。

根据本发明的另一方面，提供了一种图像处理方法。该方法包括：在每帧时间段通过将来自相机的图像转换为静止图像和观看图像，缓冲静止图像和观看图像并处理缓冲的观看图像，来处理由相机产生的图像；临时地存储处理的观看图像；在帧时间段的预设时间输出临时存储的观看图像。

从以下公开本发明示例性实施例的结合附图进行的详细描述中，本发明的其他方面、优点和突出特点对于本领域的技术人员将变得清楚，

附图说明

通过下面结合附图进行的以下描述，本发明的特定示例性实施例的以上和其他方面、特点和优点将会变得更加清楚，其中：

图1是示出根据本发明的示例性实施例的相机装置的配置的框图；

图2A和2B是示出根据本发明的示例性实施例的图像处理器(诸如图1的图像处理器)的示例性配置的框图；

图3A和3B是示出根据本发明的示例性实施例的图像处理器(诸如图1的图像处理器)的其他示例性配置的框图；

图4是示出根据本发明的示例性实施例的处理运动图像和静止图像的图像处理器的框图；

图5是示出根据本发明的示例性实施例的图像处理器(诸如图4的图像处理器)的操作时序的时序图；

图6是示出根据本发明的示例性实施例的图像处理器(诸如图4的图像处理器)的操作时序的时序图；

图7是示出根据本发明的示例性实施例的图像处理器(诸如图4的图像处理器)的操作时序的时序图；

图8是示出根据本发明的示例性实施例的图像处理器(诸如图4的图像处理器)的操作时序的时序图；

图9是示出根据本发明的示例性实施例的相机装置或配备有相机的电子装置的图像处理方法的流程图；

图10是示出根据本发明的示例性实施例的在图像处理器的运动图像处理模式下观看图像处理过程的流程图；

图11是示出根据本发明的示例性实施例的在图像处理方法中处理运动图像和静止图像的过程的流程图；

图12是示出根据本发明的示例性实施例的控制图像处理器的观看图像输出时序的过程的流程图；

图13是示出根据本发明的示例性实施例的在运动图像处理器中在处理运动图像中输出观看图像的过程的流程图；

图14是示出根据本发明的示例性实施例的当图像处理器以时分方式处理运动图像和静止图像时输出观看图像的过程的流程图。

贯穿附图，应该注意类似的标号用于描述相同或类似的元件、特征和结构。

具体实施方式

提供参照附图进行的以下描述以帮助对由权利要求及其等同物限定的本发明的示例性实施例的全面理解。包括各种特定细节以帮助理解，但是这些仅被视作示例性的。因此，本领域的普通技术人员将认识到，在不脱离本发明的范围和精神的情况下，可做出对这里描述的实施例的各种改变和修改。此外，为了清楚和简明，可省略对公知功能和构造的描述。

在以下描述和权利要求中使用的术语和词语不限于字面含义，而是仅由发明人使用来实现对本发明的清楚和一致理解。因此，本领域的技术人员应该清楚的是，仅为了示出目的并且不是为了限制由权利要求及其等同物限定本发明的目的，来提供本发明的示例性实施例的以下描述。

将理解，单数形式包括复数形式，除非上下文清楚地另有说明。因此，例如，对“组件接口”的提及包括对一个或多个这种接口的提及。

根据本发明的示例性实施例的相机装置或配备有相机的电子装置的图像处理器在相机操作模式下(例如，预览模式)处理由相机输出的每帧图像，以产生作为预览图像或运动图像(以下称为运动图像或观看图像)的图像、将存储为静止图像(以下称为捕获图像)的另一图像。这里，观看图像具有等于或小于捕获图像的大小。在这种情况下，相机装置在每帧从相机获取图像，并在缓冲将存储为静止图像的相机全分辨率图像的同时将获取的图像转换为作为预览图像的被显示在显示器上的观看图像。如果在此状态下输入捕获请求，那么相机装置从缓冲的多个帧图像中选择在检测到捕获请求时的帧图像(该帧图像是具有零快门滞后的帧图像)，并对选择的帧图像压缩编码，该编码的图像被存储为捕获图像。

一般，相机装置具有在用户按下快门时和相机捕获图像时之间的快门滞后。根据本发明的示例性实施例的相机装置设置有用于与观看图像分离地存储相机全分辨率图像的缓冲器，并且在相机正在工作时缓冲全分辨率图像。相机装置在拍摄请求时序选择并处理缓冲的帧图像之一以实现零快门滞后。在本发明的示例性实施例中，缓冲器可被配置为存储预定数量的帧图像并且该缓冲器可足够大以在大小上补偿快门滞后。一般，快门滞后可能是大约2帧时间段的时间长度。因此，最好将缓冲窗口配置为小于5帧。

根据本发明的示例性实施例的图像处理器以时分方式处理观看图像和静止图像。在运动图像处理模式(例如，预览模式或运动图像录制模式)下，图像处理器建立运动图像处理路径。在捕获模式下，图像处理器首先建立用于处理运动图像的观看图像处理路径，随后在该帧的剩余部分期间建立用于处理静止图像的静止图像处理路径。此时，可用相机的先进图像传感器来获取作为高像素图像的静止图像。

在相机输出高像素图像的情况下，图像处理器可能不会在一个帧时间段处理运动图像和静止图像两者。为了克服此问题，根据本发明的示例性实施例的图像处理器缓冲在运动图像处理模式下处理的观看图像，并且随后在帧时间段的预设时间期间(例如帧尾或接近帧尾的时间)输出。甚至在两个连续帧中的静止图像被处理(在处理静止图像之后下一帧的观看图像被处理)的情况下，将当前观看图像输出时间与先前帧观看图像输出时间匹配。例如，根据本发明的示例性实施例的图像处理器在同时处理运动图像和静止图像的情况下，首先在帧时间段中处理运动图像，在该帧的剩余部分以及在下一帧的开始连续地处理静止图像，随后在下一帧时间段的剩余部分处理运动图像。

例如，根据本发明的示例性实施例的图像处理器在运动图像和静止图像必须被处理的帧时间段中，首先在帧的开始处理运动图像，在该帧的剩余部分和下一帧的开始处理静止图像，并且在完成处理静止图像之后在所述下一帧的剩余部分处理运动图像。

在以下描述中，术语“全分辨率图像”表示由相机输出的没有被缩放的状态的图像。术语“观看图像”表示在预览模式下显示在显示单元或者能够在被缩放为预定大小或分辨率的状态下被存储为运动图像的图像。从观看图像得到的预览图像和运动图像可具有相同的大小和分辨率。术语“捕获图像”表示可能被存储为静止图像的图像并且可能是相机全分辨率图像或者缩放为预定大小的图像。在本发明的示例性实施例中，在假设捕获图像是相机全分辨率图像的情况下进行描述。

术语“图像缩放”表示将全分辨率图像调整为预定大小或分辨率。在本发明的示例性实施例中，可通过调整大小处理和/或求和和平均处理来实现图像缩放。这里，调整大小是用于通过抽取、插值和/或修剪来调整图像大小的方法。求和和平均处理是用于通过将相邻像素渲染为一个像素来调整像素的数量的方法，并且之后可跟随抽取、插值和/或修剪。

图1是示出根据本发明的示例性实施例的相机装置的配置的框图。

参照图1，相机110在相机驱动模式下通过内部传感器来拍摄图像。相机110包括光学单元(未显示)、图像传感器(未显示)和信号处理器(未显示)。光学单元由机械快门(未显示)、发动机(未显示)和激励器(未显示)驱动，具体地讲，用激励器执行缩放和聚焦操作。光学单元拍摄图像，并且图像传感器将由光学单元拍摄的图像转换为电子信号。这里，图像传感器可以是高清晰度图像触感器(诸如，互补金属氧化物半导体(CMOS)或电荷耦合装置(CCD)传感器)。图像传感器可包括全局快门。全局快门能够执行与嵌入传感器中的机械快门的功能类似的功能。

在本发明的示例性实施例，图像传感器可以是能够感测超高清晰度(UHD)或更高分辨率图像的传感器。由信号处理器将由图像传感器感测的图像转换为数字图像。由相机10输出的数据可以是Bayer数据、原始数据或任何其他类似和/或合适类型的数据。

控制单元100控制相机装置的总体操作。特别在本发明的示例性实施例中，控制单元100控制图像处理器200以时分方式处理观看图像和捕获图像。控制单元100控制图像处理器200处理预览模式下的观看图像和用于显示的观看图像以及捕获模式下用于录制的捕获图像。

在预览模式和运动图像录制模式下，图像处理器200将由相机110拍摄的图像转换为观看图像。图像处理器200在当前帧时间段的开始处理观看图像，在当前帧的剩余部分和下一帧的开始处理静止图像，并且在完成静止图像处理之后处理所述下一帧的观看图像。

时序管理器170临时地存储由图像处理器200处理的观看图像，并在该帧时间段的预设时间输出该临时存储的观看图像。时序管理器170能够在每帧时间段的预设时间输出观看图像。这里，时序管理器170可以是缓冲器，帧时间段的预设时间可以是帧尾部分或接近帧尾的部分。

静止图像编解码器190对由图像处理器200输出的静止图像进行编码和压缩。该压缩的图像被存储在存储单元120中。这里，静止图像编解码器可以是JPEG编解码器。观看图像可被用于存储运动图像。如果检测到运动图像拍摄请求，则运动图像编解码器180将由图像处理器200输出的观看图像编码为被存储在存储单元120中的运动图像。这里，运动图像可与观看图像的大小相同。观看图像可具有的像素的数量大于预览图像的像素数量。在这种情况下，图像处理器200可包括预览图像缩放器和运动图像缩放器或者能够调整缩放比率的公共图像缩放器。如果请求运动图像录制，则控制单元100控制图像处理器200将图像缩放为运动观看图像的大小，从而图像处理器200将相机全分辨率图像缩放为运动图像大小。可采用各种运动图像编解码器(诸如H.264编解码器或任何其他类似和/或合适的编解码器)来执行运动图像编码。

存储单元120是用于存储通过处理图像而获取的静止图像和运动图像。显示单元130显示由时序管理器170在显示时间调整输出的观看图像。显示单元130可以是任何液晶显示器(LCD)、有机发光二极管(OLED)显示器或任何其他类似和/或合适类型的显示装置或单元。输入单元140设置有多个键，该多个键能够产生用于配置和执行相机装置的各种功能的命令。这里，输入单元140的键可以以呈现在包括在相机装置的触摸面板上的按钮和虚拟键的形式设置在相机装置的外面。显示单元130和输入单元140可被集成为触摸屏。

控制单元100根据通过输入单元140输入的控制命令来控制相机装置的操作。如果通过输入单元140输入相机驱动命令，则控制单元100控制相机110和图像处理器200工作在预览模式下。如果通过输入单元140输入捕获请求，则控制单元100从静止图像缓冲器250中选择当输入捕获请求时拍摄的全分辨率图像，并且以时分方式控制复用器270和解复用器280(见图3A和3B)，从而在选择的全分辨率图像被编码以被存储在存储单元120中的同时，观看图像被显示在显示单元130的屏幕上。在预览模式或运动图像录制模式下，控制单元100控制图像处理器200处理观看图像，处理的观看图像被临时存储在时序管理器170中。然后，控制单元控制时序管理器170在相应帧时间段的预设时间输出临时存储的观看图像。在捕获模式下，控制单元100控制图像处理器200在当前帧的开始部分处理观看图像并将处理的观看图像临时存储在时序管理器170中，并在当前帧的剩余部分和下一帧的开始部分连续地处理静止图像。一旦静止图像处理完成，控制单元100控制图像处理器200处理所述下一帧的观看图像，处理的观看图像被临时存储在时序管理器170中，并且控制时序管理器170在该帧时间段的预设时间输出该观看图像。

根据本发明的示例性实施例的图像处理器控制在每帧时间段的预设时间(例如，在帧时间段的结尾部分和接近结尾的部分)显示观看图像，从而甚至当静止图像处理时间延长时调节显示操作。

图2A、2B、3A和3B是示出根据本发明的示例性实施例的图像处理器(诸如图1的图像处理器)的配置的框图。

参照图2A，预处理器210预处理从相机110获取的图像。预处理功能包括以下功能中的至少一个：自动白平衡(AWB)、自动曝光(AE)、自动聚焦(AF)、提取和处理、镜头阴影校正、坏像素校正、膝校正(knee correction)和其他类似和/或合适的预处理功能。

图像缩放器220负责将相机全分辨率图像缩放为用于显示在显示单元130的屏幕上的观看图像大小和/或用于被录制的运动图像的运动图像大小。观看图像缓冲器230缓冲从图像缩放器220输出的观看图像。这里，观看图像缓冲器230负责在帧时间段内校正用于处理观看图像的时间。

静止图像缓冲器250缓冲从预处理器210输出的相机全分辨率图像。这里，静止图像缓冲器250被配置为环状缓冲器结构的足够大的大小来存储多个帧图像，这些帧图像能够补偿相机装置的快门滞后(例如等于或小于5个帧图像)。静止图像缓冲器250在每帧缓冲从预处理器210输出的全分辨率图像，并且如果请求全分辨率图像，则在控制单元100的控制下从缓冲器选择图像。

后处理器240接收由观看图像缓冲器230和/或静止图像缓冲器250以时分方式输出的观看图像，并对输入图像执行颜色插值、降噪、颜色校正和图像转换以产生YUV数据。后处理器240可包括颜色插值器(未显示)、图像处理链(IPC)(未显示)和图像转换器(未显示)。颜色插值器负责用于将Bayer数据转换为颜色图像的颜色插值。如上所述，相机110的图像传感器可以是CCD或CMOS图像传感器。CCD/CMOS图像传感器可使用颜色滤波阵列，并且每个颜色传感器具有用于产生颜色图像的三个颜色通道之一。颜色插值器负责将从相机110输出的图像的多个像素转换为作为像素的三种颜色的颜色RGB，这可以是全颜色转换。颜色插值器负责基于相邻像素的相关性的颜色插值功能。基本上，颜色插值之前的处理被称为预处理，颜色插值之后的处理被称为后处理。IPC执行降噪、伽马校正和亮度校正。图像转换器将后处理的原始数据或Bayer数据转换为YUV数据。例如，后处理器240对预处理的图像执行颜色插值并将后处理的图像转换为YUV图像。

解析器260将后处理的图像解析为观看图像和/或静止图像。解析器260在预览模式下将来自后处理器240的图像输出给显示单元，并且在捕获模式下将后处理器240的输出解析为观看图像和静止图像，从而观看图像被输出到显示单元130而捕获图像被输出到静止图像编解码器。可以以软件或硬件来实现解析器260。在软件解析器的情况下，控制单元100控制观看图像缓冲器230和静止图像缓冲器250从后处理器240选择图像并且控制解析器260在每帧时间段解析观看图像和静止图像。在硬件解析器的情况下，解复用器可被使用，从而控制单元100控制解复用器将观看图像和静止图像分别输出到显示单元130和静止图像编解码器190。

静止图像编解码器190对从解析器260输出的捕获图像进行编码以被压缩，该压缩的捕获图像被存储在存储单元120中。这里，静止图像编解码器190可以是联合图像专家组(JPEG)编解码器或用于图像的任何其他类似和/或合适的编解码器。在运动图像录制模式下，在控制单元100的控制下，由解析器260解析的观看图像被提供给运动图像编解码器180以及显示单元130，从而运动图像编解码器180将观看图像作为压缩的图像存储在存储单元120中。

对以上结构的图像处理器的操作进行描述。如果用户将相机驱动命令输入到输入单元140，则控制单元100驱动相机。由相机110拍摄的图像可以是被输入到预处理器210的相机全分辨率Bayer图像。预处理器210在控制单元100的控制下在每帧时间段产生帧图像。这里，帧率可以是每秒30帧(fps)或更高，例如60fps。预处理器210对帧图像执行AWB、AE、AF提取、镜头阴影校正、坏像素校正、膝校正等。预处理的图像仍然是全分辨率图像并且供应给图像缩放器220和缓冲器250。

图像缩放器220将全分辨率图像进行缩放以适合显示单元130的屏幕大小。这里，可采用调整大小、抽取、插值、修剪以及求和和平均中的至少一个来执行图像缩放。图像缩放减少相机全分辨率图像的像素的数量以适合显示单元130的宽高比。这里，可以以各种缩放比率来执行图像缩放。

可用大小调整器和/或求和平均单元来实现图像缩放器220。在用大小调整器实现图像缩放器200的情况下，大小调整器调整全分辨率图像的大小以在量和大小上适合显示单元130。此时，可采用抽取、插值和修剪中的至少一个来执行调整大小。在采用求和平均单元来实现图像缩放器220的情况下，求和平均单元对图像的相邻像素执行求和和平均以减小图像的像素的数量。求和平均单元将从预处理器210输出的全分辨率图像中的相邻像素平均以减小观看图像的像素的数量。求和平均单元能够通过pseudo-Foveon方法来增强信噪比和分辨率。从相机110输出的图像的颜色被组成图案，从而四个相邻像素包括一个R像素、一个B像素和两个G像素。通过将四个像素平均为一个像素，可以以4:1的比率来缩放图像。在本发明的示例性实施例中，在假设求和平均单元将四个像素求和并平均为一个像素的情况下来进行描述。在本发明的示例性实施例中，求和平均单元将两个G像素求和并平均为一个G像素，并将平均的G、R和B像素处理为一个像素。例如，像素G11、B12、R21和G22被处理为R=R21,B=B12,G=(G11+G22)/2，以成为具有RGB值的像素。通过平均操作以及颜色插值，四个像素被集成为一个像素。通过像素平均，可将四个像素缩减为一个像素。此时，像素被颜色插值。然而，本发明不限于此，并且任何合适的和/或类似数量的像素可被组合为一个像素。

图像缩放的像素被缓冲在观看图像缓冲器230中。然而，观看图像缓冲器230负责调整观看图像的图像处理时序。在捕获模式下，观看图像缓冲器230缓冲下一帧的观看图像，直到静止图像被完全处理。

静止图像缓冲器250在每个帧时间段缓冲从预处理器210输出的全分辨率图像。此时，静止图像缓冲器250可被配置为具有能够缓冲预定数量的帧图像的环状缓冲器结构。例如，静止图像缓冲器250可被实现为N元素环状缓冲器结构以在每个帧时间段缓冲从预处理器210输出的帧图像数据。帧图像数据从其第一元素被缓冲在环状缓冲器中，如果缓冲器满，则用新的帧图像来覆写最旧的帧图像数据。这里，N可被设置为等于或小于5的值，在这种情况下，最好将静止图像缓冲器250配置为能够缓冲5个或更少图像数据的5元素环状缓冲器。假设快门延迟或快门滞后等于2帧，则静止图像缓冲器250可被配置为能够缓冲3个帧图像的3元素环状缓冲器，从而N=3。

在每帧从相机110获取的图像在观看图像缓冲器230中作为观看图像被缓冲，在静止图像缓冲器250中作为静止图像被缓冲。控制单元100控制在观看图像缓冲器230和静止图像缓冲器250中缓冲的图像在帧时间段内以时分方式被输出。

以下对预览模式操作和/或运动图像录制模式操作进行描述。

如上所述，在每帧由相机拍摄的图像被预处理并且随后被缩放以被产生为观看图像。观看图像缓冲器230缓冲观看图像，静止图像缓冲器250缓冲静止图像。控制单元100将缓冲的观看图像在帧的开始部分读出到后处理器240。后处理器240对观看图像执行颜色插值、IPC和图像转换以产生YUC图像。在将求和平均单元用于图像缩放的情况下，后处理器240的颜色插值器通过跳过对于像素数据的全颜色转换来仅执行颜色插值功能。由后处理器240处理的观看图像从解析器260输出到时序管理器170并且临时存储在其中。控制单元100在帧时间段的预设时间(例如，帧的尾部)将临时存储在时序管理器170中的观看图像读出到显示单元和存储单元120。根据本发明的示例性实施例的图像处理器在帧的开始部分处理观看图像并在延迟达距帧时间段预定持续时间的时间或在帧的结束时间将处理的图像发送给显示单元130和/或存储单元120。在帧的结尾部分或接近于帧的结尾处理观看图像的原因在于在捕获模式下处理静止图像。

以下对捕获模式操作进行描述。

如果用户在预览模式或运动图像录制模式下将静止图像拍摄或捕获请求输入到输入单元140，那么控制单元100从缓冲在静止图像缓冲器250中的帧图像中选择具有零快门滞后的帧图像。控制单元100在捕获模式下选择存储在观看图像缓冲器230中的观看图像，并在当前帧时间段的开始部分将选择的图像发送给后处理器240，并控制从解析器260输出的图像发送给时序管理器170。由后处理器240处理的观看图像通过解析器260被临时存储在时序管理器170中。然而，控制单元100从静止图像缓冲器250中选择零快门滞后帧图像并在当前帧的剩余部分将选择的图像发送给后处理器240。后处理器240处理输入的静止图像。

此时，静止图像可以是相机全分辨率图像或者在大小上小于相机全分辨率图像。处理大大小的静止图像花费更多时间。在这种情况下，静止图像处理时间可能比帧时间段更长。因此，如果在当前帧时间段中存在这样的时间，即在从帧开始时间过去的时间或者在结束时间点，到达处理静止图像的中间，则控制单元100将存储在时序管理器170中的观看图像发送给显示单元130和运动图像编解码器180。如果在处理静止图像的中间产生下一帧的观看图像，则控制单元100将观看图像缓冲在观看图像缓冲器230中。在这种状态下，后处理器240可能正在处理先前帧的静止图像。如果静止图像被完全处理，则控制单元100将在观看图像缓冲器230中缓冲的下一帧观看图像读出到后处理器240并控制解析器260将后处理的图像传递给时序管理器260。在控制单元100的控制下，由后处理器240处理的下一帧观看图像通过解析器260被发送给时序管理器170，并且存储在时序管理器170中的观看图像在帧时间段的预设时间被读出到显示单元130和运动图像编解码器180。

在静止图像太大不能在一个帧时间段内处理的情况下，可跨过两个帧处理静止图像。在这种情况下，图像处理器首先在检测到捕获请求的帧时间段中处理观看图像，在将下一帧的观看图像缓冲在观看图像缓冲器230中的同时在该帧的剩余部分并且在所述下一帧的开始部分连续地处理静止图像，并在完成静止图像处理时处理缓冲的观看图像。此时，时序管理器170临时地存储处理的观看图像，并在帧时间段的预设时间输出观看图像，从而甚至当同时处理静止图像时观看图像也在恒定时序被显示在显示单元130的屏幕上。因此，当在预览状态或运动图像拍摄状态下输入捕获命令时，可在每帧显示观看图像，并且甚至当图像处理时间改变时，观看图像也可在帧内在相同时序被恒定地显示。

参照图2B，图像缩放器220将从相机110输出的全分辨率图像调整为适合显示单元130的观看图像大小和/或用于存储为运动图像的运动图像大小。观看图像缓冲器230缓冲从图像缩放器220输出的观看图像。这里，观看图像缓冲器230在帧时间段内调整用于处理观看图像的时间。

静止图像缓冲器250缓冲从相机110输出的全分辨率图像。这里，缓冲器250可被配置为环状缓冲器结构的能够缓冲多个帧图像的足够大大小，来补偿相机装置的快门滞后。在控制单元100的控制下，缓冲器250在每帧缓冲从预处理器210输出的全分辨率图像，并从缓冲的图像中读出零快门滞后图像作为静止图像。

预处理器210接收从观看缓冲器230和/或静止图像缓冲器250以时分方式输出的观看图像和/或静止图像，并预处理这些图像。控制单元100控制在预览模式和/或运动图像录制模式下将在观看图像缓冲器230中缓冲的观看图像传送给预处理器210，并控制在捕获模式(例如快照模式)下在帧时间段内以时分方式将在观看图像缓冲器230和静止图像缓冲器250中缓冲的图像传送给预处理器210。预处理器210能够执行AWB、AE、AF提取和处理、镜头阴影校正、坏像素校正、膝校正等。后处理器240执行颜色插值、降噪、颜色校正和图像转换以产生YUV数据。

解析器260将由后处理器处理的图像解析为观看图像和/或静止图像。解析器260在预览模式下将后处理器240的输出传送给显示单元130，并在捕获模式下将后处理器240的输出解析为观看图像和捕获图像，观看图像被传动到显示单元130，捕获图像被传送到静止图像编解码器260。解析器260可被实现为软件解析器或硬件解析器。在软件解析器的情况下，控制单元100控制观看图像缓冲器230和静止图像缓冲器250在每帧时间段选择图像以被输出到后处理器240，并且控制解析器260将从后处理器240输出的图像解析为观看图像和静止图像。在硬件解析器的情况下，其可被实现为解复用器，从而控制单元100控制解复用器将观看图像输出到显示单元130，将静止图像输出到静止图像编解码器190。

静止图像编解码器190对从解析器260输出的捕获图像进行编码以被压缩，压缩的图像被存储在存储单元120中。这里，静止图像编解码器190可以是JPEG格式编解码器或者用于图像的任何其他类似和/或合适的编解码器。在运动图像录制模式下，在控制单元100的控制下，由解析器260解析的观看图像被同时提供给显示单元130和运动图像编解码器180，从而运动图像编解码器180对观看图像压缩编码并将压缩的运动图像存储在存储单元120中。运动图像编解码器180可以是H.264编解码器或任何其他类似和/或合适的运动图像编解码器。

在如图2B所示配置的图像处理器中，相机110的输出被提供给图像缩放器220和静止图像缓冲器250，并且预处理器210以时分方式处理观看图像缓冲器230和静止图像缓冲器250的输出。图2B的其他配置组件与图2A的配置组件相同，组件的操作也与图2A的组件的操作相同。

参照图3A，预处理器210预处理从相机110获取的图像。图像缩放器220将从预处理器210输出的相机全分辨率图像缩放为将适合显示单元130的屏幕的大小和/或用于存储运动图像的图像大小。观看图像缓冲器230缓冲由图像缩放器220输出的观看图像。静止图像缓冲器250缓冲从预处理器210输出的相机全分辨率图像。这里，静止图像缓冲器250可被配置为环状缓冲器结构的具有足够大大小以缓冲能够补偿相机装置的快门滞后的帧图像。

在控制单元100的控制下，复用器270复用从观看图像缓冲器230和静止图像缓冲器250输出的图像。后处理器240对由复用器270复用的图像执行颜色插值、降噪、颜色校正和图像转换，以产生YUC数据。解复用器280将后处理器240的输出解复用为观看图像和/或静止图像。解复用器280在预览模式下将后处理器240的输出提供给显示单元130，并且在捕获模式下将后处理器240的输出解复用为观看图像和静止图像，以将观看图像输出给显示单元130并将捕获图像输出给静止图像编解码器260。

如图3A所示配置的图像处理器200包括复用器270和解复用器280以建立观看图像处理路径和静止图像处理路径，其他包括的组件和其操作与图2A相同。以下对如图3A所示配置的图像处理器200进行描述。在预览模式下，控制单元100将控制信号发送给复用器270以选择图像缩放器220的输出，并控制解复用器280将后处理器240的输出提供给显示单元130。在这种情况下，后处理器240可被配置为处理具有观看图像大小的图像。

在预览模式下，由相机110拍摄的图像是全分辨率图像，并且预处理器210预处理相机全分辨率图像并在每帧将处理的图像输出到图像缩放器220和静止图像缓冲器250。图像缩放器220将全分辨率图像缩放为观看图像，并且观看图像缓冲器230缓冲该观看图像。静止图像缓冲器250缓冲从预处理器210输出的达预定数量的相机全分辨率图像。在控制单元100的控制下，复用器270选择观看图像缓冲器230的输出，解复用器280选择后处理器240的输出。例如，控制单元100控制复用器270和解复用器280在预览模式下建立预览图像处理路径而非捕获图像处理路径。

如上所述，图像处理器控制复用器270和解复用器280在预览模式或运动图像录制模式下建立观看图像处理路径，从而预处理器210、图像缩放器220、观看图像缓冲器230和后处理器240操作以在每帧将由相机110拍摄的图像处理为将显示在显示单元130上的图像，同时全分辨率图像被缓冲在静止图像缓冲器250中。此时，观看图像处于缩减状态，同时高分辨率图像仅被缓冲用于捕获，并且相机装置处于相对低功耗和热产生的操作状态。

一般，由于快门延迟，相机拍摄从呈现在取景器或显示单元130上的图像的时间延迟特定数量的帧的图像。例如，在触发快门和当相机实际录制图像之间存在延迟(诸如快门滞后或时间滞后）。时间延迟根据相机可变，并且控制单元100应该知道统计地获取的延迟时间。根据本发明的示例性实施例，相机装置通过确定快门滞后来缓冲由相机110获取的图像，并且从缓冲的图像中选择在当快门被触发时拍摄的帧图像作为捕获图像，从而引起零快门滞后。

如果在预览模式或运动图像录制模式下通过输入单元140输入捕获请求，则控制单元100检测快门按压时间并通过确定预设延迟时间来选择在静止图像缓冲器250中缓冲的图像之一作为捕获图像。控制单元100控制复用器270和解复用器280来建立观看图像处理路径和捕获图像处理路径。例如，控制单元100控制复用器270和解复用器280来建立观看图像处理路径并且随后依次建立捕获图像处理路径。由于捕获图像或静止图像是高像素数据，因此不可能在一个帧时间段内被处理。

在静止图像太大以致不能在一个帧时间段内被处理的情况下，根据本发明的示例性实施例的方法跨越两帧来处理图像。在这种情况下，控制单元100控制复用器270和解复用器280来首先建立观看图像处理路径并且随后在该帧时间段的剩余部分建立捕获图像处理路径。捕获图像处理路径被维持在下一帧的开始部分，从而由图像缩放器220产生的下一帧图像被缓冲在观看图像缓冲器230中。一旦静止图像处理已经完成，控制单元100控制复用器270和解复用器280建立观看图像处理路径，从而被缓冲在观看图像缓冲器230中的观看图像被输出。通过建立的观看图像处理路径来处理下一帧观看图像。

此时，从解复用器280输出的观看图像被临时存储在时序管理器170中，并且随后在帧时间段的预设时间输出。如前所述，本部分可位于该帧的结尾或者接近该帧的结尾。因此，甚至当图像处理器200的观看图像处理时间改变时，通过时序管理器170来调整观看图像输出时序，从而观看图像被显示在该帧的恒定时间位置。

在捕获模式下，控制单元100控制复用器270在当前帧时间段的开始选择缓冲在观看图像缓冲器230中的观看图像，并且将选择的观看图像提供给后处理器240和解复用器280以将处理的观看图像输出给时序管理器170。因此，在观看图像缓冲器230中缓冲的观看图像通过复用器270被提供给后处理器240，以便被后处理器240处理并且随后经由解复用器280被传送到时序管理器170，观看图像被临时存储在时序管理器170中。

然后，控制单元100在已经发生捕获请求的帧的剩余部分控制复用器270建立捕获图像处理路径，以将从静止图像缓冲器250选择的零快门滞后帧图像传送给后处理器240，从而后处理器240处理该零快门滞后静止图像。此时，静止图像可能是相机全分辨率图像，并且在这种情况下，静止图像处理时间可能长于帧时间段。在控制单元100控制复用器270和解复用器280在下一帧维持捕获图像处理路径。如果预设时间(预设时间是从帧的开始时间延迟达预定持续时间的时间点或结束时间点）到达在处理静止图像的中间的当前帧内，则控制单元100控制将临时存储在时序管理器170中的观看图像提供给显示单元130和运动图像编解码器180。

如果在处理静止图像的中间产生下一帧观看图像，则控制单元100控制将观看图像缓冲在观看图像缓冲器230中。在这种情况下，后处理器240可处于处理先前帧静止图像的状态下。如果静止图像处理已经完成，则控制单元100控制复用器270和解复用器280建立观看图像处理路径，以将缓冲在观看图像缓冲器230中的下一帧观看图像读出到后处理器240，并且将后处理器240的输出提供给时序管理器170。在控制单元100的控制下，由后处理器240处理的下一帧观看图像经由解复用器280传送给时序管理器170，并且存储在时序管理器170中的观看图像在帧时间段的预设时间被访问并输入到显示单元130和运动图像编解码器180。

参照图3B，图像缩放器220调整从相机110输出的全分辨率图像以适合显示单元130的屏幕大小和/或将被存储为运动图像的图像的大小。观看图像缓冲器230缓冲从图像缩放器220输出的观看图像。这里，观看图像缓冲器230负责在帧时间段内调整处理观看图像的时间。

静止图像缓冲器250缓冲从相机110输出的全分辨率图像。这里，缓冲器250可被形成为能够缓冲预定数量的帧图像的环状缓冲器结构。缓冲器250在每帧缓冲从预处理器210输出的全分辨率图像，如果捕获请求被检测到，则在控制单元100的控制下将缓冲的图像中选择的零快门滞后图像输出为静止图像。

复用器270在控制单元100的控制下复用观看图像缓冲器230和静止图像缓冲器250的输出。预处理器210预处理由复用器270复用的图像。后处理器240对预处理的图像执行颜色插值、降噪、颜色校正和图像转换以产生YUV数据。解复用器280将由后处理器240后处理的图像解复用为观看图像和/或静止图像。解调器280在预览模式下将后处理器240的输出提供给显示单元130，并在捕获模式下将后处理器240的输出解复用为观看图像和静止图像，从而观看图像被提供给运动图像编解码器180并将捕获图像提供给静止图像编解码器190。

如图3B所示配置的图像处理器将相机110的输出同时提供给图像缩放器220和静止图像复用器250，并且预处理器210被配置为以时分方式处理观看图像缓冲器230和静止图像缓冲器250的输出。图3B的图像处理器的其他组件与图3A的组件相同，并且各个组件的操作也与图3A的图像处理器的组件的操作相同。

图4是示出根据本发明的示例性实施例的处理运动图像和静止图像的图像处理器的框图。图5至图8是示出图像处理器(诸如图4的图像处理器）的操作时序的时序图。

参照图4至图8，根据本发明的示例性实施例的图像处理器在处理运动图像的中间存储静止图像，从而观看图像被控制以适应运动图像流被显示。例如，本发明示例性实施例提出了一种用于通过控制以时分方式处理运动图像和静止图像的图像处理器在帧时间段的预设时间输出运动图像，从而在每帧稳定地显示并存储运动图像的方法。

参照图4，图像处理器200能够如图2A、2B、3A和3B中的任何一个所示被配置。在图4中，时间监视器1(TM1)、时间监视器2(TM2)和时间控制器(TC)表示定时器。TM1指示运动图像流被输入图像处理器200的时间，TM2指示在图像处理器200中处理的时间延迟，用于存储器读取的TC指示处理的运动图像被最终输出的时间。可用缓冲器来实现时序管理器170，在假设时序管理器170被实现为能够临时地存储三个帧的环状缓冲器结构的情况下来描述图4。大小调整器1410和大小调整器2420负责将图像大小调整为运动图像录制大小和观看图像大小。

图5是示出根据本发明的示例性实施例的当相机以规则时间间隔产生运动图像流时的图像处理器的操作时序的时序图。

按照由标号511所示的垂直同步信号v-sync，由相机110产生的运动图像流被输入到图像处理器200，由标号513所示。此时，由标号513表示的以规则间隔输入到图像处理器200的视频流以达到由标号517表示的图像处理时间"δ"的延迟输入到时序管理器170。在运动图像和静止图像必须被处理的帧(诸如图5中的帧D)的情况下，图像处理器200可能不能处理静止图像。在这种情况下，图像处理器200可跨越D帧时间段到下一帧E(具有达"δ+α"的延迟）处理视频流。如果以这种方式处理的视频流被显示或者由运动图像编解码器180压缩以回放，则运动图像被不规则地产生。为了克服这种问题，根据本发明的示例性实施例的方法在图像处理器200中以与由标号511表示的V_sync同步的时间TM1记录将由标号513表示的由相机110输出的图像，并在在由标号517表示的与V_sync同步的时间TM2显示由图像处理器200输出的图像。由标号517表示的由图像处理器200输出的视频流被存储在时序管理器170(即，环状缓冲器）中，并且通过在时序管理器170中确定写入时间和读取时间Δ1和Δ2，被显示在显示单元130上或者由运动图像编解码器180编码。例如，通过控制在时序管理器170中缓冲的视频流的读取时间，视频流被调节为在每帧时间段的预设时间输出。

此时，根据以下情况来处理TC：

如果帧率是规则的，则TC=TM1+Δ1；

或者，TC=TM2+Δ2+K，

其中，如果仅视频流被处理，则K=TM2‐TM1=δ，

如果视频流和静止图像被一起处理，则K=δ‐α。

因此，如果在处理运动图像的中间(图5中的帧D）存储静止图像，则图像处理器200从相机110接收图像(如标号531所示)，并且产生帧D观看图像(如标号541所示)，并将观看图像缓冲在观看图像缓冲器230中。控制单元100将观看图像提供给图像处理器200(图像处理器200可在图2A中包括后处理器而在图2B中包括预处理器和后处理器），以执行图像处理操作，并将处理的图像缓冲在时序管理器170中（如标号551所示）。静止图像缓冲器250缓冲静止图像（如标号531所示），并且控制单元100响应于拍摄情况来将静止图像(即零快门滞后图像）提供给图像处理器200。图像处理器200处理静止图像(如标号553所示)。此时，图像处理器200占用帧D时间段和帧E时间段的时间资源，以处理静止图像。这里，用于静止图像处理的E帧占用时间是(δ+α)。

在这种情况下，在帧的观看图像输出时间，控制单元100将缓冲在时序管理器170中的观看图像读取到显示单元130和运动图像编解码器180。图像处理器200能够在处理静止图像的中间在正常输出时间显示相应帧的观看图像。在帧E时间段产生的图像（由标号535表示）可由图像处理器200产生为观看图像(如标号545所示)，并且被缓冲在观看图像缓冲器230中。一旦静止图像处理已经完成(即，时间过去达帧E时间段的(δ+α)），那么控制单元100检测此情况，并将处理的静止图像提供给静止图像编解码器180，并且在用于处理的时序555从观看图像缓冲器230读出帧E的缓冲的观看图像。处理的观看图像在时序565被缓冲在时序管理器170中，并且在时序565在时序管理器170中缓冲的观看图像被提供给显示单元130和运动图像编解码器。

根据本发明的示例性实施例的以时分方式处理运动图像和静止图像的图像处理器200首先处理运动图像，并且临时地存储处理的运动图像，并在帧的结尾部分输出运动图像。能够在处理运动图像的同时存储静止图像的图像处理器200能够以规则间隔输出运动图像流，而不管相机110输出时间。

图6是示出根据本发明的示例性实施例的当相机以不规则间隔产生运动图像流时的图像处理器的操作时序的时序图。

在由相机110输出的图像以规则间隔输入到图像处理器200的情况下(如标号611和613所示)，图像处理器200产生运动图像流的观看图像（如标号615所示），由图像处理器200以达"δ"的延迟处理视频流(如标号617所示)。如参照图5所述，当静止图像与运动图像一起被处理时，图像处理器200可能面临能力的缺乏，因此运动图像流可在下一帧中延迟达"δ+β"，其中，"δ+β"是当在帧D中输入静止图像捕获请求时的在帧E中的运动图像处理时间。在这种情况下，图像处理器首先控制观看图像651的处理，随后在该帧的剩余部分并且在下一帧连续地控制静止图像653的处理，随后在所述下一帧的剩余部分控制下一帧观看图像655的处理。此时，观看图像输出时序被控制为发生在每帧时间段的结尾部分。在这种情况下，图像处理器能够将由相机输出的图像处理为将按照如参照图5描述的情况以规则间隔被显示或由编解码器编码。

如果帧率是规则的，则TC=TM1+Δ1；

或者，TC=TM1+Δ1，

其中，如果仅视频流被处理，则K=TM2‐TM1=δ，

如果视频流和静止图像被一起处理，则K=δ‐β。

图7是示出根据本发明的示例性实施例的当视频流以规则间隔被输入并且参考时间是帧结尾时的图像处理器的操作时序的时序图。图7显示了视频流在帧的结尾部分被处理并且其他操作与图6的操作相同的示例性情况。

图8是示出根据本发明的示例性实施例的当参考时间被设置为帧结尾时的图像处理器的操作时序的时序图。

参照图8，当同步信号被产生时(如标号811所示)，相机110输出图像(如标号813所示)。在参考时间被设置为帧结尾的情况下，预览图像在原始帧结尾在从中断发生时间Ai的δ之后被输出(由标号813所示)。如果在帧A4中静止图像拍摄请求被输入，预览图像在帧A4中的δ之后输出，并且对于图像处理至少存在最小V_blank时间的需要，最小V_blank时间根据图像大小改变。在处理预览图像之后立即处理静止图像853的情况下，静止图像处理在β的时间持续时间过去之后的时间点开始。静止图像处理继续到下一帧(帧A5)，静止图像处理的完成与下一帧预览图像（帧A5的观看图像）的输出时序之间的时间延迟是

。此时，β必须大于预览图像的最小V_blank时间，并且

必须大于静止图像的最小V_blank时间。

图4至图8显示图像处理器的示例性情况和在操作在时分方式操作的图像处理器中的运动图像和静止图像的输出时序。然而，相机装置或配备有相机的电子装置可设置由图4的图像处理器和额外应用处理器。在这种情况下，图像处理器处理由相机110拍摄的图像，同时应用处理器执行由图像处理器处理的图像并且存储运动图像和静止图像。在这种情况下，相机装置可被配置为以这种方式进行操作：以时分方式处理静止图像和运动图像的图像处理器将δ2和α处理为每帧的元数据，并且应用处理器最终控制运动图像和静止图像的输出。

图9是示出根据本发明的示例性实施例的相机装置或配备有相机的电子装置的图像处理方法的流程图。

参照图9，相机装置可如图1和图4中的任何一个所示配置，并且图像处理器可如图2A、2B、3A和3C中的任何一个所示配置。运动图像处理模式包括预览模式和运动图像录制模式。如图9所示，如果在步骤911确定通过输入单元140输入相机驱动命令，那么控制单元100在步骤913驱动相机110并且在步骤913确定是否从相机接收到帧图像。接下来，控制单元100在步骤915确定相机是否操作在捕获模式下，并且如果相机没有处于捕获模式下，则在步骤917处理运动图像以便在帧时间段的预设时间读出处理的观看图像。例如，当装置操作在运动图像处理模式下时，控制单元100处理从相机110输出的帧图像，以在帧时间段的预设时间输出观看图像。在完成运动图像处理之后，控制单元100在步骤919确定是否检测到过程终止命令(诸如END命令），如果检测到，则结束过程，否则将过程返回到步骤913。如果相机正操作在同时处理运动图像和静止图像的捕获模式下，则控制单元100在步骤915检测捕获模式操作并且在步骤921控制图像处理器以时分方式处理运动图像和静止图像。

图10是示出根据本发明的示例性实施例的在图像处理器的运动图像处理模式下观看图像处理过程的流程图。

参照图10，在步骤1011，如果从相机110接收到帧图像，则控制单元100将帧图像缩放为观看图像，并将观看图像缓冲在观看图像缓冲器230中，同时将相机全分辨率图像缓冲在静止图像缓冲器250中。接下来，在步骤1015控制单元100建立观看图像处理路径并且处理观看图像。图像处理可包括预处理步骤和后处理步骤或者仅包括后处理步骤。接下来，在步骤1017，控制单元100控制时序管理器170临时地缓冲处理的观看图像，如果预设时间到达在相应帧内，则在步骤1019检测此情况并且在步骤1021将临时存储的观看图像输出到显示单元130和运动图像编解码器180。

图11是示出根据本发明的示例性实施例的在图像处理方法中处理运动图像和静止图像的过程的流程图。

参照图11，在步骤1111，控制单元100控制从相机110输出的图像的缩放以产生观看图像以及将观看图像缓冲在观看图像缓冲器230中。此时，控制单元100还控制从相机110输出的图像被缓冲在静止图像缓冲器250中。然后，在步骤1115中，控制单元100控制缓冲在观看图像缓冲器230中的观看图像之一的选择和处理，并且在步骤1117将处理的观看图像临时地存储或缓冲在时序管理器170中。用于将观看图像临时地存储在时序管理器170中的原因在于：甚至当处理静止图像时也调节观看图像输出时序。

在观看图像存储在时序管理器170中之后，在步骤1119，控制单元100从缓冲在静止图像缓冲器250中的静止图像中选择零快门滞后静止图像。此时，作为高像素图像的静止图像可被处理长于帧时间段的持续时间。如果作为预设时间的观看图像输出时序到达处理静止图像的中间(即，在帧内分配给观看图像的时间到达），则在步骤1121控制单元100检测此情况，在步骤1123控制将存储在时序管理器170中的观看图像输出到显示单元130和运动图像编解码器180，并且将过程返回到步骤1119以继续静止图像处理过程。

如果在步骤1119下一帧到达在处理静止图像的中间，则在步骤1125控制单元100检测到从相机110接收到下一帧图像，并将图像缩放为观看图像，并且在步骤1127将缩放的观看图像缓冲在观看图像缓冲器230中，同时将接收的图像缓冲在静止图像缓冲器250中。控制单元100继续处理静止图像，同时接收并缓冲下一帧图像。

如果同时在这种情况下已经完成静止图像处理，则在步骤1129控制单元100检测该情况，在步骤1131将静止图像输出到静止图像编解码器190并且处理缓冲在观看图像缓冲器230中的观看图像，并且在步骤1133将处理的观看图像临时地存储或缓冲在时序管理器170中。如果作为预设时间的观看图像输出时间到达，则在步骤1135控制单元100检测此情况，并且在步骤1137将临时存储的观看图像读出到显示单元130和运动图像编解码器180。

如上所述，根据本发明的示例性实施例的图像处理器200以时分方式处理运动图像和静止图像，并且当在运动图像处理模式下输入静止图像捕获模式时，重新安排观看图像的输出时序，从而观看图像在帧时间段中的恒定时序显示在显示器130上。

图12是示出根据本发明的示例性实施例的控制图像处理器的观看图像输出时序的过程的流程图。

参照图12，在步骤1211，控制单元100监视从相机110获取的图像的帧开始/结束时间的到达，并将图像输出到图像处理器。在步骤1213，控制单元100监视从相机输出的图像处理器输出的帧开始/结束时间。例如，图像处理器200监视从相机110输出的图像的开始时间和结束时间以及图像的输入和处理时间，随后在步骤1215，将由图像处理器200处理的观看图像缓冲在时序管理器170中。接下来，在步骤1217，控制单元100以长达(δ+α)的延迟输出临时存储在时序管理器170中的观看图像。这里，δ表示图像处理器200的图像处理时间，α表示在处理静止图像中在下一帧继续的静止图像处理时间。通过在每帧将观看图像输出时间延迟达(δ+α)，甚至当一起处理静止图像时，图像处理器能够在帧内的恒定位置输出观看图像。在步骤1217，控制单元100通过时序管理器170将观看图像的输出延迟达(δ+α)，并且在步骤1219将观看图像显示在显示单元130的屏幕上，从而规则地维持观看图像输出时序。

图13是示出根据本发明的示例性实施例的在运动图像处理器中在处理运动图像中输出观看图像的过程的流程图。图14是示出根据本发明的示例性实施例的当图像处理器以时分方式处理运动图像和静止图像时输出观看图像的过程的流程图。参照图1、2A和5来对图13和图14的过程进行描述。

参照图13，如果相机110捕获并输出图像，则在步骤1311，图像处理器200的预处理器210接收并预处理图像。接下来，在步骤1313，图像缩放器220将预处理的图像缩放为观看图像(如图5的标号515所示)。接下来，在步骤1315，观看图像缓冲器230缓冲观看图像。在步骤1323，静止图像缓冲器250缓冲相机全分辨率图像。在步骤1317，控制单元100访问缓冲在观看图像缓冲器230中的观看图像并将访问的观看图像读出到后处理器240，并且后处理器240后处理从观看图像缓冲器230输出的观看图像。在如图2B所示配置的图像处理器200的情况下，缓冲在观看图像缓冲器230中的图像被传送到预处理器210，随后预处理的观看图像被传送到后处理器240以被后处理。这里，图像处理时间可以是δ。处理的图像被输入到时序管理器170，从而在步骤1319时序管理器170临时地存储观看图像，并且在步骤1321当帧时间段的预设时间到达时将观看图像输出到显示单元130。这里，预设时间可以是帧结尾位置或者接近帧结尾的位置，并且可以是如图5所示的(Δ+δ)，其中，Δ可能是在时分地处理运动图像和静止图像中的包括静止图像处理时间的值。优选的是，(Δ+δ)被配置为处于帧结尾或者接近帧结尾的位置。

参照图14，在步骤1411，如果相机110在捕获模式下拍摄图像并输出图像，则图像处理器200的预处理器210预处理图像。接下来，在步骤1413，图像缩放器220缩放图像以产生观看图像(由图5中的部分551的标号所示)，随后在步骤1415观看图像缓冲器230缓冲观看图像。在步骤1451，静止图像缓冲器250缓冲相机全分辨率图像。在步骤1417，控制单元100访问缓冲在观看图像缓冲器230中的观看图像，并将访问的观看图像读出到后处理器240，并且后处理器240后处理观看图像。这里，如图2B所示配置的图像处理器200将缓冲在观看图像缓冲器230中的图像传送给预处理器210并且随后将预处理的观看图像传送给后处理器240。后处理的观看图像被输入到时序管理器170，并且在步骤1419时序管理器170临时地存储观看图像。

在观看图像被存储在时序管理器170中之后，控制单元100访问静止图像缓冲器250中的具有零快门滞后的静止图像并将该零快门滞后图像读出到后处理器240。例如，控制单元100在帧D时间段内以时分方式处理从观看图像缓冲器230和静止图像缓冲器250输出的图像，从而静止图像被传送到预处理器240并且后处理器帧D的观看图像。后处理器240在步骤1453后处理静止图像并且随后在步骤1455输出静止图像。

当后处理帧D的静止图像时，如果观看图像输出时序到达，同时处理静止图像(如图5的标号553所示)，在步骤1421控制单元100控制时序管理器170在预设时间将临时存储的观看图像输出到显示单元130。此时，后处理器240正在连续地处理静止图像(如图5的标号553所示)。

如果在以上状态下,下一帧(即，帧E）图像从相机110到达，则在步骤1423预处理器210接收下一帧图像，随后图像缩放器220将接收的图像缩放为观看图像，并且在步骤1425观看图像缓冲器230缓冲观看图像。甚至同时，后处理器240可能正在处理静止图像(如图5的标号553所示)。

如果静止图像的后处理已经完成，则控制单元100检测此情况并且解析后处理器240的输出并将该输出传送给静止图像编解码器190。控制单元100将在观看图像缓冲器230中缓冲的观看图像读出到后处理器240。在步骤1427，后处理器240后处理观看图像，并且如果后处理已经完成，则解析后处理器240的输出并将该输出传送给时序管理器170。在步骤1429，时序管理器170临时地存储处理的观看图像，并且当预设时间到达时，在步骤1431将临时存储的观看图像输出到显示单元130。

此时，预设时间可发生在帧D和帧E内的相同位置或时间。例如，预设时间可能是帧结束位置或接近帧结束的位置，并且可能被设置为如图5所示的(Δ+δ)，其中，Δ可能是在以时分地处理运动图像和静止图像中包括静止图像处理时间的值。优选的是，(Δ+δ)被配置在帧结尾或接近帧结尾的位置。

如上所述，根据本示例性实施例的相机装置或配备有相机的电子装置的图像处理器包括高像素相机并以时分方式处理图像，从而图像处理器能够在运动图像处理模式下以恒定时间间隔将运动观看图像输出到显示单元，同时处理被存储的静止图像。

尽管已经参照其特定示例性实施例显示和描述了本发明，但是本领域的技术人员应该理解，在不脱离由权利要求及其等同物限定的本发明的精神和范围的情况下，可以在其中进行形式和细节上的各种改变。

Claims (18)

1.一种图像处理设备，包括：

图像处理器，在每个帧时间段处理由相机产生的图像的观看图像和静止图像；

时序管理器，临时地存储由图像处理器处理的观看图像并在帧时间段的预设时间输出观看图像；

控制器，响应于捕获请求，控制图像处理器在当前帧的剩余部分到下一帧的开始部分处理静止图像，并且在所述下一帧的剩余部分处理缓冲的观看图像。

2.如权利要求1所述的设备，其中，图像处理器包括：

图像缩放器，在每个帧时间段将由相机产生的图像缩放为观看图像；

观看图像缓冲器，缓冲观看图像；

静止图像缓冲器，将由相机产生的图像存储为静止图像，图像处理器以时分方式处理观看图像和静止图像。

3.如权利要求2所述的设备，其中，所述下一帧的剩余部分是在完全处理静止图像之后剩余的部分。

4.如权利要求3所述的设备，其中，在控制器的控制下，时序管理器在帧时间段的预设时间输出缓冲的观看图像。

5.如权利要求4所述的设备，其中，预设时间包括帧的结束点。

6.如权利要求3所述的设备，其中，图像处理器还包括：

预处理器，预处理来自相机的图像并将预处理的图像传送给图像缩放器；

后处理器，后处理以时分方式输入的观看图像和静止图像；

解析器，解析后处理的观看图像和后处理的静止图像。

7.如权利要求6所述的设备，其中，控制器控制观看图像缓冲器在运动图像处理模式下将缓冲的观看图像输出到后处理观看图像的后处理器，控制时序管理器临时地存储后处理的观看图像，并在帧时间段的预设时间输出观看图像。

8.如权利要求7所述的设备，其中，控制器控制后处理缓冲在当前帧中在观看图像缓冲器中的观看图像并将后处理的观看图像临时存储在时序管理器中，

其中，控制器控制在当前帧的剩余部分到下一帧的开始部分后处理用于存储的存储在静止图像缓冲器中的静止图像，

其中，控制器控制当完成处理静止图像时，处理在观看图像缓冲器中缓冲的下一帧的观看图像，

其中，控制器控制在每帧时间段的预设时间输出存储在时序管理器中的观看图像。

9.如权利要求7所述的设备，其中，帧时间段的预设时间包括帧的结束点。

10.如权利要求3所述的设备，其中，图像处理器还包括：

预处理器，预处理以时分方式输入的观看图像和静止图像；

后处理器，后处理预处理的图像；

解析器，解析后处理的观看图像和后处理的静止图像。

11.如权利要求10所述的设备，其中，控制器控制将缓冲在观看图像缓冲器中的观看图像传送给后处理器，

其中，控制器控制观看图像的后处理，

其中，控制器控制将后处理的观看图像临时存储在时序管理器中，

其中，控制器控制在运动图像处理模式下在帧时间段的预设时间输出存储在时序管理器中的观看图像。

12.如权利要求11所述的设备，其中，控制器控制后处理在观看图像缓冲器中缓冲的观看图像，并在当前帧时间段将后处理的观看图像存储在时序管理器中，

其中，控制器控制在当前帧的剩余部分到下一帧的开始部分连续地后处理缓冲在静止图像缓冲器中的静止图像，

其中，控制器控制在完成处理静止图像时，处理在观看图像缓冲器中缓冲的下一帧的观看图像，

其中，控制器控制在每帧时间段的预设时间输出存储在时序管理器中的观看图像。

13.如权利要求12所述的设备，其中，帧时间段的预设时间包括帧的结束点。

14.一种图像处理方法，包括：

通过将来自相机的图像转换为静止图像和观看图像，缓冲静止图像和观看图像，并处理缓冲的观看图像，来在每帧时间段处理由相机产生的图像；

临时地存储处理的观看图像；

在帧时间段的预设时间输出临时存储的观看图像。

15.如权利要求14所述的方法，还包括：

响应于捕获请求，处理观看图像并且临时地存储观看图像；

在帧的剩余部分到下一帧时间段处理静止图像，所述帧的剩余部分是在处理观看图像之后剩余的部分；

在处理静止图像之后，在下一帧的剩余部分处理下一帧的观看图像并且临时地存储下一帧的观看图像，

其中，临时存储的观看图像在每帧时间段的预设时间被输出到显示器。

16.如权利要求15所述的方法，其中，帧时间段的预设时间包括帧的结束点。

17.如权利要求15所述的方法，其中，在每帧时间段处理由相机产生的图像的步骤包括：

预处理由相机产生的图像；

将预处理的图像缩放为观看图像；

缓冲观看图像；

将由相机产生的图像缓冲为静止图像；

后处理观看图像和静止图像；

解析后处理的观看图像和后处理的静止图像。

18.如权利要求15所述的方法，其中，在每帧处理由相机产生的图像的步骤包括：

将由相机产生的图像缩放为观看图像；

缓冲观看图像；

缓冲由相机产生的图像作为静止图像；

预处理观看图像和静止图像；

后处理预处理的观看图像和预处理的静止图像；

解析后处理的观看图像和后处理的静止图像。

Images