CN103369239A - 摄像机设备的图像处理装置和方法 - Google Patents

Abstract

一种图像处理装置，能够执行对摄像机拍摄的图像进行处理的方法，所述装置包括产生全分辨率图像的摄像机。图像处理装置还包括：缓冲器，缓冲全分辨率图像；浏览图像处理器，对缓冲的全分辨率图像进行缩放以产生浏览图像；捕获图像处理器，对缓冲的全分辨率图像之一进行处理以产生捕获图像；显示单元，显示浏览图像；以及存储单元，存储捕获图像。

Description

摄像机设备的图像处理装置和方法

技术领域

本申请涉及图像处理装置和方法，具体涉及用于处理摄像机拍摄的图像的装置和方法。

背景技术

摄像机设备和配备有摄像机的移动终端设备能够处理高质量图像并提供多种用户便利功能。近来的摄像机设备配备有能够处理全高清(HD)或更高分辨率图像的图像传感器(或摄像机传感器)。

摄像机设备在预览模式下显示摄像机传感器感测的图像，并响应于对快门按钮的按压保存摄像机传感器获取的图像。在触发快门与摄像机实际记录相片之间存在快门延迟(或快门滞后)。即，在用户按压快门的时间与图像处理器完全处理相片的时间之间存在时间差，该时间差称为滞后。快门延迟(快门滞后)是用户错失完美拍摄的原因。

在拍摄时，如果摄像机颤动或如果作为拍摄对象的人做出意外的动作，例如闭眼，则在校正捕获的图像和重建相同情形方面会受到限制，造成无法实现完美拍摄。

发明内容

为解决上述现有技术的缺点，主要目的是提供摄像机设备或配备有摄像机的终端设备的图像处理装置和方法，能够在拍摄时捕获图像而无快门滞后。本公开实施例提出了摄像机设备或配备有摄像机的终端设备的图像处理装置和方法，能够在拍摄静止图像时对图像进行缓冲，并从缓冲的图像中捕获期望帧图像。为实现这些目的，根据本公开实施例的摄像机设备或配备有摄像机的终端设备对摄像机捕获的图像进行缓冲和处理为浏览图像，并从缓冲的全分辨率图像中选择满足预定条件的帧图像以处理所选图像作为静止图像。

此外，本公开的实施例提出了摄像机设备或配备有摄像机的终端设备的图像处理装置和方法，能够逐帧地处理摄像机拍摄的图像，以分离地产生预览图像和候选捕获图像。

根据本公开的一方面，摄像机设备的图像处理装置包括：摄像机，产生全分辨率图像；缓冲器，缓冲全分辨率图像；浏览图像处理器，对缓冲的全分辨率图像进行缩放以产生浏览图像；捕获图像处理器，对缓冲的全分辨率图像之一进行处理以产生捕获图像；显示单元，显示浏览图像；以及存储单元，存储捕获图像。

根据本公开的另一方面，移动终端装置包括：摄像机，在摄像机操作模式下产生全分辨率图像；图像处理器，响应于捕获请求，按照每个帧周期缓冲摄像机产生的全分辨率图像，对全分辨率图像同时进行缩放以产生浏览图像，并对缓冲图像中在快门按压时拍摄的图像进行编码，以产生补偿了快门滞后的捕获图像；应用处理器，对图像处理器输出的浏览和捕获图像进行缓冲，在预览模式下显示浏览图像，并在捕获模式下显示浏览图像和存储捕获图像；显示单元，在应用处理器的控制下显示浏览图像；以及存储单元，在应用处理器的控制下存储捕获图像。

根据本公开的另一方面，摄像机设备的图像处理方法包括：在摄像机操作模式下按照每个帧周期将摄像机的全分辨率图像缓冲并转换为待显示的浏览图像；以及通过响应于捕获请求对缓冲图像中在快门按压时拍摄的图像进行编码，来产生和存储补偿了快门滞后的捕获图像。

根据本公开的另一方面，摄像机设备包括：摄像机，在摄像机操作模式下产生全分辨率图像；第一缓冲器，逐帧地缓冲摄像机产生的图像；至少两个图像处理器，对第一缓冲器中缓冲的具有预定帧编号的帧图像进行处理以产生全分辨率图像和浏览图像；第二缓冲器，按照帧编号顺序缓冲由图像处理器输出的浏览图像；显示单元，显示第二缓冲器输出的浏览图像；第三缓冲器，按照帧编号顺序缓冲由图像处理器输出的全分辨率图像；静止图像编解码器，响应于捕获请求对第三缓冲器中缓冲的图像之中在快门按压时拍摄的图像进行编码；以及存储单元，存储编码图像。

根据本公开的再一方面，摄像机设备的图像处理方法，包括：逐帧地在第一缓冲器中缓冲摄像机产生的图像；通过使用多个图像处理器对第一缓冲器中具有预定帧编号的帧图像进行处理，来产生全分辨率图像和浏览图像；在第二缓冲器中按照帧编号顺序缓冲由图像处理器输出的浏览图像；显示从第二缓冲器输出的浏览图像；在第三缓冲器中按照帧编号顺序缓冲由图像处理器输出的全分辨率图像；以及响应于捕获请求对第三缓冲器中缓冲的图像之中在快门按压时拍摄的图像进行编码。

在阅读以下本发明具体实施方式之前，提出对贯穿本专利文献所使用的特定词语和短语的定义可能是有利的：术语“包含”和“包括”及其衍生词意味着无限制的含括；术语“或”是可兼的，意味着和/或；短语“与......相关联”和“与其相关联”及其衍生词可以意味着包括、包括在内、与......互连、包含、包含在内、连接至或与......连接、耦接至或与......耦接、与……可通信、与......协作、交错、并列、邻近于、绑定到或与......相绑定、具有、具有......特性等；以及术语“控制器”意味着控制至少一个操作的任何设备、系统或其部件，这样的设备可以以硬件、固件或软件或者以上中至少两个的某种组合来实现。应当注意，与任何特定控制器相关联的功能可以是集中式或分布式的，不管是本地还是远程方式。贯穿本专利文献提供对特定词语和短语的定义，本领域普通技术人员应当理解，即使不是大多数情况，在许多情况下这些定义也应用于如此限定词语和短语的现有以及未来使用。

附图说明

为了更完整地理解本公开及其优点，现在参照结合附图的以下描述，在附图中相似的附图标记表示相似的部件：

图1示出了根据本公开实施例的摄像机设备的配置；

图2示出了根据本公开实施例的图1的摄像机设备的图像处理器的配置；

图3示出了根据本公开实施例的图1的摄像机设备的图像处理器的配置；

图4a和4b示出了用于说明图3的平均化单元的操作的示例像素图案；

图5示出了根据本公开实施例的图1的图像处理器的配置；

图6示出了根据本公开实施例的图1的摄像机设备的图像处理器的配置；

图7示出了根据图6的图像处理器选择的操作时钟的示例捕获图像产生过程；

图8示出了根据本公开另一实施例的图1的图像处理器200的配置；

图9a到9c示出了用于说明图8的图像处理操作的示例图像图案；

图10是示出了根据本公开另一实施例的图1的图像处理器200的配置的框图；

图11示出了根据本公开实施例的摄像机设备的配置；

图12示出了根据本公开实施例的图11的摄像机设备的图像处理器的配置；

图13示出了如图11的结构的摄像机设备的图像处理器的配置；

图14示出了根据本公开实施例的摄像机设备的配置；

图15示出了图14的图像处理器的配置；

图16示出了图14的应用处理器的配置；

图17示出了根据本公开实施例的摄像机设备或配备有摄像机的终端设备的图像处理方法；

图18示出了根据本公开实施例的摄像机设备的预览模式图像处理过程；

图19示出了图18的预览图像产生和显示步骤的细节；

图20示出了图17的捕获图像产生步骤的细节；

图21示出了以用户在高和低处理速度中选择的速度进行的捕获图像处理，这可应用于图20；

图22示出了在图20的捕获图像过程中分割捕获图像、处理分割的图像块并组合处理后的块以产生帧图像的过程；

图23示出了根据本公开另一实施例的摄像机设备的预览模式下图像处理过程；

图24示出了根据本公开另一实施例的摄像机设备的捕获图像处理方法；以及

图25示出了根据本公开实施例的摄像机设备的配置。

具体实施方式

以下讨论的图1至25以及用于描述本公开原理的各个实施例仅作为说明，并不应视为以任何方式限制本公开的范围。本领域技术人员应理解，本公开原理可以在任何适当布置的图像捕获设备中实现。参照附图详细描述本发明的示例实施例。贯穿附图，相同或相似的部件由相同的附图标记来表示。

虽然在以下描述中给出了具体特征，例如图像像素数目、元数据项和数据大小，但是本领域技术人员应明了这些仅作为示例给出以帮助理解本公开，而不是限制本公开。在以下描述中，可以省略对这里结合的公知的功能和构造的详细描述，以避免模糊本公开的主题内容。

根据本公开实施例的摄像机设备或配备有摄像机的终端在操作模式(例如，预览模式)下逐帧地对从摄像机的图像传感器获取的图像进行处理，产生浏览图像和捕获图像，以按照运动和静止图像的形式使用。在这种情况下，摄像机设备按照每个帧周期从摄像机获取图像，以产生预览图像和捕获候选图像，同时在显示单元上显示预览图像并且缓冲捕获候选图像。如果在这种状态下检测到捕获请求，则摄像机设备在检测到捕获请求时选择缓冲的帧图像之一，并以压缩编码格式存储所选帧图像。

如上所述，根据本公开实施例的摄像机设备或配备有摄像机的终端设备逐帧地从摄像机获取图像，同时对图像进行缩放和处理以在显示单元上显示，并同时缓冲全摄像机分辨率图像。如果用户输入捕获请求，摄像机设备或配备有摄像机的终端在缓冲的帧图像中选择并处理在拍摄时拍摄的帧图像，并以编码格式存储处理后的图像。拾取设备能够与显示器或机械快门同步。

典型地，摄像机设备在用户按压快门和摄像机捕获图像之间具有快门滞后。根据本发明实施例的摄像机设备具有缓冲器，用于与浏览图像相分离地存储摄像机的全分辨率图像，并在摄像机操作的同时缓冲全分辨率图像。摄像机设备选择并处理帧缓冲的帧图像中在拍摄请求定时处的帧图像，以实现零快门滞后。在本公开的实施例中，缓冲器可以配置为存储预定数目的帧图像，该预定数目足够大以补偿快门滞后。典型地，快门滞后很可能发生在2帧之前或之后。因此，优选地将缓冲窗口配置为小于5帧。

在以下描述中，术语“全分辨率图像”指摄像机获取的未缩放(在处理成浏览图像之前)图像。术语“浏览图像”指在预览模式下显示单元上显示的图像，和/或在存储运动图像时使用的图像，其中通过将摄像机获取的图像缩放成预定尺寸(或分辨率)来捕获运动图像。这里，在分辨率(尺寸)上，浏览图像可以等于或不同于预览图像和/或运动图像。浏览图像和运动图像的尺寸可以彼此不同。即，可以将运动图像处理为在尺寸上大于或小于浏览图像。术语“捕获图像”指要处理成静止图像(作为摄像机获取的全分辨率图像)的图像，或者通过将摄像机获取的图像缩放成预定尺寸来获取的图像。在本公开实施例中，假设捕获图像是摄像机的全分辨率图像来进行描述。

术语“图像缩放”指将全分辨率图像的尺寸调整为预定尺寸(或分辨率)。在本公开实施例中，可以利用尺寸调整以及相加和均衡化方法来实现图像缩放。这里，尺寸调整意味着通过抽值、插值和裁剪图像来调整图像尺寸的方法，相加和平均化方法是通过将相邻像素合并成一个像素来调整像素数目。

图1示出了根据本发明实施例的摄像机设备的配置。

参照图1，摄像机110用于在操作模式利用传感器获取图像。摄像机110具有光学单元、图像传感器和信号处理器。光学单元由机械快门、电动机和致动器驱动，并利用致动器执行变焦和聚焦操作。光学单元拾取对象的图像，图像传感器将拾取的图像转换为电信号。这里，图像传感器可以是CMOS、CCD传感器和高清图像传感器中的任一种。摄像机的传感器可以包括全局快门。全局快门执行与传感器中包括的机械快门的功能类似的功能。摄像机100也能够包括取景器。

在本公开的实施例中，图像传感器可以是能够以超高清(UHD)或更高分辨率感测图像的传感器。图像传感器200感测的图像由信号处理器转换为数字图像。摄像机110的输出数据可以是拜耳数据(原始数据)。

根据本公开实施例的图像处理器200能够包括控制器、预处理器、预览/电影ISP和静止捕获ISP。

预处理器210负责对从摄像机110获取的图像进行预处理的功能。这里，预处理功能能够包括3A(即，自动白平衡(AWB)、自动曝光(AE)和自动对焦(AF))提取和处理，镜头遮蔽校正，死像素校正，拐点补偿等。经预处理的图像数据输出至相应的预览/电影ISP和静止捕获ISP。

在预览/电影ISP的情况下，图像缩放器220负责在尺寸上调整预处理器210输出的全分辨率图像以适合显示单元130，以及/或者以运动图像的格式存储。后处理器230对缩放后的拜耳数据执行颜色插值、噪声消除和颜色补偿，以产生YUV数据。后处理器230输出的图像是被缩放至显示单元130的屏幕尺寸的YUV数据。

浏览图像可以用作要存储的运动图像。在这种情况下，如果输入了运动图像拍摄请求，则运动图像编解码器270对浏览图像进行编码并在存储单元120中存储编码图像。这里，浏览图像的尺寸可以与预览图像的尺寸相同。运动图像可以是像素数目比预览图像的像素数目大的浏览图像。在这种情况下，图像缩放器220可以包括预览模式缩放器和运动图像模式缩放器，或可变缩放器，能够根据模式控制来改变缩放比率。如果请求运动图像捕获，则控制器100控制图像缩放器220将图像的尺寸缩放成运动图像，使得图像缩放器220将预处理器210输出的全分辨率图像缩放成运动图像尺寸。这里，可以按照例如H.264等多种格式对运动图像编码。

在静止捕获ISP的情况下，缓冲器240将预处理器210输出的全分辨率图像缓冲。这里，缓冲器240优选地配置为具有足够大尺寸以存储能够补偿摄像机设备的快门滞后的帧图像，并且在本公开的一实施例中，缓冲器240构造成环形缓冲器形式，所述环形缓冲器的尺寸等于或小于5帧图像。缓冲器240对预处理器210输出的全分辨率图像进行缓冲，在控制器100的控制下，响应于捕获请求来访问缓冲的图像之一。后处理器250对从缓冲器240中选择的全分辨率图像执行颜色插值、噪声消除、颜色补偿和颜色转换，以产生YUV数据。静止图像编解码器260对后处理器250输出的全分辨率图像进行压缩编码。

控制器100根据经由输入单元140输入的控制命令来控制摄像机设备的操作。如果经由输入单元100输入摄像机驱动命令，则控制器100控制摄像机110和图像处理器200，使得摄像机操作于预览模式。如果经由输入单元140输入捕获请求，则控制器100从缓冲器240选择在捕获请求定时处的全分辨率图像，并在存储单元120中存储经压缩编码的所选全分辨率图像。

虽然在本公开实施例中，以上描述针对存储单元120是用于按照静止图像格式存储摄像机设备拍摄的图像的存储器，但是存储单元120也能够存储运动图像。显示单元130可以是例如LCD和LED等显示设备，并显示摄像机设备拍摄的图像和拍摄信息。输入单元140具有用于配置摄像机设备的功能和执行命令的多个按钮。输入单元140的按钮可以包括在摄像机设备的主体上布置的按键、以及在触摸面板上提供的虚拟按键。在这种情况下，可以在触摸屏上呈现显示单元130和输入单元140提供的一些按钮。

在以上结构的摄像机设备中，如果用户利用输入单元140输入摄像机驱动命令，控制器100驱动摄像机110。摄像机110输出的图像可以是要输入至预处理器210的、由摄像机110获取的全分辨率拜耳图像。预处理器210在控制器100的控制下，按照每个帧周期产生帧图像。这里，帧速率可以是每秒30帧(fps)或更高(例如，60fps)。预处理器210从帧图像提取A3(AWB、AE和AF)，并执行镜头遮蔽补偿、死像素校正和拐点补偿。经预处理的图像是要提供给图像缩放器220和缓冲器240的全分辨率图像。

图像缩放器220对输入的全分辨率图像进行缩放以适合显示单元130的屏幕尺寸。这里，可以通过尺寸调整、抽值、插值、裁剪、相加和平均化中的至少一种来执行图像缩放。可以执行图像缩放以减少从摄像机110获取的全分辨率图像的像素数目，以适合显示单元130的屏幕尺寸或显示单元130的屏幕纵横比。这里，在本公开实施例中，可以针对多种纵横比(例如4∶1)执行图像缩放。在摄像机110获取8M字节图像的情况下，图像缩放器220能够将图像缩放成20M字节的浏览图像。

然后，后处理器230对缩放后的图像进行后处理。在后处理阶段，可以执行颜色插值、降噪、伽马补偿和颜色转换。即，后处理器230通过颜色插值将像素数据转换为包括RGB分量的数据，校正经颜色插值的像素数据的噪声，然后将经降噪的数据转换为YUV数据。在显示单元130的屏幕上显示经后处理的浏览图像。

缓冲器240按照每个帧周期对预处理器210输出的全分辨率图像进行缓冲。如上所述，缓冲器240具有环形缓冲器结构以缓冲预定数目的帧图像。即，缓冲器240具有用于存储N帧图像数据的N个环形缓冲器的结构，并逐帧地缓冲预处理器210输出的帧图像数据。将逐帧产生的帧图像数据依次缓冲到缓冲器240的第一到最末缓冲器，并且一旦第一到最末缓冲器填满了数据，则从第一缓冲器开始盖写。这里，N可以设定为等于或小于5的值，并且在这种情况下，缓冲器240的环形缓冲器配置为存储5个或更少的图像数据。假设快门滞后是2帧，则优选地将缓冲器260的尺寸设定为3帧(N＝3)。此时，控制器110控制缓冲器240对每个帧周期产生的高分辨率帧图像进行缓冲，而无后处理器250和静止图像编解码器260的操作。

根据本公开实施例的摄像机设备在预览模式下操作预处理器210、图像缩放器220和后处理器230，以处理摄像机110获取的帧图像并在显示单元130的屏幕上显示经处理的图像，同时缓冲器240缓冲全分辨率图像。即，图像处理器200执行用于产生浏览图像的操作，而不执行任何用于存储图像的操作。此时，由于在缓冲所捕获的高分辨率图像的同时将浏览图像缩小成小尺寸图像，所以摄像机设备处于低电流消耗和低发热状态。

典型地，由于与某个数目的帧相等的快门延迟，即，用户按压快门时与摄像机设备实际记录图像时之间的快门滞后(或时间滞后)，摄像机设备错失对在取景器中或显示单元130的屏幕上呈现的图像的完美拍摄。快门滞后依据摄像机设备而变化，控制器100必须知晓统计测量的快门滞后。在本公开实施例中，当检测到快门按压时，摄像机设备考虑到快门滞后来选择所缓冲的帧图像之一，以实现零快门滞后。

如果在预览模式下经由输入单元140输入捕获请求，则控制器100驱动后处理器250和静止图像编解码器260。控制器110检测快门按压定时，考虑到预定的快门滞后选择缓冲图像之一，并将所选的帧图像传送给后处理器250。后处理器对从缓冲器240输出的帧图像执行后处理(颜色插值，噪声校正，伽马补偿，图像转换等)，并且静止图像编解码器260对后处理器250输出的图像进行编码并将编码图像存储在存储单元120中。此时，后处理器250输出YUV图像，静止图像编解码器260可以是JPEG编码器。在该实施例中，虽然描述了静止图像是联合图像专家组(JPEG)图像的情况，但是静止图像还可以是其他静止图像格式(例如，标签图像文件格式(TIFF))。将压缩编码的图像存储在存储单元120中。

虽然描述了捕获图像是摄像机110的全分辨率图像的情况，但是如果有必要可以对全分辨率图像进行缩放。即，用户可以将摄像机设备配置为捕获尺寸(或分辨率)比全分辨率图像小的静止图像。在这种情况下，用户可以将摄像机设备配置为拍摄小尺寸(或像素数目)图像。虽然本公开实施例针对具有用于缓冲全分辨率图像的缓冲器的情况，但是捕获图像处理器可以配置有在缓冲器240的输出端的图像缩放器，该图像缩放器不同于图像缩放器220。在这种情况下，如果经由输入单元140输入指示了图像尺寸(或像素数目)的捕获请求命令，则控制器200控制将缓冲器240的输出传送给图像缩放器(不是图像缩放器220)，使得该图像缩放器将全分辨率图像缩放到用户期望的图像尺寸(或分辨率)以用于后处理。以下假设捕获图像是全分辨率图像来描述本公开实施例。

如果在预览模式下输入捕获请求，则根据本公开实施例的摄像机设备从缓冲器240中选择对应于快门按压时刻的子帧图像，并对所选帧图像执行后处理和编码，以实现零快门滞后。此时，预处理器210、图像缩放器220和后处理器230按照与预览模式操作相同的方式进行操作，并且在显示单元130的屏幕上显示所产生的浏览图像。

如上所述，根据本公开实施例的摄像机设备能够实现零快门滞后。由于快门滞后(时间滞后或快门延迟)，在摄像机设备的快门按压时刻由摄像机110获取的图像是在用户期望的捕获图像之后捕获的帧图像。即，用户想要捕获的图像是在所捕获图像之前的帧图像。为了补偿快门滞后(以实现零快门滞后)，根据本公开实施例的方法选择先前缓冲的帧图像之一作为捕获图像。

当用户输入捕获请求时，可能不能正常地拍摄到要捕获的相片。在拍摄肖像图片的示例情况下，图片模特可能闭眼或者摄像机可能抖动。在这种情况下，优选的是捕获另一帧图像。根据本公开实施例，如果有必要，摄像机设备能够在缓冲器240中缓冲的预定数目的帧图像中选择另一帧图像。控制器100响应于捕获请求来捕获和显示摄像机110的所缓冲的全分辨率图像之一，所选图像能够实现零快门滞后。在静止图像捕获模式下，控制器100可以激活代表了可选择的缓冲图像的项目(图标或按钮)。此时，如果具有零快门滞后的图像抖动了或者不适合使用，用户能够利用输入单元140选择对应项目来请求显示另一图像。如果检测到用户请求，则控制器100检测用户请求并在显示单元130的屏幕上显示所选项目代表的全分辨率图像，以便用户确定是否捕获对应图像作为静止图像。根据本公开实施例，摄像机设备能够选择多个缓冲的帧图像之一，因此如果捕获的图像不适合使用，则可以用另一缓冲图像代替捕获的图像。如果用户请求连续拍摄模式(脉冲串拍摄模式)，则控制器100依次访问在请求连续拍摄时缓冲的帧图像，后处理器250对依次访问的帧图像进行处理，并且静止图像编解码器260依次编码图像并在存储单元120中存储编码图像。即，在脉冲串拍摄模式下，按照每个帧周期在缓冲器240中缓冲摄像机110拍摄的全分辨率图像，并且控制器100能够访问缓冲的全分辨率图像以依次进行处理和编码，并且存储编码图像。

在上述状态下，如果经由输入单元140输入静止图像回放请求，则控制器100在存储单元中访问所请求的静止图像，静止图像编解码器260对所访问的静止图像进行解码，并且显示单元130显示解码的静止图像。如果经由输入单元140输入运动图像回放请求，则控制器100在存储单元120中访问所请求的运动图像，运动图像编解码器270对运动图像解码，显示单元130显示解码的运动图像。

图2示出了根据本公开实施例的图1的图像处理器200的配置。图1针对图像缩放器220以尺寸调整器310实现的情况。

参照图2，预处理器210对从摄像机110获取的全分辨率图像执行预处理。尺寸调整器310在容量和尺寸上对预处理器210输出的全分辨率图像进行尺寸调整，以适合显示单元130的屏幕尺寸。此时，可以通过抽值和插值来实现尺寸调整，使图像适合显示单元130的纵横比。将经过尺寸调整器310缩放的浏览图像提供给后处理器230。

后处理器230包括颜色插值器231、图像处理链233和图像转换器235。颜色插值器231执行颜色插值功能，用于将摄像机110输出的拜耳数据转换成彩色图像。如上所述，摄像机110的图像传感器可以是CCD或CMOS图像传感器。此时，CCD/CMOS图像传感器使用滤色器阵列，使得每个像素传感器具有用于产生彩色图像的三个颜色通道之一。颜色插值是用于将构成了摄像机110输出的图像的像素转换为RGB三色(全色转换)的功能。颜色插值器231使用相邻像素之间的相关性来进行颜色插值功能。典型地，在图像处理设备中，将在颜色插值之前执行的图像处理称为预处理，将在颜色插值之后执行的图像处理称为后处理。其次，IPC233对插值图像执行降噪、伽马校正和亮度校正。再者，图像转换器235将经后处理的图像转换为YUV图像。即，后处理器230负责对经尺寸调整和缩放的图像执行颜色插值和后处理，并将经后处理的图像转换为YUV图像。

将经后处理的YUV图像提供给显示单元130以作为预览图像显示。

将预处理器210输出的全分辨率图像缓冲在缓冲器240中。此时，缓冲器240配置成环形缓冲器的结构，因此保持缓冲的帧图像，直到缓冲器填满为止。如果缓冲器填满，则用新的帧图像将最早的帧图像盖写。在预览模式下，后处理器250和静止图像编解码器260不操作以节省电力。

在预览模式下，如果经由输入单元140输入捕获请求，控制器100考虑到快门滞后，在缓冲器240中缓冲的帧图像之中访问满足预定条件的帧图像。控制器100知道从快门按压时刻起的快门滞后帧周期(即，快门滞后时间)，快门滞后帧周期可以表达成帧数目。在本公开实施例中，假设快门滞后等于2帧(或3帧)。在这种情况下，如果检测到捕获请求，则控制器100选择缓冲器240中缓冲的2帧(或3帧)之前的帧图像，并将所选帧图像发送给后处理器250。因此，输入至后处理器250的图像是补偿了快门滞后的图像(零快门滞后图像)。

后处理器250在结构上与后处理器230类似，但是在尺寸上不类似。即，后处理器230配置为具有浏览图像尺寸(例如，全分辨率图像的1/4尺寸(或分辨率))，而后处理器250具有全分辨率图像尺寸。后处理器250对全分辨率图像执行颜色插值和IPC处理，并将经IPC处理的图像转换为YUV图像。YUV图像由静止图像编解码器260压缩编码，然后作为捕获图像存储在存储单元120中。这里，编码的捕获图像可以是JPEG图像。

图3示出了根据本公开另一实施例的图1的图像处理器200的配置。图3针对利用平均化单元320实现图像缩放器220的情况。图4a和4b示出了用于说明图3的平均化单元320的操作的示例像素图案。

参照图3、4a和4b，处理器210处理从摄像机110获取的全分辨率图像。平均化单元210对预处理器210输出的全分辨率图像的像素进行平均，以减少像素数目。这里，平均化单元320能够使用伪Foveon方法改善信噪比和分辨率。将摄像机110输出的图像的像素图案化如图4a所示。在图4a的结构中，4个相邻像素包括一个R像素、一个B像素和两个G像素。相应地，可以通过将四个像素均衡化为一个像素，来以比率4∶1缩放图像。平均化单元(求和平均)320将四个像素相加并平均化为一个像素。为此，根据本公开实施例的方法通过将两个G像素相加并平均化来产生一个G像素，然后将平均化的G、R和B像素处理成单个像素。在图4a的示例情况下，为了处理G11、B12、R21和G22像素以产生一个像素，通过R＝R21，B＝B12和G＝(G11+G22)/2来产生具有RGB值的像素。通过该平均化操作，可以连同颜色插值操作来处理四个像素以产生一个像素，如图4b所示。通过上述方法将图4a的16个像素平均以缩放成图4b所示的4个像素，此时，同时对像素进行颜色插值。

将平均化单元320进行图像缩放后的像素提供给后处理器230，后处理器230执行颜色插值、IPC处理和图像转换，以产生YUV图像。在利用图3的平均化320执行图像缩放操作的情况下，后处理器230的颜色插值器231能够跳过像素数据的全色转换，只执行颜色插值。除了颜色插值之外，后处理器230的操作按照图2的相同过程进行。

将通过预处理获得的YUV图像提供给显示单元130以作为预览图像显示。

将预处理器210输出的全分辨率图像缓冲在缓冲器240中。在预览模式下，后处理器250和静止图像编解码器260不操作以节省电力。

在预览模式下，如果经由输入单元140输入捕获请求，则控制器100考虑到快门滞后，选择缓冲器240中缓冲的帧图像之一，对所选帧图像进行预处理和编码，并将编码图像作为捕获图像存储。静止捕获ISP按照图2所示相同方式操作。

图5示出了根据本公开实施例的图1的图像处理器200的配置。图5针对利用尺寸调整器310和平均化单元320两者实现图像缩放器220的情况。

参照图5，预处理器210对摄像机110输出的全分辨率图像进行预处理。经预处理的图像提供给尺寸调整器310和平均化单元320两者。

在图5中，图像缩放器220包括：尺寸调整器310，用于将预处理后的全分辨率图像尺寸调整和转换到浏览图像的尺寸；平均化单元320，用于对预处理后的全分辨率图像的像素进行求和及平均化，以减少适合浏览图像的像素数目；以及选择单元，用于选择性地将尺寸调整器310和平均化单元320的输出提供给后处理器230。

这里，尺寸调整器310对处理器210输出的全分辨率图像进行尺寸调整，以在容量和尺寸上适合显示单元130。此时，可以通过抽值，或者通过抽值以及用于使尺寸适合显示单元130的纵横比的插值，来执行尺寸调整。平均化单元(求和平均)320将四个像素求和以及平均化成一个像素。在本公开实施例中，假设平均化单元320将4个像素平均化为1个像素。在这种情况下，平均化单元320对两个像素进行求和以及平均化以产生一个G像素，然后将平均的G、R和B像素平均化为一个像素。将尺寸调整器310和平均化单元320的输出传送给选择单元330，使得选择单元330在控制器100的控制下选择性地将尺寸调整器310和平均化单元320的输出提供给后处理器230。

后处理器230对经尺寸(或像素数目)缩放以适合浏览的图像执行颜色插值、IPC处理和图像转换操作，并将经预处理的YUV浏览图像输出给显示单元130。

在缓冲器240中缓冲预处理器210输出的全分辨率图像。在预览模式下，后处理器250和静止图像编解码器260不操作以节省电力。

在预览模式下，如果经由输入单元140输入捕获请求，则控制器100考虑到快门滞后，选择缓冲器240中缓冲的帧图像之一，对所选帧图像进行预处理和编码，并将编码图像作为捕获图像存储。静止捕获ISP按照图2和3所示相同方式操作。

在图像处理装置配置为图5所示的情况下，用户能够利用输入单元140选择图像缩放器。如果用户选择尺寸调整器310，控制器100控制选择单元220选择尺寸调整器310的输出并激活尺寸调整器310。否则，如果用户选择平均化单元320，控制器100控制选择单元330选择平均化单元320的输出并激活平均化单元320。此时，可以将图像缩放器(尺寸调整器310的平均化单元320)去激活。

在图5的配置中，可以将选择单元放置在预处理器210与尺寸调整器310和平均化单元320之间，以根据用户的选择将预处理器210的输出提供给图像缩放器220(尺寸调整器310或平均化单元320)。也可以在图5的配置中去除选择单元330，并将尺寸调整器310(或平均化单元320)的输出端连接至平均化单元320(或尺寸调整器310)，以顺序地对摄像机110的全分辨率图像进行尺寸调整和平均。

图6示出了根据本公开实施例的图1的图像处理器200的配置。图6示出了图像处理器200的示例配置，能够通过在产生捕获图像时有选择地改变操作频率来调整帧速率。图7是示出了根据图6的图像处理器所选的操作时钟的示例捕获图像产生过程的图。

参照图6和7，预处理器210对从摄像机100获取的全分辨率图像进行预处理。将经预处理的图像发送给图像缩放器220以缩放至浏览图像尺寸和/或像素数目。此时，可以利用尺寸调整器310和/或平均化单元320配置图像缩放器220。后处理器230对缩放器310缩放的图像执行颜色插值、IPC处理和图像转换，以产生至显示单元130的YUC浏览图像。可以如图2和3所示实现用于后处理浏览图像的配置和操作。

在预览模式下，预处理器210将全分辨率图像缓冲在缓冲器240中。在预览模式下，后处理器250和静止图像编解码器260不操作以节省电力。

这里，图像处理器200能够以帧速率30fps或更高帧速率处理图像。假设图像处理器200的帧速率是30fps，每秒产生浏览图像的30帧。此时，虽然如上所述缩放了浏览图像，但是以摄像机100的全分辨率图像的格式处理捕获图像。相比于浏览图像处理操作，捕获图像处理操作消耗相对大量的电流。当检测到捕获图像请求时，激活静止捕获ISP，并在预览模式或运动图像记录模式下将摄像机的全分辨率图像(或者如果提供了图像缩放器，具有由用户配置的尺寸的图像)缓冲以补偿快门滞后。因此，虽然预览/电影ISP的操作时钟比捕获图像处理器的操作时钟慢，但是可以补偿快门滞后。

图6示出了图像处理器的示例配置，该图像处理器的操作时钟由用户选择，并且该图像处理器使用的时钟速度比与浏览图像处理单元的操作时钟速度相同的高时钟速度慢。这里，假设高时钟速度是能够以30fps的帧速率处理图像的时钟速度，并且低时钟速度是能够以15fps的帧速率处理图像的时钟速度。

时钟产生单元包括高时钟产生器610和低时钟产生器620，以在控制器110的控制下选择性地提供捕获图像处理器的操作时钟，其中高时钟产生器610产生与预览/电影ISP的操作时钟的速度相同的时钟速度，低时钟产生器620产生比高时钟速度慢的时钟速度。这里，缓冲器240以预览/电影ISP的帧速率进行操作。即，缓冲器240在每个帧周期以该帧速率(例如30fps)缓冲由图像处理器200处理的帧图像。

描述选择高时钟产生器610的情况。在该情况下，控制器100控制选择器630将高时钟产生器610产生的高时钟提供给缓冲器240、后处理器250和静止图像编解码器260，以处理捕获图像。可以在不改变时钟速度的情况下使用静止图像编解码器260。如果检测到捕获请求，则控制器100在缓冲器240中缓冲的帧图像之中选择能够补偿快门滞后的帧图像，通过预处理和编码所选帧图像来产生捕获图像，并存储捕获图像。此时，控制器100以高时钟产生器610的时钟速度读取缓冲器240中缓冲的帧图像，以便能够读取按照每个帧周期缓冲的帧图像，如图7的附图标记710所示，并且后处理器250和静止图像编解码器260以高时钟产生器610的时钟速度操作，以在图7的附图标记710指示的定时处对要在帧持续时间中捕获的图像进行后处理和编码。

下面描述选择低时钟产生器620的情况。即使在这种情况下，缓冲器240也对逐帧产生的摄像机的全分辨率图像进行缓冲。即。缓冲器240对预处理器210输出的每个帧图像进行缓冲，无论所选时钟产生器(高时钟产生器610或低时钟产生器620)如何。如果检测到捕获请求，则控制器100以低时钟产生器620的时钟速度读取缓冲器240中缓冲的帧图像，如附图标记720所示。即，如果选择低时钟产生器620，则控制器100以低时钟产生器620的时钟速度读取缓冲器240。在图7的情况下，假设低时钟产生器620产生高时钟速度的1/2的时钟速度，因此控制器100可以以两个帧持续时间来访问帧图像，如图7的附图标记720所示。由于将低时钟产生器620的低时钟速度提供给后处理器250和静止图像编解码器260，所以后处理器250和静止图像编解码器260以低时钟产生器620的低时钟速度预处理和编码要捕获的图像，如图7的附图标记720指示的。可以在不改变时钟速度的情况下使用静止图像编解码器260。

因此，相比于选择高时钟产生器610的情况，在选择低时钟产生器620的情况下，以低的帧速率产生捕获图像，但是可以产生在某种程度上补偿快门滞后的捕获图像。即，由于快门滞后比低时钟延迟时间长，如果以低时钟速度产生捕获图像，则补偿了快门滞后(在低时钟速度是高时钟速度的1/2频率的情况下，低时钟速度下的帧处理时间是高时钟速度下帧处理时间的两倍，从而帧处理可以最多延迟1帧)。

图8示出了根据本公开另一实施例的图1的图像处理器200的配置。图8示出了图像处理器200的示例配置，能够分割帧图像并通过组合分割的图像来产生捕获图像。图9a到9c示出了用于说明图8的图像处理操作的示例图像图案。

参照图8和9a到9c，预处理器210对摄像机110获取的全分辨率图像进行预处理。将预处理后的图像发送给图像缩放器220，以缩放到浏览图像尺寸和/或像素数目。此时，此时，可以利用尺寸调整器310和/或平均化单元320配置图像缩放器220。后处理器230对缩放到浏览图像尺寸(或像素数目)的图像执行颜色插值、IPC处理和图像转换，并向显示单元130输出经由后处理操作产生的YUV浏览图像。可以如图2和3所示执行浏览图像处理操作。

在预览模式下，在缓冲器240中缓冲预处理器210输出的全分辨率图像。在预览模式下，后处理器250和静止图像编解码器260不操作以节省电力。

如果在这种状态下检测到捕获请求，则控制器100在缓冲器240中缓冲的帧图像之中选择能够补偿快门滞后的帧图像。此时，所选帧图像的结构可以如图9a所示。图9a示出了示例帧图像，具有尺寸m*y，假设m＝2n和y＝2x。通过图8的配置，图像处理器将从缓冲器240读出的帧图像分割成具有预定尺寸的块，对分割的帧图像(平铺(tiler)图像)进行后处理，将分割的帧图像(平铺图像)组合成帧图像。对分割的帧图像进行后处理的原因在于要减少后处理器250的门的个数，从而降低硬件复杂度和功耗。此时，如果图9a的帧图像分割成两个块，则控制器100读取分割的图像，如图9b的附图标记910和920所示。

首先，描述对于分割成两个块的帧图像的后处理操作。在具有如图9a所示尺寸的帧图像分割成两个块的情况下，每个块具有尺寸n*y(一个块包括行(1)z(n)，另一块包括行(n+1)-(m))。在预处理帧图像时，注意到要利用相邻像素执行颜色插值和IPC处理，将图像划分成一个块(1)-(n+a)和另一块(n-a+1)-(m)，如图9b的附图标记910和920所示(‘a’依据后处理器的处理类型而改变)。‘a’指的是交叠行的数目，这里被设置为1(a＝1)。控制器100读取图9b的块910以提供给后处理器250，后处理器250对分割的块进行后处理，以提供给组合器810。然后，控制器100读取图9b的块920以提供给后处理器250，后处理器250对分割的块进行后处理器以提供给组合器810。此时，分割的图像块包括相邻块以在后处理中使用相邻块的有关信息(在图9b的块910的情况下是行n+1的像素，在图9b的块920的情况下是行n的像素)，使得在去除交叠行的像素之后必须将分割的图像块组合。相应地，组合器810针对图9b经后处理的块910去除行n+1的像素，并针对图9b经后处理的块920去除行n的像素，将去除了交叠像素的块进行组合以重新产生帧图像。然后，将组合器810输出的帧图像提供给静止图像编解码器260，静止图像编解码器260将帧图像压缩编码为静止图像以作为捕获图像存储在存储单元120中。

其次，描述对分割成四个块的帧图像的后处理操作。在具有如图9a所示尺寸的帧图像被分割为四个块的情况下，四个分割块中的每个分割块具有n*x的尺寸，四个分割块可以表达为{(1)-(n)，(1)-(x)；(n+1)-(m)，(1)-(x)；(1)-(n)，(x+1)-(y)；(n+1)-(m)，(x+1)-(y)}。

注意在预处理帧图像时要对相邻图像执行颜色插值和IPC处理，图像被划分成块{(1)-(n+1)，(1)-(x+1)；(n)-(m)，(1)-(x+1)；(1)-(n+1)，(x)-(y)；(n)-(m)，(x)-(y)}，如图9c的附图标记950到980所示。然后，控制器100读取图9c的块950以提供给后处理器250，后处理器250对分割的图像块执行后处理器以提供给组合器810。按照相同方式，控制器100读取图9c的分割块960到980，以顺序地提供给后处理器250，后处理器250按照顺序对分割块执行后处理以提供给组合器810。此时，分割的图像块包括相邻像素以在后处理中使用相邻像素的有关信息(在图9c的块950的情况下是行n+1和x+1的像素，在图9c的块960的情况下是行n和x+1的像素，在图9c的块970的情况下是行n和x+1的像素，在图9c的块980的情况下是行n和x的像素)，使得在去除交叠行的像素之后必须将分割的图像块组合。相应地，组合器810针对图9c经后处理的块950到980去除行相邻行的像素，并将去除了交叠像素的块进行组合以重新产生帧图像。然后，将组合器810输出的帧图像提供给静止图像编解码器260，静止图像编解码器260将帧图像压缩编码为静止图像以作为捕获图像存储在存储单元120中。

如上所述，在如图9b所示将帧图像分割成两个块的情况下，后处理器250按照1/2尺寸对帧图像进行处理，在如图9c所示将帧图像分割成四个块的情况下，后处理器250按照1/4尺寸对帧图像进行处理。通过处理被分割成预定数目块的全分辨率图像，可以减少捕获图像处理器的后处理器250的逻辑门的数目，从而降低功耗。

图10示出了根据本公开另一实施例的图1的图像处理器200的配置。图10示出了图像处理器200的示例配置，能够选择性地调整帧速率，按照多个分割块的形式处理帧图像，并将处理后的块组合成捕获图像。

参照图10，预处理器210对从摄像机100获取的全分辨率图像进行预处理。将经预处理的图像提供给图像缩放器220以缩放至浏览图像尺寸和/或像素数目。这里，图像缩放器220可以包括尺寸调整器310和/或平均化单元320。后处理器230对图像缩放器220缩放的图像执行颜色插值、IPC处理和图像转换，以产生至显示单元130的YUV浏览图像。可以如图2和3所示实现用于处理浏览图像的配置和操作。

在预览模式下，预处理器210将全分辨率图像缓冲在缓冲器240中。在预览模式下，后处理器250和静止图像编解码器260不操作以节省电力。

时钟产生单元包括高时钟产生器610和低时钟产生器620，以在控制器110的控制下选择性地提供捕获图像处理器的操作时钟，其中高时钟产生器610产生与预览/电影ISP的操作时钟的速度相同的时钟速度，低时钟产生器620产生比高时钟速度慢的时钟速度。这里，缓冲器240以预览/电影ISP的帧速率进行操作。即，缓冲器240在每个帧周期以该帧速率(例如，30fps)缓冲由图像处理器200处理的帧图像。捕获图像处理器的操作时钟由用户选择，并具有与浏览图像处理器的时钟速度相等或比其低的时钟速度。这里，假设高时钟速度是能够以30fps的帧速率处理图像的时钟速度，低时钟速度是能够以15fps的帧速率处理图像的时钟速度。

如果在这种状态下输入捕获请求，控制器100在缓冲器240中缓冲的帧图像之中选择能够补偿快门滞后的帧图像。所选帧图像可以如图9a所示构造。如果检测到捕获请求，则控制器100读取被分割成预定尺寸块的帧图像，并由后处理器250对从缓冲器输出的分割的图像进行后处理，然后由组合器810组合成帧图像。组合器810产生的帧图像由静止图像编解码器260编码，然后作为捕获图像存储在存储单元120中。

按照时钟速度比预览/电影ISP的时钟速度慢的时钟对捕获图像进行处理，因此可以降低电流消耗。此外，对分割成小块的帧图像进行处理，因此可以减少捕获图像处理器的后处理器250的门个数，从而降低硬件复杂度和功耗。

图11示出了根据本公开另一实施例的摄像机设备的配置。

参照图11，摄像机110负责在操作模式下利用传感器来获取图像。摄像机110具有光学单元、图像传感器和信号处理器。可以按照图1所示来实现摄像机110的配置和操作。

在图11中，图像处理器200包括控制器、预览/电影ISP和静止捕获ISP。图11的图像处理器200的特征在于，预处理器包括预览/电影ISP和捕获图像处理器。

首先，描述预览/电影ISP的配置。图像缩放器220负责将摄像机110输出的全分辨率图像调整成要在显示单元130的屏幕上显示的图像的尺寸，以及/或者调整成要以运动图像格式存储的尺寸。预处理器1110对图像缩放器220输出的浏览图像进行预处理。这里，预处理操作可以包括3A(即，自动白平衡(AWB)、自动曝光(AE)和自动聚焦(AF))提取和处理，镜头遮蔽校正，死像素校正，拐点补偿等。后处理器230对缩放后的拜耳数据执行颜色插值、降噪、颜色校正和图像转换，以产生YUV数据。后处理器230输出的图像是被缩放以适合显示单元130的屏幕尺寸的YUV数据。

浏览图像可以用作要存储的运动图像。在这种情况下，如果请求运动图像拍摄，则运动图像编解码器270对浏览图像进行编码以在存储单元120中存储编码图像。这里，浏览图像的尺寸或像素数目可以等于或大于预览模式的浏览图像的尺寸或像素数目。在这种情况下，图像缩放器220能够包括预览模式缩放器和运动图像模式缩放器，或能够根据模式控制来改变缩放比率。在这种情况下，如果输入了运动图像记录请求，则控制器100控制图像缩放器220将图像的尺寸缩放成运动图像的尺寸，使得图像缩放器220将摄像机110输出的全分辨率图像缩放成运动图像尺寸。这里，可以按照例如H.264等多种运动图像格式之一对运动图像编码。

其次，描述捕获图像处理单元的配置。缓冲器240将预处理器210输出的全分辨率图像缓冲。这里，缓冲器240配置为具有足够大尺寸以存储能够补偿摄像机设备的快门滞后的帧图像。在本公开的实施例中，缓冲器240构造成环形缓冲器形式，环形缓冲器具有的尺寸等于或小于5帧图像。缓冲器240逐帧地对摄像机输出的全分辨率图像进行缓冲，控制器100响应于捕获请求，从缓冲器240中选择能够补偿零快门滞后的帧图像并将所选帧图像提供给预处理器1120。预处理器1120按照与预处理器1110相同的方式对从缓冲器240选择的全分辨率图像进行预处理。后处理器250对预处理器1120输出的全分辨率图像执行颜色插值、降噪、颜色校正和颜色转换，以产生YUV数据。静止图像编解码器260对后处理器250输出的全分辨率图像进行压缩编码。将静止图像编解码器260编码的捕获图像存储在存储单元120中。

存储单元120是用于存储摄像机设备拍摄的图像的存储器；虽然在本公开实施例中描述针对存储单元120存储静止图像的情况，但是存储单元120也能够存储运动图像。显示单元130是利用LCD或LED等实现的显示设备，用于显示摄像机设备拍摄的图像和拍摄信息。输入单元140能够包括用于配置功能和产生用于执行操作的命令的多个按钮。这里，输入单元130的按钮可以包括在摄像机设备的主体上布置的按键、以及在触摸面板上提供的虚拟按键。在这种情况下，可以在触摸屏上呈现显示单元130和输入单元140提供的一些按钮。

如图11所示结构的摄像机设备具有用于分别处理浏览图像和捕获图像的预处理器1110和1120，预处理器1110和1120配置为适当地处理浏览和捕获图像。此时，浏览图像处理单元在摄像机操作模式下操作，而捕获图像处理单元仅在输入了捕获请求时才激活。在图11中，预处理器1110在摄像机操作模式下对缩放成浏览图像尺寸的图像进行预处理，预处理器1120响应于捕获请求而被激活以对摄像机的全分辨率图像进行预处理，从而高效地执行预处理操作。

描述上述结构的摄像机设备的操作。如果用户经由输入单元140输入摄像机驱动命令，则控制器100确定摄像机110。摄像机110输出的图像可以是具有摄像机的全分辨率的拜耳图像，该图像输入至图像缩放器220。图像缩放器220在控制器100的控制下，在每个帧周期将全分辨率图像缩放成适合显示单元130的尺寸。

这里，可以通过调整尺寸、抽值、插值、裁剪、相加和平均化中的至少一种来执行图像缩放。预处理器1110对经缩放的浏览图像进行预处理。即，可以将预处理器1110配置为具有能够处理浏览图像的尺寸。经预处理的浏览图像由后处理器230进行后处理。可以通过颜色插值、降噪、伽马补偿和颜色转换来执行后处理。即，后处理器对像素数据执行颜色插值以产生RGB数据，降低经插值的像素数据的噪声，并将经降噪的数据转换为YUV数据。在显示单元130的屏幕上显示经后处理的浏览图像。

缓冲器240按照每个帧周期对摄像机的全分辨率图像进行缓冲。缓冲器240具有环形缓冲器结构以缓冲预定数目的帧图像。在预览模式下，控制器100控制缓冲器240缓冲在每个帧周期产生的高分辨率帧图像，同时预处理器1120、后处理器250和静止图像编解码器260不操作。在本公开实施例中，摄像机设备在预览模式下利用浏览图像处理单元的图像缩放器220、预处理器1110和后处理器230来处理摄像机110获取的每个帧图像以产生要在显示单元130的屏幕上显示的浏览图像，同时缓冲器240缓冲全分辨率图像。即，图像处理器200操作以产生和显示浏览图像，而不执行任何用于存储图像的处理操作。此时，在缓冲作为捕获候选的高分辨率图像的同时，在将浏览图像缩小成小尺寸图像的状态下对浏览图像进行预处理、后处理和图像转换，从而降低功耗和发热。

在预览模式下，如果经由输入单元140输入捕获请求，则控制器100驱动预处理器1120、后处理器250和静止图像编解码器260。如果检测到快门按压，控制器100检测快门按压时间，在缓冲器240中缓冲的图像之中选择能够补偿快门滞后的帧图像，并将所选图像提供给预处理器1120。预处理器1120仅对要捕获的图像进行预处理，经预处理的图像由后处理器250执行后处理并由静止图像编解码器260进行编码以作为捕获图像存储在存储单元120中。这意味着只有在输入捕获请求时才执行预处理、后处理和编码操作。

虽然描述了捕获图像是从摄像机110的全分辨率图像获取的情况，但是如果有必要可以对全分辨率图像进行缩放。即，摄像机设备的用户可以捕获尺寸(或分辨率)比全分辨率图像小的静止图像。在这种情况下，可以在缓冲器240的输出端布置不同于图像缩放器220的图像缩放器，使得将缓冲器240的输出提供给该图像缩放器。

如上所述，根据本公开实施例的摄像机设备能够实现零快门滞后。在本公开实施例中，为了补偿摄像机设备的快门滞后，摄像机设备响应于捕获请求，处理缓冲器240中缓冲的帧图像之一以产生捕获图像。

响应于用户的捕获请求而捕获的相片可能不是正常地拍摄到的。在拍摄肖像相片的示例情况下，相片模特可能闭眼或者摄像机可能抖动。在这种情况下，优选的是捕获另一帧图像。根据本公开实施例，如果有必要，用户能够用缓冲的预定数目的帧图像中选择的另一帧图像来替换不想要的帧图像。

在上述状态下，如果经由输入单元140输入静止图像回放请求，则控制器100访问存储单元120中所请求的静止图像，静止图像编解码器260对所访问的静止图像进行解码，以在显示单元130的屏幕上显示解码的静止图像。如果经由输入单元140输入运动图像回放请求，则控制器100访问存储单元120中所请求的运动图像并将所访问的运动图像提供给运动图像编解码器270，以便运动图像编解码器270对运动图像解码，以在显示单元130的屏幕上播放。

图12示出了根据本公开实施例的图11的摄像机设备的图像处理器的配置。图12示出了图像处理器的示例配置，能够在产生捕获图像时选择性地调整帧速率。

参照图12，除了图11的配置之外，图像处理器还包括高时钟产生器610和低时钟产生器620，并在控制器110的控制下控制选择器630选择捕获图像处理器的操作时钟，即，如图12所示配置的摄像机设备的图像处理器能够根据用户选择来选择图像处理器的操作时钟。图像处理器按照图11的图像处理器的相同方式操作，并且时钟选择器能够按照图6和7的选择器相同的方式操作。

图13示出了图11所示结构的摄像机设备的图像处理器的配置。图13示出了用于按照如下方式产生捕获图像的示例配置：图像处理器按照分割块的形式处理帧图像，然后将经处理的块组合成捕获图像。

除了图11的配置之外，图13所示结构的图像处理器还包括组合器810，并且控制器100在图9a到9c所示的分割状态下对帧图像进行预处理和后处理，然后将经处理的分割块组合成帧图像。此时，图像处理器按照图11所示的相同方式操作，并且参照图8和9a到9c所示的相同方式处理分割的图像块。

在上述结构的摄像机设备中，可以在存储运动图像的状态下存储捕获图像。即，浏览图像是能够作为运动图像存储的图像，并且在运动图像记录模式下，上述结构的图像处理设备在每个帧周期产生浏览图像。如上所述，可以参照运动图像格式存储浏览图像。在运动图像记录模式下，图像处理设备在显示单元130的屏幕上显示浏览图像，并利用运动图像编解码器270对浏览图像进行编码以逐帧地同时存储编码图像在存储单元120中。如果在这种状态下输入捕获请求命令，则图像处理器设备产生浏览图像，同时对零快门滞后的帧图像进行编码。图像处理设备在显示单元130的屏幕上显示浏览图像，并同时利用运动图像编解码器270对浏览图像进行编码以将编码图像作为捕获图像存储在存储单元130中。因此，也可以在拍摄运动图像的同时拍摄快照。

图14示出了根据本公开另一实施例的摄像机设备的配置。

参照图14，摄像机110负责在摄像机操作模式下利用图像传感器获取图像。

图像处理器1410对摄像机110获取的图像进行处理以产生要在显示单元130的屏幕上显示的浏览图像、以及要响应于捕获请求而存储的捕获图像。这里，浏览图像可以是YUV图像，捕获图像可以是压缩编码的JPEG图像。图像处理器1410对摄像机110获取的图像进行缩放以适合显示单元130的屏幕尺寸，并将图像转换为YUV图像以显示在显示单元130的屏幕上。图像处理器1410对摄像机的全分辨率图像进行缓冲，并在快门按压时刻对能够补偿快门滞后的帧图像进行压缩编码。这里，捕获图像可以是具有摄像机全分辨率的图像。图像处理器1410产生浏览图像并在每个帧周期缓冲捕获图像。

应用处理器1420在摄像机操作模式下对图像处理器1410产生的浏览图像进行缓冲，并响应于捕获请求对浏览图像和捕获图像进行缓冲。应用处理器1420控制显示单元130显示所缓冲的浏览图像，并响应于捕获请求控制存储单元120存储所缓冲的捕获图像。

输入单元140能够产生至应用处理器1420的摄像机驱动命令和捕获命令。显示单元130在预览模式下显示应用处理器1420输出的浏览图像。这里，输入单元130可以是能够感测用户的触摸输入的触摸板，显示单元130可以是用于显示通过运行程序而产生的数据和图像的LCD和OLED面板之一。这里，可以将输入单元140和显示单元130集成为触摸屏。输入单元140能够包括在摄像机设备外部布置的按钮。

存储单元120响应于捕获请求来存储应用处理器1420输出的捕获图像。

在终端设备装备有摄像机设备的情况下，应用处理器1420能够包括通信单元1430。在这种情况下，通信单元1430能够与外部设备或基站进行通信。通信单元1430包括发射机、接收机、调制器和解调器，发射机具有用于将待发射信号上变频的上变频器、和用于放大发射信号的功率放大器，接收机具有对接收的RF信号进行低噪放大的低噪放大器、以及用于将接收的RF信号下变频为基带信号的下变频器，调制器用于调制发射信号并传送给发射机，解调器用于对接收机输出的接收信号进行解调。这里，调制器/解调器能够处理WCDMA、GSM、LTE、Wi-Fi和WiBro信号中的至少一种。在提供了通信的情况下，应用处理器1420可以配置具有移动处理器(MP)和应用处理器。

描述根据本公开实施例的用于处理摄像机获取的图像的应用处理器1420的配置和操作。

图15示出了图14的图像处理器1410的配置。

参照图15，图像处理控制器1510控制图像处理器和摄像机110的操作。

预处理器210执行操作，例如3A(即，自动白平衡(AWB)、自动曝光(AE)和自动聚焦(AF))提取和处理，镜头遮蔽校正，死像素校正，拐点补偿等。图像缩放器220将预处理后的图像缩放为浏览图像尺寸。后处理器230对缩放成浏览图像尺寸的拜耳数据执行颜色插值、降噪和图像转换，以产生YUV数据。

缓冲器240将预处理器210输出的摄像机全分辨率图像缓冲。这里，缓冲器240配置为具有环形缓冲器形式，并且具有足够大尺寸以存储能够补偿摄像机设备的快门滞后的帧图像。缓冲器240逐帧对预处理器210输出的全分辨率图像进行缓冲，并访问在图像处理控制器1510的控制下响应于捕获请求而选择的图像。后处理器250对从缓冲器240中选择的全分辨率图像执行颜色插值、降噪、颜色校正和图像转换，以产生YUV数据。静止图像编解码器260对后处理器250输出的全分辨率图像进行压缩编码。

复用器1520在图像处理控制器1510的控制下，对后处理器230和静止图像编解码器260的输出进行复用。描述上述结构的图像处理器的操作。在预览模式下，图像处理控制器1510驱动摄像机110获取图像。在预览模式下，预处理器210对每个帧图像进行预处理，图像缩放器220将经预处理的帧图像缩放成浏览图像，并且后处理器230对浏览图像进行后处理以输出YUV图像。缓冲器240对预处理器210输出的摄像机全分辨率图像进行缓冲。在预览模式下，后处理器250和静止图像编解码器不操作，因此复用器1520输出的图像是浏览图像。

如果在这种状态下输入捕获请求，则图像处理控制器1510访问缓冲器中能够实现零快门滞后的帧图像，利用后处理器250将所访问的帧图像转换为YUV图像，并且静止图像编解码器260对YUV图像进行压缩编码，以提供压缩的捕获图像至复用器1520。复用器1520对浏览图像和捕获图像进行复用。此时，捕获图像是在捕获请求时刻获取的具有零快门滞后的静止图像(摄像机全分辨率图像)。

图15所示结构的图像处理器的图像缩放器220可以配置为具有图2、3或5所示的尺寸调整器和/或平均化单元。如图15所示结构的图像处理器可以配置为具有参照图6所述的多个操作时钟，参照图8所述的以分割块形式处理帧图像，或者参照图10所述的用多个操作时钟处理分割的帧图像。图15所示结构的图像处理器能够包括浏览图像处理器、捕获图像处理器、以及参照图11所述的处理器1110和1120。在这种情况下，将从摄像机110输出的全分辨率图像提供给图像缩放器220和缓冲器240，并且预处理器1110和1120对彼此尺寸不同的浏览图像和捕获图像进行预处理。此时，图像缩放器220可以如上所述利用尺寸调整器和/或平均化单元来实现。在独立地配置预处理器1110和1120的情况下，图15所示结构的图像处理器能够以多个操作时钟操作，如图13所示处理分割的帧图像，利用多个操作时钟和分割的帧图像块来产生捕获图像。

图16示出了图14的应用处理器1420的配置。图14的应用处理器1420配置具有对从如图16所示结构的图像处理器输出的图像进行处理的功能块。然而，应用处理器1420也能够配置为利用通信单元1430与外部通信网络进行无线电通信。下面描述对摄像机110获取的图像进行处理的操作。

参照图16，应用处理控制器1600根据从输入单元140输入的命令控制图像处理器1410的操作，缓冲图像处理器1410输出的图像，在显示单元130的屏幕上显示图像，并响应于捕获命令在存储单元120中存储缓冲的捕获图像。解复用器1610将图像处理器的输出解复用成浏览图像或浏览和捕获图像。在应用处理控制器1600的控制下，缓冲器1620对浏览图像或浏览和捕获图像以及压缩图像进行缓冲。

应用处理器1420包括运动图像编解码器1630，用于响应于运动图像记录请求对视频数据进行压缩，可以利用例如H.264编码器等多种运动图像编码器之一来实现运动图像编解码器1630。

应用处理器1420也能够包括静止图像编解码器1640。

描述应用处理器1410的操作。如果用户通过输入单元140输入摄像机驱动命令，则应用处理控制器1600向图像处理器1410通知该命令，使得图像处理控制器1510驱动摄像机110。图像处理器1410将摄像机110输出的图像转换为浏览图像并缓冲摄像机全分辨率图像。即，图像处理器1410仅输出浏览图像。应用处理器1420将浏览图像缓冲在浏览图像缓冲器1623中，应用处理控制器1600在显示单元130的屏幕上显示缓冲的浏览图像。

在预览模式下，如果输入捕获请求，则应用处理控制器1600向图像处理控制器1510通知该捕获请求。图像处理控制器1510在缓冲器240中缓冲的帧图像中访问能够实现零快门滞后的帧图像，图像处理器1410将所访问的帧图像转换为YUV图像并对YUV图像进行压缩编码。图像处理器1410利用复用器1520对浏览图像和捕获图像进行复用。图像处理器1410仅在请求捕获图像时才对浏览和捕获图像进行复用以输出复用数据，并且在其他帧持续时间中仅输出浏览图像。应用处理器1510利用解复用器1610将复用结果解复用成浏览和捕获图像，并分别在浏览图像缓冲器1623和压缩图像缓冲器1625中缓冲解复用的浏览和捕获图像。应用处理器1420在显示单元的屏幕上显示缓冲的浏览图像，并在存储单元120中存储缓冲的捕获图像。

在上述结构的摄像机设备中，即使当正在存储运动图像时也可以存储捕获图像。即，浏览图像是能够作为运动图像格式存储的图像，并且在运动图像记录模式下，图像处理器1410在每个帧周期产生至应用处理器1420的浏览图像。应用处理器1420显示在浏览图像缓冲器1623中缓冲的浏览图像，并利用运动图像编解码器1630对浏览图像进行编码以存储压缩图像在存储单元120中。如果在这种状态下输入捕获请求命令，则图像处理器1410将能够实现零快门滞后的帧图像与浏览图像一起编码。应用处理器1420在显示单元130的屏幕上显示在浏览图像缓冲器1623中缓冲的浏览图像，并利用运动图像编解码器1630对浏览图像进行编码以存储编码图像，同时将压缩图像缓冲器1625中缓冲的捕获图像存储在存储单元120中。

根据本公开实施例，摄像机设备具有针对预览/运动图像的浏览图像处理器以及捕获图像处理器，以解决电流消耗和过热问题。这里，摄像机110同时产生至浏览图像处理器和捕获图像处理器的全分辨率图像。浏览图像处理器在每个帧周期将全分辨率图像缩放成浏览图像，处理缩放后的浏览图像以适合显示单元130的颜色格式，并在显示单元130的屏幕上显示处理图像。

将摄像机110产生的全分辨率图像缓冲在缓冲器240中，以在响应于捕获请求来输出能够实现零快门滞后的帧图像中使用。这里，缓冲器240可以配置成环形缓冲器结构，能够按照每个帧周期来存储全帧图像。对帧图像进行缓冲，以响应于拍摄请求选择与快门按压时间或拍摄定时同步的帧图像(即，能够实现零快门滞后的帧图像)。缓冲器240中缓冲的帧图像也能够用于连续拍摄。即，如果用户请求连续拍摄(例如，连续拍照模式或脉冲串拍照模式)，则控制器100依次访问缓冲器240中缓冲的帧图像，静止捕获ISP对访问的帧图像进行处理和编码，以将压缩图像存储在存储单元120中。由浏览图像处理器处理的浏览图像可以用于存储运动图像，并且在运动图像记录模式下，捕获图像处理器能够响应于捕获请求来产生和存储静止图像(视频快照)。

捕获图像处理器的处理速度可以等于或不同于浏览图像处理器的处理速度。在这种情况下，可以提供低时钟产生器和高时钟产生器，以便按照与浏览图像处理器相同的帧速率(例如，30fps)或者按照比浏览图像处理器的帧速率低的帧速率(例如，15fps)来处理图像。

静止捕获ISP能够将捕获图像分割成具有预定尺寸的块，顺序地处理块并将处理后的块组合以重新生成帧图像。在这种情况下，捕获图像处理器可以在结构上简化(减少门数目)。

根据本公开实施例，除了在输入捕获请求时，捕获图像处理器仅执行按照每个帧周期缓冲图像的操作而不执行其他操作，从而降低不必要的电流消耗。缓冲的图像是全分辨率拜耳数据，如果有必要，可以利用其他图像处理算法对拜耳图像进行处理。通过根据上述方法处理浏览和捕获图像，可以实现零快门滞后并降低不必要的电流消耗。

图17示出了根据本公开实施例的摄像机设备或配备有摄像机的终端设备的图像处理方法。摄像机设备的结构可以与图1或11所示相同。下面，描述如图1配置的摄像机设备。

参照图17，如果经由输入单元140输入摄像机驱动命令，控制器100在步骤1711驱动摄像机110，并在步骤1713执行预览模式。在预览模式下，控制器100通过图11所示过程处理图像。图18是示出了根据本公开实施例的摄像机设备的预览模式图像处理过程的流程图。

参照图18，控制器100在步骤1811对摄像机110获取的全分辨率图像进行预处理。此时，预处理是对如上所述处理摄像机110获取的图像的处理。预处理可以包括3A(即，自动白平衡(AWB)、自动曝光(AE)和自动聚焦(AF))提取和处理，镜头遮蔽校正，死像素校正，拐点补偿等。

之后，在步骤1813控制器100将经预处理的全分辨率图像缩放成浏览图像，并同时缓冲经预处理的全分辨率图像。接着，控制器100在步骤1815对缩放后的浏览图像进行后处理，并在步骤1817在显示单元130的屏幕上显示经后处理的图像。图19是示出了图18的预览图像产生和显示步骤的具体内容的流程图。

参照图19，可以按照尺寸调整或平均化操作的方式来执行根据本公开实施例的图像缩放。在利用尺寸调整器实现图像缩放器的情况下，控制器100在步骤1911检测到上述情况，并在步骤1913通过尺寸调整操作将全分辨率图像缩放成浏览图像。此时，控制器100能够在步骤1913对全分辨率图像执行抽值、插值和裁剪以产生浏览图像。在利用平均化单元实现图像缩放器的情况下，控制器100在步骤1911检测到上述情况，并对相邻像素执行求和以及平均化以减少全分辨率图像的像素数目。此时，可以如参照图4a和4b所述的那样执行平均化操作。

在完成图像缩放操作之后，控制器100在步骤1917到1921执行后处理操作以产生浏览图像。如上所述，后处理操作可以包括颜色插值、IPC处理和图像转换。接着，控制器100在步骤1923在显示单元130的屏幕上显示YUV浏览图像。

在预览模式下，在步骤1713，控制器100通过图19的过程将摄像机全分辨率图像缩放成浏览图像尺寸，对缩放后的图像执行后处理并在显示单元130的屏幕上显示经后处理的图像，同时对全分辨率图像进行缓冲。

如果在这种状态下输入捕获请求，则控制器100在步骤1715检测到该请求，并在步骤1715在缓冲的全分辨率图像之中选择能够实现零快门滞后的全分辨率图像并存储所选图像。图20是示出了图17的捕获图像产生步骤的具体内容的流程图。

参照图20，如果输入捕获请求，则控制器100在步骤2011检查缓冲器240中缓冲的图像之中能够实现零快门滞后的帧图像，在步骤2013对所选帧图像进行后处理，在步骤2015对后处理的图像进行编码，并在步骤2017在存储单元120中存储编码图像。此时，可以按照对浏览图像进行后处理的相同方式来执行该后处理，并且要后处理的图像可以是摄像机100的全分辨率图像。

此时，可以按照较低速度执行捕获图像处理，而非浏览图像处理操作中那样逐帧地执行图像处理。降低帧速率的原因在于，由于捕获图像是摄像机全分辨率图像，要简化摄像机设备的图像处理复杂度并降低捕获图像处理的电流消耗。图21示出了按照高和低处理速度之中用户选择的速度执行的捕获图像处理，其可应用于图20。

参照图21，如果输入捕获请求，则控制器100在步骤2111检查在快门按压时刻获取的帧图像(即，零快门滞后图像)。接着，控制器100在步骤2113确定用户所选的时钟是高时钟或低时钟，如果所选时钟是高时钟，则控制器100在步骤2115到2119中选择帧图像、处理所选图像并对处理后的图像进行编码。此时，高时钟具有能够按照每个帧周期处理图像的时钟速度(例如，能够按照30fps处理图像的时钟)。接着，控制器110在步骤2121将以高时钟速度处理的捕获图像存储在存储单元120中。在以高时钟速度处理捕获图像的情况下，控制器100能够响应于捕获请求将能够实现零快门滞后的帧图像存储作为捕获图像。

否则，如果所选时钟是低时钟，则控制器在步骤2113检测到该情况，并在步骤2123到2127中以低时钟速度选择能够实现零快门滞后的帧图像、处理所选图像并对处理后的图像进行编码。图7示出了低帧速率的示例，其为浏览图像帧速率的1/2(15fps)。在以低时钟速度产生捕获图像的情况下，可以按照每两个帧周期来处理捕获图像。在步骤2121将这样产生的捕获图像存储在存储单元120中。

可以在图20的过程中处理被分割的捕获图像。由于捕获图像应该是从摄像机全分辨率图像获取的，所以后处理器250必须配置有比处理浏览图像的后处理器230的存储尺寸大的存储尺寸。在这种情况下，随着后处理器250的结构变得更加复杂，电流消耗增加。因此，如下处理图像是高效的：将捕获图像分割成预定尺寸的块，并将后处理器250配置为具有能够按照分割块为单位来处理图像的尺寸，并且在后处理之后对块进行组合。图22是示出了在图20的捕获图像过程中分割捕获图像、处理分割的图像块并将经处理的块组合以产生帧图像这一过程的流程图。

参照图22，如果输入捕获请求，则控制器100在步骤2211检查在快门按压时刻获取的帧图像(即，零快门滞后图像)，并从缓冲器240中选择相应的帧图像。然后，控制器100在步骤2215将所选图像分割成具有预定尺寸的块，并在步骤2217依次对块进行后处理。此时，可以如图9a到9c所示来分割帧图像。将经过后处理的图像块与先前处理过的图像块组合，如果帧图像处理未完成(即，如果还有待处理的图像块)，则控制器100在步骤2221对此进行检测，在步骤2223选择要访问的下一图像块，并且过程返回到步骤2215。该过程重复，直到处理了所有分割图像块以产生一个帧，如果产生了帧图像，则控制器100在步骤2221对此进行检测，在步骤2225编码该帧图像，并在步骤2217将编码的帧图像存储在存储单元120中。

在如图20到22所示处理捕获图像的情况下，如参照图18和19所述的那样，控制器100按照每个帧周期来执行产生和处理浏览图像以在屏幕上显示经处理的图像的操作。

图23示出了根据本公开另一实施例，摄像机设备的预览模式下的图像处理过程。图23示出了在预览模式下静止捕获ISP的浏览图像处理和摄像机全分辨率图像处理的过程。

参照图23，将预览模式下摄像机110产生的全分辨率图像提供给浏览图像处理器和静止捕获ISP。控制器100在步骤2319将摄像机全分辨率图像缓冲在缓冲器240中。控制器100还在步骤2311将摄像机全分辨率图像缩放成浏览图像，在步骤2313对浏览图像进行预处理，在步骤2315对图像进行后处理，并通过显示单元130输出经后处理的图像。即，在预览模式下，摄像机设备按照每个帧周期缓冲由摄像机110产生的全分辨率图像并产生要在显示单元130的屏幕上显示的浏览图像。此时，可以按照如下方式执行浏览图像产生过程：将摄像机全分辨率图像缩放成浏览图像，对浏览图像进行预处理，并对图像进行后处理以在显示单元130的屏幕上显示经处理的图像。由于预览/电影ISP对尺寸减小了的浏览图像执行预处理和后处理操作，所以可以较低复杂度来配置图像处理器(预处理器和后处理器)，从而降低图像处理中的电流消耗。

在这种状态下如果输入捕获请求，则控制器100对此进行检测并执行图24的捕获图像处理过程。图24是示出了根据本公开实施例的摄像机设备的捕获图像处理过程的流程图。

参照图24，如果检测到捕获请求，则控制器100在步骤2411检查能够实现零快门滞后的帧图像，并在步骤2413访问缓冲器240中的相应帧图像。接着，控制器100在步骤2415对访问的帧进行预处理，在步骤2417对经预处理的帧图像进行后处理，在步骤2419对经后处理的图像进行编码，并在步骤2421将编码图像存储在存储单元120中。此时，如图23所示同时执行浏览图像处理。

如图23和24所示，根据本公开另一实施例的摄像机设备的图像处理方法对摄像机100产生的全分辨率图像进行缓冲，同时将全分辨率图像缩放成浏览图像并依次对浏览图像进行预处理和后处理以在屏幕上显示处理后的图像。如果检测到捕获请求，则控制器100对缓冲的全分辨率图像执行预处理、后处理和编码以存储编码图像。由于摄像机有区别地处理浏览图像和捕获图像，所以可以简化在摄像机操作模式下激活的预览/电影ISP的结构，从而简化摄像机设备的图像处理器并降低电流消耗。

图25示出了根据本发明实施例的摄像机设备的配置。当前摄像机110的图像传感器产生高像素图像。此时，图像处理器可以不直接处理摄像机110产生的高像素图像。在这种情况下，图像处理器必须降低摄像机110产生的图像的帧速率或者将图像缩放到适当尺寸以高效处理图像。为此，摄像机设备必须具有两个或更多个图像处理器以并行处理摄像机110产生的图像，使得按照期望的帧速率来处理高像素图像。图25示出了利用并行布置的两个图像处理器处理摄像机110产生的图像的示例过程。

参照图25，图像处理器包括第一图像处理器(具有预处理器2521，后处理器2523和图像缩放器2525)和第二图像处理器(具有预处理器2531，后处理器2533和图像缩放器2535)、以及缓冲器2510、2540和2445以确保第一和第二图像处理器的图像处理时间。

描述上述结构的图像处理器的操作。缓冲器2510缓冲由摄像机110产生的图像。这里，缓冲器2510能够配置为环形缓冲器结构。控制器100控制缓冲器2510向第一图像处理器提供奇数编号的帧图像，并向第二图像处理器提供偶数编号的帧图像。第一图像处理器2520接收奇数编号的帧图像，并通过预处理器2521，后处理器2523和图像缩放器2525处理接收的帧图像，以产生奇数编号的帧浏览图像。类似地，第二图像处理器2530接收偶数编号的帧图像，并通过预处理器2531，后处理器2533和图像缩放器2535处理接收的帧图像，以产生偶数编号的帧浏览图像。这里，预处理器2521和2531、后处理器2523和2533以及图像缩放器2525和2535可以在结构和操作上分别等同于预处理器210，后处理器230和缩放器220。缓冲器2510中缓冲的图像可以是摄像机全分辨率图像，因此后处理器2523和2533可以输出全分辨率图像。

在这种状态下，缓冲器2540缓冲由图像缩放器2525和2535输出的奇数编号和偶数编号的浏览图像，并且在控制器100的控制下对缓冲的图像进行依次访问以依次(即，按照奇数编号和偶数编号的帧浏览图像的产生顺序交织的)提供给显示单元130。相应地，显示单元130能够按照每个帧周期显示摄像机110产生的图像。缓冲器2545也可以缓冲由后处理器2523和2533处理的全分辨率图像。这里，缓冲器2540和2545可以配置成环形缓冲器结构。

如果在这种状态下由输入单元140产生捕获请求信号，控制器110对此进行检测并访问在捕获请求定时处获取的帧图像。静止图像编解码器2550对访问的全分辨率图像进行压缩编码并将编码图像存储在存储单元120中。即，缓冲器2545以预定帧速率对摄像机获取的全分辨率图像进行缓冲，控制器100选择能够实现零快门滞后的帧图像，对所选帧图像编码并存储编码图像。

如上所述，在摄像机设备的第一图像处理器2520和第二图像处理器2530是无传感器输出的低速处理器的情况下，缓冲器2510将以环形顺序存储的图像整理成奇数编号图像(1，3，5，7，...)和偶数编号图像(2，4，6，8，...)，使得第一图像处理器2520和第二图像处理器2530分别处理奇数编号图像和偶数编号图像。由于第一图像处理器2520和第二图像处理器2530按照比率50∶50来处理摄像机110产生的图像，如果第一图像处理器2520和第二图像处理器2530具有的能力超过摄像机100的能力的1/2，则可以实时地处理帧图像。虽然描述了摄像机设备具有两个图像处理器的情况，但是可以将摄像机设备配置为具有多于两个图像处理器。

此时，第一图像处理器2520和第二图像处理器2530向后处理器2523和2535输出全分辨率图像，图像缩放器2525和2535将全分辨率图像缩放到显示单元130的屏幕尺寸，缩放后的图像按照1，2，3，4，5，6，7，...的顺序排列，该顺序与摄像机产生的图像的顺序相同，从而无缝地输出图像。按照与摄像机110的输出顺序相同的顺序1，2，3，4，5，6，7，...将后处理器2523和2535输出的全分辨率图像存储。如果输入捕获请求，则从缓冲器2545中选择在捕获请求时刻获取的全分辨率图像以存储在存储单元120中。

如上所述，根据本公开实施例的摄像机设备具有分离地配置并独立操作的预览/运动图像处理器和捕获图像处理器，从而降低电流消耗和过热。

如上所述，本公开的摄像机设备或配备有摄像机的终端设备通过逐帧地处理摄像机的图像传感器获取的图像来产生预览和捕获图像，以捕获在期望时间获取的图像，从而实现零快门滞后和选择性地存储拍摄的图像之中的期望图像。此外，本公开的摄像机设备和配备有摄像机的终端设备能够配置为分离地具有用于处理捕获图像的部件和用于处理预览图像的部件以相对地简化预览图像处理部件，从而降低摄像机设备和配备有摄像机的终端设备的功耗。

虽然利用示例实施例描述了本公开，但是本领域技术人员能够设想多种改变和修改。本公开旨在涵盖落入所附权利要求范围内的改变和修改。

Claims (32)

1.一种摄像机设备的图像处理装置，所述装置包括：

摄像机，配置为产生全分辨率图像；

缓冲器，配置为缓冲全分辨率图像；

浏览图像处理器，配置为对缓冲的全分辨率图像进行缩放以产生浏览图像；

捕获图像处理器，配置为对缓冲的全分辨率图像之一进行处理以产生捕获图像；

显示单元，配置为显示浏览图像；以及

存储单元，配置为存储捕获图像。

2.根据权利要求1所述的装置，其中，缓冲器包括配置为缓冲预定数目的帧图像的环形缓冲器。

3.根据权利要求2所述的装置，还包括连接至摄像机的输出端的预处理器，其中预处理器配置为对摄像机输出的图像执行死像素校正和镜头遮蔽校正。

4.根据权利要求3所述的装置，其中浏览图像处理器包括：

图像缩放器，配置为将经预处理的图像缩放成浏览图像；以及

后处理器，配置为对经缩放的浏览图像进行后处理以产生YUV图像。

5.根据权利要求4所述的装置，其中，图像缩放器包括：尺寸调整器，配置为将经预处理的全分辨率图像缩放到显示单元的浏览图像尺寸。

6.根据权利要求4所述的装置，其中，图像缩放器包括：平均化单元，配置为对预处理后的全分辨率图像中的相邻像素进行求和以及平均来减少像素数目，以适合显示单元的浏览图像尺寸。

7.根据权利要求4所述的装置，其中捕获图像处理器包括：

后处理器，配置为对响应于捕获请求而访问的环形缓冲器中的全分辨率图像进行后处理以产生YUV图像；以及

静止图像编解码器，配置为对后处理器输出的图像进行编码。

8.根据权利要求7所述的装置，其中，捕获图像处理器包括：时钟产生器，包括高时钟、频率低于高时钟频率的低时钟、以及配置为选择时钟之一的选择器。

9.根据权利要求4所述的装置，其中捕获图像处理器包括：

后处理器，配置为对环形缓冲器中在快门按压时刻产生的全分辨率图像进行分割和访问，并对分割图像进行后处理以产生YUV图像；

组合器，配置为将后处理器进行后处理后的分割图像组合成帧图像；以及

静止图像编解码器，配置为对组合器输出的帧图像进行编码。

10.根据权利要求3所述的装置，其中浏览图像处理器包括：

图像缩放器，配置为将摄像机产生的全分辨率图像缩放成浏览图像；

预处理器，配置为对浏览图像执行死像素校正和镜头遮蔽校正；以及

后处理器，配置为对经预处理的浏览图像进行颜色插值并将经颜色插值的图像转换为YUV图像。

11.根据权利要求10所述的装置，其中，图像缩放器包括：尺寸调整器，配置为将摄像机的全分辨率图像缩放到显示单元的浏览图像尺寸。

12.根据权利要求9所述的装置，其中，图像缩放器包括：平均化单元，配置为对摄像机的全分辨率图像中的相邻像素进行求和以及平均来减少像素数目，以适合显示单元的浏览图像尺寸。

13.根据权利要求10所述的装置，其中捕获图像处理器包括：

预处理器，配置为响应于捕获请求，对缓冲的全分辨率图像中在快门按压时刻的帧的全分辨率图像执行死像素校正和镜头遮蔽校正；

后处理器，配置为对经预处理的图像进行后处理以产生YUV图像；以及

静止图像编解码器，配置为对后处理器输出的图像进行编码。

14.根据权利要求13所述的装置，其中，捕获图像处理器包括：时钟产生器，包括高时钟、频率低于高时钟频率的低时钟、以及配置为选择时钟之一的选择器。

15.根据权利要求10所述的装置，其中捕获图像处理器包括：

环形缓冲器，配置为缓冲摄像机输出的多个全分辨率图像；

预处理器，配置为对环形缓冲器中在快门按压时刻产生的帧图像进行分割和访问，并对分割图像执行死像素校正和镜头遮蔽校正；

后处理器，配置为对经预处理的分割图像进行后处理以产生YUV图像；

组合器，配置为将后处理器进行处理后的分割图像组合成帧图像；以及

静止图像编解码器，配置为对组合器输出的帧图像进行编码。

16.一种移动终端装置，包括：

摄像机，配置为在摄像机操作模式下产生全分辨率图像；

图像处理器，配置为响应于捕获请求，通过以下操作产生补偿了快门滞后的捕获图像：

按照每个帧周期缓冲摄像机产生的全分辨率图像，

将全分辨率图像同时缩放成浏览图像，并且

对缓冲的图像中在快门按压时刻拍摄的图像进行编码；

应用处理器，配置为：

对图像处理器输出的浏览和捕获图像进行缓冲，

在预览模式下显示浏览图像，并且

在捕获模式下存储捕获图像；

显示单元，配置为在应用处理器的控制下显示浏览图像；以及

存储单元，配置为在应用处理器的控制下存储捕获图像。

17.根据权利要求16所述的移动终端装置，还包括：通信单元，连接至应用处理器，并配置为将移动终端装置无线连接至基站和互联网之一，以发送由应用处理器处理后的应用信息。

18.根据权利要求17所述的移动终端装置，其中，图像处理器包括：

缓冲器，配置为缓冲摄像机产生的全分辨率图像；

浏览图像处理器，配置为将摄像机产生的图像缩放成浏览图像；以及

捕获图像处理器，配置为响应于捕获请求，对缓冲的图像中预定帧的全分辨率图像进行处理以产生捕获图像。

19.根据权利要求18所述的移动终端装置，其中，缓冲器包括配置为缓冲预定数目的帧图像的环形缓冲器。

20.一种摄像机设备的图像处理方法，包括：

在摄像机操作模式下，按照每个帧周期将摄像机的全分辨率图像缓冲并转换为待显示的浏览图像；以及

响应于捕获请求，通过对缓冲的图像中在快门按压时刻拍摄的图像进行编码，来产生和存储补偿了快门滞后的捕获图像。

21.根据权利要求20所述的方法，其中转换包括：

通过死像素校正和镜头遮蔽校正，对摄像机输出的图像执行预处理；

将经预处理的图像缩放成浏览图像；以及

对经缩放的浏览图像进行后处理以产生YUV图像。

22.根据权利要求21所述的方法，其中缩放包括：通过抽值和插值，将经预处理的全分辨率图像尺寸调整到显示单元的浏览图像尺寸。

23.根据权利要求21所述的方法，其中缩放包括：通过对预处理后的全分辨率图像中的相邻像素进行求和以及平均来减少像素数目，以适合显示单元的浏览图像尺寸。

24.根据权利要求21所述的方法，其中产生捕获图像包括：

响应于捕获请求，访问缓冲的帧图像中在快门按压时刻拍摄的帧图像；

通过对访问的帧图像执行颜色插值和图像转换，来进行预处理以产生YUV图像；以及

对经预处理的帧图像进行编码。

25.根据权利要求21所述的方法，其中产生捕获图像包括：

响应于捕获请求，对缓冲的帧图像中在快门按压时刻拍摄的帧图像进行分割和访问；

通过对分割图像执行颜色插值和图像转换，来进行后处理以产生YUV图像；

将经后处理的分割图像组合成帧图像；以及

对帧图像进行编码。

26.根据权利要求20所述的方法，其中转换包括：

将摄像机的全分辨率图像缩放成浏览图像；

通过对浏览图像执行死像素校正和镜头遮蔽校正来预处理浏览图像；以及

对经预处理的浏览图像进行后处理以产生YUV图像。

27.根据权利要求26所述的方法，其中缩放包括：通过抽值和插值，将摄像机的全分辨率图像尺寸调整到浏览图像尺寸。

28.根据权利要求26所述的方法，其中缩放包括：通过对预处理后的全分辨率图像中的相邻像素进行求和以及平均来减少像素数目，以适合显示单元的浏览图像尺寸。

29.根据权利要求26所述的方法，其中产生捕获图像包括：

响应于捕获请求，访问缓冲的帧图像中在快门按压时刻拍摄的帧图像；

通过对访问的帧图像执行颜色插值和图像转换，来进行预处理以产生YUV图像；以及

对经预处理的帧图像进行编码。

30.根据权利要求26所述的方法，其中产生捕获图像包括：

响应于捕获请求，对缓冲的帧图像中在快门按压时刻产生的帧图像进行分割和访问；

通过对分割图像执行颜色插值和图像转换，来进行后处理以产生YUV图像；

将经后处理的分割图像组合成帧图像；以及

对帧图像进行编码。

31.一种摄像机设备，包括：

摄像机，配置为在摄像机操作模式下产生全分辨率图像；

第一缓冲器，配置为逐帧地缓冲摄像机产生的图像；

至少两个图像处理器，配置为对第一缓冲器中缓冲的具有预定帧编号的帧图像进行处理以产生全分辨率图像和浏览图像；

第二缓冲器，配置为按照帧编号顺序缓冲由图像处理器输出的浏览图像；

显示单元，配置为显示第二缓冲器输出的浏览图像；

第三缓冲器，配置为按照帧编号顺序缓冲由图像处理器输出的全分辨率图像；

静止图像编解码器，配置为响应于捕获请求对第三缓冲器中缓冲的图像中在快门按压时刻拍摄的图像进行编码；以及

存储单元，配置为存储编码图像。

32.一种摄像机设备的图像处理方法，所述方法包括：

逐帧地在第一缓冲器中缓冲摄像机产生的图像；

通过使用多个图像处理器对第一缓冲器中具有预定帧编号的帧图像进行处理，来产生全分辨率图像和浏览图像；

在第二缓冲器中按照帧编号顺序缓冲由图像处理器输出的浏览图像；

显示从第二缓冲器输出的浏览图像；

在第三缓冲器中按照帧编号顺序缓冲由图像处理器输出的全分辨率图像；以及

响应于捕获请求对第三缓冲器中缓冲的图像中在快门按压时刻拍摄的图像进行编码和存储。

Images