CN101855651A - 运动辅助的图像传感器配置 - Google Patents

Abstract

一般来说，本发明描述用于基于所关注场景内的运动来配置图像俘获装置的图像传感器的技术。明确地说，所述图像俘获装置分析同一所关注场景的两个或两个以上图像之间的运动且基于所述所关注场景内的运动量来调整所述图像传感器的配置参数，例如增益及/或曝光时间。举例来说，当所述场景包括相对较大运动量时，所述图像俘获装置可以大增益及短曝光时间来配置所述图像传感器，因而减少由大运动量所引起的模糊。相反地，当所述场景包括相对较少运动或无运动时，所述图像俘获装置可以小增益及长曝光时间来配置所述图像传感器，因而减少由大增益所引起的噪声。

Description

运动辅助的图像传感器配置

技术领域

本发明涉及俘获数字图像，且更明确地说，涉及用于调整图像传感器的配置参数的技术。

背景技术

数字图像俘获装置(例如，数字静态图像相机)使用图像传感器以俘获所关注场景的图像。图像俘获装置可包括许多可经调整以在不同环境条件下更好地俘获图像的图像传感器配置参数。举例来说，图像俘获装置可包括许多敏感度设置(常常被称为ISO设置)，其各自可对应于图像传感器的特定增益及/或将图像传感器曝光于所关注场景的曝光时间。较高ISO设置表示较大图像传感器敏感度，且对应于较大增益及较短曝光时间。相反地，较低ISO设置表示较低图像传感器敏感度，且对应于较小增益及较长曝光时间。

通常，图像俘获装置允许用户手动地选择图像传感器配置参数(例如，ISO设置)以用于俘获图像。通过手动地选择ISO设置，用户可选择适合于当前环境条件的ISO设置以在所述环境中更好地俘获图像。或者或另外，图像俘获装置可包括基于在当前环境条件下可得到的光量而选择传感器配置参数(例如，ISO)的自动配置设置功能。图像俘获装置可(例如)包括光传感器，其检测周围环境的明度且基于所检测的光量来选择配置设置。

发明内容

图像俘获装置可基于所关注场景的明度来调整图像传感器的一个或一个以上配置参数。举例来说，在黑暗环境中，图像俘获装置可选择图像传感器的较大增益以增加图像传感器的敏感度且选择将图像传感器曝光于所关注场景的较短曝光时间。相反地，在明亮环境中，图像俘获装置可选择图像传感器的较小增益以减少图像传感器的敏感度且选择将图像传感器曝光于所关注场景的较长曝光时间。然而，基于所关注场景的明度来选择图像传感器的配置参数不会总是导致最佳图像质量。举例来说，如果所关注场景是在明亮环境中但包括许多运动，则所俘获图像可能由于长曝光时间而变模糊。

本发明描述用于基于对所关注场景内的运动的检测来选择图像传感器的配置参数的技术。如下文将详细地描述，图像俘获装置分析同一所关注场景的两个或两个以上图像之间的改变，所述改变指示所述场景内的运动。图像俘获装置基于所关注场景内的运动量来调整图像传感器的配置参数，例如增益及/或曝光时间。举例来说，当场景包括相对较大运动量时，图像俘获装置可以大增益及短曝光时间来配置图像传感器，因而减少由大运动量所引起的模糊。相反地，当场景包括相对较少运动或无运动时，图像俘获装置可以小增益及长曝光时间来配置图像传感器，因而减少由高增益所引起的噪声。

在一个方面中，一种用于俘获数字图像数据的方法包含：分析至少所关注场景的第一图像与所关注场景的第二图像之间的运动；及基于分析来调整由图像传感器用以俘获图像的一个或一个以上配置参数。

在另一方面中，一种用于俘获数字图像数据的装置包含：图像传感器，其用以根据一个或一个以上配置参数来俘获图像；及图像处理器，其分析至少所关注场景的第一图像与所关注场景的第二图像之间的运动且基于分析来调整由图像传感器用以俘获图像的配置参数中的一者或一者以上。

在另一方面中，一种用于俘获数字图像数据的计算机程序产品包含上面具有指令的计算机可读媒体。所述指令包含：用于分析至少所关注场景的第一图像与所关注场景的第二图像之间的运动的代码；及用于基于分析来调整由图像传感器用以俘获图像的一个或一个以上配置参数的代码。

在另一方面中，一种用于俘获数字图像数据的设备包含：用于分析至少所关注场景的第一图像与所关注场景的第二图像之间的运动的装置；及用于基于分析来调整由图像传感器用以俘获图像的一个或一个以上配置参数的装置。

本发明中所描述的技术可以硬件、软件、固件或其任何组合来实施。如果以软件来实施，则软件可在处理器中执行，处理器可指代一个或一个以上处理器，例如微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA，还被称为现场可编程逻辑阵列(FPLA))、或数字信号处理器(DSP)、或其它等效集成或离散逻辑电路，或其组合。执行所述技术的软件可初始地存储于计算机可读媒体中且由处理器加载及执行。因此，本发明还涵盖包含指令的计算机可读媒体，所述指令用以致使处理器执行如本发明中所描述的各种技术中的任一者。在一些情况下，计算机可读媒体可形成可出售给制造商及/或用于装置中的计算机程序产品的一部分。计算机程序产品可包括计算机可读媒体，且在一些情况下，还可包括封装材料。

在附图及以下描述中阐述一个或一个以上实例的细节。其它特征、目标及优点将从描述及图式且从权利要求书而变得显而易见。

附图说明

图1为说明实施本发明中所描述的图像传感器配置技术的实例图像俘获装置的框图。

图2为更详细地说明图1的图像俘获装置的框图。

图3为说明图像俘获装置执行本发明中所描述的图像传感器配置技术的实例操作的流程图。

图4为说明图像俘获装置使用运动向量来执行图像传感器配置技术的实例操作的流程图。

图5为并入有图1的图像俘获装置的无线通信装置的框图。

具体实施方式

图像俘获装置可基于所关注场景的明度来调整图像传感器的一个或一个以上配置参数。举例来说，在黑暗环境中，图像俘获装置可选择图像传感器的较大增益以增加图像传感器的敏感度且选择将图像传感器曝光于所关注场景的较短曝光时间。相反地，在明亮环境中，图像俘获装置可选择图像传感器的较小增益以减少图像传感器的敏感度且选择将图像传感器曝光于所关注场景的较长曝光时间。然而，基于所关注场景的明度来选择图像传感器的配置参数不会总是导致最佳图像质量。举例来说，如果所关注场景是在明亮环境中但包括许多运动，则所俘获图像可由于长曝光时间而变模糊。

本发明描述用于基于所关注场景内的运动来选择图像传感器的配置参数的技术。为了检测所关注场景内的运动量，图像俘获装置可分析同一所关注场景的两个或两个以上图像之间的改变。在一个实例中，图像俘获装置可通过分析多个运动向量来分析两个图像之间的运动量。图像俘获装置可分析图像之间的许多其它运动指示符，包括两个图像之间的明度差、两个图像之间的一维投影值差、两个图像的直方图差等。

图像俘获装置基于所关注场景内的运动量来调整图像传感器的配置参数。可被调整的一个此类配置参数为图像传感器的增益。图像传感器增益对应于所俘获信号的量值增加。在一些情况下，增益可表示输出信号与所测量性质之间的比率。可被调整的另一此类配置参数为曝光时间。曝光时间为将图像传感器曝光于所关注场景的时间周期。举例来说，当场景包括相对较大运动量时，图像俘获装置可以大增益及短曝光时间来配置图像传感器，因而减少由大运动量所引起的模糊。相反地，当场景包括相对较少运动或无运动时，图像俘获装置可以小增益及长曝光时间来配置图像传感器，因而减少由高增益所引起的噪声。

图1为实施本发明中所描述的图像传感器配置技术的实例图像俘获装置2的框图。图像俘获装置2可为数字相机，例如数字静态图像相机、数字视频相机或两者的组合。另外，图像俘获装置2可为独立装置(例如，独立相机)，或集成于另一装置中(例如，集成于无线通信装置内)。作为实例，图像俘获装置2可集成于移动电话中以形成所谓的“相机电话”或“视频电话”。尽管本发明中所描述的图像传感器配置技术通常可适用于所俘获的数字视频，但为了说明的目的而将描述所述技术对数字静态图像的应用。

如图1所示，图像俘获装置2包括图像传感器4、图像处理器6及图像存储模块8。图像传感器4获得所关注场景的图像。举例来说，图像传感器4可俘获静态图像，或可能俘获完整运动视频序列，在所述情况下，可对视频序列的一个或一个以上图像帧执行图像处理。所俘获视频可包括经俘获以用于归档或视频电话或其它应用的视频。图像传感器4可包括例如以行及列布置的二维个别图像传感器元件阵列。在一些方面中，图像传感器4的图像传感器元件中的每一者可与单一像素相关联。换句话说，在图像传感器元件与像素之间可存在一对一对应。或者，可存在与每一像素相关联的一个以上图像传感器元件或与每一图像传感器元件相关联的一个以上像素。图像传感器4可包含(例如)固态传感器阵列，例如互补金属氧化物半导体(CMOS)传感器、电荷耦合装置(CCD)传感器等。

图像传感器4将图像传感器元件曝光于图像场景以俘获图像。图像传感器4内的图像传感器元件可(例如)俘获表示在特定像素位置处场景的光的强度的强度值。在一些情况下，传感器4的图像传感器元件中的每一者可归因于覆盖传感器元件的彩色滤光片而仅对一种颜色或色带敏感。举例来说，图像传感器4可包含由红色、绿色及蓝色(RGB)滤光片阵列所覆盖的图像传感器元件。然而，图像传感器4可利用其它彩色滤光片，例如青色、品红色、黄色及黑色(CMYK)彩色滤光片。因而，图像传感器4的图像传感器元件中的每一者可俘获仅一种颜色的强度值。

图像传感器4根据一个或一个以上图像传感器配置参数来将图像传感器元件曝光于图像场景。可基于所关注场景的一个或一个以上特性来调整图像传感器配置参数中的一些参数。此些配置参数包括图像传感器4的增益、将图像传感器4曝光于所关注场景的曝光时间等。如下文将详细地描述，图像俘获装置2可基于所关注场景内的运动量来调整图像传感器配置参数中的一者或一者以上。

使用图像传感器增益作为实例，图像俘获装置2可当所关注场景在较黑暗环境中(例如，在室内)或在所关注场景内包括相对较大运动量时增加图像传感器4的增益。增加增益允许图像传感器元件以较快快门速度(较短曝光时间)来俘获所关注的移动场景，进而减少由运动所引起的模糊。明确地说，较大增益允许图像传感器元件通过放大图像传感器元件的输出而俘获较少光。图像俘获装置2可在所关注场景内存在许多光或相对较少运动的情形下减少图像传感器4的增益或使增益保持为小。在此情况下，大增益是不必要的，因为传感器元件在较长时间周期内曝光于所关注场景，进而收集较多光。当图像传感器4具有大增益(即，对光非常敏感)时，图像传感器4可在比在图像传感器4具有小增益的情况下短的时间周期内曝光于所关注场景。将图像传感器4曝光于所关注场景的时间量在本发明中被称为曝光时间。如此，图像传感器4的增益越大，传感器4曝光于所关注场景的曝光时间就越短。相反地，图像传感器4的增益越小，图像传感器4曝光于所关注场景的曝光时间就越长。可(例如)通过控制图像俘获装置2的机械快门速度来控制曝光时间。

图像俘获装置2可包括许多可由用户选择的相机操作模式。不同相机操作模式可对应于不同相机设置且明确地说，对应于不同图像传感器配置设置。举例来说，图像俘获装置2可具有“运动模式”，用户可当俘获在所关注场景内具有大运动量的图像时选择所述“运动模式”。运动模式可对应于高传感器增益及较短曝光时间。作为另一实例，图像俘获装置2可具有“风景模式”，用户可当俘获在所关注场景内无运动或具有相对较少运动的图像时选择所述“风景模式”。风景模式可对应于低增益及较长曝光时间。还可包括许多具有不同于运动模式及风景模式的增益及曝光时间的其它模式。以此方式，图像俘获装置2的用户可手动地选择配置参数以用于使用各种操作模式来操作图像传感器4。

另外，图像俘获装置2可包括“自动模式”，在所述“自动模式”中图像俘获装置2自动地选择图像传感器4的图像传感器配置参数。根据下文详细地描述的技术，图像处理器6包括传感器控制模块9，其确定所关注场景中的运动量且基于所述确定而自动地选择图像传感器4的图像传感器配置参数。在一个方面中，传感器控制模块9分析所关注场景的两个或两个以上图像之间的运动向量以确定所关注场景中的运动量。举例来说，传感器控制模块9可确定图像的运动向量的子集的量值且基于所述量值来调整图像传感器4的一个或一个以上配置参数。对于具有大运动量的所关注场景，传感器控制模块9可选择具有较短曝光时间及较大增益的敏感度设置。相反地，对于包括相对较少运动或无运动的场景，传感器控制模块9可选择具有较长曝光时间及较小增益的敏感度设置。传感器控制模块9可使用许多其它指示符(例如，所关注场景的两个或两个以上图像之间的亮度值的差、所关注场景的两个或两个以上图像的一维投影值之间的差、所关注场景的两个或两个以上图像的直方图之间的差等)中的任一者来确定所关注场景内的运动量。

图像处理器6还可处理图像信息，例如，执行图像稳定化、修剪、压缩、增强等。图像处理器6可通过一个或一个以上微处理器、微控制器、DSP、ASIC、FPGA或任何其它等效离散或集成逻辑电路或其组合来实现。在一些方面中，图像处理器6可形成根据特定编码技术或格式(例如，运动图像专家小组(MPEG)-2、MPEG-4、MPEG高级视频编码(AVC)第10部分、国际电信联盟(ITU)H.263、ITU H.264、联合照相专家小组(JPEG)、图形互换格式(GIF)、标记图像文件格式(TIFF)等)来编码图像信息的编解码器的一部分。

图像处理器6可以原始形式(例如，作为原始像素值)而将所俘获图像存储于图像存储模块8中。或者，图像处理器6可对所俘获图像执行额外处理且将经处理图像存储于图像存储模块8中。如果所俘获图像附带有音频信息，则还可将音频独立地或连同图像存储于图像存储模块8中。图像存储模块8可包含任何易失性或非易失性存储器或存储装置，例如只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)或快闪存储器，或例如磁性数据存储装置或光学数据存储装置。

许多其它元件也可包括于图像俘获装置2中，但为了说明的简单及容易起见而未在图1中加以具体地说明。举例来说，图像俘获装置2可包括用于俘获图像的额外组件，例如透镜、快门、闪光装置及显示器。图1所说明的架构仅为示范性的，因为本发明中所描述的技术可以多种其它架构来实施。此外，图1所说明的特征可通过硬件及/或软件组件的任何适当组合来实现。

图2为更详细地说明图1的图像俘获装置2的框图。如图2所说明，图像传感器4包括图像缓冲器20A及20B(下文中为“图像缓冲器20”)，其两者均可存储关于所关注场景的所俘获图像的图像信息，例如，像素值。图像传感器4可(例如)在图像预览期间将图像信息存储于图像缓冲器20中。更具体来说，图像传感器4可在用户正将图像俘获装置2指向所关注场景的同时但在用户致动按钮以俘获图像之前将图像存储于图像缓冲器20中。在一些方面中，图像传感器4可在数秒(如果不是数毫秒的话)或甚至更短时间周期内一个接一个地俘获图像且将其存储于图像缓冲器20中。在此情况下，图像传感器4将关于同一所关注场景的连续图像信息集合存储于图像缓冲器20中。此连续图像缓冲技术可在尝试俘获图像的用户不注意的情况下发生。也就是说，从用户的观点来说，经由致动图像俘获装置2的按钮仅俘获单一图像。尽管图2包括两个图像缓冲器20，但图像俘获装置2可包括两个以上图像缓冲器20。以此方式，本发明中所描述的敏感度配置技术可被扩展应用于两个以上图像。

缓冲器20可包含任何易失性或非易失性存储器或存储装置，例如ROM、EEPROM或快闪存储器，或例如磁性数据存储装置或光学数据存储装置。虽然在图2中被展示为驻留于图像传感器4内，但缓冲器20可驻留于图像传感器4外部，例如驻留于图像俘获装置2的其它模块(包括图像处理器6或图像存储模块8)内。

图像传感器4还包括图像传感器配置模块22，其根据从图像处理器6所接收的配置参数来配置图像传感器4。从图像处理器6所接收的配置参数可包括传感器增益、曝光时间或其组合。图像传感器4根据配置参数而将图像传感器元件曝光于所关注场景以俘获图像。明确地说，基于配置参数，图像传感器4可增加或减少图像传感器4的传感器元件的传感器增益。传感器增益的调整可对应于图像传感器元件的曝光时间的改变。举例来说，图像传感器4可在减少图像敏感度时将图像传感器元件曝光持续较长时间周期且在增加图像敏感度时将图像传感器元件曝光持续较短时间周期。如上文所描述，可通过调整图像俘获装置2的快门的快门速度来控制经调整的曝光时间。

图像处理器6包括块分割器24、包括运动检测模块26及配置调整模块27的传感器控制模块9，以及配置数据28。将不同特征描绘为单元或模块既定突出图像处理器6的不同功能方面，且未必暗示此类单元或模块必须通过单独硬件、软件及/或固件组件来实现。而是，可将与一个或一个以上单元或模块相关联的功能性集成于共同硬件、软件组件及/或固件组件内。

如上文所描述，图像传感器4俘获至少两个图像且将图像存储于缓冲器20中。图像处理器6从缓冲器20接收图像且可采用块分割器24以将所述图像中的至少一者分割成多个像素块(在本发明中被称为“块”)。这些块(有时被称为宏块)表示由图像传感器4所俘获的图像信息的连续部分。举例来说，在JPEG标准的情况下，块分割器24可将所述图像中的每一者分割成包括八个像素行及八个像素列的8×8块。大于或小于八个行或列的块也是可能的。举例来说，块分割器24可将所述图像中的每一者分割成16×16块。此外，块分割器24可进一步将每一块子分割成两个或两个以上子块。作为实例，16×16块可包含四个8×8子块、八个4×8子块或其它子分割块。如本文中所使用，术语“块”可指代任何大小的块或子块。然而，在一些方面中，可能不将缓冲器20中的图像分割成块，在所述情况下，图像可绕过块分割器24且直接由运动检测模块26分析。

运动检测模块26确定所关注场景内的运动量。更具体来说，运动检测模块26产生识别同一所关注场景的图像之间指示运动的改变的一个或一个以上指示符。在一个方面中，运动检测模块26计算至少一个图像的块中的每一者的运动向量。块的运动向量表示所识别块在第一图像与第二图像之间的位移。运动向量可表示为：

V(b)＝(dx，dy)，       (1)

其中v(b)为块b的运动向量，dx为块b与第二图像中的对应块之间在x方向上的位移，且dy为块b与第二图像中的对应块之间在y方向上的位移。运动检测模块26可使用多种运动估计技术中的任一者来计算运动向量。针对第一图像的每一块，运动检测模块26可搜索第二图像以查找最佳匹配于第一图像的相应块的块。运动检测模块26可使用误差测量(例如，绝对差总和(SAD)、均方误差(MSE)等)来将第一图像的块的像素值与第二图像中的块的像素值进行比较。场景改变指示模块26可选择具有最小误差测量的块且计算两个块之间的位移以产生运动向量。

在一些情况下，运动检测模块26可选择运动向量的子集以确定图像之间的运动量。可代替地使用其它百分比。运动检测模块26可(例如)分析最大运动向量的子集的量值以确定所关注场景内的运动量。运动检测模块26可分析块的运动向量的最大5％、10％或20％以进行确定。为了说明的目的而提供这些百分比且这些百分比不应限制本发明中所描述的技术。可使用以下等式来计算运动向量的量值：

|v(b)|＝sqrt(dx*dx+dy*dy)            (2)

其中|v(b)|为块b的运动向量的量值，sqrt(z)为z的平方根，dx为块b与第二图像中的对应块之间在x方向上的位移，dy为块b与第二图像中的对应块之间在y方向上的位移。运动向量具有大量值的块可指示所述块内的移动对象。或者，可分析图像的所有块的运动向量的量值以确定整个场景内的运动量。

运动检测模块26可产生所关注场景内的其它运动指示符。在另一方面中，运动检测模块26可使用同一所关注场景的两个或两个以上图像之间的对比度差来检测运动。举例来说，运动检测模块26可计算两个图像的像素块中的每一者的平均亮度值。运动检测模块26接着可在逐块的基础上计算两个图像的平均亮度值之间的差。换句话说，可在第一图像的块与第二图像的位于与第一图像的块相同的位置中的块之间计算所述差。运动检测模块26可识别具有最大亮度差的块且将所述亮度差用作所关注场景内的运动量的指示符。块的大亮度差可表示所关注场景内的对象运动。或者，运动检测模块26可对块的子集或全部的亮度差求平均值。以此方式，平均亮度差可指示贯穿整个所关注场景的全局运动量。这可在检测由相机相对于所关注场景移动所引起的运动中特别有用。

在另一方面中，运动检测模块26可产生像素块中的一者或一者以上的一维投影值且比较两个图像的投影以检测所关注场景内的运动。明确地说，运动检测模块26可计算像素块中的每一者的水平投影、垂直投影或两者。水平投影为块的像素行的像素值的求和。垂直投影为块的像素列的像素值的求和。举例来说，针对每一图像的块中的每一者，运动检测模块26可根据以下等式来确定水平投影及垂直投影：

$P_H\left(j\right)=\underset{i}{\mathrm{\Σ}}\mathrm{Im}(i,j)---\left(1\right),$

$P_V\left(i\right)=\underset{j}{\mathrm{\Σ}}\mathrm{Im}(i,j)---\left(2\right)$

其中P_H(j)表示作为沿y轴的像素“j”的函数的水平投影，P_V(i)表示作为沿x轴的像素“i”的函数的垂直投影，且Im(i，j)表示作为像素“i”及“j”的函数的像素值。因此，PH为特定块的像素值的x轴像素值(当i变化且j保持不变时)的求和(∑)。以此方式，运动检测模块26从块的二维图像信息产生一维水平投影向量。在8×8像素块的情况下，运动检测模块26可产生表示二维8×8块的一维的八个元素的水平投影向量。同样地，P_V为块的像素值(即，Im(i，j))的y轴像素值(当i保持不变且j变化时)的求和(∑)，以从已针对其确定水平投影的同一块的二维图像信息形成一维垂直投影向量。每一块经历相同程序，直到每个块已被精简为一系列水平及垂直投影为止。

运动检测模块26接着可计算图像的像素块中的每一者的水平及/或垂直投影之间的差。运动检测模块26可识别具有最大投影差的块且将所述投影差用作所关注场景内的运动量的指示符。以此方式，所选择的投影差可为所关注场景内的移动对象的指示符。或者，运动检测模块26可对图像的块的子集或全部的投影差求平均值。以此方式，平均投影差可指示所关注场景的全局运动量。

在另一方面中，运动检测模块26可计算图像中的每一者的直方图且计算直方图之间的差作为所关注场景内的运动量的指示符。举例来说，针对图像中的每一者，运动检测模块26可产生表示像素值在特定图像上的分布的直方图。运动检测模块可计算两个或两个以上图像的直方图之间的差作为所关注场景的运动指示符。大直方图差可指示所关注场景内的大运动量。

在另一方面中，运动检测模块26可计算图像中的每一者的像素中的至少一部分的像素值之间的差作为所关注场景内的运动指示。举例来说，运动检测模块26可计算图像的像素位置中的每一者的像素值之间的差，且将所述差求和以产生场景内的运动指示符。较大差总和可指示场景内的较大运动量。或者，运动检测模块26可在逐块的基础上计算差指示符的总和。换句话说，运动检测模块26可计算块中的每一者的像素值之间的差且将块内的像素值的差求和以得到图像块差以确定场景内的对象的运动。

配置调整模块27分析由运动检测模块26所产生的一个或一个以上指示符，且基于两个图像之间所检测的运动量来调整图像传感器4的一个或一个以上配置参数。尽管为了说明的目的而在本文中被论述为调整图像传感器4的增益及/或曝光时间，但配置调整模块27可调整图像传感器4的其它配置参数。一般来说，配置调整模块27可针对包括相对较大运动量(例如，大运动向量、大差总和、大亮度差、大直方图差、大一维投影差等)的场景而增加图像传感器4的增益。增加图像传感器4的增益可对应于将图像传感器4在较短时间周期内曝光于所关注场景，因而以增加噪声为代价而减少具有许多运动的场景中的模糊。相反地，配置调整模块27可针对在所关注场景内包括相对较小改变量或完全无运动的场景而减少图像传感器4的增益。减少图像传感器4的增益可对应于将图像传感器4在较长时间周期内曝光于所关注场景，进而以增加模糊为代价而减少噪声。

对于具有(例如)ISO 50、ISO 100及ISO 200的敏感度设置的图像俘获装置，配置调整模块27可如下文所描述来选择ISO设置。ISO设置可(例如)对应于特定增益及曝光时间对。ISO 50可对应于最小增益及最长曝光时间，而ISIO 200可对应于最大增益及最短曝光时间。当(例如)最大运动向量的平均运动向量量值小于图像的宽度的大约1％时，配置调整模块27可选择ISO 50。对于具有(例如)1000个像素的宽度的图像，当运动向量的量值小于10时，传感器控制模块9可选择ISO 50。当平均运动向量量值在图像的宽度的大约1％与10％之间时，配置调整模块27可选择ISO 100。当平均运动向量量值在图像的宽度的大约10％与20％之间时，配置调整模块27可选择ISO 200。其它阈值可用以将运动向量的量值与特定敏感度设置相关联。此外，额外敏感度设置可包括于所述设置之间(例如，在ISO 50与ISO 100之间)，或高于或低于所述设置(例如，高于ISO 200)。尽管上文所描述的实例配置调整模块27使用运动向量来选择敏感度设置，但可使用其它运动指示符(例如，亮度差、一维投影差、像素值差、直方图差或一个以上运动指示符的组合)的范围来进行类似调整。举例来说，配置调整模块27可依据场景内的两个或两个以上运动指示符的加权总和而调整图像传感器4的配置参数。

在一些方面中，图像处理器6可维持将运动指示符与对应配置参数(例如，增益及/或曝光时间)相关联的配置数据28。举例来说，配置数据28可将运动向量量值、亮度差、投影差、图像像素值差及/或直方图差与特定增益及曝光时间相关联。尽管在图2中被说明为驻留于图像处理器6内，但配置数据28可维持于图像处理器6所耦合到的图像存储模块8内。配置数据28可(例如)维持针对相机的不同操作模式的多个不同配置参数，以及将运动指示符的量值与对应增益/曝光时间对相关联的数据结构。

在一些情况下，配置调整模块27可基于明度来选择图像传感器4的初始配置参数，且基于所关注场景内的运动的分析来调整图像传感器4的配置参数。使用增益及曝光时间作为实例，当周围环境为明亮的时，配置调整模块27可初始地选择较小增益及较长曝光时间(例如，对应于ISO 50设置)。相反地，当周围环境为黑暗的时，配置调整模块27可初始地选择较大增益及较短曝光时间(例如，对应于ISO 200或更高设置)。为此目的，配置数据28还可包括将明度等级与对应配置参数相关联的数据结构。

由配置调整模块27所选择的初始增益及曝光时间可由图像传感器4用来俘获用以分析所关注场景的运动的两个或两个以上预览图像。接着可使用上文所描述的敏感度控制技术基于所关注场景内的运动来调整图像传感器4的初始增益及曝光时间设置。在一些情况下，基于明度所选择的设置将基于运动分析而改变。以此方式，配置调整模块27可基于所关注场景中的运动来超驰所选择的配置参数。这可导致将额外噪声引入到图像中，但将显著地减少由运动所引起的图像模糊。

如本发明中所描述且归于图像处理器6的功能性可由执行存储到计算机可读媒体的指令的一个或一个以上可编程处理器执行，其中指令及/或代码致使处理器如本发明中所描述来执行敏感度选择配准。在一些情况下，计算机可读媒体可形成可出售给制造商及/或用于装置中的计算机程序产品的一部分。

图3为说明图像俘获装置(例如，图2的图像俘获装置2)执行本发明中所描述的图像传感器配置技术的实例操作的流程图。初始地，图像俘获装置2的图像传感器4俘获两个或两个以上图像且将图像存储于图像缓冲器20中(30)。如上文所描述，两个或两个以上图像可为由图像传感器4在数毫秒或甚至更短时间周期内一个接一个地俘获的连续图像。举例来说，可在图像预览期间俘获连续图像。此外，图像传感器4可使用依据所关注场景的明度而选择的初始配置参数(例如，增益及曝光时间)来俘获图像。

块分割器24将图像中的至少一者分割成多个块(32)。块可为重叠或非重叠的，且可具有各种尺寸。运动检测模块26确定所关注场景内的运动量(34)。如上文详细地描述，运动检测模块26可使用许多指示符(例如，运动向量、两个图像之间的亮度值差、两个图像的一维投影值之间的差、两个图像的直方图之间的差等)中的任一者来确定所关注场景内的运动量。

配置调整模块27基于所确定的运动量来确定是否调整图像传感器4的配置参数(36)。当图像传感器的初始配置参数包括小增益时，配置调整模块27可在场景包括相对较大运动量(例如，大运动向量、大差总和、大亮度差、大直方图差、大一维投影差等)时确定调整配置参数。相反地，针对在所关注场景内包括相对较小运动量或完全无运动的场景，配置调整模块27可减少或维持图像传感器4的当前增益。

当配置调整模块27确定需要调整图像传感器4的配置参数时，配置调整模块27重新配置图像传感器4的配置(37)。配置调整模块27可(例如)重新配置图像传感器4的传感器增益、图像传感器4的曝光时间或其组合。在重新配置图像传感器4的敏感度之后或当无需重新配置图像传感器4的敏感度时，图像传感器4在由用户致动按钮后便使用所配置的设置来俘获及存储所关注场景的图像(38)。以此方式，图像俘获装置依据所关注场景内的运动而配置图像传感器4。尽管为了说明的目的而在本文中被论述为调整图像传感器4的增益及/或曝光时间，但配置调整模块27可调整图像传感器4的其它配置参数。

图4为说明图像俘获装置(例如，图2的图像俘获装置2)基于与图像相关联的运动向量中的至少一部分来执行图像传感器配置技术的实例操作的流程图。初始地，图像俘获装置2的图像传感器4俘获两个或两个以上图像且将图像存储于图像缓冲器20中(40)。如上文所描述，两个或两个以上图像可为由图像传感器4在数毫秒或甚至更短时间周期内一个接一个地俘获的连续图像。举例来说，可在图像预览期间俘获连续图像。此外，图像传感器4可使用依据所关注场景的明度而选择的初始配置参数(例如，增益及曝光时间)来俘获图像。

块分割器24将图像中的至少一者分割成多个块(42)。块可为重叠或非重叠的，且可具有各种尺寸。运动检测模块26计算图像的块中的每一者的运动向量(44)。运动检测模块26选择运动向量的子集来分析(46)。如上文所描述，运动检测模块26可选择包括图像的最大运动向量的子集。举例来说，运动检测模块26可选择块的运动向量的最大10％作为待分析的运动向量子集。然而，在一些方面中，运动检测模块26可分析图像的整个运动向量集合而非仅子集。运动检测模块26计算运动向量子集的平均量值(48)。平均量值可(例如)表示所关注场景内的移动对象。

配置调整模块27基于针对运动向量子集所计算的平均量值来确定是否调整图像传感器4的配置参数(50)。在一些方面中，配置调整模块27可维持将运动向量量值与对应配置参数(例如，ISO增益及/或曝光时间)相关联的配置数据28。举例来说，当(例如)最大运动向量的平均运动向量量值小于图像的宽度的大约1％时，配置调整模块27可选择ISO 50设置。当平均运动向量量值在图像的宽度的大约1％与10％之间时，配置调整模块27可选择ISO 100。当平均运动向量量值在图像的宽度的大约10％与20％之间时，配置调整模块27可选择ISO 200。其它阈值可用以将运动向量的量值与特定敏感度设置相关联。

当配置调整模块27确定需要调整图像传感器4的配置参数时，配置调整模块27重新配置图像传感器4的配置(52)。配置调整模块27可(例如)重新配置图像传感器4的传感器增益、图像传感器4的曝光时间或其组合。在重新配置图像传感器4的敏感度之后或当无需重新配置图像传感器4的敏感度时，图像传感器4在由用户致动按钮后便使用所配置的设置来俘获及存储所关注场景的图像(54)。以此方式，图像俘获装置依据所关注场景内的运动而配置图像传感器4。如参看图2详细地描述，可利用使用其它运动指示符的类似调整技术。

图5为说明包括实施本发明中所描述的图像俘获技术的图像俘获装置2的实例无线通信装置60的框图。换句话说，图5展示集成于无线通信装置内的图像俘获装置2。上文相对于图1而描述了图像俘获装置2的操作且因此此处将不再详细地对其加以描述。无线通信装置60可包含无线通信装置手持机，例如具有图像俘获能力的蜂窝式电话(例如，所谓的相机电话或视频电话)、视频记录器、个人数字助理(PDA)、膝上型计算机或具有图像俘获及无线通信能力的任何其它手持式装置。尽管在无线通信装置的上下文中加以说明，但本发明的技术可适用于有线通信装置。

在图5的实例中，无线通信装置60包括图像俘获装置2、编码模块62及发射器64。编码模块62可编码所俘获图像信息以将图像压缩成特定图像压缩格式以用于存储及/或发射。编码模块62可使用许多图像压缩格式(包括JPEG、TIFF、GIF或其它图像压缩格式)中的任一者来压缩图像。在视频的情况下，编码模块62可使用任何数目的视频压缩格式(例如，MPEG、MPEG高级视频编码(AVC)第10部分、ITU H.264等)来压缩视频。

无线通信装置60可经由发射器64而将经编码图像发射到另一装置。发射器64通常提供到蜂窝式网络的接口，所述蜂窝式网络例如为码分多址(CDMA)网络、宽带码分多址(W-CDMA)网络、时分多址(TDMA)网络及全球移动通信系统(GSM)网络，或其它类似网络。除了蜂窝式网络以外或作为对蜂窝式网络的替代，发射器64还可提供到如由相关电气及电子工程师协会(IEEE)802.11标准中的任一者所界定的无线网络或任何其它有线或无线网络的接口。尽管经描述为仅包括图像俘获装置2、编码模块62及发射器64，但无线通信装置60可包括其它模块，例如显示器、用于与用户介接的用户接口(例如，小键盘)、用于执行额外操作的一个或一个以上处理器以及用于接纳可装卸存储器、头戴式耳机、电源及任何其它此类外围设备的各种端口及插座。

本发明中所描述的技术可以硬件、软件、固件或其任何组合来实施。经描述为模块或组件的任何特征可一起实施于集成逻辑装置中或单独地实施为离散但可共同操作的逻辑装置。如果以软件来实施，则可至少部分地通过包含指令的计算机可读媒体来实现所述技术，所述指令在被执行时执行上文所描述的方法中的一者或一者以上。计算机可读媒体可形成计算机程序产品的一部分，所述计算机程序产品可包括封装材料。计算机可读媒体可包含随机存取存储器(RAM)(例如同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、磁性或光学数据存储媒体等。另外或替代地，可至少部分地通过计算机可读通信媒体来实现所述技术，所述计算机可读通信媒体以指令或数据结构的形式来携载或传送代码且可由计算机存取、读取及/或执行。

所述代码可由一个或一个以上处理器执行，所述处理器例如为一个或一个以上DSP、通用微处理器、ASIC、FPGA、FPLA或其它等效集成或离散逻辑电路。因此，如本发明中所使用的术语“处理器”可指代前述结构或适于实施本发明中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，可将本发明中所描述的功能性提供于经配置以用于编码及解码的专用软件模块或硬件模块内或并入在组合式视频编解码器中。因此，本发明还涵盖包括用以实施本发明中所描述的技术中的一者或一者以上的电路的多种集成电路装置中的任一者。可将所述电路提供于单一集成电路芯片或多个可共同操作的集成电路芯片中。

已描述了各种技术。这些及其它实例方面是在所附权利要求书的范围内。

Claims (25)

1.一种用于俘获数字图像数据的方法，其包含：

分析至少所关注场景的第一图像与所述所关注场景的第二图像之间的运动；及

基于所述分析来调整由图像传感器用以俘获图像的一个或一个以上配置参数。

2.根据权利要求1所述的方法，其中调整由所述图像传感器用以俘获图像的一个或一个以上配置参数包含调整所述图像传感器的增益及将所述图像传感器曝光于所述所关注场景的曝光时间中的至少一者。

3.根据权利要求1所述的方法，其中调整由所述图像传感器用以俘获图像的一个或一个以上配置参数包含以下各项中的一者：在所述第一与第二图像之间的所述运动超过阈值时增加所述图像传感器的增益；及在所述第一与第二图像之间的所述运动小于阈值时减少所述图像传感器的所述增益。

4.根据权利要求1所述的方法，其中分析所述第一与第二图像之间的运动进一步包含：

将所述第一图像分割成多个像素块；

计算所述第一图像的所述多个像素块中的每一者的运动向量；及

基于所述块的所述运动向量的至少一子集来分析所述运动。

5.根据权利要求1所述的方法，其中分析至少所关注场景的第一图像与所述所关注场景的第二图像之间的运动包含：

计算所述第一及第二图像的一个或一个以上像素块的平均亮度值；

计算所述第一图像的所述一个或一个以上像素块的所述平均亮度值与所述第二图像的对应像素块的所述平均亮度值之间的差；及

基于所述平均亮度值的所述差来分析所述运动。

6.根据权利要求1所述的方法，其中分析至少所关注场景的第一图像与所述所关注场景的第二图像之间的运动包含：

计算所述第一及第二图像的一个或一个以上像素块的一维水平投影值及一维垂直投影值；

计算所述第一图像的所述一个或一个以上像素块的所述水平及垂直投影值与所述第二图像的对应像素块的所述水平及垂直投影值之间的差；及

基于水平及垂直投影的所述差来分析所述运动。

7.根据权利要求1所述的方法，其中分析至少所关注场景的第一图像与所述所关注场景的第二图像之间的运动包含：

针对所述第一及第二图像中的每一者，计算表示像素值在相应图像上的分布的直方图；

计算所述第一图像的所述直方图与所述第二图像的所述直方图之间的差；及

基于所述直方图之间的所述差来分析所述运动。

8.根据权利要求1所述的方法，其中分析至少所关注场景的第一图像与所述所关注场景的第二图像之间的运动包含：

将第一帧的至少一部分像素的像素值从第二帧的对应像素的像素值中减去以计算像素值差；

将所述像素值差求和；及

基于所述像素值差的总和来分析所述运动。

9.一种用于俘获数字图像数据的装置，其包含：

图像传感器，其用以根据一个或一个以上配置参数来俘获图像；及

图像处理器，其分析至少所关注场景的第一图像与所述所关注场景的第二图像之间的运动且基于所述分析来调整由所述图像传感器用以俘获图像的所述配置参数中的一者或一者以上。

10.根据权利要求11所述的装置，其中所述图像处理器调整所述图像传感器的增益及将所述图像传感器曝光于所述所关注场景的曝光时间中的至少一者。

11.根据权利要求11所述的装置，其中所述图像处理器将所述第一图像分割成多个像素块，计算所述第一图像的所述多个像素块中的每一者的运动向量，且基于具有最大量值的所述运动向量的至少一子集来分析所述运动。

12.根据权利要求11所述的装置，其中所述图像处理器计算所述第一及第二图像的一个或一个以上像素块的平均亮度值，计算所述第一图像的所述一个或一个以上像素块的所述平均亮度值与所述第二图像的对应像素块的所述平均亮度值之间的差，且基于所述平均亮度值的所述差来分析所述运动。

13.根据权利要求11所述的装置，其中所述图像处理器计算所述第一及第二图像的一个或一个以上像素块的一维水平投影值及一维垂直投影值，计算所述第一图像的所述一个或一个以上像素块的所述水平及垂直投影值与所述第二图像的对应像素块的所述水平及垂直投影值之间的差，且基于水平及垂直投影的所述差来分析所述运动。

14.根据权利要求11所述的装置，其中所述图像处理器针对所述第一及第二图像中的每一者计算表示像素值在相应图像上的分布的直方图，计算所述第一图像的所述直方图与所述第二图像的所述直方图之间的差，且基于所述直方图之间的所述差来分析所述运动。

15.根据权利要求11所述的装置，其中所述图像处理器将第一帧的至少一部分像素的像素值从第二帧的对应像素的像素值中减去以计算像素值差，将所述像素值差求和，且基于所述像素值差的总和来分析所述运动。

16.根据权利要求11所述的装置，其中所述装置包含无线通信装置，所述无线通信装置进一步包含：

编码模块，其编码所述所俘获图像；及

发射器，其发射所述经编码图像。

17.一种用于俘获数字图像数据的计算机程序产品，其包含上面具有指令的计算机可读媒体，所述指令包含：

用于分析至少所关注场景的第一图像与所述所关注场景的第二图像之间的运动的代码；及

用于基于所述分析来调整由图像传感器用以俘获图像的一个或一个以上配置参数的代码。

18.根据权利要求17所述的计算机程序产品，其中用于调整由所述图像传感器用以俘获图像的一个或一个以上配置参数的代码包含用于调整所述图像传感器的增益及将所述图像传感器曝光于所述所关注场景的曝光时间中的至少一者的代码。

19.根据权利要求17所述的计算机程序产品，其中用于分析所述第一与第二图像之间的运动的代码进一步包含：

用于将所述第一图像分割成多个像素块的代码；

用于计算所述第一图像的所述多个像素块中的每一者的运动向量的代码；及

用于基于所述块的所述运动向量的至少一子集来分析所述运动的代码。

20.根据权利要求17所述的计算机程序产品，其中用于分析至少所关注场景的第一图像与所述所关注场景的第二图像之间的运动的代码包含：

用于计算所述第一及第二图像的一个或一个以上像素块的平均亮度值的代码；

用于计算所述第一图像的所述一个或一个以上像素块的所述平均亮度值与所述第二图像的对应像素块的所述平均亮度值之间的差的代码；及

用于基于所述平均亮度值的所述差来分析所述运动的代码。

21.根据权利要求17所述的计算机程序产品，其中用于分析至少所关注场景的第一图像与所述所关注场景的第二图像之间的运动的代码包含：

用于计算所述第一及第二图像的一个或一个以上像素块的一维水平投影值及一维垂直投影值的代码；

用于计算所述第一图像的所述一个或一个以上像素块的所述水平及垂直投影值与所述第二图像的对应像素块的所述水平及垂直投影值之间的差的代码；及

用于基于水平及垂直投影的所述差来分析所述运动的代码。

22.根据权利要求17所述的计算机程序产品，其中用于分析至少所关注场景的第一图像与所述所关注场景的第二图像之间的运动的代码包含：

用于针对所述第一及第二图像中的每一者计算表示像素值在相应图像上的分布的直方图的代码；

用于计算所述第一图像的所述直方图与所述第二图像的所述直方图之间的差的代码；及

用于基于所述直方图之间的所述差来分析所述运动的代码。

23.根据权利要求17所述的计算机程序产品，其中用于分析至少所关注场景的第一图像与所述所关注场景的第二图像之间的运动的代码包含：

用于将第一帧的至少一部分像素的像素值从第二帧的对应像素的像素值中减去以计算像素值差的代码；

用于将所述像素值差求和的代码；及

用于基于所述像素值差的总和来分析所述运动的代码。

24.一种用于俘获数字图像数据的设备，其包含：

用于分析至少所关注场景的第一图像与所述所关注场景的第二图像之间的运动的装置；及

用于基于所述分析来调整由图像传感器用以俘获图像的一个或一个以上配置参数的装置。

25.根据权利要求24所述的设备，其进一步包含：

用于基于所述所关注场景的明度来确定由所述图像传感器用以俘获图像的初始配置参数的装置；

用于使用所述初始配置参数以所述图像传感器来俘获所述所关注场景的所述第一及第二图像的装置；

其中所述调整装置基于对所述第一与第二图像之间的所述运动的所述分析来调整由所述图像传感器用以俘获图像的所述初始配置参数；且

其中所述俘获装置使用所述经调整的配置参数来俘获所述所关注场景的第三图像。

Images