CN101102405A - 智能图像质量引擎 - Google Patents

Abstract

根据本发明的实施例，智能图像质量引擎在实时捕获图像数据的情况下智能地管理与图像质量相关的不同参数，以便通过使用对环境、系统等的认识和通过全面地控制各种参数来改进最终用户的体验。所实施的各种图像处理算法包含智慧型自动曝光、帧速率控制、图像管道控制和时间滤波。

Description

智能图像质量引擎

技术领域

本发明大体上涉及用于捕获图像数据的数码相机，且更确切地说涉及智能地改进图像质量。

背景技术

消费者日渐使用数码相机来捕获静态图像和视频数据。连接到主机系统的网络摄像头和数码相机也变得越来越普遍。此外，其它包含数字图像捕获能力的装置(例如配有摄像头的手机和个人数字助理(PDA))正席卷市场。

一般来说，这类数码相机的用户希望相机每次均能捕获到图像质量尽可能最佳的图像数据(静态和/或视频)。不论环境条件(例如，低亮度、背光等)、用户外观(例如，用户肤色、发色、服装色彩等)和其它各种各样的因素(例如，用户与相机的距离、用户正使用的应用程序的类型(比如即时消息传递)等)如何，均希望获得这种尽可能最佳的图像质量。

有些常用的数字图像捕获装置试图改进图像质量。然而，所用的方法中存在若干缺点。首先，若干常用的数字图像捕获装置允许用户预先改变各种控制(例如，闪光灯、焦距等)以改进图像质量。然而，在许多这类情况下，数字捕获装置不会显示出任何智能性，而只是实施用户的决定。第二，即使在数字图像捕获装置确实使用了某种智能性的情况下(例如，建议用户应使用闪光灯)，但每种特征/控制是单独使用的。然而，总体图像质量取决于这些各种特征/控制的组合，而不是取决于每种单独的特征/控制。例如，单独处理环境中的微光可能会导致噪声增加。常规的数字图像捕获装置并未考虑到这些特征的这种交互作用。相反，单独对待特定问题有时会导致总体图像质量恶化而不是改善总体图像质量。

此外，有些可用的数字图像捕获装置试图将这些控制中的一些控制作为一个群组来处理，但其使用静态算法来进行这种处理。举例来说，这类静态算法会查看当前图像的预览，并判断可以进行哪些动作(如果有的话)来改进当前图像。这类技术大多用于静态图像捕获，且因此其本身不会考虑为什么图像质量未达最佳标准和/或之后捕获的图像会看起来如何。

其它可用的算法会在已经捕获了图像数据之后才使用捕获后处理技术(例如改进先前捕获的图像数据的亮度、饱和度、对比度等)来改进图像质量。然而，这类技术本质上是有局限性的，因为在捕获时间因非最佳因素而丢失的信息无法逆向找回。相反，只能使用技巧性处理技术(例如，像素平均化)来以最吸引人的形式展现已经捕获的数据。

因此，需要一种智能动态相机图像质量引擎，其可将一组控制作为群组进行管理，且能够实时地捕获到质量尽可能最佳的图像数据。此外，将需要一种直观且方便的方法和系统，既用于允许用户控制各种特征，又能一直使用户获悉与图像质量有关的各种发展。

发明内容

根据一个实施例，本发明是一种用于改进图像数据的实时捕获的图像质量的系统和方法，其中将各种参数作为一个整体来控制，且其根据对图像质量为何未达最佳标准的评估而实施算法。在一个实施例中，这种系统和方法包含控制捕获参数以及进行图像后处理——潜在地考虑到先前的图像——因此能在广泛范围的图像质量方面实现控制。在一个实施例中，这种系统和方法在装置与主机系统之间分配，因而能够利用装置能力以及主机能力，一般来说，主机能力远远胜过装置能力。主机与装置之间的这种划分在经设计以与主机系统(例如，网络摄像头)结合使用的数码相机的情况下是独一无二的。

数码相机的图像质量是多种因素的组合，这些因素可彼此折衷。虽然容易在已知的环境中调节相机以使其显得更好，但相同的设置并非会对所有的情形奏效。根据本发明实施例的系统智能地管理与图像质量相关的各种不同参数，以便通过利用对环境、系统等的认识来改进最终用户的体验。图像质量引擎根据对系统当前状态的了解以及对系统如何变为其当前状态的了解，来更新多种参数，其中包含关于主机系统的一些参数(例如，各种主机后处理算法)和与相机相关的一些参数(例如，增益、帧速率)。此处，系统的状态可包含来自装置的信息、来自对帧的分析的信息和来自主机本身的信息(例如，CPU速度、正使用的应用程序等)。

在一个实施例中，根据本发明的系统包含一组图像处理特征、根据系统级参数来控制所述特征的策略和也由所述策略来控制的与用户交互的一组方式。这一架构是充分灵活的，其可随着时间、随着新特征的添加或行为的更新而发展。在一个实施例中，将智能图像质量引擎实施为状态机。状态机中的状态包含关于何时进入每一状态、何时退出和哪些参数用于这些算法的信息。

在一个实施例中，实施一种智慧型自动曝光(AE)算法，其通过着重关注区域(例如，用户面部)中的自动曝光而在背光环境下改进图像质量。所述智慧型AE算法通过在对于用户来说较为重要的图像区域(面部和/或移动物体)中改进图像质量来改进整体用户体验，但是图像其余部分的曝光可能会变差。

在一个实施例中，实施一种帧速率控制算法，其在微光环境中改进图像质量。所应用的图像处理算法的其它实例为控制饱和度水平、亮度水平、对比度等。在一个实施例中，也执行例如时间滤波的捕获后处理。

在本发明的一个实施例中，在实施特定算法之前先征得用户的准许。此外，在一个实施例中，用户也可手动地选择特定参数的值，和/或选择用于实施的特定算法。

在本发明的一个实施例中，一个或一个以上LED(例如在可能实施特定算法时)向用户传送关于智能图像质量引擎的信息，以潜在地改进用户总体体验，虽然会进行其它折衷。

本发明摘要中描述的特征和优点以及以下具体描述不是详尽的，且更确切地说，所属领域的技术人员在查看了图式、说明书及其权利要求书之后将容易了解许多其它特征和优点。此外，应注意到，说明书中使用的语言主要是为了可读性和指导性目的而选择的，且可能不是为了描述或限定发明主题而选择的，请参见对于确定这种发明主题必要的权利要求。

附图说明

本发明具有其它优点和特征，当结合附图阅读对本发明的具体描述和所附权利要求书时，将更容易了解所述优点和特征，附图中：

图1是说明根据本发明实施例的系统的方框图。

图2是说明根据本发明实施例的系统的运作的流程图。

图3A是状态机的方框图表示。

图3B说明根据本发明实施例所使用的状态机的实例。

图4A是说明根据本发明一个实施例在实施智慧型自动曝光算法时由状态机起始的各种操作的流程图。

图4B说明关注样本区域。

图5是说明根据本发明实施例的帧速率、增益和降饱和算法如何相互作用的图表。

图6是说明根据本发明实施例的饱和度控制的图表。

图7A是根据本发明实施例的用户界面的截屏。

图7B是根据本发明实施例的用户界面的另一截屏。

图7C是说明当用户在UI中进行不同选择时会发生何种情况的流程图。

具体实施方式

图(或图式)仅为说明目的而描绘本发明的优选实施例。请注意，图中的相似或相同参考数字可指代相似或相同功能。所属领域的技术人员通过以下描述将容易了解，可在不偏离此处本发明的原理的情况下使用本文揭示的结构和方法的替代实施例。应注意，以下实例主要针对网络摄像头，但本发明的实施例也可应用于其它图像捕获装置。

图1是说明一可能的应用场景的方框图1，所述场景中有图像捕获装置100、主机系统110和用户120。

在一个实施例中，图像捕获装置100捕获到的数据是静态图像数据。在另一实施例中，图像捕获装置100捕获到的数据是视频数据(在有些情况下伴随有音频数据)。在又一实施例中，图像捕获装置100根据用户120进行的选择而捕获静态图像数据或者视频数据。图像捕获装置100包含用于捕获图像数据的传感器。在一个实施例中，图像捕获装置100是网络摄像头。例如，这类装置可为Logitech，Inc.(Fremont，CA)的QuickCam。应注意，在不同实施例中，图像捕获装置100是任何可捕获图像的装置，其中包含数码相机、数字可携式摄像机、个人数字助理(PDA)、配有相机的手机等。在这些实施例中的有些实施例中，可能并不需要主机系统110。例如，手机可经由网络与远程站点直接通信。作为另一实例，数码相机本身可存储图像数据。

再次参看图1所示的特定实施例，主机系统110是常规的计算机系统，其可包含计算机、存储装置、网络服务连接和可耦接到计算机系统的常规的输入/输出装置，比如显示器、鼠标、打印机和/或键盘。计算机还可包含常规的操作系统、输入/输出装置和网络服务软件。此外，在有些实施例中，计算机包含用于与IM服务通信的即时消息传递(FM)软件。网络服务连接包含允许连接到常规网络装置的硬件和软件组件。举例来说，网络服务连接可包含与电信线路(例如拨号线、数字订户线(DSL)、T1或T3通信线路)的连接。举例来说，主机计算机、存储装置和网络服务连接可从IBM Corporation(Armonk，NY)，Sun Microsystems，Inc.(Palo Alto，CA)或Hewlett-Packard，Inc.(Palo Alto，CA)获得。应注意，主机系统110可为其它任何类型的主机系统，例如PDA、手机、游戏机或其它任何具有适当处理能力的装置。

在一个实施例中，装置100可经由无线链路、使用任何无线技术(例如RF、蓝牙等)耦合到主机110。在一个实施例中，装置100经由电缆(例如USB、USB 2.0、FireWire等)耦接到主机110。应注意，在一个实施例中，图像捕获装置100集成到主机110中。这类实施例的一实例是集成到膝上型计算机中的网络摄像头。

图像捕获装置100捕获用户120的图像连同用户120周围的一部分环境。在一个实施例中，将捕获到的数据发送到主机系统110，以供进一步处理、存储和/或经由网络发送给其它用户。

在图1所示的实施例中，展示智能图像质量引擎140驻留在主机系统110上。在另一实施例中，智能图像质量引擎140驻留在图像捕获装置100上。在又一实施例中，智能图像质量引擎140部分驻留在主机系统110上且部分驻留在图像捕获装置100上。

智能图像质量引擎140包含一组图像处理特征、根据系统级参数来控制所述特征的策略和也由所述策略来控制的与用户交互的一组方式。以下详细描述若干图像处理特征。这些图像处理特征根据各种因素(例如，光照环境、图像中的移动等)来改进图像质量中的一些方面。然而，图像质量不是只有一个方面，所以存在许多折衷。具体来说，这些特征中的若干特征虽然会带来某种改进，但也具有一些缺点，而智能图像质量引擎140的目的是根据各种情形来适当地使用这些特征，这些情形包含装置捕获设置、系统情形、对图像质量的分析(受到环境情形等的影响)等。在根据本发明实施例的系统中，评估图像数据，且对图像质量较差的原因进行判断。随后，根据所述评估来改变各种参数以优化图像质量，以便可用优化的参数捕获随后的图像。

为了作出明智且智能的决定，智能图像质量引擎140需要认识各种信息，所述信息从捕获的图像、网络摄像头100本身以及从主机110获得。下面参看图2更详细地论述这一点。

智能图像质量引擎140在一个实施例中实施为状态机。状态机含有关于以下内容的信息：响应于其从各种来源获得的信息的分析且在各种预定阈值的基础上应改变哪些全局参数。下文参看图3更详细地论述状态机。

图2是说明根据本发明实施例的系统的运作的流程图。其说明接收图像帧(步骤210)、获得相关信息(步骤220、230和240)、呼叫智能图像质量引擎(步骤250)、更新各种参数(步骤260)、传送这些更新的参数(步骤265)、对图像进行后处理(步骤270)和将图像提供给应用程序(步骤280)。

如上所述，根据本发明实施例的系统使用从各种来源收集的信息。接收图像帧(步骤210)。这一图像是使用系统的特定预先存在的参数而捕获的，这些参数例如为装置增益、帧速率、曝光时间、亮度、对比度、饱和度、白平衡、焦距。

从主机110获得信息(步骤220)。由主机110提供给智能图像质量引擎140的信息的实例包含：主机系统110的处理器类型和速度、作为图像数据提供对象的应用程序所请求的格式(包含分辨率和帧速率)、同时在主机系统110上使用的其它应用程序(指示主机系统110可供图像质量引擎140使用的处理能力，且还提供关于图像的可能的目标用途的信息)、主机系统110所位于的国家、会影响图像质量引擎140的当前用户设置等。从装置100获得信息(步骤230)。装置100提供的信息的实例包含增益、帧速率、曝光和背光评价(用来评价背光情形的度量)。从图像帧中提取(步骤240)的信息的实例包含关注区域、自动曝光信息(这也可根据实施方案由硬件或固件在装置中进行)、背光信息(同样，这也可如上所述在装置中进行)等。此外，所使用的其它信息可包含焦距、关于色彩含量的信息、更详细的自动曝光分析，以便处理具有不均匀亮度的图像的图像等。应注意，智能图像质量引擎需要的一些信息可来自与以上所述不同的来源，且/或可来自一个以上来源。

随后，调用智能图像质量引擎140(步骤250)。由于接收到的信息，在一个实施例中，智能图像质量引擎140不仅分析接收到的图像帧的质量是否较差，而且还分析为何会出现这种情况。例如，智能图像质量引擎可确定背光的存在可能是导致图像曝光未达最佳标准的原因。换句话说，智能图像质量引擎140不但知道系统现在所处的状态(根据其各种参数)，而且知道其成为这种状态的轨迹(例如，增益增加，然后帧速率降低等)。这一点比较重要，因为即使结果是一样的(例如，较差的图片质量)，也可能要依据这一结果的所评估的原因(例如，背光、微光情形等)通过改变不同的参数来改进图像质量。以下参看图3更详细地讨论这一点。

接着，根据智能图像质量引擎140的判断而更新参数(步骤260)。连续地调节有些组的参数，以便响应于变化的环境而改进图像质量。在一个实施例中，对一组参数的这种连续调节是依照响应于特定环境而实施的特定图像处理算法。例如，微光环境可能会触发帧速率控制算法，且背光环境可能会触发智慧型自动曝光算法。以下更详细地描述这类算法。

下表1说明由根据本发明实施例的智能图像质量引擎140提供的输出参数的实例。

typedef struct_LVRL2_OUTPUT_PARAM

{

      LVRL_ULONG ulSmartAEMode；//用户控制设置的新值

      LVRL_ULONG ulSraartAEStrenght；//用于智慧型AE强度的值

      LVRL_RECT SmartAEActualZOI；//经滤波和调整的用于智慧型AE算法的

                                  //关注区域。其采用传感器坐标的形式。

      LVRL_ULONG ulTemporalFiIterMode；//用户控制设置的新值

   LVRL_ULONG ulTemporalFilterlntensity；//用于时间滤波器强度

                                         //的值

   LVRL_ULONG ulTemporalFilterCPULevel；//用于时间滤波器CPU级的值0

                                        //到10。0为低，10为高。

   LVRL_ULONG ulColorPipeAutoMode；//用户控制设置的新值

   LVRL_ULONG ulColorPipelntensity；//用于图像管道控制强度

                                    //的值

   LVRL_ULONG ulColorPipeThresholdl1//用于图像管道控制

                                    //增益阈值1的值

   LVRL_ULONG ulColorPipeThresholdl2//用于图像管道控制

                                    //增益阈值2的值

   LVRL_ULONG ulLowLightFrameRate；//用户控制设置的新值

   LVRL_ULONG ulFrameRateControlEnable；//用于帧速率控制启用的值：0

                                        //为关，1为开

   VRL_ULONG ulFrameRateControlFrameTime；//用于帧速率控制

                                          //帧时间的值

   LVRL_ULONG ulFrameRateControlMaximumGain；//用于帧速率

                                             //控制最大增益的值

}LVRL2_OUTPUT_PARAM，*PLVRL2_OUTPUT_PARAM；

表1

接着，以适当方式(例如传送给装置100和主机110)传送这些更新的参数(步骤265)以供将来使用。以下各表中提供这类参数的实例。对参数的这种更新使得改进的接收到的图像质量更佳。

应注意，在本发明的一个实施例中，对每个接收到的图像帧调用智能图像质量引擎140(步骤230)。这一点比较重要，因为智能图像质量引擎140负责自动更新参数，并且用于将用户设置转译成软件和/或硬件要使用的参数。因此，智能图像质量引擎140的连续使用使得其在任何给定时间都了解哪些参数受到其控制而哪些参数受手动控制。智能图像质量机器140可根据其状态、环境和其它输入参数来确定要做什么，并产生适当的输出参数和要执行的动作的列表。

从图2中可看出，也对接收到的帧执行特定类型的捕获后处理(步骤270)。这类后处理的实例是时间处理，以下将更详细地描述。应注意，根据本发明的实施例，这类后处理是可选的。接着向使用图像数据的应用程序提供图像帧(步骤280)。

如上所述，在本发明的一个实施例中，将智能图像质量引擎140实施为状态机。图3A是状态机的方框图表示。状态机的定义对于所属领域的技术人员是众所周知的。从图3A中可看出，状态机包含各种状态(状态1……m)，其中每一者均可与一个或一个以上动作(动作A……Z)关联。动作是对将执行的一个或一个以上行为的描述。此外，转变是指状态变化，且由启用转变所需要满足的条件来描述。转变规则(条件1……m)确定何时转变成另一状态，以及应当转变成哪种状态。

在状态机的一个实施例中，当调用了状态机时，其在相关联的内容中查找当前状态，并接着使用预定的功能指针表来调用用于所述状态的正确的功能。状态机实施所有所需的决策，使用在合适情况下可与其它状态功能共用的其它功能(如果需要的话)来形成恰当的输出，且如果发生转变，则其在上下文中更新当前状态，以便在下次调用状态机时采用新状态。通过这种方法，添加状态就像添加额外功能一样简单，且改变转变就相当于在本机中调整单个功能。

在一个实施例中，各种转变取决于各种预定阈值。特定阈值的值在系统性能中是一个关键成分。在一个实施例中，这些阈值是装置100专用的，而状态机则是不同装置普遍使用的。在一个实施例中，阈值存储在装置100上，而状态机本身驻存在主机110上。以此方式，相同的状态机由于指定阈值不同而对不同装置以不同方式工作。在另一实施例中，状态机本身可具有特定装置100不进入的特定状态，和/或仅针对一定装置100存在的其它状态。

在一个实施例中，状态机经由若干接口而从硬件中完全抽离。此外，在一个实施例中，状态机不依赖于硬件平台。在一个实施例中，状态机不依赖于操作系统(OS)。在一个实施例中，状态机实施为支持跨平台。在一个实施例中，状态机实施为静态或动态的库。

图3B说明根据本发明实施例所使用的状态机的实例。从图3中可看出，状态分为3种类型：正常状态310、微光状态320和背光状态330。在此实施例中，每一状态对应于一种被启用的新特征或一个新参数。每一特征针对其相应的状态以及具有较高编号的所有状态而启用。两个状态可对应于具有不同参数的相同特征。在此情况下，最高状态号盖过先前的特征参数。在一个实施例中，针对每种状态界定以下信息：

启用的特征(例如，时间滤波器、智慧型自动曝光(AE)、帧速率控制)

针对所述特征的参数(例如，最大帧时间、降饱和值)

触发状态转变的参数(例如，增益、整合时间、背光测量)

转变为下一状态的阈值

转变为先前状态的阈值。

下表2提供如何根据处理器速度和以每秒钟多少像素表示的图像格式(宽×高×帧/每秒)在智能图像质量引擎140的不同模式(关/正常模式/受限CPU模式)下选择微光状态的实例。

	关	正常	有限CPU
				CPU＞2MHz或PPS＜1.5M	关	微光A	微光B
CPU＜2Mhz	关	微光B	微光B

表2

表3和表4中分别提供微光A和微光B的实例。

状态#	特征	参数	触发参数	禁用阈值	启用阈值
						微光1A	时间滤波器	CPU低	增益	2	3
微光2A	帧速率	1/10s最大增益＝6	增益	4	6
						微光3A	图像控制	强度(50％)增益阈值1增益阈值2	增益	6	6.1
微光4A	帧速率	1/5s最大增益＝8	增益	6	8
						微光5A	时间滤波器	CPU高	增益	10	12

表3：微光A

状态#	特征	参数	触发参数	禁用阈值	启用阈值
						微光1B	帧速率	1/10s最大增益＝3	增益	2	3
微光2B	图像控制	强度(50％)增益阈值1增益阈值2	增益	3	3.1
						微光3B	帧速率	1/5s最大增益＝8	增益	4	6
微光4B	时间滤波器	CPU低	增益	6	8

表4：微光B

如上所述，本发明的各个实施例解决较差图像质量的各种原因。这些原因包含微光情形、背光情形、噪声等。此外，也可处理若干图像管道控制(例如对比度、饱和度等)。现在在下文中详细论述。

智慧型自动曝光(AE)：

如果由于背光情形而将图像质量评估为较差，则调用智慧型AE。智慧型AE是改进相机的自动曝光算法的特征，以在对用户最重要的图像区域(关注区域)中改进自动曝光。在一个实施例中，智慧型AE算法可位于固件中。在一个实施例中，其可位于软件中。在另一实施例中，其可位于固件与软件二者中。在一个实施例中，智慧型AE算法依赖于对场景的平均亮度的统计估计，且为此目的将对用户潜在地可进行设置的尺寸和来源的若干窗口或区块平均统计结果。

图4A是说明当根据本发明实施例实施智慧型自动曝光算法时由状态机起始的各种操作。在一个实施例中，将智慧型AE实施为机器视觉与一起工作的图像处理算法的组合。

首先根据接收到的图像来计算关注区域(或范围，ZOI)(步骤410)。所述关注区域可用多种方式获得。在一个实施例中，使用机器视觉算法来确定关注区域。在一个实施例中，将人脸看作构成关注区域。在一个实施例中，用来计算图像中的关注区域的算法是面部检测器、面部追踪器或多面部追踪器。此类算法可从数个公司购得：例如Logitech，Inc.(Fremont，CA)和Neven Vision(Los Angeles，CA)。在一个实施例中，将包含用户面部的矩形的尺寸与预定尺寸(ZOI的最小尺寸)的矩形进行比较。如果包含用户面部的矩形不小于ZOI的最小尺寸，则确定此矩形为ZOI。如果其小于ZOI的最小尺寸，则增大包含用户面部的矩形的尺寸，直到其匹配或超过ZOI的最小尺寸为止。接着确定这个经过修改的矩形是ZOI。在一个实施例中，ZOI也经过校正，以使得其不会在图像上移动得快于预定速度，以便将算法的过度自适应所引起的假象最小化。在另一实施例中，使用特征追踪算法(例如来自Neven Vision(Los Angeles，CA))来确定关注区域。

在又一实施例中，当从机器视觉无法获得关注区域时，使用默认关注区域(例如，对应于图像中央及其尺寸的50％)。应注意，在一个实施例中，关注区域还取决于捕获的视频所用于的应用(例如，对于视频即时消息传递，图像中的运动位置或者图像中用户面部的位置)。在一个实施例中，ZOI位置模块将输出用户所位于的子窗口的坐标。在一个实施例中，这一窗口包含用户面部，且还可包含其它移动物体。在一个实施例中，每隔预定数目的毫秒之后便更新窗口。在一个实施例中，每一坐标不能朝窗口中央每秒移动预定数目以上的像素，或者在其它方向上每秒移动第二预定数目以上的像素。此外，在一个实施例中，最小窗口尺寸在传感器尺寸的水平方向和垂直方向上均不小于预定数目的像素。

接着，将针对帧计算的关注区域转译(步骤420)成图像捕获装置100的传感器上的相应区域。在一个实施例中，当在主机110中计算(步骤410)ZOI时，其需要被传送到相机100。针对每一相机界定用来传送ZOI的接口。在一个实施例中，自动曝光算法针对一组不同的ZOI以位掩码的形式报告其容量。接着，相机100的驱动器将ZOI坐标告示给以传感器坐标形式表达的相应属性。驱动器知道相机的分辨率，并使用所述分辨率将窗口坐标转译(步骤420)成传感器坐标。

接着，根据所用的AE算法将ZOI映射(步骤430)成特定的硬件能力。举例来说，如果AE算法使用传感器上的许多平均化区域，则使得ZOI尽可能密切地匹配由这些平均化区域组成的区域。接着，AE算法将在确定曝光需求时使用对应于具有较高平均权数的ZOI的区域。在一个实施例中，ZOI中的每一平均化区域具有预定量大于AE算法所使用的总加权平均值中的其它平均化区域(ZOI外部)的权数。图4B对此进行说明，其中ZOI外部的每一平均化区域具有权数1，而ZOI内的每一像素具有权数X，其中X大于1。

下表5说明以上针对智慧型AE算法的一个实施例所讨论的一些参数的一些可能值。

特性	类型	值	作用
				强度(X)	离散	0，1，2，3	决定ZOI与图像其余部分之间的各权数(对应于权数4、8、16)。用0来关闭特征
频率(T)	离散	多个1/30	ZOI坐标的两次更新之间的时间差
				内移最大坐标(N)	连续	小于500的任何整数	连续坐标之间的像素差的数目
外移最大坐标(M)	连续	小于500的任何整数	连续坐标之间的像素差的数目
				最小ZOI尺寸(P)	连续	小于1000的任何整数	以像素计的最小ZOI尺寸

表5

在一个实施例中，上述参数中有些参数在所有图像捕获装置之间是固定的，而有些参数则根据所用的相机而变化。在一个实施例中，有些参数可由用户设置/选择。在一个实施例中，有些参数是固定的。在一个实施例中，有些参数是相机特有的，且存储在相机本身上。

在一个实施例中，智慧型自动曝光算法使用不同单位向智能图像质量引擎140报告特定参数(例如当前增益)，以便可使用整数数字来设置有意义的阈值。举例来说，在一个实施例中，为了实现足够的精确性，将增益界定为8位整数，其中8表示增益1，且255表示增益32。

在一个实施例中，智慧型自动曝光算法通过从中央窗口的平均值中减去外部窗口的平均值向智能图像质量机器140报告要求智慧型AE所达到程度的估计(背光估计)。为此目的，在一个实施例中，中央窗口的默认尺寸大约为整个图像的尺寸的一半。一旦启用了智慧型AE特征，中央窗口便如上文所述变成ZOI。在一个实施例中，对要求智慧型AE所达到的程度的这一估计是基于比率(而不是差值)，此取决于中央平均值与外部平均值之间的实施。在一个实施例中，均匀的图像将产生较小值，而中央与周围之间的亮度差越大，这个值就越大(不论是中央更亮还是外部更亮)。

帧速率控制：

当遇到微光条件时，可根据本发明的实施例实施帧速率控制特征。这允许在微光条件下实现较好的信噪比。

图5是说明根据本发明实施例帧速率、增益和降饱和算法如何相互作用的图表。图5中的X轴表示照明强度(对数刻度)，且Y轴表示积分时间(对数刻度)。当可用光减少时(即在图表上向左移)，增加积分时间(帧速率降低)以补偿光的减少。降低相机100捕获的帧速率，以便能够通过使用较长的积分时间和较小的增益来提高图像质量。然而，由于包含用户体验的降低、和应用程序所请求的帧速率等若干原因，非常低的帧速率往往不可接受。

当达到应用程序要求的帧速率且可用光进一步减少时，稳定地增加增益(如由曲线图中的水平部分所描绘)。随着可用光又进一步减少，达到无法接受增益进一步增加的点(最大增益阈值)。这是因为增益的增加会使得图像噪声过多，且最大增益阈值是不再能接收噪度进一步增加的点。如果可用光进一步减少而超过这一点，那么再次降低帧速率(增加积分时间)。最后，当帧速率已降低到最小阈值(最小帧速率)时，如果可用光进一步减少，则尝试其它措施。举例来说，可进一步增加增益，和/或采用其它图像管道控制(举例来说，可增加降饱和、可操纵对比度等)。

在一个实施例中，帧速率算法具有图6所示的参数。

特性	类型	值	作用
				启用	二进制	开/关	打开或关闭特征
最大帧速率	离散	0-255	所允许的控制帧速率的最大积分时间(在1/s＝＞5中为200ms，对于66ms为15)
				最大增益	离散	0-255	AE算法应使用在积分时间期间使用高达该值的增益

表6

当最大帧时间比对应于应用程序所要求的帧速率的最大帧时间短时，在一个实施例中，将这一参数抛弃，以便优化图像质量(这是增益达到所允许的最大增益值之后在图5的左侧发生的情况)。

图像管道控制

若干其它特征是根据本发明实施例实施的，且此处在图像管道控制下进行论述。图像管道控制是图像管道中会影响到图像质量的一组旋钮，且可不同地设置以便以图像质量的一些方面作为代价来改进其它一些方面。举例来说，这些方面包含饱和度、对比度、亮度和锐度。这些控制中的每一者均具有一些折衷。举例来说，控制饱和度水平可在色彩与噪声之间折衷、控制锐度可在清晰度与噪声之间折衷，且控制对比度可在亮度与噪声之间折衷。根据本发明的实施例，会尽量满足用户指定的控制水平，同时也考虑到这一控制与其它若干因素的相互作用，以保证整体图像质量不会降低到无法接受的水平。

在一个实施例中，这些图像管道控制受到智能图像质量机器140的控制。在另一实施例中，用户可将图像管道控制中的一者或一者以上手动设置成不同水平，以下将对此进一步论述。在另一实施例中，一个或一个以上图像管道控制可受到用户和智能图像质量引擎二者的控制，其中用户的选择盖过智能图像质量引擎的选择。

图6是说明根据本发明实施例如何实施用户指定的饱和度水平的图表。在Y轴描绘饱和度，在X轴描绘增益。在此实施例中，向用户提供4个降饱和水平的选择——针对每个产品界定的所允许的最大降饱和的25％、50％、75％和100％。可以看出，在用户选择的水平与对应于降低量的水平之间内插阈值1与阈值2之间的增益时的饱和度。在一个实施例中，主要进行线性内插以根据增益将全饱和度水平转变成减少的饱和度水平。这两个阈值界定在其中逐渐减少饱和度的增益范围。饱和度控制是用户设置的标准饱和度水平，且降饱和控制是用户或智能图像质量机器所允许的降饱和量。

在一个实施例中，各种控制是图像管道的一部分，其呈软件或呈硬件形式。下表7中是图像管道控制的一些参数。

特性	类型	值	作用
				最大增益处的强度	连续	0，1，2，3	确定所述值在最大增益处降低了多大程度。以此为根据内插当前值。将用0来关闭特征。1、2、3分别对应于图像管道控制降低了25％、50％和100％。
增益阈值1	连续	0-255	开始修改强度的增益阈值
				增益阈值2	连续	0-255	对应于经修改的强度的增益阈值

表7

时间滤波器

如上文关于图2所述，也根据本发明的一些实施例对图像数据执行(步骤270)一些捕获后处理。时间滤波是这样一种类型的后处理算法。

在一个实施例中，时间噪声滤波器是一种通过在图像的非运动区域中在时间上将像素平均化而去除噪声的软件图像处理算法。虽然时间滤波会在图像的固定部分中去除时间噪声，但其不会影响固定的图案噪声。当增益达到噪声变得更加明显的水平时，这一算法是有用的。在一个实施例中，仅在增益水平高于特定阈值时才激活这一算法。

在一个实施例中，时间滤波具有表8中展示的参数：

特性	类型	值	作用
				CPU水平	二进制	低/高
强度	离散	0，1，2，3	分别在2、4或8帧上进行平均。0将用来关闭特征。
				噪声水平	连续	0-65535	区分运动与噪声。越小，其去除的噪声将越少，越大，看到的幻影将越大。

表8

用户界面

在一个实施例中，图像捕获装置100中实施的默认情况是智能图像质量引擎140被启用，但不经用户准许不会实施。最初，将智能图像质量引擎140的动作限于检测会影响图像质量的条件(例如光照条件(微光或背光))，和/或仅使用不会对用户体验造成任何负面影响的特征。然而，在一个实施例中，在实施上述进行折衷的算法之前先向用户征求许可。

如上所述，在一个实施例中自动进行可在不影响用户体验的情况下进行的图像质量的改进。当达到任何要求将导致折衷的进一步改进的触发时，询问用户120是否启用这类特征，且向用户告知负面影响，或向用户提供由其自身进行优化的选项。在一个实施例中，还询问用户120其是否想在将来的实例中类似地收到提示，或者用户采用智能图像质量引擎以后便无需提示他就继续操作。图7A展示了根据本发明实施例用户在与主机110相关联的显示器上看到的截屏。在图7A中，智能图像质量引擎140称为RightLight^TM。

在一个实施例中，如果用户120接受智能图像质量引擎140的实施方案，并选择下次不再进行询问，则智能图像质量引擎140以后将无需再次通知用户120即使用各种特征，除非用户120手动改变此设置。如果用户120接受智能图像质量引擎140的实施方案，但选择下次需要通知，则智能图像质量引擎140将无需通知用户120的情况下使用各种特征，除非不需要任何此类包含折衷的特征，或者相机100被暂停或关闭。如果用户120拒绝使用智能图像质量引擎140，则所采取的动作将限于对用户体验不会造成任何负面影响的动作。

在一个实施例中，与智能图像质量引擎140相关联的若干特征也可手动设置。图7B展示根据本发明一个实施例用户120可用来选择各种控制的用户界面，所述控制例如为微光饱和度(对应于上述用于降饱和的图像管道控制)、微光推进(对应于上述帧速率控制)、视频噪声(对应于上述时间滤波器)和点测光(对应于上述智慧型AE)。图7B允许用户120通过使用滑件控制来设置这些控制中每一者的水平。在一个实施例中，手动设置的用户控制将盖过智能图像质量引擎140所设置的相同参数。在一个实施例中，滑件控制是非线性的，且范围在0(关)与3(最大)之间。默认情况是，其均被设置为0(关)。以下参看图7C论述自动模式检验栏的行为。点击“返回到默认设置”按钮会将所有滑件设置成默认模式。以下也参看图7C论述此操作。

下表9包含根据本发明实施例将用户界面(UI)控制映射成参数。

特征	值的列表	映射成参数值
			时间滤波器	0，1，2，3	对应于强度参数。0关闭该特征，且1、2、3分别对应于2、4和8帧平均化
微光推进	0，1，2，3	对应于以ms计算的最大帧时间。0关闭该特征，且1、2、3分别对应于100、150和200ms的最大帧时间。所用的最大增益将是固定的。
			饱和度	0，1，2，3	对应于强度参数。0关闭该特征(具有高增益的图像管道中没有变化)，而1、2、3值将会把参数降低范围的25％、50％和100％。
智慧型AE	0，1，2，3	对应于权数参数。0会关闭特征，且1、2、3分别对应于权数4、8和16。

表9

图7C是说明在一个实施例中当用户选择图7A中的选择和/或图7B中的滑件位置时发生的情况的流程图。在此处展示的实施例中，当安装了装置100的驱动器时，其将默认为手动模式(0)。当安装者安装RightLight^TM监视器时，其设置注册表，通知驱动器安装了RightLight^TMUI。这允许驱动器定制其特性页面以显示正确的控件组。当相关联的软件首次启动时，其将RightLight模式设置为默认模式(5)。默认模式(UI角度)的行为如下：

-检验图7B中的自动模式按钮

-禁用图7B中的滑件控制，且其值并不反映驱动器值

-来自智能图像质量引擎140的通知将提示软件显示如图7A中展示的提示对话。

可从图7A中看出，提示对话向用户提供三个选项：

1.始终——应用模式10。这允许智能图像质量机器140控制所有内容。

2.一次——应用模式10。软件继续处理来自智能图像质量机器140的通知，且一旦结束流，便将模式设置成默认(5)。仅在流的每个实例时提示用户一次。

3.从不——应用模式0。这使系统处于手动模式(不检验自动检验栏)。

当处于自动模式(9或10)时，UI的行为如下：

-检验图7B中的自动模式检验栏

-禁用图7B中的UI控制(用户无法改变其且其呈灰色)

-根据智能图像质量引擎140更新UI控制。

在自动模式9与10之间存在区别。模式9是主机系统110的CPU高功耗的模式，且10是主机系统110的CPU低功耗的模式。所用的其它特征/应用(例如，智能面部追踪、使用模型等)会影响这些模式的选择。

在一个实施例中，这些模式存储在应用程序中的各装置水平上。如果用户使一个相机处于手动模式下，并插入新的相机，则新相机会初始化成默认模式。插入旧相机会使其以手动模式初始化。如果在图7A中展示的提示对话打开时用户取消(按退出键)，对话将被关闭且不会改变模式。直到流的下个实例才会进一步提示用户。

根据本发明的实施例，图像捕获装置100配备有一个或一个以上LED。这些LED将用来向用户传送与智能图像质量引擎140相关的信息。举例来说，在一个实施例中，在正常模式下默认稳定的LED。在一个实施例中使用LED的闪烁模式来向用户提供关于相机100可能会转变成的特定模式的反馈。举例来说，当不在实施智能图像质量算法(例如，帧速率控制、智慧型AE等)，LED是绿色的。当智能图像质量引擎输入将实施此类算法的一种状态时，LED会闪烁。此实例中的闪烁指示要求用户交互。当用户交互(例如在图7A中)结束时，LED重新变为绿色。在一个实施例中，将LED的设置从主机110传送到智能图像质量引擎140，并将经过更新的设置从智能图像质量引擎140传送到主机110，如参看图2所述。

虽然已经说明和描述了本发明的特定实施例和应用，但应了解，本发明并不局限于本文所揭示的精确构造和组件。举例来说，可添加其它量度和控制，例如基于软件的自动对焦、ZOI的不同用法、更高级的背光检测和AE算法、图像上的不均匀增益等。在不偏离所附权利要求书中所界定的本发明的精神和范围的情况下，可在本文所揭示的本发明的方法和设备的布置、操作和细节中进行所属领域的技术人员易于了解的其它各种修改、变化和更改。

Claims (18)

1.一种用于捕获具有改进的图像质量的图像数据的系统，所述系统包括：

图像捕获装置，其以通信方式耦合到主机系统；

智能图像质量引擎，其用于控制所述图像捕获装置所捕获的图像数据的质量，其中所述智能图像质量引擎从所述图像捕获装置和所述主机系统接收信息，并向所述装置提供参数。

2.根据权利要求1所述的系统，其进一步包括：

所述主机系统，所述图像捕获装置以通信方式与其耦合。

3.根据权利要求1所述的系统，其中所述智能图像质量引擎还向所述主机系统提供参数。

4.根据权利要求1所述的系统，其中所述图像捕获装置包含视觉反馈指示符，以提供与所述智能图像质量引擎相关的信息。

5.一种用于智能地改进由图像捕获装置捕获的图像数据的质量的方法，所述图像捕获装置以通信方式耦合到主机，所述方法包括：

接收图像数据；

从所述接收到的图像数据中提取信息；

从所述图像捕获装置接收信息，其中包含第一参数；

从所述主机接收信息，其中包含第二参数；

调用智能图像质量引擎；

根据所述智能图像质量引擎的指定来更新所述第一参数和所述第二参数；和将所述第一参数传送到所述图像捕获装置，并将所述第二参数传送到所述主机。

6.根据权利要求5所述的方法，其中所述第一参数是从由所述图像捕获装置的增益、帧速率和背光估计度量组成的群组中选出的一个参数。

7.根据权利要求5所述的方法，其中所述第二参数是从由使用所述图像数据的应用程序、与所述主机的处理能力相关的信息和与所述主机应用的多个算法的设置相关的信息组成的群组中选出的一个参数。

8.根据权利要求5所述的方法，其中所述智能图像质量是状态机。

9.根据权利要求8所述的方法，其中所述调用所述智能图像质量引擎的步骤包括：

根据以下内容确定所述状态机中的适当状态：

所述状态机的当前状态；

从所述主机接收到的信息；从所述图像捕获装置接收到的信息，和接收到的所述图像数据；和

用于从所述当前状态转变成下一状态的预定阈值。

10.根据权利要求8所述的方法，其中从所述状态机中的第一状态到状态机中的第二状态的转变是根据预定阈值。

11.根据权利要求10所述的方法，其中所述预定阈值是所述图像捕获装置特有的。

12.一种用于智能地控制由图像捕获装置捕获的图像数据的自动曝光的方法，所述方法包括：

接收图像数据；

从所述接收到的图像数据中提取信息；

从所述图像捕获装置接收信息，其中包含第一参数；

从所述主机接收信息，其中包含第二参数；

根据由所述提取的信息、所述第一参数和所述第二参数所组成的群组中的至少一者，

识别包含多个像素的关注区域；

向所述关注区域中的所述多个像素提供第一权数，并向所述关注区域外的多个像素提供第二权数。

13.根据权利要求12所述的方法，其中分析所述捕获的图像数据的步骤包括：

在所述图像数据中检测用户的面部。

14.根据权利要求12所述的方法，其中所述分析所述捕获的图像数据的步骤包括：

在所述图像数据中检测运动。

15.根据权利要求12所述的方法，其中所述识别关注区域的步骤包括：

在所述捕获的图像中识别用户的面部；

计算经形成以包含所述用户的面部的矩形的坐标；

计算所述矩形的尺寸；

将所述矩形的所述尺寸与预定最小尺寸进行比较；和

响应于所述矩形的所述尺寸大于所述预定最小尺寸，将所述矩形设置为所述关注区域。

16.一种用于在微光环境下捕获具有改进质量的图像数据的方法，所述图像数据被提供到以通信方式与所述图像捕获装置耦合的主机上的应用程序，所述方法包括：

接收图像数据；

从所述接收到的图像数据中提取信息；

从所述图像捕获装置接收信息，其中包含第一参数；

从所述主机接收信息，其中包含第二参数；

根据由所述提取的信息、所述第一参数和所述第二参数组成的群组中的至少一者，

降低由所述图像捕获装置捕获的帧速率，直到达到所述应用程序所要求的帧速率为止；

提高所述图像捕获装置的增益，直到达到预定的最大增益阈值为止；和进一步降低由所述图像捕获装置捕获的帧速率，直到达到预定的帧速率阈值为止。

17.根据权利要求16所述的方法，其进一步包括：

提高降饱和度，以进一步改进所述图像的质量。

18.根据权利要求17所述的方法，其进一步包括：

应用时间滤波器，以在达到指定增益阈值时进一步改进所述图像的质量。

Images