CN105989571B - 基于使用结构相似性的图像匹配对计算机视觉预处理进行的控制 - Google Patents

Abstract

处理器计算输入图像的输入图像结构复杂性的衡量，并且搜索真实肯定的数据库以在数据库中查找表示在结构上与输入图像类似的真实肯定图像的一个或多个条目。处理器将输入图像的信号质量的衡量与从数据库中检索到的真实肯定图像中的一个真实肯定图像的信号质量的衡量进行比较，并且基于此比较来更新控制变量，由此改善计算机任务的性能，所述控制变量配置在由计算机视觉处理器处理输入图像之前要对输入图像执行的信号质量调节过程。还描述并要求保护其他实施例。

Description

基于使用结构相似性的图像匹配对计算机视觉预处理进行的 控制

本公开的一个方面涉及计算机视觉，更具体而言，涉及用于通过自动地调整预处理阶段的基本的图像调节操作的控制变量来改善计算机视觉系统的性能的技术。还描述了其他方面。

背景技术

计算机视觉是计算机使用统计方法来处理或分析数字图像的组成像素以产生反映对图像中的内容的可视化理解的数值或符号信息的技术领域。计算机视觉任务的示例包括脸部检测或识别、通过姿态识别的用户交互，对象的自动检查、自主的车辆导航，检测事件(诸如，对人计数)以及组织信息(诸如，图像的数据库)。计算机视觉处理器具有计算上复杂的任务。然而，通过在预处理阶段执行对输入图像的某些基本的图像调节操作，可使那项任务变得更容易。例如，在一些情况下，使暗图像更亮且更锐利可以使其中的对象的边缘更容易由姿态识别处理器检测到。

附图说明

在所附附图的各图中以示例方式而非限制方式示出本公开的各方面，在附图中，同样的参考编号指示类似的元件。应当注意，在本公开中对“一”或“一个”实施例的引用不一定是指同一个实施例，并且它们表示至少一个实施例。此外，给定的附图可以用来示出多于一个的实施例的特征，并且并非附图中的所有元件对于给定的实施例都是必需的。

图1是计算机视觉(CV)系统的框图。

图2是执行用于填充真实肯定(true positive)数据库的过程的系统的框图。

图3描绘了如何在服务器平台中实现CV系统的大部分。

图4是其中可以实现CV系统的多个部分的最终用户平台的相关的硬件组件的框图。

具体实施方式

现在参考所附附图来解释若干实施例。每当未清楚地定义在此描述的实施例的多个方面时，在此的本公开的范围不仅限于所示出的部分，所示出的部分仅用于说明目的。此外，尽管阐述了众多细节，但是应当理解，一些实施例可以在没有这些细节的情况下实施。在其他实例中，不详细地示出公知的电路、结构和技术以便不至于使对本描述的理解变得模糊。

已经发现，仅处理被输入到计算机视觉系统的输入图像以判断它们是否过暗或过于模糊并据此调整它们的明度(brightness)或它们的颜色或灰度对比度不能一致地确保计算机视觉处理器(其对经调整的图像操作)将成功。

实施例是可以帮助增加计算机视觉任务的成功的可能性的数字图像处理方法。处理输入图像以计算它的结构复杂性的衡量。随后，使用a)输入图像结构复杂性的衡量和b)真实肯定图像的结构复杂性的衡量，计算输入图像相对于真实肯定图像的结构相似性的衡量。真实肯定图像是已导致由计算机视觉处理器进行的令人满意的决策的图像。响应于指示了输入图像与真实肯定图像之间的足够的相似性(匹配)的结构相似性的衡量，执行输入图像的信号质量的衡量与匹配的真实肯定图像的信号质量的衡量之间的比较。基于那个比较来更新控制变量，所述控制变量配置在由计算机视觉处理器处理输入图像之前对输入图像执行的信号质量调节过程。这可以增加来自计算机视觉任务的令人满意的结果的可能性。

另一实施例是图像处理系统，其中，结构相似性计算器从数据库中检索真实肯定结构复杂性度量，并且使用a)输入图像结构复杂性的衡量以及b)从数据库中检索到的一个或多个真实肯定结构复杂性度量来计算结构相似性度量。信号质量比较器执行输入图像的信号质量的衡量与从数据库中检索到的真实肯定信号质量度量之间的比较，并且可以根据此比较来更新控制变量，其中，控制变量配置计算机视觉系统的预处理器。

图1是计算机视觉(CV)系统的框图，所述CV系统的部分(如下文所述)执行图像处理方法，所述图像处理方法可以改善系统中的CV处理器4的决策的成功率。系统对输入数字图像序列进行操作。每一个输入图像可以直接从传感器(例如，作为数字静物相机或视频相机的部分)(未示出)接收，或可以从大容量存储设备(例如，静止图像文件数据库或电影文件数据库)(未示出)中检索。在由预处理器2调节之后(如下文中详细描述的那样，在这种情况下，预处理器2可以是任选的)，输入图像由CV处理器4处理。CV处理器4的任务可以是对象或形状检测或识别、姿态识别、对象的自动检查、自主车辆导航、检测事件(诸如，对人计数)、光学字符识别、道路标志检测、医学成像解释、监控算法以及组织信息(诸如，图像的数据库)。为了实现其任务，CV处理器4可以根据需要来执行诸如背景减除、旋转以及分段之类的操作以促进例如特征提取和决策。CV处理器4可以实现为神经网络或机器学习处理器。CV处理器4产生CV性能数据，该CV性能数据可包括在输入图像中被识别的特征或对象的像素坐标或定性指示，诸如，在室外或在室内，以及其任务已经被成功地执行(或其识别决策是正确的)的其置信度或可能性的指示。随后，CV性能数据可以由诸如用户交互应用和可视化理解应用之类的较高级别的功能(未示出)使用。

CV处理器4对可以由预处理器2预处理的输入图像进行操作。后者可用于在由CV处理器4处理输入图像之前执行对输入图像的若干基本的数字图像调节(在此也被称为信号质量调节)过程。在此描述的预处理设计成使CV处理器4的任务更容易，或者如果需要改善CV任务的结果则甚至使CV处理器4的结果是可能的。信号质量调节过程中的每一个过程都可以被视为由相应的信号质量(SQ)处理器来执行。图1中的示例示出了四个此类处理器SQ_1、…SQ_4，但这仅是示例，因为可以有少到两个或多于四个的不同的信号质量处理器。SQ处理器可包括下列各项的任何合适的组合：噪声消减处理器、伽马(或对比度控制)处理器、锐度调整处理器以及照度(illumination)补偿或明度调整处理器。可以根据单个的“旋钮”(“knob”)或控制变量(在此也被称为“增益”变量)来调整信号质量调节过程中的每一个的强度。换言之，明度处理器、锐度处理器、对比度处理器以及噪声消减处理器中的两个或更多个可分别由两个或更多个控制变量配置。应当指出的是，设置这些控制变量的方式不是以改善人的视觉或感知质量为目标而进行的，而是为调整图像的信号质量来进行的以使CV任务更容易。

在一个实施例中，出于效率的原因，在正常操作期间，可禁用或关闭预处理器2中的SQ处理器中的一个或全部，直到CV任务以不令人满意的方式执行(例如，如由下文所描述的性能数据评估器3确定)为止，此时，可以启用或打开SQ处理器(以帮助改善CV处理器的性能)。实际上，在许多实例中，输入图像的质量足够好以使CV任务令人满意地对它们进行操作。然而，请注意，其他预处理操作(诸如，重新设定输入图像的尺寸以匹配CV处理器的输入处所需的格式)可以保持启用。

已经发现，能够自动地配置预处理器2(特别是基本的图像调节(信号质量调节)处理器SQ_1…SQ_4处理器中的一个或多个)以改善后续的计算机视觉任务的性能是期望的。已经发现这些决策(即，如何调整预处理器2)取决于输入图像的特定内容，例如，风景、室外、室内、手、脸，或感兴趣的另一对象，等等。现在描述用于基于计算输入图像的结构复杂性的衡量并将其与“真实肯定”图像的该度量进行比较来作出此类决策的系统化方法。

仍参考图1，提供了控制变量计算器5，该控制变量计算器5计算可以定义将由预处理器2中的每一个基本图像调节的块执行的改变的强度和方向的相应的控制变量或增益值。例如，控制变量SQ_1可以是具有-5到+5的范围的明度控制，其中，零指示没有明度处理将由SQ_1处理器对输入图像执行，+5指示执行最强的明亮度增加过程，而-5指示执行最强的明亮度减小过程。正数可以导致输入图像经处理，从而增加其中的平均照度。定义每一个控制变量的其他方式是可能的。在一个示例中，有四个控制变量，即，明度、噪声含量、锐度以及对比度，其中，变量SQ_2可以是配置任何合适的噪声消减算法(由SQ_2处理器执行)的噪声消减，SQ_3可以是伽马或对比度变量，而SQ_4可以是锐度变量。基本的信号质量调节控制变量的其他组合是可能的。

有时，对于相同的输入图像，可能需要调整控制变量中的两个或更多个，其中，例如噪声消减调整伴随有伽马调整。还应当注意，在此对基本的图像信号调节过程作出的调整不旨在使输入图像对人眼显得更舒适；相反，它们仅被设计为使计算机视觉处理器的工作更容易，例如，增加的姿态识别的置信度。基本的信号调节操作可以被设计成对具有全传感器帧分辨率的输入图像进行操作，或它们可以被设计成对传感器帧的部分(例如，全传感器帧的中间的感兴趣的区域)进行操作。

除了控制变量计算器5之外，还提供了其中有N个条目的真实肯定的数据库7。在此一般地使用术语“数据库”来指格式化为使得此处的相关数据可以被组织为例如平面文件或查找表以由控制变量计算器5检索的任何合适形式的数据存储设备。数据库7的每一个条目都将a)已经从一个或多个先前经分析的、“表现好的”或真实肯定输入图像中提取或推导出的若干结构复杂性(SC)度量与b)表现良好的图像的若干信号质量(SQ)度量(这些度量先前也已从表现好的图像计算出)相关联。表现良好的或真实肯定的图像可以是先前已通过CV系统的图像，包括由预处理器2处理，且随后由CV处理器4处理，并且这已导致产生了正确的决策或令人满意的CV性能数据，例如，识别了姿态，识别了正确的形状、面部或其他对象，或室内还是室外的判断是正确的充分高的置信度或可能性。换言之，数据库7具有N个条目，其中，每一个条目都包括两个或更多个真实肯定结构复杂性度量，这两个或更多个真实肯定结构复杂性度量与两个或更多个真实肯定信号质量度量相关联。所述真实肯定结构复杂性度量已从相应的一个或多个真实肯定图像中导出，并且所述真实肯定信号质量度量也已从所述相应的一个或多个真实肯定图像中推导出。下文中结合图2进一步描述如何填充数据库7的示例。

控制变量计算器5处理输入图像以计算输入图像的输入图像结构复杂性的衡量。此外，计算器5还从数据库7获取真实肯定图像的真实肯定结构复杂性的衡量。换言之，计算器5可能正在访问数据库7以在给定的条目中检索真实肯定结构复杂性度量中的一个或多个。使用这两个结构复杂性衡量，计算器5计算输入图像相对于真实肯定图像的结构相似性的衡量。请注意，这不是试图量化图像相对于参考图像的质量的质量评分(例如，在压缩和解压缩操作之后)，而是相似性的通用衡量。结构相似性的度量可包括可以根据CV应用来选择的一个或多个相似性度量。如下文所讨论，在选择结构相似性的度量时具有灵活性，诸如，使用部分相似性度量的加权和，或使用非欧几里得相似性度量。

响应于指示充分的相似性或“匹配”的结构相似性的衡量，信号质量比较器12执行输入图像的信号质量的衡量与匹配的真实肯定图像的信号质量的衡量之间的比较。基于那个比较，它更新控制变量，所述控制变量配置由SQ_1、SQ_2、…SQ_4处理器中的一个对输入图像执行的信号质量调节过程。

换言之，计算器5访问众多表现良好的或真实肯定图像的先前确定的结构复杂性度量的数据库7，发现匹配的真实肯定图像(条目)，并且基于a)从匹配的条目中检索到的SQ度量以及b)由SQ计算器11从输入图像中计算出的对应的SQ度量来确定如何调整被输入到SQ处理器的控制变量，从而使输入图像接近于合适的、表现良好的图像(在数据库7中由匹配的条目表示)。预期这种对预处理器2的调整将改善以下机率：CV处理器4在执行其对经调整的输入图像的计算机视觉任务时将作出正确的决策。

在一个实施例中，输入图像结构复杂性的衡量包括输入图像颜色复杂性度量(CCM)、输入图像明亮度(lightness)(或亮度(luma)(Y))复杂性度量(LCM)以及输入图像空间复杂性度量(SCM)。这些可以由结构复杂性计算器8(SC计算器8)计算，所述SC计算器8处理输入图像来这样做。请注意，更一般而言，可以有少于三个结构复杂性度量，或可以有多于三个。作为示例，可以定义图像的三个结构复杂性度量，如下：

C1＝C2＝1，C3＝5

其中，S是熵，并可以由-sum(p.*log2(p))给出，p包含图像的直方图计数，Rxy是互相关，μ是平均值，σ是标准偏差，G是梯度，H是图像的高度，而W是图像的宽度。还应注意，尽管上述示例引用了输入图像的红、绿、蓝(RGB)图像平面，但是本公开中所描述的技术同样适用于其他颜色空间以及灰度图像(在这种情况下，将不需要颜色复杂性度量)。

对于灰度图像的替代公式：

●亮度对比度复杂性度量：

●亮度复杂性度量：

●空间复杂性度量：

C1＝C2＝1,C3＝5,C4＝10

与输入图像结构复杂性类似，真实肯定结构复杂性的衡量也可以包括应当以与其输入图像的对应项相同的方式定义的真实肯定颜色或灰度复杂性度量、真实肯定明亮度复杂性度量以及真实肯定空间复杂性度量。给定的真实肯定图像的结构复杂性度量先前已经被确定且被存储在数据库7中的分配的条目中，并且可由结构相似性计算器9(SS计算器9)访问。

在一个实施例中，SS计算器9根据下列各项中的两项或更多项来计算结构相似性的衡量：i)输入图像和真实肯定颜色或灰度复杂性度量，ii)输入图像和真实肯定明亮度复杂性度量，以及iii)输入图像和真实肯定空间复杂性度量。SS计算器9为数据库7中的若干条目中的每一个条目计算此类衡量，或计算根据需要的许多此类衡量，直到发现一个或多个“匹配”，即，其中的每一个都导致计算出的充分小的结构相似性度量的一个或多个条目。换言之，计算结构相似性的衡量使用a)已从输入图像推导出的两个或更多个输入图像复杂性度量的集合中的一项或多项，以及b)从数据库7中的给定的条目检索到的两个或更多个真实肯定结构复杂性度量的集合中的一项或多项。例如，考虑上文中介绍的情况，其中，输入图像复杂性度量包括输入图像颜色或灰度复杂性度量、输入图像明亮度复杂性度量以及输入图像空间复杂性度量。在那种情况下，计算结构相似性的衡量可包括计算结构相似性度量，该结构相似性度量是下列各项的函数：a)下列各项中的两项或更多项：i)输入图像颜色或灰度复杂性度量，ii)输入图像明亮度复杂性度量和iii)输入图像空间复杂性度量，以及b)从数据库7中的给定的条目检索到的真实肯定结构复杂性度量中的对应的两项或更多项。

在特定示例中，结构相似性(SS)度量可以是两个或更多个复杂性度量的任何函数。示例是输入图像x的复杂性度量与真实肯定y(来自数据库7)的复杂性度量之间的广义欧几里德距离(广义结构相似性度量，GSSM)，即

较小的GSSM意味着给定条目的真实肯定与输入图像(在它们的结构相似性方面)匹配得更好。

在一些情况下，仅沿上文给定的GSSM公式的两个维度而非所有三个维度来寻找(具有最小的GSSM的)匹配的条目可能是期望的。此类情况可能涉及其中颜色或灰度复杂性比照度更重要(即，更可能影响CV任务的结果)的特定的应用。例如，在图像是室外内容的情况下，颜色或灰度复杂性变得比照度更重要，而对于室内场景的图像，照度变得更重要。换言之，在此类情况下，允许沿一个维度的失真，使得上述GSSM的公式中的维度系数kc，kl或ks中的一项(特别是呈现出复杂性度量的最大差异的维度)将被设置为0。在那种情况下，SS度量将被视为切比雪夫互补型(Chebyshev-complement)度量。

其他SS度量可以使用单个的维度(诸如，颜色或灰度、明亮度，或空间复杂性本身中的任何一个)，而GSSM的另两个维度系数被设置为零。

另一示例是切比雪夫型SS度量，该度量仅使用CCM之间、LCM之间、以及SCM之间的最大差异(而具有两个最小差异的维度系数都被设置为零)。产生那种类型的GSSM的最小值的条目可以是最接近的匹配条目。

另一方面，如果目的在于发现在结构上类似于输入图像但不一定沿特定方向的真实肯定图像，则我们可以使用欧几里德距离，所述欧几里德是单个差异的总和，即，(CCMx-CCMy)²+(LCMx-LCMy)²+(SCMx-SCMy)²的平方根。

换言之，可以对于数据库7的所选择的条目组(该组可包括数据库7的所有N个条目)中的每一个来计算一组SS度量。在一个实施例中，通过评估SS度量来发现前K个匹配的(即，匹配输入图像)条目(其中，K是>1的整数)。然后，此过程按以下操作继续进行：(由信号质量计算器11)计算输入图像的信号质量度量，并且将它们与表现良好的图像的信号质量度量(在前K个匹配的条目中)进行比较。作为响应，调整控制变量中的一个或多个。例如，如果在输入图像与表现良好的图像之间的锐度度量之间存在差异，则由SQ比较器12对锐度控制变量作出成比例的调整。换言之，控制变量的更新步骤(其中，所述控制变量配置在由计算机视觉处理器4处理输入图像之前对输入图像执行的信号质量调节过程)可包括以下步骤：与a)真实肯定图像的信号质量的衡量比b)输入图像的信号质量的衡量大多少或小多少成比例地改变(增大或减小)控制变量。应当注意的是，对控制变量的设置可以遵循这样的方案或策略：被设计成使输入图像的信号质量进入从统计意义上而言将更加可能由CV处理器识别的区域，而不完全等于匹配的条目的信号质量值。

请注意，对输入图像结构复杂性度量的计算可以基于具有例如正在捕捉图像的数码相机设备的全传感器帧分辨率的输入图像，即，到达全传感器帧分辨率的边界的“全局”计算。或者，计算可以基于全传感器帧的部分，例如，感兴趣的区域(诸如，在全帧的中间区域中。类似地，由预处理器2执行的调节在范围上可以是全局的(至输入图像的边界)，或者可以限于输入图像中的感兴趣的区域。输入图像也可以是单色或灰度平面(例如，红、绿或蓝平面产生的红色、绿色，或无色灰度信号)。还应当指出的是，如果至CV系统的输入图像具有比由传感器捕捉到的并从其中导出所述输入图像的源图像更小的尺寸(例如，由于效率原因而按比例缩小)，则优先在那个较小的分辨率上进行预处理。

在一个实施例中，为了改善灵活性，由SS计算器9计算在输入图像与数据库7中的给定的条目之间的多于一种类型的SS度量。当判断给定的条目是否是匹配时，在那种情况下的控制变量计算器5可以仅依赖于这些SS度量中的最相关的度量。例如，考虑没有许多颜色或灰度、但在细节或纹理方面丰富的图像。在那种情况下，不是基于颜色或灰度的结构复杂性度量的函数而仅是基于亮度和基于空间的结构复杂性度量的函数的SS度量可以指示存在对给定条目的匹配，而仅是基于颜色或灰度的结构复杂性度量的函数的另一SS度量将表示无匹配。在有多个(不同的)SS度量正在被计算的情况下，将它们从最大的相似性到最小的相似性排定等级且随后仅使用前几个SS度量来判断给定的条目是否匹配可能是有利的。如上文所提及，定制对于输入图像中的期望的内容的结构相似性(按照颜色或灰度、结构复杂性或照度复杂性的相关性)的总体衡量(在所述总体衡量中使用特定的SS度量)的灵活性可以足以保证(用于匹配数据库7中的一个或多个条目)的匹配过程将起作用。根据特定的图像内容和应用的需要，对SS度量的选择也可以包括上文给出的其他方法的任何组合。

一旦已发现来自数据库7的前K个匹配的条目，则(由信号质量比较器12)在输入图像的信号质量的衡量与真实肯定图像的信号质量的衡量之间执行信号质量比较。例如，这可以涉及输入图像的特定的SQ度量的集合以及前K个匹配的条目中的SQ度量。在一个实施例中，随后，仅使用最大的差异(即，输入图像的SQ度量与K个条目中的一个条目中的SQ条目之间的差异)来设置对应的SQ处理器的控制变量。例如，在具有K＝3个匹配条目的情况下，仅使用导致最大的对比度差异的条目来计算对比度处理器的增益值。可以对于其他SQ处理器中的全部采取类似的方法，例如，使用最大的明度差异来计算明度处理器的增益。在一个实施例中，增益值简单地是匹配的条目中的SQ度量与输入图像的SQ度量之间的计算出的差异。然而，请注意，专注于最大的信号质量差异的这种选择不排除执行也可能需要的互补的处理；例如，如果匹配的条目导致发现推荐照度增加，则照度增加可以伴有色饱和度的增加，以便在增加的照度存在的情况下维持颜色或灰度对比度(对于由CV处理器进行的改善的分段可能是期望的)。

在一个实施例中，控制变量计算是用于处理(在当前的输入图像由序列的后续图像替换之前)可能仍驻留在缓冲器存储器中的当前的输入图像的足够轻量的(且因此是快速的)计算过程，所述计算过程可在输入图像序列期间按需激活。例如，往回参考图1，可以提供性能数据评估器3，该评估器3评估由CV处理器(对于特定的CV任务)输出的性能数据。当数据指示对当前的输入图像的识别结果不令人满意时，可以激活控制变量计算器5，使得所述控制变量计算器5可以更新控制变量，所述控制变量更新SQ处理器的配置(参数设置)。随后，CV处理器4将对已经根据经更新的控制变量而经预处理的输入图像执行第二遍。这可能增加在第二遍中CV性能数据将是令人满意的且在下一输入图像替换缓冲器存储器中的当前的图像之前将可用的可能性。

在一个实施例中，一旦已更新信号质量控制变量，CV处理器4就对新调整的输入图像重复其任务，而无需作出关于调整是否处于正确的方向或者处于正确的量的任何验证或检查。注意，如果具有在连贯的输入图像之间所允许的足够的时间，并且如果性能数据评估器3发现所得到的CV性能数据继续是不令人满意的(例如，识别的置信度仍过低)，则在此可进行多遍，即，多于一次地更新信号质量控制变量。

现在参考图2，这是执行用于填充数据库7的过程的系统的框图。此过程可以开始于若干图像被收集到(例如，基准图像、和/或图1的计算机视觉系统已经正确地识别的先前的、表现良好的真实肯定图像)。由于计算机视觉任务已经正确地识别了此类图像中的基础事实(ground truth)，因此随后分析图像中的每一个图像以确定可以定义结构复杂性(SC)的衡量的某些属性。具体而言，SC计算器8可以处理每一个图像以计算它的两个或更多个SC度量，例如，上文给出的SC度量_1、_2、_3。通过分配随后将为图像计算出的SC度量存储在其中的存储空间，数据库7中的新条目被创建，并且分配给每一个真实肯定图像。此外，例如通过从每一个图像计算两种或更多种不同类型的信号质量(SQ)度量(例如，平均照度等级、锐度、对比度以及噪声水平)，为每一个图像确定信号质量的衡量。上文所描述的SQ计算器11可以用于此目的。然后，给定的真实肯定图像的这些(不同类型的)代表性的SC度量以及(同样也是不同类型的)SQ度量被写入到数据库7中与那个真实肯定图像相关联的条目中。重复此过程，直到已填充了期望的条目数量N为止。在此，请注意，真实肯定图像的实际像素数据不必被写入到数据库7，因为存储它们的SC和SQ度量对于控制变量计算器5的操作(上文中结合图1所描述)是足够的。

现在转向图3，此图描绘了如何在服务器平台中实现CV系统的大部分(包括控制变量计算器5、预处理器2、CV处理器4以及数据库7)。服务器平台可以是通过因特网来提供内容递送服务的服务器平台，该服务器平台使用内容递送服务器20以通过因特网与在例如最终用户平台21中运行的客户端进程进行通信。客户端进程可以是由最终用户平台21中的处理器执行的、正在执行例如如图所示的用户交互应用程序23的客户端进程。应用程序23可以是执行静止摄影、视频捕捉与编辑、视频会议以及社交联网(带有成像功能)的应用程序。当然，构想了其他应用。在这种情况下，内容递送服务可包括计算机视觉服务，诸如上文所列举的那些中的任何一个，包括对象或形状的检测或识别、姿态识别、对象的自动检查、自主车辆导航、检测事件(诸如，对人计数)、光学字符识别、道路标志检测、医学成像解释、监控算法以及组织信息(诸如，图像的数据库)。

在例如在台式计算机、视频游戏控制台、办公室视频会议系统，或其他最终用户平台中运行的用户交互应用程序23、或需要对其捕捉到的输入图像执行计算机视觉任务的任何其他应用程序的情况下，可以通过因特网实时地将输入数据(即，当这些输入图像正在由图像传感器设备22(例如，数码相机设备)捕捉时)传输到服务器平台，而从内容递送服务器20往回，经处理的输入图像(由服务器平台中的CV系统处理)的CV性能数据被接收。

更一般而言，取决于包括功耗优化、可用的带宽、期望的响应时间(等待时间)、存储器或任何其他架构或性能准则之类的准则，可跨客户端和服务器、以各种方式来分布在此描述的CV系统的计算负载。例如，客户端可以简单地将捕捉到的图像分派到服务器以进行处理，随后可往回接收根据由服务器处的控制变量计算器5和数据库7更新的增益值的经预处理的图像(即，远程地经预处理)；或者，它可以在本地实现对上文所描述的度量中的一些或全部的计算，并且仅在服务器中对数据库7查询匹配的条目，基于这些匹配的条目，它将在本地计算其本地实现的SQ处理器的增益设置。计算和数据存储工作负荷如何在客户端与服务器之间分布除取决于对工作负荷的分析以及客户端与服务器之间的资源和带宽之外，还取决于图像的尺寸和它们的帧速率。

注意，在此还使用图3来描绘另一实施例，即，其中输入图像的源来自于可经由因特网访问的文件存储设备31，且其中输入图像是先前被捕捉或以其他方式产生并随后被存储在文件存储设备31中的实施例。在那种情况下的内容递送服务器20将与文件存储设备31进行通信以检索输入图像。在已由CV处理器处理或操作了输入图像之后，CV处理器在此基础上生成CV性能数据，随后，服务器20可以将CV性能数据往回发送到文件存储设备31(在文件存储设备31处，它们与输入图像相关联地存储)，或者服务器20可以通过因特网而将CV性能数据供应给在另一设备(未示出)中运行的另一客户端进程。在所有这些实例中，可以提供穿越因特网(未示出)的组合式有线和无线通信链路以将输入图像上传到“云”(例如，从可以包含捕捉图像序列的数码相机，或包含静止图像或移动图像文件数据库的本地设备)。在一个实施例中，图像挖掘应用程序可能正在对本地设备中的图形文件数据库(数据库平台31)搜索某些内容(可视化理解应用)。

在另一实施例中，预处理器2的SQ处理器中的一个或多个(例如，执行自动白平衡的那一个)被实现为经编程的数字图像处理器，所述经编程的数字图像处理器物理地位于成像传感器设备22(例如，数码相机模块)内部。相机模块可以是在图4中描绘了其相关的硬件组件的最终用户平台的部分。成像传感器设备22可包括成像传感器、成像透镜系统和预处理器2(参见图1)。相机模块可以是构成最终用户平台21的更复杂的多功能系统的部分，所述最终用户平台21诸如，可穿戴计算设备(例如，一副智能眼镜或智能头盔或耳机)，工程工作站、台式计算机、膝上型计算机、智能电话、视频游戏控制台、电视机机顶盒、计划用于家庭或办公室的娱乐系统或车辆娱乐系统。如图4中所示，此类最终用户平台也可以包括其中存储了用户交互应用程序23的计算机存储器24、用于执行存储在存储器24中的程序的主处理器25(例如，中央处理单元、应用程序处理器)、用于实现各种硬件计算组件(包括图形处理器26)之间的通信的芯片组27、用户输入/输出接口28(例如，触摸屏系统)和网络通信接口29(例如，无线局域网接口、以太网接口、蓝牙接口和/或无线蜂窝通信网络接口)。在诸如可穿戴计算设备之类的便携式最终用户平台中，CV系统可以按比例缩小为具有更新预处理阶段的增益变量所需的最少功能，并CV系统的功能中的大部分(如果不是全部)也可以完全在最终用户平台中实现。或者，可以实现其中CV系统的计算任务分布在客户端与服务器之间的客户端-服务器系统。在一个实施例中，如果CV系统被设计成对灰阶输入图像进行操作，则可以在控制变量计算器5中使用较简单的算法来计算度量，在这种情况下，至少控制变量计算器5可以在客户端中在本地实现。

在图1的CV系统的一些元件在最终用户平台(诸如，图4中的最终用户平台)中实现的情况下，预处理器2(包括SQ处理器以及它们的控制变量输入)可以在成像传感器设备22(例如，相机模块)内实现，并且可由控制变量计算器5通过通信总线(例如，通过芯片组27)访问。控制变量计算器5的一些部分(诸如，信号质量比较器12)可以在如根据存储在存储器24中的软件被编程的主处理器25(图4)中实现，而其他部分(诸如，SC计算器8、SS计算器9和数据库7可以)在云计算系统中实现。注意，主处理器25(图4)可以位于相机模块外部，但是在更复杂的系统的外壳内。

还应当注意，尽管在图1中SQ处理器被示出为分开的框，但是，在实践中，这与以下情况是等同的：SQ处理器中的两个或更多个被实现为组合了两个或更多调节过程的性能(例如，锐度，噪声和对比度)的单个经编程的微处理器单元或“联合的”处理器，而SQ处理器中的两个或更多个仍响应于它们相应的控制变量。

更一般而言，实施例可以是在其上存储了指令的机器可读介质(诸如，任何形式的微电子存储器，包括作为云计算系统的部分的分布式形式)，所述指令编程对一个或多个数据处理器组件(这里一般地被称为“处理器”)为执行上文中针对作为CV系统的部分的控制变量计算器5(参见图1)所描述的数字图像处理和决策操作的任何合适的组合。例如，在图1中所描绘的CV系统的所选择的部分或者甚至其中所描绘的全部框(包括预处理器2、控制变量计算器5、数据库7和CV处理器4)可以实现为驻留在“云”中的经编程的数据处理器，由此，在那种情况下机器可读介质已将指令存储在其中，所述指令用于将“云中的处理器”(例如，服务器平台中的一组单独的微处理器或CPU)编程为执行图1中所示的硬件组件的所需操作。当然，那些操作中的一些可以由专用硬连线逻辑(例如，专用数字滤波器块)以及硬连线状态机、或由经编程的数据处理组件和硬连线逻辑电路组件的任何组合来执行。

在另一个实施例中，机器可读介质可以存储指令，所述指令将处理器编程为执行作为图2中描绘的数据库填充系统的部分的SC计算器8和SQ计算器11的操作。在又一实施例中，机器可读介质可以是真实肯定的数据库7，其中，在此情况下的介质在其中存储了N个条目，这N个条目包含收集到的SC度量以及表示它们相应的真实肯定图像的相关联的SQ值。

可以按如下方式来描述实施例。作为计算机视觉系统的部分的制品具有其中存储了指令的计算机可读介质(例如，“分布式”介质，诸如，云计算系统的部分，或完全位于最终用户平台的外壳内的介质)，所述指令对处理器编程以计算输入图像的输入图像结构复杂性的衡量，并搜索真实肯定的数据库以在数据库中查找表示在结构上与输入图像类似的真实肯定图像的一个或多个条目。处理器将输入图像的信号质量的衡量与从数据中库检索到的真实肯定图像中的一个的信号质量的衡量进行比较。基于此比较，处理器更新控制变量，所述控制变量配置在由计算机视觉处理器处理输入图像之前要对输入图像执行的信号质量调节过程。一方面，所存储的指令将处理器编程为通过将输入图像结构复杂性的衡量与存储在数据库中的许多条目中的每一个条目中的一个或多个真实肯定复杂性度量进行比较来搜索真实肯定的数据库。另一方面，所存储的指令还将处理器编程为通过计算结构相似性度量(该结构相似性度量是下列各项中的两项或更多项的函数：i)明度度量，ii)对比度度量，iii)锐度度量，以及iv)噪声度量)来比较输入图像的信号质量的衡量与真实肯定图像中的一个的信号质量的衡量。上文给出了此方法的示例，例如，GSSM。

尽管在所附附图中描述并示出了某些实施例，但是将会理解，此类实施例仅是说明性的而不是对在此宽泛的公开内容的限制，并且在此的公开不仅限于示出并描述的特定的构造和布置，因为本领域技术人员可以想到各种其他修改方案。例如，虽然在图1中预处理器2被描绘为由四个SQ处理器组成，但是替代方案是具有少于四个SQ处理器。此外，成像模态(输入图像和真实肯定图像的类型)不必仅限于基于消费电子的一般摄影，而且还包括医学成像、距离成像以及深度成像(例如，不仅使用可见光传感器，还使用红外光传感器)。说明书因此应当被视为是说明性的而非限定性的。

Claims (21)

1.一种用于计算机视觉系统的图像处理方法，包括以下步骤：

处理输入图像以计算所述输入图像的输入图像结构复杂性的衡量；

使用真实肯定图像的a)所述输入图像结构复杂性的衡量以及b)真实肯定结构复杂性的衡量，计算所述输入图像相对于所述真实肯定图像的结构相似性的衡量，其中，所述真实肯定图像是已导致由计算机视觉处理器进行的正确的决策的图像；以及

响应于指示足够的相似性的结构相似性的衡量而执行所述输入图像的信号质量的衡量与所述真实肯定图像的信号质量的衡量之间的比较，并且基于所述比较来更新配置在由计算机视觉处理器处理所述输入图像之前对所述输入图像执行的信号质量调节过程的控制变量。

2.如权利要求1所述的图像处理方法，其特征在于，所述输入图像结构复杂性的衡量包括输入图像颜色或灰度复杂性度量、输入图像明亮度复杂性度量以及输入图像空间复杂性度量。

3.如权利要求2所述的图像处理方法，其特征在于，所述真实肯定结构复杂性的衡量包括真实肯定颜色或灰度复杂性度量、真实肯定明亮度复杂性度量以及真实肯定空间复杂性度量。

4.如权利要求3所述的图像处理方法，其特征在于，结构相似性的衡量是下列各项中的两项或更多项的函数：所述输入图像和真实肯定颜色或灰度复杂性度量，ii)所述输入图像和真实肯定明亮度复杂性度量，以及，iii)所述输入图像和真实肯定空间复杂性度量。

5.如权利要求1所述的图像处理方法，进一步包括以下步骤：访问具有多个条目的数据库，其中，每一个条目都包括与多个真实肯定信号质量度量相关联的多个真实肯定结构复杂性度量，

其中，所述多个真实肯定结构复杂性度量是从相应的一个或多个真实肯定图像中导出的，并且所述多个真实肯定信号质量度量是从所述相应的一个或多个真实肯定图像中导出的，

其中，访问所述数据库以在给定的条目中检索所述多个真实肯定结构复杂性度量中的一个或多个，

并且其中，计算结构相似性的衡量使用a)从所述输入图像中导出的多个输入图像复杂性度量中的一个或多个，以及b)从所述数据库中的所述给定的条目中检索出的所述多个真实肯定结构复杂性度量中的所述一个或多个。

6.如权利要求5所述的图像处理方法，其特征在于，所述多个输入图像复杂性度量包括输入图像颜色或灰度复杂性度量、输入图像明亮度复杂性度量以及输入图像空间复杂性度量，

并且其中，计算结构相似性的衡量的步骤包括计算是下列各项的函数的结构相似性度量的步骤：

a)下列各项中的两项或更多项：i)所述输入图像颜色或灰度复杂性度量，ii)所述输入图像明亮度复杂性度量，以及iii)所述输入图像空间复杂性度量，以及

b)从所述数据库中的所述给定的条目中检索到的所述多个真实肯定结构复杂性度量中的对应的两个或更多个真实肯定结构复杂性度量。

7.如权利要求1所述的图像处理方法，其特征在于，更新配置在由计算机视觉处理器处理所述输入图像之前对所述输入图像执行的信号质量调节过程的控制变量的步骤包括以下步骤：与a)所述真实肯定图像的信号质量的衡量比b)所述输入图像的信号质量的衡量大多少或小多少成比例地增大或减小所述控制变量。

8.一种图像处理系统，包括：

结构复杂性计算器，所述结构复杂性计算器用于计算输入图像的输入图像结构复杂性的衡量；

信号质量计算器，所述信号质量计算器用于计算所述输入图像的信号质量的衡量；

真实肯定的数据库，具有多个条目，其中，每一个条目都包括与多个真实肯定信号质量度量相关联的多个真实肯定结构复杂性度量；

结构相似性计算器，所述结构相似性计算器用于在所述数据库的给定的条目中检索所述多个真实肯定结构复杂性度量中的一个或多个真实肯定结构复杂性度量，并使用a)输入图像结构复杂性的衡量以及b)从所述数据库中检索到的所述一个或多个真实肯定结构复杂性度量来计算结构相似性度量；以及

信号质量比较器，所述信号质量比较器用于执行所述输入图像的信号质量的衡量与从所述数据库中检索到的真实肯定信号质量度量之间的比较，

其中，所述信号质量比较器用于响应于指示了足够的相似性的所述结构相似性度量以根据所述比较来更新控制变量，其中，所述控制变量配置计算机视觉系统的预处理器。

9.如权利要求8所述的图像处理系统，其特征在于，所述输入图像结构复杂性的衡量包括输入图像颜色或灰度复杂性度量、输入图像明亮度复杂性度量以及输入图像空间复杂性度量。

10.如权利要求9所述的图像处理系统，其特征在于，所述多个真实肯定结构复杂性度量包括真实肯定颜色或灰度复杂性度量、真实肯定明亮度复杂性度量以及真实肯定空间复杂性度量。

11.如权利要求10所述的图像处理系统，其特征在于，所述结构相似性的衡量是下列各项中的两项或更多项的函数：i)所述输入图像和真实肯定颜色或灰度复杂性度量，ii)所述输入图像和真实肯定明亮度复杂性度量，以及iii)所述输入图像和真实肯定空间复杂性度量。

12.如权利要求8-11中的任一项所述的图像处理系统，其特征在于，所述预处理器包括分别可由两个或更多个控制变量配置的明度处理器、锐度处理器、对比度处理器和噪声消减处理器中的两个或更多个。

13.如权利要求8所述的图像处理系统，其特征在于，所述结构相似性计算器用于使用以下两项来计算所述结构相似性度量：a)已从所述输入图像中导出的多个输入图像复杂性度量中的一个或多个但不是全部；以及b)所述数据库中的所述给定的条目中的所述真实肯定结构复杂性度量中的对应的一个或多个但不是全部。

14.如权利要求8所述的图像处理系统，其特征在于，所述信号质量比较器用于通过以下操作来根据所述比较而更新所述控制变量：与a)所述真实肯定图像的信号质量的衡量比b)所述输入图像的信号质量的衡量大多少或小多少成比例地增大或减小所述控制变量。

15.如权利要求8-11中的任一项所述的图像处理系统，所述系统与服务器和计算机视觉处理器相结合，其特征在于，在所述服务器中实现所述结构复杂性计算器、所述信号质量计算器、所述真实肯定的数据库、所述结构相似性计算器、所述信号质量比较器和所述计算机视觉处理器中的一个或多个，并且其中，所述服务器用于经由因特网上的通信而从最终用户平台或从文件存储设备接收所述输入图像。

16.如权利要求15所述的图像处理系统，其特征在于，所述服务器用于将所述接收到的输入图像提供给所述计算机视觉处理器并提供给所述结构复杂性和信号质量计算器，并且随后服务来自所述计算机视觉处理器的性能数据，其中，所述性能数据是由所述计算机视觉处理器基于通过所述因特网已对所述输入图像进行操作而生成的。

17.一种计算机可读介质，所述计算机可读介质具有在其上存储的指令，所述指令将处理器编程为执行如权利要求1至7中的任一项所述的方法。

18.一种图像处理系统，包括：

用于计算输入图像的输入图像结构复杂性的衡量的装置；

用于计算所述输入图像的信号质量的衡量的装置；

用于存储多个条目的装置，其中，每一个条目都包括与多个真实肯定信号质量度量相关联的多个真实肯定结构复杂性度量；

用于在所述用于存储多个条目的装置的给定的条目中检索所述多个真实肯定结构复杂性度量中的一个或多个并使用a)所述输入图像结构复杂性的衡量以及b)从所述用于存储多个条目的装置检索到的所述一个或多个真实肯定结构复杂性度量来计算结构相似性度量的装置；以及

用于执行所述输入图像的信号质量的衡量与从所述用于存储多个条目的装置检索到的所述真实肯定信号质量度量之间的比较的装置，

其中，用于执行比较的装置用于响应于指示了足够的相似性的结构相似性度量以根据所述比较来更新控制变量，其中，所述控制变量配置计算机视觉系统的预处理器。

19.如权利要求18所述的图像处理系统，其特征在于，所述输入图像结构复杂性的衡量包括输入图像颜色或灰度复杂性度量、输入图像明亮度复杂性度量以及输入图像空间复杂性度量。

20.如权利要求19所述的图像处理系统，其特征在于，所述多个真实肯定结构复杂性度量包括真实肯定颜色或灰度复杂性度量，真实肯定明亮度复杂性度量以及真实肯定空间复杂性度量。

21.如权利要求20所述的图像处理系统，其特征在于，所述结构相似性的衡量是下列各项中的两项或更多项的函数：i)所述输入图像和真实肯定颜色或灰度复杂性度量，ii)所述输入图像和真实肯定明亮度复杂性度量，以及iii)所述输入图像和真实肯定空间复杂性度量。