CN103034849A - 在草图与照片匹配中用于手绘草图的感知偏差水平估算 - Google Patents

Abstract

本发明涉及从视频或照片检索对象，其中对象与手绘草图匹配，公开了一种用于自动估算关于草图的特征的感知偏差水平。该方法允许基于草图本身的估算而不涉及额外的数据库。在一个实施例中，该方法包括使用期望最大化张量投票（EMTV）方法来分析特征的统计分布。通过形成具有由感知偏差水平表征的统计分布的信息的目标函数，并且然后根据一组迭代更新规则最大化目标函数，从而分析统计分布。在另一个实施例中，用于自动地估算感知偏差水平的方法并入从图像或视频数据库检索一个或多个对象的方法，其中该一个或多个对象与手绘草图匹配。

Description

在草图与照片匹配中用于手绘草图的感知偏差水平估算

技术领域

本发明一般涉及从视频或照片中提取对象，其中该对象与作为参考提供的手绘草图匹配。本发明具体涉及直接来自草图本身而不涉及额外的数据库的手绘草图的提取的特征的感知偏差水平的自动估算。

背景技术

在一些计算机应用中，需要在视频片段或照片中搜索与手绘草图提供的参考图像匹配的对象。公知地，这些应用中重要的一个应用是法律实施，其中犯罪嫌疑人的图片作为画家根据目击者的描述准备的手绘草图被给出。

在一个通用的方法中，如下执行与手绘草图相匹配的对象的计算机搜索：首先提取草图的特征（亮度、颜色、梯度、边缘、肌理等）的统计信息，然后识别视频片段或照片中具有特征的类似统计信息的对象。对于摄像机捕获的照片/视频和手绘草图，统计信息依赖于在图像中编码的视觉内容。照片/视频真实地展示了摄像机捕获了什么、而草图展示了通常画家或作者的感知内容。因为草图某种程度上包括作者感知偏差的因素。考虑匹配对象搜索中草图的感知偏差是期望的，从而增强匹配的成功率。

在WO2004/027692中，公开了增强草图与照片匹配的成功率的方法。在该方法中采用了如下手段：将照片图像转换为伪草图或者将原始手绘草图转换成伪照片，使得在转换后照片和原始草图之间的差异减小，由此有助于计算机搜索。在存在优选的包含所有可能草图类型的数据库的情况下实施这样的转换，这个要求很难实现。在缺乏这样的大的数据库的情况下，包含足够数量的照片-草图对的例子的较小的数据库可以用于帮助训练运行中的转换器。但是在WO2004/027692中公开的方法的实现中不可避免地需要额外的数据库。

在作者为Folco Banfi，提交给Universitéde Fribourg(Suisse),2000,名称为“Content-Based Image Retrieval Using Hand-Drawn Sketches and LocalFeatures:a Study on Visual Dissimilarity”的论文中，公开了与估算感知偏差水平效果类似的加权机制。对于以某种类型的草图风格或轮廓具体绘制的草图，加权机制给出了预先定义或预先计算的权重。除了加权机制仅用于具体类型的草图风格的限制之外，权重是固定的并且没有考虑一个手绘草图和另一个手绘草图之间的个体差异而获得。基于对象搜索中要使用的草图自动计算权重是更期望的。

本领域中存在如下需要：自动计算为手绘草图估算的感知偏差水平而计算中不需要额外的数据库。

发明内容

本发明的一个方面允许基于草图本身自动估算关于手绘草图的特征的感知偏差水平。用于给自动估算的方法包括使用期望最大化张量投票（EMTV）方法来分析特征的统计分布。如下分析统计分布：首先形成具有由感知偏差水平表征的统计分布的信息的目标函数，并且然后根据一组迭代更新规则来最大化该目标函数。目标函数由等式（5）给出，并且该组迭代更新规则由等式（6）-（12）给出，其中等式（5）-（12）将在以下说明书中示出。

前述用于自动地估算感知偏差水平的方法可以并入从图像或视频数据库检索一个或多个对象的方法，其中所述一个或多个对象与手绘草图匹配。在检索方法中，选择一个或多个候选特征。对于所述一个或多个候选特征中选定的候选特征，根据前述用于自动地估算感知偏差水平的方法来估算关于草图的选定的候选特征的感知偏差水平。结果，生成所述一个或多个候选特征的每一个的感知偏差水平。从所述一个或多个候选特征中选择一个或多个采用的特征。如下完成该选择：在所述一个或多个候选特征中消除一个或多个不重要的候选特征，其中为所述一个或多个不重要的候选特征的任一个生成的感知偏差水平小于阈值。然而，如果为所述一个或多个候选特征生成的全部感知偏差水平均小于阈值，选择其感知偏差水平在对所述一个或多个候选特征生成的感知偏差水平中为最大的一个候选特征。注意该一个候选特征是选自所述一个或多个候选特征。在数据库中进行搜索以辨识与草图匹配的该一个或多个对象。根据所述一个或多个采用的特征由相似性测量进行搜索。在相似性测量中，选定的采用的特征的贡献由为选定的采用的特征生成的感知偏差水平加权，所述选定的采用的特征是所述一个或多个采用的特征中的任一个。

用于自动地估算感知偏差水平的方法还可以被用于检索与手绘草图匹配的一个或多个对象的系统中。该系统包括具有从一组图像中提取的第一组原始视觉特征的数据库，以及一个或多个处理器，配置为执行如下详述的查询处理。所述查询处理包括从手绘草图提取第二组原始视觉特征。对于第二组原始视觉特征中的每个特征，根据公开的用于自动地计算感知偏差水平的方法估算关于所述每个特征的感知偏差水平。由此获取所述每个特征的统计分布模型。在查询处理中，在数据库中搜索以识别该组图像中的一个或多个对象，其中所述一个或多个对象的统计信息基本上匹配加权的统计信息，所述加权的统计信息是通过根据对第二组原始视觉特征估算的感知偏差水平加权第二组中原始视觉特征的统计信息而获得的。

附图说明

图1示出了不同类型的手绘草图。

图2示出了自然图像和手绘草图在二者编码的统计信息中的差异的例子。

图3示出了根据本发明的实施例通过使用感知偏差水平来检索与手绘草图匹配的对象的方法的流程图。

图4示出了根据本发明的实施例从图像或视频数据库检索与手绘草图匹配的一个或多个对象的系统的例子。

具体实施方式

可以如下完成匹配照片或视频剪辑中的对象和手绘草图提供的参考图像：首先从草图中提取一个或多个特征，然后比较这些提取的特征和照片或视频剪辑中不同对象的特征，从而从这些不同的对象中识别一个或多个匹配的对象。特征可以是低水平的，例如亮度、颜色、梯度等，或者可以是高水平特征，例如肌理、形状、光流等。

图1示出了各种不同种类的手绘草图。在一个例子中，向素描草图110加入阴影，指示草图的作者具有更多的感知偏差以提供关于肌理、亮度和梯度的草图中图像的信息。在另一个例子中，由于线条草图120（其为脸）是由线条形成的，草图的作者更关注与（脸和脸部特征）形状有关的信息。在另一个例子中，彩色图片150的作者可以使用不同的颜色描述草图中的图像而进行强调。在前述这些例子中，可以看到对于手绘草图来说存在关于被考虑的特征的感知偏差。

在下面的示例中不损失一般性并且为了方便的缘故，感知偏差水平被限定为非负实数，将表示手绘草图的视觉内容中编码的信息的被考虑特征的重要性或显著性量化。具体地，这里感知偏差水平限定为零意味着被考虑的特征对于表示草图的视觉内容中编码的信息是没有用的。此外，较高正值的感知偏差水平表示被考虑的特征对于识别视频剪辑或照片中匹配的对象是更有用的。注意可以在实数的另一个范围内限定感知偏差水平而不偏离本发明的精神。

图2提供了示出自然图像和手绘草图之间差异的例子。例如，手绘草图是线条草图。对于作为实际照片的自然图像210，梯度的统计分布通常遵循拉普拉斯变换。然而，对于线条草图220，梯度给出了近似为脉冲的统计分布。这暗示着线条草图220的阴影不是逐渐改变的（空间地）。这使得被选作阴影的特征不是有信息含量的，并且由此其在线条草图220的感知偏差水平中不具有高的价值。基于这个例子，可以看到通过根据草图的图像数据找出特征是否有信息含量来估算被考虑的特征的感知偏差水平。较低的信息内容表示较低值的感知偏差水平，并且由此被考虑的特征在搜索匹配的对象中用处更小。本发明采用这个方法来估算感知偏差水平。

在示例实施例中，期望最大化张量投票（EMTV）技术优选地用于测量这样的信息内容并且由此估算感知偏差水平。因为EMTV技术公知的在离群值严重毁坏的噪声数据对于突出结构的干扰是有用的，所以选择EMTV技术。EMTV技术的细节由以下给出：T.-P.Wu、S.-K.Yeung、J.Jia,C.-K.Tang和G.Medioni的“A closed-form solution to tensor voting:theoryand applications,”IEEE Transactions on Pattern Analysis and MachineIntelligence,vol.34,pp.1482-1495,2012年8月，其内容通过参考合并于此。

从手绘草图中估算被考虑的特征的感知偏差水平的方法包括通过使用EMTV方法分析特征的统计分布，从而形成由感知偏差水平表征的统计分布的信息的目标函数，并且然后根据一组迭代更新规则最大化该目标函数，从而基于草图本身自动地估算感知偏差水平而估算中不涉及额外的数据库。作为示例，如果特征的统计分布被假设为高斯分布，统计分布的信息可以包括均值和方差，或者在多元高斯分布用于建模特征的情况下，统计分布的信息可以包括矢量均值和协方差矩阵。统计分布的信息还可以包括适合度参数，从该参数可以导出感知偏差水平。用于分析统计分布的EMTV方法的具体描述如下。

考虑一组原始视觉图像特征，这些特征由d维特征矢量表示，d>0。{x_i∈R^d|i=1…N}是一组特征矢量并且h∈R^d关于该组{x_i}的分布的潜在模型。期望确定模型h，其最小化测量误差：

$\left|\right|x_i^{T}h\left|\right|$       (等式1)

同时，期望最小化估算的分布模型的方差，使得可以识别一组不重要的特征。数学上，这通过最小化以下等式来实现：

$\left|\right|h^T{K}_i^{-1}h\left|\right|$        (等式2)

其中K_i是x_i的张量表示并且

是h关于x_i由h产生的方差。注意标准偏差是方差的平方根。

为了最大化估算的鲁棒性，需要利用张量投票接近形式的方案（CFTV），使得可以在特征矢量之间通信，从而滤除离群值。为此，需要最小化下面的测量误差：

||K_i ^-1-S′_ij||_F      (等式3)

其中i和j是临近的，并且

$S_{\mathrm{ij}}^{\′}=c_{\mathrm{ij}}{R}_{\mathrm{ij}}^{\′\′}{K}_j^{-1}{R}_{\mathrm{ij}}$        (等式4)

其中c_ij是常数，并且R″_ij；和R_ij是变换矩阵。变换矩阵R″_ij和R_ij以及张量K_i和K_j可以由T.-P.Wu等人（2012）所示的CFTV方法计算。

基于等式(1)-(3)，目标函数，其是完整的数据记录可能性，如下给出：

$Q(\mathrm{\Λ},{\mathrm{\Λ}}^{\′})=\underset{G\∈\mathrm{\ψ}}{\mathrm{\Σ}}\log P(O,G|\mathrm{\Λ})P\left(G\right|O,{\mathrm{\Λ}}^{\′})$      (等式5)

其中G={r_j}是一组隐藏的状态，指示特征矢量x_i（即观察点）是离群值(r_i=0)还是内点（inliner）(r_i=1)，并且Λ={α，K,h,σ,σ₁,σ₂}是在EMTV框架内要被估算的一组参数（Λ′作为当前阶的Λ)。在该目标函数下，对应的期望值如下限定：

$w_i=\frac{\mathrm{\α\βexp}\left(\frac{{\left|\right|x_i^{T}h\left|\right|}^2}{2{\mathrm{\σ}}^2}\right)\exp \left(\frac{{\left|\right|h^T{K}_i^{-1}h\left|\right|}^2}{{\mathrm{\σ}}_1^2}\right)}{\mathrm{\α\βexp}\left(\frac{{\left|\right|x_i^{T}h\left|\right|}^2}{2{\mathrm{\σ}}^2}\right)\exp \left(\frac{{\left|\right|h^T{k}_i^{-1}h\left|\right|}^2}{{\mathrm{\σ}}_1^2}\right)+\frac{1-\mathrm{\α}}{C}}$       (等式6)

其中C是建模均匀分布的常数。在等式（6）中，w_i实际上是各个特征的感知偏差水平。w_i的估算被称为EMTV方法的E步骤。

在EMTV方法中，存在称为M步骤的另一个步骤，其中通过关于Λ最小化等式（5）给出的目标函数的值而得出的。完整EMTV方法交替地循环通过E步骤和M步骤，直到目标函数收敛，即，直到E步骤和M步骤中的未知数不发生实质变化。M步骤由如下等式限定：

$\mathrm{\α}=\frac{1}{N}\underset{i}{\mathrm{\Σ}}{w}_i,$        (等式7)

${K_i}^{-1}=\frac{1}{{\mathrm{\Σ}}_{j\∈G\left(i\right)}{w}_j}(\underset{j\∈G\left(i\right)}{\mathrm{\Σ}}{S}_{\mathrm{ij}}^{\′}{w}_j-\frac{{\mathrm{\σ}}_2^2}{{2\mathrm{\σ}}_1^2}{\mathrm{hh}}^T{w}_i),$      (等式8)

$h=\underset{h^{*}}{\arg \min }\left|\right|(\underset{i}{\mathrm{\Σ}}{x}_i{x}_i^T{w}_i+\frac{{\mathrm{\σ}}^2}{{\mathrm{\σ}}_1^2}\underset{i}{\mathrm{\Σ}}{K}_i^{-1}{w}_i)h\left|\right|,$      (等式9)

${\mathrm{\σ}}^2=\frac{{\mathrm{\Σ}}_i{\left|\right|x_i^{T}h\left|\right|}^2{w}_i}{{\mathrm{\Σ}}_i{w}_i},$              (等式10)

${\mathrm{\σ}}_1^2=\frac{{\mathrm{\Σ}}_i{\left|\right|h^T{K}_i^{-1}h\left|\right|}^2{w}_i}{{\mathrm{\Σ}}_i{w}_i}$            (等式11)

以及

${\mathrm{\σ}}_2^2=\frac{{\mathrm{\Σ}}_i{\mathrm{\Σ}}_{j\∈G\left(i\right)}{\left|\right|{K_i}^{-1}-S_{\mathrm{ij}}^{\′}\left|\right|}_F^2{w}_i{w}_j}{{\mathrm{\Σ}}_i{w}_i}.$          (等式12)

上面提到的用于最大化目标函数的迭代更新规则的组由等式（6）-（12）给出。

给定感知偏差水平w_i，相同类型的特征之间的距离可以限定如下：

W(x,y)=b_iD(x,y)          (等式13)

其中

        (等式14)

其中x和y是相同类型的特征，t是阈值并且D是任何用户定义的距离函数（例如欧几里得距离）。

公开的估算感知偏差水平的方法可以被并入到用于从图像或视频数据库检索一个或多个对象的方法中，其中该一个或多个对象匹配手绘草图。图3示出了根据本发明的实施例的检索方法。在第一步骤310中，选择一个或多个候选特征。关于草图的一个或多个候选特征的统计分布被估算。在第二步骤320中分析统计分布以生成一个或多个候选特征的感知偏差水平。在第二步骤320中，根据上面详细描述的方法来估算选定的候选特征的感知偏差水平，其中选定的候选特征是一个或多个候选特征中的任一个。在第三步骤330中，从一个或多个候选特征中选择一个或多个采用的特征。该一个或多个采用的特征是通过从一个或多个候选特征中消除一个或多个不重要的候选特征而被选择的，其中对该一个或多个不重要的候选特征的任一个生成的感知偏差水平小于阈值。确定阈值使得该一个或多个不重要的候选特征中的每一个都不是草图作者在绘制草图时实质上关注的特征。在为一个或多个候选特征生成的所有感知偏差水平均小于阈值的情况下，选择其感知偏差水平在为一个或多个候选特征生成的感知偏差水平中为最大的一个候选特征。在第四步骤340中，在数据库中进行搜索以识别匹配草图的一个或多个对象。该搜索基于根据一个或多个采用的特征的相似性测量。在相似性测量中，计算来自数据库的待测对象和草图之间的采用的特征中的接近程度。接近程度可以通过待测对象和草图之间的“距离”来计算。接近程度被看做该采用的特征在相似性测量中的贡献。在第四步骤340中，选定的采用的特征在相似性测量中的贡献由为该选定的采用的特征生成的感知偏差水平来加权，其中选定的采用的特征是一个或多个采用的特征中的任一个。在一个实施例中，这样的贡献通过等式（13）和（14）来计算。

公开的估算感知偏差水平的方法还可以用于从图像或视频数据库中检索与手绘草图匹配的一个或多个对象的系统。图4描述了实现该系统的例子。在数据库创建过程中，一组图像414由第一特征提取过程450处理，从而仅从该组图像414中获取第一组原始视觉特征。然后将第一组原始视觉特征存储在数据库460中。在查询过程中，手绘草图412由第二特征提取过程420处理，从而提取第二组原始视觉特征。在第二组中提取的原始特征然后由估算器430处理，该估算器430执行感知偏差分析以估算关于提取的原始特征的感知偏差水平，同时提取的原始特征的各自的统计分布模型也被估算作为副产品。模型提供了第二组中提取的原始特征的统计信息。第二组提取的原始特征然后根据估算的感知偏差水平被加权。基于加权的统计信息，并且根据用户提供的选择标准442，启动搜索过程440来识别和从数据库460检索一个或多个对象，根据第一组提取的原始特征提供的一个或多个对象的统计信息实质上匹配加权的统计信息。然后由显示单元444显示搜索结果。系统还可以提供检索与实际照片图像416匹配的对象的选项。第三特征提取过程470用于提取图像416的原始视觉特征。这样的视觉特征被用于搜索过程440以在数据库460中定位匹配的对象。

作为备注，这里公开的方法能够进行由草图进行视频检索，该草图是作者手绘的，源于其回想而不是在绘制中直接看到感兴趣的该对象。作为进一步的备注，与根据对象分类进行工作的大多数现有检索方法相比，这里公开的方法允许使用任意草图来检索匹配的类似对象。

这里公开的实施例可以利用通用和专用计算设备、计算机处理器或电子电路系统实现，所述电子电路系统包括但不限于数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）以及其他根据本公开文本的教导构造或编制的可编程逻辑器件。运行于通用或专用计算设备、计算机处理器或可编程逻辑器件中的计算机指令或软件代码可以由软件或电子领域的技术人员根据本公开资源的教导容易地准备。

在一些实施例中，本发明包括计算机存储介质，其具有存储在其中的计算机指令或软件代码，该计算机指令或软件代码用于指令计算机或微处理器编程以执行本发明的任意处理。存储介质可以包括但不限于软盘、光盘、蓝光光盘、DVD、CD-ROM以及磁性光盘、ROM、RAM、闪存设备或适于存储指令、编码和/或数据的任何类型的介质或设备。

本发明可以以任何方式体现而不偏离其精神和主要特征。本发明由此被看做示例性的而不是限制性的。本发明的范围由所附权利要求而不是由前述说明书指示，并且权利要求的等效物的含义和范围内发生的所有变化均落入本发明的范围内。

Claims (14)

1.一种用于自动地估算关于手绘草图的特征的感知偏差水平用于草图与照片匹配的方法，该方法包括如下分析特征的统计分布：

首先形成具有由感知偏差水平表征的统计分布的信息的目标函数，并且

根据一组迭代更新规则来最大化该目标函数，从而基于草图本身自动地估算感知偏差水平。

2.根据权利要求1所述的方法，其中，特征的统计分布是使用期望最大化张量投票方法来分析的，其中目标函数由以下等式给出：

$Q(\mathrm{\Λ},{\mathrm{\Λ}}^{\′})=\underset{G\∈\mathrm{\ψ}}{\mathrm{\Σ}}\log P(O,G|\mathrm{\Λ})P\left(G\right|O,{\mathrm{\Λ}}^{\′});$ 以及

该组迭代更新规则由以下等式给出：

$w_i=\frac{\mathrm{\α\βexp}\left(\frac{{\left|\right|x_i^{T}h\left|\right|}^2}{2{\mathrm{\σ}}^2}\right)\exp \left(\frac{{\left|\right|h^T{K}_i^{-1}h\left|\right|}^2}{{\mathrm{\σ}}_1^2}\right)}{\mathrm{\α\βexp}\left(\frac{{\left|\right|x_i^{T}h\left|\right|}^2}{2{\mathrm{\σ}}^2}\right)\exp \left(\frac{{\left|\right|h^T{k}_i^{-1}h\left|\right|}^2}{{\mathrm{\σ}}_1^2}\right)+\frac{1-\mathrm{\α}}{C}},$

$\mathrm{\α}=\frac{1}{N}\underset{i}{\mathrm{\Σ}}{w}_i,$

${K_i}^{-1}=\frac{1}{{\mathrm{\Σ}}_{j\∈G\left(i\right)}{w}_j}(\underset{j\∈G\left(i\right)}{\mathrm{\Σ}}{S}_{\mathrm{ij}}^{\′}{w}_j-\frac{{\mathrm{\σ}}_2^2}{{2\mathrm{\σ}}_1^2}{\mathrm{hh}}^T{w}_i),$

$h=\underset{h^{*}}{\arg \min }\left|\right|(\underset{i}{\mathrm{\Σ}}{x}_i{x}_i^T{w}_i+\frac{{\mathrm{\σ}}^2}{{\mathrm{\σ}}_1^2}\underset{i}{\mathrm{\Σ}}{K}_i^{-1}{w}_i)h\left|\right|,$

${\mathrm{\σ}}^2=\frac{{\mathrm{\Σ}}_i{\left|\right|x_i^{T}h\left|\right|}^2{w}_i}{{\mathrm{\Σ}}_i{w}_i},$

${\mathrm{\σ}}_1^2=\frac{{\mathrm{\Σ}}_i{\left|\right|h^T{K}_i^{-1}h\left|\right|}^2{w}_i}{{\mathrm{\Σ}}_i{w}_i}$ 和

${\mathrm{\σ}}_2^2=\frac{{\mathrm{\Σ}}_i{\mathrm{\Σ}}_{j\∈G\left(i\right)}{\left|\right|{K_i}^{-1}-S_{\mathrm{ij}}^{\′}\left|\right|}_F^2{w}_i{w}_j}{{\mathrm{\Σ}}_i{w}_i}.$

3.一种使用感知偏差水平从图像或视频数据库检索一个或多个对象的方法，其中所述一个或多个对象与手绘草图匹配，所述方法包括：

选择一个或多个候选特征；

对于所述一个或多个候选特征中选定的候选特征，根据权利要求1所述的方法估算关于草图的选定的候选特征的感知偏差水平，从而生成所述一个或多个候选特征的每一个的感知偏差水平；

从所述一个或多个候选特征中如下选择一个或多个采用的特征：

在所述一个或多个候选特征中消除一个或多个不重要的候选特征，其中为所述一个或多个不重要的候选特征的任一个生成的感知偏差水平小于阈值；以及

如果为所述一个或多个候选特征生成的全部感知偏差水平均小于阈值，从所述一个或多个候选特征中选择其感知偏差水平在对所述一个或多个候选特征生成的感知偏差水平中为最大的一个候选特征；以及

根据所述一个或多个采用的特征由相似性测量在数据库中搜索，从而识别所述一个或多个对象，其中在相似性测量中选定的采用的特征的贡献由为选定的采用的特征生成的感知偏差水平加权，所述选定的采用的特征是所述一个或多个采用的特征中的任一个。

4.根据权利要求3所述的方法，其中，目标函数由以下等式给出：

$Q(\mathrm{\Λ},{\mathrm{\Λ}}^{\′})=\underset{G\∈\mathrm{\ψ}}{\mathrm{\Σ}}\log P(O,G|\mathrm{\Λ})P\left(G\right|O,{\mathrm{\Λ}}^{\′});$ 以及

该组迭代更新规则由以下等式给出：

$w_i=\frac{\mathrm{\α\βexp}\left(\frac{{\left|\right|x_i^{T}h\left|\right|}^2}{2{\mathrm{\σ}}^2}\right)\exp \left(\frac{{\left|\right|h^T{K}_i^{-1}h\left|\right|}^2}{{\mathrm{\σ}}_1^2}\right)}{\mathrm{\α\βexp}\left(\frac{{\left|\right|x_i^{T}h\left|\right|}^2}{2{\mathrm{\σ}}^2}\right)\exp \left(\frac{{\left|\right|h^T{k}_i^{-1}h\left|\right|}^2}{{\mathrm{\σ}}_1^2}\right)+\frac{1-\mathrm{\α}}{C}},$

$\mathrm{\α}=\frac{1}{N}\underset{i}{\mathrm{\Σ}}{w}_i,$

${K_i}^{-1}=\frac{1}{{\mathrm{\Σ}}_{j\∈G\left(i\right)}{w}_j}(\underset{j\∈G\left(i\right)}{\mathrm{\Σ}}{S}_{\mathrm{ij}}^{\′}{w}_j-\frac{{\mathrm{\σ}}_2^2}{{2\mathrm{\σ}}_1^2}{\mathrm{hh}}^T{w}_i),$

$h=\underset{h^{*}}{\arg \min }\left|\right|(\underset{i}{\mathrm{\Σ}}{x}_i{x}_i^T{w}_i+\frac{{\mathrm{\σ}}^2}{{\mathrm{\σ}}_1^2}\underset{i}{\mathrm{\Σ}}{K}_i^{-1}{w}_i)h\left|\right|,$

${\mathrm{\σ}}^2=\frac{{\mathrm{\Σ}}_i{\left|\right|x_i^{T}h\left|\right|}^2{w}_i}{{\mathrm{\Σ}}_i{w}_i},$

${\mathrm{\σ}}_1^2=\frac{{\mathrm{\Σ}}_i{\left|\right|h^T{K}_i^{-1}h\left|\right|}^2{w}_i}{{\mathrm{\Σ}}_i{w}_i}$ 和

${\mathrm{\σ}}_2^2=\frac{{\mathrm{\Σ}}_i{\mathrm{\Σ}}_{j\∈G\left(i\right)}{\left|\right|{K_i}^{-1}-S_{\mathrm{ij}}^{\′}\left|\right|}_F^2{w}_i{w}_j}{{\mathrm{\Σ}}_i{w}_i}.$

5.根据权利要求3所述的方法，其中，根据以下等式计算贡献：

W(x,y)=b_iD(x,y)，

其中

6.一种用于自动地估算关于手绘草图的特征的感知偏差水平用于草图与照片匹配的设备，该设备包括：

分析特征的统计分布的分析模块，包括：

形成模块，形成具有由感知偏差水平表征的统计分布的信息的目标函数，以及

最大化模块，根据一组迭代更新规则来最大化该目标函数，从而基于草图本身自动地估算感知偏差水平。

7.根据权利要求6所述的设备，其中，特征的统计分布是使用期望最大化张量投票方法来分析的，还包括计算模块，根据以下等式计算目标函数：

$Q(\mathrm{\Λ},{\mathrm{\Λ}}^{\′})=\underset{G\∈\mathrm{\ψ}}{\mathrm{\Σ}}\log P(O,G|\mathrm{\Λ})P\left(G\right|O,{\mathrm{\Λ}}^{\′});$ 以及

该组迭代更新规则由以下等式给出：

$w_i=\frac{\mathrm{\α\βexp}\left(\frac{{\left|\right|x_i^{T}h\left|\right|}^2}{2{\mathrm{\σ}}^2}\right)\exp \left(\frac{{\left|\right|h^T{K}_i^{-1}h\left|\right|}^2}{{\mathrm{\σ}}_1^2}\right)}{\mathrm{\α\βexp}\left(\frac{{\left|\right|x_i^{T}h\left|\right|}^2}{2{\mathrm{\σ}}^2}\right)\exp \left(\frac{{\left|\right|h^T{k}_i^{-1}h\left|\right|}^2}{{\mathrm{\σ}}_1^2}\right)+\frac{1-\mathrm{\α}}{C}},$

$\mathrm{\α}=\frac{1}{N}\underset{i}{\mathrm{\Σ}}{w}_i,$

${K_i}^{-1}=\frac{1}{{\mathrm{\Σ}}_{j\∈G\left(i\right)}{w}_j}(\underset{j\∈G\left(i\right)}{\mathrm{\Σ}}{S}_{\mathrm{ij}}^{\′}{w}_j-\frac{{\mathrm{\σ}}_2^2}{{2\mathrm{\σ}}_1^2}{\mathrm{hh}}^T{w}_i),$

$h=\underset{h^{*}}{\arg \min }\left|\right|(\underset{i}{\mathrm{\Σ}}{x}_i{x}_i^T{w}_i+\frac{{\mathrm{\σ}}^2}{{\mathrm{\σ}}_1^2}\underset{i}{\mathrm{\Σ}}{K}_i^{-1}{w}_i)h\left|\right|,$

${\mathrm{\σ}}^2=\frac{{\mathrm{\Σ}}_i{\left|\right|x_i^{T}h\left|\right|}^2{w}_i}{{\mathrm{\Σ}}_i{w}_i},$

${\mathrm{\σ}}_1^2=\frac{{\mathrm{\Σ}}_i{\left|\right|h^T{K}_i^{-1}h\left|\right|}^2{w}_i}{{\mathrm{\Σ}}_i{w}_i}$ 和

${\mathrm{\σ}}_2^2=\frac{{\mathrm{\Σ}}_i{\mathrm{\Σ}}_{j\∈G\left(i\right)}{\left|\right|{K_i}^{-1}-S_{\mathrm{ij}}^{\′}\left|\right|}_F^2{w}_i{w}_j}{{\mathrm{\Σ}}_i{w}_i}.$

8.一种使用感知偏差水平从图像或视频数据库检索一个或多个对象的设备，其中所述一个或多个对象与手绘草图匹配，所述设备包括：

第一选择模块，选择一个或多个候选特征；

估算模块，对于所述一个或多个候选特征中选定的候选特征，根据权利要求1所述的方法估算关于草图的选定的候选特征的感知偏差水平，从而生成所述一个或多个候选特征的每一个的感知偏差水平；

第二选择模块，从所述一个或多个候选特征中如下选择一个或多个采用的特征：

在所述一个或多个候选特征中消除一个或多个不重要的候选特征，其中为所述一个或多个不重要的候选特征的任一个生成的感知偏差水平小于阈值；以及

如果为所述一个或多个候选特征生成的全部感知偏差水平均小于阈值，从所述一个或多个候选特征中选择其感知偏差水平在对所述一个或多个候选特征生成的感知偏差水平中为最大的一个候选特征；以及

搜索模块，根据所述一个或多个采用的特征由相似性测量在数据库中搜索，从而识别所述一个或多个对象，其中在相似性测量中选定的采用的特征的贡献由为选定的采用的特征生成的感知偏差水平加权，所述选定的采用的特征是所述一个或多个采用的特征中的任一个。

9.根据权利要求8所述的设备，其中，计算模块，根据以下等式计算目标函数：

$Q(\mathrm{\Λ},{\mathrm{\Λ}}^{\′})=\underset{G\∈\mathrm{\ψ}}{\mathrm{\Σ}}\log P(O,G|\mathrm{\Λ})P\left(G\right|O,{\mathrm{\Λ}}^{\′});$ 以及

该组迭代更新规则由以下等式给出：

$w_i=\frac{\mathrm{\α\βexp}\left(\frac{{\left|\right|x_i^{T}h\left|\right|}^2}{2{\mathrm{\σ}}^2}\right)\exp \left(\frac{{\left|\right|h^T{K}_i^{-1}h\left|\right|}^2}{{\mathrm{\σ}}_1^2}\right)}{\mathrm{\α\βexp}\left(\frac{{\left|\right|x_i^{T}h\left|\right|}^2}{2{\mathrm{\σ}}^2}\right)\exp \left(\frac{{\left|\right|h^T{k}_i^{-1}h\left|\right|}^2}{{\mathrm{\σ}}_1^2}\right)+\frac{1-\mathrm{\α}}{C}},$

$\mathrm{\α}=\frac{1}{N}\underset{i}{\mathrm{\Σ}}{w}_i,$

${K_i}^{-1}=\frac{1}{{\mathrm{\Σ}}_{j\∈G\left(i\right)}{w}_j}(\underset{j\∈G\left(i\right)}{\mathrm{\Σ}}{S}_{\mathrm{ij}}^{\′}{w}_j-\frac{{\mathrm{\σ}}_2^2}{{2\mathrm{\σ}}_1^2}{\mathrm{hh}}^T{w}_i),$

$h=\underset{h^{*}}{\arg \min }\left|\right|(\underset{i}{\mathrm{\Σ}}{x}_i{x}_i^T{w}_i+\frac{{\mathrm{\σ}}^2}{{\mathrm{\σ}}_1^2}\underset{i}{\mathrm{\Σ}}{K}_i^{-1}{w}_i)h\left|\right|,$

${\mathrm{\σ}}^2=\frac{{\mathrm{\Σ}}_i{\left|\right|x_i^{T}h\left|\right|}^2{w}_i}{{\mathrm{\Σ}}_i{w}_i},$

${\mathrm{\σ}}_1^2=\frac{{\mathrm{\Σ}}_i{\left|\right|h^T{K}_i^{-1}h\left|\right|}^2{w}_i}{{\mathrm{\Σ}}_i{w}_i}$ 和

${\mathrm{\σ}}_2^2=\frac{{\mathrm{\Σ}}_i{\mathrm{\Σ}}_{j\∈G\left(i\right)}{\left|\right|{K_i}^{-1}-S_{\mathrm{ij}}^{\′}\left|\right|}_F^2{w}_i{w}_j}{{\mathrm{\Σ}}_i{w}_i}.$

10.根据权利要求8所述的设备，还包括计算模块，根据以下等式计算贡献：

W(x,y)=b_iD(x,y)，

其中

11.一种系统，包括具有从一组图像中提取的第一组原始视觉特征的数据库，以及一个或多个处理器，配置为执行查询处理，所述查询处理包括：

从手绘草图提取第二组原始视觉特征；

对于第二组原始视觉特征中的每个特征，根据权利要求1所述的方法估算关于所述每个特征的感知偏差水平，并且获取所述每个特征的统计分布模型；以及

在数据库中搜索以识别该组图像中的一个或多个对象，其中所述一个或多个对象的统计信息基本上匹配加权的统计信息，所述加权的统计信息是通过根据对第二组原始视觉特征估算的感知偏差水平加权第二组中原始视觉特征的统计信息而获得的。

12.根据权利要求11所述的系统，其中所述一个或多个处理器还配置为执行数据库创建处理，包括：

从该组图像中提取第一组原始视觉特征；以及

将第一组原始视觉特征存储在数据库中。

13.根据权利要求11所述的系统，其中查询处理还包括：

从实际的照片图像中提取第三组原始的视觉特征，用于在数据库中定位匹配的对象。

14.根据权利要求11所述的系统，其中，目标函数由以下等式给出：

$Q(\mathrm{\Λ},{\mathrm{\Λ}}^{\′})=\underset{G\∈\mathrm{\ψ}}{\mathrm{\Σ}}\log P(O,G|\mathrm{\Λ})P\left(G\right|O,{\mathrm{\Λ}}^{\′});$ 以及

该组迭代更新规则由以下等式给出：

$w_i=\frac{\mathrm{\α\βexp}\left(\frac{{\left|\right|x_i^{T}h\left|\right|}^2}{2{\mathrm{\σ}}^2}\right)\exp \left(\frac{{\left|\right|h^T{K}_i^{-1}h\left|\right|}^2}{{\mathrm{\σ}}_1^2}\right)}{\mathrm{\α\βexp}\left(\frac{{\left|\right|x_i^{T}h\left|\right|}^2}{2{\mathrm{\σ}}^2}\right)\exp \left(\frac{{\left|\right|h^T{k}_i^{-1}h\left|\right|}^2}{{\mathrm{\σ}}_1^2}\right)+\frac{1-\mathrm{\α}}{C}},$

$\mathrm{\α}=\frac{1}{N}\underset{i}{\mathrm{\Σ}}{w}_i,$

${K_i}^{-1}=\frac{1}{{\mathrm{\Σ}}_{j\∈G\left(i\right)}{w}_j}(\underset{j\∈G\left(i\right)}{\mathrm{\Σ}}{S}_{\mathrm{ij}}^{\′}{w}_j-\frac{{\mathrm{\σ}}_2^2}{{2\mathrm{\σ}}_1^2}{\mathrm{hh}}^T{w}_i),$

$h=\underset{h^{*}}{\arg \min }\left|\right|(\underset{i}{\mathrm{\Σ}}{x}_i{x}_i^T{w}_i+\frac{{\mathrm{\σ}}^2}{{\mathrm{\σ}}_1^2}\underset{i}{\mathrm{\Σ}}{K}_i^{-1}{w}_i)h\left|\right|,$

${\mathrm{\σ}}^2=\frac{{\mathrm{\Σ}}_i{\left|\right|x_i^{T}h\left|\right|}^2{w}_i}{{\mathrm{\Σ}}_i{w}_i},$

${\mathrm{\σ}}_1^2=\frac{{\mathrm{\Σ}}_i{\left|\right|h^T{K}_i^{-1}h\left|\right|}^2{w}_i}{{\mathrm{\Σ}}_i{w}_i}$ 和

${\mathrm{\σ}}_2^2=\frac{{\mathrm{\Σ}}_i{\mathrm{\Σ}}_{j\∈G\left(i\right)}{\left|\right|{K_i}^{-1}-S_{\mathrm{ij}}^{\′}\left|\right|}_F^2{w}_i{w}_j}{{\mathrm{\Σ}}_i{w}_i}.$

Images