CN101093508B - 确定代表多媒体项目的信号的描述子的方法和设备 - Google Patents

Abstract

本发明涉及对代表多媒体项目的信号的描述子进行确定的方法和设备。所述方法包括对所述信号应用(S1)第一定向滤波器组以获得第一系数集的步骤。根据本发明，所述方法包括如下步骤：对所述信号应用(S2)第二滤波器组，以获得代表低通滤波信号的第二系数集；通过计算所述第一系数集与所述第二系数集之间的差值，计算(S3)代表所述多媒体元素的描述子；以及计算(S4)所述差值的相关功率。本发明还涉及多媒体项目的分类和检索的应用。

Description

确定代表多媒体项目的信号的描述子的方法和设备

技术领域

本发明涉及用于确定多媒体项目的描述子(descriptor)的方法和设备。本发明还涉及用于检索数据库中的多媒体项目的设备以及用于对数据库中的多媒体项目进行分类的设备。

背景技术

在例如多媒体资产管理之类的多种信号和数据处理领域中，针对多媒体项目来计算小型紧凑的描述子，以比较两个项目或在数据库中搜索与给定项目相似的项目。

例如，数据库中例如人物照片或视频图像等图像可以具有相关描述子，以易于将数据库组织为相似图像组或检索与给定图像相似的图像。

描述子的问题在于它们应该最佳地反映两个项目的相似性，同时又要是小型的。

一种公知的常用描述子基于多媒体项目的信号的频率分解。因此，使用滤波器组来分别产生与频带相对应的滤波信号。然后，通常计算每个频带中滤波信号的功率。功率值的总体构成描述子。例如，滤波器组普遍用于音频处理。对于图像，诸如小波或Gabor滤波器组等的滤波器组也广泛用于图像分析和检索。

为了增强描述子反映图像特征和图像相似性的能力，普遍应用如下措施之一：

1.增加滤波器的数目；

2.优化滤波器的重新分配和类型；

3.提高每个滤波器的精度。

例如，可以采用12而不是8个滤波器来实现第一种措施。这样，更好地描述了信号的频谱。

对于图像的情况，可以通过用Gabor滤波器取代小波滤波器，来实现第二种措施。小波滤波器通过考虑水平、垂直和对角线频率，涵盖二维频谱，而Gabor滤波器更加灵活，可以在更多方向上描述频率。因此，可以更好地描述图像，特别是图像中的纹理。

第三种措施解决了滤波器的实现，特别是数字滤波器的实现，并可以通过增加用于表示滤波核的样本的数目来实现。例如，当用32×32核取代16×16核时，可以增强Gabor滤波器。

滤波器组的问题通常在于滤波器的频谱交迭，从而无法正确地计算频带。例如，Gabor滤波器具有高斯形状的频谱。这些频谱本质上是交迭的。这种交迭降低了图像检索性能，特别是在一个或多个滤波器包括相当多的频率零的部分时。

以显示条纹的两幅图像为例。在两幅图像中，条纹的方向和频率相同。仅有的区别是两幅图像之间的空间常数偏移。基于Gabor子带的功率，计算每幅图像的描述子。即使图像显示相同类型的纹理，偏移越高，描述子越不相同。

另外，以显示在白天不同时间的相同场景的两幅图像为例。光照越不同，描述子也越不同。例如，使用显示在白天的车辆的给定图像，在数据库中检索显示车辆的图像，则可能无法找出显示诸如夜间之类的较低光线等级下的车辆。

这种效果导致在数据库执行检索更加困难，特别是在搜索语义上相似的项目时。例如，搜索具有与给定节奏相似的节奏的音频片断。当由于技术原因而导致音频片断具有不同的信号偏移时，可能无法找到具有相同节奏但偏移不同的一些音频片断。

当使用基于滤波器组的描述子对多媒体项目进行分类时，也可能产生消极效果。因此，将描述子馈入将一个或多个标签归属于图像的分类器。例如，用于图像中户外场景的分类器可以检测给定图像中的户外场景，并产生该图像的标签“户外”。通常用典型图像集对分类器进行训练。当这些图像只包括日光图像时，分类器可能无法检测到例如早上的具有较低光线等级的户外场景。

发明内容

本发明提出了一种方法，以使用滤波器组来计算多媒体项目的描述子，并避免上述缺点中的至少一个。

为此，本发明提供了一种对代表多媒体项目的信号的描述子进行确定的方法，该方法包括对所述信号应用第一定向滤波器组以获得第一系数集的步骤。

根据本发明，所述方法包括如下步骤：

-对所述信号应用第二滤波器组，以获得代表低通滤波信号的第二系数集，

-通过获得第一系数集与第二系数集之间的差值，计算代表所述多媒体元素的描述子；以及

-计算所述差值的相关功率。

根据优选实施例，定向滤波器是Gabor型滤波器。

根据优选实施例，第二滤波器组包括低通滤波器。

根据第二实施例，第二滤波器组包括定向滤波器，所述定向滤波器计算沿与Gabor滤波器的灵敏度方向垂直的行的均值。

优选地，对二次系数组执行所述差值的相关功率的计算，获得的描述子是值的集合，每个值与针对每个组而获得的描述子相对应。

根据另一实施例，对所有描述子执行所述差值的相关功率的计算，所获得的描述子是唯一值。

优选地，第一系数集和第二系数集中的系数分别与滤波器的一个方向和一个尺度相对应。

本发明还涉及一种用于对代表多媒体项目的信号的描述子进行确定的设备，所述设备包括对所述信号应用第一定向滤波器组以获得第一系数集的装置。根据本发明，所述设备包括：

-用于对所述信号应用第二滤波器组以获得代表所述信号均值的第二系数集的装置；

-用于通过获得第一系数集与第二系数集之间的差值来计算代表所述多媒体元素的描述子、并计算所述差值的相关功率的装置。

根据第二方面，本发明涉及一种用于检索数据库中的多媒体项目的设备。根据该方面，所述设备包括：

-根据本发明的用于确定描述子的设备；

-用于对样本图像的描述子和所述数据库的图像描述子进行比较的装置；

-用于检索所述数据库中与所述样本图像的描述子差值低于预定阈值的图像的装置。

根据第三方面，本发明还涉及一种对数据库中的多媒体项目进行分类的设备。根据第三方面，所述设备还包括：

-根据本发明的用于确定描述子的设备；

-对所述描述子进行分类的聚类装置。

附图说明

通过借助附图而描述的本发明的非限制性实施例，本发明的其他特征和优点将显而易见。

-图1表示本发明实施例的流程图；

-图2表示根据本发明实施例的设备；

-图3表示本发明在图像检索中的应用；

-图4表示对多媒体元素进行分类的本发明实施例。

具体实施方式

本发明实施例可以采用软件、固件、硬件或多种技术的任意组合来实施。例如，在一些实施例中，可以将本发明提供为可以包括机器或计算机可读介质的计算机程序产品或软件，该机器或计算机可读介质上存储有用于对计算机(或其他电子设备)编程以使其执行根据本发明的过程的指令。在其他实施例中，可以由包含用于执行本发明步骤的硬连线逻辑的特定硬件部件、或由已编程计算机组件和定制硬件组件的任意组合来执行本发明的步骤。

因此，机器可读介质可以包括用于以机器(例如，计算机)可读形式存储或传输信息的任意机构。这些机构包括但不限于软盘、光盘、硬盘驱动、全息盘、压缩盘只读存储器(CD-ROM)、磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、可擦除可编程只读存储器(EEPROM)、磁或光卡、闪存存储器、因特网上的传输、传播信号的电、光、声或其他形式等。

除非特别声明，否则要理解，如从以下论述中显而易见的一样，利用诸如“处理(processing)”、“计算(computing)”、“计算(calculating)”或“确定(determing)”等术语的论述可以表示计算机系统或相似电子计算设备的动作和过程，该计算机系统或相似电子计算设备对表示为计算机系统存储器、寄存器或其他信息存储、传输或显示设备内的物理量的数据进行操纵和变换。

在以下详细的实施例描述中，参照作为示例示出的可以实施本发明的特定实施例的附图。在全部附图中，类似的数字实质上描述相似的部件。这些实施例的描述非常详细，足以使本领域技术人员能够实施本发明。可以利用其他实施例，并且在不背离本发明范围的前提下，可以进行结构、逻辑和电气方面的改变。此外，要理解，虽然本发明的多种实施例彼此不同，但并不一定是相互排斥的。例如，一个实施例中描述的特定特征、结构或特点可以包括在其他实施例中。

图1表示本发明实施例的流程图。

在步骤S1中，对于代表多媒体项目的信号，应用滤波器组。

为了捕获图像中的纹理，以便对数据库编制索引和进行图像检索，通常使用表达出例如垂直和水平等多个方向上的细节程度的导向(或定向)滤波器。在导向滤波器中，Gabor滤波器以其良好的索引编制效率而闻名。

根据在此所述的优选实施例，滤波器组是基于Gabor型滤波器的。可以使用其他滤波器，例如Hermite滤波器或一般的高斯滤波器。根据如下公式定义Gabor滤波器：

$g(x,y)=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}_x{\mathrm{\σ}}_y}\exp [-\frac{1}{2}(\frac{x^2}{{\mathrm{\σ}}_x^2}+\frac{y^2}{{\mathrm{\σ}}_y^2})+2\mathrm{\πjWx}]$

σ_x和σ_y是Gabor滤波器高斯核的x和y方向上的标准偏差，Wx是x方向上的频移，x和y代表像素坐标。

该方程的傅立叶变换为：

$G(u,v)=\exp [-\frac{1}{2}(\frac{{(u-W)}^2}{{\mathrm{\σ}}_u^2}+\frac{v^2}{{\mathrm{\σ}}_v^2})]$

其中 ${\mathrm{\σ}}_u=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}_x},$ ${\mathrm{\σ}}_v=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}_y},$

W是滤波器的中心频率。

Gabor滤波器的实部是

$g_R(x,y)=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}_x{\mathrm{\σ}}_y}\exp [-\frac{1}{2}(\frac{x^2}{{\mathrm{\σ}}_x^2}+\frac{y^2}{{\mathrm{\σ}}_y^2})]\cos \left(2\mathrm{\πWx}\right)$

Gabor滤波器组如下产生：

g_mn(x，y)＝a^-mg(x′，y′)，其中a＞1，m，n＝整数，

m和n分别指示特定尺度和特定方向，

x′＝a^-m(xcosθ+ysinθ)，y′＝a^-m(-xsinθ+ycosθ)

$\mathrm{\θ}=\frac{\mathrm{n\π}}{K},$ K指示方向的总数，0≤n≤K。

尺度由m指示，0≤m＜S，m＝0是基频带，S是尺度的数目。尺度指示滤波器所关注的细节程度。对于图像，较低尺度捕获总体的图像布局，而精细尺度可以捕获草和叶子等细节。

滤波器组的实部是

gR_mn(x，y)＝a^-mgR(x′，y′)

根据本实施例，S＝4，K＝6，U_h＝0.4，U_l＝0.05。

U_h是最高中心频率，U_l是最低中心频率。

根据如下公式计算a：

$a={\left(\frac{U_h}{U_l}\right)}^{1/(S-1)}=$

${\mathrm{\σ}}_u=\frac{(a-1)U_h}{(a+1)\sqrt{2\ln 2}}=$

${\mathrm{\σ}}_v=\tan \left(\frac{\mathrm{\π}}{2K}\right)[U_h-2\left(\ln 2\right)\frac{{\mathrm{\σ}}_u^2}{U_h}]{[2\left(\ln 2\right)-{\left(\frac{2\left(\ln 2\right){\mathrm{\σ}}_u}{U_h}\right)}^2]}^{-1/2}$

在步骤S1中，对信号应用包括Gabor滤波器实部的滤波器组。获得S×K个输出信号，每个尺度和每个方向一个。

在步骤S2，对输入信号应用K×S个低通滤波器，以获得K个方向之一上并根据S个尺度之一的信号均值。

应用的低通滤波器如下：

$q(x,y)=\frac{1}{2{\mathrm{\π\σ}}_x{\mathrm{\σ}}_y}\exp [-\frac{1}{2}(\frac{x^2}{{\left({2\mathrm{\σ}}_y\right)}^2}+\frac{y^2}{{\mathrm{\σ}}_x^2})]$

应用的低通滤波器组如下：

q_mn(x，y)＝a^-mq(x′，y′)，其中a＞1，m，n＝整数

m和n与相应的Gabor滤波器的m和n相对应。这表示，均值滤波器具有与Gabor滤波器相同的方向和相同的尺度。在更简单的变体中，尺度可以保持恒定，在这种情况下，必须选择最精细尺度，即，m＝S-1。

在步骤S2的变体中，可以使用定向滤波器集来计算沿与Gabor滤波器灵敏度方向垂直的行的均值。

在步骤S3，针对每个信号计算描述子。

为了计算描述子，对于多媒体项目的每个像素，计算经Gabor滤波器组滤波的信号与由低通滤波器组计算的信号之间的差值。从而获得S×K个不同图像。

为了获得描述子，在步骤S4对每个S.K差值信号中的功率进行评估。

为此，通过对信号值的平方进行平均，在包含多个像素的二次图像块中估计功率。在这种情况下，描述子包含所有块的功率值。

在其他实施例中，或者在组合的实施例中，可以使用其他统计矩(moment)、中心对准或中心未对准的矩。

为了计算块的功率值，将S×K个不同图像划分成16个二次图像块。在具有每个差值图像的L个像素的每个块k中，根据如下方程对图像像素值进行平方、累加并除以每个块的像素数目：

$P_k=\frac{1}{L}\underset{l=0}{\overset{L-1}{\mathrm{\Σ}}}{D}_l^2$

其中D是像素差值，P是得到的块的功率值。

得到的描述子{P_k/0≤k＜16SK}具有16×S×K个系数。

根据另一实施例，估计整幅图像的一个功率值或计算任意形状的图像区域的功率值。

图2示出了根据本发明优选实施例的设备。该设备优选地实施根据本发明的方法。

为此，根据优选实施例的设备包括Gabor滤波器2、低通滤波器3和差分器4，并接收来自数据库1的多媒体数据。

Gabor滤波器2和低通滤波器3接收数据库1的多媒体数据，作为输入。对于每个多媒体项目，Gabor滤波器2和低通滤波器3如前参照图1所述地计算K^*S个系数的集。差分器4如参照图1所述的，计算由Gabor滤波器计算的系数与由低通滤波器计算的系数之间的差值。

如图3所示，典型应用可以是按照查询，使用样本图像搜索数据库1中的图像。在这种情况下，针对样本图像和数据库图像，计算系数。接收样本图像的描述子和数据库1的图像的描述子作为输入的模块5计算获得的样本图像的描述子与数据库中每个图像或数据库中图像子集的描述子之间的差值。描述子包括S^*K个系数的集，由模块5计算每个系数i的差值Di。然后，如下计算样本图像与给定图像之间的差值：

$D_{\mathrm{TOTAL}}=\underset{i=1}{\overset{16\mathrm{SK}}{\mathrm{\Σ}}}{D_i}^2$

由图像检索模块6向用户返回数据库中具有最小差值的多个图像，作为与样本图像最接近的图像。可以是差值比预定阈值低的多个图像。可以使用根据图像检索现有技术的其他差值公式。

对于图4，如图3中所述的模块4与图像分类模块7相连。

该图像分类模块7建立图像的分类。根据图像的描述子对图像进行分类。将描述子的值非常接近的图像分类为属于相同类别。分类可以是使用给定数目的聚类的聚类方法，例如k均值法。

Claims (10)

1.一种对代表图像的信号的描述子进行确定的方法，所述方法包括对所述信号应用第一定向滤波器组以获得第一系数集的步骤(S1)，

其特征在于，所述方法包括如下步骤：

-对所述信号应用第二低通滤波器组，以获得代表低通滤波信号的第二系数集(S2)，所述第一定向滤波器组和所述第二低通滤波器组具有相同的方向和相同的尺度，

-通过以下步骤计算代表所述图像的描述子(S3)：

-首先计算所述第一系数集与所述第二系数集之间的差值；以及

-其次通过计算所述差值的相关功率而获得所述描述子(S4)。

2.根据权利要求1所述的方法，其特征在于，所述第一定向滤波器组是Gabor型滤波器。

3.根据权利要求2所述的方法，其特征在于，使用第二定向滤波器组来代替所述第二低通滤波器组，所述第二定向滤波器组计算沿与Gabor滤波器的灵敏度方向垂直的行的所述信号的均值。

4.根据权利要求1至3之一所述的方法，其特征在于，对二次系数组执行所述差值的相关功率的计算，所获得的描述子是值的集合，每个值与针对每个组而获得的描述子相对应。

5.根据权利要求1或2所述的方法，其特征在于，对整幅图像执行所述差值的相关功率的计算，所获得的描述子是唯一值。

6.根据权利要求1至3之一所述的方法，其特征在于，第一系数集和第二系数集中的系数分别与滤波器的一个方向和一个尺度相对应。

7.一种用于对代表图像的信号的描述子进行确定的设备，所述设备包括：

-用于对所述信号应用第一定向滤波器组以获得第一系数集的装置(2)，

-用于对所述信号应用第二低通滤波器组以获得代表低通滤波信号的第二系数集的装置(3)，所述第一定向滤波器组和所述第二低通滤波器组具有相同的方向和相同的尺度；

-用于通过首先计算所述第一系数集与所述第二系数集之间的差值，其次通过计算所述差值的相关功率而获得所述描述子，来计算代表所述图像的描述子的装置(4)。

8.根据权利要求7所述的设备，其特征在于，使用第二定向滤波器组来代替所述第二低通滤波器组。

9.一种用于检索数据库(1)中的图像的设备，其特征在于，所述设备包括：

-根据权利要求7或8所述的用于对描述子进行确定的设备；

-用于对样本图像的描述子和所述数据库(1)的图像描述子进行比较的装置(5)；

-用于检索所述数据库(1)中描述子与所述样本图像的描述子的差值低于预定阈值的图像的装置(6)。

10.一种对数据库(1)中的图像进行分类的设备，其特征在于，所述设备包括：

-根据权利要求7或8所述的用于对描述子进行确定的设备；

-根据所述描述子对数据库中的所述图像进行分类的聚类装置(7)。

Images