CN1293783A - 多级图象栅格数据结构和使用该数据结构的图象搜索方法 - Google Patents

Abstract

本发明涉及一种图象搜索方法,能够基于多级图象栅格表示与静止图象的空间颜色特征有关的一种颜色特征,还能够使用如此表示的多级图象栅格基于相似性搜索图象。在本发明中,相对于一种特征产生不同级的分级栅格,从而得到一种数据结构,其中基于区域代表性颜色的可靠性和区域代表性颜色表示对应于栅格的每个单元,使得能够基于两个图象栅格的相同级和不同级的单元匹配或栅格匹配的颜色局部匹配,相对于用户基于内容的查询,快速、精确地搜索图象。

Description

多级图象栅格数据结构和使用该数据结构的图象搜索方法

本发明涉及图象栅格数据结构和使用该数据结构的图象搜索方法，具体涉及相对于与静止图象的空间颜色性质有关的一种颜色特征具有不同分级栅格级结构的多级图象栅格数据结构，以及用于使用多级图象栅格数据结构搜索图象的图象搜索方法。

在常规图象搜索方法中，诸如颜色、形状、纹理等特征是以一级的图象栅格数据结构表示的，并且使用一级的图象栅格数据搜索相同结构的不同图象数据之间的相似性，从而搜索图象。

在根据常规图象搜索方法搜索图象时，根据所要搜索的图象的特性，每一特征的重要性是不同的。而且，即使仅对于一种特征，常规图象栅格数据结构中每个单元的重要性也是不同的。例如，在使用由n维结构形成的颜色直方图的图象搜索方法中，对于形成该n维结构的每个元素，可以将反映每个元素的重要性的加权值确定为不同的值。

即，在使用一级的图象数据结构的常规图象搜索方法中，基于对应的栅格来表示特征之间的重要性。但是，在这种情况下，并不考虑某个特征的每一元素的重要性。为了解决该问题，另一种常规图象搜索方法采用了计算某个特征中各元素的平均重要性的方法。

但是，在上述常规图象搜索方法中，由于每个元素的重要性受目标图象的参考图象影响，因此在图象搜索中某个特征的各元素的平均重要性是无用的，即预先确定某个特征的各元素的平均值是无用的。

而且，由于常规图象栅格数据结构仅形成为一级，因此常规图象搜索方法中对图象中包含的目标(或目标图象)的搜索是不精确的。

因此，本发明的一个目的是提供一种数据结构，其中通过基于多级图象栅格表示一个特征、和表示每个单元的区域代表性颜色和相对于区域代表性颜色的可靠性，由不同级的多级结构的单元来表示每一级。

本发明的另一个目的是提供一种图象搜索方法，能够在两个图象栅格的同一级的单元、栅格的不同级、和颜色区域之间匹配，以对于与不同图象对应的多级图象栅格执行颜色相似性检索。

为了实现上述目的，根据本发明提供一种多级图象数据结构，其中以具有多于两个不同级的分级图象栅格结构来表示一个图象的空间颜色特征。

为了实现上述目的，根据本发明提供一种使用多级图象数据结构的图象搜索方法，其中将分成不同分级图象栅格级的参考图象的空间颜色特征的颜色相似性与目标图象的颜色相似性匹配，从而根据用户基于内容的查询来搜索图象。

本发明附加的优点、目的和特征可以从下面的说明中容易地得到。

通过以下的详细说明和附图可以更完整地理解本发明，附图中给出的例子仅是说明性的，因此并不是对本发明的限制，其中：

图1是根据本发明的多级图象栅格数据结构和3级图象栅格数据结构的实施例的示意图；

图2是根据本发明的使用多级图象栅格数据结构和3级图象栅格数据结构间匹配结构的图象搜索方法的示意图；

图3是根据本发明的使用多级图象栅格数据结构和3级图象栅格数据结构中同级之间匹配结构的图象搜索方法的实施例的示意图；

图4是根据本发明的使用多级图象栅格数据结构和3级图象栅格数据结构的不同级之间匹配结构的图象搜索方法的实施例的示意图；

图5A和5B是根据本发明的使用多级图象栅格数据结构的图象搜索方法的实施例的示意图，其中图5A是两个相同图象栅格数据结构的示意图，图5B是两个图象栅格数据结构的匹配过程的示意图。

本发明涉及多级图象栅格数据结构和使用该数据结构的图象搜索方法。下面将对根据本发明的用于产生多级图象栅格数据结构的方法进行说明。

在正方形图象的情况下，将其均匀地按高度和宽度划分，在非正方形图象的情况下，根据图象宽度和高度的纵横比均匀地划分一边，并按一边的单位均匀地划分另一边。即，按照相同单位划分具有相同长度的水平和垂直边的规则正方形结构，而在具有不同长度的水平和垂直边的矩形结构的情况下，一边(例如，较长边)被均匀划分，另一边(例如，较短边)则按该一边的划分单位划分。

因此与上述相似，在一个图象数据结构中，空间颜色特征被划分为不同级的多级栅格，从而表示多级图象栅格的结构。

此时，每个图象栅格是不同级的多级结构，每一级的分辨率被分级划分。给每个栅格的单元分配两个值，这两个值是区域代表性颜色(RRC)和与区域代表性颜色的精度有关的可靠性分值(S)。

图1表示根据本发明的多级图象栅格数据结构和3级图象栅格数据结构的实施例。即，一个图象被表示为第一级、第二级和第三级的图象栅格级。

在3级图象栅格数据结构的分辨率中，根据所划分的级，第一级图象栅格分辨率最低，第二级图象栅格是中间级，第三级图象栅格分辨率比第二级图象栅格高。

第一级图象栅格被划分为包括与垂直边M和水平边N的纵横比成比例的M1×N1个局部单元的图象区域。每个单元被表示为代表每个区域的区域代表性颜色(RRC)，和对应于代表性颜色值的精度的可靠性分值(S)。

而且，根据划分状态，第二级图象栅格和第三级图象栅格被划分为包括M2×N2个和M3×N3个局部单元的图象区域，每个单元具有区域代表性颜色(RRC)和可靠性分值(S)。

例如，当第一级图象栅格的最大垂直长度M和水平长度N是8(=8×8)个局部单元时，第二级图象栅格的最大垂直长度M2和水平长度N2是16(=16×16)个局部单元，第三级图象栅格的最大水平长度M3和垂直长度N3是32(=32×32)个局部单元。

其中，第三级图象栅格的某个单元Cell(i，j)被表示为区域代表性颜色和可靠性分值C³ _ij，S³ _ij。

此时，第一级、第二级和第三级的每个图象级的划分数目是根据图象的纵横比确定的，从而精确地表示包含在图象中的对象的位置。即，在较长边的情况下，均匀地划分较长边，并以较长边的划分单位划分较短边。

在用于产生图象栅格的另一种方法中，为了提高处理速度和考虑图象中包含的对象的近似位置信息，可以将垂直和水平长度设置为相同。

下面对使用多级图象栅格数据结构的图象搜索方法进行说明。

划分为多级图象栅格的不同图象被表示为代表区域的代表性区域颜色(RRC)和表示代表性颜色的精度的可靠性分值，一对代表性区域颜色和可靠性分值与另一对匹配，并根据用户基于内容的查询来计算单元相似性，从而执行图象搜索。

通过比较包含在每级的图象栅格中的单元和代表每个单元的区域颜色(RRC)，使用多级图象栅格数据结构计算两个图象之间的颜色相似性。即，使用代表单元C1和单元C2之间区域代表性颜色值的相似性的颜色相似性Color_Sim(RRC_C1，RRC_C2)计算两个单元之间的颜色相似性。

第一权数(α)乘以颜色相似性Color_Sim(RRC_C1，RRC_C2)，将颜色相似性Color_Sim(RRC_C1，RRC_C2)和第二权数(β)和相对于两个单元之间可靠性的相似性I的乘积与颜色相似性和第一权数的乘积结果相加。所得到的相加值除以第一权数和第二权数然后被归一化，从而得到两个单元C1，C2的单元相似性Cell_Sim(C1，C2)。上述运算可以表示如下。 $\mathrm{Cell}\_\mathrm{Sim}(C1,C2)=\frac{(\mathrm{\α}+\mathrm{\β}\×I)\×\mathrm{Color}\_\mathrm{Sim}(\mathrm{PRC}\_C1,\mathrm{PRC}\_C2)}{(\mathrm{\α}+\mathrm{\β})}-----\left(1\right)$ 其中，两个单元之间的可靠性(S1，S2)的相似性I是根据I=1-｜S1-S2｜得到的。

因此，相对于多级图象的相同级之间的部分和不同级匹配两个不同多级图象栅格之间的单元相似性，并比较图象之间的特征。

图2表示根据本发明的使用多级图象栅格数据结构的图象搜索和具有3级图象栅格数据结构的两个图象I₁和I₂的栅格之间的基于相似性的搜索的实施例。

两个图象I₁和I₂包括第一级图象栅格G_{1_1st}，G_{2_1st}，第二级图象栅格G_{1_2nd}，G_{2_2nd}，和第三级图象栅格G_{1_3rd}，G_{2_3rd}。

对两个图象中包含的两个栅格级之间的相似性Grid_Sim(G₁，G₂)进行级间比较。上述运算可以表示如下。

Grid_Sim(G₁，G₂)=w₁×Sim_of_the_Exact_{G1_lst_and_G2_lst}

                  +w₂×Sim_of_the_Exact_{G1_2nd_and_G2_2nd}

                  +w₃×Sim_of_the_Exact_{G1_3rd_and_G2_3rd}

                  +w₄×Sim_of_the_Inter_{G1_1st_and_G2_2nd}

                  +w₅×Sim_of_the_Inter_{G1_2nd_and_G2_3rd}    -----(2)

                  +w₆×Sim_of_the_Inter_{G1_3rd_and_G2_lst}

                  +w₇×Sim_of_the_Inter_{G1_lst_and_G2_3rd}

                  +w₈×Sim_of_the_Inter_{G1_2nd_and_G2_1st}

                  +w₉×Sim_of_the_Inter_{G1_3rd_and_G2_2nd}其中w1到w9代表对于各自颜色相似性的权数，Sim_of_the_Exact代表相对于两个图象I₁，I₂在相同图象栅格级之间的相似性，Sim_of_the_Inter代表相对于两个图象I₁，I₂不同图象栅格级之间的相似性。

即，根据如图3所示的匹配得到两个不同图象I₁和I₂中包含的相同图象栅格级之间的相似性Sim_of_the_Exact。而且，根据如图4所示的匹配得到两个不同图象I₁和I₂中包含的不同图象栅格级之间的相似性Sim_of_the_Inter。

下面将参照图5A和5B对上述操作进行详细说明。

将对应于两个不同图象的相同级的两个单元的相似性相加，并通过在水平和垂直方向按纵横比移位，将两个单元的相似性加到所得的总计值。

此时，通过把两个图象的某级的纵横比的差的绝对值加一，计算两个栅格的匹配的数目。

例如，如图5A所示，假设图象I₁的纵横比的栅格的数目是M×N，图象I₂的纵横比的栅格的数目是O×P，两个栅格之间的匹配总数是(｜M-O｜+1)×(｜N-P｜+1)。

通过根据两个栅格的纵横比基于不同移位量匹配两个栅格，计算对应于相同栅格级Max(M，N)=Max(O，P)的两个单元之间的相似性。

此时，根据以下公式3-1，3-2得到基于两个图象I₁和I₂的相同级之间的匹配的相似性Sim_of_the_Exact。

Sim_of_the_Exact=Max(Sim_bet_two_levels_given_cell_corresS(i，j))

Vi，0≤i≤｜M- O｜

Vj，0≤i≤｜N-P｜    ------(3-1)

Sim_bet_two_levels_given_cell_corres S(i，j) $=\frac{\underset{y=0}{\overset{\mathrm{Min}|N-P|-1}{\mathrm{\Σ}}}(\underset{x=0}{\overset{\mathrm{Min}|M-O|-1}{\mathrm{\Σ}}}\mathrm{Sim}\_\mathrm{of}\_\mathrm{corres}\_\mathrm{two}\_\mathrm{cells}(x,y,i,j)}{\mathrm{Min}(N,P)\×\mathrm{Min}(M,O)}------(3-2)$

当匹配相同级之间的相似性(Sim_of_the_Exact)时，上述公式 $=\underset{y=0}{\overset{\mathrm{Min}|N-P|-1}{\mathrm{\Σ}}}(\underset{x=0}{\overset{\mathrm{Min}|M-O|-1}{\mathrm{\Σ}}}\mathrm{Sim}\_\mathrm{of}\_\mathrm{corres}\_\mathrm{two}\_\mathrm{cells}(x,y,i,j)$ 代表相对于两个对应单元的水平和垂直边的匹配的总和。

通过基于纵横比M∶N，O∶P适用公式404到公式4-1，可得到两个单元之间的相似性Sim_of_corres_two_cells。

Sim(Cell^G1(x+i，y+j)，    cell^G2(x，y))，    if    (Min(N，P)=P)

(Min(M，O)=O)…(4-1)

Sim(Cell^G1(x+i，y)，    cell^G2(x，y+j))，    if    (Min(N，P)=N) (Min(M，O)=O)…(4-2)

Sim(Cell^G1(x，y+i)，    cell^G2(x+i，y))，    if    (Min(N，P)=P) (Min(M，O)=M)…(4-3)

Sim(Cell^G1(x，y)，    cell^G2(x+i，y+j))，    if    (Min(N，P)=N)

(Min(M，O)=M)…(4-4)其中，当P小于N且M小于O时应用公式4-1，当栅格G₁的长度N小于栅格G₂的长度P且栅格G₂的宽度0小于栅格G₁的宽度M时应用公式4-2。而且，当栅格G₂的垂直长度P小于栅格G₁的N且栅格G₁的水平长度M小于G₂的O时应用公式4-3，当G₁的N小于G₂的P其M小于O时应用公式4-4。

此时，将相对于栅格G₁和栅格G₂的长度之间的长度差(｜M-O｜，｜N-P｜)的移位量(i，j)加到单元坐标(x，y)，并且每个开始点(i，i，x，y)变成0。

通过匹配两个不同图象栅格级计算不同栅格级(Max(M，N)≠Max(O，P)之间的相似性Sim_of_the_Inter。该操作与栅格级相似性Sim_of_the_Exact的搜索相似。

此外，基于｜M-O｜+1)×(｜N-P｜+1)得到不同图象栅格级之间的图象栅格的匹配的数目。

执行颜色区域匹配操作，以搜索多级图象栅格之间的代表性颜色值相似的区域。该搜索基于以下方法执行，一种方法是用于从相同大小的栅格级(精确比例匹配)之间的变换位置和相对位置来搜索颜色相似性，一种方法是用于从不同大小的栅格级(比例间匹配)之间的变换位置和相对位置搜索颜色相似性。

即，基于一种用于从目标图象搜索相同级的颜色区域的方法执行相同大小的图象栅格级(精确比例匹配)之间的颜色区域匹配操作。基于目标图象的相同图象栅格级将该位置与相对位置匹配，然后计算颜色区域的相似性，并将该位置与目标图象的相同级的变换位置进行匹配，从而计算颜色区域的相似性。

基于一种用于在目标图象间搜索不同级颜色区域的方法执行不同图象栅格级(比例间匹配)之间的颜色区域匹配操作，并在目标图象的不同图象栅格级中计算相同级的颜色区域的相似性。

在不同图象栅格级之间的颜色区域匹配方法中，通过将位置与在目标图象的不同图象栅格级中的相同位置进行匹配，计算颜色区域的相似性，并通过将位置与目标图象的另一级的变换位置进行匹配，计算颜色区域的相似性。

如上所述，在本发明中，一个图象栅格数据结构被分为多级栅格数据结构。因此，在使用划分的多级栅格结构搜索基于内容的图象时，有可能高效地响应用户的主观查询。此外，在一定条件下，图象搜索速度快、精度高。

虽然为了例示目的公开了本发明的优选实施例，但是本领域技术人员应理解，在不偏离所附权利要求的范围和精神的条件下，可以进行各种改进，添加和替换。

Claims (13)

1．一种多级图象数据结构，其特征在于基于具有至少两个不同分级级数的图象栅格表示包含图象的特征的图象帧。

2．根据权利要求1的结构，其中所述分级图象栅格包括多个单元并被分级划分，给每个单元分配代表性颜色和可靠性，其中代表性颜色表示对应于单元的区域的颜色特征，可靠性表示代表性颜色的可靠性。

3．根据权利要求1的结构，其中在原始图象具有相同宽度和高度的情况下，以宽度和高度的相同数目均匀地划分图象栅格的所述分级。

4．根据权利要求1的结构，其中在图象栅格的所述分级中，在原始图象具有不同宽度和高度大小的情况下，均匀地划分其一边，并基于该一边的划分单位划分其另一边。

5．一种使用多级图象数据结构的图象搜索方法，包括以下步骤：

匹配参考图象和目标图象的空间颜色特征，其空间颜色特征被表示为不同的分级图象栅格级；和

根据用户基于内容的查询来搜索图象。

6．根据权利要求5的方法，其中通过匹配两个不同图象栅格中包含的每个单元，并基于具有空间颜色特征的代表性颜色值之间的相似性，得到具有不同分级栅格级的两个图象之间的所述颜色相似性。

7．根据权利要求5的方法，其中通过匹配两个图象栅格，根据图象之间的空间颜色特征执行多重交叉和比较颜色相似性，来得到具有不同分级栅格的两个图象之间的所述颜色相似性。

8．根据权利要求5的方法，其中通过匹配每个区域代表性颜色值得到具有不同分级栅格的两个图象之间的颜色相似性，从而搜索相似区域。

9．根据权利要求5的方法，其中通过将对应于两个单元之间区域代表性颜色的相似性的颜色相似性(Color_Sim)乘以第一权数，加上由代表两个单元之间可靠性的相似性的相似性(I)乘以第二权数和颜色相似性(Color_Sim)得到的值，并归一化所得的相似性，就可以得到具有不同分级的图象栅格中包含的单元之间的单元相似性。

10．根据权利要求5的方法，其中当比较了两个栅格并计算出相似性时，基于通过根据由栅格之间宽度和高度差得到的移位量在水平和垂直方向移位所合计的总值，得到两个相同级栅格之间的颜色相似性。

11．根据权利要求5的方法，其中基于按两个栅格的宽度和高度差在水平和垂直方向移位所合计的值，得到两个不同栅格之间的颜色相似性。

12．根据权利要求5的方法，其中在通过匹配颜色区域执行搜索的情况下，使用具有多级的图象栅格之间的单元相似性来搜索图象之间相同级之间的相同位置和不同位置。

13．根据权利要求5的方法，其中当搜索不同级之间的颜色相似性时，在具有多级的两个图象栅格之间的颜色区域匹配操作被用于在不同级的相同位置和不同位置进行搜索。

Images