CN106557526B - 处理图像的装置和方法 - Google Patents

Abstract

本公开涉及一种处理图像的装置和方法。在一个实施方式中该装置包括：定位模块，其被配置为定位第一图像和第二图像的特征点；特征描述子提取模块，其被配置为提取表征第一图像和第二图像的每个特征点的特征描述子；分类模块，其被配置为根据分类特征集的所有特征，确定第一图像和第二图像的每个特征点的特征点分类；以及相似度计算模块，其被配置为基于第一图像和第二图像的每个特征点的特征点分类，使用相似度计算特征集的所有特征计算第一图像和第二图像之间的相似度。该装置和方法能够快速、准确地检索出与查询图相似的图像。

Description

处理图像的装置和方法

技术领域

本发明一般地涉及图像处理领域，尤其涉及一种处理图像的装置和方法。

背景技术

近年来，随着科技的发展，摄像机越来越普及。涌现出各种各样的集成有摄像机的手机、便携式计算机、平板计算机。通过摄像机能够捕获大量信息，并且所捕获的大量信息能够方便的被记录。每个所捕获的图像包括许多有用信息，为了从大量图像中获得包含有用信息的图像，使用摄像机捕获的图像作为查询图检索图像数据库图像(即，图像检索)引起了人们越来越多的关注。

文档图像是指包含文字和/或表格的文档的图像。例如用摄像机拍摄的发票、水费单、电费单等图像都属于文档图像。由于文档图像包含更多有用的信息，所以文档图像检索受到人们的更多关注。文档图像检索目标是在已有的图像中找到与查询图相似的图像。如：检索以一张发票单图像为查询图，检索结果为一系列发票单。与一般的图像检索相比，文档图像检索的检索结果所给出的图像在结构上与查询图的结构保持更加一致。

在进行图像检索(例如，文档图像检索)时，希望在图像数据库内快速、准确地检索出和查询图相似的图像。例如，利用12月份的水费单图像作为查询图快速、准确地检索出图像数据库中和具有12月份的水费单相似结构的所有的水费单图像。

发明内容

本发明的目的是提供一种处理图像的装置和方法，该装置和方法对输入图像和图像数据库中的选定图像进行处理，计算出它们之间的相似度，该处理具有快速、准确的特点。可以使用该装置或方法快速、准确地获得输入图像和图像数据库中的每个图像的相似度，并输出相似度满足预定要求的图像。

为了实现上述目的，根据本发明的一个方面，提供了一种处理图像的装置。该处理图像的装置包括：定位模块，其被配置为定位第一图像和第二图像的特征点；特征描述子提取模块，其被配置为提取表征第一图像和第二图像的每个特征点的特征描述子，其中，每个特征点由至少两种特征来表征，至少两种特征由分类特征集的特征和相似度计算特征集的特征构成，分类特征集由用于分类的至少一种特征构成，相似度计算特征集由用于相似度计算的至少一种描述性特征构成，描述性特征用特征向量表征；分类模块，其被配置为根据分类特征集的所有特征，确定第一图像和第二图像的每个特征点的特征点分类；以及相似度计算模块，其被配置为基于第一图像和第二图像的每个特征点的特征点分类，使用相似度计算特征集的所有特征计算第一图像和第二图像之间的相似度。

为了实现上述目的，根据本发明的另一个方面，提供了一种处理图像的方法。该处理图像的方法包括：定位第一图像和第二图像的特征点；提取表征第一图像和第二图像的每个特征点的特征描述子，其中，每个特征点由至少两种特征来表征，至少两种特征由分类特征集的特征和相似度计算特征集的特征构成，分类特征集由用于分类的至少一种特征构成，相似度计算特征集由用于相似度计算的至少一种描述性特征构成，描述性特征用特征向量表征；根据分类特征集的所有特征，确定第一图像和第二图像的每个特征点的特征点分类；以及基于第一图像和第二图像的每个特征点的特征点分类，使用相似度计算特征集的所有特征计算第一图像和第二图像之间的相似度。

另外，根据本发明的又一方面，还提供了一种存储介质。存储介质中存储有信息处理设备可读的程序代码，当在信息处理设备上执行程序代码时，程序代码使得信息处理设备执行根据本发明的上述方法。

此外，根据本发明的再一方面，还提供了一种程序产品。程序产品包括信息处理设备可执行的指令，当在信息处理设备上执行指令时，指令使得信息处理设备执行根据本发明的上述方法。

应该理解，术语“包括”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。

参照后文的说明和附图，详细公开了本发明的特定实施方式，指明了本发明的原理可以被采用的方式。应该理解，本发明的实施方式在范围上并不因此而受到限制。在所附权利要求的范围内，本发明的实施方式包括许多改变、修改和等同。

针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

附图说明

参照附图下面说明本发明实施方式，这将有助于更加容易地理解本发明的以上和其它目的、特点和优点。附图只是为了示出本发明的原理。在附图中不必依照比例绘制出单元的尺寸和相对位置。在附图中：

图1是根据本发明的公开内容的示例性实施方式的处理图像的方法的流程图；

图2是根据本发明的公开公开内容的示例性实施方式的聚类型特征确定的空间区域的示意图；

图3是根据本发明的公开内容的示例性另一实施方式的处理图像的方法的流程图；

图4是根据本发明的公开内容的示例性实施方式的文档图像示意图；

图5是根据本发明的公开内容的示例性实施方式的处理图像的装置的示意性框图；

图6是根据本发明的公开内容的示例性实施方式的另一处理图像的装置的示意性框图；以及

图7是根据本发明的公开内容的示例性实施方式的再一处理图像的装置的示意性结构框图。

具体实施方式

下面参照附图说明本发明的实施方式。应该注意的是，本发明不限于本文所描述的具体实施方式。本文描述这样的实施方式仅用于说明目的。基于本文所包含的教示另外的实施方式对一个或更多个相关领域中的技术人员而言将是明显的。应该注意的是，为了清楚，在附图和描述中省略了关于本领域技术人员公知的但与本发明不相关的这些部件和处理方式的表示和描述。

如本领域技术人员将理解的，本发明的各方面可以实现为装置、方法或计算机程序产品。因此，本发明的各方面可以采用下述形式：完全硬件的实施方式、完全软件的实施方式(包括固件、常驻软件、微代码等)或者组合软件和硬件方面的实施方式。

此外，本发明的方法不限于按照说明书中描述的时间顺序来执行，如果从原理上说可行，也可以按照其它的时间顺序地、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本发明的公开内容的范围构成限制。

在一个实施方式中，本公开内容提供了一种处理图像的方法。下面，结合图1、和图2说明该方法的示例性实现方式。

图1是根据本发明的公开内容的示例性实施方式的处理图像的方法100的流程图。方法100能够计算出输入图像和图像数据库中的选定图像之间的相似度。

在步骤101处，通过分别对输入图像和图像数据库中的选定图像进行预处理获得第一图像和第二图像，其中第一图像和第二图像具有相同尺寸和分辨率，即在预处理中，包括对输入图像和选定图像进行变换，使它们具有同一尺寸和同一分辨率。

输入图像和/或选定图像可以是包含文字和/或表格图像区域的文档图像，例如，水费单图像、发票图像。图像数据库中可以包括包含文字和/或表格图像区域的文档图像。

文档图像通常包含背景区域和文档区域。例如，当对桌面上的打印有文档内容的A4纸进行拍照获得文档图像时，文档图像通常包含部分桌面区域的图像区(即，背景区域)和A4纸图像区(即，文档区域)，其中A4纸上印有文字和/或表格。

如果进行的是文档图像处理，步骤101中的预处理可以包括：通过边缘提取、图像二值化和检测凸多边形来分别从输入图像和选定图像获得第一图像和第二图像。在边缘提取时，可以通过RGB梯度法提取文档区域的边缘信息。在检测凸多边形时，考虑到文档区域通常为凸四边形，可以通过确定文档的四个顶点、根据四个顶点来获得文档区域的图像作为第一图像或第二图像。也就是说：当输入图像和选定图像均为文档图像时，相对于输入图像和选定图像，第一图像和第二图像的主体为文档区域，仅在边缘区域可能具有少量背景区域(极端情况下，没有背景区域)。当第一图像为文档图像，而对选定图像检测凸多边形失败时(如第二选定图像为不含文档区域的风景照片)，可以直接将第一图像和第二图像之间的相似度设定为预定值(例如，零)，不再进行后续的步骤103-109。

需要说明的是，预处理步骤101是一个可选步骤，即也可以省略预处理步骤，直接将输入图像当作第一图像、选定图像当作第二图像进行后续处理。但是优选进行步骤101，获得具有相同尺寸和分辨率的第一图像和第二图像。例如，当输入图像和选定图像已经具有相同尺寸和分辨率时，可以不进行预处理步骤101。如果输入图像和选定图像已经是文档区域占主体，且尺寸、分辨率相同，优选省略预处理步骤101。在方法100中，包括预处理步骤。

在步骤103处，定位第一图像和第二图像的特征点。

在步骤103中，特征点可以是图像中明显的点(如角点)，这些点对尺度、旋转、平移等鲁棒。例如，特征点可以是：Harris角点、SUSAN角点、FAST角点、BRIEF角点、ORB角点、SIFT点、SURF点。

在步骤105处，提取表征第一图像和第二图像的每个特征点的特征描述子，其中，每个特征点由至少两种特征来表征，所述至少两种特征由分类特征集的特征和相似度计算特征集的特征构成，分类特征集由用于分类的至少一种特征构成，相似度计算特征集由用于相似度计算的至少一种描述性特征构成，描述性特征用特征向量表征。

为了获得快速、准确的图像检索效果，在步骤105中，每个特征点由n种特征来表征，其中，n≥2，第一图像和第二图像的每个特征点具体由特征描述子表征，也就是说，每个特征点的描述子分为n种。这n种特征可以全部为描述性特征(即，可以用特征向量表征的特征；在下文中用Fd表示描述性特征)，也可以还包括聚类型特征(在下文中用Fc表示聚类型特征)。Fc能够指示特征点所属的空间区域。Fc例如可以是连通域特征，另外，Fc也可以是为了某些特定目的，将一些特征点归类在一起，构成的包括这些点的空间区域。

描述性特征可以是：SIFT特征、SURF特征、BRIEF特征、局部描述子特征、颜色特征、MSER特征和位置特征。

这n种特征构成的特征点表征特征集是由用于特征点分类的分类特征集Sclass和用于计算相似度的相似度计算特征集Scalcu的并集构成；例如，若Sclass＝{Fd1,Fd2,Fc1,Fc2}、Scalcu＝{Fd1,Fd2,Fd3}，则特征点表征特征集＝{Fd1,Fd2,Fd3,Fc1,Fc2}，n＝5。Sclass组成情况可以分为3种：(Sclass-1)仅包含聚类型特征；(Sclass-2)包含描述性特征和聚类型特征；(Sclass-3)仅包含描述性特征。需要注意的是：如果Sclass中有描述性特征Fdi，这并不限制Scalcu中的描述性特征Fdj，即Scalcu中的任意描述性特征Fdj可以和Sclass中的任意Fdi相同，也可以不同；但是优选Scalcu中的任意描述性特征和Sclass中的每个描述性特征均不相同，从而更好地提高检索速度和准确度。

在步骤107处，根据分类特征集的所有特征，确定第一图像和第二图像的每个特征点的特征点分类。

在步骤107中，使用Sclass中的所有特征对特征点进行分类时，需根据Sclass的组成情况进行，相应的，基于分类确定相似度(步骤109)也需要根据Sclass的组成情况进行。

在步骤109处，基于第一图像和第二图像的每个特征点的特征点分类，使用相似度计算特征集的所有特征计算第一图像和第二图像之间的相似度。第一图像和第二图像之间的相似度可以当作输入图像和图像数据库中的选定图像之间的相似度。

下面就根据Sclass的3种组成情况，进一步说明步骤107和步骤109的具体执行方式。

<情况Sclass-1下的分类方式及相似度计算>

在情况Sclass-1下，确定每个特征点的特征点分类包括确定每个特征点的每种聚类型特征的描述标识。特征点p的聚类型特征Fci的描述标识指示特征点p所属的Fci的空间区域情况。描述标识可以表示为：R_Fci0、R_Fci1、R_Fci2、……、R_Fcix，其中x取正整数，为Fci的空间区域的索引，用预定描述标识R_Fci0表示该特征点不在该种聚类型特征所划分的空间区域中的任何一个空间区域中。若特征点p的Fci的描述标识为R_Fcix(x>0)，则特征点p在Fci的索引号为x空间区域内。对于每幅图像的空间区域的划分，可以根据Fci的定义来处理。例如：分类特征集由2种聚类型特征Fc1和Fc2构成，因此使用Fc1和Fc2对图像I的特征点进行分类，对Fc1，图像I被分为8个(仅为示例)空间区域R_Fc11、……、R_Fc18；对Fc2，图像I被分为9个(仅为示例)空间区域R_Fc21、……、R_Fc29；对图像I的任意特征点j，根据特征点j的位置，确定其在Fc1的8空间区域中所属的空间区域情况：描述标识为R_Fc1x(x为1到8的自然数)或R_Fc10，以及确定其在Fc2的9空间区域中所属的空间区域情况：描述标识为R_Fc2x'(x'为1到9的自然数)或R_Fc20；其中，当该特征点j不在聚类型特征Fc1所划分的空间区域中的任何一个空间区域中时，将特征点j的聚类型特征Fc1的描述标识设定为预定描述标识R_Fc10，当该特征点j不在聚类型特征Fc2所划分的空间区域中的任何一个空间区域中时，将特征点j的聚类型特征Fc2的描述标识设定为预定描述标识R_Fc20；从而确定图像I的每个特征点的每种聚类型特征的描述标识。可以看出，每个空间区域对应一定数量的特征点的集合。

在情况Sclass-1下，基于第一图像和所述第二图像的每个特征点的特征点分类，使用相似度计算特征集的所有特征(均为描述性特征)计算第一图像和第二图像之间的相似度包括：在所有从聚类型特征中取至少一种聚类型特征的组合方式中，确定出每种组合方式所确定的空间区域类的空间区域中第一图像和第二图像之间匹配度最好的空间区域对；基于相似度计算特征集的特征表征的描述性特征描述子，计算各匹配度最好的空间区域对的相似度，并且将各匹配度最好的空间区域对的相似度加权求和，作为第一图像和第二图像之间的相似度。即，根据式(1)计算第一图像I₁和第二图像I₂之间的相似度s(I₁,I₂)。

其中，L为I₁和I₂之间匹配度最好的空间区域对索引(L＝1,2,……，L_max)，S_L(I₁,I₂)为I₁和I₂的匹配度最好的空间区域对L的相似度，w_L为S_L(I₁,I₂)的权重。w_L可以设置为匹配度最好的空间区域对L中的特征点总数与所有匹配度最好的空间区域对的特征点的和的比值。

作为一个示例，相似度计算特征集由描述性特征Fd1和Fd2构成，分类使用的聚类型特征为Fc1和Fc2。图2表示在该示例情况下图像I的一个局部区域中聚类型特征确定的空间区域，其中用椭圆表示Fc1的一个空间区域R_Fc1x，用圆角矩形表示Fc2的一个空间区域R_Fc1x'。R_Fc1x包括特征点：p3、p4、p5、p6、p7。R_Fc2x'包括特征点：p1、p2、p3、p4、p5。从聚类型特征Fc1、Fc2中取至少一种聚类型特征的组合方式共有3种：{Fc1}、{Fc2}和{Fc1,Fc2}。这3种组合确定出3类由特征点组成的空间区域：仅属于Fc1的空间区域的特征点构成的空间区域类S1(其包括由p6和p7构成的空间区域S11)、仅属于Fc2的空间区域的特征点构成的空间区域类S2(其包括由p1和p2构成的空间区域S21)、既属于Fc1的空间区域又属于Fc2的空间区域的特征点构成的空间区域类S3(其包括由p3、p4和p5构成的空间区域S31)。然后，确定出这3种组合方式中每种组合方式所确定的空间区域类的空间区域中第一图像和第二图像之间匹配度最好的空间区域对。例如，对第一图像而言，属于S1类的空间区域例如有10个(仅为示例)，对第二图像而言，属于S1类的空间区域例如有12个(仅为示例)，可以找出10对或更少匹配度最好的S1类空间区域对(假设为10对)；其中，可以根据空间区域的重心和特征点数的匹配程度确定匹配度最好的空间区域对，匹配度最好的空间区域对的个数与预定的匹配度阈值有关；同理，假设匹配度最好的S2类空间区域对为11对、匹配度最好的S2类空间区域对为12对，则L_max＝33。计算每对匹配度最好的空间区域对的相似度包括用式(2)计算匹配度最好的空间区域对内任意两个特征点p_i、q_j间的相似度s(p_i,q_j)，其中特征点p_i在第一图像中，特征点q_j在第二图像中。

其中，Fdn是相似度计算特征集的描述性特征(n＝1,2,…，n_max)，a_n是描述性特征Fdn的权重，v^pi _Fdn、v^qj _Fdn是特征点p_i、q_j的描述性特征Fdn的特征向量，dis(v^pi _Fdn,v^qj _Fdn)表示特征点p_i、q_j的特征向量v^pi _Fdn和v^qj _Fdn之间的距离。a_n可以根据经验预先给定，如Fd1是颜色特征、Fd2是位置特征，如果认为颜色特征比位置特征重要，则取a₁>a₂，例如a₁＝0.7、a₂＝0.3。具体实现时,可根据试验结果调节a_n。可见，计算各特征点之间的相似度包括确定用相似度计算特征集的特征表征的特征描述子的各特征向量所对应的权重和对应的特征向量之间的距离。

匹配度最好的空间区域对L的相似度S_L(I₁,I₂)等于空间区域对L内的所有特征点p_i、q_j组合的相似度s(p_i,q_j)的和。具体计算公式如式(3)所示。

其中，p_i表示匹配度最好的空间区域对L内第一图像的特征点，q_j表示匹配度最好的空间区域对L内第二图像的特征点。可见，计算各匹配度最好的空间区域对的相似度包括计算各特征点之间的相似度。

例如：若对匹配度最好的空间区域对L，第一图像有5个特征点、第二图像有4个特征点，则所有特征点的组合数为20个，S_L(I₁,I₂)等于这20种组合的匹配度最好的空间区域对的相似度的和。

从上述描述可以看出，对各种聚类型特征的描述标识全部为预定标识的特征点(即空间区域的索引均为0的特征点)或不在匹配度最好的空间区域对内的特征点，在计算I₁和I₂之间的相似度时，其对第一图像和所述第二图像之间的相似度的贡献为零。例如，在使用2种聚类型特征Fc1和Fc2来对图像I的特征点p进行分类时，特征点p总体分类可以表示为(R_Fc1m,R_Fc2n)，m、n分别为特征点p所属的Fc1和Fc2的空间区域的索引，对于总体分类为(R_Fc10,R_Fc20)的特征点，其对I₁和I₂之间的相似度的贡献为零。

<情况Sclass-2下的分类方式及相似度计算>

在情况Sclass-2下，确定每个特征点的特征点分类包括：确定每个特征点的每种聚类型特征的描述标识，该特征点的该种聚类型特征的描述标识指示该特征点所属的该种聚类型特征的空间区域情况；以及确定分类特征集的用于分类的所述至少一种描述性特征的聚类中心空间中的每个特征点的所属的聚类中心空间点。每个特征点的特征点分类可以用该特征点的聚类型特征的描述标识与该特征点所属的聚类中心空间点的组合来表示。例如，分类特征集由2个聚类型特征Fc1、Fc2及2个描述性特征Fd1、Fd2构成，则特征点p的特征点分类可表示为(R_Fc1m,R_Fc2n,SPm'n')，m、n分别为特征点p所属的Fc1和Fc2的空间区域的索引，特征点p所属的聚类中心空间点SPm'n'表示点(u1m',u2n')，u1m'、u2n'为Fd1、Fd2的聚类中心描述向量。特征点的聚类型特征的描述标识的确定方式同情况Sclass-1下的确定方式。

特征点所属的聚类中心空间点通过以下方式确定：如果在聚类中心空间中该特征点的各描述性特征向量和该聚类中心空间点的各对应的特征的聚类中心描述向量距离均最小，则该特征点属于该聚类中心空间点。例如，用u1i表示Fd1的聚类中心描述向量(i＝1,2，……，i_max)，用u2i'表示Fd2的聚类中心描述向量(i'＝1,2，……，i'_max)，若特征点p的描述性特征向量v^(p) _Fd1、v^(p) _Fd2分别与u1m'、u2n'距离最小，则特征点p所属的聚类中心空间点SP可表示为(u1m',u2n')或SPm'n'。

聚类中心可以按以下方式确定。按与预处理图像数据库中的选定图像相同的方式预处理图像数据库中的剩余图像，定位预处理后剩余图像的特征点，提取预处理后剩余图像的每个特征点的特征描述子，所选用的描述子种类与第一图像和所述第二图像所选用的描述子种类相同。即，图像数据库中的各图像的预处理、定位和提取特征描述子方式是相同的。对所有图像数据库中的图像的特征描述子的各描述性特征的特征向量聚类(例如，使用k-means聚类方法)，得到各描述性特征的多个聚类中心，其中描述性特征是指分类特征集中的描述性特征。例如，若图像数据库中的图像的特征描述子包括2种描述性特征Fd1、Fd2(即分类特征集包含的描述性特征由Fd1、Fd2构成)，通过聚类得到Fd1的聚类中心描述向量u1i(i＝1,2，……，i_max)、Fd2的聚类中心描述向量u1i'(i'＝1,2，……，i'_max)，聚类中心空间点的数量为i_max×i'_max个。需要说明的是：在聚类中心的确定中，与预处理图像数据库中的选定图像一样，预处理图像数据库中的剩余图像同样是一个可选步骤。如果计算相似度不使用聚类中心，则可以不进行聚类中心的确定。在本实施例中，因为分类特征集中含描述性特征，所以分类时需要使用聚类中心，相应的相似度计算也需要知道聚类中心，所以有确定聚类中心的步骤。

在情况Sclass-2下，基于第一图像和第二图像的每个特征点的特征点分类，使用相似度计算特征集的所有特征计算第一图像和第二图像之间的相似度包括：针对每个聚类中心空间点，首先确定所有特征点分类中属于该聚类中心空间点的第一图像和第二图像之间的匹配度最好的空间区域对，然后基于相似度计算特征集的特征表征的描述性特征描述子，计算各匹配度最好的空间区域对的相似度，并且将各匹配度最好的空间区域对的相似度加权求和，作为第一图像和第二图像之间的该聚类中心空间点的相似度；并且对每个聚类中心空间点的相似度加权求和，得到第一图像和第二图像之间的相似度，其中确定所有特征点分类中属于该聚类中心空间点的第一图像和第二图像之间的匹配度最好的空间区域对是指：在所有从聚类型特征中取至少一种聚类型特征的组合方式中，确定出每种组合方式所确定的空间区域类中属于该聚类中心空间点的空间区域中第一图像和第二图像之间匹配度最好的空间区域对。需要注意的是：相似度计算特征集所包括的各描述性特征可以与分类特征集所包括的各描述性特征相同或不同。例如，提取特征描述子时选用了3种描述性特征Fd1、Fd2、Fd3，则可以选择这3种描述特征中的至少一种来构成相似度计算特征集(即有7种选择)、而分类特征集中的描述性特征组合也有7种选择。

在情况Sclass-2下，若分类特征集中的描述性特征由2种描述性特征构成时，根据式(4)计算第一图像I₁和第二图像I₂之间的相似度s(I₁,I₂)。

其中，S_m'n'(I₁,I₂)为I₁和I₂之间的聚类中心空间点SPm'n'的相似度，w_m'n'为S_m'n'(I₁,I₂)的权重。w_m'n'与属于聚类中心空间点SPm'n'的特征点在第一图像中出现的频率正相关，并且与其在图像数据库中的图像中出现的频率负相关，以进一步提高相似度计算的准确度。需要注意的是：式(4)是对应聚类中心空间由两种描述性特征(即分类特征集的描述性特征由两种描述性特征构成)构成的情况，当构成聚类中心空间的描述性特征的种类发生变化时，w以及S的下标的数量、求和符下方的变量数量也应相应变化，例如，当构成聚类中心空间的描述性特征的种类为3种时，w的下标可以表示为m'n'o'，S的下标可以表示为m'n'o'，求和符下方的变量可以表示为“m',n',o'”。

S_m'n'(I₁,I₂)可以利用式(1)确定，但所针对的匹配度最好的空间区域对为属于聚类中心空间点SPm'n'的匹配度最好的空间区域对、所针对的特征点为属于聚类中心空间点SPm'n'的特征点，而不是I₁和I₂之间匹配度最好的空间区域对；计算S_m'n'(I₁,I₂)时，I₁、I₂的两个特征点之间相似度计算仍可根据式(2)进行计算，匹配度最好的空间区域对的相似度可以用式(3)进行计算，但是注意这里所考虑的特征点局限于I₁和I₂的属于聚类中心空间点SPm'n'的特征点。

在情况Sclass-2下，分类特征集的特征所包括的用于分类的所述至少一种描述性特征的总维度优选高于相似度计算特征集所包括的所述至少一种描述性特征的总维度，以提高相似度计算的速度。例如Sclass＝{Fd1,Fd2,Fc1,Fc2}、Scalcu＝{Fd3,Fd2}，优选Fd3和Fd2的维度和小于Fd1和Fd2的维度和。

从上述描述可以看出，对各种聚类型特征的描述标识全部为预定标识的特征点(即空间区域的索引均为0的特征点)或不在匹配度最好的空间区域对内的特征点，在计算I₁和I₂之间的相似度时，其对第一图像和所述第二图像之间的相似度的贡献为零。

<情况Sclass-3下的分类方式及相似度计算>

在情况Sclass-3下，确定每个特征点的特征点分类包括：确定所述分类特征集的用于分类的所述至少一种描述性特征的聚类中心空间中的每个特征点所属的聚类中心空间点。每个特征点分类由该特征点所属的聚类中心空间点来表示。通过以下方式聚类中心空间点：如果在特征聚类中心空间中该特征点的各特征向量和该聚类中心空间点的各对应的特征的聚类中心描述向量距离均最小，则该特征点属于与该聚类中心空间点所表示的特征点分类；其中，由分类特征集的所有描述性特征构成聚类中心空间。例如，分类特征集由2个描述性特征Fd1、Fd2构成，则特征点p的特征点分类可表示为特征点p所属的聚类中心空间点SPm'n'，SPm'n'表示聚类中心空间中的聚类中心空间点(u1m',u2n')，其中，u1m'、u2n'为Fd1、Fd2的聚类中心描述向量。聚类中心的确定方法同情况Sclass-2下的聚类中心确定方法。即，在在情况Sclass-3下，确定特征点分类时，有确定聚类中心的步骤。

在情况Sclass-3下，基于第一图像和第二图像的每个特征点的特征点分类，使用相似度计算特征集的所有特征计算第一图像和第二图像之间的相似度包括：针对每个聚类中心空间点，基于相似度计算特征集的特征表征的描述性特征描述子，计算第一图像和第二图像之间的该聚类中心空间点的相似度；并且对每个聚类中心空间点的相似度加权求和，得到第一图像和第二图像之间的相似度。具体而言，例如，当分类特征集由2种描述性特征构成时，可以根据式(4)计算第一图像I₁和第二图像I₂之间的相似度s(I₁,I₂)；I₁、I₂的两个特征点之间相似度计算仍可根据式(2)进行计算；每个聚类中心空间点SPm'n'的相似度根据式(3)进行计算，但是此时p_i表示属于SPm'n'的第一图像的特征点，q_j表述属于SPm'n'的第二图像的特征点。

在情况Sclass-3下，分类特征集的特征所包括的用于分类的所述至少一种描述性特征的总维度优选高于相似度计算特征集所包括的所述至少一种描述性特征的总维度，以提高相似度计算的速度。例如，若分类特征集由Fd1、Fd2构成，Fd1和Fd2的总维度为Nclass(例如，Nclass＝5)，相似度计算特征集由Fd1、Fd3构成，Fd1和Fd3的总维度为Ncalcu(例如，Ncalcu＝3)，则优选Ncalcu<Nclass。

图3是根据本发明的公开内容的示例性另一实施方式的处理图像的方法300的流程图。相对于方法100，方法300没有对输入图像和选定图像进行选定的步骤，直接将输入图像和选定图像分别当作第一图像和第二图像进行提取每个特征点的特征描述子的步骤305、确定每个特征点的特征点分类的步骤307以及基于分类确定相似度309的步骤。其中，步骤303至309的具体执行方式可参考图1中的步骤103至109。

当输入图像和选定图像已经具有相同尺寸和分辨率时，可以选用方法300处理图像。如果输入图像和选定图像已经是文档区域占主体，且尺寸、分辨率相同，可以选用方法300处理图像。

在一个实施方式中，本公开内容提供了一种图像检索方法。该图像检索方法使用前述处理图像的方法100或方法300，来以输入图像作为查询图，从图像数据库中检索出和查询图相似的图像。查询图可以是包含文字和/或表格图像区域的文档图像，图像数据库中含有文档图像。图4是根据本发明的公开内容的示例性实施方式的文档图像示意图。图像411为作为输入图像的文档图像。图像数据库420中含有多个图像，如文档图像421、422、423。注意：各文档图像的中央区域即为文档区域，各文档图像的边缘灰色区域即为背景区域。在以文档图像411为查询图I_Q对图像数据库420(图像数据库420中有N个图像(I_D1、I_D2、……、I_DN，其中包括图像421、422和423))进行检索时，可以以下方式进行：输入图像411作为查询图I_Q；对这N+1个图像进行前述预处理、定位、提取特征描述子、确定特征点分类；基于特征点分类确定预处理后的图像I’_Q和各预处理后的每个数据库图像I’_Di之间的相似度s_QDi；将s_QDi作为I_Q和各数据库图像I_Di之间的相似度；根据预定相似度阈值S_TH输出多个满足预定相似度要求的数据库图像，例如，将和I_Q的相似度大于S_TH的数据库图像按相似度从大到小顺序输出。例如，对图4所示的文档图像，输出和查询图411相似的文档图像421和422，由于图像423和查询图411的相似度小于S_TH，图像423未被输出。

下面，将描述根据前述处理图像的方法设计的处理图像的装置。

图5是根据本发明的公开内容的示例性实施方式的处理图像的装置500的示意性框图，其可以用于执行图1中的处理图像的方法100。处理图像的装置500可以包括：预处理模块501、定位模块503、特征描述子提取模块505、聚类模块507、分类模块509、相似度计算模块511。图5中不同模块之间的连线表示连线两端的模块间有数据传输。预处理模块501被配置为对图像(例如，输入图像和图像数据库中的选定图像)进行预处理，以获得第一图像和第二图像，其中第一图像和第二图像具有相同尺寸和分辨率。预处理模块501可以通过边缘提取、图像二值化和检测凸多边形来分别从输入图像和选定图像获得第一图像和第二图像。定位模块503对预处理后的图像(即第一图像和第二图像)的特征点进行定位。特征描述子提取模块505利用各特征点的定位信息提取预处理后的图像的每个特征点的特征描述子，其中，特征描述子的构成与前述处理图像的方法100中特征描述子的构成相同。分类特征集、相似度计算特征集的构成和前面处理图像的方法100中描述的内容相同。聚类模块507被配置为对所有图像数据库中的图像的分类特征集的特征中的各描述性特征的特征向量聚类，得到各描述性特征的多个聚类中心。分类模块509被配置为根据分类特征集的所有特征，确定图像的每个特征点的特征点分类。具体分类方式和前面处理图像的方法100中描述的方式相同。相似度计算模块511被配置为基于预处理后的查询图和预处理后的图像数据库中的选定图像的每个特征点的特征点分类，使用相似度计算特征集的所有特征计算预处理后的查询图和预处理后的图像数据库中的选定图像之间的相似度。具体相似度计算方式和前面处理图像的方法100中描述的方式相同。相似度计算模块511计算得到的前述相似度可以看作查询图和图像数据库中的选定图像之间的相似度。处理图像的装置500可以使用输入图像作为查询图，从图像数据库中检索出和查询图相似的图像。在使用处理图像的装置500检索图像时，预处理模块501进一步被配置为预处理图像数据库中的除选定图像外的剩余图像获得预处理后剩余图像；定位模块503进一步被配置为定位预处理后剩余图像的特征点；特征描述子提取模块505进一步被配置为提取预处理后剩余图像的每个特征点的特征描述子，并且每个特征点的描述子也包括所述至少2种特征。

需要注意的是：聚类模块507是一个选择性模块。在选择分类特征集为Scalss-1的情况下，由于特征点分类和相似度计算都不涉及聚类中心，所以处理图像的装置500可以没有聚类模块507。在选择分类特征集为Scalss-2或Scalss-3的情况下，由于分类和相似度计算都涉及聚类中心，所有处理图像的装置500包括聚类模块507。

图6是根据本发明的公开内容的示例性实施方式的另一处理图像的装置500的示意性框图，其可以用于执行图3中的处理图像的方法300。相对于图5中的装置500，装置600没有预处理模块，直接将输入图像和选定图像分别当作第一图像和第二图像。其中，图6中的模块603-611的配置可参考图5中的模块503-511的配置。

需要注意的是：聚类模块607是一个选择性模块。在选择分类特征集为Scalss-1的情况下，由于特征点分类和相似度计算都不涉及聚类中心，所以处理图像的装置600可以没有聚类模块607。在选择分类特征集为Scalss-2或Scalss-3的情况下，由于分类和相似度计算都涉及聚类中心，所有处理图像的装置600包括聚类模块607。

处理图像的装置500或600可以当作一种图像检索装置使用，从而以输入图像作为查询图，从图像数据库中检索出和查询图相似的图像。

图7是根据本发明的公开内容的示例性实施方式的处理图像的再一处理图像的装置700的示意性结构框图。装置700可以执行图1中的方法100以及图3中的方法300。在图7中，中央处理单元(CPU)701根据存储在只读存储器(ROM)702中的程序或从存储部分708加载到随机存取存储器(RAM)703的程序来进行各种处理。在RAM 703中，也根据需要来存储在CPU 701执行各种处理时所需的数据等。

CPU 701、ROM 702以及RAM 703经由总线704彼此连接。输入/输出接口705也连接至总线704。

下述部件连接至输入/输出接口707：包括键盘、鼠标等的输入部分706；包括显示器如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括网络接口卡如LAN卡、调制解调器等的通信部分709。通信部分709经由网络如因特网执行通信处理。

驱动器710根据需要也连接至输入/输出接口705。可拆卸介质711如磁盘、光盘、磁-光盘、半导体存储器等根据需要安装在驱动器710上，使得从其中读取的计算机程序根据需要被安装到存储部分708。

在通过软件来实现上述预处理(可选步骤)、定位特征点、提取特征描述子、确定特征点分类、确定相似度、确定聚类中心(可选步骤)的情况下，构成该软件的程序从网络如因特网或存储介质如可拆卸介质711被安装到装置700。查询图可以通过输入/输出接口705输入到装置700。CPU701执行该程序以确定输入图像和选定图像之间的相似度，并输出相似度。

处理图像的装置700可以当作一种图像检索装置使用，从而以输入图像作为查询图，从图像数据库中检索出和查询图相似的图像。处理图像的装置700可以是一种信息处理设备。

在一个实施方式中，本公开内容还提供一种程序产品。程序产品包括机器可执行的指令，当在信息处理设备上执行指令时，指令使得信息处理设备执行前述处理图像的方法或图像检索方法。

在一个实施方式中，本公开内容还提供一种存储介质。存储介质中存储有信息处理设备可读的程序代码，当在信息处理设备上执行程序代码时，程序代码使得信息处理设备执行上述处理图像的方法或图像检索方法。存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等。

需要注意的是：本公开内容的处理图像的方法、处理图像的装置、图像检索方法和图像检索装置所处理的对象不限于文档图像。

前述实施方式的有益效果在于：在提取特征描述子时，选择多种特征，从而在将这些实施方式用于处理图像、检索图像时，能够获得快速、准确的技术效果，当分类特征集的特征和相似度计算特征集的特征不同时，上述效果将更加明显。

以上结合具体的实施方式对本发明进行了描述，但本领域技术人员应该清楚，这些描述都是示例性的，并不是对本发明保护范围的限制。本领域技术人员可以根据本发明的精神和原理对本发明做出各种变型和修改，这些变型和修改也在本发明的范围内。

附记

1.一种处理图像的装置，包括：

定位模块，其被配置为定位第一图像和第二图像的特征点；

特征描述子提取模块，其被配置为提取表征所述第一图像和所述第二图像的每个特征点的特征描述子，其中，每个特征点由至少两种特征来表征，所述至少两种特征由分类特征集的特征和相似度计算特征集的特征构成，所述分类特征集由用于分类的至少一种特征构成，所述相似度计算特征集由用于相似度计算的至少一种描述性特征构成，所述描述性特征用特征向量表征；

分类模块，其被配置为根据所述分类特征集的所有特征，确定所述第一图像和所述第二图像的每个特征点的特征点分类；以及

相似度计算模块，其被配置为基于所述第一图像和所述第二图像的每个特征点的特征点分类，使用所述相似度计算特征集的所有特征计算所述第一图像和所述第二图像之间的相似度。

2.根据附记1所述的装置，其中，所述分类特征集由指示所述特征点所属的空间区域的至少一种聚类型特征构成。

3.根据附记1所述的装置，其中，所述分类特征集由指示所述特征点所属的空间区域的至少一种聚类型特征和至少一种描述性特征构成。

4.根据附记1所述的装置，其中，所述分类特征集的特征由描述性特征构成。

5.根据附记2所述的装置，其中，所述分类模块进一步被配置为：确定每个特征点的每种聚类型特征的描述标识，该特征点的该种聚类型特征的描述标识指示该特征点所属的该种聚类型特征的空间区域情况。

6.根据附记3所述的装置，其中，所述分类模块进一步被配置为：确定每个特征点的每种聚类型特征的描述标识，该特征点的该种聚类型特征的描述标识指示该特征点所属的该种聚类型特征的空间区域情况；确定所述分类特征集的用于分类的所述至少一种描述性特征的聚类中心空间中的每个特征点的所属的聚类中心空间点。

7.根据附记4所述的装置，其中，所述分类模块进一步被配置为：确定所述分类特征集的用于分类的所述至少一种描述性特征的聚类中心空间中的每个特征点所属的聚类中心空间点。

8.根据附记5所述的装置，其中，所述相似度计算模块进一步被配置为：

在所有从所述聚类型特征中取至少一种聚类型特征的组合方式中，确定出每种组合方式所确定的空间区域类的空间区域中所述第一图像和所述第二图像之间匹配度最好的空间区域对；基于所述相似度计算特征集的特征表征的描述性特征描述子，计算各匹配度最好的空间区域对的相似度，并且将各匹配度最好的空间区域对的相似度加权求和，作为所述第一图像和所述第二图像之间的相似度。

9.根据附记6所述的装置，其中，所述相似度计算模块进一步被配置为：针对每个聚类中心空间点，确定所有特征点分类中属于该聚类中心空间点的所述第一图像和所述第二图像之间的匹配度最好的空间区域对，基于所述相似度计算特征集的特征表征的描述性特征描述子，计算各匹配度最好的空间区域对的相似度，将各匹配度最好的空间区域对的相似度加权求和，作为所述第一图像和所述第二图像之间的该聚类中心空间点的相似度；对每个聚类中心空间点的相似度加权求和，得到所述第一图像和所述第二图像之间的相似度。

10.根据附记7所述的装置，其中，所述相似度计算模块进一步被配置为：针对每个聚类中心空间点，基于所述相似度计算特征集的特征表征的描述性特征描述子，计算所述第一图像和所述第二图像之间的该聚类中心空间点的相似度；并且对每个聚类中心空间点的相似度加权求和，得到所述第一图像和所述第二图像之间的相似度。

11.一种处理图像的方法，包括：

定位第一图像和第二图像的特征点；

提取表征所述第一图像和所述第二图像的每个特征点的特征描述子，其中，每个特征点由至少两种特征来表征，所述至少两种特征由分类特征集的特征和相似度计算特征集的特征构成，所述分类特征集由用于分类的至少一种特征构成，所述相似度计算特征集由用于相似度计算的至少一种描述性特征构成，所述描述性特征用特征向量表征；

根据所述分类特征集的所有特征，确定所述第一图像和所述第二图像的每个特征点的特征点分类；以及

基于所述第一图像和所述第二图像的每个特征点的特征点分类，使用所述相似度计算特征集的所有特征计算所述第一图像和所述第二图像之间的相似度。

12.根据附记11所述的方法，其中，所述分类特征集由指示所述特征点所属的空间区域的至少一种聚类型特征构成。

13.根据附记11所述的方法，其中，所述分类特征集由指示所述特征点所属的空间区域的至少一种聚类型特征和至少一种描述性特征构成。

14.根据附记11所述的方法，其中，所述分类特征集的特征由描述性特征构成。

15.根据附记12所述的方法，其中，确定每个特征点的特征点分类包括：确定每个特征点的每种聚类型特征的描述标识，该特征点的该种聚类型特征的描述标识指示该特征点所属的该种聚类型特征的空间区域情况。

16.根据附记13所述的方法，其中，确定每个特征点的特征点分类包括：确定每个特征点的每种聚类型特征的描述标识，该特征点的该种聚类型特征的描述标识指示该特征点所属的该种聚类型特征的空间区域情况；以及确定所述分类特征集的用于分类的所述至少一种描述性特征的聚类中心空间中的每个特征点的所属的聚类中心空间点。

17.根据附记14所述的方法，其中，确定每个特征点的特征点分类包括：确定所述分类特征集的用于分类的所述至少一种描述性特征的聚类中心空间中的每个特征点所属的聚类中心空间点。

18.根据附记15所述的方法，其中，计算所述第一图像和所述第二图像之间的相似度包括：在所有从所述聚类型特征中取至少一种聚类型特征的组合方式中，确定出每种组合方式所确定的空间区域类的空间区域中所述第一图像和所述第二图像之间匹配度最好的空间区域对；基于所述相似度计算特征集的特征表征的描述性特征描述子，计算各匹配度最好的空间区域对的相似度，并且将各匹配度最好的空间区域对的相似度加权求和，作为所述第一图像和所述第二图像之间的相似度。

19.根据附记16所述的方法，其中，计算所述第一图像和所述第二图像之间的相似度包括：针对每个聚类中心空间点，确定所有特征点分类中属于该聚类中心空间点的所述第一图像和所述第二图像之间的匹配度最好的空间区域对，基于所述相似度计算特征集的特征表征的描述性特征描述子，计算各匹配度最好的空间区域对的相似度，将各匹配度最好的空间区域对的相似度加权求和，作为所述第一图像和所述第二图像之间的该聚类中心空间点的相似度；对每个聚类中心空间点的相似度加权求和，得到所述第一图像和所述第二图像之间的相似度。

20.根据附记17所述的方法，其中，计算所述第一图像和所述第二图像之间的相似度包括：针对每个聚类中心空间点，基于所述相似度计算特征集的特征表征的描述性特征描述子，计算所述第一图像和所述第二图像之间的该聚类中心空间点的相似度；并且对每个聚类中心空间点的相似度加权求和，得到所述第一图像和所述第二图像之间的相似度。

Claims (10)

1.一种处理图像的装置，包括：

定位模块，其被配置为定位第一图像和第二图像的特征点；

特征描述子提取模块，其被配置为提取表征所述第一图像和所述第二图像的每个特征点的特征描述子，其中，每个特征点由至少两种特征来表征，所述至少两种特征由分类特征集的特征和相似度计算特征集的特征构成，所述分类特征集由用于分类的至少一种特征构成，所述相似度计算特征集由用于相似度计算的至少一种描述性特征构成，所述描述性特征用特征向量表征；

分类模块，其被配置为根据所述分类特征集的所有特征，确定所述第一图像和所述第二图像的每个特征点的特征点分类；以及

相似度计算模块，其被配置为基于所述第一图像和所述第二图像的每个特征点的特征点分类，使用所述相似度计算特征集的所有特征计算所述第一图像和所述第二图像之间的相似度。

2.根据权利要求1所述的装置，其中，所述分类特征集由指示所述特征点所属的空间区域的至少一种聚类型特征构成。

3.根据权利要求1所述的装置，其中，所述分类特征集由指示所述特征点所属的空间区域的至少一种聚类型特征和至少一种描述性特征构成。

4.根据权利要求1所述的装置，其中，所述分类特征集的特征由描述性特征构成。

5.根据权利要求2所述的装置，其中，所述分类模块被进一步配置为：确定每个特征点的每种聚类型特征的描述标识，该特征点的该种聚类型特征的描述标识指示该特征点所属的该种聚类型特征的空间区域情况。

6.根据权利要求3所述的装置，其中，所述分类模块被进一步配置为：确定每个特征点的每种聚类型特征的描述标识，该特征点的该种聚类型特征的描述标识指示该特征点所属的该种聚类型特征的空间区域情况；以及确定所述分类特征集的用于分类的所述至少一种描述性特征的聚类中心空间中的每个特征点所属的聚类中心空间点。

7.根据权利要求4所述的装置，其中，所述分类模块进一步被配置为：确定所述分类特征集的用于分类的所述至少一种描述性特征的聚类中心空间中的每个特征点所属的聚类中心空间点。

8.根据权利要求5所述的装置，其中，所述相似度计算模块进一步被配置为：在所有从所述聚类型特征中取至少一种聚类型特征的组合方式中，确定出属于每种组合方式所确定的空间区域类的空间区域中所述第一图像和所述第二图像之间匹配度最好的空间区域对；基于所述相似度计算特征集的特征表征的描述性特征描述子，计算各匹配度最好的空间区域对的相似度，并且将各匹配度最好的空间区域对的相似度加权求和，作为所述第一图像和所述第二图像之间的相似度。

9.根据权利要求6所述的装置，其中，所述相似度计算模块进一步被配置为：针对每个聚类中心空间点，首先确定所有特征点分类中属于该聚类中心空间点的所述第一图像和所述第二图像之间的匹配度最好的空间区域对，然后基于所述相似度计算特征集的特征表征的描述性特征描述子，计算各匹配度最好的空间区域对的相似度，并且将各匹配度最好的空间区域对的相似度加权求和，作为所述第一图像和所述第二图像之间的该聚类中心空间点的相似度；并且对每个聚类中心空间点的相似度加权求和，得到所述第一图像和所述第二图像之间的相似度。

10.一种处理图像的方法，包括：

定位第一图像和第二图像的特征点；

提取表征所述第一图像和所述第二图像的每个特征点的特征描述子，其中，每个特征点由至少两种特征来表征，所述至少两种特征由分类特征集的特征和相似度计算特征集的特征构成，所述分类特征集由用于分类的至少一种特征构成，所述相似度计算特征集由用于相似度计算的至少一种描述性特征构成，所述描述性特征用特征向量表征；

根据所述分类特征集的所有特征，确定所述第一图像和所述第二图像的每个特征点的特征点分类；以及

基于所述第一图像和所述第二图像的每个特征点的特征点分类，使用所述相似度计算特征集的所有特征计算所述第一图像和所述第二图像之间的相似度。

Images