CN106844381A - 图像处理装置及方法 - Google Patents

Abstract

提供了一种图像处理装置及方法。图像处理装置包括：提取单元，提取未分组图像的、表征未分组图像的局部特征的特征点；特征点匹配单元，将输入的未分组图像的特征点与其他未分组图像的特征点匹配，并且基于匹配的特征点的数量，确定其他未分组图像中与输入未分组图像相匹配的图像，作为匹配图像集合；分组生成单元，在输入的未分组图像与其他未分组图像匹配的数量大于等于第一预定数量，并且匹配的特征点中的分组特征点的数量大于等于阈值数量的情况下，基于匹配图像集合来生成新的图像分组，其中分组特征点是位于图像标识区域的特征点。根据本发明实施例的方法和装置，可以自动、准确地对图像进行分组。

Description

图像处理装置及方法

技术领域

本发明涉及一种图像处理装置及方法，更具体地，涉及一种用于自动地对图像进行分组的装置和方法。

背景技术

随着智能移动终端的普及，用户越来越习惯于借助于移动终端的拍照来记录各种信息。例如，通过拍摄诸如报纸、期刊、水费单以及电费单等来进行信息记录，并且用户可以在之后通过检索这些图像来获得所需的信息。这种方式对用户来说十分方便。

通过对记录有各种信息的图像进行分组，可以大幅提高用户通过检索图像获取所需的信息的效率。然而，与文字信息相比，图像信息对于计算机来说是非常难以自动处理归类的。

发明内容

在鉴于现有技术的上述状况，本发明的目的之一在于提供一种图像装置及方法以解决现有技术中的问题。

根据本发明的一方面，提供了一种图像处理装置，包括：提取单元，被配置成提取未分组图像的、表征未分组图像的局部特征的特征点；特征点匹配单元，被配置成将输入的未分组图像的特征点与其他未分组图像的特征点匹配，并且基于匹配的特征点的数量，确定所述其他未分组图像中与所述输入未分组图像相匹配的图像，作为匹配图像集合；以及分组生成单元，被配置成在所述输入的未分组图像与所述其他未分组图像匹配的数量大于等于第一预定数量，并且匹配的特征点中的分组特征点的数量大于等于阈值数量的情况下，基于所述匹配图像集合来生成新的图像分组，其中分组特征点是位于所述图像的标识区域的特征点。

根据本发明的另一方面，还提供了一种图像处理方法，包括：提取未分组图像的、表征未分组图像的局部特征的特征点；将输入的未分组图像的特征点与其他未分组图像的特征点匹配，并且基于匹配的特征点的数量，确定所述其他未分组图像中与所述输入未分组图像相匹配的图像，作为匹配图像集合；以及在所述输入的未分组图像与所述其他未分组图像匹配的数量大于等于第一预定数量，并且匹配的特征点中的分组特征点的数量大于等于阈值数量的情况下，基于所述匹配图像集合来生成新的图像分组，其中分组特征点是位于所述图像的标识区域的特征点。

根据本发明的其他方面，本发明的实施例还提供了计算机可读介质形式的计算机程序产品，其上记录有用于实现上述方法的计算机程序代码。

根据本发明实施例的方法和装置，可以基于输入的未分组图像的标识区域与数据库中的未分组图像以及/或者已有图像分组的标识区域的匹配程度，自动、准确地对图像进行分组。

通过以下结合附图对本发明的最佳实施例的详细说明，本发明的这些以及其他优点将更加明显。

附图说明

本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件，其中

图1是根据本发明一个实施例的图像处理装置10的结构框图；

图2是根据本发明另一实施例的图像处理装置20的结构框图；

图3是根据本发明又一实施例的图像处理装置30的结构框图；

图4A至图4D是根据本发明又一实施例的图像处理装置30对输入的未分组图像进行分组操作的示意图；

图5A是根据本发明一个实施例的特征点匹配单元54的结构框图；

图5B是根据本发明一个实施的分组匹配单元53的结构框图；

图6是根据本发明一个实施例的进行特征点匹配/分组匹配的示意图；

图7是根据本发明一个实施例的图像处理方法70的流程图；以及

图8是其中可以实现根据本发明的实施例的方法和/或装置的通用个人计算机的示例性结构的框图。

具体实施方式

下面参照附图来说明本发明的实施例。在本发明的一个附图或一种实施例中描述的元素和特征可以与一个或更多个其他附图或实施例中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。

本领域技术人员可以理解，本发明中的“第一”、“第二”等术语仅用于区别不同单元、模块或步骤等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序，也不体现其所限定的不同单元、模块或步骤的重要性程度。

在各实施例中，仅着重描述那些与其他实施例不同的特征，而省略了与其他实施例相同或相近的特征。

本发明的发明人发现，通过对所获取的未分组图像的标识区域进行匹配，可以自动地对图像进行分组。

对于诸如报纸、期刊、水费单、电费单等文档图像来说，这类图像通常都在文档中相同或者类似位置具有相同或者非常相似的部分，例如，报纸的标题，各种单据的标题等。这种相似例如可以是布局上的相似，也可以是内容上的相似，例如，对于报纸“人民日报”来说，其都在页面上方相同的区域具有相同的标题“人民日报”。在下文中，将这些相同或者相似的部分称为标识区域。本发明可以通过对图像标识区域的匹配来对不同的图像进行分组。

图1是根据本发明一个实施例的图像处理装置10的结构框图。如图1所示，图像处理装置10，包括：提取单元12，被配置成提取未分组图像的、表征未分组图像的局部特征的特征点；特征点匹配单元14，被配置成将输入的未分组图像的特征点与其他未分组图像的特征点匹配，并且基于匹配的特征点的数量，确定所述其他未分组图像中与所述输入未分组图像相匹配的图像，作为匹配图像集合；以及分组生成单元16，被配置成在所述输入的未分组图像与所述其他未分组图像匹配的数量大于等于第一预定数量，并且匹配的特征点中的分组特征点的数量大于等于阈值数量的情况下，基于所述匹配图像集合来生成新的图像分组，其中分组特征点是位于所述图像的标识区域的特征点。

提取单元12可以从未分组图像中提取表征该未分组图像的局部特征的特征点。可以使用多种方法提取图像的特征点，诸如基于SIFT、SURF和BRISK等。提取特征点的算法是已知技术，故在此不再赘述。

在提取单元12对未分组图像进行特征点提取之后，未分组图像实际上可以被看作是特征点的集合。

特征点匹配单元14用于判定输入的未分组图像与其他未分组图像是否匹配。特征点匹配单元14可以基于来自不同图像的特征点的相似度来确定图像是否匹配，因此，未分组图像之间的匹配实际上是通过比较来自不同图像的特征点之间的相似度而实现的。

通常，每个特征点都包含在图像上的位置和特征描述向量这两个属性。因此，特征点之间的相似度的判定包括特征点位置的相似度判定以及特征点特征描述向量的相似度判定。当两幅图之间匹配的特征点大于等于预定数量时，则可以认为这两幅图像是相匹配的。本文中所使用的判定特征点相似度的算法将在下文做进一步描述。

在数据库中，针对一幅输入的未分组图像，特征点匹配单元14可以将该未分组图像与数据库中的其他未分组图像进行匹配判定，在该未分组图像与数据库中的所有未分组图像都进行了匹配判定之后，可以获取与该未分组图像匹配的所有图像的集合，即生成一个匹配图像集合。

假设针对一幅未分组图像，特征点匹配单元14共在数据库中发现n(n为自然数)幅图像与该未分组图像匹配成功，分别为M₁，M₂，…，M_n。通常，在生成新的图像分组的过程中，如果相匹配的图像大于等于预定数量T(T为自然数)时，例如，T≥2时，则这些相匹配的图像很有可能属于同一分组。换言之，如果要生成新的图像分组，匹配图像集合中匹配的图像的数量n需要大于等于数量T，即n≥T。而如果匹配图像集合中匹配的图像小于预定数量，例如，仅与数据库中的一幅图像匹配，则无法生成新的图像分组。在这种情况下，输入的未分组图像将作为未分组图像保存在数据库中。

如上所述，属于一个图像分组的不同图像之间通常都存在共同的相似部分，即标识区域，例如，报刊的标题，各种单据的标题等。然而，对于诸如报刊、单据等的文档图像来说，这类图像中除标识区域之外的其他区域中相似的特征也较多。在这种情况下，即使图像之间匹配成功，它们也可能属于不同的分组。例如，有可能出现如下情形：两幅图像尽管在标识区域匹配的特征点较少，然而由于在其他区域中匹配的特征点较多，两幅图像仍被认定是相匹配的图像，但实际上它们并不属于一个图像分组。在这种情况下，如果仅以匹配的图像的数量作为是否生成新的图像分组的条件，则有可能出现错误。

由于同一分组的图像通常都具有基本上相同的标识区域，因此理论上，针对匹配图像集合中的图像，这些图像的标识区域中应存在较多匹配的特征点。在本实施例中，分组特征点被定义为在多幅匹配的图像中重复出现次数大于等于预定次数的匹配的特征点，即可以认为这样的分组特征点位于匹配的图像的标识区域。因此，为了避免上述错误的生成分组的情况发生，可以根据多幅图像的标识区域中重复存在的匹配的特征点的数量来判断匹配的图像是否属于同一图像分组。当图像的标识区域的匹配程度较高时，即在多幅匹配的图像的标识区域中重复存在的匹配的特征点较多时，这些匹配的图像很可能属于同一图像分组。

在本实施例中，分组生成单元16不仅需要判断在匹配图像集合中匹配的图像是否大于等于预定数量T，还需要在匹配的图像大于等于预定数量T的情况下，判断这些匹配的图像中重复存在的匹配的分组特征点的数量是否大于等于阈值。

在一个可能的示例中，分组生成单元16例如可以将在匹配的图像中重复出现大于等于预定次数的特征点确定为分组特征点，并且在这样的分组特征点的数量大于等于阈值数量的情况下，基于匹配图像集合中包含这些分组特征点的图像来生成新的图像分组。

根据上述本发明实施例的图像处理装置10，可以基于输入的未分组图像的标识区域与数据库中其他未分组图像的标识区域的匹配程度，自动地对图像进行分组。

图2是根据本发明另一实施例的图像处理装置20的结构框图。在下文中，将参考图2详细地说明根据本发明另一实施例的图像处理装置20。

在本实施例中，可以按照参照图1的实施例所描述的方式构建提取单元22、特征点匹配单元24。

图像处理装置20还包括候选分组特征点确定单元25。候选分组特征点确定单元25被配置成：针对未分组图像的特征点中的任何一个，当在匹配图像集合中，包含与该特征点匹配的特征点的图像的数量大于等于第一预定数量时，确定该特征点为候选分组特征点。

在本实施例中，为了判断这些匹配的图像中匹配的分组特征点的数量是否大于等于阈值数量，首先需要确定在匹配的特征点中确定候选分组特征点。

具体地，针对未分组图像的某一个特征点K，其来自匹配图像集合中的图像M₁，M₂，…，M_n的匹配的特征点为k₁，k₂，…，k_n。当然，对于特征点K来说，在某幅匹配的图像中匹配特征点可能不存在。所以，针对特征点K，可以用一个图像序号的集合s＝(1，2，…，n，n为自然数)来表示其在匹配图像集合中的各图像中是否存在。在集合s中每个元素代表了一个匹配的特征点来自的图像的序号，即如果该特征点K分别在图像M₁，M₂，M₃，M_n-1，M_n中存在，则集合s为(M₁，M₂，M₃，M_n-1，M_n)。假设m是集合s中元素的个数(其他图像中与特征点K匹配的特征点的个数)，则如果m≥T，那么特征点K就将作为一个候选分组特征点。也就是说，针对某一个特征点K，如果其在匹配图像集合中的图像中出现次数大于等于第一预定数量，则认为特征点K有可能是分组特征点，即候选分组特征点。换言之，假设针对匹配的特征点K₁，如果其在匹配图像集合中的每个图像或绝大部分图像中均存在，则候选分组特征点确定单元25可以判定特征点K₁是候选分组特征点；相反，假设针对匹配的特征点K₂，如果其仅在少数图像中存在，则候选分组特征点确定单元25可以判定特征点K₂不属于候选分组特征点，也即，特征点K₂属于偶然匹配的情形。

分组生成单元26被配置成当至少第一预定数量的候选分组特征点与匹配图像集合中大于等于阈值数量的其他未分组图像的相应的特征点匹配时，确定匹配的特征点中的分组特征点的数量大于等于阈值数量。

在候选分组特征点确定单元25确定了候选分组特征点的情况下，分组生成单元26基于这些候选分组特征点确定是否生成新的图像分组。

假设，针对输入的未分组图像，共存在l个匹配的特征点，分别为K₁，K₂，…，K_l。对应的图像序号集合为S₁，S₂，…，S_l。假设匹配图像集合中的图像的数量n大于T(即满足如上所述的生成图像分组的匹配图像数量的条件)，因此，除输入的未分组图像之外，如果可以从匹配的图像集中挑选出T幅图像满足生成新的图像分组的条件，即可生成新的图像分组。也就是说，可以有种不同的可能来构建新的图像分组，这些不同的组合同样可以被当作图像序号集合。

针对某一个组合S，可以计算这个组合拥有上述候选分组特征点的数量。在本实施例中，如果某个候选分组特征点的图像序号集合包含图像组合S，则认为该图像组合S拥有这个候选分组特征点。于是，可以通过下面的公式(1)来计算图像组合S拥有的候选分组特征点数量h：

针对每一个这样的图像组合，都可以计算相应的h。假设h_max是拥有最多候选分组特征点的图像组合S_max所拥有的候选分组特征点的数量，则分组生成单元26可以使用阈值H来决定是否生成新的分组。如果h_max>H，则确定分组特征点的数量大于等于阈值数量，并且分组生成单元26基于拥有最多候选分组特征点的图像组合S_max生成新的图像分组；否则，不生成新的图像分组，此时，输入的未分组图像作为一个未分组图像被存储在数据库中。

在本实施例中，在一定数量的相同的候选分组特征点存在于匹配图像集合中的较多的图像的情况下，可以确定分组特征点的数量满足阈值条件。

根据上述本发明的另一实施例的图像处理装置20，基于重复出现次数最多的分组特征点的集合中的分组特征点的数量是否大于等于阈值数量，来确定是否生成新的图像分组，从而提高自动分组的准确度。

在一个可能的实施例中，在分组生成单元26生成了新的图像分组的情况下，可以获取新的图像分组的生成分组特征点，以便作为新的图像分组的分组特征。

由于新生成的图像分组中的图像存在共同的分组特征点，因此可以获取与每个分组特征点相对应的生成分组特征点以表征新的图像分组的图像的分组特征。在数据库中已有的图像分组的情况下，输入的未分组图像可以与已有的图像分组的生成分组特征点进行匹配以确定输入的未分组图像是否属于存在的图像分组。

在本实施例中，图像处理装置还包括生成分组特征点获取单元27，如图2中的虚框所示。在分组生成单元26生成了新的图像分组的情况下，生成分组特征点获取单元27可以获取新的图像分组的生成分组特征点。

在一个可能的示例中，生成分组特征点获取单元27可以通过中值计算或者取中位数的方式来获取所生成的新的图像分组的生成分组特征点。

可以在每次有图像被加入到已有的图像分组之后更新图像分组的生成分组特征点，也可以在预定数量的图像(例如，5幅)加入到已有的图像分组之后更新图像分组的生成分组特征点。

以上结合图1至图2描述了根据本发明实施例的图像处理装置10、20在生成新的图像分组时的操作，然而，如果数据库中存在已有的图像分组的情况下，通常可以先将输入的未分组图像与数据库中的已有的图像分组进行匹配，以确定输入的未分组图像是否属于已有的图像分组。

图3是根据本发明又一实施例的图像处理装置30的结构框图，图4是根据本发明又一实施例的图像处理装置30对输入的未分组图像进行分组操作的示意图。下面将结合图3和图4详细地描述根据本发明实施例的图像处理装置30。

在本实施例中，可以按参照图1和图2的实施例中所描述的方式配置提取单元32、特征点匹配单元34、分组生成单元36/候选分组特征点确定单元35和分组生成单元36以及生成分组特征点获取单元37，在此不再赘述。

如图3所示，图像处理装置30还包括分组匹配单元33，被配置成基于未分组图像的特征点与已有的图像分组的生成分组特征点匹配的程度，判定未分组图像是否属于已有的图像分组。

如上所述，图像分组的生成分组特征点表征了所属图像分组区别于其他图像分组的特征，分组匹配单元33可以根据的未分组图像的特征点与一个已有的图像分组的生成分组特征点的匹配程度，例如，输入的未分组图像与一个已有的图像分组的生成分组特征点匹配的数量大于等于预定数量，确定未分组图像是否属于该图像分组。

下面参照图4A至图4D来说明根据本发明又一实施例的图像处理装置30对未分组图像进行分组的操作。

如图4A所示，假设开始在数据库中存在两幅人民日报的图像以及一幅电费单的图像。在用户又输入了一幅人民日报的图像的情况下，提取单元32对输入的未分组图像以及存储在数据库中的未分组的图像进行特征提取，提取了各图像的特征点。然后，特征点匹配单元34将输入的人民日报的图像的特征点与数据库中其他未分组的图像的特征点进行匹配，假设基于匹配的特征点数量确定输入的人民日报的图像与数据库中已有的两幅人民日报的图像相匹配，于是特征点匹配单元34基于这三幅图像生成匹配图像集合。

随后，分组生成单元36判定匹配图像集合中的图像的数量是否大于等于阈值数量，并在大于等于阈值数量的情况下，进一步判定匹配的特征点中的分组特征点的数量是否大于等于阈值数量。结果，如图4A所示，分组生成单元36生成了新的图像分组人民日报(假设满足上述两个条件)。并且在生成了新的图像分组的情况下，生成分组特征点获取单元37获取该图像分组的生成分组特征点。在上述操作之后，在数据库中存在一个对应于人民日报的图像分组，以及一幅未分组的电费单图像。

在一个可能的示例中，在生成了新的图像分组的情况下，需要进行一个次级匹配过程。在次级匹配过程中进一步判定数据库中的所有未分组图像(包括匹配图像集合中的图像)是否与新的图像分组相匹配。这是由于分组生成单元36是基于包含所有分组特征点的图像或者拥有最多候选分组特征点的组合S_max的图像来生成新的分组，在这种情况下，在匹配图像集合中的其他图像也可能属于新的图像分组，例如，某一图像仅在个别分组特征点处未匹配成功。

于是，在次级匹配过程中，分组匹配单元33将图像数据库中的未分组图像与生成的图像分组的生成分组特征点进行匹配，以确定是否未分组的图像属于新生成的图像分组。并且，当其他未分组的图像被加入该新生成的图像分组时，生成分组特征点获取单元37可以通过例如中值计算或者取中位数的方式重新获取该图像分组中的所有图像的生成分组特征点。

如图4B所示，用户又输入了一幅电费单的图像，同样，提取单元32首先对该图像进行特征提取。此时，由于数据库中存在已有的图像分组，因此，分组匹配单元33将输入的未分组图像的特征点与已有的图像分组的生成分组特征点进行匹配以确定该图像是否属于已有的图像分组。由于输入的电费单与对应于人民日报的图像分组并不匹配，这时，特征点匹配单元34将输入的电费单的图像与数据库中的未分组的图像进行匹配，结果基于两幅电费单的图像生成了匹配图像集合。

分组生成单元36判定匹配图像集合中的相匹配的图像的数量小于阈值数量，结果没有生成新的图像分组。在上述操作之后，如图4B所示，在数据库中存在一个对应于人民日报的图像分组，以及二幅未分组的电费单的图像。

如图4C所示，用户又输入了一幅人民日报的图像。分组匹配单元33将输入的未分组图像的特征点与已有的图像分组的生成分组特征点进行匹配，结果确定输入的人民日报的图像对应于人民日报的图像分组。生成分组特征点获取单元37更新该图像分组的生成分组特征点。在上述操作之后，如图4C所示，在数据库中存在一个对应于人民日报的图像分组，以及二幅未分组的电费单。

如图4D所示，用户又输入了水费单的图像。由于水费单的图像不属于已有的人民日报的图像分组，也不能与数据库中两幅未分组的电费单图像生成新的图像分组。在上述操作之后，如图4D所示，在数据库中存在一个对应于人民日报的图像分组，二幅未分组的电费单图像以及一幅未分组的水费单图像。

如上所述，在用户不断输入图像的情况下，根据本实施例的图像处理装置30能够自动的生成新的图像分组，并且随着输入图像被加入到各个已有的图像分组，不断地更新各个图像分组的分组特征。

图5A是根据本发明一个实施例的特征点匹配单元54的结构框图，图5B是根据本发明一个实施的分组匹配单元53的结构框图，图6是根据本发明一个实施例的进行特征点匹配/分组匹配的示意图。在下文中，将参照图5A、5B和图6来详细地描述本发明一个实施例的特征点匹配单元54以及分组匹配单元53。

特征点匹配单元54包括第一搜索模块541和第一相似度计算模块542。第一搜索模块541被配置成在其他未分组图像的、与输入的未分组图像的特征点所在位置相对应的区域处搜索是否存在特征点。第一相似度计算模块542被配置成在所述相对应的区域处存在特征点的情况下，计算输入的未分组图像的特征点与其他未分组图像的所述特征点的相似度；当存在相似度大于阈值的特征点的情况下，判定输入的未分组图像的特征点与其他未分组图像的特征点匹配。

如上所述，提取的特征点包括两方面信息：特征点的位置信息和有关该特征点局部特征的特征描述向量。在本实施例中，为了对特征点进行匹配，首先需要确定待匹配图像的特征点的位置是否相近，在存在位置相近的特征点的情况下，再确定特征点的特征向量是否相似。

如图6所示，针对输入的图像中的特征点K，第一搜索模块541可以在待匹配的图像中与特征点K所在位置相对应的区域A内搜索是否存在特征点。区域A例如可以是以和输入的图像的特征点K所在位置相对应的位置为中心的矩形区域。应理解，本领域技术人员能够合理的选择区域A的形状及大小。

如果第一搜索模块541并未在区域A中搜索到特征点，则关于特征点K的匹配不成功。如果第一搜索模块541在区域A中搜索到至少一个特征点，则第一相似度计算模块542分别计算这些搜索出的特征点的特征描述向量与特征点K的特征描述向量的相似度。如果计算出的特征描述向量的相似度低于阈值，则关于特征点K的匹配不成功。如果存在与特征点K的特征描述向量相似度大于阈值的特征点K’，则判定输入的未分组图像的特征点K与其他未分组图像的特征点K’匹配。

在一个可能的示例中，可以通过计算输入未分组图像的特征描述向量与待匹配图像的特征点的特征描述向量的欧氏距离，来计算特征点的特征描述向量之间的相似度。

分组匹配单元53包括第二搜索模块531和第二相似度计算模块532。第二搜索模块531被配置成在已有分组图像的、与未分组图像的特征点所在的位置相对应的区域处搜索是否存在生成分组特征点。第二相似度计算模块532被配置成在所述相对应的区域处存在生成分组特征点的情况下，计算未分组图像的特征点与已有的图像分组的生成分组特征点的相似度；当存在相似度大于阈值的生成分组特征点情况下，判定未分组图像的特征点与已有的图像分组的生成分组特征点匹配。

类似的，分组匹配单元53可以通过计算未分组图像的特征描述向量与已有图像分组的生成分组特征点的特征描述向量的欧氏距离，来计算特征点的特征描述向量之间的相似度。

在一个可能的实施例中，图像处理装置还包括预处理单元(图中未示出)，用于进行归一化预处理。通过对图像进行预处理，可以将待匹配的图像的尺寸调整为标准值，例如，1000像素*1000像素，以便可以对不同尺寸的图像进行处理。

以上结合附图描述了根据本发明的图像处理装置的各实施例，在此过程中事实上也描述了一种图像处理方法。下面结合图7对该方法予以简要描述，其中的细节可参见前文对图像处理装置的描述。

图7示出了根据本发明的一个实施例的图像处理方法的流程图。该方法开始于步骤S71，包括如下步骤：在步骤S73，提取未分组图像的、表征未分组图像的局部特征的特征点；在步骤S75，将输入的未分组图像的特征点与其他未分组图像的特征点匹配，并且基于匹配的特征点的数量，确定所述其他未分组图像中与所述输入未分组图像相匹配的图像，作为匹配图像集合；在步骤S77，在输入的未分组图像与其他未分组图像匹配的数量大于等于第一预定数量，并且匹配的特征点中的分组特征点的数量大于等于阈值数量的情况下，基于所述匹配图像集合来生成新的图像分组，其中分组特征点是位于所述图像的标识区域的特征点。例如，可以通过结合图1描述的根据第一实施例的图像处理装置10执行的过程来实现，具体细节在此不再赘述。

在一个可能的实施例中，在步骤S77，可以在至少第一预定数量的候选分组特征点与匹配图像集合中大于等于阈值数量的其他未分组图像的相应的特征点匹配的情况下，确定至少第一预定数量的候选分组特征点为分组特征点。例如，可以通过结合图2描述的根据另一实施例的图像处理装置20执行的过程来实现，具体细节在此不再赘述。

在一个可能的实施例中，图像处理方法70还包括进行分组匹配的步骤S74。在步骤S74，可以基于未分组图像的特征点与已有的图像分组的生成分组特征点匹配的数量，判定未分组图像是否属于所述已有的图像分组。例如，可以通过结合图3描述的根据本发明又一实施例的图像处理装置30执行的过程来实现，具体细节在此不再赘述。

在一个可能的实施例中，图像处理方法70还包括：通过诸如中值计算或者取中位数等方式获取图像分组的生成分组特征点的步骤。

在获取了图像分组的生成分组特征点的情况下，可以通过将未分组的图像的特征点与已有的图像分组的生成分组特征点进行匹配来确定未分组图像是否属于已有的图像分组。

在一个可能的实施例中，在步骤S75，将输入的未分组图像与其他未分组图像匹配包括：针对输入的未分组图像的特征点中的任何一个，在其他未分组图像的、与所述输入的未分组图像的特征点所在位置相对应的区域处搜索是否存在特征点；以及，计算输入的未分组图像的特征点与其他未分组图像的特征点的相似度；并且在存在相似度大于阈值的特征点的情况下，判定输入的未分组图像的特征点与其他未分组图像的特征点匹配。例如，可以通过结合图5A描述的根据本发明一个实施例的特征点匹配单元54执行的过程来实现，具体细节在此不再赘述。

在一个可能的实施例中，在步骤S74，将未分组图像的特征点与已有的图像分组的生成分组特征点包括：针对未分组图像的特征点中的任何一个，在已有分组图像的、与未分组图像的特征点的所在位置相对应的区域处搜索是否存在生成分组特征点；以及当存在生成分组特征点时，计算未分组图像的特征点与已有的图像分组的生成分组特征点的相似度；并且在存在相似度大于阈值的生成分组特征点情况下，判定未分组图像的特征点与已有的图像分组的生成分组特征点匹配。例如，可以通过结合图5B描述的根据本发明一个实施的分组匹配单元53执行的过程来实现，具体细节在此不再赘述。

在一个可能的实施例中，图像处理方法还可以包括对图像进行归一化预处理的步骤S72，以便使进行匹配处理的图像具有预定的标准尺寸。

在本申请的装置、方法等实施例中，显然，各部件(单元、子单元、模块、子模块等)或各步骤是可以分解、组合和/或分解后重新组合的。这些分解和/或重新组合应视为本申请的等效方案。同时，在上面对本申请具体实施例的描述中，针对一种实施例描述和/或示出的特征可以以相同或类似的方式在一个或更多个其他实施例中使用，与其他实施例中的特征相组合，或替代其他实施例中的特征。

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。

因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。

在通过软件和/或固件实现本发明的实施例的情况下，从存储介质或网络向具有专用硬件结构的计算机，例如图8所示的通用计算机800安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等等。

在图8中，中央处理单元(CPU)801根据只读存储器(ROM)802中存储的程序或从存储部分808加载到随机存取存储器(RAM)803的程序执行各种处理。在RAM 803中，也根据需要存储当CPU 801执行各种处理等等时所需的数据。CPU 801、ROM 802和RAM 803经由总线804彼此链路。输入/输出接口805也链路到总线804。

下述部件链路到输入/输出接口805：输入部分806(包括键盘、鼠标等等)、输出部分807(包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分808(包括硬盘等)、通信部分809(包括网络接口卡比如LAN卡、调制解调器等)。通信部分809经由网络比如因特网执行通信处理。根据需要，驱动器810也可链路到输入/输出接口805。可拆卸介质811比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器810上，使得从中读出的计算机程序根据需要被安装到存储部分808中。

在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质811安装构成软件的程序。

据此，本发明的实施例实际上还涉及了一种信息处理设备(例如计算机)，其包括：存储器，用于存储程序指令；以及，处理器，该处理器被配置成执行所存储的指令以便可以实现如上参照图1-6描述的图像处理装置的各功能部件所具有的功能，或者执行如上参照图7描述的图像处理方法的操作步骤。

本领域的技术人员应当理解，这种存储介质不局限于图8所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质811。可拆卸介质811的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 802、存储部分808中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

本发明还提出一种存储有机器可读取的指令代码的程序产品。指令代码由机器读取并执行时，可执行上述根据本发明实施例的方法。

相应地，用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本发明的公开中。存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。

最后，还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。此外，在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

通过上述的描述，本发明的实施例提供了以下的技术方案，但不限于此。

附记1.一种图像处理装置，包括：

提取单元，被配置成提取未分组图像的、表征未分组图像的局部特征的特征点；

特征点匹配单元，被配置成将输入的未分组图像的特征点与其他未分组图像的特征点匹配，并且基于匹配的特征点的数量，确定所述其他未分组图像中与所述输入未分组图像相匹配的图像，作为匹配图像集合；以及

分组生成单元，被配置成在所述输入的未分组图像与所述其他未分组图像匹配的数量大于等于第一预定数量，并且匹配的特征点中的分组特征点的数量大于等于阈值数量的情况下，基于所述匹配图像集合来生成新的图像分组，其中分组特征点是位于所述图像的标识区域的特征点。

附记2.根据附记1所述的图像处理装置，所述图像处理装置还包括：

候选分组特征点确定单元，被配置成针对未分组图像的特征点中的任何一个，当在所述匹配图像集合中，包含与所述特征点匹配的特征点的图像的数量大于等于所述第一预定数量时，确定所述特征点为候选分组特征点；

所述分组生成单元进一步被配置成当至少所述第一预定数量的所述候选分组特征点与所述匹配图像集合中大于等于所述阈值数量的所述其他未分组图像的相应的特征点匹配时，确定匹配的特征点中的分组特征点的数量大于等于阈值数量。

附记3.根据附记1所述的图像处理装置，所述图像处理装置还包括：

生成分组特征点获取单元，被配置成获取图像分组的生成分组特征点，其中，每个生成分组特征点与每个分组特征点相对应，以表征新的图像分组的图像的共同特征。

附记4.根据附记3所述的图像处理装置，其中，所述生成分组特征点获取单元进一步被配置成通过中值计算或者取中位数的方式获取图像分组的生成分组特征点。

附记5.根据附记1所述的图像处理装置，所述图像处理装置还包括：分组匹配单元，被配置成基于未分组图像的特征点与已有的图像分组的生成分组特征点匹配的数量，判定所述未分组图像是否属于所述已有的图像分组。

附记6.根据附记1所述的图像处理装置，所述特征点匹配单元包括：

第一搜索模块，针对输入的未分组图像的特征点中的任何一个，所述第一搜索模块被配置成在所述其他未分组图像的、与所述输入的未分组图像的特征点所在位置相对应的区域处搜索是否存在特征点；以及

第一相似度计算模块，被配置成在所述相对应的区域处存在特征点的情况下，计算所述输入的未分组图像的特征点与所述其他未分组图像的所述特征点的相似度；并且在存在相似度大于阈值的特征点的情况下，判定所述输入的未分组图像的特征点与所述其他未分组图像的所述特征点匹配。

附记7.根据附记5所述的图像处理装置，其中，所述分组匹配单元包括：

第二搜索模块，针对未分组图像的特征点中的任何一个，所述第二搜索模块被配置成在已有分组图像的、与所述未分组图像的特征点的所在位置相对应的区域处搜索是否存在生成分组特征点；以及

第二相似度计算模块，被配置成在所述相对应的区域处存在生成分组特征点的情况下，计算所述未分组图像的特征点与所述已有的图像分组的所述生成分组特征点的相似度；并且在存在相似度大于阈值的生成分组特征点情况下，判定所述未分组图像的特征点与所述已有的图像分组的所述生成分组特征点匹配。

附记8.根据附记6或7所述的图像处理装置，其中，通过计算特征点的特征描述向量之间的欧氏距离来计算相似度。

附记9.根据附记1所述的图像处理装置，其中，所述图像处理装置还包括：预处理单元，用于对图像进行归一化预处理，以便使进行匹配处理的图像具有预定的标准尺寸。

附记10.一种信息处理设备，包括：

存储器，用于存储程序指令；以及

处理器，所述处理器被配置成执行所存储的指令以：

提取未分组图像的、表征未分组图像的局部特征的特征点；

将输入的未分组图像的特征点与其他未分组图像的特征点匹配，并且基于匹配的特征点的数量，确定所述其他未分组图像中与所述输入未分组图像相匹配的图像，作为匹配图像集合；以及

在所述输入的未分组图像与所述其他未分组图像匹配的数量大于等于第一预定数量，并且匹配的特征点中的分组特征点的数量大于等于阈值数量的情况下，基于所述匹配图像集合来生成新的图像分组，其中分组特征点是位于所述图像的标识区域的特征点。

附记11.一种图像处理方法，包括：

提取未分组图像的、表征未分组图像的局部特征的特征点；

将输入的未分组图像的特征点与其他未分组图像的特征点匹配，并且基于匹配的特征点的数量，确定所述其他未分组图像中与所述输入未分组图像相匹配的图像，作为匹配图像集合；以及

在所述输入的未分组图像与所述其他未分组图像匹配的数量大于等于第一预定数量，并且匹配的特征点中的分组特征点的数量大于等于阈值数量的情况下，基于所述匹配图像集合来生成新的图像分组，其中分组特征点是位于所述图像的标识区域的特征点。

附记12.根据附记11所述的图像处理方法，其中，通过如下方法判定所述分组特征点的数量大于等于阈值数量：

针对未分组图像的特征点中的任何一个，当在所述匹配图像集合中，包含与该特征点匹配的特征点的图像的数量大于等于所述第一预定数量时，确定该特征点为候选分组特征点；以及

当至少第一预定数量的所述候选分组特征点与所述匹配图像集合中大于等于所述阈值数量的所述其他未分组图像的相应的特征点匹配时，确定所述至少第一预定数量的候选分组特征点为分组特征点。

附记13.根据附记11所述的图像处理方法，所述图像处理方法还包括：获取图像分组的生成分组特征点，其中，每个生成分组特征点与每个分组特征点相对应，以表征新的图像分组的图像的共同特征。

附记14.根据附记13所述的图像处理方法，通过中值计算或者取中位数的方式获取图像分组的生成分组特征点。

附记15.根据附记11所述的图像处理方法，所述图像处理方法还包括：

基于未分组图像的特征点与已有的图像分组的生成分组特征点匹配的数量，判定所述未分组图像是否属于所述已有的图像分组。

附记16.根据附记11所述的图像处理方法，所述将输入的未分组图像与其他未分组图像匹配包括：

针对输入的未分组图像的特征点中的任何一个，在所述其他未分组图像的、与所述输入的未分组图像的特征点所在位置相对应的区域处搜索是否存在特征点；

在所述相对应的区域处存在特征点的情况下，计算所述输入的未分组图像的特征点与所述其他未分组图像的所述特征点的相似度；并且在存在相似度大于阈值的特征点的情况下，判定所述输入的未分组图像的特征点与所述其他未分组图像的所述特征点匹配。

附记17.根据附记15所述的图像处理方法，其中，将未分组图像的特征点与已有的图像分组的生成分组特征点包括：

针对未分组图像的特征点中的任何一个，在已有分组图像的、与所述未分组图像的特征点的所在位置相对应的区域处搜索是否存在生成分组特征点；以及

在所述相对应的区域处存在生成分组特征点的情况下，计算所述未分组图像的特征点与所述已有的图像分组的所述生成分组特征点的相似度；并且在存在相似度大于阈值的生成分组特征点情况下，判定所述未分组图像的特征点与所述已有的图像分组的所述生成分组特征点匹配。

附记18.根据附记16或17所述的图像处理方法，其中，通过计算特征点的特征描述向量之间的欧氏距离来计算相似度。

附记19.根据附记11所述的图像处理方法，所述图像处理方法还包括：对图像进行归一化预处理，以便使进行匹配处理的图像具有预定的标准尺寸。

以上实施例仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (10)

1.一种图像处理装置，包括：

提取单元，被配置成提取未分组图像的、表征未分组图像的局部特征的特征点；

特征点匹配单元，被配置成将输入的未分组图像的特征点与其他未分组图像的特征点匹配，并且基于匹配的特征点的数量，确定所述其他未分组图像中与所述输入未分组图像相匹配的图像，作为匹配图像集合；以及

分组生成单元，被配置成在所述输入的未分组图像与所述其他未分组图像匹配的数量大于等于第一预定数量，并且匹配的特征点中的分组特征点的数量大于等于阈值数量的情况下，基于所述匹配图像集合来生成新的图像分组，其中分组特征点是位于所述图像的标识区域的特征点。

2.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：

候选分组特征点确定单元，被配置成针对未分组图像的特征点中的任何一个，当在所述匹配图像集合中，包含与所述特征点匹配的特征点的图像的数量大于等于所述第一预定数量时，确定所述特征点为候选分组特征点；

所述分组生成单元进一步被配置成当至少所述第一预定数量的所述候选分组特征点与所述匹配图像集合中大于等于所述阈值数量的所述其他未分组图像的相应的特征点匹配时，确定匹配的特征点中的分组特征点的数量大于等于阈值数量。

3.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：生成分组特征点获取单元，被配置成获取图像分组的生成分组特征点，其中，所述每个生成分组特征点与每个分组特征点相对应，以表征图像分组的图像的共同特征。

4.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：分组匹配单元，被配置成基于未分组图像的特征点与已有的图像分组的生成分组特征点匹配的数量，判定所述未分组图像是否属于所述已有的图像分组。

5.根据权利要求1所述的图像处理装置，其中，所述特征点匹配单元包括：

第一搜索模块，针对输入的未分组图像的特征点中的任何一个，所述第一搜索模块被配置成在所述其他未分组图像的、与所述输入的未分组图像的特征点所在位置相对应的区域处搜索是否存在特征点；以及

第一相似度计算模块，被配置成在所述相对应的区域处存在特征点的情况下，计算所述输入的未分组图像的特征点与所述其他未分组图像的所述特征点的相似度；并且在存在相似度大于阈值的特征点的情况下，判定所述输入的未分组图像的特征点与所述其他未分组图像的所述特征点匹配。

6.根据权利要求4所述的图像处理装置，其中，所述分组匹配单元包括：

第二搜索模块，针对未分组图像的特征点中的任何一个，所述第二搜索模块被配置成在已有分组图像的、与所述未分组图像的特征点的所在位置相对应的区域处搜索是否存在生成分组特征点；以及

第二相似度计算模块，被配置成在所述相对应的区域处存在生成分组特征点的情况下，计算所述未分组图像的特征点与所述已有的图像分组的所述生成分组特征点的相似度；并且在存在相似度大于阈值的生成分组特征点情况下，判定所述未分组图像的特征点与所述已有的图像分组的所述生成分组特征点匹配。

7.根据权利要求5或6所述的图像处理装置，其中，通过计算特征点的特征描述向量之间的欧氏距离来计算相似度。

8.根据权利要求1所述的图像处理装置，其中，所述图像处理装置还包括：预处理单元，用于对图像进行归一化预处理，以便使进行匹配处理的图像具有预定的标准尺寸。

9.一种信息处理设备，包括：

存储器，用于存储程序指令；以及

处理器，所述处理器被配置成执行所存储的指令以：

提取未分组图像的、表征未分组图像的局部特征的特征点；

将输入的未分组图像的特征点与其他未分组图像的特征点匹配，并且基于匹配的特征点的数量，确定所述其他未分组图像中与所述输入未分组图像相匹配的图像，作为匹配图像集合；以及

在所述输入的未分组图像与所述其他未分组图像匹配的数量大于等于第一预定数量，并且匹配的特征点中的分组特征点的数量大于等于阈值数量的情况下，基于所述匹配图像集合来生成新的图像分组，其中分组特征点是位于所述图像的标识区域的特征点。

10.一种图像处理方法，包括：

提取未分组图像的、表征未分组图像的局部特征的特征点；

将输入的未分组图像的特征点与其他未分组图像的特征点匹配，并且基于匹配的特征点的数量，确定所述其他未分组图像中与所述输入未分组图像相匹配的图像，作为匹配图像集合；以及

在所述输入的未分组图像与所述其他未分组图像匹配的数量大于等于第一预定数量，并且匹配的特征点中的分组特征点的数量大于等于阈值数量的情况下，基于所述匹配图像集合来生成新的图像分组，其中分组特征点是位于所述图像的标识区域的特征点。