CN1900933A - 图像搜索系统、图像搜索方法和存储介质 - Google Patents

Abstract

一种图像搜索系统，包括：第一计算部分，基于每个记录图像和输入图像的图像特征计算该每个记录图像相对于输入图像的第一相似性得分；第二计算部分，基于每个记录图像和输入图像的文本特征计算该每个记录图像相对于输入图像的第二相似性得分；候选提取部分，基于每个记录图像的第一和第二相似性得分提取一个或多个候选图像；第三计算部分，基于输入图像和每个候选图像的投影波形计算该每个候选图像的第三相似性得分；以及搜索部分，基于该第三相似性得分确定与输入图像相似的一个或多个记录图像。

Description

图像搜索系统、图像搜索方法和存储介质

优先权信息

本申请要求2005年7月21日申请的日本专利申请号2005-211775及2005年12月19日申请的日本专利申请号2005-365409的优先权，将它们整体合并在此作为参考。

技术领域

本发明涉及一种从记录在数据库等中的图像中搜索和检索与输入图像相似的图像的技术。

背景技术

近来，考虑到遵守规章或个人信息的保护，在工商界相当重视增强信息及信息处理的安全性。例如，为了响应审计或类似情况，要求公司根据其所进行的业务公开信息。因此，公司有必要记录对其服务的访问作为日志数据并管理该访问，以便他们可以指定已处理信息的人员、信息的种类以及已使用的过程等等。

考虑到这种趋势，已提出了一种系统，其中在若干个操作的情况下，诸如通过复制、打印、传真传输或类似方式输出文件以及通过扫描电子输入纸件的操作，在这些操作期间输出或输入的图像数据与日期、操作员姓名等一起被存储作为日志数据，然后，如果在以后的时间怀疑涉及某一文件的数据泄漏，则通过该日志数据搜索与该特定文件相同的文件，从而明确说明泄漏源等等。

为了实现上述系统，必须从所述日志数据中搜索和检索对应于目标文件的图像。这里，如果利用通过扫描该目标文件获得的图像本身作为搜索条件可以执行搜索，而不是用户输入诸如搜索关键字等详细的信息，则可以实现非常高的可操作性。对于除了上述安全目的以外的任何目的，如果用户可以搜索整个图像数据库和检索出与扫描图像相似的图像，它将同样是有利的。

日本专利特开2004-139210号(参考文献1)、特开平9-270902号(参考文献2)、特开2003-281176(参考文献3)、以及特开平10-49659(参考文献4)都公开了涉及如上所述的图像搜索的相关现有技术。在这些相关现有技术中，由被扫描文件的图像数据计算图像特征量，在该图像特征量的基础上搜索相似的图像数据。

此外，日本专利特开2005-149071号(参考文献5)公开了一种装置，其在接收到文件图像及其附加的信息(搜索查询语句)作为搜索条件之后，搜索整个数据库以查找记录在数据库中的具有相似的文件图像和相似的图像特征的文件，以获得中间结果，然后作为最终搜索结果，从所述中间结果中获取其附加信息与输入的搜索条件匹配的文件。

同样，日本专利特开2003-91730号(参考文献6)公开了一种方法，其中获取水平或垂直方向的输入图像的投影波形，并与记录图像的投影波形比较，从而获取与输入图像相似的记录图像。

更进一步地，日本专利特开2001-319232号(参考文献7)公开了一种方法，其中输入图像被分成多个块，对于每个块获取包含轮廓线特征、频率分布特征等的各种图像特征量，从而检索其图像特征量的分布与输入图像类似的图像。

在上述所有参考文献1-4中，图像的相似性基本上都是在单个图像特征值的基础上确定的。然而，这种基于单个图像特征的相似性确定方法并不总是产生接近于利用视觉所获得的相似性，因为所使用的图像特征可能或不可能相对于输入图像的类型实现高级识别。更具体来说，当一个人想要计算风景照片图像之间的相似性时，例如，基于通过OCR(光学字符识别)获得的文本字符串使用特征量的相似性计算方法是没有用的。同时，如果通过基于图像的密度或密度分布使用图像特征量的相似性计算方法，确定具有非常相似的结构但是具有完全不同的书面文本内容的多个文件图像之间的相似性，所得到的有关这些文件图像的得分是不可能在相互之间有太大的差别，使得难以在这些图像之间识别所需的文件。

上述相关的现有技术可以提供具有相当精度的确定结果，只要搜索目标仅限制为特定的图像类型，例如照片，并使用适于该特定图像类型的特征。然而，在企业活动中实际上要处理各种类型的文件，包括照片、图画、文本文件、或这些内容的组合，并且这些各类文件都存储在日志或数据库中作为搜索目标。可用于识别照片的图像特征通常并不适于识别文本文件，反之亦然。因此，上述所有使用单个图像特征的相关现有技术都被认为并不足以能够搜索各种类型的文件图像。

在参考文献5中公开的技术试图通过使用单个图像特征量与附加信息的组合来增加搜索精度。然而，利用这种方法，不能获得合适的中间结果，因此在最终的搜索结果中也不能达到所期望的精度，除非搜索时所使用的图像特征量与输入的搜索条件的图像类型匹配。此外，该方法需要使附加信息与记录图像和搜索条件的图像相关联。例如，当一个人想要搜索与通过简单地扫描纸件所获得的图像类似的图像时，就不能使用该方法了，因为在此情况下，不存在附加信息。因此，该方法的使用需要用户输入诸如搜索查询语句之类的附加信息，这增加了与用户操作有关的负担。

此外，在参考文献6和7中公开的技术中，与参考文献1-4公开的技术类似，图像的相似性基本上是在单个图像特征值的基础上确定的。因此，不经常获得接近于通过视觉获得的相似性，因为如上所述，所使用的图像特征可能或不可能实现相对于输入图像类型的高级识别。

发明内容

根据本发明的一个方面，提供一种图像搜索系统，包括第一计算部分，其基于每个记录图像与输入图像的图像特征计算该每个记录图像相对于输入图像的第一相似性得分；第二计算部分，其基于每个记录图像与该输入图像的文本特征计算该每个记录图像相对于该输入图像的第二相似性得分；候选提取部分，其基于每个记录图像的第一和第二相似性得分提取一个或多个候选记录图像；第三计算部分，其基于该输入图像与每个候选记录图像的投影波形计算该每个候选记录图像的第三相似性得分；以及搜索部分，基于每个记录图像的第三相似性得分确定与该输入图像相似的一个或多个记录图像。

附图的简要说明

本说明书公开的这些及其他方面由以下结合附图的描述将变得更加清楚，其中对相同的部分应用相同的参考编号。附图中：

附图1是表示根据本发明的一个实施例的图像搜索装置的结构的功能框图；

附图2是用于说明照片图像搜索的视图；

附图3是用于说明考虑到其中字出现的位置的相似文本搜索的视图；

附图4是用于说明在图像的投影波形的基础上计算相似性的处理的视图；

附图5是表示由候选提取部分执行的处理过程的流程图；

附图6是表示修改示例图像搜索装置的结构的功能框图；

附图7是表示另一个修改示例图像搜索装置的结构的功能框图；及

附图8是表示在其上实现图像搜索系统的计算机系统的示例硬件结构的视图；

具体实施方式

下面将参照附图对本发明的典型实施例进行详细描述。

通过参照附图1，将对根据典型实施例的图像搜索装置的结构进行描述。该图像搜索装置从记录在现有的图像数据库或图像日志存储设备(未示出)中的记录图像中搜索和检索相对于输入文件图像100具有高相似度的记录图像。该输入文件图像100例如可以是通过扫描仪读取纸件所获得的图像数据，或通过转换由各种类型的应用程序中的任何程序创建的图像文件获得的位图图像。在接收到输入文件图像100之后，图像搜索装置将该输入文件图像100提供给照片图像搜索部分10和文本搜索部分20中的每一个。

照片图像搜索部分10是执行适于诸如照片的连续色调图像的搜索处理的部分。照片图像搜索部分10可以将输入图像分成多个块，并在有关每个块的图像特征量的相似度的基础上执行图像搜索。照片图像搜索部分10典型地可以通过计算机执行程序来实现。

照片图像搜索部分10的图像特征量提取部分12提取该输入文件图像100的图像特征量。作为图像特征量，例如可以使用二维边缘量分布。具体来说，如附图2所示，预定大小的图像200被分成预定大小的预定数量的块210(例如8×8，16×16，32×32)。然后将边缘提取过滤器应用于图像200以计算每个块210的边缘量，以及组合；即，每个块210的边缘量的分布被获取作为图像特征量。该使用边缘量分布的方法适于通过数码相机或类似设备捕获的照片图像。可替换的是，也可以获取每个块的平均色，而不是边缘量，并使用每个块的平均色的组合(或分布)作为图像特征量。此外，还可以使图像二值化，并获取每个块210中黑色像素的比率的分布作为图像特征量。同样地，各种类型的图像特征量和对应的得分方法已以常规方式提出来，并且所述照片图像搜索部分10可以使用这些图像特征量中的任何一种和对应的得分方法。此外，为每个块获得的轮廓线特征或频率特征的分布都可以被使用作为用于匹配的图像特征量。此外，上述两种或多种图像特征量的任意组合也可以用于图像的匹配。

这里，上述用于照片图像搜索部分10中的图像特征量具有相对简单的算法，因此即使是利用软件处理也可以以高速进行计算。此外，这种图像特征量的计算和使用图像特征量的匹配处理也可以通过硬件电路实现，因此适于高速处理。

特征量匹配部分14计算通过图像特征量提取部分12获得的输入文件图像100的图像特征量(或多个图像特征量的组合)与存储在图像数据库或图像日志(都未示出)中的每个记录图像的图像特征量(或多个图像特征量的组合)之间的相似度。每个记录图像的图像特征量已使用与用在图像特征提取部分12中相同的算法进行计算，然后在将每个图像记录在图像数据库或图像日志中时被记录在特征量DB(数据库)30中。特别的是，每个记录图像的图像特征量(例如上述边缘量的分布)与该记录图像的文件ID(识别信息)关联地记录在特征量DB30中。特征量匹配部分14为每个记录图像计算相似性得分，该相似性得分指示所述记录图像的图像特征量与输入文件图像100的图像特征量之间的相似性的等级。可以利用传统的已知方法计算该相似性得分。

如上所述，照片图像搜索部分10为每个记录图像计算并输出该记录图像相对于输入文件图像100的相似性得分(即基于图像特征量的得分)。该相似性得分在附图1中被表示为第一得分110。同样地，照片图像搜索部分10为每个记录图像输出例如由该记录图像的文件ID和第一得分110构成的对，然后将其提供给候选提取部分50。

下面将描述文本搜索部分20。文本搜索部分20是用于使用在输入文件图像100中存在的文本字符串的特征搜索相似记录图像的部分，并且典型地是通过执行计算机程序来实现的。文本搜索部分20包括字符识别部分22、字提取部分24以及搜索处理部分26。

字符识别部分22利用OCR(光学字符识别)算法或OCR电路识别包含在输入文件图像100中的字符。这里，可以使用常规的OCR算法或OCR电路。

字提取部分24对从字符识别部分22输出的字符串执行已知的自然语言分析(例如词法分析)，从而提取出现在输入文件图像100中的字。因此，字提取部分24输出例如有关包含在输入文件图像100中的一组字的数据。更可取的是，有关所述一组字的数据对于每个字都包括有关该字出现在输入文件图像100中的次数的信息。此外，将被提取的字可以被限制为特定的字类(例如仅限于名词)。

搜索处理部分26使用通过字提取部分24获得的一组出现的字搜索整个文本DB 40，并计算每个记录图像相对于该输入文件图像100的相似性得分。

这里，若干个记录图像的文件ID的列表被记录在文本DB 40中，在每个记录图像中出现有某一个字，每个字被用作一个索引。文本DB40可以按如下方式创建。具体来说，在将每个记录图像的图像记录在图像数据库、日志等中时，执行有关每个记录图像的字符识别和字提取，并且将所述记录图像的文件ID记录在文本DB 40的列中，该文本DB 40具有被提取作为索引的字。这里，考虑到单个字极有可能在记录图像中出现多次，优选地，除了简单地记录与每个索引字相关联的文件ID，也可以记录所述字出现在该记录图像中的次数。

通过参照文本DB 40例如按以下方式计算相似性得分。具体来说，文本搜索部分20使用由字提取部分24提取的每个字作为密钥、搜索整个文本DB 40，并为每个字获取由其中出现有所述字的记录文件的文件ID和该字出现的次数构成的对。这里，当然存在着其中为单个字获取由文件ID和出现的次数构成的多个对的情况。然而，对于每个字，在这样获得的信息的基础上，将得分添加到其中出现有该字的记录文件的文件ID中。

利用上述计算，为例如每个文件ID组织有关为每个字获得的由该文件ID以及其出现的次数构成的对的信息，以便对于每个记录图像，都获取由出现在该记录图像中的字和该字出现的次数构成的对。然后，计算每个字在输入文件图像100与每个记录图像之间出现的次数上的差，此外为每个记录图像进一步计算所述差的绝对值之和(或平方和，均方根等等)。这里，如果输入文件图像100等同于所述记录图像，则计算结果为“0”，然而计算结果的值随着输入文件图像100与所述记录图像之间的差而增加。因此，通过使用符号相反的计算结果作为对应的记录图像的相似性得分，可以设置该相似性得分，使得该得分值随着所述记录图像与作为文本的输入文件图像100之间的相似性而变大。对所有记录在图像数据库或图像日志中的记录图像都执行上述计算。

虽然在上述示例情况下对所有记录在图像数据库或图像日志中的记录文件都执行计算，本发明并不局限于上述情况，也可以仅对满足预定条件的文件执行计算。这种用于缩减计算目标的条件可以被指定为记录图像被记录在图像数据库或图像日志中时的日期和时间的范围、已记录记录图像的用户所属的组等等。具体来说，可以仅对在指定日期和时间范围内记录的文件、或例如仅对由属于指定组的用户记录的文件执行计算。可以由用户通过该图像搜索装置的用户接口指定这种缩减条件。

搜索处理部分26输出由记录文件的文件ID与为所有记录文件这样获得的相似性得分(附图1所示的第二得分120)构成的对。然后将输出数据提供给候选提取部分50。

基于文本的相似性得分计算方法并不局限于由文本搜索部分20执行的上述示例方法。在文本搜索的领域内，已由常规方式开发出各种类型的用于获取搜索得分的方法，该搜索得分指示每个记录文件相对于由关键字组或关键字的逻辑表达式表示的搜索条件的匹配度。这些常规方法中的任何方法当然都可以被采用作为在本实施例的文本搜索部分20中使用的方法。

这里，根据本实施例的文本搜索具有涉及不同于普通基于关键字的文件搜索的搜索目的的特性。特别是，关键字搜索基本上是要搜索其中包含某一关键字的文件，并且将要搜索的关键字和文件是独立的条项。相比之下，在泄漏验证(其是本实施例的搜索目的之一)中，将要搜索基本上与输入条目相同或非常相似的目标，例如通过搜索对应于一页或多页的记录图像，其完全与对应于一页或多页的图像相同或非常相似(即输入文件图像100)。因此，在本实施例的搜索中，通过不仅考虑每个字出现在图像中的次数、而且还考虑其中每个字出现在图像中的位置，搜索的精度可以进一步提高。以下将描述这种搜索方法的例子。

根据该方法，图像300首先被分成多个块310，如附图3中所示。在所示示例中，图像300被分成64块(垂直方向上8×水平方向上8)。然后，对于每个从所述图像中提取的字，指定所述字的第一个字符所属的块作为所述字出现的位置。在该方法中，对于每个索引字，包含该记录图像的文件ID和图像内出现所述字的位置(例如块号)的列表被记录在文本DB 40中。为了进行搜索，分配较高的相似性得分给一记录图像，在该记录图像内与从输入文件图像100中提取的字相同的字出现在与该字出现在该输入文件图像中的位置相同的位置，而在其他情况下分配较低的相似性得分(即，其中从输入文件图像100中提取的字没有出现在记录图像中的相同位置的情况，其中该记录图像中的字并不定位在输入文件图像100内的相同位置，等等)。作为一个特定的例子，关于输入文件图像100中的每个字，获取其中所述字出现在输入图像与每个记录图像两者中的相同位置的情况的数量与通过将其中所述字出现在输入文件图像100中的位置的数量与记录图像中出现所述字的位置的数量相加所获得的位置的总数之比(当所述字出现在两种图像中的相同位置时，所述位置被计数为1)。然后，使用(该比率+1)的倒数的两倍作为系数，并且如上所述该字出现在输入文件图像100与记录图像之间的次数的差乘以该系数。随后，对出现在输入文件图像100与记录图像中的所有字，使所述相乘结果的绝对值相加以获得总和(或，例如均方根)。然后，所述结果的符号被反向以获得相似性得分。应当注意的是，上述方法仅仅是一种示例方法，其中字出现的位置被反映在相似性得分中，也可以使用其他各种方法中的任何一种。

虽然在上述示例中，从字符识别结果中提取字，但并不总是需要执行这种用于获取个别字的精确分析，也可以获取出现在字符识别结果中的每个局部字符串并对局部字符串执行与上述相同的处理。

上述文本搜索部分20具有的优点是，搜索速度相对较高，当文件图像包含大量文本时，可以得到较高的搜索精度。然而，对于从中不能提取文本的文件图像或从中仅能提取到少量文本的文件图像，不能获得高搜索精度。同样地，存在不适于通过文本搜索部分20搜索的文件图像的类型。

如上所述在照片图像搜索部分10中执行的处理以及在文本搜索部分20中执行的处理可以同时并行执行，或者可以一次执行一项的方式顺序执行。

候选提取部分50组合从照片图像搜索部分10中输出的第一得分110与从文本搜索部分20中输出的第二得分120，以计算作为图像特征与文本特征的总评估的组合得分。然后，候选提取部分50提取具有较高等级的组合得分的记录图像，作为将用在后续文件图像搜索部分52中的搜索目标的候选。

这里，附图1所示的装置采用统计标准化的原理，以便组合基于图像特征的相似性得分和基于具有相当不同特性的文本特征的相似性得分。具体来说，由于这些相似性得分是不同的测量结果，很有可能通过简单的比较这些得分或直接对这些得分应用诸如求和、乘法等等运算不能获得合适的得分。因此，根据本实施例，这种原始的相似性得分被标准化为表示每个记录图像在整个记录图像组中的位置的值。可以描述一种用于标准化的方法作为一种示例方法，其中记录图像的相似性得分被转换成所有记录文件的偏差值。下面将参照附图5所示的流程图对该方法进行描述。

这里，考虑一种类似的图像搜索系统，其中从某一组图像(一组记录图像)G＝{G₁，G₂，G₃，…，G_n}中选择一组与某一图像(输入文件图像100)相似的图像，并且所选择的图像按相似性的递减顺序排列并输出。在所述记录图像组中使用各种特征量F_j(j＝1，2，3，…，m)的每个图像G_i(i＝1，2，3，…，n)相对于该输入图像的相似性得分被取作S_ij(a)。特征量F_j可以是诸如边缘量分布的图像特征量、基于字出现的次数的文本特征量等等。每个记录图像G_i相对于每个特征量F_j的相似性得分S_ij(a)可以被获取，作为如上所述通过照片图像搜索部分10和文本搜索部分20所执行的处理结果。

然后，候选提取部分50计算通过对每种类型的特征量j的每个得分S_ij(a)进行标准化获得的偏差值Z_ij(a)。该计算可以在以下表达式的基础上进行。

表达式(1)

$Z_{\mathrm{ij}}\left(a\right)=\frac{S_{\mathrm{ij}}\left(a\right)-\stackrel{\‾}{S_j\left(a\right)}}{D_j\left(a\right)}$

$\stackrel{\‾}{S_j\left(a\right)}=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{S}_{\mathrm{ij}}\left(a\right)}{n}$

$D_j\left(a\right)=\sqrt{\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(S_{\mathrm{ij}}\left(a\right)-\stackrel{\‾}{S_j\left(a\right)})}^2}{n-1}}$

这里，

表达式(2)

D_j(a)，Z_ij(a)

分别表示当使用特征量F_j时，记录图像G_i相对于输入图像a的相似性S_ij(a)的平均值、标准偏差以及偏差值。

在附图1所示的示例中，基于所有记录图像中的文本特征的每个记录图像的相似性得分的偏差值被获取，并设置成标准化的文本得分(S2a)，同时基于所有记录图像中的图像特征的每个记录图像的相似性得分的偏差值被获取，并设置成标准化的图像得分(S2b)。

通过使用偏差值Z_ij(a)作为如上所述的得分，可以比较使用不同特征量的相似性得分的值。然而，在此情况下，应当假定记录图像的数量足够大，以及涉及相同特征量F_j的记录图像的相似性得分的分布表示接近于正常分布的分布。如果记录图像包括各种类型的图像例如文本文件、图画、照片、这些图像的任意组合等等，并且如果它们在数量上足够大，则这种假定通常被认为是适当的。

一旦如上所述涉及每个特征量F_j的相似性得分都被标准化，则候选提取部分50对相同的记录图像组合有关各个特征量的标准化得分，从而计算有关该记录图像的组合得分(S3)。假设记录图像G_i相对于输入图像a的组合得分为S_i(a)，根据以下表达式可以获得该组合得分S_i(a)：

表达式(3)

S_i(a)＝f(Z_i1(a)，Z_i2(a)，Z_i3(a)，…，Z_im(a))

这里，f表示用于从涉及每个特征量F_j的偏差值Z_ij(a)获得组合得分的函数。可以使用采用每个变量条目中最大值的函数作为这种函数f。如上所述，在不同类型的图像中图像的各个特征量的识别等级存在差异。特别是，当使用可以对输入图像的类型提供高级识别的特征量时，与输入图像等同或非常相似的记录图像的相似性得分变高，而与输入图像不同的记录图像的相似性得分变得相对较低。因此，对于与输入图像等同或非常相似的记录图像、从这种相似性得分中获得的偏差值将明显地大于对其他记录图像的偏差值。相反，当使用对输入图像的类型仅提供低级识别的特征量时，在与输入图像等同或非常相似的记录图像的相似性得分与其他记录图像的相似性得分之间没有显著差异。因此，对于与输入图像a等同或非常相似的记录图像、通过转换这种相似性得分获得的偏差值不是特别大。因此，作为函数f通过使用采用涉及各个特征量F_j的标准化得分Z_ij(a)中的最大值(偏差值)的函数，对于与输入图像a等同或非常相似的记录图像，所述组合得分将具有非常高的值，而与对于输入图像a等同或非常相似的记录图像相比，相对于其他记录图像将具有小得多的值(而不管那些涉及各种特征量的偏差值中的哪个偏差值被用作最大值)。这样，根据上述方法获得的组合得分可被认为非常适合搜索与输入图像等同或非常相似的记录图像的目的，该输入图像可以是各种不同类型中的任何类型。

此外，也可以使用采用每个变量条目的算数平均或几何平均的其它函数作为函数f。

上述得分组合处理的优点在于，通过假定一组将被搜索的记录图像G_i为一个采样组，可以实现得分的标准化，这在与单个记录图像比较时是不可能的，并且在不需要有关特征量F_j和对应的相似性得分的详细知识的情况下，可以提供具有某一高适合度的组合相似性得分。在仅考虑单个记录图像的情况下(其对应于图像G_i组中的图像数为1的情况)，可以考虑使用涉及具有完全不同的评估标准或特性(例如文本和图像密度)的特征的相似性，而不需要校正，或者可以考虑产生用于组合这些相似性的可能的模型以执行参数评估。然而，在前者的情况下，不可能获得高等级适应度的得分，而在后者的情况下，其需要至少有关特征量F_j和对应相似性的详细的知识，当要搜索各种类型的图像时很难执行。

在企业活动中实际使用的文件包括大量的不同类型的文件，例如具有固定版面并且几乎专门包含文字的文件，例如专利说明书；具有由文字和线条构成的固定格式的文件，例如姓名列表或通过使用电子制表程序创建的其它类型的列表；在版面上具有高相似度的文件，例如通过使用特定模板创建的用于演示的参考材料；主要由图构成并具有少量文字的文件，例如具有多个附图的演示材料，或专利附图；具有若干几乎为整页照片的小册子；包含照片和文本的组合的小册子；等等。因此，要提供可以应用于这些不同文件的通用模型是极其困难的。另一方面，利用本实施例的得分组合可以获得适当的组合得分，将基于各种特征量的得分计算部分，例如使用为文本文件提供高级识别的特征量的得分计算部分，使用为照片提供高级识别的特征量的得分计算部分，使用为图画提供高级识别的特征量的得分计算部分等等进行组合，在每个部分中获得的结果得分被标准化，然后被组合。

这里，将被组合的相似性得分可以根据相互具有低相对相关性的方面来获得。例如，当上述基于文本的得分与根据边缘量分布或平均色分布的特征获得的得分一起使用时，其对照片提供高级识别，可以对文本文件和照片都执行高精度的搜索。

在上述示例中，照片图像搜索部分10和文本搜索部分20将有关所有记录图像的相似性得分提供给候选提取部分50。可替换的是，也可以向候选提取部分50仅提供等于或大于预定值的有关记录图像的相似性得分。在此情况下，候选提取部分50可以将有关候选提取部分50还没有接收到的记录图像的相似性得分设置为预定值，例如“0”，然后可以执行上述得分组合处理。

在此方式下，候选提取部分50为每个记录图像计算表示记录图像相对于输入图像a(输入文件图像100)的相似度的组合得分。

然后候选提取部分50按照由此获得的组合得分的递减顺序，继续选择记录图像作为在后续文件图像搜索部分52中将要执行的搜索的候选。不同的是，候选提取部分50执行对存储在文件图像数据库或文件图像日志存储设备(未示出)中的记录图像组中的候选的第一次缩减。当提取出候选时，可以接着提取具有较高级别的组合得分的预定数目的记录图像，或者可以提取具有对应于相对所有记录图像的预定比率的高级组合得分的记录图像。也可以提取具有等于或大于阈值的组合得分的记录图像。当然，上述提取候选的方法仅仅是示例，也可以使用其他条件，用于按组合得分的递减顺序连续提取记录图像。候选提取部分50将每个这样提取的候选的文件ID提供给文件图像搜索部分52。这里，为了使文件图像搜索部分52考虑组合得分执行搜索，候选提取部分50将每个候选的文件ID和组合得分提供给文件图像搜索部分52。

应当注意，如上所述计算组合得分的方法仅仅是个示例，该组合得分也可以根据其他方法进行计算。

文件图像搜索部分52通过利用使用图像的投影波形的匹配处理，在所接收到的一组候选内搜索相对输入文件图像100具有高相似度的记录图像。简要的概括，如附图4所示，水平方向上的投影波形410通过在水平方向上投影输入文件图像100的每个像素值获得；即通过在水平方向上沿同一行添加每个像素值，并在列(垂直)方向上提供每一行中的添加结果的分布。通过在垂直方向上的投影获得的投影波形也可以用作图像特征量，代替上述水平方向上的投影波形，或者也可以使用由水平方向上的投影波形和垂直方向上的投影波形构成的对作为图像特征量。此外，投影方向并不局限于水平方向和垂直方向。

为了使用投影波形计算相似性得分，对于从输入文件图像100获得的投影波形410和记录在投影波形DB 54中的记录图像420的投影波形430，在这些投影波形之间的比例和位置匹配之后，获取表示这些波形或微分波形之间相关性的强度的相关函数，并将其指定为相似性得分。所有记录图像的投影波形信息都被登录在投影波形DB 54中，并且文件图像搜索部分52读出由候选提取部分50提取的每个候选的投影波形信息用于与输入文件图像100的投影波形410比较。当使用水平和垂直方向上的投影波形时，例如可以使用有关垂直方向上的波形的相似性得分和有关水平方向上的波形的相似性得分的总和或平均值作为最终的相似性得分。此外，可以使用用于根据投影波形确定相似性的各种方法。

由于如上所述根据投影波形的匹配和搜索方法通常实现高精度等级，并且对不同于由照片图像搜索部分10和文本搜索部分20处理的那些特征的特征提供分析，该匹配和搜索方法可以与搜索部分10和20两者组合，从而可以提供不同方面的相似性评估。另一方面，由于该方法对运算处理加上大的负担，因此需要时间来运算或者需要使用具有极其高性能级别的运算设备。然而，根据本实施例，由于该匹配处理仅针对事先已被候选提取部分50缩减的候选来执行，运算时间或运算性能并不重要。

如上所述，文件图像搜索部分52根据每个候选的投影波形获取相似性得分，并将列出由每个候选的文件ID和对应的相似性得分构成的对的列表按相似性得分的递减顺序输出。这里，将要输出的列表可以仅包括具有高级别相似性得分的预定数量的文件或者仅包括其相似性得分等于或大于预定值的文件。

此外，也可以将候选提取部分50中获得的组合得分加到基于由文件图像搜索部分52获得的投影波形的相似性得分中，从而获得第二组合得分，根据第二组合得分排列每个候选，并根据该排列创建候选列表。通过根据投影波形对相似性得分执行上述标准化，然后组合该标准化的结果值与如上所述从候选提取部分50获得的组合得分，可以计算该第二组合得分。

搜索结果输出部分60接收从文件图像搜索部分52创建的列表，按组合得分值的递减顺序对所列的记录图像进行排序，并将它们作为搜索结果输出。以此方式，可以提供其中记录图像按照相对于输入图像a的相似性的递减顺序排列的搜索结果150。

根据如附图1所示的上述系统，首先使用都可以进行相对高速处理的照片图像搜索部分10和文本搜索部分20，以从所有记录图像中提取与输入图像比较相似的记录文件作为候选。然后，文件图像搜索部分52(其提供相对较高的精确性但是需要操作时间)对这样缩减的候选执行搜索从而获得最终的搜索结果。利用这种结构，可以实现高精度的高速搜索，整个操作所需的时间和性能都被降低了。

在本实施例中，照片图像搜索部分10通常可以执行高精度的高速搜索，并仅对少量文件类型提供低级识别，其用于缩减附图1所示的结构中的前面级中的候选，从而实现高速缩减候选。此外，文本搜索部分20可以以相对高速进行操作并且当文本量较大时实现高精度搜索，其也用于缩减附图1所示的结构中的前面级中的候选，从而实现候选的高速缩减。虽然文本搜索部分20不能对具有少量文本的图像实现高精度搜索，但是并行设置的照片图像搜索部分10可以对这种具有少量文本的图像补偿搜索。

由在后面级中设置的文件图像搜索部分52执行的基于投影波形的匹配处理是有利的，因为即使在当输入由包含添加到记录图像中的符号或标记形成的图像时，可以高精度搜索相应的记录图像。具体来说，由于这些符号和标记的面积比相对于整个页面来说通常较小，当它们以投影波形的形式表示时，这些符号等对整个页面的影响很小。因此通过比较这种输入图像与记录图像之间的投影波形，可以获得准确的、高相似性得分。相比之下，利用由照片图像搜索部分10执行的基于边缘量分布等的匹配处理，相似性得分由于这种符号或标记的影响可能会显著减少。因此，存在的情况是，其中文件图像搜索部分52可以比照片图像搜索部分10更适合搜索具有高级相似性的文件图像。特别是，由于标记和符号通常被添加到原始文件中，以便为了在企业监视文件的泄漏，实际上被泄露的文件通常都包含这种标记和符号，而原始文件是不包含的。因此，采用文件图像搜索部分52作为搜索机制的一部分是很重要的。

虽然根据本实施例，文件图像搜索部分52可以仅实现相对低速的处理，但是这种低速操作的缺点可以通过允许文件图像搜索部分52仅对已被高速搜索部分10和20缩减的候选执行处理来补偿。

下面参照附图6，将对另一个例子进行说明。在附图6中，等同于或类似于附图1所示的那些元件的元件由相同的编号表示，并且不再重复对它们的描述。

该示例的图像搜索装置包括在照片图像搜索部分10和文本搜索部分20之前的分配部分5。该分配部分5分析输入文件图像100以确定该输入文件图像100是否具有适合由照片图像搜索部分10或文本搜索部分20执行的搜索的属性，并有选择地将输入图像100分配给适合的搜索部分。

这里，分配部分5对输入文件图像100施加自动分离处理(也称为文本/图像分离处理)，其对于例如复印机和扫描仪来说是已知的，从而将图像100分成文本区和(照片)图像区。然后，当文本区大于图像区时，分配部分5将图像100提供给文本搜索部分20，当图像区大于文本区时，将图像100提供给照片图像搜索部分10。然后候选提取部分50a接收通过照片图像搜索部分10和文本搜索部分20中选择的一个获得的记录图像的得分列表，并提取一组具有较高得分的记录图像作为将提供给文件图像搜索部分52的候选。文件图像搜索部分52可以执行类似于在附图1所示的装置中执行的处理。

这里，当文本区和图像区之间的大小差异较小时，存在选择使用搜索部分10和20中的一个不能为缩窄候选提供足够精度的可能性。因此，当文本区与图像区之间的大小差异等于或小于预定的阈值时，可以将输入图像提供给搜索部分10和20两者，并且通过候选提取部分50a可以组合由两个搜索部分获得的得分，从而在得到的组合得分的基础上提取所述候选。

虽然在上述示例中，在文本区与图像区之间的大小比较的基础上选择将要使用的搜索部分10和20中的一个，所述选择方法并不局限于该示例。例如，由于由文本搜索部分20执行的搜索精度很大程度上取决于包含在图像中的字符数，分配部分5可以对包含在输入文件图像100中的字符数进行计数，并在有关字符数的信息的基础上分配输入图像。通常，文本搜索部分20的搜索精度随着字符数增加。因此可以采用这样的结构，其中如果获得的字符数超出了预定阈值，则分配部分选择文本搜索部分20，并且在其他情况下分配部分5选择照片图像搜索部分10。例如，文本搜索部分20对具有少量文本的图像不能获得足够的精度，而照片图像搜索部分10即使是对仅由文本构成的图像也可以执行一定精度的搜索。因此，当输入文件包含少量字符时，可以选择照片图像搜索部分10，以便在保持一定的搜索精度的同时可以执行候选的提取。

此外，也可以对字符数设置第一阈值，和小于第一阈值的第二阈值，并执行控制，从而当包含在输入文件图像100中的字符数超过第一阈值时选择文本搜索部分20，当所述字符数小于第二阈值时选择照片图像搜索部分10。在此情况下，当字符数处于第一阈值与第二阈值之间时，可以将输入文件图像100提供给搜索部分10和20两者，然后可以在候选提取部分50a中组合由这些搜索部分获得的得分。

这里，通过在分配部分5中执行字符识别处理例如OCR，然后对由此获得的字符数进行计数，可以获得包含在输入文件图像100中的字符数。此时，仅了解字符数就足够了，还没有必要区分各个字符。因此，在此阶段不需要执行完整的字符识别处理，在此阶段的唯一需求是各个字符的分割。通过允许文本搜索部分20使用有关该字符分割结果的数据，文本搜索部分20的字符识别部分22不需要配置由分配部分5执行的部分字符识别处理的功能。可替换的是，分配部分5还可以被配置成执行完整的字符识别处理，使得文本搜索部分20不必包含字符识别部分22。

此外，代替如上所述仅根据包含在输入文件图像100中的字符数的确定，也可以使用上述图像分离进一步获得图像区(连续的色调图像部分)相对于整个页的比率并组合所获得的图像区比率与字符数，从而确定搜索部分10和20中的哪一个更适合有关输入文件图像100的搜索。例如，当字符数大于第一预定阈值字符数值并且图像区的比率小于第一预定阈值区值时，可以确定文本搜索部分20更适合，并且当字符数小于第二预定阈值字符数值(其小于第一阈值字符数值)以及图像区的比率大于第二预定阈值区值(其大于第一阈值区值)时，确定照片图像搜索部分10更适合。在除了上述两种情况之外的情况下，可以将输入文件图像100提供给搜索部分10和20两者，并且候选提取部分50a可以在通过组合由搜索部分10和20提供的相似性得分获得的结果的基础上提取候选。

此外，在该修改的示例中，由于分配部分5的分配，输入文件图像100被提供给照片图像搜索部分10和文本搜索部分20中适合的一个，存在其中可以通过由照片图像搜索部分10和文本搜索部分20中的任何一个执行搜索获得足够高的相似性得分的情况。因此，当作为由照片图像搜索部分10或文本搜索部分20执行的搜索的结果，可以获得具有高于预定值(其已为照片图像搜索部分10和文本搜索部分20中的每一个单独确定)的相似性得分的记录图像时，可以消除由在后续级中设置的文件图像搜索部分52执行的搜索，并输出具有这种超出阈值的相似性得分的记录图像作为搜索结果。

上述结构在以下方面是有利的。具体来说，基于投影波形的搜索处理的精度相对于没有出现投影波形唯一的峰值的图像来说是很差的，例如包含背景的图像。因此，即使在照片图像搜索部分10或文本搜索部分20中对某一记录图像可以获得非常高的相似性得分，如果该记录图像的类型不适合根据投影波形进行搜索，则包含在文件图像搜索部分52中的该记录图像的相似性得分可能较低。然而，通过采用上述控制方法，其中当通过照片图像搜索部分10或文本搜索部分20可以获得非常高的相似性得分时，跳过在后续级中设置的文件图像搜索部分52执行的搜索，因此可以消除对执行不必要的操作处理的需求，也可以减少由不适当的搜索技术对可靠的搜索结果产生不利影响的风险。

参照附图7，将对图像搜索装置的又一个例子进行描述。在附图7中，等同于或类似于附图1中所示的那些元件的元件通过相同的参考编号表示，并且将不再重复对它们的描述。

该修改示例的装置采用其中设置在第一级的照片图像搜索部分10、设置在第二级的文本搜索部分20、及设置在第三级的文件图像搜索部分52连续排列的结构。利用这种结构，照片图像搜索部分10首先执行搜索，以从所有记录图像中搜索与输入文件图像100相似的第一候选，然后文本搜索部分20相对输入文件图像100使用文本搜索检查第一候选记录图像中的每个图像，并从第一候选中提取具有高得分的第二候选。

这里，对于由文本搜索部分20执行的搜索，有利的是，组合由文本搜索获得的相似性得分与基于从前一级接收到的图像特征的相似性得分，并在得到的组合得分的基础上，缩窄用于获得第二候选记录图像的搜索，而不是单独在由文本搜索获得的相似性得分的基础上缩窄搜索。利用这种结构，当输入文件图像100包含大量文本时，由于通过文本搜索部分执行的搜索，可以优先提取与输入文件图像更相似的记录图像，即使是当输入文件图像100包含少量文本时，通过增加通过基于图像特征的搜索获得的相似性得分，可以抑制搜索精度的降低。然后，文件图像搜索部分52最终根据第二候选记录图像中的每一个图像与输入文件图像100之间的投影波形执行匹配，从而提供最终的搜索结果。

利用这种结构，通常可以执行高搜索精度的高速搜索处理。此外，通过将仅对少量类型的文件实现低级识别的照片图像搜索部分10配置在第一级，可以以高速和高精度缩减所述候选。然后，利用配置在第二级、可进行高速处理的文本搜索部分20，可以进一步缩减候选，以利用高速处理获得第二候选记录图像。此外，通过允许文本搜索部分20组合从第一级获得的相似性得分与通过文本搜索获得的相似性得分，并在组合得分的基础上缩窄候选，即使是对包含少量文本的输入文件图像100也可以抑制在搜索精度方面的降低。然后，在第三级，可以通过文件图像搜索部分52执行最后的缩窄，文件图像搜索部分52可以对重叠的条目执行高级识别，例如图像上的符号和标记，从而可以考虑这些符号等获得具有高相似度的记录图像。在此情况下，即使是由文件图像搜索部分52执行的处理有点慢，处理所需的时间仅仅是一个小问题，因为，该文件图像搜索部分52的处理而仅对第二候选记录图像执行，由于在前两级的缩减处理，第二候选记录图像在数量上足够少。

在此示例中，与上述示例类似，如果具有等于或大于预定阈值的相似性得分的记录图像可以在第一级上设置的照片图像搜索部分10中获得，可以跳过在第二级和后续级上执行的搜索处理，并获得最终的搜索结果。类似的，如果具有等于或大于预定阈值(其独立于第一级的阈值获得)的相似性得分的记录图像可以在第二级上设置的文本搜索部分20中获得，则通过跳过在第三级和后续级上执行的搜索处理，可以获得搜索结果。

以上已经描述本发明的实施例和示例。上述图像搜索装置典型地通过在通用计算机中执行其中描述了计算机系统的每个部分的功能或处理内容(以下将详细描述)的程序来实现。这种计算机具有其中CPU(中央处理单元)80、存储器(主存储器)82、各种I/O(输入/输出)接口84或类似设备通过总线86连接的电路结构。此外，硬盘驱动器88和用于读取各种标准的便携式非易失性存储介质例如CD、DVD或闪速存储器的盘驱动器90例如通过I/O接口84连接到总线86。这种驱动器88或90相对存储器用作外部存储设备。特别的，其中描述所述实施例的处理内容的程序通过诸如CD、DVD等的存储介质存储、或通过网络存储在诸如硬盘驱动器88之类的固定存储设备中，然后安装在计算机系统中。接着读出存储在固定存储设备中的程序并存储在存储器中，以及进一步通过CPU执行，从而实现所述实施例的处理。

由于现有的搜索应用程序可以直接被用作照片图像搜索部分10和文本搜索部分20，仅需要提供其中描述了提供输入文件图像100给多个搜索部分10、20和52以使这些搜索部分计算得分的功能、以及将由候选提取部分50执行的功能的程序，作为本实施例特有的程序。包括照片图像搜索部分10、文本搜索部分20或类似部分的各个搜索部分可以配置成使得它们可以例如以插件的形式被添加到程序中。

虽然在上述示例中，图像搜索装置在单个计算机上构造，这种结构仅仅是一个示例，其中构成所述图像搜索装置的每个上述部件分布在网络(诸如互联网或LAN)上的系统结构也落在本发明的范围内。一种可能的示例系统结构是使得在网络上提供特征量DB 30和文本DB40中的一个或两者作为独立的数据库设备，独立于其中安装有其他部件组并由照片图像搜索部分10和文本搜索部分20通过网络使用的计算机。此外，特征量DB 30和文本DB 40每个都可以单独设置在网络上或以两个或多个数量设置在网络上。

虽然已使用具体的术语对本发明的典型实施例进行了描述，这种描述仅仅是为了示意性的目的，应该理解，在不脱离所附的权利要求书的精神和范围的情况下可以做出各种变化和改变。

Claims (16)

1.一种图像搜索系统，包括：

第一计算部分，基于每个记录图像和输入图像的图像特征计算该每个记录图像相对于该输入图像的第一相似性得分；

第二计算部分，基于每个记录图像和该输入图像的文本特征计算该每个记录图像相对于该输入图像的第二相似性得分；

候选提取部分，基于每个记录图像的该第一和第二相似性得分提取一个或多个候选记录图像；

第三计算部分，基于该输入图像和每个候选记录图像的投影波形计算该每个候选记录图像的第三相似性得分；以及

搜索部分，基于每个记录图像的该第三相似性得分确定与该输入图像相似的一个或多个记录图像。

2.根据权利要求1所述的图像搜索系统，其中：

该第一计算部分将该输入图像分成多个区域，并获得每个区域的图像特征量，以及基于所获得的该输入图像的每个区域的图像特征量的分布与每个记录图像的每个区域的图像特征量的分布，计算该每个记录图像相对于该输入图像的第一相似性得分。

3.根据权利要求1所述的图像搜索系统，其中：

该第二计算部分获取有关通过应用到该输入图像的字符识别处理获得的文本字符串的文本特征量，并基于所获得的该文本特征量与每个记录图像的文本特征量，计算该每个记录图像相对于该输入图像的第二相似性得分。

4.根据权利要求1所述的图像搜索系统，其中：

所述第三计算部分获取该输入图像的投影波形，并基于该输入图像的投影波形与每个候选记录图像的投影波形，计算该每个候选记录图像相对于该输入图像的第三相似性得分。

5.根据权利要求1所述的图像搜索系统，其中：

该候选提取部分将统计标准化处理应用于每个记录图像的第一相似性得分，以获取每个记录图像的第一标准化得分，将统计标准化处理应用于每个记录图像的第二相似性得分，以获取每个记录图像的第二标准化得分，并基于该第一标准化得分与该第二标准化得分提取候选记录图像。

6.根据权利要求5所述的图像搜索系统，其中：

所述候选提取部分计算记录图像的第一相似性得分相对于所有记录图像的第一相似性得分的偏差值作为该记录图像的第一标准化得分，并且计算记录图像的第二相似性得分相对于所有记录图像的第二相似性得分的偏差值作为该记录图像的第二标准化得分。

7.一种图像搜索系统，包括：

第一计算部分，基于每个记录图像和输入图像的图像特征计算该每个记录图像相对于该输入图像的第一相似性得分；

第二计算部分，基于每个记录图像和该输入图像的文本特征计算每个记录图像相对于该每个输入图像的第二相似性得分；

候选提取部分，其将该输入图像提供给该第一计算部分或该第二得分计算部分，提供给该第一计算部分或该第二得分计算部分中的哪一个根据该输入图像中的文本量来确定，以及基于所得到的每个记录图像的该第一或该第二相似性得分提取一个或多个候选记录图像；

第三计算部分，基于该输入图像与每个候选记录图像的投影波形计算该每个候选记录图像的第三相似性得分；以及

搜索部分，基于每个记录图像的第三相似性得分确定与该输入图像相似的一个或多个记录图像。

8.根据权利要求7所述的图像搜索系统，其中：

所述候选提取部分基于该输入图像中的文本量确定连续的色调图像与文本中哪个在该输入图像中是主要的，并且当确定连续的色调图像是主要的时候，将该输入图像提供给该第一计算部分，当确定该文本是主要的时候，将该输入图像提供给该第二得分计算部分。

9.根据权利要求8所述的图像搜索系统，其中：

当确定该文本或该连续的色调图像在所述输入图像中都不是主要的时候，所述候选提取部分将该输入文件提供给该第一得分计算部分和该第二得分计算部分两者，并根据每个记录图像的该第一相似性得分和该第二相似性得分提取一个或多个候选记录图像。

10.一种图像搜索系统，包括：

第一候选提取部分，基于每个记录图像和输入图像的图像特征计算该每个记录图像相对于该输入图像的第一相似性得分，并基于该第一相似性得分提取第一候选记录图像；

第二候选提取部分，基于每个第一候选记录图像和该输入图像的文本特征计算该每个第一候选记录图像相对于该输入图像的第二相似性得分，并基于该第二相似性得分提取第二候选记录图像；以及

搜索部分，基于该输入图像与每个第二候选记录图像的投影波形计算该每个第二候选记录图像相对于该输入图像的第三相似性得分，并基于每个记录图像的第三相似性得分确定与该输入文件相似的一个或多个记录图像。

11.一种图像搜索方法，包括：

基于每个记录图像与输入图像的图像特征计算该每个记录图像相对于该输入图像的第一相似性得分；

基于每个记录图像与该输入图像的文本特征计算该每个记录图像相对于该输入图像的第二相似性得分；

基于每个记录图像的第一和第二相似性得分提取一个或多个候选记录图像；

基于该输入图像与每个候选记录图像的投影波形计算该每个候选记录图像的第三相似性得分；以及

基于每个记录图像的第三相似性得分确定与该输入图像相似的一个或多个记录图像。

12.一种图像搜索方法，包括：

由第一计算部分基于每个记录图像与输入图像的图像特征计算该每个记录图像相对于该输入图像的第一相似性得分；

由第二计算部分基于每个记录图像与该输入图像的文本特征计算该每个记录图像相对于该输入图像的第二相似性得分；

基于该输入图像中的文本量，确定将要把该输入图像提供给该第一计算部分或该第二得分计算部分中的哪一个；

根据所述确定将该输入图像提供给该第一计算部分或该第二得分计算部分；

基于所得到的每个记录图像的第一相似性得分或第二相似性得分提取一个或多个候选记录图像；

基于该输入图像与每个候选记录图像的投影波形计算该每个候选记录图像的第三相似性得分；以及

基于每个记录图像的第三相似性得分确定与该输入图像相似的一个或多个记录图像。

13.一种图像搜索方法，包括：

基于每个记录图像与输入图像的图像特征计算该每个记录图像相对于该输入图像的第一相似性得分；

基于该第一相似性得分提取第一候选记录图像；

基于每个第一候选记录图像与该输入图像的文本特征计算该每个第一候选记录图像相对于该输入图像的第二相似性得分；

基于该第二相似性得分提取第二候选记录图像；

基于该输入图像与每个第二候选记录图像的投影波形计算该每个第二候选记录图像相对于该输入图像的第三相似性得分；以及

基于每个记录图像的该第三相似性得分确定与该输入文件相似的一个或多个记录图像。

14.一种可由计算机读取的存储介质，该存储介质存储由计算机执行的指令程序以执行搜索与输入图像相似的一个或多个记录图像的功能，该功能包括：

基于每个记录图像与输入图像的图像特征计算该每个记录图像相对于该输入图像的第一相似性得分；

基于每个记录图像与该输入图像的文本特征计算该每个记录图像相对于该输入图像的第二相似性得分；

基于每个记录图像的第一和第二相似性得分提取一个或多个候选记录图像；

基于该输入图像与每个候选记录图像的投影波形计算该每个候选记录图像的第三相似性得分；以及

基于每个记录图像的该第三相似性得分确定与该输入图像相似的一个或多个记录图像。

15.一种可由计算机读取的存储介质，该存储介质存储由计算机执行的指令程序以执行搜索与输入图像相似的一个或多个记录图像的功能，该功能包括：

由第一计算部分基于每个记录图像与输入图像的图像特征计算该每个记录图像相对于该输入图像的第一相似性得分；

由第二计算部分基于每个记录图像与该输入图像的文本特征计算该每个记录图像相对于该输入图像的第二相似性得分；

基于该输入图像中的文本量，确定将该输入图像提供给该第一计算部分或该第二计算部分中的哪一个；

根据所述确定将该输入图像提供给该第一计算部分或该第二计算部分；

基于每个记录图像的所得到的第一相似性得分和第二相似性得分提取一个或多个候选记录图像；

基于该输入图像与每个候选记录图像的投影波形计算该每个候选记录图像的第三相似性得分；以及

基于每个记录图像的该第三相似性得分确定与该输入图像相似的一个或多个记录图像。

16.一种可由计算机读取的存储介质，该存储介质存储由计算机执行的指令程序以执行搜索与输入图像相似的一个或多个记录图像的功能，该功能包括：

基于每个记录图像与输入图像的图像特征计算该每个记录图像相对于该输入图像的第一相似性得分；

基于该第一相似性得分提取第一候选记录图像；

基于每个第一候选记录图像与该输入图像的文本特征计算该每个第一候选记录图像相对于该输入图像的第二相似性得分；

基于该第二相似性得分提取第二候选记录图像；

基于该输入图像与每个第二候选记录图像的投影波形计算该每个第二候选记录图像相对于该输入图像的第三相似性得分；以及

基于每个记录图像的该第三相似性得分确定与该输入文件相似的一个或多个记录图像。

Images