CN101404020A - 图像处理方法和设备、图像形成设备以及图像读取设备 - Google Patents

Abstract

本发明公开了一种图像处理方法和设备、图像形成设备以及图像读取设备。在与由特征计算部件针对每个参考图像计算的每个哈希值相关联地存储参考图像的文档页索引时，存储处理部件确定已经与每个哈希值相关联地存储的文档页索引的数量是否大于或等于预设上限值。当已经存储的文档页索引的数量小于该上限值时，存储处理部件将参考图像的文档页索引与由特征计算部件计算的哈希值相关联地存储在哈希表中，或者当已经存储的文档页索引的数量大于或等于该上限值时，使哈希值无效。

Description

图像处理方法和设备、图像形成设备以及图像读取设备

技术领域

本发明涉及：用于基于从输入图像获取的特征来判断输入图像是否与预备参考图像相似的图像处理方法和图像处理设备；使用该图像处理设备的图像形成设备和图像读取设备；以及记录用于实现该图像处理设备的计算机程序的存储器产品。

背景技术

作为用于将通过使用扫描仪读取文档所获得的图像数据与预先存储的预定图像数据相匹配、以便判断图像相似性的图像处理，例如提出了一种用于使用OCR(光学字符阅读器)从图像中提取关键字并基于所提取的关键字判断图像相似性的方法。在另一种方法中，要被执行相似性判断的文档局限于包含格线的纸张形式，然后提取格线的特征以便判断图像的相似性。

此外，提出了一种匹配设备，用于提取输入文档的特征以生成描述符，以及将所生成的描述符与预先存储在描述符数据库中的描述符相匹配，以便执行输入文档和描述符数据库中的描述符的匹配(见日本专利申请公开号H7-282088)。

在日本专利申请公开号H7-282088中公开的设备中，描述符和包括生成各个描述符的特征的文档列表被存储在描述符数据库中。描述符被生成为不因文档数字化、输入文档和文档数据库中的匹配文档之间的差异等等引起的失真而改变。当扫描描述符数据库时，日本专利申请公开号H7-282088中公开的设备为文档数据库中的各个文档累加投票，并确定获得最多投票数的一个文档或者获得超过阈值的投票数的文档为匹配文档。

另外提出了一种用于由数码相机获取的图像、由扫描仪读取的图像等等的设备，该设备获取图像的连通部分的重心作为特征点(假设连通部分是字构件)，利用所述特征点计算几何不变量，进一步从几何不变量获取特征，在哈希表中存储该特征、表示特征点的索引以及表示图像的索引，在图像检索时通过相似的处理从输入图像(查询)中获取特征点、特征和表示该特征点的索引，并为预先存储在哈希表中的图像投票，以便进行检索(见国际公布小册子2006/92957)。

在国际公布小册子2006/92957中所描述的是从宽范围提取特征点以用于计算一个特征，增加特征点数等等，以便提高特征的准确性。而且，在国际公布小册子2006/92957中，通过预先记录输入图像中的特征点和参考文档中的点的对应性、以及不为已经在为预先存储的图像投票中被关联的点进行投票以防止不正确的投票，从而有可能抑制图像检索确定准确性的降低。在国际公布小册子2006/92957中还描述了当在哈希表中存储更多页图像时，图像检索确定准确性降低，并且认为其原因是存储具有相同特征的不同文档的机会增加了。

发明内容

日本专利申请公开号H7-282088中的描述符数据库具有其中针对一个描述符存储有限数量的数据的表格形式结构，而不是其中能够存储无限元素的列表结构。当描述符数据库这样以具有固定大小的表格形式实现时，针对一个描述符所要存储的数据数量是从存储在描述符数据库中的所有文档中的每一个文档中提取的描述符数量之和。由于当从一个文档提取太多描述符时，描述符数据库变得巨大，因此在这种情况下期望减少所要提取的描述符的数量。应当注意，当描述符减少时，提高了图像检索的性能，但在图像检索中可能引起不可检测的错误或者决定性失误。

日本专利申请公开号H7-282088中还描述了由于描述符是冗余的，因此在图像检索中不必使用存储在描述符数据库中的所有描述符，例如可能仅仅使用高质量即准确的描述符来检索图像。因此，在基于多个存储的描述符匹配的情况下，即使当一个文档中的字符被噪声破坏，如果文档中还有未受噪声影响的描述符，则还是有可能基于描述符进行匹配。

然而，日本专利申请公开号H7-282088没有描述从多个不同文档中可提取相同描述符的问题。当从多个不同文档提取相同的描述符时，所述描述符应用于从中提取所述描述符的所有文档，因此所述描述符对文档的标识没有意义但是会引起相似图像的不正确判断。

而且，国际公布小册子2006/92957没有描述无效特征对确定准确性的影响根据预先存储在哈希表中的参考图像的数量而变化，并且具有当参考文档的数量少时确定准确性降低的问题。

本发明是为了解决以上问题而作出的，并且其目的是提供一种可以高准确度判断图像的相似性的图像处理方法、图像处理设备；包括该图像处理设备的图像形成设备和图像读取设备；以及记录用于实现该图像处理设备的计算机程序的存储器产品。

在按照本发明的图像处理方法中，提供了用于彼此关联地存储多种特征和多个参考图像的存储部件，从输入文档图像提取特征以及基于所提取的特征和存储在存储部件中的多种特征来判断文档图像是否与参考图像相似。当输入图像作为参考图像存储在存储部件中时，图像处理设备从输入图像提取特征并确定存储在存储部件中、与所提取的特征相关联的参考图像的数量是否大于或等于预定数量。当参考图像的数量小于预定数量时，图像处理设备在存储部件中存储输入图像，作为与所提取的特征相关联的参考图像，或者当参考图像的数量大于或等于预定数量时，使特征无效。相应地，图像处理设备基于存储在存储部件内的特征中未被无效的多种特征来判断文档图像是否与参考图像相似。

应当注意，以上图像处理设备可以通过计算机实现。在这种情况下，用于使计算机作为以上各个装置工作、以便用计算机实现以上图像处理设备的程序以及记录所述程序的计算机可读存储器产品也在本发明的范围之内。

由于当针对特征存储了预定数量或更多的参考图像时该特征被无效，并且作为对于判断输入文档图像与预先存储的参考图像的任何一个是否相似的处理是无效的特征，该特征不用于后续的确定处理，因此本发明能够进行图像相似性的高准确性判断。同时，由于尽管当参考图像的数量大时要被无效的特征被无效，但例如当参考图像的数量小时正常应被无效的特征可能不被无效，所以相似参考图像判断的准确性可依赖于参考图像的数量而变化。因此，通过预先使从预定图像中提取的特征无效，使得即使当参考图像的数量小时，图像相似性判断中的匹配准确性也能够稳定地保持。

附图说明

图1是示出按照本发明的使用图像处理设备的图像形成设备的配置的框图；

图2是示出文档匹配处理部件的配置的框图；

图3是示出特征点计算部件的配置的框图；

图4是示出滤波部件的滤波器系数的示例的说明图；

图5是示出连通构件的特征点的示例的说明图；

图6是示出字符串特征点的提取结果的示例的说明图；

图7是示出当前特征点和周围特征点的说明图；

图8A、8B、8C和8D是示出有关当前特征点的不变量计算的示例的说明图；

图9A、9B、9C和9D是示出有关当前特征点的不变量计算的示例的说明图；

图10A和10B是示出哈希表结构的说明图；

图11A、11B和11C是示出哈希表结构的说明图；

图12是示出基于投票结果的相似性判断的示例的说明图；

图13A和13B是示出文档存储处理过程的流程图；

图14是示出按照本发明的使用图像处理设备的数字彩色多功能外围设备的配置的框图；以及

图15是示出按照本发明的图像读取设备的配置的框图。

具体实施方式

以下描述将参考图示本发明的一些实施例的附图来说明本发明。图1是示出按照本发明的使用图像处理设备的图像形成设备100的配置的框图。图像形成设备100(例如，数字彩色复印机或具有组合功能比如打印机功能、传真以及电子邮件分发功能的多功能外围设备)包括彩色图像输入设备1、彩色图像处理设备2(图像处理设备)、彩色图像输出设备3以及用于各种操作的操作面板4。当彩色图像输入设备1读取文档时获得的RGB(R：红色，G：绿色，B：蓝色)模拟信号的图像数据输出到彩色图像处理设备2，然后在彩色图像处理设备2中通过预定的处理来进行处理，接着作为CMYK(C：青色，M：品红色，Y：黄色，K：黑色)数字彩色信号输出到彩色图像输出设备3。

彩色图像输入设备1例如是具有CCD(电荷耦合器件)的扫描仪。彩色图像输入设备1以RGB模拟信号的形式从文档读取反射光图像，然后将读取的RGB信号输出到彩色图像处理设备2。此外，彩色图像输出设备3是使用电子照相术方法或喷墨方法的打印机，其用于将文档图像的图像数据输出到记录纸上。此外，彩色图像输出设备3可以是比如LCD显示器的显示单元。

彩色图像处理设备2包括A/D转换部件20、阴影校正部件21、文档匹配处理部件22、输入色调校正部件23、分割处理部件24、色彩校正部件25、黑色生成和底色去除部件26、空间滤波器处理部件27、输出色调校正部件28、色调再现处理部件29、控制这些硬件部件操作的CPU(中央处理单元)等等。彩色图像处理设备2由ASIC(专用集成电路)等组成。

A/D转换部件20将从彩色图像输入设备1输入的RGB信号转换成例如10位数字信号，然后将转换后的RGB信号输出到阴影校正部件21。

阴影校正部件21执行校正处理，其中从所输入的RGB信号中去除在彩色图像输入设备1的照明系统、图像聚焦系统以及图像传感系统中产生的各种失真，然后，将转换后的RGB信号输出到文档匹配处理部件22。阴影校正部件21还执行调整色彩平衡的处理以及执行将信号转换为比如容易由在彩色图像处理设备2中采用的图像处理系统处理的密度信号(像素值)这样的信号的处理。

文档匹配处理部件22二值化输入图像，计算基于二值化的图像确定的连通构件的特征点，以及使用从特征点计算的多种特征来判断输入图像和参考图像之间的相似性。当判断图像是相似的时，文档匹配处理部件22输出表示是否允许对相似文档执行处理的确定信号。例如，当禁止将被判断为相似文档的文档输出、复印、归档到预定文件夹等时，文档匹配处理部件22输出确定信号“0”，或者当不禁止以上操作时，输出确定信号“1”。应当注意，是否允许对每个相似文档执行处理是预先存储的。

如此，图像形成设备100可以依赖于输入图像是否与参考图像相似来取消或执行针对该输入图像的其执行已被指示的各种处理，并且可以执行图像的匹配以及依赖于匹配结果的处理。文档匹配处理部件22将输入的RGB信号不作任何修改地输出到后续阶段的输入色调校正部件23。

输入色调校正部件23对由阴影校正部件21去除各种失真后的RGB信号执行图像质量调整处理比如页面背景密度去除或对比度调整，然后将处理后的RGB信号输出到分割处理部件24。

基于输入的RGB信号，分割处理部件24分别将输入图像的像素分割成文本构件、半色调构件和照片(连续色调)构件。基于分割结果，分割处理部件24将表示每个像素属于哪个片段的分割种类信号输出到黑色生成和底色去除部件26、空间滤波器处理部件27以及色调再现处理部件29。此外，分割处理部件24将输入的RGB信号不作任何修改地输出到后续阶段的色彩校正部件25。

色彩校正部件25将输入的RGB信号转换成CMY的颜色空间，接着依照彩色图像输出设备3的特性执行色彩校正，然后将校正过的CMY信号输出到黑色生成和底色去除部件26。具体地，为了在色彩再现中高保真的目的，色彩校正部件25基于包含不必要吸收成分的CMY色彩原料的光谱特性来执行去除色彩杂质的处理。

基于从色彩校正部件25输入的CMY信号，黑色生成和底色去除部件26生成K(黑色)信号，并同时从输入的CMY信号减去K信号，以便生成新的CMY信号，然后将生成的CMYK信号输出到空间滤波器处理部件27。

以下描述黑色生成和底色去除部件26中的处理的示例。例如，在通过使用轮廓黑色(skeleton black)的黑色生成处理的情况下，轮廓曲线的输入-输出特性由y＝f(x)表示，输入数据由C、M和Y表示，输出数据由C′、M′、Y′和K′表示，且UCR(Under Color Removal，底色去除)比率由α(0＜α＜1)表示。因而，在黑色生成和底色去除处理中输出的数据由K′＝f{min(C，M，Y)}、C′＝C-αK′、M′＝M-αK′以及Y′＝Y-αK′表示。

空间滤波器处理部件27基于分割种类信号通过数字滤波器对从黑色生成和底色去除部件26输入的CMYK信号执行空间滤波。通过执行空间滤波处理，图像的空间频率特性被校正，使得在彩色图像输出设备3中防止输出图像的模糊发生或者颗粒度恶化。例如，为了提高尤其是黑色字符(文本)或者彩色字符的再现性，空间滤波器处理部件27执行边缘增强处理，以便针对由分割处理部件24分割成文本构件的片段加强高频成分。此外，空间滤波器处理部件27对由分割处理部件24分割成半色调构件的片段执行用于去除输入半色调构件的低通滤波。空间滤波器处理部件27将处理过的CMYK信号输出到输出色调校正部件28。

输出色调校正部件28执行将从空间滤波器处理部件27输入的CMYK信号转换成半色调屏幕区比率的输出色调校正处理，半色调屏幕区比率是彩色图像输出设备3的特征值。然后，输出色调校正部件28将已被执行输出色调校正处理的CMYK信号输出到色调再现处理部件29。

基于从分割处理部件24输入的分割种类信号，色调再现处理部件29对从输出色调处理部件28输入的CMYK信号执行预定处理。例如，为了提高尤其是黑色字符或彩色字符的再现性，色调再现处理部件29对分割成文本构件的片段执行二值化处理或者多级抖动处理，使得信号变得适于彩色图像输出设备3中的高频成分再现。

此外，色调再现处理部件29对由分割处理部件24分割成半色调构件的片段执行色调再现处理(半色调生成)，使得图像最终被分割成像素以便能够再现每个像素色调。此外，色调再现处理部件29对由分割处理部件24分割成照片构件的片段执行二值化处理或者多级抖动处理，使得信号变得适于彩色图像输出设备3中的色调再现。

彩色图像处理设备2将由色调再现处理部件29处理的图像数据(CMYK信号)临时存储到存储部件(没有示出)中。接着，以执行图像形成的预定定时，彩色图像处理设备2读取在存储部件中存储的图像数据，然后将读取的图像数据输出到彩色图像输出设备3。对以上描述的处理的控制例如由CPU(没有示出)执行。

操作面板4由显示部件构成，比如液晶显示器、设置按钮等等。基于从操作面板4输入的信息来控制彩色图像输入设备1、彩色图像处理设备以及彩色图像输出设备3的操作(例如用于存储文档的文档存储模式的指定，比如有关文档图像的归档、复印、电子分发等输出处理的可选选择等等)。

图2是示出文档匹配处理部件22的配置的框图。文档匹配处理部件22包括特征点计算部件221、特征计算部件222、无效特征确定部件223、投票处理部件224、相似性判断处理部件225、存储处理部件226、存储器227、用于控制这些部件的控制部件228等等。

特征点计算部件221对输入图像执行稍后描述的预定处理，并二值化输入图像，提取(计算)基于二值图像而指定的连通构件的特征点(例如，通过累加二值图像中构成连通构件的各个像素的坐标值并且将所累加的坐标值除以在连通构件中包含的像素数量所获得的值)。特征点计算部件221使存储器227存储所提取的特征点，并将所提取的特征点输出到特征计算部件222。

图3是示出特征点计算部件221的配置的框图。特征点计算部件221包括信号转换处理部件2210、分辨率转换部件2211、滤波部件2212、二值化处理部件2213以及重心计算部件2214。

当输入图像是彩色图像时，信号转换处理部件2210对彩色图像进行色差消除并将其转换成亮度信号或者光亮度信号，然后将转换后的图像输出到分辨率转换部件2211。例如，当每个像素的色彩分量RGB分别由Rj、Gj和Bj表示时，亮度信号Yj由Yj＝0.30×Rj+0.59×Gj+0.11×Bj表示。在这里，本发明不限于这个公式。也就是说，RGB信号可被转换成CIE1976L*a*b*信号。

即使当输入图像是在彩色图像输入设备1中经过光学放大变化的图像时，分辨率转换部件2211再次对输入图像执行放大变化，比如实现预定分辨率，然后将经过放大变化的图像输出到滤波部件2212。由此，即使当彩色图像输入设备1已经执行了放大变化处理以便改变了分辨率时，特征点的提取也可不受其影响来实现。这允许文档准确分类。特别地，在字符尺寸减小的情况下，避免了以下可能性：当连通构件要通过二值化处理来指定时，带有污渍的字符使本来分离的区域被指定，就好像它们彼此连通从而使算出的重心可能偏离。此外，分辨率转换部件2211将图像转换成分辨率小于当图像由彩色图像输入设备1以统一放大倍率读取时获得的分辨率的图像。例如，由彩色图像输入设备1以600dpi(每英寸点数)读取的图像被转换成300dpi的图像。这减小了后续阶段的处理量。

滤波部件2212校正输入图像的空间频率特性(例如，图像的增强处理和平滑)，然后将校正的图像输出到二值化处理部件2213。由于彩色图像输入设备1的空间频率特性依赖于每个型号而不同，因此，滤波部件2212将不同的空间频率特性校正为所需的特性。在从彩色图像输入设备1输出的图像(例如，图像信号)中，由例如：光系统部件，比如透镜和反射镜；孔径比、转移效率和CCD光接受表面的余留图像；以及由物理扫描引起的扫描不均衡和存储效应引起比如图像模糊的恶化。滤波部件2212对边界或边缘执行增强处理，以便恢复比如图像中产生的模糊的恶化。此外，为抑制在后续阶段执行的特征点提取处理中不必要的高频成分，滤波部件2212执行平滑化。这允许准确提取特征点，且因此实现图像相似性的准确判断。在这里，在滤波部件2212中使用的滤波器系数可依据所采用的彩色图像输入设备1的型号、特性等来适当地设置。

图4是示出滤波部件2212的滤波器系数的示例的说明图。如图所示，空间滤波器例如是具有7×7(7行乘以7列)尺寸且执行增强处理和平滑处理的滤波器。输入图像的像素被扫描以便由空间滤波器对所有像素执行运算处理。在这里，空间滤波器的尺寸不限于7×7尺寸。也就是说，尺寸可以是3×3、5×5等。此外，滤波器系数的数值是示例。也就是说，实际值不限于这个示例，并且可以依照所采用的彩色图像输入设备1的型号、特性等来适当地设置。

二值化处理部件2213将输入图像的亮度值(亮度信号)或光亮度值(光亮度信号)与阈值比较以便二值化图像，然后将经过二值化的二值图像输出到重心计算部件2214。

基于从二值化处理部件2213输入的二值图像的每个像素的二值化信息(例如，由“1”和“0”表示)，重心计算部件2214对每个像素执行标签化(标签附加处理)。然后，重心计算部件2214指定连通构件，其中具有相同标签的像素是连续的，接着提取所指定的连通构件的重心作为特征点。重心计算部件2214让存储器227存储所提取的特征点并将所提取的特征点输出到特征计算部件222。在这里，特征点由二值图像中的坐标(x坐标，y坐标)表示。

图5是示出连通构件的特征点的示例的说明图。在图中，指定的连通构件是字符“A”，且被指定为一组被授予相同标签的像素。这个字符“A”的特征点(重心)位于由图中的黑点表示的位置(x坐标，y坐标)。

图6是示出字符串特征点的提取结果的示例的说明图。在由多个字符组成的字符串的情况下，依赖于字符的种类，具有不同坐标的多个特征点被提取。

作为当前特征点，特征计算部件222采用从特征点计算部件221输入的每个特征点(即，连通构件的重心的坐标值)作为当前特征点，然后提取例如具有离当前特征点较小距离的周围的四个特征点。

图7是示出当前特征点和周围特征点的说明图。如图所示，例如，按与当前特征点P1的距离的顺序，针对当前特征点P1提取由闭合曲线S1围绕的四个特征点(针对当前特征点P1，当前特征点P2也作为一个特征点被提取)。此外，针对当前特征点P2，例如，按与当前特征点P2的距离的顺序，提取由闭合曲线S2围绕的四个特征点(针对当前特征点P2，当前特征点P1也作为一个特征点被提取)。

特征计算部件222从这四个被提取的特征点选择三个特征点以计算不变量。在这里，所选择的特征点的数量不限于三个。也就是说，可选择四个、五个等特征点。所要选择的特征点的数量根据期望的不变量的种类而不同。例如，从三个点计算的不变量是相似性不变量(有关包括旋转、平行移动和放大/缩小的几何变化的不变参数)。

图8A、8B、8C和8D是示出有关当前特征点P1的不变量计算的示例的说明图。图9A、9B、9C和9D是示出有关当前特征点P2的不变量计算的示例的说明图。如图8A、8B、8C和8D所示，三个特征点是从当前特征点P1周围的四个特征点选择的。于是，四种不变量分别由H1j(j＝1，2，3，4)表示。用于从四个特征点选择三个特征点的组合和顺序依赖于与当前特征点P1的距离被唯一地预先设置。每个不变量H1j通过由H1j＝A1j/B1j表示的公式计算。在这里，A1j和B1j中的每个表示特征点之间的距离。这样，例如，即使当文档被旋转、移动或倾斜时，不变量H1j不改变。因此，图像相似性的判断以满意的准确性实现。

类似地，如图9A、9B、9C和9D所示，三个特征点是从当前特征点P2周围的四个特征点选择的。于是，四种不变量分别由H2j(j＝1，2，3，4)表示。用于从四个特征点选择三个特征点的组合和顺序依赖于与当前特征点P2的距离被唯一地预先设置。每个不变量H2j通过由H2j＝A2j/B2j表示的公式计算。在这里，A2j和B2j中的每个表示特征点之间的距离。依照类似的过程，可为其它当前特征点计算不变量。

基于针对每个当前特征点计算的不变量，特征计算部件222计算哈希值(特征，特征向量)Hi。当前特征点Pi的哈希值Hi由Hi＝(Hi1×10³+Hi2×10²+Hi3×10¹+Hi4×10⁰)/D表示。在这里，D是由期望多大余数确定的常数。例如，当D被设置为“10”时，余数落在“0”和“9”之间。这给出了算出的哈希值的取值范围。此外，i是自然数。在这里，上面提及的用作特征的哈希值是示例，且不限于此。可以使用另一个哈希函数。上面提及的示例是针对提取四个点作为其它周围的特征点的情况而描述的。然而，点的数量不限于四个。例如可以提取六个点。在这种情况下，可以从六个特征点中提取五个点。于是，对于提取五个点的六种方法的每一个，不变量可以通过从五个点中提取三个点来计算，以便可以计算哈希值。

无效特征确定部件223基于后面将描述的哈希表的存储内容来确定由特征计算部件222针对每个当前特征点计算的每个哈希值是否是已被无效的哈希值，并将确定结果输出到投票处理部件224。当文档匹配处理部件22存储用于图像相似性判断的文档图像时，也就是说，当使用操作面板4指定用于存储文档的文档存储模式时，投票处理部件224和相似性判断处理部件225不执行处理并将针对每个当前特征点由特征计算部件222计算的哈希值或者由无效特征确定部件223输出的确定结果输出到存储处理部件226。

在文档存储模式的情况下，存储处理部件226设置参考图像的文档页索引(例如，ID1、ID2...)并在哈希表中存储在上面描述的处理中针对每个参考图像计算的哈希值(例如，H1、H2...)和所设置的文档页索引。应当注意，文档页索引用于辨别单独参考图像以及辨别文档的各个页。应当注意，当文档匹配处理要被执行时，也就是说，当使用操作面板4指定了对文档图像执行处理时，存储处理部件226不执行处理并将从相似性判断处理部件225输出的确定信号不作任何修改地输出。

图10A和10B是示出哈希表结构的说明图。如图10A和10B所示，哈希表结构由包括哈希值和文档页索引的单独字段构成。更具体地，对应于文档页索引，存储表示文档中位置的点索引和不变量。为了图像相似性判断的目的，要被匹配的图像、文档图像等的匹配信息预先存储在哈希表中。哈希表存储在存储器227中。在这里，如图10B所示，当哈希值彼此相等(H1＝H5)时，哈希表中的这两个条目可以统一。

在这里，当具有相同特征的特征点包括在多个不同文档中时，也就是说，当在哈希表中针对一个特征(哈希值)存储了多个不同文档的索引(文档页索引)时，观察到以下现象。首先，由于多个不同文档页索引在哈希表中针对一个特征存储，因此针对该特征存储的文档页索引的数量与针对其它特征存储的文档页索引的数量相比较变得明显大。

而且，当针对包括大量具有如下特征的特征点的特定文档执行匹配，其中如所描述的，与该特征相关联地，大量文档页索引被存储时，针对从中提取所述特征点的多个文档(具体地说，对应于与所述特征点相关联地存储在哈希表中的文档页索引的文档)所获得的投票数在后面将要描述的投票处理部件224的投票处理中显著增加。在应当执行匹配的所有文档被存储的状态下，由于投票更集中在正常应当判断为相似的文档上，因此即使当上面的现象发生时，判断图像的相似性也是可能的。然而，在应当执行匹配的文档的任何一个未被存储的状态下，存在如下可能性：当判断未存储的文档未被存储是必需的时，上面的现象引起未存储的文档与参考图像的任何一个相似的不正确判断。

因此，在本实施例中，为了避免上述现象，针对一个哈希值能够在哈希表中存储的文档页索引的数量限制为预设上限值，超过该上限值的哈希值被无效，因此在图像匹配中不可能为其投票。具体地说，在与由特征计算部件222针对每个参考图像计算的哈希值相关联地存储参考图像的文档页索引时，存储处理部件(确定装置)226确定与每个哈希值相关联地预先存储的文档页索引的数量是否大于或等于预设上限值(预定数量)。当文档页索引的数量小于上限值时，存储处理部件226将参考图像的文档页索引与由特征计算部件222针对每个参考图像计算的哈希值相关联地进行存储。当文档页索引的数量大于或等于上限值时，存储处理部件(无效装置)226使该哈希值无效。

当存储处理部件226从无效特征确定部件223获得由特征计算部件222计算的哈希值不是无效哈希值的确定结果时，存储处理部件226不执行确定与该哈希值相关联地预先存储的文档页索引的数量是否大于或等于上限值的处理。

图11A、11B和11C是示出哈希表结构的说明图。图11A中示出的哈希表被构造成使得文档页索引不能与被存储处理部件226无效的哈希值(图1A中的H3)相关联地存储在图10A中示出的哈希表中。应当注意，可以采用在存储器227中仅保留被存储处理部件226无效的哈希值(无效哈希值)的形式，如图11B所示。此外，如图11C所示，可以采用如下形式：提供针对图10A中示出的哈希表中的所有哈希值表示哈希值是否是无效哈希值的1位标志，将对应于无效哈希值的标志设置为“1”，并保存每个哈希值是否被无效。

如上面所描述的，通过使与其相关联地存储了多个不同文档的文档页索引的哈希值无效并且不将该哈希值用于投票，即使在应当对其执行匹配的文档中的任何一个未被存储的状态下，也可能避免未存储的文档与参考图像的任何一个相似的不正确判断的现象。应当注意，由于在哈希表中存储的文档的数量大的情况和小的情况，不同的哈希值被无效，因此，在这种情况下，匹配确定的准确性可能依赖于参考图像的数量而变化。

因此，在本实施例中，通过预先执行与针对普通文档的存储处理相同的处理，如上所述提取与其相关联地存储了大量文档页索引的特征，并将该特征预先存储为无效哈希值，从而避免确定准确性依赖于参考图像的数量的变化。此外，当存在以前被发觉引起不正确匹配的文档时，可以通过执行等效于存储处理的处理来提取以前引起不正确匹配的文档中共有的特征，并将其存储为无效哈希值。应当注意，以前已经被提取的无效哈希值和在参考图像的存储过程期间被无效的哈希值通过经由操作面板4的输入而在存储器227中存储。该操作在工厂出货前或者服务人员维护期间执行。

无效特征确定部件223基于图11A或11C中示出的哈希表的存储内容或者如图11B中所示的在存储器227中存储的无效哈希值，确定由特征计算部件222针对每个当前特征点计算的每个哈希值是否是已经被无效的哈希值，并将确定结果输出到投票处理部件224。

在用于判断文档图像是否与预先存储的参考图像相似的文档匹配处理的情况下，当从无效特征确定部件223获得由特征计算部件222计算的哈希值不是无效哈希值的确定结果时，投票处理部件224基于该哈希值检索在存储器227中存储的哈希表。当哈希值匹配时，投票处理部件224为针对该哈希值存储的索引的文档(也就是，具有匹配哈希值的图像)投票。应当注意，当从无效特征确定部件223获得由特征计算部件222计算的哈希值是无效哈希值的确定结果时，投票处理部件224不基于该哈希值检索哈希表或投票。投票处理部件224将通过累加获得的投票数作为投票结果输出到相似性判断处理部件225。

相似性判断处理部件225基于从投票处理部件224输入的投票结果来判断文档图像(图像)与哪个参考图像相似，并与该确定结果相关联地，具体地说，与已经被判断为相似的参考图像相关联地将表示是否允许执行处理(例如，复印禁止或在预定文件夹中存储)的确定信号输出到存储处理部件226。具体地，相似性判断处理部件225将从投票处理部件224输入的投票数(所获得的投票数)与预先设置的阈值相比较，当所获得的投票数大于或等于阈值时，判断输入图像与参考文档相似并进一步在已判断为相似的文档中确定所获得的投票数最多的文档是参考文档。

当确定与输入图像匹配的图像包括在预先存储的文档的图像中时，当允许执行与已判断为相似的参考图像相关联的处理时，相似性判断处理部件225将确定信号“1”输出到存储处理部件226。另一方面，当不允许执行与已判断为相似的参考图像相关联的处理时，相似性判断处理部件225将确定信号“0”输出到存储处理部件226。应当注意，当从投票处理部件224所获得的投票数小于阈值时，相似性判断处理部件225判断没有相似文档并输出结果(确定信号“0”)。在文档匹配处理的情况下，存储处理部件226不执行处理并将从相似性判断处理部件225输出的确定信号不作任何修改地输出。

图12是示出基于投票结果的相似性判断的示例的说明图。针对从文档图像计算的每个哈希值搜索哈希表和执行投票。于是，假设，作为结果，针对文档页索引是ID1、ID2和ID3的参考图像已经执行了投票。于是，在各个所获得的投票数N1、N2和N3中，具有文档页索引ID1的参考图像是唯一的所获得的投票数大于或等于阈值Th的参考图像。因而，文档图像被判断为与具有文档页索引ID1的参考图像相似。

上面描述的确定方法是示例，并且存在另一个方法，例如，将从投票处理部件224输入的所获得投票数除以文档图像的最大所获得投票数(由(特征点数)×(从一个特征点计算的哈希值数)表示)，以计算归一化相似性；将算出的相似性与预先设置的阈值Th(例如，0.8)比较；当相似性大于或等于阈值Th时，判断文档图像与具有算出的相似性的参考图像相似，或者当相似性小于阈值Th时，判断没有参考图像与文档图像相似。

应当注意，虽然在图8A、8B、8C、8D、9A、9B、9C和9D中示出了用于从一个特征点计算一个哈希值的示例作为最简单的示例，但当用于选择与当前特征点邻近的特征点的方法改变时，从一个特征点计算多个哈希值是可能的。例如，存在提取六个特征点作为与当前特征点邻近的特征点并从该六个特征点提取五个特征点的六种可能组合。还存在通过从五个特征点提取三个特征点并且针对所述六种组合的每一个获得不变量来计算哈希值的方法。

接下来，下面描述彩色图像处理设备2的操作。图13A和13B是示出文档存储处理过程的流程图。在这里，除由专用硬件电路比如文档匹配处理部件22执行以外，文档存储处理可通过一种方法执行，在该方法中将定义了文档存储处理过程的计算机程序装载到具有CPU、RAM、ROM等等的个人计算机上，然后通过CPU执行该计算机程序。在以下描述中，彩色图像处理设备2被称为“处理部件”。

处理部件确定模式是否是文档存储模式(S11)。当模式不是文档存储模式(在S11为否)时，处理部件进入步骤S21中的处理。当模式是文档存储模式(在S11为是)时，处理部件获得参考图像(S12)。此时，参考图像可通过利用文档读取设备读取文档来获得。或者，参考图像可通过接收由处理设备比如个人计算机产生的电子数据来获得。

处理部件计算参考图像的特征点(S13)，并基于算出的特征点计算哈希值(特征)(S14)。处理部件设置参考图像的文档页索引(S15)，并确定在步骤S14中计算的哈希值是否已经被无效(S16)。当确定哈希值没有被无效(在S16中为否)时，处理部件确定与所述哈希值相关联地已经存储在哈希表中的文档页索引的数量是否大于或等于上限值(S17)。

当确定与所述哈希值相关联地已经存储在哈希表中的文档页索引的数量小于上限值(在S17中为否)时，处理部件通过将设置的文档页索引与算出的哈希值相关联地存储在哈希表中来更新哈希表(S18)。当确定与所述哈希值相关联地已经存储在哈希表中的文档页索引的数量大于或等于上限值(在S17中为是)时，处理部件使所述哈希值无效(S19)。当确定哈希值已经被无效(在S16中为是)时，处理部件跳过步骤S17到S19中的处理。

处理部件确定是否对在步骤S14中算出的所有哈希值完成了上述处理(S20)。当对哈希值中的任何一个的处理没有完成时(在S20中为否)，处理部件继续在步骤S16开始的处理并执行将文档页索引与剩余哈希值相关联地存储在哈希表中的处理或者使哈希值无效的处理。当对所有哈希值的处理已经完成时(在S20中为是)，处理部件终止上面描述的处理。

另一方面，当模式不是文档存储模式(在S11中为否)时，处理部件获得文档图像(S21)。此时，文档图像可通过利用文档读取设备读取文档来获得。或者，文档图像可通过接收由处理设备比如个人计算机产生的电子数据来获得。

处理部件计算文档图像的特征点(S22)和基于算出的特征点计算哈希值(特征)(S23)。处理部件基于算出的哈希值检索哈希表，并为具有相同哈希值的文档页索引执行投票(S24)。处理部件基于投票结果确定所获得的投票数是否大于阈值Th(S25)。当所获得的投票数大于阈值Th(在S25中为是)时，处理部件判断与文档图像相似的参考图像是否是允许执行处理的图像(S26)。

当确定允许执行处理(在S26中为是)时，处理部件输出确定信号“1”(S27)，或者当确定不允许执行处理(在S26中为否)时，处理部件输出确定信号“0”(S28)。应当注意，当所获得的投票数不大于阈值Th(在S25中为否)时，处理部件输出确定信号“0”(S28)。

在上面描述的实施例中，作为图像形成设备100，调制解调器可被提供用作通过网络与服务器设备等连接的通信装置。图14是示出按照本发明的使用图像处理设备的数字彩色多功能外围设备500的配置的框图。如图14所示，数字彩色多功能外围设备500包括彩色输入设备1、彩色图像处理设备2、彩色图像输出设备3和操作面板4以及通信设备5。彩色图像输入设备1、彩色图像处理设备2、彩色图像输出设备3和操作面板4与上述图像形成设备100中的一样，其说明将被省略。

通信设备5例如由调制解调器组成，在传真发送的情况下，例如，通信设备5经由调制解调器与目的地执行发送过程，当确保可发送状态时，从存储器读取以预定格式压缩的图像数据(通过扫描仪读取的图像数据)，执行必需的处理比如压缩格式的转换并经由通信线路将图像数据顺序发送到目的地。在传真接收的情况下，通信设备5在通信过程期间接收从源通信设备发送的图像数据并将图像数据输出到彩色图像处理设备2，彩色图像处理设备2在未图示的压缩/解压缩处理部件处对所接收的图像数据执行解压缩处理。解压缩的图像数据在需要时进行旋转处理、分辨率转换处理、输出色调校正处理、色调再现处理等之后从彩色图像输出设备3输出。

应当注意，通信设备5可被构造为与经由例如网卡、局域网电缆等连接到网络的计算机、其它数字多功能外围设备等传递数据。除彩色多功能外围设备外，本发明也能够应用于处理单色图像的多功能外围设备或仅仅具有传真通信功能的单纯传真通信设备。

图15是示出按照本发明的图像读取设备600的配置的框图。如图15所示，图像读取设备600包括彩色图像输入设备1、A/D转换部件20、阴影校正部件21、文档匹配处理部件22等等。彩色图像输入设备1、A/D转换部件20、阴影校正部件21以及文档匹配处理部件22与上面提及的图像形成设备100的相似，因此描述省略。

如上所述，在本发明中，对于扫描例如固定表单等的文档以生成计算机化文档的情况下，用于在固定表单中匹配的信息以及文档的页结构信息被预先存储。然后，判断文档图像是否与参考图像相似，并且可以允许或禁止对与参考图像相似的文档图像执行处理。也就是说，当读取预先存储了禁止对其执行处理的文档并输入文档图像时，可能禁止对所述文档图像执行处理而无需用户的专门操作。例如，机密文档的复印被阻止。

应当注意，对文档图像执行的处理不限于复印、电子传递、传真发送以及归档的示例，并且可能在复印、电子传递、传真发送或归档时不对整个文档图像而是对文档图像的一部分控制输出处理。例如，也可能控制设备以便禁止对描述重要内容、机密内容等的固定表单的一部分进行复印或电子传递。

从图像读取设备600输出的确定信号与读取的文档图像一起经由网络被发送到打印机或多功能外围设备。或者，该信号经由计算机或直接地输入到打印机中。在这种情况下，由于表示处理内容的信号必须在打印机、多功能外围设备或计算机处确定，因此，不是确定信号而是特征可被输出。

在上面提及的实施例中，彩色图像输入设备1可以由例如平板扫描仪、胶片扫描仪、数码相机或便携式电话实现。应当注意，彩色图像数据可经由网络从外部存储部件、服务器机器等获得，而不是从彩色图像输入设备1获得。此外，彩色图像输出设备3可由例如以下设备实现：图像显示设备，比如CRT显示器和液晶显示器；或者采用电子照相术方法或喷墨方法的打印机，其将处理结果输出到记录纸张上。

在上面提及的实施例中，存储器227和控制部件228设置在文档匹配处理部件22的内部。然而，本发明不限于此。也就是说，可以在文档匹配处理部件22的外面提供存储器227和控制部件228。

在本发明中，用于控制包括文档存储处理、文档分类处理以及输出处理的文档匹配处理的计算机程序代码可记录在用于存储计算机程序的程序代码(可执行程序、中间代码程序以及源程序)的计算机可读存储器产品上，以便由计算机执行。结果，存储了用于控制文档存储处理、文档分类处理以及输出处理的的程序代码的存储器产品可以自由便携的方式提供。为了可由微型计算机执行处理，存储器产品可以是程序介质，比如如同ROM一样的存储器(没有示出)。或者，可以使用其它类型的程序介质，其中提供用作外部存储设备的程序读取设备(没有示出)，并且存储器产品被插入其中以便读取该存储器产品。

在每种情况下，所存储的计算机程序代码可由微型处理机直接存取和执行。或者，计算机程序代码可被读取，然后读取的计算机程序代码可被下载到微型计算机的程序存储区域(没有示出)，然后计算机程序代码可被执行。在这种情况下，用于下载的计算机程序预先存储在主设备中。

在这里，上面提及的程序介质是可从主体分离的存储器产品，其可以是：磁带系统比如磁带和盒式带；盘系统比如磁盘(包括软盘和硬盘)和光盘比如CD-ROM/MO/MD/DVD；卡系统比如IC卡(包括存储卡)和光卡；以及以固定方式承载计算机程序的介质，包括半导体存储器比如掩模型ROM、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)以及快闪ROM。

而且，在这种情况下，由于所采用的系统配置允许连接到包括因特网的通信网络，因此，存储器产品可以例如借助于从通信网络下载计算机程序代码来动态地承载计算机程序代码。在这里，当要从通信网络下载计算机程序代码时，用于下载的计算机程序可预先存储在主设备中，或者可从另一个存储器产品安装。在这里，本发明可以计算机数据信号的形式实施，其中上面提及的程序代码嵌入在电子传输所包含的载波中。

Claims (7)

1.一种使用存储部件的图像处理方法，所述存储部件将多种特征与多个参考图像相关联地存储，所述方法用于从输入的文档图像提取特征，并基于所提取的特征和存储在所述存储部件中的多种特征，判断所述文档图像是否与参考图像相似，包括以下步骤：

当输入图像作为参考图像存储在所述存储部件中时，从输入图像提取特征；

确定已经与所提取的特征相关联地存储在所述存储部件中的参考图像的数量是否大于或等于预定数量；

当确定所述参考图像的数量小于所述预定数量时，将所述输入图像作为参考图像与所提取的特征相关联地存储在所述存储部件中；

当确定所述参考图像的数量大于或等于所述预定数量时，使所述特征无效；以及

当所述文档图像被输入时，基于从所述文档图像提取的特征和在所述存储部件中存储的特征当中未被无效的多种特征，判断所述文档图像是否与所述参考图像相似。

2.一种图像处理设备，包括将多种特征与多个参考图像相关联地存储的存储部件，所述图像处理设备用于从输入文档图像提取特征，并基于所提取的特征和在存储部件中存储的多种特征，判断所述文档图像是否与参考图像相似，所述图像处理设备包括：

提取部件，用于当参考图像存储在所述存储部件中时，从输入图像提取特征，以及当文档图像被输入时，从所输入的文档图像提取特征；

确定部件，用于确定已经与由所述提取部件从所输入的图像提取的特征相关联地存储在所述存储部件中的参考图像的数量是否大于或等于预定数量；

存储处理部件，用于当由所述确定部件确定所述参考图像的数量小于所述预定数量时，将所输入的图像作为参考图像与由所述提取部件提取的特征相关联地存储在所述存储部件中；

无效部件，用于当由所述确定部件确定所述参考图像的数量大于或等于所述预定数量时，使所述特征无效；以及

判断部件，用于当所述文档图像被输入时，基于由所述提取部件从所述文档图像提取的特征和在所述存储部件中存储的特征当中未被所述无效部件无效的特征，判断所述文档图像是否与参考图像相似。

3.如权利要求2所述的图像处理设备，其中

所述提取部件从预定图像提取特征；以及

所述无效部件使由所述提取部件从所述预定图像提取的所述特征无效。

4.如权利要求2所述的图像处理设备，包括：

无效特征存储部件，用于存储被所述无效部件无效的特征；以及

用于确定由所述提取部件从所输入的图像提取的所述特征是否存储在所述无效特征存储部件中的部件，其中

当所述特征未存储在所述无效特征存储部件中时，所述确定部件确定已经与所述特征相关联地存储在所述存储部件中的参考图像的数量是否大于或等于预定数量。

5.如权利要求4所述的图像处理设备，其中

所述判断部件包括：

用于确定由所述提取部件从所输入的文档图像提取的所述特征是否存储在所述无效特征存储部件中的部件；以及

投票处理部件，用于当所述特征未存储在所述无效特征存储部件中时，为与所述特征相关联的参考图像投票，其中

所述判断部件判断获得较多投票数的参考图像与所述文档图像更相似。

6.一种图像形成设备，包括：

如权利要求2所述的图像处理设备；以及

图像输出设备，用于基于由所述图像处理设备处理的图像形成输出图像。

7.一种图像读取设备，包括：

图像输入设备，用于读取文档图像；以及

如权利要求2所述的图像处理设备；其中所述图像处理设备处理由所述图像输入设备读取的所述文档图像。

Images