CN1913573A - 用于图像检索的图像处理设备及其控制方法 - Google Patents

用于图像检索的图像处理设备及其控制方法 Download PDF

Info

Publication number
CN1913573A
CN1913573A CNA2006101148656A CN200610114865A CN1913573A CN 1913573 A CN1913573 A CN 1913573A CN A2006101148656 A CNA2006101148656 A CN A2006101148656A CN 200610114865 A CN200610114865 A CN 200610114865A CN 1913573 A CN1913573 A CN 1913573A
Authority
CN
China
Prior art keywords
image
block message
unit
original image
piece
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006101148656A
Other languages
English (en)
Other versions
CN100414550C (zh
Inventor
松下昌弘
东条洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN1913573A publication Critical patent/CN1913573A/zh
Application granted granted Critical
Publication of CN100414550C publication Critical patent/CN100414550C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/93—Document management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/418—Document matching, e.g. of document images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

即使不存在于原始图像中的空白区域出现在通过打印原始图像而获得的文档中的文档区域周围，在打印文档的扫描图像和原始图像之间的正确的布局比较也可以如下执行。输入充当比较目标图像的原始图像，并且提取关于包含在原始图像中的块的块信息。确定原始图像尺寸是否是预定尺寸。当该尺寸不是预定尺寸时，创建并注册关于包含在映射到预定尺寸的原始图像中的块的块信息。当输入比较源图像时，提取关于包含在比较源图像中的块的块信息。随后，将比较源和目标图像的两个块信息进行比较。

Description

用于图像检索的图像处理设备及其控制方法
技术领域
本发明涉及一种图像处理设备及其控制方法，以及一种程序，它们能够检索与由诸如复印机的图像输入设备读取的纸质文档相对应的原始电子数据，并将检索到的原始电子数据用于打印、分配、存储、编辑等目的。
背景技术
近来，随着数字化的增长，文档作为电子文件被存入数据库。利用打印文档的扫描图像容易地对数据库中的电子文档进行检索的需求增长。为此，提出了一种方法，该方法分析表明包含在扫描文档图像中的文字或图像区域之间关系的布局，然后将分析得到的布局与数据库中电子文件的布局进行比较。例如，日本专利特开No.11-328417公开了一种方法，该方法将文档图像区域分割成多个子区域，使用子区域的数目作为约束检索的准则，然后将文档图像的特征和子区域数与文档图像的子区域数目相匹配的文档的特征进行比较。
在此，举一个例子，在目录等的文档图像的情况下，目录等通常被打印在非标准尺寸的纸张上，而不是在诸如A4或信纸尺寸纸张的标准尺寸纸张上。在这种情况下，在文档图像的电子文件中，打印纸张尺寸被设置为非标准尺寸。然而，当文档图像的电子文件在办公室等地点打印时，它通常被打印在标准尺寸的纸张上。严格地说，最常用的纸张尺寸是A4和信纸尺寸中之一，这根据国家不同而不同。
在非标准尺寸文档图像被打印到标准尺寸纸张的情况下，当非标准尺寸比标准尺寸小时，由于纵横比之间的差异而产生一个大的空白区域(margin)。另一方面，当非标准尺寸比标准尺寸大时，待打印的文档图像需要被缩小以使其整个文档区域能够无变形地适合标准尺寸。因此，在这种情况下也产生大的空白区域。
将参考图24A和24B描述一个例子。原始图像2401是一幅通过光栅化电子文件中所包含的一页而获得的图像，其中，纸张尺寸被设定为非标准尺寸。原始图像2401包括文本或图像区域2402和2403。
扫描图像2404是通过扫描已被打印在标准尺寸纸张上的原始图像而获得的图像。在此，由于纸张尺寸被设置为非标准尺寸，原始图像已被缩小以使其文档区域能够被无变形地打印。因此，扫描图像2404中的文档区域对应于矩形区域2405。
原始图像2401中的文本或图像区域2402和2403分别对应于扫描图像2404中的区域2406和2407。可以看到，原始图像2401中的文本或图像区域2402和2403的位置与扫描图像2404中的区域2406和2407的位置大不相同。
在日本专利特开No.11-328417中，通过归一化整幅图像的尺寸来归一化每个子区域的尺寸，以避免图像缩放的影响。然而，如前所述，在原始图像中并不存在的空白区域出现在扫描图像中的文档区域周围。所以，即使执行了整幅图像的归一化，扫描图像中的子区域的位置仍然与原始图像中子区域的位置不同。因此，在这种情况下，即使执行原始图像和扫描图像之间的布局比较，也不能判断它们是否具有相同的布局。
发明内容
本发明提供了一种图像处理设备及其控制方法，和一种程序，即使在不存在于原始图像中的空白区域出现在扫描图像中的文档区域周围的情况下，该图像处理设备及其控制方法和该程序也能够执行原始图像和通过打印原始图像获得的文档的扫描图像之间的准确的布局比较。
根据本发明的第一方面，提供了一种用于执行图像相似度比较处理的图像处理设备，包括：第一输入单元，其被配置为输入充当比较目标图像的原始图像；第一提取单元，其被配置为提取关于包含在原始图像中的块的块信息；第一确定单元，其被配置为确定原始图像尺寸是否是预定尺寸；创建单元，其被配置为在第一确定单元确定原始图像尺寸不是预定尺寸时，创建关于包含在映射到预定尺寸的原始图像中的块的块信息；存储单元，其被配置为存储该块信息；第二输入单元，其被配置为输入比较源图像；第二提取单元，其被配置为提取关于包含在比较源图像中的块的块信息；以及比较单元，其被配置为将关于比较源图像的块信息和关于比较目标图像的块信息进行比较。
根据本发明的第二方面，提供了一种用于执行图像相似度比较处理的图像处理设备，其包括：第一输入单元，其被配置为输入充当比较目标图像的原始图像；第一提取单元，其被配置为提取关于包含在原始图像中的块的块信息；存储单元，其被配置为存储该块信息；第二输入单元，其被配置为输入比较源图像；第二提取单元，其被配置为提取关于包含在比较源图像中的块的块信息；第一比较单元，其被配置为在相对坐标系中，将关于比较源图像的块信息和关于比较目标图像的块信息进行比较；以及第二比较单元，其被配置为在绝对坐标系中将关于比较源图像的块信息和关于比较目标图像的块信息进行比较。
根据本发明的第三方面，提供了一种用于控制执行图像相似度比较处理的图像处理设备的控制方法，包括：输入充当比较目标图像的原始图像；提取关于包含在原始图像中的块的块信息；确定原始图像尺寸是否是预定尺寸；当在确定步骤中确定原始图像尺寸不是预定尺寸时，创建关于包含在映射到预定尺寸的原始图像中的块的块信息；输入比较源图像；提取关于包含在比较源图像中的块的块信息；以及将关于比较源图像的块信息和关于比较目标图像的块信息进行比较。
根据本发明的第四方面，提供了一种用于控制执行图像相似度比较处理的图像处理设备的控制方法，包括：输入充当比较目标图像的原始图像；提取关于包含在原始图像中的块的块信息；输入比较源图像；提取关于包含在比较源图像中的块的块信息；在相对坐标系中将关于比较源图像的块信息和关于比较目标图像的块信息进行比较；以及在绝对坐标系中将关于比较源图像的块信息和关于比较目标图像的块信息进行比较。
根据本发明的第五方面，提供了一种计算机可读介质，其包含用于执行图像相似度比较处理的指令，该计算机可读介质包括：用于输入充当比较目标图像的原始图像的计算机可读指令；用于提取关于包含在原始图像中的块的块信息的计算机可读指令；用于确定原始图像尺寸是否是预定尺寸的计算机可读指令；当确定原始图像尺寸不是预定尺寸时，创建关于包含在映射到预定尺寸的原始图像中的块的块信息的计算机可读指令；用于输入比较源图像的计算机可读指令；用于提取关于包含在比较源图像中的块的块信息的计算机可读指令；以及用于将关于比较源图像的块信息和关于比较目标图像的块信息进行比较的计算机可读指令。
根据本发明的第六方面，提供了一种计算机可读介质，其包含用于执行图像相似度比较处理的指令，该计算机可读介质包括：用于输入充当比较目标图像的原始图像的计算机可读指令；用于提取关于包含在原始图像中的块的块信息的计算机可读指令；用于输入比较源图像的计算机可读指令；用于提取关于包含在比较源图像中的块的块信息的计算机可读指令；用于在相对坐标系中将关于比较源图像的块信息和关于比较目标图像的块信息进行比较的计算机可读指令；以及用于在绝对坐标系中将关于比较源图像的块信息和关于比较目标图像的块信息进行比较的计算机可读指令。
本发明的其他特点将从下面参考附图的示例性实施例的描述中变得显而易见。
附图说明
图1是示出了根据本发明一个实施例的图像处理系统的配置的框图。
图2是示出了根据本发明一个实施例的MFP的详细配置的框图。
图3是示出了根据本发明一个实施例的注册处理的流程图。
图4是示出了根据本发明一个实施例的示例性文档信息的图。
图5是示出了根据本发明一个实施例的示例性块信息的图。
图6A至6K是示出了根据本发明一个实施例的通过把输入图像映射到标准纸张尺寸所获取的示例性图像的图。
图7是示出了根据本发明一个实施例的示例性文本特征量信息的图。
图8是示出了根据本发明一个实施例的示例性图像特征量信息的图。
图9是示出了根据本发明一个实施例的检索处理的流程图。
图10是示出了根据本发明一个实施例的潜在原始文档列表的示例性结构的图。
图11是示出了根据本发明一个实施例的示例性图像块提取处理的图。
图12是示出了根据本发明实施例的色彩特征量信息提取处理的细节的流程图。
图13是示出了根据本发明一个实施例的示例性图像网格块分割处理的图。
图14是示出了根据本发明一个实施例的示例性顺序决策表的图。
图15是示出了根据本发明一个实施例的色彩空间中的色彩箱(color bin)的示例性布置的视图。
图16是示出了根据本发明一个实施例的比较处理的细节的流程图。
图17A至17D是示出了根据本发明一个实施例的在布局检索操作中使用的示例性图像尺寸的图。
图18A至18C是示出了根据本发明一个实施例的在布局检索操作中使用的示例性图像尺寸的图。
图19是示出了根据本发明一个实施例的页面比较处理的细节的流程图。
图20是示出了根据本发明一个实施例的色彩特征量信息比较处理的细节的流程图。
图21是示出了根据本发明一个实施例的色彩箱惩罚(penalty)矩阵的示例性结构的图。
图22是示出了根据本发明一个实施例的示例性用户界面的图。
图23是示出了根据本发明一个实施例的用于设置标准纸张尺寸的示例性用户界面的图。
图24A至24B是用于描述本发明背景的图。
具体实施方式
将仅通过示例的方式参考附图来描述本发明的实施例。
图1是示出了根据本发明一个实施例的图像处理系统的配置的框图。该图像处理系统是在办公室10和11经由诸如因特网的网络104相连接的环境中实现的。
在办公室10中构建的LAN 107连接到用作可实现各种功能的多功能机器的MFP(多功能外围设备)100、用于控制MFP 100的管理PC 101、客户PC 102、文档管理服务器106a、用于文档管理服务器106a的数据库105a和代理服务器103a。
在办公室11中构建的LAN 108连接到文档管理服务器106b、用于文档管理服务器106b的数据库105b、和代理服务器103b。
办公室10中的LAN 107和办公室11中的LAN 108分别通过代理服务器103a和103b连接到网络104。MFP 100包括用于以电子方式扫描纸质文档的图像扫描单元和用于对从图像扫描单元获得的图像信号执行图像处理的图像处理单元，并且能够经由LAN 109把图像信号传输给管理PC 101。
充当通用个人计算机(PC)的管理PC 101包括各种组件，诸如图像存储单元、图像处理单元、显示单元和输入单元。这些组件中的一些被集成到MFP 100中。
网络104典型地作为因特网、LAN、WAN、电话线、专用数据线路、ATM、帧中继线路、通信卫星线路、有线电视线路和数据广播无线信道中的一种。作为替换方案，网络104可通过它们的组合来实施为一个能够交换数据的通信网络。
诸如管理PC 101，客户PC 102以及文档管理服务器106a和106b的各种终端各自包含通用计算机所具有的标准组件(例如：CPU、RAM、ROM、硬盘、外部存储器、网络接口、显示器、键盘和鼠标)。
将参考图2描述MFP 100的详细配置，图2是示出了根据本发明一个实施例的MFP 100的详细配置的框图。
参考图2，包含压板玻璃和自动文档馈送器(ADF)的图像扫描单元200使得一批原稿或单个原稿的图像对来自光源(未显示)的光线曝光，并且使用透镜在固态成像器件上形成一个或多个原稿的反射图像，从而获得来自固态成像器件的光栅图像读取信号，作为具有预定密度(例如600dpi)的光栅图像。
把使用纸质文档作为有待图像扫描单元200读取的印刷材料的情况作为示例描述该实施例，但是也可以使用包括除了纸质记录介质以外的介质的其它打印材料(例如：OHP胶片、诸如胶片的透明介质、以及织物)。
MFP 100具有通过使用其打印单元202，把对应于图像扫描信号的图像拷贝到记录介质上的拷贝功能。当进行原始图像的单个拷贝时，原始图像的图像扫描信号被数据处理单元205处理，从而产生一个记录信号。随后，对应于记录信号的图像被打印单元202打印到记录介质上。另一方面，当进行原始图像的多个拷贝时，用于原始图像单个拷贝的记录信号被暂时存储在存储器单元201中。之后，记录信号被重复输出到打印单元202中，与此并行地，对应于记录信号的图像被打印单元202重复打印，从而可以获得原始图像的多个拷贝。
另一方面，从客户PC 102输出的记录信号经由LAN 107和网络I/F 204被数据处理单元205接收。数据处理单元205将记录信号转换成可被打印单元202记录的光栅数据。之后，打印单元202把对应于光栅数据的图像打印到记录介质上。
从操作者到MFP 100的指令从配有为MFP 100设置的键盘操作单元的输入单元203及连接到管理PC 101的键盘和鼠标输入。一系列指令操作由包含在数据处理单元205中的控制部分(未显示)控制。操作输入状态和正在处理的图像数据被显示在显示单元206上。
存储单元201也由管理PC 101控制。MFP 100和管理PC 101之间的数据交换及控制经由网络I/F 207和LAN 109执行。
数据库208注册并管理已被图像扫描单元200读取的纸质文档图像、关于纸质文档图像的信息、以及关于存储在客户PC 102的硬盘中或是存储在设置在办公室10或11中的文档管理服务器106a或106b的数据库105a或105b中的电子文档图像的信息。
在MFP 100中，允许用户输入各种操作并允许MFP 100显示各种信息，以使得可以执行稍后描述的各种处理操作的用户界面由输入单元203和显示单元206实现。
有两个主要的处理操作在根据本发明一个实施例的图像处理系统中执行，即，用于注册图像数据的注册处理操作和用于检索所期望的图像数据的检索处理操作。
在该实施例中，为了增加整个图像处理系统的处理效率，稍后描述的各种处理操作由组成图像处理系统的各种终端以分布的方式执行。然而，这些处理操作也可由单个终端(例如MFP 100)执行。
[示例性的注册处理]
首先描述示例性的注册处理。
使用下列方法之一注册目标图像数据：注册通过扫描纸质文档获取的图像数据；注册由通过文档创建应用程序等产生的电子文档转换而成的光栅图像的图像数据。
将参考图3描述用于注册原始文档的注册处理的概要，图3是示出了根据本发明一个实施例的注册处理的流程图。
首先，在待注册的纸质文档被放置在包含在图像扫描单元200中的ADF上、并且输入单元203中的注册按钮被启动之后，处理开始。待注册的纸质文档可以具有一页或多页。当纸质文档具有多页时，从纸质文档获取的图像数据(页图像)作为单个文件被管理。在步骤S301中，输入待注册的原始文档。与输入操作并行地，用于管理原始文档的各种信息被产生并存储到存储单元201中。
在原始文档注册处理中，具有两种类型的输入原始文档的方法。
当原始文档是电子数据时，待记录的原始文档的电子数据从它所存储的位置被读出，并经由网络I/F 204输入到数据处理单元205中，然后由数据处理单元205转换成光栅图像。电子数据被存储在包含在客户PC 102的硬盘中、包含在办公室10或11中的文档管理服务器106a或106b中的数据库105a或105b中、或是包含在MFP 100的存储单元201中。
另一方面，当原始文档是纸质文档时，纸质文档由包含在MFP100中的图像扫描单元200进行光栅扫描，从而获得光栅图像。
这样，在本实施例中，电子数据和纸质文档都能作为待注册的原始文档被处理。
接着，在步骤S302中，光栅图像被数据处理单元205预处理，然后被存入存储单元201中(当原始文档是纸质文档时，在后续过程中，光栅图像将作为原始文档的电子数据被使用)。此时，唯一的文档ID被提供给每个待注册的原始文档，并与表示原始文档的电子数据的存储位置的地址信息相关联，然后与纸张尺寸信息(图像的像素值：输入图像的尺寸)一起作为文档信息被记录在数据库208中。
文档ID用于识别存储在数据库208中的电子文档。当电子文档被注册时，为该电子文档提供一个与其它已使用的文档ID不匹配的文档ID。地址信息是表示电子数据存储位置的完整路径信息。完整路径信息包括URL、服务器名、目录和文件名。文档信息的一个例子在图4中示出。文档信息存储在数据库105a或105b、存储单元201等中。
例如当原始文档是纸质文档时，使用BMP格式作为电子数据的文件格式。然而，文件格式可以是任何能够进行彩色信息存储的文件格式(例如GIF或JPEG)。另一方面，当原始文档是电子数据时，使用取决于用于产生电子数据的应用程序的文件格式。例如，文件格式包括Microsoft公司提供的MS-Word(*.doc)，Adobe系统公司提供的Acrobat(*.pdf)等。
在步骤S303中，执行块选择(BS)处理。在管理PC 101的控制下执行该处理。
更具体地，包含在管理PC 101中的CPU将存储在存储单元201中的待处理的原始文档的光栅图像分割成文本/黑白线条影像(lineart)部分和半色调图像部分。随后，CPU在基于段落的逐块基础上或者在逐表格或逐图片的基础上进一步分割文本/黑白线条影像部分，其中表格和图片由线段组成。
半色调图像部分被分割成分离的矩形块的图像部分和分离的矩形块的背景部分。然后，提供用于识别待处理页的页码和该页面上的每个块的块ID。
在步骤S304中，块ID与相应的块属性(图像，文本等等)、尺寸、在原始文档中的位置(在页面中的坐标)、以及相应块相关联，然后作为块信息被存储(注册)到数据库208中。图5中示出了块信息的一个例子。
在步骤S305中，确定输入图像尺寸是否是预定尺寸(标准纸张尺寸)。
这里，标准纸张尺寸意味着通常在图像处理设备的MFP 100中使用(最常使用)的纸张尺寸。在本实施例中，A4尺寸被定义为标准纸张尺寸。当输入图像尺寸是标准纸张尺寸时(在步骤S305中为“是”)，处理前进到步骤S309。另一方面，当输入纸张尺寸不是标准纸张尺寸时(在步骤S305中为“否”)，处理前进到步骤S306。在步骤S306中，一个新的文档ID被提供给待处理的原始文档，并且，原始文档的纸张尺寸被设置为标准纸张尺寸。该信息作为文档信息被存储到数据库208中。在这种情况下，如图4所示，两个或多个文档ID被提供给同一幅图像。
在步骤S307中，原始文档的块信息根据标准纸张尺寸进行改变，然后被注册。更具体地，块信息从在步骤S303中已创建的块信息改变为与通过把输入图像映射到标准纸张尺寸、并在从映射操作获取的图像上执行块选择处理所获取的块信息相等价的块信息。
通过把输入图像映射到标准纸张尺寸所获取的图像(映射图像)是通过在输入图像左右/上下添加空白区域，放大或缩小(缩放)输入图像，或剪除(修剪)掉超出标准纸张尺寸范围的部分而产生。
这里，图6A至6K示出了示例性映射图像。在图6B至6H中所示的映射图像从图6A所示的输入图像产生，输入图像的尺寸小于标准纸张尺寸。另一方面，在图6J至6K中所示的映射图像从图6I所示的输入图像产生，输入图像的尺寸大于标准纸张尺寸。
更具体地，通过将如图6A所示的输入图像映射到标准纸张尺寸，并在输入图像的左右上下添加空白区域而获取图6B中所示的映射图像。通过放大图6A所示的输入图像，并将放大后的输入图像映射到标准纸张尺寸，然后在放大的映射输入图像左右添加空白区域而获取图6C中所示的映射图像。通过将如图6A所示的输入图像映射到标准纸张尺寸以使得输入图像的左上角可被放置在标准纸张尺寸的左上角，然后在输入图像的右侧和下侧添加空白区域而获取图6D中所示的映射图像。通过放大如图6A所示的输入图像，并将放大后的输入图像映射到标准纸张尺寸以使得放大后的输入图像的左上角可被放置在标准纸张尺寸的左上角，然后在放大的映射输入图像右侧添加空白区域而获取图6E中所示的映射图像。
通过放大如图6A所示的输入图像，并将放大后的输入图像映射到略小于标准纸张尺寸的尺寸，然后在放大的映射输入图像左右添加空白区域而获取图6F中所示的映射图像。通过将如图6A所示的输入图像映射到标准纸张尺寸以使得输入图像的左上角可被放置在标准纸张尺寸的左上角略微靠里的位置，然后在输入图像的右侧和下侧添加空白区域而获取图6G中所示的映射图像。通过放大如图6A所示的输入图像，并将放大后的输入图像映射到略小于标准纸张尺寸的尺寸，以使得放大后的输入图像的左上角可被放置在标准纸张尺寸的左上角略微靠里的位置，然后在放大的映射输入图像右侧添加空白区域而获取图6H中所示的映射图像。
通过将如图6I所示的输入图像映射到标准纸张尺寸，并剪除超出标准纸张尺寸范围的部分来获取图6J中所示的映射图像。通过缩小如图6I所示的输入图像，并将缩小后的输入图像映射到标准纸张尺寸，然后在缩小的映射输入图像左右添加空白区域而获取图6K中所示的映射图像。
这样，在本实施例中，原始图像无缩放地映射到预定尺寸(标准纸张尺寸)，然后酌情添加空白区域，和/或酌情剪除超出预定尺寸范围的部分。作为替换方案，原始图像被缩放并映射以使得缩放后的原始图像能够在剩余最小可能空白区域的情况下适合标准纸张尺寸，然后酌情添加空白区域。
此外，原始图像被映射到标准纸张尺寸以使得原始图像的左上角或中心能够被分别放置在标准纸张尺寸的左上角或中心。该映射基准位置并不仅限于此，并且可以是一个预定的位置，例如，右上或右下角。
现在参考图2，在步骤S307中，通过把输入图像映射到标准纸张尺寸所获取的图像的块信息已通过改变块信息而获得，但也可以通过例如下面的处理获得：首先，通过将输入图像映射到标准纸张尺寸产生一幅图像；然后对产生的图像执行块选择处理。
基于通过把非标准尺寸的输入文档打印到标准尺寸纸张上所获得的图像而获得在步骤S307中映射到标准纸张尺寸的图像。
通过参考映射到标准纸张尺寸的图像是通过将输入图像摆放在标准尺寸纸张中心来获取的情况描述了本实施例。尽管也可考虑映射图像是基于输入图像的其它放置而产生的其它情况，但是这些情况也可根据本实施例中相同的过程进行处理。
例如，图像可能没有打印在纸张的中心，而是取决于应用程序设置而打印在纸张的左上侧。为此，示出了通过根据左上角的基准位置放置输入图像来获取映射图像(如图6D和6E所示)的例子。此外，取决于所用的打印机，在纸张的左右上下侧可能存在不能打印的区域。为此，还示出了通过放置输入图像以使得预定量的空白区域可被留在纸张的左、右、上、下侧来获取映射图像(如图6F，6G和6H所示)的例子。
在非标准尺寸图像的情况下，特别是在图像不符合A系列，B系列或美国信纸尺寸的情况下，其打印结果易于和原始图像不同。此外，当美国信纸尺寸的原稿被打印到A4尺寸的纸张上时，或反过来，当A4尺寸的原稿被打印到美国信纸尺寸的纸上时，打印结果也容易和原始图像不同。
因此，在本实施例中，不仅注册图6A和6I所示的输入图像，即原始图像，而且还注册图6B至6H，6J和6K所示的映射图像的块信息，从而当在不同打印条件下打印的打印图像被用作原始图像(比较源图像)用于进行布局比较时，这些图像可以看作具有相同布局的文档。
接着，在步骤S308中，类似步骤S304，用于识别在其上执行过块选择处理的块的块ID被提供给每个改变的块。属性(图像，文本等等)，尺寸和在原始文档中的位置(坐标)与对应的块相关联，然后作为块信息存储(注册)到数据库208中。
在步骤S309中，用于提取每个块的特征量信息的特征量信息提取处理由数据处理单元205根据每个块的类型执行。
特别地，在文本块的情况下，通过对文本块执行OCR处理所提取的字符编码被定义为文本特征量。在图像块的情况下，提取关于亮度和彩色的图像特征量。在步骤S310中，对应于单个块的特征量以逐个原始文档为基础而连接在一起，并分别与相应的文档ID、页序号和块ID相关联，然后作为特征量信息被存储(注册)在数据库208中。示例性文本和图像特征量分别在图7和图8中显示。
[示例性的检索处理]
将参考图9描述用于检索原始文档的电子数据的检索处理的概要，图9是示出了根据本发明一个实施例的检索处理的流程图。
首先，在步骤S901中，输入用作检索条件的纸质文档。因为该处理与步骤S301中的相同，将省略其描述。然而，由该过程产生的光栅图像仅被暂时保存，因此用于纸质文档的地址信息无需存储到存储单元201中。
在步骤S902中，对光栅图像中的图像区域执行块选择(BS)处理。由于块选择处理与步骤S303中的相同，将省略其描述。然而，由块选择处理生成的每个块的属性、尺寸和位置仅被暂时存储，因此用于纸质文档的块信息无需存储到存储单元201中。
在步骤S903中，执行用于提取每个块的特征量信息的特征量信息提取处理。由于该处理与步骤S309中的相同，将省略其描述。然而，由该处理产生的每个块的特征量信息仅被暂时存储，因此用于纸质文档的特征量信息无需存储到存储单元201中。
在步骤S904中，确定已被输入的纸质文档(输入图像)的纸张尺寸是否是标准纸张尺寸。当输入图像的纸张尺寸是标准纸张尺寸时(在步骤S904中为“是”)，处理前进到步骤S906。另一方面，当输入图像的纸张尺寸不是标准纸张尺寸时(在步骤S904中为“否”)，处理前进到步骤S905。
在步骤S905中，已被输入的纸质文档(输入图像)的纸张尺寸被归一化，相应块信息的位置和尺寸信息根据归一化纸张尺寸进行修正，从而产生归一化的块信息(基于相对坐标系的块信息)。
在步骤S906中，已被输入的纸质文档(比较源图像)的块信息和特征量信息分别和对应于存储在数据库208中的电子文档的文档ID的原始文档(比较目标图像)的块信息和特征量信息进行比较。
在步骤S907中，基于比较结果产生潜在的原始文档的列表。该列表包括潜在原始文档的文档ID和相似度水平。当文档的相似度水平低于预定阈值时，将该文档从列表中删除。当多个文档ID参照列表中的同一个潜在原始文档时，最高相似度水平的文档ID被保留，而其它文档ID被删除。图10是示出了根据本发明一个实施例的潜在原始文档的列表的示例性结构的图。
在步骤S908中，确定潜在原始文档列表中的文档数目是否为一。当数目为一时(在步骤S908中为“是”)，处理前进到步骤S910。另一方面，当数目是二或更多时(在步骤S908中为“否”)，处理前进到步骤S909。
在步骤S909中，注册在列表中的文档的缩略图像作为潜在的原始文档被显示。更具体地，包含潜在原始图像的缩略图像的用户界面由显示单元206和输入单元203组成。使用用户界面执行潜在原始图像的显示或选择。
当潜在原始文档的缩略图像被显示在显示单元206上之后，用户从潜在原始文档的缩略图像中选择一幅想要的缩略图像。当使用用户界面选择原始文档时，其文档ID被指定。用户界面的配置将在后面详述。
在步骤S910中，所选择的原始文档(电子文件或图像数据)通过参照对应于数据库208中所选原始文档的文档ID的地址而被读取到存储单元201中。根据操作者的指令打印、分配、存储或编辑原始文档。
现在将描述每个类型的处理的细节。
[示例性的块选择处理]
将描述在步骤S303和S902中执行的块选择处理的细节。
在块选择处理中，例如，光栅图像11A被识别为具有如图像11B所示的包含有意义信息的块。块的属性(文本/图片/照片/线条/表格)被分别确定以便将光栅图像分割成具有不同属性的块。
将描述根据本发明一个实施例的块选择处理。首先，输入图像被二值化成黑白图像，然后对该二值图像执行轮廓跟踪，从而提取黑像素的连接分量，每个连接分量被黑像素边界所包围。在大的黑像素连接分量的情况下，也对内部的白像素执行轮廓跟踪，从而提取白像素的连接分量。此外，从尺寸大于或等于预定面积的白像素连接分量递归地提取黑像素的连接分量。
根据上述处理获得的黑像素的连接分量根据尺寸和形状被分类成具有不同属性的块。例如，具有近似预定纵横比(在日文的情况下为1∶1的纵横比)和预定尺寸的块被定义为表示一个字符的像素连接分量。相邻字符被依次排列并因此可成组的部分被定义为文本块。扁平的像素连接分量被定义为线条块。包含依次排列的矩形白像素连接分量的黑像素连接分量的范围被定义为表格块，其中每个矩形白像素连接分量具有预定尺寸或更大。分散有不确定性形状的像素连接分量的区域被定义为照片块。其它任意形状的像素连接分量被定义为图片块。
[示例性的特征量信息提取处理]
将描述在步骤S309和S903中执行的特征量信息提取处理的细节。特征量信息提取处理对于图像块和文本块采用不同的处理方法，因此将分别描述这些方法。
这里，在图11中的图像11B中，照片和图片块被定义为图像块。然而，根据应用或预期目的，照片和图片块中至少有一个被定义为图像块。
[用于图像块的示例性特征量信息提取处理]
将描述用于图像块的特征量信息提取处理。当在单个文档中具有多个图像块时，下列处理被重复进行与图像块的数目相对应的次数。
在本实施例中，例如，执行用于提取图像色彩特征量的色彩特征量信息提取处理。将参考图12描述色彩特征量信息提取处理的细节，图12是示出了根据本发明实施例的色彩特征量信息提取处理的细节的流程图。
待处理的图像被分割成多个网格块。在此处理中，在每个网格块的色彩直方图中最频繁出现的颜色与相应网格块的位置信息相关联，然后作为色彩特征信息被提取。
在步骤S1201中，图像被分割成多个网格块。如图13所示，一幅图像被分割成九行九列的网格块。因此，在这个实施例中，为了便于说明，使用9×9的网格块＝81个网格块。然而，在现实中，例如期望使用大约15×15网格块＝225个网格块。
在步骤S1202中，左上角的块被设置为待处理的聚焦网格块。聚焦网格块的设置基于其中事先决定了处理顺序的顺序决策表而执行，该顺序决策表例如如图14所示的表格(举例来说使用3×3的网格块)。在图14中，扫描操作从左上角到右上角进行，然后从第二行的左端到右端，并且类似地在第三行进行。
在步骤S1203中，确定是否存在尚未处理的聚焦网格块。当不存在未处理的聚焦网格块时(在步骤S1203中为“否”)，处理结束。另一方面，当存在未处理的观测网格块时(在步骤S1203中为“是”)，处理前进到步骤S1204。
在步骤S1204中，包含在聚焦网格块中的所有像素的密度值被分别投影到色彩箱中，该色彩箱作为如图15所示的由色彩空间分割而成的子空间，从而产生色彩箱的色彩直方图。
在本实施例中，如图15所示，RGB色彩空间被分割成3×3×3色彩箱＝27个色彩箱，然后包含在聚焦网格块中的所有像素的密度值被分别投影到各色彩箱中。然而，也可采用其它情况。在实际中，例如，更期望将RGB色彩空间分割成6×6×6色彩箱＝216个色彩箱，然后包含在聚焦网格块中的所有像素的密度值被分别投影到色彩箱中。
在步骤S1205中，在色彩直方图中具有最高出现频率颜色的色彩箱的色彩箱ID被决定作为该聚焦网格块的代表颜色，并且和该聚焦网格块以及聚焦网格块的位置相关联，然后被存储到存储单元201中。
在步骤S1206中，通过参照如图14所示的顺序决策表设置下一个聚焦网格块。之后，处理返回到步骤S1203，然后重复步骤S1203至1206的处理，直到不存在未处理的聚焦网格块为止。
根据上述处理，通过把待处理图像(图像块)中的网格块的代表颜色分别与网格块的位置相关联所获取的信息可作为色彩特征量信息被提取。
[用于文本块的示例性特征量提取处理]
现在将描述用于文本块的特征量提取处理。当在单个文档中存在多个文本块时，下列处理被重复进行与文本块的数目相对应的次数。
文本块的文本特征量信息是通过对文本块执行OCR(光学字符识别)处理所获得的字符编码。在OCR处理中，在字符图像基于逐字符的准则从文本块中被提取之后，使用模式匹配方法对所提取的字符图像执行字符识别处理，从而获得对应于字符图像的字符编码。
在该字符识别处理中，字符图像的特征被转换为一个作为观测特征向量的几十维的数字序列。随后，观测特征向量和事先为每个字符类型计算出的字典特征向量进行比较。然后，具有距观测特征向量最近的字典特征向量的字符类型作为字符识别结果被输出。
存在各种提取特征向量的公知方法。例如，其中一种方法是使用几维网格向量的方法，该几维网格向量的方法是通过将字符分割成多个网格块，然后基于逐方向的准则对包含在每个网格块中的字符线条的数目进行计数作为线性元素所获得的。
当对由块选择处理(步骤S309或S903)提取的文本块执行字符识别处理时，判断文本框采用的是何种文本方向，即，水平还是垂直文本方向。随后，根据对应于所判断的文本方向的方向，从文本块中提取字符串，然后从字符串中分别提取字符，从而获得每个字符的字符图像。
水平或垂直方向的确定如下执行。对包含于文本块中的像素执行水平和垂直投影。当水平投影的方差大时，确定文本框采用水平文本方向。当垂直投影的方差大时，确定文本框采用垂直文本方向。文本框到字符串和字符的分割如下执行。当文本框采用水平文本方向时，使用水平投影提取行，另外通过对提取的行执行垂直投影来提取字符。另一方面，当文本框采用垂直文本方向时，执行上述处理中水平和垂直方向被颠倒后的处理。
[示例性的比较处理]
将参考图16描述在步骤S906中执行的比较处理的细节，图16是示出了根据本发明一个实施例的比较处理的细节的流程图。
在步骤S1601中，从表的顶端依次获取用于管理比较目标文档的潜在原始文档列表的文档ID。在步骤S1602中，确定是否已获取所有的文档ID。当已经获得所有的文档ID时(在步骤S1602中为“是”)，处理结束。另一方面，当并未获取所有的文档ID时(在步骤S1602中为“否”)，处理前进到步骤S1603。
在步骤S1603中，确定所获取的比较目标文档的文档ID是否表示已执行过页面比较的文档。在本实施例中，多个文档ID可被分配给单个文档。在这种情况下，文档ID各自包含不同的块信息，但其块特征是相同的。所以，使用包含在一个已对其执行过页面比较的文档的另一个文档ID中的文档信息进行的比较处理仅仅导致冗余处理，因此是不需要的。
当获得的文档ID表示一个已对其执行过页面比较的文档时(在步骤S1603中为“是”)，处理返回到步骤S1601。另一方面，当所获得的文档ID表示一个还未对其执行过页面比较的文档时(在步骤S1603中为“否”)，处理前进到步骤S1604。
在步骤S1604中，执行基于相对坐标系的布局比较。这里，布局包括包含在块信息中的块的属性、尺寸和位置。更具体地，比较源图像中的块的属性、尺寸和位置分别与包含在和步骤S1601中获取的文档ID相对应或和正在处理的页面相对应的块信息中的块的属性、尺寸和位置进行比较，以确定布局是否相同。
在本实施例中，图5中示出的每个块信息包括基于绝对坐标系使用像素值表示的位置和尺寸信息。因此，待处理的图像使用在如图4所示的文档信息中所包含的纸张尺寸进行归一化，然后改变到相对坐标系。通过执行基于相对坐标系的布局比较，即使一幅图像被放大或缩小，放大和缩小后的图像也可容易地被看作具有与原始图像布局相同布局的图像。也就是说，如图17A至17D所示的不同尺寸的图像可被看作是具有相同布局的图像。
在步骤S1605中，根据在步骤S1604中执行的布局比较处理确定比较源图像(纸质文档)的布局是否与比较目标图像(原始文档)的布局相同。当它们相同时(在步骤S1605中为“是”)，处理前进到步骤S1609。另一方面，当它们不同时(在步骤S1605中为“否”)，处理前进到步骤S1606。
在步骤S1606中，确定比较源图像的纸张尺寸是否是标准纸张尺寸。当纸张尺寸不是标准纸张尺寸时(在步骤S1606中为“否”)，处理前进到步骤S1607。另一方面，当纸张尺寸是标准纸张尺寸时(在步骤S1606中为“是”)，处理返回到步骤S1601。
在步骤S1607中，执行基于绝对坐标系的布局比较。在步骤S1604中的基于相对坐标系的布局比较中，通过把原始图像打印到较大尺寸的纸张上而不缩放原始图像所获得的图像被看作是与原始图像相比具有不同布局的图像。然而，在这种基于绝对坐标系的布局比较中，它被看作是与原始图像相比具有相同布局的图像。因此，如图18A、18B和18C所示的被打印在不同尺寸纸张上的图像的布局可被认为是相同的。
在步骤S1608中，根据在步骤S1607中执行的布局比较处理确定比较源图像(纸质文档)的布局是否与比较目标图像(原始文档)的布局相同。当它们相同时(在步骤S1608中为“是”)，处理前进到步骤S1609。另一方面，当它们不同时(在步骤S1608中为“否”)，处理返回到步骤S1601。
在步骤S1609中，执行用于将比较源图像(纸质文档)和比较目标图像(原始文档)的页面进行比较的页面比较处理。在该处理中，根据块属性使用文本特征量或图像特征量执行综合比较，以便计算相似度水平。该处理的细节将在后面描述。
在步骤S1610中，确定计算得到的相似度水平是大于还是等于预定的阈值。当相似度水平小于预定的阈值时(在步骤S1610中为“否”)，处理返回到步骤S1601。另一方面，当相似度水平大于或等于预定的阈值时(在步骤S1610中为“是”)，处理前进到步骤S1611。
在步骤S1611中，正在处理的文档ID及其相似度水平被添加到检索结果列表中，然后处理返回到步骤S1601。
[示例性的页面比较处理]
将参考图19描述在步骤S1609中执行的页面比较处理的细节，图19是示出了根据本发明一个实施例的页面比较处理的细节的流程图。
在步骤S1901中，通过参考块信息确定在对应于文档ID和待处理页序号的电子数据中是否存在尚未对其执行过比较处理的块。当不存在未比较的块时(在步骤S1901中为“否”)，处理前进到步骤S1905。另一方面，当存在未比较的块时(在步骤S1901中为“是”)，处理前进到步骤S1902。
在步骤S1902中，确定待比较的块的属性。当属性表示图像块时，处理前进到步骤S1903。另一方面，当属性表示文本块时，处理前进到步骤S1904。
当属性表示图像块时，在步骤S1903中，执行使用色彩特征量信息将比较源块和比较目标块进行比较的色彩特征量信息比较处理。该处理的细节稍后描述。由该处理获取的相似度水平与比较目标文档的文档ID、页序号和块ID相关联，然后被暂时存储在存储单元201中。
另一方面，当属性表示文本块时，在步骤S1904中，执行使用文本特征量信息将比较源块和比较目标块进行比较的文本特征量信息比较处理。该处理的细节稍后描述。由该处理获取的相似度水平与比较目标文档的文档ID、页序号和块ID相关联，然后被暂时存储在存储单元201中。
接着，在步骤S1901中，当已对所有块执行过比较处理时(在步骤S1901中为“否”)，处理前进到步骤S1905。在步骤S1905中，执行用于计算作为检索条件(询问)的纸质文档和原始文档中的页面之间的相似度水平的综合处理。在该处理中，包含在比较目标文档(原始文档(电子数据))的页面中的所有块的相似度水平被综合，所有块的相似度水平根据在步骤S1903和S1904中执行的处理已被存入存储单元201中。
[示例性的色彩特征量信息比较处理]
将参考图20描述在步骤S1903中执行的色彩特征量信息比较处理的细节，图20是示出了根据本发明一个实施例的色彩特征量信息比较处理的细节的流程图。
在步骤S2001中，比较源和目标图像块的色彩特征量分别从色彩特征量信息中读取。在步骤S2002中，对应于如图14所示的顺序决策表的第一网格块的网格块被设置为待处理图像块中的聚焦网格块。在步骤S2003中，用以表示在比较源和目标图像块的色彩特征量之间的相似度水平的相似度距离被复位为零。
在步骤S2004中，确定是否存在还未对其执行过比较处理的聚焦网格块。当不存在未比较的聚焦网格块时(在步骤S2004中为“否”)，处理前进到步骤S2008。另一方面，当存在未比较的聚焦网格块时(在步骤S2004中为“是”)，处理前进到步骤S2005。
在步骤S2005中，分别从比较源和目标图像的色彩特征量中获取比较源和目标图像中的聚焦网格块的色彩箱ID。在步骤S2006中，通过参照如图21所示的色彩箱惩罚矩阵来获得聚焦网格块之间，即在获取的色彩箱ID之间的局部相似度距离。获得的局部相似度距离被加到已在前述处理中获得的相似度距离上。然后将相似度距离存储在存储单元201中。
将参考图21描述色彩箱惩罚矩阵，图21是示出了根据本发明一个实施例的色彩箱惩罚矩阵的示例性结构的图。
色彩箱惩罚矩阵管理各色彩箱ID之间的局部相似度距离。参考图21，色彩箱惩罚矩阵被配置为使得在相同色彩箱ID之间的相似度距离为零，而当色彩箱ID之间的差异增大时，即，当相似度水平减小时，相似度距离增大。在色彩箱惩罚矩阵中，相同色彩箱ID的所有交叉点的值为零，并且相似度距离关于连接所有交叉点的对角线对称。
这样，在本实施例中，色彩箱ID之间的相似度距离可以仅通过参照色彩箱惩罚矩阵获得，从而可以实现高速处理。
在步骤S2007中，下一个待处理的聚焦网格块通过参照如图14所示的顺序决策表进行设置。随后，处理返回到步骤S2004。
在步骤S2004中，当不存在未比较的网格块时(在步骤S2004中为“否”)，处理前进到步骤S2008。在步骤S2008中，存储在存储单元201中的相似度距离被转换为相似度水平，然后和相应的块ID一起输出。
到相似度水平的转换如下执行。例如对于相似度距离的最小值，相似度水平被设置为100％，而对于相似度距离的最大值，设置为0％。可以使用相似度距离和最大或最小值之间的差异从相似度距离计算其它相似度水平。
[示例性的文本特征量信息比较处理]
现在将描述在步骤S1904中执行的文本特征量信息比较处理的细节。在该处理中，对比较源和目标图像的文本块中的字符编码进行比较。随后，根据字符编码的匹配计算相似度水平。
当用作检索条件的纸质文档和它的原始文档进行比较时，希望相似度水平为100％。然而，在实际中，在对纸质文档的文本块执行的OCR处理中，可能发生识别错误。因此，即使纸质文档和它的原始文档进行比较，相似度水平可能不是100％，而是接近100％。在这种情况下，它们可被认为是相同文档。
[示例性的综合处理]
现在将描述在步骤S1905中执行的综合处理的细节。在综合处理中，综合计算得到的所有块的相似度水平，以使得覆盖作为比较目标图像的原始文档的较大部分的块的相似度水平可被更加重要地反映在整个原始文档的相似度水平中。
例如，假设已经分别计算了包含在原始文档中的块B1至B6的相似比率n1至n6。这时，整个原始文档的综合相似度水平比率N由下式给出
N＝w1×n1+w2×n2+w3×n3+...+w6×n6  (1)
其中w1至w6是用于评价块的相似度水平的加权因子。加权因子w1至w6分别根据一个块与原始文档中其它块的比率(占有率(occupation ratio))进行计算。例如，假设块1至6的尺寸被分别表示为S1至S6。此时，块1的占有率w1由下式给出
w1＝S1/(S1+S2+...+S6)  (2)
借助于这样的占有率，通过执行加权处理，覆盖了作为比较目标图像的原始文档的较大部分的块的相似度水平可以更加重要地反映在整个原始文档的相似度水平中。
[用于选项显示/选择处理的用户界面]
将参考图22描述用于在步骤S910中执行的选项显示/选择处理的示例性用户界面，图22是示出了根据本发明一个实施例的示例性用户界面的图。
显示区域2201配置有允许用户通过直接触摸其屏幕输入选择指令的触摸板。潜在原始文档(电子文件或图像数据)的缩略图像2202至2211作为比较结果被输出，并从缩略图像2202开始以相似度水平的降序进行显示。
在该例中，可以显示多达十幅缩略图像。当存在十幅或更多潜在的原始文档时，可同时显示最靠前的十幅缩略图像。用户能够通过从这些缩略图像2202至2211中选择一幅期望的缩略图像来选择想要的原始文档，并对所选的原始文档执行各种处理操作。
按钮2212表示显示潜在原始文档的哪个页面的信息。通过触摸按钮2212，可以显示潜在原始文档的其它页面。
[用于标准纸张尺寸设置的示例性用户界面]
用于本实施例中的确定处理的标准纸张尺寸可以在图像处理设备中自动设置为最常用的A4或信纸(美国)尺寸，也可由用户使用专用的用户界面进行设置。
图23是示出了根据本发明一个实施例的用于设置标准纸张尺寸的示例性用户界面的图。显示区域2301配有例如允许用户通过直接触摸其屏幕来输入选择指令的触摸板。显示标准纸张尺寸选项2302至2311。在该例中，可以显示多达十种纸张尺寸作为标准纸张尺寸选项。例如，通过触摸期望的标准纸张尺寸选项，可以实现标准纸张尺寸的设置。还要注意，已被设置的标准纸张尺寸用在注册和检索图像数据的后续处理中。
仍参考图23，当存在超过十种标准纸张尺寸选项时，显示按钮2312。通过触摸该按钮，可以显示标准纸张尺寸选项的其它页面。
如前所述，根据本实施例，即使在不存在于原始图像中的空白区域出现在通过打印原始图像获得的文档中的文档区域周围的情况下，也可以执行打印文档的扫描图像和原始图像之间的正确的布局比较。因此，通过使用这种布局比较，可以实现正确的检索处理。
[其它示例性实施例]
在上面的实施例中，图像尺寸和块信息使用像素值表示并被预先存储。当执行基于相对坐标系的布局比较时，像素值被转换为归一化的相对坐标。然而，也可以考虑其它情况。
例如，图像尺寸可用诸如厘米或英寸的线性测量单位表示，然后被预先存储以用于布局比较。块信息可用归一化的相对坐标表示，然后预先存储用于布局比较。当执行基于相对坐标系的布局比较时，使用存储的相对坐标。当执行基于绝对坐标系的布局比较时，存储的相对坐标可被转换为绝对坐标。此外，由相对坐标系表示的块信息和由绝对坐标系表示的块信息可分别被预先存储，从而不需要纸张尺寸信息。
已详细描述了示例性实施例，但本发明不仅限于此。例如，本发明可以以系统、设备、方法、程序、存储介质等形式实现。更具体地，本发明可应用于包含多种装置的系统或由单个装置形成的设备。
本发明可按如下方式实现。实现上述实施例功能的软件程序(对应于在上述实施例的附图中所示的流程图的程序)被直接或远程提供给系统或设备。提供给系统或设备的程序代码被读取并执行，从而可以实现本发明。
因此，本发明也可通过安装在计算机上以便使计算机实现本发明的功能性处理的程序代码实现。
除了程序代码，也可采用具有程序代码功能的其他形式，诸如目标代码、由解释器执行的程序、以及提供给OS的脚本数据。
用于提供程序的存储介质包括例如软盘、硬盘、光盘、磁光盘、MO、CD-ROM、CD-R、CD-RW、磁带、非易失性存储卡、ROM和DVD(DVD-ROM或DVD-R)。
可通过经由客户计算机的浏览器把客户计算机连接到因特网主页，并从该主页将计算机程序或具有自动安装功能的压缩文件下载到诸如硬盘的存储介质上来提供该程序。另外，也可通过将组成程序的程序代码分割成多个文件，然后分别从不同的主页上下载分割后的文件的方式提供该程序。即，允许多个用户下载使计算机执行本发明功能性处理所需的程序文件的WWW(万维网)服务器可应用于本发明。
程序可被加密，并存储在诸如CD-ROM的存储介质中，然后被发送给用户。如果用户满足预定的条件，他或她被允许通过因特网从主页下载解密密钥信息，并使用下载的解密密钥信息执行加密的程序，然后在计算机上安装该程序。
当计算机执行程序时，可以实现上述实施例的功能。另外，在计算机上运行的OS等可以根据程序的指令执行部分或全部处理，从而实现上述实施例的功能。
更进一步，从存储介质读出的程序可被写入插入计算机的特征扩展板或设置在连接到计算机的特征扩展单元的存储器中。随后，设置在特征扩展板或单元上的CPU根据程序的指令执行部分或全部处理，从而实现上述实施例的功能。
虽然参考示例性实施例描述了本发明，应该理解，本发明并不局限于公开的示例性实施例。应给予下面权利要求的范围最宽的解释，以便包含所有变形、等同结构和功能。

Claims (18)

1.一种用于执行图像相似度比较处理的图像处理设备，包括：
第一输入单元，其被配置为输入充当比较目标图像的原始图像；
第一提取单元，其被配置为提取关于包含在原始图像中的块的块信息；
第一确定单元，其被配置为确定原始图像尺寸是否为预定尺寸；
创建单元，其被配置为在第一确定单元确定原始图像尺寸不是预定尺寸时，创建关于包含在映射到预定尺寸的原始图像中的块的块信息；
存储单元，其被配置为存储块信息；
第二输入单元，其被配置为输入比较源图像；
第二提取单元，其被配置为提取关于包含在比较源图像中的块的块信息；以及
比较单元，其被配置为将关于比较源图像的块信息和关于比较目标图像的块信息进行比较。
2.根据权利要求1的图像处理设备，其中，创建单元通过将由第一提取单元提取的块信息改变为与通过把原始图像映射到预定尺寸所获得的块信息等价的块信息，创建关于包含在映射到预定尺寸的原始图像中的块的块信息。
3.根据权利要求1的图像处理设备，其中该创建单元包括：
图像创建单元，其被配置为通过将原始图像映射到预定尺寸来创建映射图像；以及
第三提取单元，其被配置为提取关于包含在由图像创建单元创建的映射图像中的块的块信息，
其中，创建单元创建由第三提取单元提取的块信息，作为关于包含在映射到预定尺寸的原始图像中的块的块信息。
4.根据权利要求1的图像处理设备，其中创建单元包括：
缩放单元，其被配置为缩放原始图像；
处理单元，其被配置为处理原始图像；以及
添加单元，其被配置为向原始图像添加空白图像，并且
其中，创建单元根据原始图像的尺寸，使用缩放单元、处理单元和添加单元中的至少一个来创建关于包含在映射到预定尺寸的原始图像中的块的块信息。
5.根据权利要求1的图像处理设备，其中创建单元包括：
决策单元，其被配置为决定用于把原始图像映射到预定尺寸的基准位置，
其中，创建单元根据原始图像的尺寸，使用由决策单元决定的基准位置来创建关于包含在映射到预定尺寸的原始图像中的块的块信息。
6.根据权利要求1的图像处理设备，其中比较单元包括：
第一比较单元，其被配置为在相对坐标系中将关于比较源图像的块信息和关于比较目标图像的块信息进行比较；以及
第二比较单元，其被配置为在绝对坐标系中将关于比较源图像的块信息和关于比较目标图像的块信息进行比较。
7.一种用于执行图像相似度比较处理的图像处理设备，包括：
第一输入单元，其被配置为输入充当比较目标图像的原始图像；
第一提取单元，其被配置为提取关于包含在原始图像中的块的块信息；
存储单元，配置为存储块信息；
第二输入单元，其被配置为输入比较源图像；
第二提取单元，其被配置为提取关于包含在比较源图像中的块的块信息；
第一比较单元，其被配置为在相对坐标系中将关于比较源图像的块信息和关于比较目标图像的块信息进行比较；以及
第二比较单元，其被配置为在绝对坐标系中将关于比较源图像的块信息和关于比较目标图像的块信息进行比较。
8.根据权利要求6的图像处理设备，其中，第一和第二比较单元中的至少一个根据比较源图像的尺寸执行处理。
9.根据权利要求6的图像处理设备，进一步包括被配置为确定比较源图像的尺寸是否为预定尺寸的第二确定单元，
其中，第一和第二比较单元中的至少一个根据第二确定单元的确定结果执行处理。
10.根据权利要求9的图像处理设备，其中，当第二确定单元确定比较源图像的尺寸不是预定尺寸时，第二比较单元执行处理。
11.根据权利要求1的图像处理设备，其中，由第一和第二提取单元提取的块信息是基于绝对和相对坐标系的块信息。
12.根据权利要求1的图像处理设备，进一步包括：
尺寸信息存储单元，其被配置为在第一和第二提取单元提取的块信息是基于绝对坐标系的块信息时，存储关于比较目标图像的纸张尺寸信息；以及
块信息创建单元，其被配置为根据基于绝对坐标系的块信息和纸张尺寸信息，创建基于相对坐标系的块信息。
13.根据权利要求1的图像处理设备，进一步包括：
尺寸信息存储单元，其被配置为当第一和第二提取单元提取的块信息是基于相对坐标系的块信息时，存储关于比较目标图像的纸张尺寸信息；以及
块信息创建单元，其被配置为根据基于相对坐标系的块信息和纸张尺寸信息，创建基于绝对坐标系的块信息。
14.根据权利要求1的图像处理设备，进一步包括被配置为指定预定尺寸的指定单元。
15.一种用于控制执行图像相似度比较处理的图像处理设备的控制方法，包括：
输入充当比较目标图像的原始图像；
提取关于包含在原始图像中的块的块信息；
确定原始图像尺寸是否为预定尺寸；
当在第一确定步骤中确定原始图像尺寸不是预定尺寸时，创建关于包含在映射到预定尺寸的原始图像中的块的块信息；
输入比较源图像；
提取关于包含在比较源图像中的块的块信息；以及
将关于比较源图像的块信息和关于比较目标图像的块信息进行比较。
16.一种用于控制执行图像相似度比较处理的图像处理设备的控制方法，包括：
输入充当比较目标图像的原始图像；
提取关于包含在原始图像中的块的块信息；
输入比较源图像；
提取关于包含在比较源图像中的块的块信息；
在相对坐标系中将关于比较源图像的块信息和关于比较目标图像的块信息进行比较；以及
在绝对坐标系中将关于比较源图像的块信息和关于比较目标图像的块信息进行比较。
17.一种计算机可读介质，其包含用于执行图像相似度比较处理的指令，该计算机可读介质包括：
用于输入充当比较目标图像的原始图像的计算机可读指令；
用于提取关于包含在原始图像中的块的块信息的计算机可读指令；
用于确定原始图像尺寸是否为预定尺寸的计算机可读指令；
当在第一确定步骤中确定原始图像尺寸不是预定尺寸时，创建关于包含在映射到预定尺寸的原始图像中的块的块信息的计算机可读指令；
用于输入比较源图像的计算机可读指令；
用于提取关于包含在比较源图像中的块的块信息的计算机可读指令；以及
用于将关于比较源图像的块信息和关于比较目标图像的块信息进行比较的计算机可读指令。
18.一种计算机可读介质，其包含用于执行图像相似度比较处理的指令，该计算机可读介质包括：
用于输入充当比较目标图像的原始图像的计算机可读指令；
用于提取关于包含在原始图像中的块的块信息的计算机可读指令；
用于输入比较源图像的计算机可读指令；
用于提取关于包含在比较源图像中的块的块信息的计算机可读指令；
用于在相对坐标系中将关于比较源图像的块信息和关于比较目标图像的块信息进行比较的计算机可读指令；以及
用于在绝对坐标系中将关于比较源图像的块信息和关于比较目标图像的块信息进行比较的计算机可读指令。
CNB2006101148656A 2005-08-09 2006-08-09 用于图像检索的图像处理设备及其控制方法 Expired - Fee Related CN100414550C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005231171A JP4533273B2 (ja) 2005-08-09 2005-08-09 画像処理装置及び画像処理方法、プログラム
JP2005231171 2005-08-09

Publications (2)

Publication Number Publication Date
CN1913573A true CN1913573A (zh) 2007-02-14
CN100414550C CN100414550C (zh) 2008-08-27

Family

ID=37395917

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2006101148656A Expired - Fee Related CN100414550C (zh) 2005-08-09 2006-08-09 用于图像检索的图像处理设备及其控制方法

Country Status (4)

Country Link
US (1) US7746507B2 (zh)
EP (1) EP1752895A1 (zh)
JP (1) JP4533273B2 (zh)
CN (1) CN100414550C (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156855A (zh) * 2011-03-30 2011-08-17 信雅达系统工程股份有限公司 基于影像切割的银行凭证数据采集方法
CN113487641A (zh) * 2021-08-03 2021-10-08 致真存储(北京)科技有限公司 一种基于stt-mram的图像边缘检测方法及装置

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4533273B2 (ja) * 2005-08-09 2010-09-01 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム
US8190634B2 (en) * 2006-10-10 2012-05-29 Canon Kabushiki Kaisha Image display controlling apparatus, method of controlling image display, and storage medium
US8726178B2 (en) * 2006-11-10 2014-05-13 Ricoh Company, Ltd. Device, method, and computer program product for information retrieval
JP4974794B2 (ja) * 2007-07-13 2012-07-11 キヤノン株式会社 文書認識装置、文書認識方法、コンピュータプログラム
JP4372188B2 (ja) * 2007-12-21 2009-11-25 株式会社東芝 情報処理装置および表示制御方法
JP2011008446A (ja) * 2009-06-24 2011-01-13 Fuji Xerox Co Ltd 画像処理装置
US8817052B2 (en) * 2009-11-02 2014-08-26 Sony Corporation Information processing apparatus, image enlargement processing method, and computer program product with visible data area enlargement features
JP5528081B2 (ja) * 2009-12-10 2014-06-25 キヤノン株式会社 情報処理装置の制御方法、情報処理装置、及び、プログラム
US8879117B2 (en) * 2010-05-26 2014-11-04 Hewlett-Packard Development Company, L.P. Margin adjustment
KR20130061604A (ko) * 2011-12-01 2013-06-11 삼성전자주식회사 화상형성장치, 화상형성방법 및 기록 매체
JP5942603B2 (ja) * 2012-05-30 2016-06-29 ブラザー工業株式会社 画像読取装置
US9965695B1 (en) * 2016-12-30 2018-05-08 Konica Minolta Laboratory U.S.A., Inc. Document image binarization method based on content type separation
WO2019054999A1 (en) * 2017-09-13 2019-03-21 Google Llc EFFICIENT AUGMENTATION OF IMAGES WITH RELATED CONTENT
JP7484198B2 (ja) * 2020-02-03 2024-05-16 富士フイルムビジネスイノベーション株式会社 文書処理装置およびプログラム
US11212419B1 (en) * 2020-06-30 2021-12-28 Kyocera Document Solutions Inc. Image reading system, image forming system, and image reading method that perform image processing for each area
US11134171B1 (en) * 2020-06-30 2021-09-28 Kyocera Document Solutions Inc. Image reading apparatus, image forming apparatus, and image reading method that perform image processing for each area

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5579590A (en) * 1978-12-13 1980-06-16 Hitachi Ltd Video data processor
DE3413699A1 (de) * 1983-04-12 1984-10-18 Canon K.K., Tokio/Tokyo Bildverarbeitungssystem
DE3639387A1 (de) * 1985-11-18 1987-05-21 Ricoh Kk Faksimilegeraet
JPH0623999B2 (ja) * 1986-07-28 1994-03-30 株式会社日立製作所 パタ−ン欠陥検出方法
EP0307783B1 (en) * 1987-09-11 1991-09-04 Dainippon Screen Mfg. Co., Ltd. Apparatus for holding sensitized material in slitwise exposure type copying camera
JP2835178B2 (ja) * 1990-11-28 1998-12-14 株式会社東芝 文書読取装置
US5751854A (en) * 1992-08-03 1998-05-12 Ricoh Company, Ltd. Original-discrimination system for discriminating special document, and image forming apparatus, image processing apparatus and duplicator using the original-discrimination system
US5611024A (en) * 1992-08-28 1997-03-11 Compaq Computer Corporation Data compression of bit map images
JP3061701B2 (ja) * 1993-07-08 2000-07-10 三菱電機株式会社 ファイリング装置
JPH0774918A (ja) * 1993-08-30 1995-03-17 Ricoh Co Ltd 画像形成装置
JP3478877B2 (ja) * 1994-09-30 2003-12-15 ミノルタ株式会社 画像形成装置
JP3494326B2 (ja) * 1994-10-19 2004-02-09 ミノルタ株式会社 画像形成装置
EP0724229B1 (en) * 1994-12-28 2001-10-10 Canon Kabushiki Kaisha Image processing apparatus and method
US5768481A (en) * 1995-06-05 1998-06-16 Apple Computer, Inc. Method and apparatus for compression of digitized image data using a dynamic band recompression scheme
US6061474A (en) * 1995-06-22 2000-05-09 Canonkabushiki Kaisha Image processing apparatus and method
JP3604467B2 (ja) * 1995-09-27 2004-12-22 株式会社東芝 心筋のねじれ補正方法
US5933823A (en) * 1996-03-01 1999-08-03 Ricoh Company Limited Image database browsing and query using texture analysis
US6314213B1 (en) * 1996-09-19 2001-11-06 Canon Kabushiki Kaisha Image processing apparatus and method which process image on the basis of direction of document
JPH10164291A (ja) * 1996-11-29 1998-06-19 Toshiba Corp 画像形成装置
US5778092A (en) * 1996-12-20 1998-07-07 Xerox Corporation Method and apparatus for compressing color or gray scale documents
KR100295225B1 (ko) * 1997-07-31 2001-07-12 윤종용 컴퓨터에서 영상정보 검색장치 및 방법
JP3722966B2 (ja) * 1997-11-13 2005-11-30 株式会社リコー 縮小画像作成装置
US6101291A (en) * 1998-02-11 2000-08-08 Lucent Technologies Inc. Platen-based image-aquisition apparatus having preview feature
KR20010043717A (ko) * 1998-05-18 2001-05-25 데이터큐브, 인코포레이티드 이미지 인식 및 상관 시스템
JPH11328417A (ja) * 1998-05-20 1999-11-30 Toshiba Corp 画像処理装置、画像処理方法及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
US6178417B1 (en) * 1998-06-29 2001-01-23 Xerox Corporation Method and means of matching documents based on text genre
US6765687B2 (en) * 1998-09-10 2004-07-20 Canon Kabushiki Kaisha Image processing method and apparatus
US6351556B1 (en) * 1998-11-20 2002-02-26 Eastman Kodak Company Method for automatically comparing content of images for classification into events
GB9903451D0 (en) 1999-02-16 1999-04-07 Hewlett Packard Co Similarity searching for documents
US6397213B1 (en) * 1999-05-12 2002-05-28 Ricoh Company Ltd. Search and retrieval using document decomposition
DE19958553A1 (de) * 1999-12-04 2001-06-07 Luratech Ges Fuer Luft Und Rau Verfahren zur Kompression von gescannten Farb- und/oder Graustufendokumenten
WO2001056010A1 (en) * 2000-01-26 2001-08-02 New York University Method and system for facilitating wireless, full-body, real-time user interaction with digitally generated text data
US6694065B2 (en) * 2000-03-10 2004-02-17 Fujitsu Limited Image collating apparatus and image collating method
JP2001283216A (ja) * 2000-04-03 2001-10-12 Nec Corp 画像照合装置、画像照合方法、及びそのプログラムを記録した記録媒体
AU4747800A (en) * 2000-04-14 2001-10-30 Orlean Holding N.V. An improved system and method for digitally editing a composite image
JP2001326847A (ja) * 2000-05-16 2001-11-22 Fuji Photo Film Co Ltd 画像撮像装置
JP3742279B2 (ja) * 2000-06-09 2006-02-01 日本電信電話株式会社 画像照合装置、画像照合方法及び画像照合プログラムを記録した記録媒体
US7038795B2 (en) * 2000-06-12 2006-05-02 Canon Kabushiki Kaisha Image input/output apparatus, method of controlling image input/output apparatus, image input/output system, and storage media
JP2002183166A (ja) * 2000-12-19 2002-06-28 Nec Corp ドキュメントファイリングシステムおよび方法
JP2002208005A (ja) * 2001-01-12 2002-07-26 Minolta Co Ltd 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2002290710A (ja) * 2001-03-28 2002-10-04 Fuji Photo Film Co Ltd 縮小画像作成方法及びプログラム
JP2002354220A (ja) * 2001-05-24 2002-12-06 Murata Mach Ltd 通信端末装置
JP3882585B2 (ja) * 2001-11-07 2007-02-21 富士ゼロックス株式会社 画像処理装置およびプログラム
JP3973602B2 (ja) * 2002-07-10 2007-09-12 株式会社リコー 画像処理装置、画像処理方法及びソフトウェアプログラム
JP4135888B2 (ja) * 2002-09-18 2008-08-20 株式会社リコー 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP4375523B2 (ja) * 2002-12-20 2009-12-02 富士ゼロックス株式会社 画像処理装置、画像処理方法、画像処理プログラム、印刷物検査装置、印刷物検査方法、印刷物検査プログラム
JP4266695B2 (ja) * 2003-04-30 2009-05-20 キヤノン株式会社 画像処理装置及び画像処理方法
JP2004348706A (ja) * 2003-04-30 2004-12-09 Canon Inc 情報処理装置及び情報処理方法ならびに記憶媒体、プログラム
JP4405831B2 (ja) * 2003-05-20 2010-01-27 キヤノン株式会社 画像処理装置及びその制御方法、プログラム
US7475061B2 (en) * 2004-01-15 2009-01-06 Microsoft Corporation Image-based document indexing and retrieval
JP4533273B2 (ja) * 2005-08-09 2010-09-01 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム
US8065321B2 (en) * 2007-06-20 2011-11-22 Ricoh Company, Ltd. Apparatus and method of searching document data

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156855A (zh) * 2011-03-30 2011-08-17 信雅达系统工程股份有限公司 基于影像切割的银行凭证数据采集方法
CN113487641A (zh) * 2021-08-03 2021-10-08 致真存储(北京)科技有限公司 一种基于stt-mram的图像边缘检测方法及装置

Also Published As

Publication number Publication date
JP4533273B2 (ja) 2010-09-01
EP1752895A1 (en) 2007-02-14
CN100414550C (zh) 2008-08-27
US7746507B2 (en) 2010-06-29
US20070036468A1 (en) 2007-02-15
JP2007049388A (ja) 2007-02-22

Similar Documents

Publication Publication Date Title
CN1913573A (zh) 用于图像检索的图像处理设备及其控制方法
CN1248138C (zh) 图像处理方法与图像处理系统
CN1287310C (zh) 组成多媒体文件的方法和装置
CN1314226C (zh) 多媒体文件共享方法和装置
CN1271505C (zh) 用于进行图像检索的图像处理装置及方法
CN1236379C (zh) 来自可移动型存储媒体的图像输出装置
CN1719862A (zh) 图像处理系统和图像处理方法
CN1542655A (zh) 信息处理装置和信息处理方法、以及存储媒体、程序
CN1620094A (zh) 用于将图像转换为预定格式的图像处理设备及方法
CN1253010C (zh) 图像压缩方法及装置、图像编码装置及图像编码方法
CN1829273A (zh) 图像处理装置及其方法
CN1874395B (zh) 图像处理装置和图像处理方法
CN1719864A (zh) 图像处理系统及图像处理方法
CN1783933A (zh) 图像处理装置及其方法
JP4920928B2 (ja) 画像処理装置及びその制御方法、プログラム
CN1859541A (zh) 图像处理设备及其控制方法
CN1619438A (zh) 图像处理装置及其控制方法、程序
CN1945599A (zh) 图像处理装置,图像处理方法和计算机程序产品
CN1925541A (zh) 图像处理装置及其方法
CN1773501A (zh) 图像检索和形成装置、方法及程序、以及记录介质
CN1255718C (zh) 一种对存储在移动型记录媒体的作业文件的管理和管理方法
CN1627786A (zh) 图像处理系统以及图像处理方法
CN1625206A (zh) 图像处理装置及其控制方法
CN1126358C (zh) 数字复合机
JP2022092917A (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080827

Termination date: 20170809