CN101686305A - 图像处理装置、图像处理方法和计算机可读介质 - Google Patents

Abstract

图像处理装置包括：图像分割单元，其分别将第一图像和第二图像分割成多个第一分割图像和多个第二分割图像；对应分割图像提取单元，其提取与第一分割图像相对应的第二分割图像；差别提取单元，其提取具有包含在每个第一分割图像中的像素和包含在每个第二分割图像中的像素之间的差别的差别图像，所述差别是由添加或提取所造成的；第一改变单元，其在第一分割图像具有可相对于第二分割图像移动的移动关系的情况下，将第二分割图像的颜色改变成第一颜色；第二改变单元，其将差别提取单元提取出的差别图像的颜色改变成第二颜色；以及图像输出单元，其输出被第一改变单元改变了颜色的第二分割图像以及被第二改变单元改变了颜色的差别图像。

Description

图像处理装置、图像处理方法和计算机可读介质

技术领域

本发明涉及图像处理装置、图像处理方法和计算机可读介质。

背景技术

为了检测用户对于以纸为媒介的文档所做出的添加等，或者为了检查安全文档是否为伪造，或者为了对原始图形与修改后的图形进行比较，存在着对文档的改变部分(如添加或删除)进行澄清的需求。为了应对这种需求而执行如下处理，其中使用扫描仪来读取原始文档和纸质文档(与原始文档进行比较的文档，即有可能已经进行了添加的文档)，并且对二者的图像进行相互比较以提取出之间差别。

作为这种差别提取处理的相关技术，已有例如在JP-A-2004-287682(此处所用的术语“JP-A”表示“未审查的日本专利申请公开”)中公开的技术，该技术致力于提供一种添加图像提取装置，该添加图像提取装置能够避免在执行差别处理之后在文档中留下任何差别提取未处理部分的可能情况，从而能够增强添加图像的提取精度。具体来说，在这种装置中，图像位置检测单元检测出第一区域区分单元区分出的电子文档的原稿图像的各个区域以及第二区域区分单元区分出的添加和叠加图像的各个区域的位置偏移量；并且，图像差别处理单元根据所检测出的位置偏移量来修正位置以进行差别处理。这样，即使在电子文档的原稿图像和添加/叠加图像之间产生了位置偏移，由于是在修正了位置偏移之后进行差别处理，所以能够避免在执行差别处理之后产生差别提取未处理部分，从而能够增强添加图像的提取精度。

此外，在例如JP-A-2004-213230中，公开了添加提取装置和添加提取方法，在对电子文档和添加/叠加图像执行添加提取处理时，所述添加提取装置和添加提取方法能够避免在不存在添加信息的区域产生差别提取未处理部分，并且还能以更高的精度提取添加。该添加提取装置包括区域分割部分、图像差别计算部分和图像插值部分。区域分割部分使用两种图像。一种是电子文档的原稿图像，另一种是可以通过下述方式获得的图像。所述方式即，将电子文档的图像输出到纸上；接下来添加手写的录入并将其叠加在纸上的图像上；然后使用诸如扫描仪的图像读取设备来将其上叠加有添加的纸上文档图像再次数字化。具体来说，在这种添加提取装置中，区域分割部分根据电子文档的原稿图像和上述重新数字化的图像、使用字符识别来将期望的区域分割成小区域，并且检查这些小区域是否需要添加提取操作。并且，图像差别计算部分对由区域分割部分所分割并且发现需要差别计算的各个小区域执行差别计算操作。此外，图像插值部分对已经通过图像差别计算操作进行了差别处理的图像执行插值处理。由于这种结构，该添加提取装置能够提高添加提取的精度。

此外，在例如JP-A-2004-341914中，公开了一种致力于有效执行如下操作的技术，所述操作与对电子文档文件和图像文件进行更新从而有效利用文件的保留区域的空间相关。具体来说，图像扩展部分对通过将原始电子文档文件处理成图像所得到的图像数据(原始文档图像数据)的黑色像素执行扩展处理，以修正在定位(positioning)操作中造成的误差；局部区域分割部分对通过使用扫描仪读取添加打印文档所获得的图像数据(添加图像数据)以及原始文档图像数据的各个图像数据区域进行分割；然后，矩形提取部分获得矩形信息；矩形比较/定位部分对这两种图像数据相对彼此进行定位；以及，逻辑计算部分以多个像素为单元计算异或来提取差别信息，并且存储所提取的差别信息和原始文档图像数据，从而节省数据区域。

此外，在例如JP-A-2007-241356中，公开了一种致力于避免模糊字符、断行以及添加提取遗漏的技术，在采用扩展相减方法的差别提取处理中，上述缺陷是由于从添加后的原稿图像中减去添加前的原稿的扩展处理图像以及在扩展部分中执行额外(excessive)相减操作而产生的。具体来说，在用于获得添加前图像和添加后图像之间的差别来提取添加信息的添加信息提取处理(差别提取处理)中，在对两种图像进行比较前，首先，整体定位/失真修正部分在整个原稿上定位图像；然后，差别提取部分得到粗略的差别信息；接下来，分割图像定位/失真修正部分根据所获得的差别信息来局部地定位图像；随后，添加信息提取部分执行差别处理以提取作为添加信息的差别信息。

发明内容

在传统技术中，不仅在通过分割图像所得到的分割图像的位置在修正前的图像和修正后的图像之间发生移动的情况下，而且在对图像进行了添加或者对图像进行了修正的情况下，都会基于这些差别均匀存在的假设来提取差别，这使得无法令上述两种情况彼此区分开来。

于是，本发明的一个目的是提供图像处理装置和图像处理程序，所述图像处理装置和图像处理程序能够以可以区分由于分割图像的移动所造成的差别和由于添加或修正所造成的差别的方式输出差别提取结果。

(1)根据本发明的第一方面，一种图像处理装置包括：图像分割单元，其分别将第一图像和第二图像分割成多个第一分割图像和多个第二分割图像；对应分割图像提取单元，其提取与第一分割图像相对应的第二分割图像；差别提取单元，其提取具有包含在每个第一分割图像中的像素和包括在每个第二分割图像中的像素之间的差别的差别图像，所述差别是由添加或提取所造成的；第一改变单元，其在第一分割图像具有可相对于第二分割图像移动的移动关系的情况下，将第二分割图像的颜色改变成第一颜色；第二改变单元，其将差别提取单元提取出的差别图像的颜色改变成第二颜色；以及图像输出单元，其输出被第一改变单元改变了颜色的第二分割图像以及被第二改变单元改变了颜色的差别图像。

(2)如第(1)项所述的图像处理装置，其中第二改变单元将没有被对应分割图像提取单元提取出的第二分割图像改变成第二颜色。

(3)如第(1)或第(2)项所述的图像处理装置，还包括第三改变单元，该第三改变单元在差别提取单元没有提取差别并且第一分割图像不具有移动关系的情况下将第二分割图像改变成第三颜色。

(4)如第(1)至(3)项中任意一项所述的图像处理装置，其中第三颜色在饱和度和密度上低于第一颜色和第二颜色。

(5)根据本发明的第二方面，一种图像处理方法包括：分别将第一图像和第二图像分割成多个第一分割图像和多个第二分割图像；提取与第一分割图像相对应的第二分割图像；提取具有包含在每个第一分割图像中的像素和包含在每个第二分割图像中的像素之间的差别的差别图像，所述差别是由添加或提取所造成的；在每个第一分割图像具有可相对于每个第二分割图像移动的移动关系的情况下，将第二分割图像的颜色改变成第一颜色；将所提取的差别图像的颜色改变成第二颜色；以及输出颜色被改变了的第二分割图像以及颜色被改变了的差别图像。

根据第(1)项所述的图像处理装置，能够以区分由于分割图像的移动所造成的差别以及由于添加或修正所造成的差别的方式来输出差别提取结果。

根据第(2)项所述的图像处理装置，可以输出新添加的分割图像的差别图像。

根据第(3)项所述的图像处理装置，能够以清楚地区分不具有差别的图像和具有差别的图像区的方式来输出不具有差别的图像。

根据第(4)项所述的图像处理装置，同不具有这种结构的装置相比，能够以与具有差别的图像的颜色相比不显眼(outstanding)的颜色来输出不具有差别的图像的颜色。

根据第(5)项所述的图像处理方法，能够以区分由于分割图像的移动所造成的差别以及由于添加或修正所造成的差别的方式来输出差别提取结果。

附图说明

基于下述附图对本发明的示例性实施例进行详细说明，其中：

图1是根据本发明实施例的模块的概念结构图；

图2是根据本实施例的第一处理示例的流程图；

图3是根据本实施例的第二处理示例的流程图；

图4是根据本实施例的第三处理示例的流程图；

图5是根据本实施例的用于提取差别对应块的处理示例的说明性流程图；

图6A和图6B是由图像接受模块接受的两个图像的示例的示意图；

图7A和图7B是已经提取了不同于重合块的块的示例的示意图；

图8A和图8B是提取了不同像素的示例的示意图；

图9A至图9C是提取了与重合块和不同块不同的像素的示例的示意图；

图10A至图10D是块分割模块将要对修正前的图像执行的处理的示例的示意图；

图11A至图11D是块分割模块将要对修正后的图像执行的处理的示例的示意图；

图12是对应块提取模块将要执行的处理的示例的示意图；

图13A1至图13C3是块内定位模块将要执行的处理的示例的示意图；

图14A至图14C是差别提取模块将要执行的第一处理的示例的示意图；

图15A至图15C是差别提取模块将要执行的第二处理的示例的示意图；

图16A至图16B是重合图像与差别图像的示例的示意图；

图17A至图17D是块分割模块将要对修正前的图像执行的另一个处理示例的示意图；

图18A至图18D是块分割模块将要对修正后的图像执行的另一个处理示例的示意图；

图19是对应块提取模块将要执行的另一个处理示例的示意图；

图20A至图20C是差别提取模块将要执行的第一处理的另一个示例的示意图；

图21A至图21C是差别提取模块将要执行的第二处理的另一个示例的示意图；

图22A至图22C3是本实施例将要执行的处理示例的示意图；以及

图23是用于实现本实施例的计算机硬件结构的示例框图。

具体实施方式

下面将参照附图对实现本发明的优选实施例进行说明。

图1示出了根据本实施例的结构的概念性模块结构图。

文中的模块一般是指可以逻辑上分开的部分，例如软件(计算机程序)和硬件。因此，本实施例中的术语“模块”不仅表示计算机程序上的模块，还表示硬件结构上的模块。于是，本实施例的描述覆盖了计算机程序、系统和方法。不过，为了方便解释，使用了“存储”、“允许某物存储某物”及其等价的术语，这些术语在计算机程序中用于表示允许存储装置存储某物或者该程序控制某一部分来允许存储装置存储某物。此外，尽管模块与功能一一对应，但在实际使用中，一个模块可以由一个程序组成，两个或更多模块可以由一个程序组成，或者反过来，一个模块可以由两个或更多程序组成。此外，两个或更多个模块可以由一个计算机执行，或者一个模块可以由分离或者并行环境中的两个或更多计算机执行。在本文中，一个模块可以包括另一个模块。此外，在下文的说明中，术语“连接”用于表示物理连接也可以用于表示逻辑连接(如数据传输、数据指令以及数据之间的引用关系)。

此外，术语“系统”或“装置”包括如下结构，即其中多个计算机、硬件、装置等通过诸如网络(包括一对一对应通信连接)的通信单元连接在一起的结构，以及可以通过计算机、一个硬件或装置等实现的结构。“装置”和“系统”用作彼此同义的术语。术语“预定”表示“在执行要被执行的处理之前”。具体来说，其表示启动根据本实施例的处理之前；以及，甚至在根据本实施例的、根据当时或者根据直到那时的条件或状态的处理之后。

下面将主要对作为根据本实施例来进行处理的图像的示例的附图进行说明。在产生图像的CAD(计算机辅助设计)等软件中，可以很容易地移动作为包含在图中的图形元素的集合的对象；并且，也有可能与CAD用户的意图无关地移动了对象。例如，本实施例用于提取图中对象的已修改部分、被移动对象以及被移动对象的已修改部分来作为差别；本实施例还用于以不同的模式输出被移动对象和这些对象的已修改部分。

如图1所示，本实施例包括图像接受部分10，块分割等处理模块20、对应块提取模块30、块内处理模块40和图像输出模块50。

图像接受部分10连接至块分割等处理模块20。具体来说，图像接受模块10接受图像并将其传送至块分割等处理模块20。此处的表述“接受图像”包含着“使用扫描仪读入图像”、“通过传真接收图像”“从图像数据库等中读出图像”及其它类似操作。这些图像的数量将被讨论，尽管例示了比较两个图像，但也可以是三个或更多图像。至于图像的内容，可以使用绘图、商用文档、广告册子等。此外，图像还可以是二元图像、多值(包含颜色)图像等。将使用两幅绘图的二元图像来进行下面的说明。这里，当在中间处理中改变颜色时，二元图像变成多值图像。此外，第一图像(或两个图像中的一个)被称为修改前图像，第二图像(或另一个图像)被称为修改后图像，反之亦然。另外，两个图像并不需要总是由修改所产生的图像。换句话说，两个图像不必一直依赖于单个图像，而可以是彼此独立的通过图像接受模块10所接受的两个图像。

块分割等处理模块20连接至图像接受模块10和对应块提取模块30，其包括预处理模块21、块分割模块22和颜色改变模块23。块分割等处理模块20从图像接受模块10接受图像、分割图像并将所分割的图像(下文称之为分割图像或块)传送至对应块提取模块30。此处还可以执行由预处理模块21和颜色改变模块23进行的处理。

预处理模块21对通过图像接受模块10接受的图像进行预处理。此处的术语“预处理”包括噪声去除处理、定位处理、(用于使一个图像的尺寸与另一个匹配的)扩展/收缩处理以及其它类似的处理。这里的定位处理是移动图像以使得可以使示出了绘图上的参照位置的标记(如十字标记)可以彼此重合的处理。

块分割模块22对图像接受模块10接受的图像进行分割。例如，其接收已经被预处理模块21预处理过的第一图像和第二图像，并且将各个图像分割成块。此处的术语“块”表示包括像素组的图像，像素组包括至少以4连接方式或8连接方式彼此连续的像素区域以及这些像素区域的集合。像素区域的集合意味着存在以4连接或8连接等方式连续的两个或更多个像素区域，并且这两个或更多个像素区域彼此靠近地存在。此处的表述“彼此靠近地存在的区域”包括例如距离上彼此靠近的像素区域(更具体地说，是存在于预定距离内的像素区域)；一组像素区域，其中一个像素区域包含另外一个；或者被一个或多个以预定距离与其他图像区域隔开的空白所分割的图像区域。

此外，块分割模块22还可以将图像分割成包括像素组的外接矩形来作为块。

这里的术语“块”被用作包括分割像素区域而其它图像被形成为空白的结构，或者被用作包括分割像素区域但不包括其它分割像素区域的结构。也即，块可以具有两种尺寸：一种等于图像接受模块10接受的图像(通过预处理模块21预处理过的图像)的尺寸，另一种几乎等于仅包含分割像素区域的区域的尺寸。

颜色改变模块23改变图像接受模块10所接受的图像(被预处理模块21预处理过的图像)的整体形状。例如，所述形状包括颜色、饱和度、密度、种类(对线而言是实线、虚线等)等。在颜色改变模块44要执行的处理中，块颜色改变模块45和块内颜色改变模块46(后面将分别讨论)中，将在主要把颜色作为图像的形状的情况下进行说明。此外，改变图像的形状意味着改变图像中包含的像素区域；例如，将黑色像素变成红色像素，或者将直线变为虚线。

对应块提取模块30连接至块分割等处理模块20和块内处理模块40。对应块提取模块30从块分割等处理模块20接收第一图像和第二图像，并且提取与第一图像的块相对应的第二图像的块。例如，对应块提取模块30可以提取与第一图像的块相似的第二图像的块作为对应块。此外，当它提取第一图像的块的特征和第二图像的块的特征并且第一图像和第二图像的块的特征之间的差别处在阈值内时，可以提取这些块作为彼此相似的块。对此，将在后文参照图5给出更具体示例的说明。

块内处理模块40连接至对应块提取模块30和图像输出模块50；并且，块内处理模块40包括块内定位模块41、差别提取模块42、改变块检查模块43和颜色改变模块44。此外，颜色改变模块44包括块颜色改变模块45和块内颜色改变模块46。这样，也可以不执行分别由块内定位模块41和改变块检查模块43所执行的处理。另外，可以不执行由块颜色改变模块45和块内颜色改变模块46中的一个所执行的处理。

块内定位模块41对对应块提取模块30提取的块分别进行定位。此处的术语“定位”表示以提高对应块内的像素区域彼此重合的比率的方式对块进行转换。例如，术语“改变”包括仿射变换(平行移动、扩展和收缩、旋转、倾斜等)。

差别提取模块42提取通过将像素添加到对应块中或者通过从对应块中提取像素所产生的差别。例如，差别提取模块42从一个块中减去另一个块，或者对两个块执行异或运算。另外，差别提取模块42还可以从对应块中提取包含差别的像素区域。此处的术语“由添加所造成的差别”是指对一个图像进行添加使该图像变成了另一个图像的结果；于是产生了使得两个图像彼此不同的添加部分。也即，添加部分被表述为由于添加所产生的差别。例如，添加后的绘图等对应于由添加所产生的差别。另一方面，术语“由提取所产生的差别”是指删除图像一部分使该图像变成了另一个图像的结果；于是产生了使得两个图像彼此不同的删除部分。也即，删除部分被表述为由于提取所造成的差别。例如，已经过删除的绘图等对应于由提取所造成的差别。

当对应块提取模块30所提取的第二图像的一个块以及对应于第二图像块的第一图像的一个块中的一个发生改变时，改变块检查模块43检查被改变的块的一部分是否与另一个块的一部分重合。例如，可使用仿射变换作为改变操作。

此外，改变块检查模块43还根据由块分割模块22所分割的块在图像内的位置来检查两个块是否能够相对彼此移动。

颜色改变模块44改变由差别提取模块42或改变块检查模块43所处理的图像的颜色。

块颜色改变模块45将未被对应块提取模块30提取的第二图像的块的颜色改变成与其它图像部分不同的颜色。也即，假设第一图像的块与第二图像的块进行比较，当第一图像中不存在对应块时，块颜色改变模块45认为已经添加了第二图像的块，并由此将此块的颜色改变成能够表示已经将该块整体提取作为差别的颜色。此外，块颜色改变模块45还可以下述方式构建：即，当改变块检查模块43发现具有彼此重合的关系的块时，块颜色改变模块45将具有重合关系的块的颜色改变成与其余图像部分不同的颜色。另外，块颜色改变模块45还可以下述方式构建：即，当第一图像的块与第二图像的块具有可以相对于第二图像块移动的关系时，块颜色改变模块45将第二图像的块的颜色改变成与其余图像部分不同的颜色。

块内颜色改变模块46将具有由差别提取模块42提取出的差别的图像改变成与其余图像部分不同的颜色。

图像输出模块50连接至块内处理模块40。该图像输出模块接收已被颜色改变模44改变了颜色的图像，并且输出该图像。表述“输出图像”包含使用诸如打印机之类的打印机器来打印图像的操作、在诸如显示器之类的显示装置上显示图像的操作、使用诸如传真机之类的图像传输装置传输图像的操作、将图像写入诸如图像数据库之类的图像存储的操作以及其它类似的操作。

图2是用于说明根据本实施例的第一处理示例的流程图。下面将对在图像接受模块10接受第一和第二图像之后进行的处理进行说明。

在步骤S204，块分割模块22从图像接受模块10接受两个图像即第一和第二图像，并分别将它们分割成块。更具体地说，例如，块分割模块22执行标记处理(用于对彼此以4连接等方式连续排列的像素区域施加标记的处理，该标记可以唯一地指示出这些像素区域)、提取大于预定区域的标记(像素区域)、并且将所提取的大标记以及其中所含的小标记分割成单个块。

这里有两种分割方法可用作标记处理中使用的分割方法。即：一种分割方法(如图10、11所示)仅将相关的块取出而不改变图像的整体尺寸；另一种方法(如图17、18所示)将图像切割成几乎与块的外接矩形尺寸相同的图像。

根据步骤S208、S210、S212、S214、S230和S232，对应块提取模块30从另一图像的块中提取出与一个图像的块相对应的块。也即，通过对作为第一图像的图像A进行分割所得到的块(步骤S204)的数量被表述为N(步骤S208)；固定这些块中的一个(i＝1，步骤S210)；提取作为第二图像的图像B的与块i相对应的块(差别目标块)(步骤S212)；如果提取了(步骤S214，是)，则提取了块内像素之间的差别(从步骤S216至步骤S226)；如果未提取(步骤S214，否)，则将整个块改变成其它颜色(步骤S228)；检查对图像A中的块的处理是否结束(步骤S230)；如果未结束(步骤S230，否)，则选择下一个块(i＝i+1，步骤S232)，处理回到步骤S212；如果结束了(步骤S230，是)，则输出由改变了颜色的块组成的图像(步骤S299)。后文将参照图5对由对应块提取模块30在步骤S212中执行的具体处理示例进行说明。

在步骤S216中，块内定位模块41执行数个处理(如定位处理)来在相互对应的块中匹配图像的位置。在这种情况下，还可以使用模式匹配技术或者在日本专利公开No.2006-235785等中公开的现有技术。模式匹配技术是这样一种技术，其中针对两个块，在移动其图像时，计算两个块之间的相关系数，并且在两个块彼此相关程度最高的位置处使其图像的位置彼此匹配。另一方面，在日本专利公开No.2006-235785中公开的技术中，提取出字符和交叉点并用作参考点，并对它们进行修正以使其叠加在彼此顶部。当参考点叠加在彼此顶部时，将图像的移动距离用作修正系数。

块内定位模块41还可以构建成，除定位处理以外，还执行扩展/收缩处理等处理来使得图像区域的尺寸彼此匹配。在这种情况下，将扩展/收缩比率用作修正系数。这里的术语“叠加”不仅包含两个块的图像彼此重合的情况，还包括被叠加像素的比率等于或大于预定阈值的情况。图13示出了由块内定位模块41执行的处理示例。

在步骤S218，差别提取模块42对两个图像执行相减处理来提取出二者的差别。或者也可以使用传统技术。在使用日本专利公开No.2004-213230、No.2004-287682等公开的技术时，使用这样一种方法，其中每个块都被进一步分成小图像并且分别对这些小图像的位置进行修正，从而提取出它们的差别。图14、15、20和21分别示出了由差别提取模块42执行的处理示例。

在步骤S226，块内颜色改变模块46将与步骤S218中提取出的差别相对应的图像的像素改变为第一颜色。在这种情况下，只有通过相减操作“修正后图像(第一图像)-修正前图像(第二图像)”所提取的像素的颜色以及通过相减操作“修改前图像-修改后图像”所提取的像素的颜色(见图14、15、20和21所示的例子)可以变成第一颜色；然而，如图16、22所示，也可以以包含具有这个差别的像素的像素组为单元(例如字符单元和符号单元)来改变颜色。此外，可以以不同的颜色显示相减操作“修正前图像-修正后图像”以及“修改后图像-修改前图像”的提取结果。

在步骤S228，块颜色改变模块45将整个第一块(其中未发现对应块)的颜色改变成第一颜色。此外，在步骤S230中发现“是”之后，可以将整个第二块(其中未发现对应块)的颜色改变成第一颜色。

图3是用于说明根据本实施例的第二处理示例的流程图。即，在图2所示流程图的步骤S200和S204之间插入步骤S202；以及在步骤S218和S226之间插入步骤S220、S222和S224。因此，对图2所示流程图中的相同步骤给予相同的标号，这里不再对其作重复说明。

在步骤S202，预处理模块21从图像接受模块10接收两个图像，即第一和第二图像，并定位整体图像。与步骤S216相似，例如，可以使用模式匹配技术或者在日本专利公开No.2006-235785中公开的现有技术等。

在步骤S204中，对在步骤S202已经进行了定位的整个图像执行块分割处理。

在步骤S220，改变块检查模块43检查在移动了图像A中的一个块之后图像B的相关块是否成了对应块。与图10和图11所示的示例类似，在用于取出相关块而不改变图像尺寸的分割方法中，根据在步骤S216中执行块定位处理时所计算的修正系数(移动距离等)，来检查相关块是否为移动的块。另外，与图17和18所示的示例类似，当切割出几乎与块的外接矩形尺寸相同的图像时，根据切割位置的偏移量和块定位的修正系数的和来检查相关块是否为移动的块。作为用于检查该块是否为移动的块的阈值，还可以使用与各个扫描仪对应的扫描失真的值(最大值、最频值等)。

当步骤S220的处理结果表明相关块是移动的块(步骤S222，是)时，处理前进至步骤S224，在其它情况下(步骤S222，否)，处理进入步骤S226。

在步骤S226，块内颜色改变模块46将与步骤S218中提取出的差别相对应的图像的像素的颜色改变成第一颜色。当在步骤S224中将该块改变成第二颜色之后，在块内提供第一颜色和第二颜色。

图4是用于说明根据本实施例的第三处理示例的流程图。具体来说，在此流程图中，在图3所示流程图的步骤S204和S208之间插入步骤S206。因此，对图3所示流程图中的同类步骤给予相同的标号，这里不再对其作重复说明。

在步骤S206，颜色改变模块23将图像接受模块10接受的图像的整体颜色改变成第三颜色。作为此流程图的处理结果，在图像A和图像B之间未出现差别的像素的颜色被改变成第三颜色。或者，可以使用这样一种结构，即在处理结束之前，提取出在图像A和图像B之间未出现差别的像素，然后将这些像素的颜色改变成第三颜色。在步骤S206中，当执行步骤S204的处理之后将整个图像改变成第三颜色时，可以减少用于提取无差别像素的处理。当第三颜色的饱和度和密度与第一、第二颜色相比降低时，可以突出具有差别的部分。这里，图22示出了使用第一、第二和第三颜色来改变像素颜色的修改示例。

图5是用于说明提取差别对应块的处理示例的流程图。即，此处理示例包括要有对应块提取模块30执行的处理示例和要在步骤S212中执行的处理示例；并且具体来说，本示例检查修正前(图像A)的块(步骤S501)和修正后(图像B)的块(步骤S502)是否彼此对应。或者，可以根据特征量依次进行需要较小处理负荷的块一致性比较，当特征量彼此不相似时，可以不执行需要较大负荷的处理。这里，为了比较特征量，对应块提取模块30可以对特征量执行提取处理。

在步骤S522(检查1)，比较特征量1(例如像素区域外接矩形的尺寸)。

在步骤S524，检查步骤S522中的比较结果(差别)是否处在预定范围内。当发现差别处在预定范围内时(步骤S524，是)，处理进入步骤S526；当不处在预定范围内时(步骤S524，否)，处理进入步骤S540。

在步骤S526(检查2)，比较特征量2(例如黑色像素的数量)。

在步骤S528，检查步骤S526的比较结果是否处在预定范围内。当发现比较结果处在预定范围内时(步骤S528，是)，处理进入步骤S530；当不处在预定范围内时(步骤S528，否)，处理进入步骤S540。

在步骤S530(检查3)，比较特征量3(例如线变窄后的黑色像素的数量)。

在步骤S532，检查步骤S530的比较结果是否处在预定范围内。当发现比较结果处在预定范围内时(步骤S532，是)，处理进入步骤S534；当不处在预定范围内时(步骤S532，否)，处理进入步骤S540。

在步骤S534(检查N)，比较特征量N(例如执行模式匹配后的相关数值)。此外，还将块内像素区域的垂直长度与水平长度的比值作为特征量来进行比较。

在步骤S536，检查步骤S534的比较结果是否处在预定范围内。如果发现比较结果处在预定时(步骤S536，是)，处理进入步骤S538；当不处在预定范围内时(步骤S536，否)，处理进入步骤S540。

在步骤S538，确定修正前图像的块与修正后图像的块彼此类似。

在步骤S540，确定修正前图像的块与修正后图像的块彼此不类似。

这里还可以采用如下结构：当在步骤S216中无法执行块定位操作时，可以在步骤S212再次执行相应处理。

图6是两个分别用于由图像接受模块10所接受的两个图像的示例的示意图。具体来说，图6A的示例示出了修正前的图像610，图6B的示例示出了修正后的图像620。在修正后的图像620中，对排列在修正前图像610左下部分的块的字符和符号进行了修正(将[32]修正为[04])；([I7]和[07])被添加到图像610的块中；此外，在右下方向上移动块。另外，对置于右下部分的部分列表中的字符进行了修正(将[32]修正为[04])。

图7是提取了与重合块不同的块的示例的示意图。具体来说，图7A中的示例所示出的重合图像621示出了修正前图像610与修正后图像620彼此重合的块，而图7B中的示例所示出的差别图像622示出了修正前图像610与修正后图像620彼此不重合的块。尽管未在这些示例中示出，即使当块的字符或符号未被修正，任何字符或符号也未加入其中，仅仅框出了一块，也认为是不重合的块。

图8是提取了不同像素的示例的示意图。在图8A的示例中示出的重合图像623示出了修正前图像610与修正后图像620彼此重合的像素部分，而图8B中的示例所示出的差别图像624示出了差别图像622与修正前图像610不同处的像素部分。这样，此处使用的不同像素部分表示一个像素区域(作为像素组并且因此提供字符单元、符号单元、类似单元等)。

图9是对位置或其中像素都未改变的像素部分、只改变了位置的像素部分、以及进行了添加和修正的像素部分进行分割和提取的示例的示意图。

在图9A中的示例中显示的重合图像625示出了修正前图像610和修正后图像620的位置或其中的像素都未改变的像素部分，该像素部分以第三颜色示出。在图9B的示例中显示的差别图像626示出了差别图像622仅在位置上与修正前图像610不同的像素部分，该像素部分以第二颜色示出。在图9C的示例中显示的差别图像627示出了已进行添加和修正的像素部分，该像素部分以第一颜色示出。

图10是将要由块分割模块22在修正前图像610上执行的处理示例的示意图。即，块分割模块22将修正前图像610(图10A)分割成修正前块A1011(图10B)、修正前块B1012(图10C)和修正前块C1013(图10D)。

图11将要由块分割模块22在修正后图像620上执行的处理示例的示意图。即，块分割模块22将修正后图像620(图11A)分割成修正后块A1121(图11B)、修正后块B1122(图11C)和修正后块C1123(图11D)。

这些是块分割模块22使用只取出相关块而不改变整个图像尺寸的分割方法的示例。

图12是将要由对应块提取模块30执行的处理示例的示意图。即，对应块提取模块30例如根据图5所示的流程图来从第一和第二块中提取彼此相似的块组。图12示出了下列的对应关系：即，修正前块A1011和修正后块A1121、修正前块B1012和修正后块C1123、以及修正前块C1013和修正后块B1122分别彼此对应。

图13是将要由块内定位模块41执行的处理示例的示意图。如图13所示，块内定位模块41对修正前块B1012和修正后块C1123进行比较，并将修正前块B1012在右下方向上移动，使其与修正后块C1123结合来产生移动后的块B1302。这里，由于对修正前块A1011和修正后块A1121进行了比较并且发现二者之间没有相对运动，于是复制修正前块1011以产生移动后的块A1301。类似的，由于对修正前块C1013和修正后块B1122进行了比较并且发现二者之间没有相对运动，于是复制修正前块C1013以产生移动后的块C1303。

图14是将要由差别提取模块42执行的第一处理示例的示意图。即，图14示出了差别提取模块42产生作为执行相减操作“修正后图像-修正前图像”的结果的图像。具体来说，图14A中的示例中所示出的差别块A1401是从修正后块A1121中减去移动后块A1301(相关黑色像素变为白色)所得到的图像；图14B中的示例中所示出的差别块B1402是从修正后块C1123中减去移动后块C1302所得到的图像；以及，图14C中的示例中所示出的差别块C1403是从修正后块B1122中减去移动后块C1303所得到的图像。

图15是将要由差别提取模块42执行的第二处理示例的示意图。即，图15示出了差别提取模块42产生作为执行相减操作“修正前图像-修正后图像”的结果的图像。具体来说，图15A中的示例中所示出的差别块A1501是从移动后块A1301中减去修正后块A1121所得到的图像；图15B中的示例中所示出的差别块B1502是从移动后块C1302中减去修正后块C1123所得到的图像；以及，图15C中的示例中所示出的差别块C1503是从移动后块C1303中减去修正后块B1122所得到的图像。

图16是重合图像1601和差别图像1602的示例的示意图。即，图16B的示例中所示出的差别图像1602是由差别提取模块42从图14或图15的示例所示的图像中提取差别图像所产生的图像。这里，图16A中的示例所示出的重合图像1601是从修正后图像620中提取差别图像1602以外的图像所得到的图像。

图17是由块分割模块22在修正前图像610上执行的另一个处理示例的示意图。即，块分割模块22将修正前图像610分割成修正前块A1711(图17B)、修正前块B1712(图17C)和修正前块C1713(图17D)。

图18将要由块分割模块22在修正后图像620上执行的另一个处理示例的示意图。即，块分割模块22将修正后图像620(图18A)分割成修正后块A1821(图18B)、修正后块B1822(图18C)和修正后块C1823(图18D)。

这些是块分割模块22使用用于切割出基本与块的外接矩形的尺寸相等的图像的分割方法时所执行的处理。

图19是将要由对应块提取模块30执行的另一个处理示例的示意图。即，对应块提取模块30例如根据图5所示的流程图来从第一和第二块中提取彼此相似的块组。图19示出了下面的对应组：即，修正前块A1711和修正后块A1821、修正前块B1712和修正后块C1823、以及修正前块C1713和修正后块B1822分别彼此对应。

图20是将要由差别提取模块42执行的另一种处理的第一示例的示意图。即，图20示出了由差别提取模块42产生作为执行相减操作“修正后图像-修正前图像”的结果的图像。具体来说，图20A中的示例中所示出的差别块A2001是从修正后块A1821中减去修正前块A1711所得到的图像；差别块B2002是从修正后块C1823中减去修正前块B1712所得到的图像；以及，图20C中的示例中所示出的差别块C2003是从修正后块B1822中减去修正前块C1713所得到的图像。

图21是将要由差别提取模块42执行的另一种处理的第二示例的示意图。即，图21示出了由差别提取模块42产生作为执行相减操作“修正前图像-修正后图像”的结果的图像。具体来说，图21A中的示例中所示出的差别块A2101是从修正前块A1711中减去修正后块A1821所得到的图像；图21B中的示例中所示出的差别块B2102是从修正前块B1712中减去修正后块C1823所得到的图像；以及，图21C中的示例中所示出的差别块C2103是从修正前块C1713中减去修正后块B1822所得到的图像。

图22是根据本实施例执行的处理示例的示意图。

图22A的示例中所示的目标图像2210是颜色改变模块23将修正后图像620改变成第三颜色所得到的图像。具体来说，尽管在图22A中以黑实线示出了目标图像，还是可以通过降低图像的饱和度来将图像改变成灰色或者以虚线示出。

图22B2的示例中所示出的目标图像2221是颜色已经被颜色改变模块45改变成第二颜色(例如绿色)的块。这里，图22B1中的示例所示出的重合块2220提供了从目标图像2210中删除差别块2221所得到的图像。即块重合图像。

图22C3的示例中所示出的差别像素区域2232是颜色已经被块内颜色改变模块46改变成第一颜色(例如红色)的像素区域。这里，图22C1中示出的重合像素块2230提供了通过从重合块2220中删除差别像素区域2232所得到的图像。即，块以及块内的像素彼此重合的图像。此外，图22C2的示例中所示出的差别块2231等同于差别块2221；然而，差别像素区域2232将覆盖在差别块2231上。即，当提供了重合像素块2230、差别块2231和差别像素区域2232作为一幅图像时，差别块2231覆盖在重合像素块2230上，差别像素区域2232覆盖在差别块2231上。并且，图像输出模块50输出由三幅叠加所组成的图像。

现参照图23对根据本实施例的硬件结构的示例给出说明。图23所示出的结构例如由个人计算机(PC)构成，并且包括诸如扫描仪之类的数据读取部分2317以及诸如打印机之类的数据输出部分2318。

CPU(中央处理器)2301是用于根据计算机程序执行处理的控制部分，计算机程序描述了上述实施例中所述的各种模块(即块分割等处理模块20、对应块提取模块、块内处理模块40)的执行顺序。

ROM(只读存储器)2302在其中存储由CPU 2301使用的程序、参数等。RAM(随机访问存储器)2303在其中存储由CPU2301的处理执行所使用的程序、在这些处理执行中适当变化的参数等。这些组成元件通过主机总线2304(由CPU总线等组成)彼此连接。

主机总线2304通过桥2305连接至外部总线2306如PCI(个人组件互连/接口)总线。

键盘2308和指示装置2309(如鼠标)是可以由操作者操作的输入装置。显示器2310是液晶装置或CRT(阴极显像管)等，可以在其上显示各种信息如文字或图像信息。

HDD(硬盘驱动器)2311含有硬盘，并驱动硬盘来记录或再现由CPU 2301执行的程序和信息。在硬盘中，可以存储由图像接受模块10接受的图像、作为对应块提取模块30等所执行的处理的结果而得到的图像等以及类似图像。此外，在硬盘中，可以存储其它各种计算机程序如各种数据处理程序。

驱动器2312读出记录在可移动记录介质2313(如磁盘)、磁光盘或半导体存储器中的数据或程序，并通过接口2307、外部总线2306、桥2305和主机总线2304将这些数据和程序提供至连接到其上的RAM 2303。可移动记录介质2313还可以用作与硬盘类似的数据记录区域。

连接端口2314是用于连接外部连接设备2315的端口，其包括用于USB、IEEE1394等的连接端口。连接端口2314通过接口2307、外部总线2306、桥2305和主机总线2304等连接至CPU 2301等。通信部分2316连接至网络并且执行外部设备和自身之间的数据通信处理。数据读取部分2317是例如扫描仪并且执行文档读取处理。数据输出部分2318是例如打印机并且执行文档数据输出处理。

这里，图23中示出的硬件结构只是个示例；因此，本实施例不限于图23所示的结构，而是可以使用任何其它能够执行上文所述的本实施例的模块的结构。例如，某些模块也可以由专用型硬件(如专用集成电路：ASIC)组成；并且某些模块也可以置于外部系统中并通过通信线连接。此外，两个或更多如图23所示的系统可以通过通信线彼此连接，从而能够合作执行共同的操作。另外，该结构也可以并入复印机、传真机、扫描仪、打印机、多功能一体机(具有扫描仪、打印机、复印机、传真机等功能中的两个或更多的图像处理设备)以及类似设备。

此处，在提供上述程序之前可以将它们存储在记录介质中，或者可以通过通信单元提供这些程序。在这种情况下，例如，上述程序还可以被认为是与“其中已记录程序的计算机可读记录介质”相关的发明。

表述“其中已记录程序的计算机可读记录介质”表示已经在其中记录了程序的记录介质，该介质可由计算机读取。

此处的记录介质包括：符合由DVD论坛制定的标准的数字多用途盘(DVD)如“DVD-R、DVD-RW、DVD-RAM等”，以及符合由DVD+RW所制定的标准的“DVD+R，DVD+RW等”；致密盘(CD)如只读存储器(CD-ROM)、可记录CD(CD-R)、可重写CD(CD-RW)等；蓝光光盘；磁光盘(MO)；软盘(FD)；磁带；硬盘；只读存储器(ROM)；电可擦除可重写只读存储器(EEPROM)；闪存；随机访问存储器(RAM)；以及类似介质。

上述程序及其部分还可以记录在上述记录介质中并由此进行存储和传播。此外，程序及其部分还可以通过通信传送，例如使用局域网(LAN)、城域网(MAN)、广域网(WAN)、internet/intranet/extranet等所使用的电缆网，或者无线通信网以及上述组合；它们也可以加载在载波上。

此外，上述程序还可以是另一个程序的一部分，或者可以与不同的程序一起记录在记录介质中。另外，还可以将其分开记录在两个或更多个记录介质中。还可以以任何方式进行记录，例如可以进行压缩或加密(只要可以恢复)。

前面对本发明实施例的说明是用于例示和说明的目的。其不应当是排外性或者将本发明限制为所公开的确定形式。显然，本领域的技术人员明显能够进行各种修改和改变。对实施例的选择和描述是为了最好地阐释本发明的原理及其实际应用，以使得本领域的其它技术人员能够针对适用于可预期的具体使用的各种实施例和各种修改来理解本发明。本发明的范围由权利要求及其等价部分所限定。

Claims (5)

1.图像处理装置，包括：

图像分割单元，其分别将第一图像和第二图像分割成多个第一分割图像和多个第二分割图像；

对应分割图像提取单元，其提取与第一分割图像相对应的第二分割图像；

差别提取单元，其提取差别图像，所述差别图像具有包含在每个第一分割图像中的像素和包含在每个第二分割图像中的像素之间的差别，所述差别是由添加或提取所造成的；

第一改变单元，其在第一分割图像具有可相对于第二分割图像移动的移动关系的情况下，将第二分割图像的颜色改变成第一颜色；

第二改变单元，其将差别提取单元提取的差别图像的颜色改变成第二颜色；以及

图像输出单元，其输出被第一改变单元改变了颜色的第二分割图像以及被第二改变单元改变了颜色的差别图像。

2.如权利要求1所述的图像处理装置，

其中

第二改变单元将没有被对应分割图像提取单元提取的第二分割图像改变成第二颜色。

3.如权利要求1或2所述的图像处理装置，还包括

第三改变单元，该第三改变单元在差别提取单元没有提取出差别并且第一分割图像不具有移动关系的情况下将第二分割图像改变成第三颜色。

4.如权利要求1至3中任意一项所述的图像处理装置，

其中

第三颜色在饱和度和密度上低于第一颜色和第二颜色。

5.图像处理方法.包括：

分别将第一图像和第二图像分割成多个第一分割图像和多个第二分割图像；

提取与第一分割图像相对应的第二分割图像；

提取差别图像，所述差别图像具有包含在每个第一分割图像中的像素和包含在每个第二分割图像中的像素之间的差别，所述差别是由添加或提取所造成的；

在每个第一分割图像具有可相对于每个第二分割图像移动的移动关系的情况下，将第二分割图像的颜色改变成第一颜色；

将所提取的差别图像的颜色改变成第二颜色；以及

输出颜色被改变了的第二分割图像以及颜色被改变了的差别图像。

Images