CN101958989B - 图像处理装置、图像处理系统及图像处理方法 - Google Patents

Abstract

本发明涉及图像处理装置、图像处理系统及图像处理方法。所述图像处理装置包括：获取单元，其获取表示设置在基准介质上的多个基准图像的位置的位置数据；扫描单元，其对所述多个基准图像进行扫描；以及确定单元。所述确定单元导出对应基准图像在由所述扫描单元获取的位置数据表示的基准图像的位置与由所述获取单元获取的位置数据表示的基准数据的位置之间的位置偏移量的总和。所述确定单元利用被预先确定为使得位置偏移量的总和最小的公共校正系数，执行对基准图像的对准。接着所述确定单元确定对图像数据进行图像扩张的扩张量，使得该扩张量随着位置偏移量的总和的增加而增加。

Description

图像处理装置、图像处理系统及图像处理方法

技术领域

本发明涉及图像处理装置、图像处理系统及图像处理方法。

背景技术

日本专利申请特开(JP-A)2004-213230号公报公开了一种修饰提取装置。该修饰提取装置包括分区单元、图像差分单元和图像插入(interpolation)单元。所述分区单元利用字符识别将从电子文档的原始图像中选取的区域划分为多个小区域，并在输出到纸张之后在其上叠加了手写的注释并且随后由图像读取装置(如扫描仪)进行重新数字化的修饰状态下，将从重新数字化后的电子文档的图像中选取的区域划分为多个小区域。该分区单元接着针对各小区域确定是否有进行修饰提取操作的必要。所述图像差分单元在由分区单元划分的被确定为需要进行差异计算的小区域上进行差异计算。所述图像插入单元接着对由图像差分单元进行了差分处理的图像执行插入处理。

JP-A 2004-287682号公报公开了一种修饰图像提取装置，该修饰图像提取装置从处于在将电子文档输出到纸张之后叠加了手写修饰的状态下的修饰叠加图像中提取修饰数据。该修饰图像提取装置包括：修饰叠加图像输入单元，其输入叠加了修饰的图像；第一区域识别单元，其根据黑色像素的分布来识别电子文档原始图像中的字符图像区域和非字符图像区域；第二区域识别单元，其基于由第一区域识别单元识别出的区域识别数据，识别由修饰叠加图像输入单元输入的修饰叠加图像中的字符图像区域和非字符图像区域；图像位置检测单元，其检测由第二区域识别单元识别出的各个区域和由第一区域识别单元识别出的各个区域中的对应区域之间的位置偏移量；以及图像差分处理单元，其基于由图像位置检测单元检测到的位置偏移量来进行位置校正，并对其执行差分处理。

JP-A 2004-341914号公报公开了一种文档提交装置，该文档提交装置存储电子文档文件、以及通过对作为电子文档的打印结果的打印文档上的修饰注释位置进行扫描而得到的图像数据。该文档提交装置配备有：文档图像形成单元，其形成电子文档文件的图像，作为第一图像数据；图像扫描装置，其对处于具有修饰注释位置的状态下的打印文档进行扫描，作为第二图像数据；扩张单元，其对由文档图像形成单元进行图像形成而得到的第一图像数据中的黑色像素执行扩张；以及差异图像提取单元，其通过确定在由扩张单元进行了扩张处理的第一图像数据的像素和第二图像数据的像素之间的在像素单位级的匹配，来提取差异图像数据，所述差异图像数据为计算出的修饰位置。

此外，在JP-A 2007-241356号公报中描述了一种图像处理装置，该图像处理装置配备有：第一对准单元，其执行在注释之前的第一文档的图像与在进行了注释之后的第二文档的图像的整体原稿对准；第一提取单元，其通过将由第一对准单元进行了位置对准的第一文档的图像和第二文档的图像进行比较，来提取差异数据；第一对准单元，其基于由第一提取单元提取的差异数据，执行第一文档的图像与第二文档的图像的局部对准；以及第二提取单元，其通过将由第二对准单元进行了位置对准的第一文档的图像与第二文档的图像进行比较，从第二文档的图像中提取注释数据。

发明内容

本发明提供一种图像处理装置，对于在对需要提取注释图像或擦除图像的图像(下面称为“校正图像”)的校正前文档和校正后文档进行差异计算之前执行的图像扩张，该图像处理装置可以高精度地确定扩张量，并且本发明还提供一种图像处理系统及其图像处理方法。

根据本发明的一个方面的图像处理装置是这样一种图像处理装置，该图像处理装置包括：获取单元，该获取单元获取表示设置在基准介质上的多个基准图像的位置的位置数据；扫描单元，该扫描单元对所述基准介质的设置了所述基准图像的区域的图像进行扫描；以及确定单元。所述确定单元执行以下操作：求出由所述扫描单元扫描到的图像数据表示的所述多个基准图像中的第一基准图像与由所述获取单元获取的位置数据表示的所述多个基准图像中的第二基准图像之间的位置偏移量的总和；使用被预先确定为使得所述位置偏移量的总和最小的公共校正系数，执行对应基准图像的对准；并且确定对由所述扫描单元扫描到的图像数据的图像扩张的扩张量，使得该扩张量随着所述位置偏移量的总和的增加而增加。

在根据本发明的一个方面的图像处理装置中，所述获取单元可以从下述基准图像数据中获取所述位置数据，所述基准图像数据是在创建所述基准介质时采用的表示所述多个基准图像的图像数据，或者，所述获取单元可以从通过用图像扫描装置扫描所述基准介质而获得的图像数据中获取所述位置数据，其中与扫描到的所述图像数据的位置有关的任何失真为预定的阈值或更低。

在根据本发明的一个方面的图像处理装置中，所述获取单元可以从下述图像数据中获取所述位置数据，所述图像数据是所述扫描单元从所述基准介质的设置有所述基准图像的区域的图像中扫描到的。

在根据本发明的一个方面的图像处理装置中，所述确定单元可以通过采用由所述扫描单元多次从所述基准介质的设置有所述基准图像的区域的图像中扫描到的图像数据，来针对每次扫描确定扩张量，并基于多个所确定的扩张量来确定最终扩张量。

在根据本发明的一个方面的图像处理装置中，所述基准介质可以包括指示所述扫描单元的扫描方向的方向数据，或者所述多个基准图像可以关于某点对称地设置在所述基准介质上。

在根据本发明的一个方面的图像处理装置中，所述基准图像可以是点图像、具有交叉的交叉图像、或者格子图像中的一个或另一个。

根据本发明的一个方面的图像处理装置还可以包括：第一执行单元，该第一执行单元使用所述校正系数对表示第一文档的图像的第一图像数据和/或表示第二文档的图像的第二图像数据中的至少一个进行对准，所述第一文档是在执行校正之前用所述扫描单元扫描的文档，所述第二文档为在进行校正之后扫描的文档；第二执行单元，该第二执行单元使用由所述确定单元确定的扩张量，对所述第一图像数据和/或所述第二图像数据中的至少一个执行图像扩张；以及提取单元，在由所述第一执行单元进行了对准并由所述第二执行单元执行了图像扩张之后，该提取单元基于所述第一图像数据与所述第二图像数据之间的差异计算结果，提取表示所述校正的校正图像。

根据本发明的一个方面的图像处理系统包括：

图像扫描装置，该图像扫描装置包括扫描单元，该扫描单元扫描在基准介质上设置有多个基准图像的区域的图像；和发送单元，该发送单元发送由所述扫描单元扫描到的图像数据；以及

图像处理装置，该图像处理装置包括：接收单元，该接收单元接收所述发送单元发送的图像数据；获取单元，该获取单元获取表示所述基准介质上的所述多个基准图像的位置的位置数据；以及确定单元。所述确定单元执行以下操作：求出由所述接收单元接收到的图像数据表示的基准图像与由所述获取单元获取的位置数据表示的基准图像之间的对应基准图像的位置偏移量的总和；使用被预先确定为使得所述位置偏移量的总和最小的公共校正系数，执行所述对应基准图像的对准；并且确定对由所述扫描单元扫描到的图像数据的图像扩张的扩张量，使得该扩张量随着所述位置偏移量的总和的增加而增加。

根据本发明的一个方面的图像处理系统可以包括多个所述图像处理装置，并且所述图像处理系统还可以包括存储单元，该存储单元针对所述多个图像扫描装置中的每一个，将表示由所述确定单元确定的扩张量的图像数据与用于识别对应的图像扫描装置的识别数据相关联，并存储相关联的数据。

根据本发明的一个方面的图像处理方法是这样一种图像处理方法，该图像处理方法包括如下步骤：获取表示设置在基准介质上的多个基准图像的位置的位置数据；对所述基准介质的设置有所述基准图像的区域的图像进行扫描；求出表示所述多个基准图像中的第一基准图像的所扫描图像数据与表示所述多个基准图像中的第二基准图像的所获取位置数据之间的位置偏移量的总和；使用被预先确定为使得所述位置偏移量的总和最小的公共校正系数，执行对应基准图像的对准；并且确定对所扫描图像数据的图像扩张的扩张量，使得该扩张量随着所述位置偏移量的总和的增加而增加。

在根据本发明的一个方面的图像处理方法中，图像处理中的获取位置数据的步骤可以包括：从下述基准图像数据中获取所述位置数据，所述基准图像数据是在创建所述基准介质时采用的表示所述多个基准图像的图像数据；或者从通过用图像扫描装置扫描所述基准介质而获得的图像数据中获取所述位置数据，其中与扫描到的图像数据的位置有关的任何失真为预定的阈值或更低。

根据本发明的这些方面的图像处理装置、图像处理系统和图像处理方法，与不考虑执行对准后的对应基准图像的偏移量的情况相比，可以以更高的精度确定图像扩张的扩张量，所述图像扩张在对需要提取校正图像的校正前文档和校正后文档进行差异计算之前执行。

此外，根据本发明的一个方面的图像处理装置，与不从基准图像数据获取位置数据或者不从通过用图像扫描装置扫描基准介质而获得的图像数据中获取位置数据的情况相比，可以以更高的精度确定扩张量。

此外，根据本发明的一个方面的图像处理装置，与不使用扫描单元来获取位置数据的情况相比，可以更容易并且以更低的成本确定扩张量。

此外，根据本发明的一个方面的图像处理装置，与从通过用扫描单元进行单次扫描而获得的图像数据中获取位置数据的情况相比，可以以更高的精度确定扩张量。

此外，根据本发明的一个方面的图像处理装置，与不提供方向数据并且多个基准图像不关于某点对称地设置的情况相比，可以以更高的精度确定扩张量。

此外，根据本发明的一个方面的图像处理装置，与不采用点图像、交叉图像或者格子图像中的一个或另一个来作为基准图像的情况相比，可以更容易地确定扩张量。

此外，根据本发明的一个方面的图像处理装置，与不应用本发明的扩张量的情况相比，可以以更高的精度提取校正图像。

根据本发明的一个方面的图像处理系统，与不考虑执行对准后的对应基准图像的偏移量的情况相比，可以以更高的精度确定图像扩张的扩张量，所述图像扩张在对需要提取校正图像的校正前文档和校正后文档进行差异计算之前执行。

此外，根据本发明的一个方面的图像处理系统，与没有提供多个图像扫描装置的情况相比，可以改进使用的方便性。

附图说明

将根据以下附图对本发明的示例性实施方式进行详细的描述，在附图中：

图1为示出了根据第一示例性实施方式的图像处理系统的结构的框图；

图2为示出了根据第一示例性实施方式的图像处理装置的电气系统的部件结构的框图；

图3为示出了根据示例性实施方式的图像处理装置的功能结构的功能框图；

图4为示出了根据示例性实施方式的图像处理装置的功能结构中的对准部的结构的框图；

图5为示出了根据示例性实施方式的图像处理装置的功能结构中的特征区域提取器的结构的框图；

图6为伴随根据示例性实施方式的连续区域(特征区域)的说明的图；

图7为伴随根据示例性实施方式的从连续区域求出的重心和特征量的各数据的说明的图；

图8A为示出了根据示例性实施方式的特征区域数据的数据结构的示意图；

图8B为示出了根据示例性实施方式的特征区域数据的数据结构的示意图；

图9为根据示例性实施方式的识别的特征区域数据的数据结构的示意图；

图10为示出了根据示例性实施方式的图像处理装置的功能结构中的扩张量计算器的结构的框图；

图11为根据示例性实施方式的校准片的结构的正面图；

图12A为示出了根据示例性实施方式的获取的位置数据的示例的示意图；

图12B为示出了根据示例性实施方式的识别的位置数据的示例的示意图；

图12C为示出了根据示例性实施方式的表示偏移量的数据的示例的示意图；

图13为示出了根据第一示例性实施方式的扩张量计算程序的处理流程的流程图；

图14为示出了根据示例性实施方式的图像处理程序的处理流程的流程图；

图15为示出了根据示例性实施方式的校正图像检测例程/程序的处理流程的流程图；

图16为伴随根据示例性实施方式的图像处理程序和校正图像检测例程/程序的处理内容的说明的图，示出了校正前图像和校正后图像的示例的正面图；

图17A为伴随图像处理程序和校正图像检测例程/程序的处理内容的说明的图；

图17B为伴随图像处理程序和校正图像检测例程/程序的处理内容的说明的另一图；

图17C为伴随图像处理程序和校正图像检测例程/程序的处理内容的说明的另一图；

图17D为伴随图像处理程序和校正图像检测例程/程序的处理内容的说明的另一图；

图17E为伴随图像处理程序和校正图像检测例程/程序的处理内容的说明的另一图；

图17F为伴随图像处理程序和校正图像检测例程/程序的处理内容的说明的另一图；

图18为示出了根据第二示例性实施方式的图像处理系统的结构的框图；

图19为示出了根据第二示例性实施方式的图像处理装置的电气系统的部件结构的框图；

图20为示出了个体扩张量数据项的数据结构的示意图；

图21为示出了根据第二示例性实施方式的扩张量计算程序的处理流程的流程图；

图22A为示出了另一校准片的结构的正面图；

图22B为示出了另一校准片的结构的正面图；

图23A为示出了另一校准片的结构的正面图；

图23B为示出了另一校准片的结构的正面图；以及

图23C为示出于另一校准片的结构的正面图。

具体实施方式

下面将参照附图详细说明本发明的示例性实施方式。

第一示例性实施方式

图1示出了根据本示例性实施方式的图像处理系统10的示例结构。如图1所示，根据本示例性实施方式的图像处理系统10配备有图像处理装置20(如个人计算机等)和图像扫描装置30(如扫描仪等)。图像处理装置20和图像扫描装置30电连接在一起，并且图像处理装置20从图像扫描装置30获得通过利用图像扫描装置30进行扫描而得到的图像数据。

根据本示例性实施方式的图像处理系统10利用图像扫描装置30来扫描文档(下面将称为“校正前文档”)，之后通过对该文档增加手写注释或戳印等来执行校正，或者通过利用擦除器或修正液等进行消除来执行校正，并且图像处理系统10利用图像扫描装置30来扫描如此校正之后的文档(下面将称为“校正后文档”)。图像处理系统10接着利用图像处理装置20以基于通过扫描获得的两组图像数据来识别执行了校正的位置，并执行处理以从所识别的位置中检测(提取)已经进行了校正的图像部分。注意的是，下面将通过对校正前文档进行扫描而得到的图像数据称为“校正前图像数据”，将通过对校正后文档进行扫描而得到的图像数据称为“校正后图像数据”。

根据本示例性实施方式的图像扫描装置30获取通过扫描而获得的图像数据，该图像数据是其中各个像素值(像素数据)由多个比特(在本示例性实施方式中为8比特)构成的图像数据。此外，在根据本示例性实施方式的图像处理系统10中，将彩色扫描仪用作图像扫描装置30，该彩色扫描仪通过对进行扫描的文档的图像进行分离以扫描为三基色R(红色)、G(绿色)和B(蓝色)而进行扫描。要注意的是，并非限于多比特彩色扫描仪，多比特单色扫描仪(所谓的灰度级单色扫描仪)、单比特(二值)彩色扫描仪、或单比特单色扫描仪等也可以用作图像扫描装置30。

接下来，将参照图2，说明在图像处理系统10中具有尤其重要的作用的图像处理装置20的电气系统的组成结构。

如图2所示，根据本示例性实施方式的图像处理装置20配备有：中央处理单元(CPU)20A、随机存取存储器(RAM)20B、只读存储器(ROM)20C；、硬盘20D、键盘20E、显示器20F、以及输入-输出接口(I/F)20G。CPU 20A整体控制图像处理装置20的操作。在CPU 20A执行各种处理程序时，RAM 20B用作工作区等。各种处理程序和各种参数等预先存储在ROM 20C中。硬盘20D用作存储各种数据的存储单元。键盘20E用于输入各种数据。显示器20F用于显示各种数据。输入-输出接口20G用于控制各种数据的外部交换。这些各个部件通过系统总线彼此相互电连接。上面描述的图像扫描装置30连接到输入-输出接口20G。

因此，CPU 20A访问RAM 20B、ROM 20C和硬盘20D，通过键盘20E获取各种输入数据，在显示器20F上显示各种数据，并通过输入-输出接口20G与图像扫描装置30交换各种数据。

图3为示出了根据本发明示例性实施方式的图像处理装置20的功能结构的功能框图。

如图3所示，根据本示例性实施方式的图像处理单元20配备有：对准部22、具有图像扩张部24A和校正区域确定部24B的校正检测器24、噪声去除器25、扩张量计算器26、噪声去除量存储器27、存储器28以及校正区域选择器29。

要注意的是，上面的对准部22执行对准：对校正前图像数据和/或校正后图像数据中的至少一个进行校正。针对校正前图像数据表示的校正前图像和校正后图像数据表示的校正后图像中的对应像素的任何位置偏移，进行该校正。由于在图像扫描装置30进行扫描时的校正前文档和校正后文档的朝向角度差异、并且由于扫描环境的差异等，造成图像整体出现这种偏移。要注意的是，在根据本示例性实施方式的对准部22中，基于校正前图像数据和校正后图像数据提取特征区域。这些特征区域为校正前图像和校正后图像中的具有预定特征(在本示例性实施方式中，所述预定特征是二值化图像数据中的黑色像素的连通图像或者白色像素的连通图像)的区域。对校正前图像数据和/或校正后图像数据中的至少一个进行变换，以使得校正前图像和校正后图像中的对应特征区域彼此重叠。

当在根据本示例性实施方式的对准部22中执行该操作时，进行仿射变换，作为对校正前图像数据或者校正后图像数据中的一个或另一个的变换。但是，并不限于此，实施方式还可以构成为将其它已知的变换方法应用于校正前图像数据或者校正后图像数据中的一个或另一个，例如双线性变换、Helmert变换、二次保角(secondary conformal)变换、投影变换、扩张-收缩、旋转、平移等。

上述校正检测器24利用图像扩张部24A来对校正前图像数据或者校正后图像数据中的一个或另一个(在本示例性实施方式中为校正前图像数据)按由下述的扩张量计算器26导出的扩张量执行图像扩张处理。上述校正检测器24还利用校正区域确定部24B，以基于由稍后描述的校正区域选择器29从对准部22提取的特征区域中选择的校正区域来确定文档的校正状态，并根据确定结果来检测校正图像。要注意的是，在根据本示例性实施方式的图像扩张部24A中，作为上面的图像扩张，施加从进行处理的图像的边缘位置起向外扩宽图像的处理，此扩宽处理是扩宽与上述预定扩张量对应的特定像素数量。然而，本发明并不限于此。

上述噪声去除器25按照由噪声去除量存储器27预先存储的噪声去除量数据表示的噪声去除量，对校正检测器24检测到的校正图像执行噪声去除。要注意的是，作为上述的噪声去除处理，根据本示例性实施方式的噪声去除器25在进行处理的图像的水平像素数量和垂直像素数量都是与上述噪声去除数量对应的像素数量或者更少时，施加处理以去除该图像。但是，本发明并不限于此。

上述扩张量计算器26采用将在后面描述的校准片23(也参见图11)，并导出上述扩张量以使其大于在执行上述对准后的各图像之间的局部偏移量的总和。

接着，校正区域选择器29从对准部22提取的特征区域中选择其中已经对特征区域进行了校正的校正区域，并向校正检测器24输出表示所选择的校正区域的校正区域数据。

接下来，将参照图4，说明根据本示例性实施方式的对准部22的结构。

如图4所示，根据本示例性实施方式的对准部22配备有：一对特征区域提取器22A、22B、对应指定部22C、校正参数计算器22D和图像变换器22E。

要注意的是，校正前图像数据输入到特征区域提取器22A，校正后图像数据输入到特征区域提取器22B。特征区域提取器22A、22B基于输入的图像数据，分别在校正前图像和校正后图像中提取具有上述预定特征(在本示例性实施方式中，所述预定特征为二值化图像数据中的黑色像素的连通图像和白色像素的连通图像)的任何特征区域。然后特征区域提取器22A、22B基于输入的图像数据而导出预定特征量(在本示例性实施方式中，如后面将要描述的，所述预定特征量是尺寸、像素的数量以及笔迹长度(也参见图8A和图8B))，并将所述特征量作为特征量数据而输出。

对应指定部22C在校正前图像和校正后图像中，识别由从特征区域提取器22A、22B输出的特征区域数据表示的特征量的相似度为预定量或更大的特征区域对。对应指定部22C接着生成并输出其中将所识别出的特征区域对彼此关联的所识别特征区域数据。

校正参数计算器22D基于由从对应指定部22C输出的所识别特征区域数据表示的对应特征区域中的偏移量，来计算用于去除校正前图像和校正后图像整体的偏移的校正系数。接着，图像变换器22E采用由校正参数计算器22D计算出的校正系数，并对校正前图像数据或校正后图像数据中的一个或另一个(在这种情况下为校正后图像数据)执行图像变换(在这种情况下为仿射变换)，以执行校正前图像数据和校正后图像数据整体的对准。

要注意的是，在仿射变换中使用的校正系数为宽度方向位移量、垂直方向位移量、旋转角和乘数。将该校正系数计算为如下的值：使得在利用所述校正系数对图像之一(在这种情况下为校正后图像)执行变换时，在校正前图像和校正后图像中的对应特征区域的重心的位置差异最小。具体地说，例如，应用最小二乘法，并导出使得校正前图像和校正后图像中的对应特征区域的重心位置的差异的总和最小的宽度方向位移量、垂直方向位移量、旋转角和乘数中的每一个的值，作为校正系数。要注意的是，在JP-A 9-93431号公报中记载了应用最小二乘法的校正系数计算方法的示例。

在根据本示例性实施方式的校正区域选择器29中，从特征区域提取器22A、22B提取的特征区域中，将未包含在由识别的特征区域数据表示的特征区域中的特征区域选择为进行校正的特征区域。该选择是基于从特征区域提取器22A输出的校正前图像的对应特征区域数据、从特征区域提取器22B输出的校正后图像的对应特征区域数据、和从对应指定部22C输出的识别的特征区域数据而进行的。校正区域选择器29生成表示所选择的校正区域的校正区域数据并将其输出给校正检测器24。

要注意的是，在根据本示例性实施方式的校正区域选择器29中，执行上面的校正区域选择，以使得从特征区域提取器22A提取的校正前图像中的校正区域中选择未包含在由识别的特征区域数据表示的特征区域中的特征区域，作为校正区域a，并且，从特征区域提取器22B提取的校正后图像中的校正区域中选择未包含在由识别的特征区域数据表示的特征区域中的特征区域，作为校正区域b。

接下来将参照图5，说明根据本示例性实施方式的特征区域提取器22A、22B的结构。要注意的是，由于特征区域提取器22A和特征区域提取器22B具有相同的结构，区别仅在于输入的图像数据的不同，因此在此将给出对特征区域提取器22A的结构的说明。

如图5所示，根据本示例性实施方式的特征区域提取器22A配备有：预处理器40、连续区域提取器42、重心计算器44以及特征量计算器46。

要注意的是，预处理器40对输入的校正前图像数据执行单色化处理和二值化。此处的单色化是将校正前图像数据变为仅有亮度的像素数据的处理。二值化是利用预定的阈值水平将通过单色化而得到的单色图像变换为1(黑色)或0(白色)的处理。要注意的是，当输入的图像是单色图像时，可以省略单色化。

连续区域提取器42对由预处理器40二值化后的校正前图像数据执行连续区域提取，提取连续区域作为特征区域。要注意的是，作为示例，通过应用JP-A12-295438号公报中描述的技术来执行连续区域提取。此处，将连续区域(特征区域)提取为二值化图像中的黑色像素(黑色有效)的连续区域、或非黑色像素、白色像素(白色有效)的连续区域。例如，上述连续区域提取预先设定预定尺寸(面积或像素数量)的范围(最小，最大)作为提取条件，并基于预定的设定条件(例如在该范围内连续具有相同类型的像素的区域)来执行。

下面将参照图6，说明由上述连续区域提取处理提取的连续区域的具体示例。

图6示出了二值化的校正前图像80和二值化的校正后图像90。根据预定的条件，从这些图像中提取具有黑色像素(黑色有效)的连续区域的图像数据或者具有白色像素(白色有效)的连续区域的图像数据，作为连续区域。在图6所示的示例中，从校正前图像80中分别提取出“A”和“B”黑色字母图像和白化的“A’’字母图像作为连续区域81、82和83，从校正后图像90中分别提取出“A”和“B”黑色字母图像和白化的“A”字母图像作为连续区域91、92和93。要注意的是，虽然在实际提取中提取的连续区域的数据项的数量取决于设计参数，对几百至几千个数据项执行提取。

此外，重心计算器44计算由连续区域提取器42提取出的连续区域(特征区域)的重心，上述特征量计算器46计算各连续区域的特征量(在这种情况下，为尺寸、像素的数量以及笔迹长度)。要注意的是，在本示例性实施方式中，重心计算器44和特征量计算器46彼此分开设置。但是，很明显可以形成如下结构：其中，在特征量计算器46中计算重心，作为连续区域的特征量之一。

接下来将参照图7、图8A和图8B，说明从连续区域中导出的重心和特征量。例如，在图7中所示的字母“A”为从校正前图像80中提取的一个连续数据70。图8A和图8B分别示出了与从校正前图像80和校正后图像90中提取的连续区域有关的重心和特征量的数据表。

首先参照图7，说明连续区域70的重心和特征量的细节。

重心72是表示作为连续区域70的字母A的重心的位置的数据，并且，例如，在以校正前图像80作为XY坐标平面(还参照图8A和图8B)的情况下，重心72被提取为坐标数据(x，y)。

根据以接触图7中所示的连续区域70的外周的方式包围的外接矩形74的宽度“L”和高度“H”，确定尺寸为“L，H”。将像素的数量计算为构成连续区域70本身的总像素数量。此外，将如图7所示的笔迹长度计算为构成连续区域细线数据76的像素数量，连续区域细线数据76为如下变换后的连续数据70：使其线条细化以给出一个像素的线条宽度。

重心计算器44和特征量计算器46针对连续区域提取器42从校正前图像80和校正后图像90的比较对象中提取出的各个连续区域(特征区域)，计算重心的位置和特征量数据(包括尺寸、像素的数量以及笔迹长度等)。作为示例，将这些计算出的量组织到如图8A中所示的对应于校正前图像80的特征区域数据50A以及如图8B中所示的对应于校正后图像90的特征区域数据50B中。如图8A和图8B所示，分别向从校正前图像80和校正后图像90提取出的各个连续区域给出单个的唯一识别符(ID)。然后，将各连续区域的重心位置和特征量(即尺寸、像素的数量以及笔迹长度)的各数据作为特征区域数据与ID相关联地存储在存储单元(如硬盘20D等)中。

然而，如上面所说明的，根据本示例性实施方式的对应指定部22C(见图4)，识别在校正前图像和校正后图像中的由从特征区域提取器22A、22B输出的特征区域数据表示的特征量的相似度为预定量或更大的特征区域对，并生成与识别出的特征区域对相关联的所识别特征区域数据。

作为示例，将特征区域提取器22A存储的特征区域数据50A和特征区域提取器22B存储的特征区域数据50B输入到对应指定部22C。对应指定部22C然后基于存储在这两个特征区域数据中的数据来执行图案匹配，并基于图案匹配的结果来生成所识别的特征区域数据。

要注意的是，根据本示例性实施方式的对应指定部22C将特征区域缩小到相似度为预定量或更大的候选特征区域。这是基于各特征区域数据中的重心的位置而进行的。如果从校正前图像或校正后图像中的一个或另一个图像中提取出的特征区域具有第一重心位置，则识别这两个图像中的另一个图像中的重心位置距第一重心位置在预定距离内的特征区域。接着，仅仅针对缩小的候选特征区域，对数据中的各个标识出的特征区域数据，计算特征量(尺寸、像素的数量、笔迹长度)中的至少一个数据的相似度。然后，对应指定部22C仅仅针对相似度为预定量或更大的特征区域对，生成表示特征区域的数据，作为识别的特征区域数据。要注意的是，在本示例性实施方式中，将应用的特征量之间的距离(作为示例，欧几里得距离)的倒数用作相似度。但是，本发明并不限于此，很明显，表示在校正前图像和校正后图像之间的各特征区域数据中示出的特征量的相似度的任何量度都可以应用于此。

图9示意性示出了根据本示例性实施方式的所识别的特征区域数据的数据结构的示例。如图9所示，在对应指定部22C中生成的所识别特征区域数据是将校正前图像和校正后图像中的相似度为预定量或更大的各特征区域的ID关联起来的数据。

下面将参照图10，说明根据本示例性实施方式的扩张量计算器26的结构。

如图10所示，根据本示例性实施方式的扩张量计算器26配备有：基准位置获取部26A、基准位置识别部26B、对应指定部26C、校正参数计算器26D、图像变换器26E、基准位置识别部26F、局部失真计算器26G、扩张量确定部26H和存储器26I。

在根据本示例性实施方式的图像处理系统10中，图像扩张部24A利用校准片23作为基准介质来确定要使用的扩张量。

图11示出了根据本示例性实施方式的图像处理系统10中应用的校准片23。如图11所示，校准片23的表面具有多个小点(点)，以矩阵形式绘制的点图像23A。在校准片23上还绘有箭头23B，该箭头23B指示使用图像扫描装置30的扫描方向。因此，当利用图像扫描装置30扫描校准片23时，用户设定校准片23以使扫描沿着与箭头23B一致的方向。

上述基准位置获取部26A获取表示校准片23上的点图像23A的位置的位置数据，并将该位置数据作为获取的位置数据而输出。要注意的是，在根据本示例性实施方式的图像处理系统中，表示绘制在校准片23上的点图像23A的图像数据(以下称为“基准图像数据”)预先存储在存储单元(如硬盘20G等)中，并且从该基准图像数据中获取所获取的位置数据。即，根据本示例性实施方式的基准图像数据包括表示绘制在校准片23上的点图像23A的位置的数据，通过扫描该数据而获得上述的所获取的位置数据。

基于使用图像扫描装置30对具有点图像23A的校准片23的表面进行的图像扫描，基准位置识别部26B识别由此扫描到的图像数据(下面称为“扫描图像数据”)表示的图像中的点图像23A的位置，并将其作为所识别的位置数据而输出。

在根据本示例性实施方式的图像处理系统10中，将各个点图像23A的中心位置用作由上述所获取位置数据表示的点图像23A的位置以及由上述所识别位置数据表示的点图像23A的位置。根据本示例性实施方式的基准位置识别部26B提取由上述扫描图像数据表示的图像中的各个点图像23A的外接矩形，通过导出这些外接矩形的中心位置来识别各个点图像23A的位置。

要注意的是，在根据本示例性实施方式的图像处理系统10中，针对由上述所获取位置数据表示的位置并且针对由上述所识别位置数据表示的位置导出坐标数据。这样导出的坐标数据处于XY坐标平面(其中绘制了校准片23的点图像23A)中，并且以一个预定点的点图像23A(在本示例性实施方式中，当从正面注视校准片23时位于左上角点的点图像A，以下称为“基准点图像”)的位置作为其原点。

对应指定部26C基于分别从基准位置获取部26A和基准位置识别部26B输出的所获取位置数据和所识别位置数据，生成识别由上述基准图像数据表示的各个点图像23A与由上述扫描图像数据表示的对应点图像23A之间的对应的基准图像对应数据，并输出生成的数据。要注意的是，在根据本示例性实施方式的图像处理系统10中，通过相对于校准片23中的预定点图像23A(在示例性实施方式中为上述基准点图像)的位置来识别各点图像23A的在水平方向和垂直方向具有相同位置序列号的点图像23A，从而识别对应的点图像23A。

基于由从对应指定部26C输出的基准图像对应数据表示的对应点图像23A的位置的偏移量，上述校正参数计算器26D计算校正系数以去除由基准图像数据表示的点图像23A和由扫描图像数据表示的点图像23A的整体的偏移。然后，图像变换部26E运用由校正参数计算器26D计算出的校正系数来对扫描图像数据执行与上述的图像变换器22E的处理类似的图像处理(在这种情况下为仿射变换)，作为整体对准对应点图像23A的图像变换。

要注意的是，如上面所说明的，在仿射变换中运用的校正系数是宽度方向位移量、垂直方向位移量、旋转角和乘数。当基于由校正参数计算器26D计算的校正系数执行变换时，计算该校正系数以使得对应点图像23A的中心位置之间的差异为最小值。具体地说，例如，通过运用最小二乘法，导出针对宽度方向位移量、垂直方向位移量、旋转角和乘数中的每一个的值作为校正系数，使得对应点图像23A的中心位置的差异之和尽量小。

然后，基准位置识别部26F基于已经由图像变换器26E执行了图像变换处理的扫描图像数据，按与上述基准位置识别部26B类似的方式，识别由该扫描图像数据表示的图像中的点图像23A的位置，并输出变换后的识别位置数据。

上述局部失真计算器26G基于从基准位置获取部26A输出的所获取位置数据和从基准位置识别部26F输出的变换后的所识别位置数据，导出如下的偏移量数据：该偏移量数据表示在由所获取位置数据表示的各点图像23A的位置到由变换后的所识别位置数据表示的各个对应点图像23A的位置之间的对应点图像23A的偏移量，作为图像局部失真的总值，该总值在由图像变换器22E执行了图像变换处理以对通过用图像扫描装置30进行扫描而获得的图像进行对准后仍保持在扫描图像中。

要注意的是，在根据本发明示例性实施方式的局部失真计算器26G中，针对上述对应点图像23A，运用针对所有点图像23A的偏移量的平均值作为上述偏移量数据。例如，如果由所获取位置数据表示的点图像23A的位置如图12A所示、并且由所识别位置数据表示的点图像23A的位置如图12B所示，则对应点图像23A的偏移量如图12C所示。在这种情况下，上述偏移量数据为图12C所示的所有偏移量的平均值。

在根据本示例性实施方式的图像处理装置20中，将对应点图像23A的中心位置之间的欧几里德距离用于由校正参数计算器26D和局部失真计算器26G所使用的上述偏移量。但是本发明并不限于此，也可以利用由其它参数代表的偏移量。在根据本示例性实施方式的图像处理装置20中，将算术平均值用作上述的偏移量平均值。但是，本发明并不限于此，结构还可以是采用作出应用其它平均值，例如均方根值或几何平均值等。

在上述扩张量确定部26H中，确定扩张量数据并将该扩张量数据存储在存储器26I中，所述扩张量数据表示扩张量，该扩张量随着从局部失真计算器26G输出的偏移量数据表示的偏移量增加而增加。

在根据本示例性实施方式的图像处理装置20中，作为在下表1中示出的示例，在存储单元(如硬盘20G)中预先存储了表示由偏移量数据表示的偏移量和扩张量之间的关系的表(下面称为“扩张量变换表”)，参照该表来确定对应于上述偏移量的扩张量。但是，本发明并不限于此，很明显，也可以应用获取扩张量的其它方法，例如，预先存储用于计算与表中的值相同的值的计算公式，然后通过利用该计算公式的计算来获取扩张量等。

表1

偏移量	扩张量
		3.0像素或更大	5像素
2.0至3.0像素，但不超过3.0像素	4像素
		1.0至2.0像素，但不超过2.0像素	3像素
0.5至1.0像素，但不超过1.0像素	2像素
		0.0至0.5像素，但不超过0.5像素	1像素

噪声去除量存储器27存储表示噪声去除器25采用的噪声去除量的噪声去除量数据。在根据本示例性实施方式的图像处理系统10中，在噪声去除量存储器27存储有来自历史经验值的常数值(在该情况下为3像素)。但是，本发明并不限于此，一个实施方式可以构成如下：由用户设置并存储噪声去除量数据，或者可以基于前述的由上述偏移量数据表示的偏移量来自动地确定并存储噪声去除量数据等。

要注意的是，可以通过程序来执行如上所述地构成的图像处理装置20的各个构成部件(对准部22、校正检测器24、噪声去除器25、扩张量计算器26以及校正区域选择器29)进行的处理，并且可以通过利用计算机的软件结构来实现。在这样的情况下，这种程序包含在根据本示例性实施方式的程序中。但是，并不限于通过软件结构来实现，还可以通过硬件结构来实现、或者通过软件结构和硬件结构的组合来实现。

现在将说明通过执行上述程序利用上述各构成部件进行处理来实现根据本示例性实施方式的图像处理系统10的情况。在这种情况下，程序可以应用在其中在图像处理装置20中预先安装该程序的实施方式中、其中在计算机可读存储介质中存储了该程序的实施方式中、其中通过有线或无线通信单元发布该程序的实施方式中、等等。

现在将说明根据本示例性实施方式的图像处理系统10的操作。

首先，参照图13，说明当导出扩张量时的图像处理系统10的操作。图13为示出了图像处理装置20的CPU 20A在这种情况下执行的扩张量计算程序的处理中的处理流程的流程图。为了避免混淆，此处说明的是如下情况：从未示出的外部装置输入上述的基准图像数据，从图像扫描装置30输入扫描图像数据，作为表示与基准图像数据的尺寸相同尺寸的图像的数据，并且基准图像数据和扫描图像数据二者都预先存储在硬盘20D的预定区域中。

在图13的步骤100中，通过从硬盘20D读取而获取基准图像数据，在下一步骤102，通过与上面描述的基准位置获取部26A中的处理类似的处理，从获取的基准图像数据中获取所获取的位置数据。

在下一步骤104，通过从硬盘20D读取而获取扫描图像数据。在下一步骤106，基于获取的扫描图像数据，通过与上面描述的基准位置识别部26B中的处理类似的处理，导出识别的位置数据。

在下一步骤108，基于已经获取的所获取位置数据和导出的所识别位置数据，通过与上面描述的对应指定部26C中的处理类似的处理，识别出点图像23A之间的对应，并生成基准图像对应数据。在下一步骤110，基于在生成的基准图像对应数据中表示的对应点图像23A的位置的偏移量，通过与上面描述的校正参数计算器26D中的处理类似的处理来计算校正系数。

在下一步骤112，通过与上面描述的图像变换器26E中的处理类似的处理，对扫描图像数据执行采用计算出的校正系数的图像变换处理(图像对准)。在下一步骤114，基于已经执行了上述图像变换处理的扫描图像数据，通过与上面描述的基准位置识别部26F中的处理类似的处理，导出变换后的识别位置数据。

在下一步骤116，基于获取的位置数据和变换后的识别位置数据，通过与上面描述的局部失真计算器26G中的处理类似的处理，导出偏移量数据。在下一步骤118，通过与上面描述的扩张量确定部26H中的处理类似的处理，确定扩张量。此外，在下一步骤120，在将表示所确定的扩张量的扩张量数据存储在硬盘20D后，结束当前的扩张量计算程序。

现在将参照图14，说明在执行图像处理以检测校正图像时的图像处理系统10的操作。图14为示出了图像处理装置20的CPU 20A在这种情况下执行的图像处理程序的处理流程的流程图。为了避免混淆，此处说明的是如下情况：作为表示相同尺寸的原始图像的数据，处理对象(用于处理的校正前图像数据和校正后图像数据)从图像扫描装置30输入，预先存储在硬盘20G的预定区域中。为了避免混淆，此处说明的也是如下情况：上述噪声去除量数据预先存储在硬盘20D的预定区域。

在图14的步骤200，通过从硬盘20D读取而获得校正前图像数据和校正后图像数据的处理对象。在下一步骤202，通过与上面描述的特征区域提取器22A和22B中的处理类似的处理，导出对应于校正前图像和校正后图像的特征区域数据(见图8A和图8B)，并进行存储。例如，当校正前图像80和校正后图像90如图16所示时，当前步骤202的处理针对校正前图像和校正后图像的各图像，分别导出与图17A所示的特征区域(在本示例性实施方式中为连续区域)相关的特征区域数据。

在下一步骤204，基于导出的特征区域数据，通过与上面描述的对应指定部22C中的处理类似的处理，生成识别特征区域数据。作为示例，通过当前步骤204的处理，生成图17B所示的对应特征区域的识别特征区域数据(还参照附图9)。

在下一步骤206，基于生成的识别特征区域数据，通过与上面描述的校正参数计算器22D中的处理类似的处理来计算校正系数，以去除校正前图像数据和校正后图像数据之间的整体偏移。在下一步骤208，采用计算出的校正系数，通过与上面描述的图像变换器22E中的处理类似的处理来执行图像变换(在本示例性实施方式中为仿射变换)，以对校正前图像数据和校正后图像数据进行整体位置对准。此外，在下一步骤210，通过从硬盘20D读取来获得扩张量数据。

在下一步骤212，通过与上面描述的校正区域选择器29中的处理类似的处理，从由上述步骤202的特征区域数据计算而提取的特征区域中选择校正区域(已经进行了校正的特征区域)，并生成表示所选择的特征区域(校正区域)的校正区域数据。要注意的是，在上述步骤208中，优选地用与应用了图像变换之后的图像对应的特征区域数据来替代与已经执行了图像变换的图像数据对应的特征区域数据。

在当前步骤212的处理中，当执行校正区域的选择时，作为来自特征区域提取器22A提取的校正前图像的特征区域中的校正区域(其为不包含在由识别的特征区域数据表示的特征区域中的区域)(校正区域a)，作为示例，生成表示图17C所示的特征区域的校正区域数据。并且，当执行校正区域的选择时，作为来自特征区域提取器22B提取的校正后图像的特征区域中的校正区域(其为不包含在由识别的特征区域数据表示的特征区域中的区域)(校正区域b)，作为示例，生成表示图17D所示的特征区域的校正区域数据。

在下一步骤214，生成表示校正前图像的宽度(在这种情况下为图像的水平方向的像素数)和校正前图像的高度(在这种情况下为图像的垂直方向的像素数)的白色图像的图像数据(下面将称为“白色图像数据”)。在下一步骤216，作为校正检测器24和噪声去除器25的处理，基于与由上述校正区域数据表示的校正区域对应的校正前图像数据和校正后图像数据，执行校正图像检测例程/程序。

现在来参照图15，对校正图像检测流程/程序进行说明。

作为示例，图15的步骤300导出表示由上述步骤212的处理生成的校正区域数据表示的校正区域a和校正区域b的全部区域的范围的坐标。

首先，从特征区域数据获取对应于各校正区域的各重心位置和各尺寸的数据。

接着，针对各个校正区域，以所获取的重心位置数据表示的重心位置作为中心，计算具有由所获取尺寸数据表示的宽L和高H的矩形区域的角顶点(在本示例性实施方式中为左上角顶点和右下角顶点)的坐标位置，作为上述校正区域坐标。

在下一步骤302中，基于由上述步骤300的处理导出的各校正区域的校正区域坐标，确定在校正区域a中包含的校正区域和校正区域b中包含的校正区域之间是否存在任何重叠区域。当该确定为否定时，例程进行到步骤320，如下所述，然而，当该确定为肯定时，例程进行到步骤306。

在步骤S306处，对如下的校正前图像数据和校正后图像数据执行与预处理器40的处理类似的单色化和二值化，所述校正前图像数据和校正后图像数据对应于来自被上述步骤302的处理确定为校正前图像数据和校正后图像数据(通过上述步骤208对其执行图像变换而得到)中的重叠区域的多个区域中的一个区域或另一个区域中的第一对区域(下面称为“处理对象区域”)。在下一步骤308处，确定二值化的校正前图像数据中的黑色像素数量(下面称为“校正前黑色像素数量”)是否小于二值化的校正后图像数据中的黑色像素数量(下面称为“校正后黑色像素数量”)。当该确定为肯定时，认为处理对象区域是“重叠增加区域”，这是与在校正前文档上已经存在的图像重叠的增加区域，并且例程进行到步骤309。

在步骤309处，利用与上述图像扩张部24A的处理类似的处理，对二值化的校正前图像数据执行按照由上述步骤210的处理获取的扩张量数据表示的扩张量进行扩大的图像扩张。

在下一步骤310处，利用来自通过上述步骤309的处理进行了扩张的校正前图像和校正后图像中的每一个的图像数据，执行与重叠增加区域对应的预定第一校正图像检测，然后例程进行到步骤316。

注意，在根据本示例性实施方式的校正图像检测例程/程序中，作为上述第一校正图像检测，应用如下的处理：针对各个对应像素，从二值化的校正后图像数据中减去由上述步骤309的处理进行了图像扩张的校正前图像数据。

当上述步骤308处确定为否定时，例程进行到步骤312，并确定校正前黑色像素数量是否大于校正后黑色像素数量，并且当该确定为否定时，例程进行到步骤318，稍后进行说明。然而，当步骤312处确定为肯定时，认为处理对象区域是“部分去除区域”，这是已经从其去除了校正前文档上已经存在的部分图像的区域，并且例程进行到步骤313。

在步骤313处，通过与上述步骤309的处理类似的处理，对二值化校正前图像数据执行图像扩张。在下一步骤314处，利用来自由上述步骤313的处理进行了扩张的校正前图像和校正后图像中的每一个的图像数据，执行与部分去除区域对应的预定第二校正图像检测，然后例程进行到步骤316。

注意，在根据本示例性实施方式的校正图像检测例程/程序中，作为上述第二校正图像检测，应用如下的处理：针对各个对应像素，从由上述步骤313的处理进行了图像扩张的校正前图像数据中减去二值化的校正后图像数据。

此外，如上所述，在根据本示例性实施方式的校正图像检测例程/程序中，对二值化图像数据执行上述步骤309和步骤313的图像扩张。然而，本发明不限于此，实施方式可以被构成为对非二值化的图像数据执行图像扩张。在这种情况下，在上述步骤310和步骤314中将非二值化数据用于校正后图像数据。

在步骤316处，将通过上述步骤310或步骤314的处理获得的图像数据叠加(覆写)在通过上述步骤214的处理而生成的白图像数据上。由此合成检测到的校正图像或检测到的去除图像。在下一步骤318处，然后确定是否对于由上述步骤302的处理确定为重叠区域的全部校正区域都已经完成了上述步骤306到步骤316的处理。当该确定为否定时，例程返回到步骤306，并且重新执行步骤306向前的处理。然而，当该确定为肯定时，例程进行到步骤320。注意，当反复执行上述步骤306到步骤318的处理时，执行该处理以使得仅仅将还没有经过处理的重叠校正区域用作处理对象区域。

在步骤320处，基于由上述步骤300的处理导出的各校正区域的校正区域坐标，确定校正区域a中包含的校正区域中是否存在与校正区域b中包含的任何校正区域都不重叠的区域。当该确定为肯定时，认为处理对象区域是“去除区域”，这是去除了在校正前文档上已经存在的图像的区域，并且例程进行到步骤322。然后执行与所去除区域相对应的预定第三校正图像检测，然后例程进行到步骤324。注意，可以将从校正前图像数据提取与上述去除区域相对应的图像数据的处理应用为根据本示例性实施方式的校正图像检测例程/程序中的第三校正图像检测。

在步骤324处，通过将由上述步骤322的处理获得的图像数据叠加(覆写)在上述白图像数据上，合成检测到的校正图像(去除图像)，并且例程随后进行到步骤326。注意，当上述步骤320的确定为否定时，例程进行到步骤326，而不执行上述步骤322和步骤324的处理。

在步骤326处，基于由上述步骤300的处理导出的各校正区域的校正区域坐标，确定校正区域b中包含的校正区域中是否存在与校正区域a中包含的任何校正区域都不重叠的区域。当该确定为肯定时，认为处理对象区域是“不重叠增加区域”，这是添加了注释的校正前文档中尚未存在图像的区域，并且例程进行到步骤328。然后利用校正后图像数据执行与不重叠增加区域对应的预定第四校正图像检测，然后例程进行到步骤330。注意，可以将从校正后图像数据提取与上述不重叠增加区域相对应的图像数据的处理应用为根据本示例性实施方式的校正图像检测例程/程序中的第四校正图像检测。

在步骤330中，将由上述步骤328的处理获取的图像数据叠加(覆写)在上述白图像数据上。由此，合成了检测到的校正图像(增加图像)，然后例程进行到步骤322。注意，当上述步骤326的确定为否定时，例程进行到步骤332，而不执行上述步骤328和步骤330的处理。

在步骤322处，通过从硬盘20D进行读取来获取噪声去除量数据，并且利用上述处理，对叠加有校正图像的白图像数据按照所获取的噪声去除量数据表示的噪声去除量来执行噪声去除，然后结束校正图像检测例程/程序。

在图17E中，示出了重叠增加区域、部分去除区域、去除区域和不重叠增加区域的条件和示例性图像。在图17F中，示出了根据各个校正图像检测(从上述第一校正图像检测到第四校正图像检测)的校正图像的汇总检测方法。

当校正图像检测例程/程序结束时，例程进行到图像处理程序(见图14)的步骤218，输出利用通过上述处理叠加有校正图像的白图像数据的校正图像，然后结束本图像处理程序。注意，在根据本示例性实施方式的图像处理程序中，可以采用通过在显示器20F上进行显示的输出、通过利用未示出的打印机(所谓的图像处理装置)进行打印的输出、或者通过这两者的输出，作为根据上述步骤218的输出校正图像的处理。然而，本发明不限于此，也可以使用其他输出模式，例如，执行上述模式中的一个或另一个的模式、通过语音合成装置输出语音的模式等。此外，在根据本示例性实施方式的图像处理程序中，对其中存储检测到的校正图像(通过将校正图像叠加在白图像数据上)的情况进行了说明。然而，本发明不限于此，可以使用其他模式，例如，其中存储表示检测到的校正图像的位置的坐标的模式、其中存储识别校正图像的数据的模式等。此外，可以使用这样的模式，其中，在增加的图像和/或去除的图像中改变颜色等，使得增加的图像和去除的图像以有区别的状态输出。

第二示例性实施方式

在第一实施方式中，针对以一对一的关系将一个图像处理装置和一个图像扫描装置连接在一起的情况说明了示例性实施方式。然而，在第二示例性实施方式中，将的说明如下的情况：向一个图像处理装置提供多个图像扫描装置，以一对多的方式连接在一起。

首先，参照图18来说明根据本示例性实施方式的图像处理系统10’的结构。

如图18所示，根据本示例性实施方式的图像处理系统10’配置有图像处理装置20’(例如，个人计算机等)以及多个图像读取装置30(例如，扫描仪等)，这些装置中的每一个通过网络95可通信地连接。

在根据本示例性实施方式的图像处理系统10’中，将互联网用作网络95。然后，本发明并不限于此，还可以使用各种网络，例如内联网、局域网(LAN)、增值网(VAN)、电话线路网、ECHONET、家庭PNA等，这些网络可以独立使用或者组合使用。

根据本示例性实施方式的各个图像读取装置30配置有：扫描部30A，其扫描各种图像，例如校正前文档、校正后文档、校准片23等；以及网络接口(I/F)部30B，其用于连接到网络95。各图像读取装置30通过网络I/F部30B连接到网络95。

接着，参照图19来说明在图像处理系统10’中起着特别重要的作用的图像处理装置20’的电气系统的组成结构。注意，图19中的类似于图2的构成部件的构成部件被分配了与图2相同的附图标记，并略去其说明。

如图19所示，根据本示例性实施方式的图像处理装置20’的不同之处仅在于它配置有用于连接到网络95的网络接口(I/F)20H，代替了图像处理装置20中设置的输入-输出接口20G。

因此，根据本示例性实施方式的图像处理装置20’通过网络I/F 20H向图像读取装置30发送各种数据并且从图像读取装置30接收各种数据。

注意，由于除了扫描图像数据、校正前图像数据和校正后图像数据不是直接从图像扫描装置30输入而是替代地经网络95输入之外，根据本示例性实施方式的图像处理装置20’的功能结构类似于根据第一示例性实施方式的图像处理装置20的功能结构，因此省略进一步的说明。

然而，在根据本示例性实施方式的图像处理系统10’中，通过利用各图像扫描装置30扫描校准片23而获取的扫描图像数据与预先指派给各图像读取装置30的地址数据一起发送给图像处理装置20’。在根据本示例性实施方式的扩张量计算中，如图20中示例所示，将导出的扩张量数据与开始扫描图像数据发送的图像扫描装置30的地址数据相关联，并且将其作为单个扩张量数据50D存储在硬盘20D上。

现在参照图21，对在计算扩张量时图像处理系统10’的操作进行说明。图21是示出了图像处理装置20’的CPU 20A在这种情况下执行的扩张量计算程序的处理流程的流程图。为了避免混淆，这里说明如下的情况：上述基准图像数据从未例示的外部装置输入，并预先存储在硬盘20D的预定区域中。图21中的用于执行与图13中的处理类似的处理的步骤被分配了相同的附图标记，并略去其说明。

在图21的步骤103中，保持待机状态，直到接收到从图像读取装置30中的不管哪一个扫描到的图像数据，然后，经过步骤106’，通过与上述基准位置识别部26B的处理类似的处理，基于所接收的扫描图像数据来导出识别的位置数据。

然后，在步骤122中，通过确定从上述步骤103的处理中与扫描图像数据一起接收到的地址数据是否存储在单个扩张量数据50D中，来确定与开始所接收到的扫描图像数据的发送的图像扫描装置30相关的扩张量数据是否存储(登记)在单个扩张量数据50D中。当该确定是否定时，例程进行到步骤124。然后，将表示由步骤118的处理而确定的扩张量的扩张量数据与和扫描图像数据一起接收到的地址数据相关联，并将其存储(登记)在单个扩张量数据50D中，之后例程进行到后面描述的步骤132。

然而，当上述步骤122的确定为肯定时，例程进行到步骤126，从单个扩张数据50D读出与和扫描图像数据一起接收到的地址数据相关联的扩张量数据。然后，经过下一步骤128，基于读出的扩张量数据(以下称为“登记扩张量数据”)和表示由步骤118的处理而确定的扩张量的扩张量数据(以下称为“新扩张量数据”)，来确定是否利用新扩张量数据来刷新登记扩张量数据。当该确定为肯定时，例程进行到步骤130，并且在利用新扩张量数据刷新登记扩张量数据之后，例程进行到步骤132。然而，当该确定是否定时，例程进行到步骤132，而不执行步骤130的处理。注意，在根据本示例性实施方式的图像处理系统10’中，对上述步骤123的确定，应用如下规则：确定为当新扩张量数据表示的扩张量大于登记扩张量数据表示的扩张量时进行刷新。

在步骤132处，确定是否到达了预定时刻，即结束当前扩张量计算程序的时刻。当该确定是否定时，例程返回到上述步骤103，而当确定为肯定时，在该时间点结束当前扩张量计算程序。注意，在根据本示例性实施方式的图像处理系统10’中，将接收单元接收到指示结束扩张量计算程序的指令数据(例如，由用户输入键盘20E)时的时刻用作上述步骤132的处理中应用的预定定时。

注意，除了将校正前图像数据和校正后图像数据的处理对象通过网络95从图像扫描装置30输入到图像处理装置20’之外，根据本示例性实施方式的图像处理系统10’在执行图像处理以检测校正图像时的操作类似于根据第一示例性实施方式的图像处理系统10的操作。因此，省略了进一步的说明。

通过上述示例性实施方式给出了说明，然而，本发明的技术范围并不限于上述示例性实施方式的范围。可以在不脱离本发明的精神的范围内对上述示例性实施方式作出各种修改和改进，并且这样的修改和改进都包含在本发明的技术范围内。

此外，上述示例性实施方式并不是对本发明的限制，并且并不需要上述示例性实施方式中说明的全部特征组合来解决本发明的问题。上述示例性实施方式包含了本发明的各个步骤，并且可以通过组合所公开的多个结构特征来导出各种发明。即使从上述示例性实施方式中所示出的全部结构特征中去除给定的结构特征，只要能够实现效果，也就可以导出去除了这些给定结构特征的结构作为本发明。

例如，在上述各个示例性实施方式中，对用软件结构实现扩张量计算和图像处理的情况进行了说明。然而，本发明并不限于此，例如，实施方式可以构成如下：通过硬件结构来实现扩张量计算和图像处理。作为这种情况的示例性实施方式，例如，可以构成执行与图3所示图像处理装置20的构成部件(对准部22、校正检测器24、噪声去除器25、扩张量计算器26和校正区域选择器29)的处理相类似的处理的功能装置。在这种情况下，与上述示例性实施方式相比，有望提高图像处理的速度。

此外，在上述各个示例性实施中对用作基准介质的校准片为图11所示的校准片的情况进行了说明。然而，本发明并不限于此，例如，实施方式可以使用诸如图22A、22B、23A、23B、23C等所示的基准介质的基准介质。

注意，图22A所示的校准片是将交叉图像23C代替点图像23A用作基准图像的校准片，图22B所示的校准片是将格子图像23D代替点图像23A用作基准图像的校准片。当以与上述各示例性实施方式类似的方式使用图22A所示的绘制有交叉图像23C的校准片时，提取与各交叉图像23C外接的矩形，并通过导出外接矩形的中心位置来识别交叉图像23C的位置。当使用图22B中所示的绘制有格子图像23D的校准片时，通过公知的轮廓跟踪处理来检测格子图像23D中的各交叉点的位置，并将交叉点的位置用作进行偏移量检测的位置。

然而，图23A、23B和23C是图11、22A和22B所示的各校准片，从其中去除了箭头23B，并且各基准图像(点图像23A、交叉图像23C和格子图像23D)的位置是关于点对称的。对于这些校准片来说，使用图像扫描装置30的扫描方向无关紧要。

此外，尽管在上述示例性实施方式中对通过图像变换器26E对扫描图像数据执行图像变换处理的情况进行了说明，但本发明并不限于此，并且实施方式可以构成为对基准图像数据执行图像变换处理。

此外，尽管在上述示例性实施方式中对使用针对全部点图像23A的对应点图像23A的位置偏移量的平均值的情况进行了说明，但本发明并不限于此。例如，实施方式可以构成如下：使用针对全部点图像23A的对应点图像23A的位置偏移量的总和值、最大值等。

此外，尽管在上述示例性实施方式中对从基准图像数据获取所获取位置数据的情况进行了说明，但本发明并不限于此。例如，实施方式可以构成如下：从通过利用高精度图像读取装置扫描校准片23而获取的图像数据中获取上述所获取位置数据，其中与通过扫描获得的图像数据所表示的图像的位置相关的失真量是阈值(例如，100μm)或更小。

此外，尽管在上述示例性实施方式中对从基准图像数据获取所获取的位置的情况进行了说明，但本发明并不限于此。实施方式可以构成如下：作为例如由与基准位置识别部26B的处理类似的处理识别出的上述所获取位置数据，通过利用图像扫描装置30按与根据上述各示例性实施方式的扫描图像数据的定时不同的定时扫描校准片23，来获取由图像数据表示的点图像23A(基准图像)的位置。在这种情况下，考虑由于环境条件的变化或者经过的时间等而引起的图像扫描装置30造成的图像局部失真的变化，来确定扩张量。

此外，在上述第二示例性实施方式中，对在扩张量计算程序中存储直到那时为止导出的扩张量数据表示的扩张量的最大值的情况进行了说明，然而，本发明并不限于此。例如，实施方式可以构成如下：其中，存储直到那时为止导出的扩张量数据中的最高频率的扩张量数据，或者存储指示直到那时为止导出的扩张量数据表示的扩张量的平均值的扩张量数据。

此外，在上述第二示例性实施方式中，对这样的情况进行了说明：将通过用户输入接收单元(例如键盘20E)接收到指示结束扩张量计算程序的指示数据时的时刻，用作结束扩张量计算程序的时刻。然而，本发明不限于此，例如，实施方式可以构成如下：其中，所使用的时刻是用于执行扩张量计算程序的时间段的预定结束时间到达的时刻，或者所使用的时刻是从全部对象扫描读取装置30接收到指示扫描处理结束的数据的时刻。

此外，在上述第二示例性实施方式中，对分别执行扩张量计算程序和图像处理程序的情况进行了说明。然而，本发明并不限于此。例如，实施方式可以构成如下：其中，确定通过网络90接收到的图像数据是否是扫描图像数据、校正前图像数据或者校正后图像数据，并且根据确定结果自动且选择性地执行扩张量计算程序或图像处理程序。

此外，在上述各示例性实施方式中，对校正图像检测例程/程序的步骤306到步骤318的处理反复进行的情况进行了说明，其中，每次一对地对校正区域a和校正区域b中相互重叠的校正区域执行处理。然而，本发明并不限于此，例如，当校正区域a中包含的多个校正区域与校正区域b中的多个校正区域中的不管哪一个重叠时，或者当校正区域b中包含的多个校正区域与校正区域a中的多个校正区域中的不管哪一个重叠时，实施方式可以构成如下：其中，聚集所述多个校正区域，并将其当作单个校正区域来进行处理，对所述单个校正区域执行上述步骤306到步骤318的处理。在这种情况下，与上述示例性实施方式相比，有望提高图像处理速度。

此外，上述各示例性实施方式中说明的图像处理系统10、10’和图像处理装置20、20’的结构(见图1到图5、图10、图18和图19)仅仅是其示例，并且在不脱离本发明的精神的范围内，可以去除其不需要的部件，也可以添加新的部件。

此外，上述各示例性实施方式中说明的各个不同类型的数据的数据结构(见图8A、图8B、图9、图12A、图12B、图12C和图20)也只是其示例，可以在不脱离本发明的精神的范围内对其进行作出各种修改和增加。

此外，上述各示例性实施方式中描述的扩张量计算程序、图像处理程序和校正图像检测例程/程序的处理流程(见图13到图15和图21)也仅仅是其示例，并且在不脱离本发明的精神的范围内，可以去除不需要的步骤，可以增加新的步骤，并且可以改变处理顺序。

Claims (12)

1.一种图像处理装置，该图像处理装置包括：

获取单元，该获取单元获取表示设置在基准介质上的多个基准图像的位置的位置数据；

扫描单元，该扫描单元对所述基准介质的设置有所述基准图像的区域的图像进行扫描；以及

确定单元，该确定单元执行以下操作：

计算由所述扫描单元扫描的所述多个基准图像中的某基准图像的图像位置与由所述获取单元获取的位置数据表示的所述多个基准图像中的同一基准图像的位置之间的位置偏移量的总和；

使用被预先确定为使得所述位置偏移量的总和最小的公共校正系数，执行对应基准图像的对准；并且

确定对由所述扫描单元扫描到的图像数据进行扩张的扩张量，使得该扩张量随着所述位置偏移量的总和的增加而增加，

其中，所述确定单元通过采用从所述基准介质的设置有所述基准图像的区域中多次扫描到的图像数据，来针对每次扫描确定扩张量，

所述确定单元基于多个所确定的扩张量的最大值、多个所确定的扩张量中的最高频率值以及多个所确定的扩张量的平均值中的至少一个，来确定最终扩张量，并且

如果在存储单元中没有存储扩张量，则所述确定单元将所确定的扩张量存储在所述存储单元中；如果在所述存储单元中存储有扩张量并且所确定的扩张量大于所存储的扩张量，则所述确定单元利用所确定的扩张量来刷新所存储的扩张量。

2.根据权利要求1所述的图像处理装置，其中，所述获取单元从在创建所述基准介质时采用的表示所述多个基准图像的基准图像数据中获取所述位置数据，或者，所述获取单元从通过用图像扫描装置扫描所述基准介质而获得的图像数据中获取所述位置数据，在所述图像扫描装置中，与扫描到的图像数据的位置有关的任何失真为预定的阈值或更低。

3.根据权利要求1所述的图像处理装置，其中，所述获取单元从下述图像数据中获取所述位置数据，所述图像数据是所述扫描单元从所述基准介质的设置有所述基准图像的区域的图像中扫描到的。

4.根据权利要求1所述的图像处理装置，其中：

所述基准介质包括指示扫描方向的方向数据；或者

所述多个基准图像关于某点对称地设置在所述基准介质上。

5.根据权利要求1所述的图像处理装置，其中，所述基准图像是点图像、具有交叉点的交叉图像、或者格子图像。

6.根据权利要求1所述的图像处理装置，该图像处理装置还包括：

第一执行单元，该第一执行单元使用所述公共校正系数对表示第一文档的图像的第一图像数据和表示第二文档的图像的第二图像数据中的至少一个进行对准，所述第一文档是在执行校正之前用所述扫描单元扫描的文档，所述第二文档是在执行校正之后扫描的文档；

第二执行单元，该第二执行单元使用由所述确定单元确定的扩张量，对所述第一图像数据和所述第二图像数据中的至少一个执行图像扩张；以及

提取单元，在由所述第一执行单元进行了所述对准并由所述第二执行单元执行了所述图像扩张之后，该提取单元基于所述第一图像数据与所述第二图像数据之间的差异的计算结果，提取表示所述校正的校正图像。

7.一种图像处理系统，该图像处理系统包括：

多个图像扫描装置，该多个图像扫描装置中的每个图像扫描装置都包括：扫描单元，该扫描单元扫描在基准介质上设置有多个基准图像的区域的图像；和发送单元，该发送单元发送由所述扫描单元扫描到的图像数据；以及

图像处理装置，该图像处理装置包括：接收单元，该接收单元接收所述发送单元发送的图像数据；获取单元，该获取单元获取表示所述基准介质上的所述多个基准图像的位置的位置数据；以及确定单元，该确定单元执行以下操作：

计算由所述接收单元接收的所述多个基准图像中的某基准图像的图像位置与由所述获取单元获取的位置数据表示的所述多个基准图像中的同一基准图像的位置之间的位置偏移量的总和；

使用被预先确定为使得所述位置偏移量的总和最小的公共校正系数，执行对应基准图像的对准；并且

确定对由所述扫描单元扫描到的图像数据进行图像扩张的扩张量，使得该扩张量随着所述位置偏移量的总和的增加而增加，

其中，所述确定单元通过采用从所述基准介质的设置有所述基准图像的区域中由所述多个图像扫描装置多次扫描到的多个图像数据，来针对扫描确定多个扩张量，

所述确定单元基于多个所确定的扩张量的最大值、多个所确定的扩张量中的最高频率值以及多个所确定的扩张量的平均值中的至少一个，来确定最终扩张量，并且

如果在存储单元中没有存储扩张量，则所述确定单元将所确定的扩张量存储在所述存储单元中；如果在所述存储单元中存储有扩张量并且所确定的扩张量大于所存储的扩张量，则所述确定单元利用所确定的扩张量来刷新所存储的扩张量。

8.根据权利要求7所述的图像处理系统，其中，该图像处理系统包括多个所述图像扫描装置，并且该图像处理系统还包括存储单元，该存储单元针对所述多个图像扫描装置中的每一个，将表示所述扩张量的图像数据与用于识别对应的图像扫描装置的识别数据相关联，并存储相关联的数据。

9.一种图像处理方法，该图像处理方法包括如下步骤：

获取表示设置在基准介质上的多个基准图像的位置的位置数据；

对所述基准介质的设置有所述基准图像的区域的图像进行扫描；

计算扫描的所述多个基准图像中的某基准图像的图像位置与由所获取的位置数据表示的所述多个基准图像中的同一基准图像的位置之间的位置偏移量的总和；

使用被预先确定为使得所述位置偏移量的总和最小的公共校正系数，执行对应基准图像的对准；以及

确定对扫描到的图像数据进行图像扩张的扩张量，使得该扩张量随着所述位置偏移量的总和的增加而增加，

其中，所述确定扩张量的步骤还包括：

通过采用从所述基准介质的设置有所述基准图像的区域中多次扫描到的图像数据，来针对每次扫描确定扩张量，

基于多个所确定的扩张量的最大值、多个所确定的扩张量中的最高频率值以及多个所确定的扩张量的平均值中的至少一个，来确定最终扩张量，并且

如果在存储单元中没有存储扩张量，则将所确定的扩张量存储在所述存储单元中；如果在所述存储单元中存储有扩张量并且所确定的扩张量大于所存储的扩张量，则利用所确定的扩张量来刷新所存储的扩张量。

10.根据权利要求9所述的图像处理方法，其中，该图像处理中的获取所述位置数据的步骤包括：

从在创建所述基准介质时采用的表示所述多个基准图像的基准图像数据中获取所述位置数据；或者

从通过用图像扫描装置扫描所述基准介质而获得的图像数据中获取所述位置数据，在所述图像扫描装置中，与扫描到的图像数据的位置有关的任何失真为预定的阈值或更低。

11.根据权利要求9所述的图像处理方法，其中，获取所述位置数据的步骤包括：从下述图像数据中获取所述位置数据，所述图像数据是从所述基准介质的设置有所述基准图像的区域的图像中扫描到的。

12.根据权利要求9所述的图像处理方法，其中，该图像处理方法还包括以下步骤：

使用所述校正系数对从第一文档的图像中扫描到的第一图像数据和从第二文档的图像中扫描到的第二图像数据中的至少一个进行对准，所述第一文档是执行校正之前的文档，所述第二文档是执行校正之后的文档；

使用所确定的扩张量，对所述第一图像数据和所述第二图像数据中的至少一个执行图像扩张；以及

在执行了所述对准并且执行了所述图像扩张之后，基于所述第一图像数据与所述第二图像数据之间的差异的计算结果，提取表示所述校正的校正图像。