CN101257545A - 图像处理装置、图像处理方法以及计算机程序 - Google Patents

Abstract

本发明提供一种图像处理装置，其能够更新以不可读的形式嵌入在打印文件上的信息。图像处理装置(100)对利用由微细的底纹图案构成的水印嵌入信息后的图像进行处理，其特征是具有：从图像中检测出由水印表达的第1信息的水印检测部(120)；在对上述第1信息进行了解码和纠错后，再次进行编码，取得第2信息的编码部(130)；和根据上述第2信息，确定构成水印的底纹图案的位置，生成除去了水印的水印除去图像的水印除去部(140)。通过根据纠错后的第2信息确定底纹图案的位置，确定并且消去因扫描等变形的底纹图案，然后通过嵌入具有新信息的水印的底纹图案，可进行信息的更新。

Description

图像处理装置、图像处理方法以及计算机程序

技术领域

本发明涉及图像处理装置、图像处理方法以及其相关技术，特别涉及将以不可读形式嵌入了信息的打印介质电子化，并对不可读形式的信息进行除去、更新的技术。

背景技术

近年来，基于打印文件等的信息泄漏事件的多发已经成为社会问题。特别是，调查结果表明，基于打印文件的信息泄漏事件已上升到全体事件的约46％(“关于2004年度信息安全事件的调查报告书”，NPO日本网络安全协会，Jan.2006)，因此，应该尽快采取对策。

对于打印物的信息泄漏，通过具备可确定打印物的泄漏途径的功能，在查明泄漏的原因和发挥抑制作用方面是有效的。因此，有将与打印相关的人和地点等的信息以不可读的形式嵌入打印物中的方法等。从确定泄漏途径的观点讲，希望根据打印物获得与打印物的流通相关的所有的人和地点的信息。作为将泄漏途径中直到打印物被实际打印为止的信息以不可读形式嵌入打印物的技术，例如有在日本特开2005-286963号公报(专利文献1)、美国专利申请公开第2003/0021442号公报(专利文献2)、和日本特开2005-269551号公报(专利文献3)中所公开的技术。

<专利文献1的说明>

专利文献1是通过配置多个微小点进行信息记录的方式，通过配置表示用以表达信息的单位区域的区域既定点、和在利用区域既定点所表达的单位区域内的相对位置用以表达信息的信息点，来嵌入信息。另外，在读取时，通过检测出区域既定点，在所获得的单位区域内识别信息点的位置，根据来自单位区域的信息点的相对位置，进行信息的读出。

<专利文献2、3的说明>

专利文献2、3，准备利用点的排列改变波的方向和波长的被称为信号图案的点图案，对1个信号图案赋予1个以上的符号，将信号图案组合来进行配置，由此来嵌入信息。另外，在读取时，使用伽柏(Gabor)滤波器检测出信号图案的波，来确定符号，将获得的符号，通过使用错误校正代码和多数判定等，对信息解码。

无论是哪一种方式，包含具有信息的点的图案组，虽然根据嵌入信息的不同而形状不同，但平均具有大致相同的浓度分布。因此，其特征是，即使在将信息嵌入到文件图像的背景整体中的情况下，在视觉上也不明显，对图像本来的文件的可读性几乎没有影响。另外，有时还通过改变底纹的点直径和点密度，在不影响嵌入信息的情况下改变浓度，在底纹上有意地绘制图画和文字。

图23是表示在专利文献2、3中所公开的由18×18像素构成的信号图案的一例的说明图。图23中(a)是记录信息“1”的信号图案的一例，图23中(b)是记录信息“0”的信号图案的一例。在嵌入信息为3行×4列＝12位的信息的情况下，形成图23中(c)所示的图案。

为了防止因打印物的褶皱和污渍、打印物的复印和经时变化、以及裁剪等原因导致的信息读取的失败，在进行了纠错编码和信息的重复后的基础上嵌入上述信号图案。作为一例，图24表示嵌入256位信息的情况的概略。

如图24所示，以64位为单位将256位的信息601分割成4个信息602～605，并生成四个80位的信息608：分别附加了不同的4位索引信息606(例如‘0000’、‘0001’、‘0010’、‘0100’)、和识别页码的12位的共用的页码信息607。对各个80位的信息，以能够以8位纠错的编码长度为144位的错误校正代码BCH(144、80)代码609的方式进行编码。如果将编码后的信息用12行×12列＝144位的方块表现，则成为信息不同的4个方块610～613。如果记录信息的信号图案的尺寸为18×18像素，则具有该144位的信息的1个方块的尺寸成为216像素×216像素。

例如，在将该信息嵌入A4纸面上的情况下，300dpi的A4图像的像素数约为2500×3500像素，所以可配置11×16方块＝176个方块。如图25所示，如果是256位嵌入，则有4种信息不同的方块A、B、C、D，但是，可将这些分别重复44次而进行配置(176÷4＝44)。

在从上述那样嵌入的A4纸面中，读出256位的嵌入信息时，在不考虑文件上的文字和打印失真、扫描失真、污渍等的理想的状态下，只要根据4个方块程度的面积进行信息读取处理就足够了。

[专利文献1]日本特开2005-286963号公报

[专利文献2]美国专利申请公开第2003/0021442号公报

[专利文献3]日本特开2005-269551号公报

但是，上述的方法不能把握被复印时的复印操作者和设备、场所的信息等的泄漏途径中的大部分的历史记录。为了使打印物作为历史记录保持这些复印时的信息，在使用复印机进行复印时，需要更新所嵌入的信息。专利文献1～3所公开的技术，由于是利用可视的点来表现信息，所以点容易被复印，难以更新所嵌入的不可读形式的信息。即，在将已更新的信息嵌入复印物时，保持原来的信息的点成为障碍，不能在打印物上形成表现正确信息的图案。

另外，由于经过复印，水印图案会发生若干劣化，所以不能避免反复复印造成的劣化。并且，存在着在放大缩小打印物时，水印由于被放大缩小而引起较大程度的劣化的问题。因此，在应用上存在着禁止放大缩小，或在性能上限制了读取信息的复印次数等问题。

在如上述那样，希望有一种技术，能够在对以不可读形式打印在打印文件上的信号图案进行了扫描时，从扫描的图像上除去信号图案，并重新嵌入信息。

发明内容

本发明就是鉴于上述背景技术所存在的问题而完成的，本发明的目的是，提供一种能够更新以不可读形式嵌入在打印文件上的信息的新的且改进的图像处理装置、图像处理方法以及计算机程序。

为了解决上述的问题，根据本发明的第1观点，提供一种图像处理装置，其对利用由微细的底纹图案构成的水印嵌入了信息的图像进行处理。本发明的图像处理装置(100)的特征在于，具有：水印检测部(120)，从图像中检测出利用水印表达的第1信息；编码部(130)，在对上述第1信息进行了解码和纠错后，再次进行编码，取得第2信息；和水印除去部(140)，根据上述第2信息，确定构成水印的底纹图案的位置，生成除去了水印的水印除去图像(本发明之1)。

根据这样的结构，通过根据利用水印表达的第1信息、和对其进行纠错后的第2信息，确定底纹图案的位置，可确定因扫描等变形的底纹图案并消去。由此，通过在消去了底纹图案后，嵌入具有新的信息的水印的底纹图案，可进行信息的更新。

此外，在上述中，为了便于说明，对构成要素后面的带括号而标记的参照符号，只是以后述的实施方式和附图中的对应的构成要素作为一例所进行的标记，本发明不限于此。以下也是同样。

本发明的图像处理装置，可构成各种应用例，以下列举出其中几种。

上述水印是排列了1个或2个以上基本单位的水印，上述水印检测部(120)确定上述基本单位的水印的位置和角度，上述水印除去部(140)能够根据上述基本单位的水印的位置和角度，确定构成水印的底纹图案的位置(本发明之2)。根据这样的结构，可以确定纸面整体的底纹图案的位置和底纹图案所具有的信息，并且，根据底纹图案的原来的图案和旋转角推定构成信号图案的点的位置。基于所确定的底纹图案的位置，可以确定因扫描而变形的底纹图案。

或者，上述水印检测部(120)能够确定水印的分辨率，上述水印除去部(140)能够根据水印的分辨率，确定构成水印的底纹图案的位置(本发明之3)。例如，能够以200dpi和400dpi两种分辨率进行读取处理，把能够适当读取的一方作为正确的分辨率，来确定构成水印的底纹图案的位置。

上述图像是重叠了文字和水印的图像，上述水印除去部(140)也可以在构成水印的底纹图案与文字重叠的情况下，在除去了底纹图案的基础上再现(复原)文字的形状(本发明之4)。

进而，也可以具有水印合成部(160)，其用于在上述水印除去图像上合成表达上述第2信息的水印(没有由于打印和扫描引起的失真的水印)(本发明之5)。在这种情况下，例如，被嵌入在由上述水印合成部合成的图像中的信息，是上述第1信息的一部分或全部、和上述第2信息(本发明之6)。

进而，也可以具有：信息更新部(310)，根据上述第1信息，制作嵌入在上述水印除去图像上的更新信息；水印合成部(160)，在上述水印除去图像上合成表达上述更新信息的水印(本发明之7)。

进而，也可以具有对上述水印除去图像进行修正(旋转、平行移动、放大缩小等)的图像修正部(210)，上述水印合成部在修正后的水印除去图像上合成水印(本发明之8)。在这种情况下，上述图像修正部例如也可以使用水印的旋转角对上述水印除去图像进行旋转修正(本发明之9)。由于可检测出打印物的倾斜和配置来进行修正，所以可提高复印时的可用性。

进而，也可以具有处理继续判定部(410)，其根据上述第1信息，判定是继续处理还是中断处理(本发明之10)。例如，通过在信息中嵌入可复印次数和复印次数，可在复印时确认已经反复复印的次数，并可限制复印次数。

也可以还具有：信息变形部(520)，其输入多个图像，将对每个图像读取而得到的多个上述第1信息进行合成，形成合成信息；图像变形部(510)，通过缩小或旋转多个图像，形成1个合成图像，上述水印合成部(160)也可以在上述合成图像上合成表达上述合成信息的水印(本发明之11)。可防止基于复印的水印劣化，即使在进行放大缩小复印时也能够实现不产生水印的劣化的复印。

或者，也可以，还具有图像变形部(510)，其输入多个图像，通过缩小或旋转多个图像，形成1个合成图像，上述水印合成部(160)，在上述合成图像上的与上述多个图像分别对应的部分，合成表达分别从上述多个图像读取而得到的上述第1信息的水印(本发明之12)。与上述同样，即使在进行放大缩小复印时也能够实现不产生水印的劣化的复印。

另外，也可以还具有打印部(170)，其打印由上述水印合成部合成的图像(本发明之13)。而且也可以还具有输入打印文件并将其图像化的输入部(300)，将打印文件的图像作为处理对象(本发明之14)。

为了解决上述的问题，根据本发明的第2观点，提供一种图像处理方法，其用于对利用由微细的底纹图案构成的水印嵌入信息后的图像进行处理。本发明的图像处理方法的特征在于包括：从图像中检测出利用水印表达的第1信息的步骤；在对上述第1信息进行解码和纠错后，再次进行编码，取得第2信息的步骤；和根据上述第2信息，确定构成水印的底纹图案的位置，生成除去了水印的水印除去图像的步骤(本发明之15)。

根据这样的结构，通过根据利用水印表达的第1信息、和对此进行了纠错后的第2信息，确定底纹图案的位置，可确定因扫描等引起变形后的底纹图案并消去。由此，通过在消去了底纹图案后，嵌入具有新信息的水印的底纹图案，可进行信息的更新。

本发明的图像处理方法，也可构成各种应用例，以下列举出其中几种。

也可以还包括在上述水印除去图像上合成表达上述第2信息的水印(没有基于打印和扫描的失真的水印)的步骤(本发明之16)。

或者，也可以还包括：根据上述第1信息制作嵌入在上述水印除去图像上的更新信息的步骤；和在上述水印除去图像上合成表达上述更新信息的水印的步骤(本发明之17)。

另外，根据本发明的其他观点，提供一种用于使计算机作为上述本发明的第1观点所涉及的图像处理装置而发挥功能的计算机程序、和记录了该程序的，可由计算机读取的记录介质(本发明之18)。这里，程序可以利用任意程序语言记述。另外，作为记录介质，可以采用例如，CD-ROM、DVD-ROM、软盘、闪存存储器、移动终端装置的内置存储器等的，作为可记录程序的记录介质的目前一般使用的记录介质，或者将来使用的任意记录介质。

如上所述，根据本发明，提供能够更新以不可读的形式嵌入在打印文件上的信息的图像处理装置、图像处理方法以及计算机程序。而且，根据本发明，在每次重复复印时，能够在所嵌入的信息中追加复印次数的计数、进行复印的日期时间、操作者的信息(只要根据复印卡等进行收集即可)、复印机位置信息等复印历史记录，而且，可防止复印时的水印的劣化。在发生了打印物的泄漏时，通过从打印物取得复印历史记录，可确定详细的泄漏途径，从而可有效地抑制信息泄漏。关于本发明的其他有益的效果，将在以下的对用于实施本发明的优选实施方式的说明中进行说明。

附图说明

图1是表示第1实施方式所涉及的水印信息处理装置的结构的说明图。

图2是表示根据信号图案将信息点图案化的方法的说明图。

图3是表示图1的水印检测部的结构的说明图。

图4是表示水印检测部的处理的流程的流程图。

图5是信号检测滤波步骤(步骤S120)的说明图。

图6是信号位置搜索步骤(步骤S130)的说明图。

图7是信号边界决定步骤(步骤S150)的说明图。

图8是信息复原步骤(步骤S160)的说明图。

图9是表示数据代码的复原方法的处理流程的说明图。

图10是表示数据代码的复原方法的一例的说明图。

图11是表示数据代码的复原方法的一例的说明图。

图12是表示倾斜的信号图案的一例的说明图。

图13是放大表示图12的说明图。

图14是表示消去水印信号图案后的图像的说明图。

图15是表示与文字连接的点的消去的说明图。

图16是表示新的水印信号图案合成后的图像的说明图。

图17是表示第2实施方式所涉及的水印信息处理装置的结构的说明图。

图18是表示第3实施方式所涉及的水印信息处理装置的结构的说明图。

图19是表示第4实施方式所涉及的水印信息处理装置的结构的说明图。

图20是表示第5实施方式所涉及的水印信息处理装置的结构的说明图。

图21是表示第5实施方式的动作的说明图。

图22是表示第5实施方式的应用例的说明图。

图23是表示嵌入了信息的图像的例的说明图。

图24是表示信息的编码的例的说明图。

图25是表示在纸面上反复嵌入信息的例的说明图。

图中：100-水印信息处理装置(第1实施方式)；105-打印文件；110-输入部；120-水印检测部；125-水印信息；130-水印编码部；140-水印消去部；145-更新水印信息；150-水印图像制作部；160-带水印文件图像合成部；170-输出部；175-打印文件；200-水印信息处理装置(第2实施方式)；210-图像修正部；300-水印信息处理装置(第3实施方式)；310-水印信息更新部；400-水印信息处理装置(第4实施方式)；410-处理继续判定部；500-水印信息处理装置(第5实施方式)；510-图像变形部；520-信息变形部。

具体实施方式

下面，参照附图，对本发明涉及的图像处理装置、图像处理方法以及计算机程序的优选实施方式进行详细说明。此外，在本说明书和附图中，对于具有实质相同的功能结构的构成要素，通过标记相同的符号来省略重复的说明。

(第1实施方式)

对本发明的第1实施方式进行说明。图1是表示本实施方式的结构的说明图。此外，在本实施方式中，对处理由微细底纹图案构成的水印的一例的由点图案构成的电子水印的装置进行说明，并把该处理装置称为水印信息处理装置。

如图1所示，本实施方式所涉及的水印信息处理装置100(本发明的图像处理装置的一例)具有：输入部110，读取已经嵌入水印的打印文件105，并转换成文件图像；水印检测部120，检测出所输入的文件图像上的信号图案的位置和旋转角，并且把已嵌入的信息作为水印信息125进行解码；水印编码部130，对由水印检测部120获得的已嵌入信息进行编码，生成无错误的编码信息；和水印消去部140，根据由水印检测部120获得的位置信息、和由水印编码部130获得的信息，确定文件图像上的信号图案位置和旋转角，并消去信号图案。上述构成要素是水印信息处理装置100的承担水印信息检测功能的功能部。

并且，水印信息处理装置100具有：水印图像制作部150，以与所读取的水印信息125一部分或全部不同的信息、即更新水印信息145为输入，生成水印图像；带水印文件图像合成部160，将水印图像与从水印消去部140获得的从扫描图像中消去了水印后而得到的文件图像进行合成；和输出部170，将合成了水印后的文件图像作为打印文件输出。上述构成要素是水印信息处理装置100的承担水印信息嵌入功能的功能部。

上述水印信息处理装置100的构成要素中的输入部110、水印检测部120、水印图像制作部150、带水印文件图像合成部160、和输出部170，可采用例如与专利文献4(日本特开2006-253839号公报)所记载的输入部(310)、水印检测部(320)、水印图像制作部(120)、带水印文件图像合成部(130)和输出部(140)实质上相同的结构。下面进行说明。

输入部110将已经嵌入了水印的打印文件105作为多值灰度的输入图像输入。输入部110也可以是水印信息处理装置100的内部的功能，也可以利用照相机等摄像装置和扫描仪等输入装置构成。关于嵌入在打印文件105中的水印，如参照图23等说明的上述水印。

水印检测部120通过对输入图像进行滤波处理，检测出嵌入在打印文件105中的信号图案，根据所检测出的信号图案中所包含的信息，复原所嵌入的水印信息。水印检测部120如图3所示，具有由存储部120a、滤波处理部120b、信号图案确定部120c、和旋转角检测部120d所表示的功能方框。

存储部120a预先存储在带水印文件图像中所嵌入的信号图案的种类。滤波处理部120b使用多种滤波器对带水印文件图像分别进行滤波处理。信号图案确定部120c根据各个滤波处理结果，确定在带水印文件图像中所嵌入的信号图案的种类。旋转角检测部120d根据以下两个信息之间的关系求出带水印文件图像的旋转角，其中之一的信息是与利用存储部120a中所存储的种类的信号图案所表达的角度相关的信息，其另一信息是与利用由信号图案确定部120c所确定的种类的信号图案所表达的角度相关的信息。

水印编码部130具有对由水印检测部120获得的嵌入的信息进行编码，生成无错误的编码信息的功能。

水印消去部140具有根据由水印检测部120获得的位置信息、和水印编码部130获得的信息，确定文件图像上的信号图案位置和旋转角，并消去信号图案的功能。

水印图像制作部150将更新水印信息145数字化后转换成数值。在图2的(a)中，将其结果作为信息的位串表示。然后，水印图像制作部150通过对转换后的数值(位串的各个位)分配由预先决定的点图案构成的信号图案，制作水印图像。图2中(b)是表示信号图案的种类与信息1对1对应的情况的说明图。在图2中(b)所示的多种类的信号图案中，包含规定的与不同角度相关的信息。

图2中(c)表示利用信号图案进行点图案化后的信息。如图2中(c)所示，所制作的水印图像，是按照某种规则来配置至少多种信号图案(图2中(b)的信号图案S1～S4)中的某个的图案。

带水印文件图像合成部160通过将由水印消去部140除去了水印后的图像、与由水印图像制作部150制作的水印图像进行合成，来制作带水印文件图像。

输出部170通过将带水印文件图像打印到纸上，来作为打印文件175输出。将该打印文件175实施实物性的保管/管理。

这样，水印信息处理装置100制作带水印文件图像，并输出。此外，输出部170可以是水印信息处理装置100的内部的功能，也可以由打印机等外部的打印装置构成。

另外，水印信息处理装置100可以具备以未图示的CPU、ROM、RAM以及接口为主要构成要素的计算机，在这种情况下，ROM分别存储用于执行水印信息处理装置100的各功能的程序。RAM相当于存储信号图案的种类的存储部120a，也暂时存储滤波器输出值等数据。CPU通过使用存储在RAM中的数据，执行存储在ROM中的各种程序，来实现由上述功能方框执行的各功能。

以上，参照专利文献4(日本特开2006-253839号公报)，对本实施方式的结构进行了说明。不过，上述所参照的专利文献4(日本特开2006-253839号公报)的结构，只是用于实现本实施方式的结构的一例，本发明不限于此。

(第1实施方式的动作)

下面，对本实施方式的动作进行说明。由于本实施方式的特征点在于水印信息检测功能，所以重点说明水印信息处理装置100的作为承担水印信息检测功能的功能部的水印检测部120、水印编码部130、以及水印消去部140的动作。

(水印检测部120的动作)

水印检测部120在信息的检测过程中，对文件图像上的每个信号图案，确定出其位置、旋转角、和信号图案的第1种类(＝信号图案所具有的第1信息)。关于每个信号图案的位置确定，例如可采用与专利文献5(日本特再WO04/098171号公报)实质相同的方法。下面，参照图4～图11进行说明。

图4是表示水印检测部120的处理流程的流程图。

首先，通过输入部110输入带水印文件图像(步骤S110)。将该图像称为输入图像。输入图像是多值图像，以下，对256级灰度图像进行说明。

<信号检测滤波步骤(步骤S120)>

在步骤S120中，对输入图像整体进行滤波处理，并进行滤波器输出值的计算和滤波器输出值的比较。滤波器输出值的计算，是使用以下所示的被称为伽柏滤波器的滤波器，对输入图像的全部像素进行滤波器与图像之间的卷积积分来进行计算。

以下表示伽柏滤波器G(x、y)，x＝0～gw-1，y＝0～gh-1的(算式1)。gw、gh是滤波器的大小。

[算式1]

$G(x,y)=\exp [-\mathrm{\&pi;}\{\frac{{(x-x0)}^2}{A^2}+\frac{{(y-y0)}^2}{B^2}\left\}\right]\&times;\exp [-2\mathrm{\&pi;i}\{u(x-x0)+v(y-y0)\left\}\right]$

i：虚数单位

x＝0～gw-1，y＝0～gh-1，x0＝gw/2，y0＝gh/2

A：水平方向的影响范围，B：垂直方向的影响范围

tan^-1(u/v)：波的方向，

频率

                                               ...(算式1)

输入图像中的任意位置的滤波器输出值，是通过滤波器与图像之间的卷积积分进行计算。在伽柏滤波器的情况下，由于存在实数滤波器和虚数滤波器(虚数滤波器是与实数滤波器相差半个波长相位的滤波器)，所以将它们的平方平均值作为滤波器输出值。例如，若设某个像素(x、y)的亮度值与滤波器A的实数滤波器之间的卷积为Rc，与虚数滤波器之间的卷积为Ic，则滤波器输出值F(A、x、y)使用以下的(算式2)进行计算。

[算式2]

$F(A,x,y)=\sqrt{{\mathrm{Rc}}^2+{\mathrm{Ic}}^2}$

                              ...(算式2)

在如上述那样对与各信号单元对应的全部的滤波器计算出滤波器输出值后，对各像素进行如上述那样计算出的滤波器输出值的比较，将其最大值F(x、y)作为滤波器输出值矩阵进行存储。另外，如图5所示，将与值是最大值的滤波器对应的信号单元的编号作为滤波器种类矩阵进行存储。具体是，在某个像素(x、y)中，在F(A、x、Y)＞F(B、x、y)的情况下，将F(A、x、y)设定为滤波器输出值矩阵的(x、y)的值，将表示信号单元A的“0”设定为滤波器种类矩阵的(x、y)的值。在本实施方式中，将信号单元A、B的编号设定为“0”、“1”。

此外，在本实施方式中，虽然滤波器的个数有2个，但在滤波器的个数更多的情况下，同样只要存储多个滤波器输出值的最大值和与当时的滤波器对应的信号单元编号即可。

<信号位置搜索步骤(步骤S130)>

在步骤S130中，使用在步骤S120获得的滤波器输出值矩阵，来决定信号单元的位置。具体是，首先，如果设以Sh×Sw构成了信号单元的大小，则如图6所示，制作格子点在垂直方向的间隔为Sh，在水平方向的间隔为Sw，格子点的个数为Nh×Nw的信号位置搜索模板。这样制作的模板的大小为Th(Sh＊Nh)×Tw(Sw＊Nw)，但为了搜索信号单元位置，对于Nh、Nw使用最佳的值即可。

然后，将滤波器输出值矩阵按模板的大小进行分割。并且，如图6所示那样，在各个分割区域中，在不与相邻区域的信号单元重复的范围(水平方向±Sw/2、垂直方向±Sh/2)内使模板在滤波器输出值矩阵上以像素单位移动，同时使用以下的(算式3)求出模板格子点上的滤波器输出值矩阵值F(x、y)的总和V，将该总和为最大的模板的格子点作为该区域的信号单元的位置。

[算式3]

$V(x,y)=\underset{u=0}{\overset{\mathrm{Nw}-1}{\mathrm{\&Sigma;}}}\underset{v=0}{\overset{\mathrm{Nh}-1}{\mathrm{\&Sigma;}}}F(x+\mathrm{Sw}*u,y+\mathrm{Sh}*v)$

Xs-Sw/2＜x＜Xe+Sw/2，Ys-Sh/2+＜y＜Ye+Sh/2

(Xs，Ys)：分割区域的左上坐标，(Xe，Ye)：分割区域的右下坐标

                                              ...(算式3)

上述的例是在步骤S120中对全部像素求出了滤波器输出值的情况，在进行滤波时，也可以只对某一定间隔的像素进行滤波。例如，在每隔2个像素进行了滤波的情况下，只要也将上述信息位置搜索模板的格子点的间隔设定为1/2即可。

<信号符号决定步骤(步骤S140)>

在步骤S140中，通过参照在步骤S130中决定的信号单元位置的滤波器种类矩阵的值(与滤波器对应的信号单元编号)，将信号单元决定为A或B。

如上述那样，将所决定的信号单元的判定结果作为符号矩阵进行存储。

<信号边界决定步骤(步骤S150)>

在步骤S130中，由于无论是否嵌入有信号单元，都对图像整体进行滤波处理，所以需要决定是在哪个部分嵌入了信号单元。因此，在步骤S150中，通过根据符号矩阵搜索预先在嵌入信号单元时决定好的图案，来求出信号边界。

例如，在嵌入有信号单元的边界，如果肯定嵌入了信号单元A，则在由步骤S140所决定的符号矩阵的横方向上对信号单元A的数量进行计数，从中心到上下，分别将信号单元A的个数最多的位置设定为信号边界的上端/下端。在图7的例中，由于符号矩阵中的信号单元A用“黑”(数值的情况为“0”)来表现，所以通过对符号矩阵的黑像素数进行计数，可对信号单元A的数量进行计数，并根据该频数分布，可求出信号边界的上端/下端。关于左端/右端，由于只是对单元A的个数进行计数的方向不同，所以能够以同样的方法求出。

求出信号边界的方法不限于上述方法，只要预先在嵌入侧和检测侧决定好能够从符号矩阵搜索的图案即可。

再次返回图4的流程图，对后面的步骤S160进行说明。在步骤S160中，根据符号矩阵中的相当于信号边界内部的部分复原原来的信息。此外，在本实施方式中，由于1个单元图案由1个符号单元构成，所以单元图案矩阵与符号矩阵等效。

<信息解码步骤(步骤S160)>

图8是表示信息复原的一例的说明图。信息复原的步骤如下所述。

(1)检测出嵌入在各个单元图案中的符号(图8(1))。

(2)连接符号来复原数据代码(8(2))。

(3)对数据代码进行解码，取出所嵌入的信息(图8(3))。

图9～图11是表示数据代码的复原方法的一例的说明图。复原方法基本上是图8的逆处理。

首先，从单元图案矩阵的第1行取出编码长度数据部分，得到所嵌入的数据代码的编码长度(步骤S210)。

然后，根据单元图案矩阵的大小和在步骤S210得到的数据代码的编码长度，计算嵌入了数据代码单元的次数Dn、和剩余Rn  (步骤S220)。

然后，从单元图案矩阵的第2行以后，采用与步骤S203相反的方法取出数据代码单元(步骤S230)。在图10的例中，是从U(1、2)(2行1列)按顺序按每12个图案单元(U(1、2)～U(3、3)、U(4、3)～U(6、4)、...)进行分解。由于Dn＝7、Rn＝6，所以12个图案单元(数据代码单元)被取出7次，作为剩余，取出6个(相当于数据代码单元的上位6个)单元图案(U(4、11)～U(9、11))。

然后，通过对在步骤S230取出的数据代码单元进行位确信度运算，对嵌入的数据编码进行再构成(步骤S240)。以下，对位确信度运算进行说明。

如图11那样，将从单元图案矩阵的第2行第1列开始将最初取出的数据代码单元设为(Du(1、1)～Du(1、12)，依次标记为Du(2、1)～Du(2、12)、...。另外，将剩余部分设为Du(8、1)～Du(8、6)。位确信度运算是对每个数据代码单元的要素通过采取多数决定等，来决定数据代码的各符号的值。由此，即使在因与文字区域的重叠或纸面的污渍等原因，不能从任意数据代码单元中的任意单元正确地进行信号检测的情况(位转印错误等)下，也能够最终正确地复原数据代码。

具体是，例如对于数据代码的第1位，在Du(1、1)、Du(2、1)、...、Du(8、1)的信号检测结果多数是1的情况下，判定为1，在多数是0的情况下判定为0。同样，对于数据代码的第2位，采用基于Du(1、2)、Du(2、2)、...、Du(8、2)的信号检测结果的多数决定来进行判定，对于数据代码的第12位，采用基于Du(1、12)、Du(2、12)、...Du(7、12)(由于不存在Du(8、12)，所以只到Du(7、12))的信号检测结果的多数决定进行判定。

这里，说明了重复嵌入数据代码的情况，但也可以通过在对数据进行编码时使用错误校正代码等，而不进行数据代码单元的重复的方法来实现。

这里所获得的信号图案所具有的信息(以下称为“第1信息”)，因与文件图像上的文字等之间的干扰，有可能不能被正确检测而发生错误，但由于在嵌入时通过数据的编码，实施了错误校正代码等的纠错对策，所以，通过适当的解码处理，可生成从第1信息中除去了错误，并被解码的解码信息。

(水印编码部130的动作)

水印编码部130对由水印检测部120解码的没有错误的解码信息，按照与解码相反的顺序，再次进行编码，生成被无错编码的信息(以下称为“第2信息”)。并且，将分配给上述文件图像上的每个信号图案的可能有错的第1信息更新为无错的第2信息。该第2信息即使在因信号图案与文字等形成干扰而不能正确进行检测的情况下，也表示信号图案所表示的正确的信息。对每个信号图案，使用第2信息，根据图2所示的关系，求出正确表示信号图案的种类的第2种类。

(水印消去部140的动作)

水印消去部140根据由水印检测部120获得的文件图像上的信号图案单位的位置和旋转角、以及由水印编码部130获得的信号图案所表示的第2种类，来推定在各信号图案单位中构成水印的点位置。

在专利文献4(日本特开2006-253839号公报)中，对于600dpi的打印分辨率，可使用400dpi的读取分辨率等，但在本发明中，为了使复印时的图像品质的劣化减小到最小限度，希望尽可能扫描出高分辨率的图像。并且，为了减少处理量，有时以低分辨率进行水印的检测。即使在这样的情况下，通过使水印检测部120、水印编码部130以低分辨率进行处理，使水印消去部对应分辨率差来缩放信号图案的位置信息，也能够确定高分辨率上的信号图案位置，并能够在各个信号图案单位中推定点位置。

如果把左上设为原点(0、0)，则记录信息11的信号图案S1的点位置，在无旋转的情况下成为以下的18个点。其中，n＝1、2、...、18。(x_n、y_n)＝(0、0)、(6、0)、(12、0)、(3、3)、(9、3)、(15、3)、(2、6)、(8、6)、(12、6)、(1、9)、(7、9)、(15、9)、(0、12)、(6、12)、(12、12)、(3、15)、(9、15)、(15、15)。

在作为消去水印的对象的文件图像被缩放调整的情况下，例如，如果把缩放倍率设为α，把文件图像上的信号图案的左上位置设为(Px、Py)，把信号图案的旋转角设为θP，则构成该信号图案的点的位置可推定为以下的坐标(Exn、Eyn)。

[算式4]

$\left(\begin{array}{c}{\mathrm{Ex}}_n\\ {\mathrm{Ey}}_n\end{array}\right)=\mathrm{\&alpha;}\left(\begin{array}{cc}\cos {\mathrm{\&theta;}}_P& \sin {\mathrm{\&theta;}}_P\\ -\sin {\mathrm{\&theta;}}_P& \cos {\mathrm{\&theta;}}_P\end{array}\right)\left(\begin{array}{c}{x}_n\\ y_n\end{array}\right)+\left(\begin{array}{c}\mathrm{Px}\\ \mathrm{Py}\end{array}\right)$

                                    ...(算式4)

图12、图13表示由此可推定的点位置。在图12的放大的部分的中心附近的信号图案S1中，把可利用上述(算式4)计算的各个点图案的位置用图13的网点的圆圈标记表示。虽然点的形状由于针对纸面的打印、扫描而产生了变形，但基本位于相同的位置。在进行600dpi的打印时，由该18×18个点所示的信号图案的大小仅为0.7mm左右，所以即使因纸的褶皱或扭曲等使点的位置发生了变形，该0.7mm的信号图案内的相对位置也基本无变化。另外，通过进行伽柏滤波器输出的峰值位置搜索和根据周围的信号图案位置的位置推定，能够以数点的偏移程度确定各个信号图案。通过使用旋转了θP的信号图案的模板，采用模板匹配等方法，检测出信号图案的位置，可吸收该数点的偏移。通过对全体信号图案进行以上的处理，可推定构成水印的所有的点位置。

如图13所示，构成水印的点图案由于针对纸面的打印和扫描而产生了微小的位置偏移，形状也发生了变形。为了吸收该微小的偏移和变形，搜索孤立点并将其作为点。

在孤立点搜索中，在全体信号图案的各个点单位中搜索对应的孤立点。例如，在信号图案数为100的情况下，搜索1800个孤立点。在通过检索存在符合的孤立点的情况下，消去该孤立点。在孤立点的搜索和消去中，例如重复使用以下的步骤。

1)将用4附近的某个数连结的、面积在10个像素以下的黑像素的像素块作为1个孤立点。

2)搜索孤立点的重心，和点位置之间的距离在3个像素以内的孤立点。

3)在存在多个孤立点的情况下，把距离最短的孤立点作为信号图案的点，进行消去。

4)在没有孤立点的情况下，不进行消去。

图14表示如上述那样消去了水印全信号图案的点后的图像。即使在不能消去与文字连结的点的情况下，由于最终与具有新的信息的水印图像合成，所以不会成为大的问题。但是，由于可确定点的位置，所以可进行点的消去。例如，如果参照图15进行说明，则在图15的(a)中，水印的点与文字部分连结。因此，如图15中(b)所示那样，利用具有与周围的点同等程度的面积的矩形来屏蔽点，进行消去。而且，如图15中(c)所示，通过用直线连结矩形外周的黑像素的彼此之间，可复原文字的轮廓，而且可防止与文字完全重合的点出现空白。从彩色文件上消去点的情况也是同样，通过根据点的外周推定颜色，可消去点，并复原背景色。例如，可采用一边使颜色线性变化，一边用直线连结点的外周的像素彼此的方法。

以上，以水印信息处理装置100的作为承担水印信息检测功能的功能部的水印检测部120、水印编码部130、以及水印消去部140为中心，对本实施方式的动作进行了说明。关于水印信息处理装置100的水印信息嵌入侧的动作如下所述。

水印图像制作部150根据新的嵌入信息、即更新水印信息145生成水印图像。更新水印信息145是与由水印检测部120读取的水印信息125一部分或全部不同的信息。

带水印文件图像合成部160将从水印消去部140获得的消去了水印的全信号图案的点以后的图像、与从水印图像制作部150获得的水印图像合成，生成图16所示的带水印文件图像。

以上，对作为本发明的图像处理装置的一例的水印信息处理装置100进行了说明。对于这样的水印信息处理装置100，通过在计算机中安装用于实现上述功能的计算机程序，能够使计算机作为水印信息处理装置100发挥功能。这样的计算机程序，能够以记录在规定的记录介质(例如CD-ROM)中的形式，或以通过电子网络下载的形式，在市场上流通。关于在后述的实施方式中说明的水印信息处理装置也是同样。

第1实施方式的效果

如上所述，根据本实施方式，可获得以下的效果。

·能够从嵌入了水印的打印物中，干净地消去水印。

·能够消去水印，并替换成具有新的信息的水印。

·即使反复复印，水印也不会劣化。

(第2实施方式)

下面，对本发明的第2实施方式进行说明。图17是表示本实施方式的结构的说明图。本实施方式所涉及的水印信息处理装置200，如图17所示，采用在第1实施方式的结构中追加了图像修正部210的结构。以下，重点说明与第1实施方式的不同点，对于与上述第1实施方式实质相同的结构省略重复说明。

(第2实施方式的动作)

图像修正部210对从水印消去部140获得的消去了水印以后的图像，进行旋转修正和平行移动。旋转修正和平行移动可使用仿射变换等图像处理。

旋转修正的旋转角使用由水印检测部120检测出的水印的旋转角。在以同步代码单位将水印进行了分块的情况下等，使用整体平均后的旋转角、或频度最高的旋转角。

配置基于平行移动的移动量，以使图像中的检测出水印的区域配置在复印用纸尺寸的中央。

(第2实施方式的效果)

如上所述，根据本实施方式，由于利用水印图案检测、修正打印物的倾斜和配置，所以可提高复印时的用户的便利性。

(第3实施方式)

下面，对本发明的第3实施方式进行说明。图18是表示本实施方式的结构的说明图。本实施方式所涉及的水印信息处理装置300，如图18所示，采用在第1实施方式的结构中追加了水印信息更新部310的结构。以下，重点说明与第1实施方式的不同点，对于与上述第1实施方式实质相同的结构省略重复说明。

(第3实施方式的动作)

水印信息更新部310根据由水印检测部120读取的信息，生成向水印图像制作部150提供的新的嵌入信息。

在新的嵌入信息的生成中，包含针对所读取的信息的追加、更新、和删除。信息的追加例如如下那样进行。

·从复印卡读取器读取复印操作者的信息，追加到复印历史记录中。

·从复印机内部的存储器读取进行复印的复印机的信息，追加到复印历史记录中。

·从复印机内部的时钟读取进行复印的时刻，追加到复印历史记录中。

·在复印时，通过复印机的操作面板输入发布对方的信息，作为发布对方信息进行追加。

信息的更新例如如下那样进行。

·在所读取的复印次数中加1，并将该加1以后的值作为复印次数进行更新。

·在复印操作者包含在所读取的信息的复印历史记录中的情况下，在对应的复印操作者的复印次数中加1，并将该加1以后的值，作为按复印操作者而区分的复印次数进行更新。

信息的删除例如如下那样进行。

·由具有信息的删除权限的用户在复印时删除复印历史记录。

·将以上所生成的信息提供给水印图像制作部150。

(第3实施方式的效果)

如上所述，根据本实施方式，能够进行已嵌入的信息的追加、更新、删除，例如具有如下的效果。

·在要将公司内的复印物向公司外发布的情况下，已经嵌入的复印历史记录有时是公司内的机密信息，在这种情况下，能够在删除作为机密的部分的复印历史记录的基础上，进一步追加发布对方信息。

·由于能够将已嵌入的信息的一部分更新来进行嵌入，所以，能够进行例如复印次数的计数等。

(第4实施方式)

下面，对本发明的第4实施方式进行说明。图19是表示本实施方式的结构的说明图。本实施方式所涉及的水印信息处理装置400，如图19所示，采用在第3实施方式的结构中追加了处理继续判定部410的结构。以下，重点说明与第3实施方式的不同点，对于与上述第3实施方式实质相同的结构省略重复说明。

(第4实施方式的动作)

处理继续判定部410根据由水印检测部120读取的信息，判定是否继续进行复印处理。

在嵌入信息中嵌入有复印次数的情况下，在复印次数达到在复印机中存储的最大复印次数以上时，停止复印，不进行以后的处理。

也可以在打印时，由打印者设定最大复印次数，将最大复印次数作为嵌入信息进行嵌入。在这种情况下，每个打印文件可复印的级数不同。

在嵌入信息中嵌入有禁止复印信息的情况下，停止复印，不进行以后的处理。所谓禁止复印信息，例如可以以在嵌入信息的前头1位为“1”的情况下禁止，为“0”的情况下许可的形式赋予。在打印时，如果在前头的1位中设定为“1”而嵌入了水印，则可禁止打印物的复印。

(第4实施方式的效果)

如上所述，根据本实施方式，由于可以根据已嵌入的信息禁止打印，所以可对复印次数设置上限。

另外，在打印者将禁止复印标记附加在嵌入信息中而进行了嵌入的情况下，可禁止复印。

(第5实施方式)

下面，对本发明的第5实施方式进行说明。图20是表示本实施方式的结构的说明图。本实施方式所涉及的水印信息处理装置500，如图20所示，采用在第1实施方式的结构中追加了图像变形部510和信息变形部520的结构。以下，重点说明与第1实施方式的不同点，对于与上述第1实施方式实质相同的结构省略重复说明。

(第5实施方式的动作)

图像变形部510对于从水印消去部140得到的消去了水印以后的图像，进行放大、缩小和N-up(在1张用纸上集中N页左右的文件进行缩小打印的功能)。根据复印操作者在复印机的操作面板上进行的指示，进行这些操作。

下面，参照图21，以2-up为例对N-up的情况进行说明。

从2张打印文件读取信息(a)、(b)，并使其成为进行了信息变形(结合)以后的信息(ab)，并且，将根据2张打印文件生成的水印除去图像分别旋转90度，并缩小，在此基础上进行合并，作为1张合成图像输出。而且，对合成图像，将信息变形后的信息(ab)进行合成。

信息变形部520，在只进行放大、缩小的情况下，将从水印检测部120输入的水印信息直接传递到水印图像制作部150。

(第5实施方式的效果)

如上所述，根据本实施方式，可获得如下的效果。

·不会产生由于复印引起的劣化。

·即使在复印时进行放大、缩小，水印也不会产生劣化。

·在复印时即使进行N-up打印，水印也不会劣化，被嵌入的信息也不会丢失。

以上，参照附图，对本发明涉及的图像处理装置、图像处理方法以及计算机程序的优选实施方式进行了说明，但本发明不限于上述的示例。对于本技术领域的技术人员来讲，很明显，在权利要求书所记载的技术思想的范畴内，可以推导出各种变更例或修改例，因此，应理解为这些当然也属于本发明的技术范围。

例如，关于第5实施方式，在N-up时，也可以不将信息进行结合，而采用在分别缩小的纸面上生成具有各自的信息的水印图像并合成的方法。如果参照图22进行说明，则从2张打印文件读取信息(a)、(b)，并且，将根据2张打印文件生成的水印除去图像分别旋转90度，并缩小，在此基础上进行合并，作为1张合成图像输出。而且，在合成图像中，可以将表示分别从2张图像读取的信息(a)、(b)的水印，合成在分别与原来的2张图像对应的部分。

另外，在上述实施方式中，对水印消去部140根据由水印检测部120获得的文件图像上的信号图案单位的位置和旋转角、以及表示由水印编码部130所获得的信号图案的第2种类，推定各个信号图案单位中构成水印的点位置的情况进行了说明，但本发明不限于此。水印检测部120也可以确定水印的分辨率，根据水印的分辨率来确定构成水印的点位置。例如，能够以200dpi和400dpi这两种分辨率进行读取处理，把能够适当读取的一方作为正确的分辨率，来确定构成水印的点位置。

本发明可利用在图像处理装置、图像处理方法及其相关技术中，特别是可利用在将以不可读的形式嵌入了信息的打印介质电子化，并除去、更新不可读的形式的信息的技术中。

Claims (18)

1.一种图像处理装置，对利用由微细底纹图案构成的水印嵌入了信息的图像进行处理，其特征在于，具有：

水印检测部，从图像中检测出利用水印表达的第1信息；

编码部，在对上述第1信息进行了解码和纠错后，再次进行编码，取得第2信息；和

水印除去部，根据上述第2信息，确定构成水印的底纹图案的位置，生成除去了水印的水印除去图像。

2.根据权利要求1所述的图像处理装置，其特征在于，

上述水印是排列了1个或2个以上基本单位的水印，

上述水印检测部确定上述基本单位水印的位置和角度，

上述水印除去部根据上述基本单位的水印的位置和角度，确定构成水印的底纹图案的位置。

3.根据权利要求1或2所述的图像处理装置，其特征在于，

上述水印检测部确定水印的分辨率，

上述水印除去部根据水印的分辨率，确定构成水印的底纹图案的位置。

4.根据权利要求1～3中任意一项所述的图像处理装置，其特征在于，

上述图像是重叠了文字和水印的图像，

上述水印除去部在构成水印的底纹图案与文字重叠的情况下，在除去了底纹图案的基础上再现文字的形状。

5.根据权利要求1～4中任意一项所述的图像处理装置，其特征在于，

还具有水印合成部，用于在上述水印除去图像上合成表达上述第2信息的水印。

6.根据权利要求5所述的图像处理装置，其特征在于，

被嵌入在由上述水印合成部合成的图像中的信息，是上述第1信息的一部分或全部、和上述第2信息。

7.根据权利要求1～4中任意一项所述的图像处理装置，其特征在于，

还具有信息更新部和水印合成部，

该信息更新部根据上述第1信息，制作嵌入在上述水印除去图像上的更新信息，

该水印合成部在上述水印除去图像上合成表达上述更新信息的水印。

8.根据权利要求5～7中任意一项所述的图像处理装置，其特征在于，

还具有对上述水印除去图像进行修正的图像修正部，

上述水印合成部在修正后的水印除去图像上合成水印。

9.根据权利要求8所述的图像处理装置，其特征在于，

上述图像修正部使用水印的旋转角对上述水印除去图像进行旋转修正。

10.根据权利要求6～9中任意一项所述的图像处理装置，其特征在于，

还具有处理继续判定部，根据上述第1信息，判定是继续处理还是中断处理。

11.根据权利要求6～10中任意一项所述的图像处理装置，其特征在于，

还具有信息变形部和图像变形部，

该信息变形部是，被输入多个图像，将对每个图像读取而得到的多个上述第1信息进行合成，形成合成信息，

该图像变形部通过缩小或旋转多个图像，形成1个合成图像，

上述水印合成部在上述合成图像上合成表达上述合成信息的水印。

12.根据权利要求6～10中任意一项所述的图像处理装置，其特征在于，

还具有图像变形部，其被输入多个图像，通过缩小或旋转多个图像，形成1个合成图像，

上述水印合成部，在上述合成图像上的与上述多个图像分别对应的部分，合成表达分别从上述多个图像读取而得到的上述第1信息的水印。

13.根据权利要求6～12中任意一项所述的图像处理装置，其特征在于，

还具有打印部，打印由上述水印合成部合成的图像。

14.根据权利要求1～13中任意一项所述的图像处理装置，其特征在于，

还具有输入打印文件，并将其图像化的输入部，

将打印文件的图像作为处理对象。

15.一种图像处理方法，用于对利用由微细的底纹图案构成的水印嵌入信息后的图像进行处理，其特征在于，包括：

从图像中检测出由水印表达的第1信息的步骤；

在对上述第1信息进行解码和纠错后，再次进行编码，取得第2信息的步骤；和

根据上述第2信息，确定构成水印的底纹图案的位置，生成除去了水印的水印除去图像的步骤。

16.根据权利要求15所述的图像处理方法，其特征在于，

还包括在上述水印除去图像上合成表达上述第2信息的水印的步骤。

17.根据权利要求15或16所述的图像处理方法，其特征在于，

还包括：根据上述第1信息，制作嵌入在上述水印除去图像上的更新信息的步骤；和

在上述水印除去图像上合成表达上述更新信息的水印的步骤。

18.一种计算机程序，其用于使计算机作为权利要求1～14中任意一项所述的图像处理装置而发挥功能。

Images