CN1249982C - 图像处理装置及方法 - Google Patents

Abstract

一种图像处理装置及图像处理方法，能够从将打印物作为媒介进行交换的图像，进行对构成利用图像扫描器等读取并得到的图像的各部分的每一部分图像的著作权等的保护。为此，通过将输入的图像分割成具有不同的特征的多个图像区域，利用依照图像区域的特征的埋入方法，提取埋入到进行了区域分割的各个图像区域中的电子水印，并基于提取出来的电子水印判定可否利用上述输入图像。

Description

图像处理装置及方法

技术领域

本发明涉及图像处理装置及其方法，例如，涉及特征不同的图像混合存在的图像中的电子水印信息的埋入、提取以及数字文档等的图像处理。

背景技术

近年来的计算机以及网络的发展非常显著，在计算机以及网络中使用着文字数据、图像数据、声音数据等多种信息。由于这些数据都已经被数字化，故容易进行相同质量的数据复制。因此，为了保护这些数据的著作权等，多数情况下都将著作权信息或使用者信息作为电子水印信息(下面简称为“电子水印”)埋入到图像数据或声音数据中。

所谓电子水印是一种通过对图像数据或声音数据实施预定的处理，在这些数据中秘密埋入人类的视觉或听觉不能识别的其他的信息的技术。通过从图像数据或声音数据中提取电子水印，可以得到著作权信息或使用者信息以及识别信息等，例如，可以根据非法复制的数字数据追踪进行了非法复制的人或在非法复制中使用的设备。换言之，就是电子水印适用于图像的著作权等的保护、防止伪造、记录各种信息等。

电子水印所要求的条件如下：

质量：埋入应该是不能感知被埋入的信息的，即较少有原始的数字信息的质量恶化；

稳固性：被埋入到数字信息中的信息应该是持续存留的，即，即使是受到数据压缩或滤波处理这样的编辑或者攻击也不会丢失所埋入的信息。

信息量：可以对应于用途选择可埋入的信息量。

电子水印所要求的这些条件一般存在相互折衷(平衡)的关系。例如，如果想要实现稳固性强的电子水印，则大多将产生比较大的质量恶化而使可埋入的信息量减少。

此外，如果以多值的静止图像为例，则作为电子水印的埋入方法，可以分为空间区域埋入法和频域埋入法两大类。

作为在空间区域埋入电子水印的方法的例子，可以列举利用拼缀物的IBM方式(W.Bender，D.Gruh1，N.Morimoto：“Techniquesfor Data Hiding”，proceedings of the SPIE，San Jose CA，USA，February 1995)或G.W.Rhoads，W.Linn：“Steganography methodemploying embedded”，US Patent No.5636292等。

作为在频域埋入电子水印的方法的例子，除了利用离散余弦变换的NTT方式(中村、小川、高嶋“用于数字图像的著作权保护的频域的电子水印方式”，SCSI’97-26A，1997年1月)外，还可以列举如利用离散傅立叶变换的防卫大学的方式(大西、冈、松井“利用PN系列的对图像的水印署名法”，SCSI’97-26B，1997年1月)、利用离散小波变换的三菱、九大的方式(石塚、坂井、樱井，“关于使用了小波变换的电子水印技术的安全性和可靠性的实验考察”，SCSI’97-26D，1997年1月)以及松下的方式(井上、宫崎、山本、桂，“关于对于基于小波变换的数字·水印-图像压缩、变换处理的健壮性”，SCSI’98-3.2.A，1998年1月)等。

对由文字或线图形构成的电子文档这样的二值化图像，众所周知的也有操作文字部分的方法(日经电子1997.3.10(no.684)p.164-168)或使用由2×2像素构成的二值的单元(浓度图案)构成二值图像的方法(比特September 1999/Vol.31，No.9)等。

上述的方式，电子水印的埋入处理和提取处理分别构成为一对，基本上没有互换性。此外，一般地，可以说在空间区域埋入电子水印的方法是像质恶化小，但稳固性弱，而使用频率变换的方法虽然像质恶化较大，但稳固性强。即，稳固性强但可埋入的信息量少的方法或像质好却稳固性弱的方法等，每种方式其特征不同。此外，原理上讲，在多值图像中使用的埋入方法不能适用于二值图像。

此外，彩色图像、黑白文字图像以及线图形等除了被在监视器显示屏上进行显示观察外，很多时候也被进行打印观察。另一方面，最近，与以前相比，彩色复印机自不用说，使用如喷墨式打印机等廉价的打印机可以进行非常高像质的打印物的生成。加之，通过已经普及了的廉价的彩色图像扫描器、在计算机上工作的简便的图像处理软件或图像编辑软件，可以从高像质的打印物中读取图像，再生在实用上像质毫不逊色的图像。进而，还可以容易地从高图像质量的打印物中读取图像，抽出并挪用黑白二值的文字图像以及线图形等。

电子水印的埋入根据其特征、特别是根据作为想要埋入电子水印的对象的图像数据的特征有着种种的方式，适用于图像数据的埋入方法则各异。在这些各种各样的多种方式中，虽然电子水印的埋入处理和提取处理构成一对，但在不同的方式之间并没有互换性。因此，可以单个地在多值图像中使用多值图像用的埋入方式，在文本图像中使用二值图像用的埋入方式。但是，近来，生成用数字照相机摄取的照片图像、用文字处理机生成的文本等混合存在的、如图5或图6所示那样的数字图像进行打印的例子还在增加。人们期望有一种在使用这样的特征不同的多个图像区域的数字图像混合存在的数字图像或其打印物时有效的电子水印的埋入方法。这里，在下面我们将特征不同的多个图像称为“异种图像”，将混合有异种图像的图像称为“混合图像”。

此外，对于使用图像扫描器等图像输入设备构成从混合图像的打印物中读取的数字图像的各种异种图像，期望能够保护其著作权等。换言之，就是期望能够进行每一个构成用图像扫描器等从可以将打印物作为媒介进行交换的图像中读取并得到的图像的各部分的图像(下面称为“部分图像”)的著作权等的保护。

另外，在办公室文档整体的安全保密方面，近年来以ISO 15408为标准的想法正在世界范围扩展，从这样的观点看，其将陆续成为非常重要的技术领域。在这样的情况下，作为文档信息的安全管理方法之一，人们已经开始考虑各种上述电子水印的方案，并进行利用。

作为安全管理的目的，人们考虑防止数据的非法复制、防止重要信息的泄漏或者串改、文档信息的著作权保护、或者对图像数据等的利用进行收费等种种情况，并分别对它们提出了各种各样的电子水印方式。例如，作为对数字图像数据进行可以不为人们所知觉地埋入水印信息的技术，众所周知的有日本特愿平10-278629号公报公开的、小波变换图像数据并利用在频率空间的冗长性埋入水印信息等方法。

再有，虽然文本图像这样的二值化图像冗长度小，实现电子水印技术困难，但众所周知的已有若干个利用了文本图像特有的特征的电子水印方式(下面称之为“文本水印”)。例如，可以列举移动行的基线的方法(日本专利第3136061号)、操作单词间的空白长度的方法(美国专利第6086706号、日本特开平9-186603号公报)、操作文字间的空白长度的方法(King Mongkut大学“Electronicdocument data hiding technique using inter-character space”the 1998IEEE Asia-Pacific Conf.On Circuit and System，1998，419-422页)、作为黑白二值的位图图像使用的方法(日本特开平11-234502号公报)等。

上述方式的特征是用户不能判别在图像中埋入有水印信息这一事实(以下称为“不可视水印”)。相反地，也有人提出向用户明示埋入有水印信息这一事实地埋入水印信息的方式(以下称之为“可视水印”)。例如，在日本特愿平10-352619号公报中公开了通过原始图像的像素位置和要埋入水印图像的形状的比较，实施了原始图像和埋入系列的可逆运算的结果，以使用者可以看见水印信息的形式进行埋入的方法。

电子水印方式基本上是以在图像数据本身中埋入某种附加的信息为目的，利用所埋入的附加信息防止非法使用、进行著作权保护、防止串改数据等谋求保护原始图像的方式。换言之，就是想要达到或者禁止观看原始图像本身、或者只允许持有预定权限的用户进行复制这样的目的。

此外，原始图像的保护适用于图像整体。因此，存在连包含在被保护的图像中的不需要进行保护的图像也不能观看、不能复制等问题。

发明内容

本发明是用于逐个或者整体解决上述问题的发明，目的在于在特征不同的图像区域混合存在的图像中埋入电子水印。

为了实现上述目的，本发明提供一种图像处理装置，包括：将输入的图像分割成具有不同的特征的多个图像区域的分割装置；利用依照各图像区域的特征的埋入方法，分别对上述多个图像区域埋入电子水印的埋入装置；以及将埋入了上述电子水印的上述多个图像区域合并为一个图像的合并装置。

此外，本发明的另外的目的在于从混合有特征不同的图像区域的图像中提取电子水印以便能够判定可否利用其图像。

为了实现上述目的，本发明提供一种图像处理装置，包括：将输入的图像分割成具有不同的特征的多个图像区域的分割装置；提取利用依照图像区域的特征的埋入方法埋入到进行了区域分割的各个图像区域的电子水印的提取装置；基于提取出来的电子水印判定可否利用上述输入图像的判定装置。

进而，本发明另外的目的在于可逐个图像区域地判定可否利用其图像。

为了实现上述目的，本发明提供一种图像处理装置，包括：用于输入数字化了的图像的输入装置；用于识别包含在上述输入的数字图像中的预定的图像区域的识别装置；生成用于控制对上述图像区域的处理的认证信息的生成装置；以及用于将上述认证信息埋入上述图像区域的埋入装置；其中，上述生成装置对每个上述预定的图像区域生成上述认证信息，并由上述埋入装置埋入上述认证信息。

本发明的其他的目的在于控制对图像信息的图像区域的处理。

为了实现上述目的，本发明提供一种图像处理装置，包括：用于输入数字化了的图像信息的输入装置；接受指定包含在输入图像信息中的预定的区域的信息的接受装置；压缩所指定的区域的图像信息的压缩装置；将压缩了的图像信息变换成用于置换上述指定区域的图像信息的编码数据的变换装置；以及置换上述编码数据和上述指定区域的图像信息的置换装置。

另外，可逐个图像区域地保护图像也是本发明的目的之一。

为了实现上述目的，本发明提供一种图像处理装置，包括：用于输入数字化了的图像信息的输入装置；检测包含在输入图像信息中的隐藏了的图像区域的检测装置；从检测出来的图像区域提取编码数据的提取装置；展开提取出来的编码数据并复原图像的复原装置；将复原了的图像合成到上述检测出来的图像区域的合成装置。

本发明的其他的特征和优点，通过下面的描述和附图将显而易见。在附图中，相同的参考标号表示相同或相似的部分。

附图说明

图1是表示第1实施形式的图像处理系统的图；

图2是将图1所示的构成的主要部分作为功能模块表现的框图；

图3是表示第1实施形式的操作顺序的流程图；

图4是表示第2实施形式的操作顺序的流程图；

图5以及图6是表示混合图像的一例的图；

图7是表示第3实施形式的图像处理系统的构成的框图；

图8是表示MFP的构成的框图；

图9到图12是说明通过图像处理系统进行的处理的概要的流程图；

图13是说明块选择的图；

图14A、14B是表示块选择的结果的图；

图15是说明文本水印的埋入的图；

图16是说明文本水印的提取的图；

图17是说明文本水印的埋入规则的图；

图18是表示探索移动量的处理的流程图；

图19是表示埋入水印信息的埋入处理部(功能部)的构成的框图；

图20是表示电子水印生成部的详细内容的框图；

图21是表示基本矩阵的一例的图；

图22是表示电子水印的一例的图；

图23是表示电子水印的埋入处理的图；

图24是表示图像数据的构成例的图；

图25是表示提取被埋入到图像中的水印信息的提取处理部(功能部)的构成的框图；

图26是表示提取图案生成部的处理的详细内容的图；

图27是表示提取图案的例子；

图28是说明集成图像的图；

图29是表示提取电子水印的例子的图；

图30是表示数字复印机的构成例的外观图；

图31是表示利用读出部的图像处理部进行的、隐藏指定了区域的图像的处理的流程图；

图32是表示操作部的概要的图；

图33是详细说明图31所示的从步骤S105到步骤S111的处理的流程图；

图34是示意地示出图33所示的流的图；

图35是示意地说明图33所示的流的图；

图36到图38是说明位图化编码数据的方法的图；

图39是说明利用读出部的图像处理部进行的、从位图复原原始图像的方法的流程图。

具体实施方式

下面，参照图面详细地说明涉及本发明的实施形式的图像处理。

第1实施形式

[构成]

图1是表示第1实施形式的图像处理系统的图。

计算机系统(PC机)1和图像输入装置(彩色图像扫描器)2由用于进行两者之间的数据交换的缆线3连接着。进而，PC机1和图像输出装置(彩色打印机)4由用于在两者之间进行数据交换的缆线5连接着。

图2是将图1所示的构成的主要部分作为功能模块表现的框图。

图2中，CPU11按照保存在ROM13或硬盘装置18中的程序，以RAM12为工作区，经由总线20控制其他构成的操作。进而，CPU11进行例如按照通过连接在操作输入器件用I/O17上的键盘或鼠标16等输入的指示，控制图像输入装置用的I/O22在扫描器2上取得图像，控制显示器控制部14在显示器15上显示所取得的图像，控制外部存储装置用的I/O19将所取得的图像保存在硬盘装置18中，控制图像输出装置用的I/O17在打印机4上打印所取得的图像、或者经由接口(I/F)23将所取得的图像输出到各种各样的网络等。当然，图像的取得也可以经由I/F23由连接在网络上的服务器进行。

这里，作为扫描器2以及打印机4的I/O和作为硬盘装置18或操作输入器件用的I/O，均可以优选使用USB(universal Serial Bus)或IEEE1394串行总线等。此外，作为打印机4的I/O，还可以使用IEEE1284接口。

[操作]

第3图是表示第1实施形式的操作顺序的流程图。记述了图3所示的顺序的计算机可运行的程序被预先保存在ROM13或硬盘装置18中。CPU11通过将其程序读入RAM12中运行，可以实现后述的操作。

即，接收到输出图像的指示(S10)，便开始图3所示的操作。具体地就是，如果操作人员操作键盘或者鼠标16指示通过打印机4打印利用图像编辑处理软件等生成的图像的意图，则CPU11便遵照其指示从硬盘装置18等中将处理对象的图像数据读入到RAM12上。

这里，虽然略去了详细的说明，但其也可以是具有打印已经通过图像编辑处理软件等展开在RAM12上的图像意思的指示。此外，还可以是具有利用扫描器2从打印物上读取、打印图像意思的指示。进而，还可以是具有从连接在网络上的服务器上下载图像进行打印意思的指示。

然后，CPU11识别被读入到RAM12中的图像数据的图像的特征，把图像区域分割成照片图像等多值图像区域，由文字或线图形以及图表等构成的二值图像区域，并将分割的结果写入RAM12的预定区域中(S20)。

接着，CPU11根据保持在RAM12中的图像区域的分割结果以及图像数据判定处理对象的图像中是否存在多值图像区域(S30)，如果存在则进入步骤S40进行处理，如果不存在则进入步骤S50进行处理。

在步骤S40，CPU11使用在空间区域埋入电子水印的方法、或在频域埋入电子水印的方法分别在多值图像区域埋入具有表示作为著作权保护的对象物的含意等的电子水印。

然后，CPU11根据保持在RAM12中的图像区域的分割结果以及图像数据判定处理对象的图像中是否存在二值图像区域(S50)，如果存在则进入步骤S60进行处理，如果不存在则进入步骤S70进行处理。

在步骤S60，CPU11使用操作文字的间隔的方法、或使用由2×2像素构成的二值的单元(浓度图案)构成二值图像的方法，分别在二值图像区域中埋入具有表示作为著作权保护的对象物的含意等的电子水印。

然后，CPU11合并埋入了电子水印的多值图像区域或二值化图像区域的部分图像，在RAM12中生成相当于打印一页的图像数据(S70)，进行用于使打印机4打印所生成的图像数据的处理(例如，以误差扩散处理等为代表的中间灰阶处理、伽马校正、向页描述语言数据的变换等)，并将所生成的打印数据传送给打印机4，使之打印图像(S80)。

这里，在步骤S20的区域分割中，可以适用如特开平8-186706号公报或特开平8-336040号公报所公开的方法。在特开平8-186706号公报中，公开了对于具有不同的成分的像域(相当于部分图像的区域)混合存在的数字彩色图像，关注构成背景(底子)的像域，提取像域，进而判定这些像域是彩色照片、黑色之外的彩色文字或者线图形、黑白的浓淡(灰度)的照片、黑白的文字或者线图形等的哪一种像域的手法。此外，在特开平8-336040号公报中，还公开了以特开平8-186706号公报记载的技术为基础，不管输入图像的大小地、良好且高速地像域分离(区域分割)数字彩色图像的方法。

此外，在上述内容中，我们说明了预先分别在使用图像编辑处理软件等生成的图像的部分图像中埋入电子水印，但也可以在利用图像编辑处理软件编辑部分图像时，识别该部分图像的特征，利用依照识别结果的埋入方法在部分图像上埋入电子水印。此时，只要将相当于图3所示的从步骤S30到S70的处理组入到图像编辑处理软件中即可。

第2实施形式

下面，说明涉及本发明的第2实施形式的图像处理装置。这里，在第2实施形式中，对与第1实施形式同样的构成附加相同符号并略去其详细说明。

图4是表示第2实施形式的操作顺序的流程图。

即，如果接收到图像编辑等利用图像的指示(S110)，便开始图4所示的操作。具体地就是，如果操作人员操作键盘或者鼠标16指示编辑从打印物等读取的图像等的意图，则CPU11将遵照该指示从硬盘装置18等中将处理对象的图像数据读入到RAM12上。

这里，与第1实施形式同样地，也可以是具有编辑已经利用图像编辑处理软件等展开在RAM12上的图像意思的指示。此外，还可以是具有利用扫描器2从打印物上读取、打印图像意思的指示。进而，还可以是具有从连接在网络上的服务器上下载图像进行打印意思的指示。

然后，CPU11识别被读入到RAM12中的图像数据的图像的特征，把图像区域分割成照片图像等多值图像区域、由文字或线图形以及图表等构成的二值图像区域，并将其分割的结果写入RAM12的预定区域中(S120)。

接着，CPU11根据保持在RAM12中的图像区域的分割结果以及图像数据判定处理对象的图像中是否存在多值图像区域(S130)，如果存在则进入步骤S140进行处理，如果不存在则进入步骤S150进行处理。

在步骤S140，CPU11检查保持在RAM12中的图像数据的各个多值图像区域是否被埋入有电子水印，在埋入有电子水印时逐个图像区域地将电子水印写入RAM12的预定区域，在没有埋入电子水印时逐个图像区域地将表示其含意的数据写入RAM12的预定区域。

然后，CPU11根据保持在RAM12中的图像区域的分割结果以及图像数据判定处理对象的图像中是否存在二值图像区域(S150)，如果存在则进入步骤S160进行处理，如果不存在则进入步骤S170进行处理。

在步骤S160，CPU11检查保持在RAM12中的图像数据的各个二值图像区域是否被埋入有电子水印，在埋入有电子水印时逐个图像区域地将电子水印写入RAM12的预定区域，在没有埋入电子水印时逐个图像区域地将表示其含意的数据写入RAM12的预定区域。

然后，CPU11合并所提取的电子水印(S170)，判定被指示进行打印的图像是否是作为著作权保护的对象物(S180)，在判断图像或者其部分图像是著作权保护等的对象物时，进入步骤S200，如果不是则进入步骤S190。

在步骤S190，CPU11将允许图像编辑。因此，操作人员可以利用所希望的图像(如切出、编辑、打印、保存等)。另一方面，在步骤S200中，将在显示器15上显示所指示打印的图像或者其部分图像是著作权保护等的对象物的意思，并向操作人员发出警告，结束处理。

此外，在上述内容中，我们说明了分别在利用扫描器2读取的图像的部分图像中提取电子水印，但也可以在利用图像编辑处理软件编辑部分图像时，识别该部分图像的特征，从部分图像中提取利用依照识别结果的埋入方法埋入在部分图像中的电子水印。此时，只要将相当于从图4所示的步骤S130到S200的处理组入到图像编辑处理软件中即可。

进而，也可以不合并所提取的电子水印地、逐个图像区域地判定电子水印，并逐个图像区域(部分图像)地判定可否进行其利用。这里，在部分图像的利用中，包含部分图像的切出、切出的部分图像的编辑、切出的部分图像的打印或保存等。

第3实施形式

[构成]

第7图是表示第3实施形式的图像处理系统的构成的框图。

该图像处理系统可以在通过用互联网这样的WAN104连接了办公室(办公室这样的多个区)130和120的环境下实现。

在办公室130内构筑的LAN107上，连接有复合机(MFP：Multi-Function Processor)100、控制MFP100的管理PC101、客户PC102、文本管理服务器106、由文本管理服务器管理的数据库105等。办公室120虽然具有与办公室130大致相同的构成，但在办公室120内构筑的LAN108上，至少连接有文本管理服务器106、通过文本管理服务器管理的数据库105等。办公室130的LAN107和办公室120的LAN108经由连接在LAN107上的代理服务器103、WAN104以及连接在LAN108上的代理服务器103相互连接着。

MFP100承担读取纸的文本的图像、处理所读取的图像的图像处理的一部分。从MFP100输出的图像信号经由通信线路109被输入到管理PC101。管理PC101虽然是普通的个人用计算机(PC机)，具有进行图像存储的硬盘等存储体、由硬件以及软件构成的图像处理部、CRT或LCD等监视器、鼠标或键盘等输入装置，但其一部分与MFP100一体化构成。

图8是表示MFP100的构成的框图。

包含自动输稿器(ADF)的图像读取部110利用光源照射一张或者分别重叠了数张原稿的图像，通过透镜将来自原稿的反射像成像在固体摄像元件上，并从固体摄像元件得到光栅顺序的图像读取信号(例如600dpi)。在复印原稿时，由数据处理部115将该图像读出信号变换到记录信号，在向多张记录纸上复印时，在一度在记录部111上保存了一页程度的记录信号后，通过反复将该记录信号输出到记录部112中，可以在数张的记录纸上形成图像。

另一方面，从客户PC102输出的打印数据经由LAN107被输入到网络接口(I/F)114，在由数据处理部装置115将之变换成可以进行记录的光栅数据后，由记录部112作为图像将之形成在记录纸上。

操作人员对MFP100的指示，通过由装备在MFP100上的键操作部和管理PC101的键盘或鼠标构成的输入部113进行。输入操作的显示以及图像处理状态的显示等由显示部116进行。

上述的MFP100的操作由数据处理部115内的没有图示的控制部进行控制。

这里，存储部111也可以由管理PC101来控制。MFP100和管理PC101之间的数据的授受以及控制经由网络I/F117以及直接连接二者的信号线109进行。

[处理]

图9到图12是说明利用上述的图像处理系统进行的处理的概要的流程图。

利用图像读取部110扫描原稿，得到600dpi、8位的图像信号(图像信息输入处理，S1201)。数据处理部115对该图像信号实施修剪、斜行校正(包含朝向的校正)、去除噪声等前处理(S1202)，通过二值化处理生成二值图像(S1203)并在存储部111上保存一页左右的图像数据(多值以及二值图像数据)。

管理PC101的CPU对保存在存储部111上的图像数据执行块选择，识别文字/线图形部分、灰阶图像部分以及不存在文字/线图形或图像的背景部分(S1204)。进而，将文字/线图形部分分割成如段落单位的区域或者其以外的构造物(带有框线的表或线图形)，并段落化它们(文本区域)。另一方面，灰阶图像部分以及背景部分按矩形区域等每个可分割的单位段落化为独立的对象(图像区域)(S1205)。进而，基于被分离开了的文本区域的位置信息、图像区域的位置信息，从保存在存储部111的图像数据中，从文本区域切出二值图像，从图像区域切出多值图像(S1206)。在下面的说明中，有时称所切出的图像区域为“块”。

下面的处理将逐块地进行。在所处理的块是文本区域时，通过进行文本水印检测处理，判别该块中是否埋入有水印信息，是图像区域时，通过进行背景水印检测处理，判别该块中是否埋入有水印信息(S1207)。在被判断为埋入有水印信息时，将该区域的显示标志设定为OFF(S1210)，在被判断为没有埋入时，将该区域的显示标志设定为ON(S1209)。进而，判断是否对所有的块都进行了同样的处理(S1211)，反复步骤S1207到步骤S1210的处理直到结束所有的块的显示标志的设定为止。

接着，选择处理对象的块(S1212)，利用显示标志判断选择块中是否埋入有水印信息(S1213)，在没有埋入时转移到后述的“处理A”。反之，在埋入有水印信息时则敦促输入口令(S1214)。该口令如后述的那样，除了控制该块的显示外，还可以用于进行打印、发送等其他的控制功能的认证。

如果输入了口令则进一步判断其合法性(S1215)，在是非法的口令时转移到后述的“处理B”。在是正确的口令时，判定该口令是否是显示用的口令(S1216)，如果是显示用的口令则进一步判定该块是否是背景部分(S1217)，如果是背景部分以外的部分(文本区域或者灰阶图像区域)则将该块的显示标志设定为ON(S1221)。

在步骤S1217被判定为是背景部分时，即、是埋入了水印信息的背景部分时，因为不存在图像，故从被埋入在背景中的水印信息(以下称之为“背景水印”)中提取指示图像的原始数据的保存位置的指针信息(S1218)，并从文件管理服务器106等中取得原始数据(S1219)。此时应该注意的是，在原始数据中没有埋入水印信息时，需要水印信息的继承。如果不继承水印信息，此后将不能进行对该块的各种控制。或者，也可以是不继承水印信息而重新输入水印信息。在该块的原始数据上继承水印信息(即，将背景水印的信息作为不可视水印埋入图像)或者埋入新的水印信息(S1220)，并在准备了埋入有水印信息的显示用的图像后，将该块的显示标志设定为ON(S1221)。

另一方面，在步骤S1216判定口令不是显示用的口令时，判定该块是否是文本区域(S1222)，如果不是文本区域则处理进入步骤S1225。此外，在其为文本区域时，将该块的二值图像数据送往文件管理服务器106等保存(S1223)，进而作为水印信息(包括表示图像数据的保存目的地的指针信息、各种口令、各种控制信息等)埋入背景水印屏蔽该块(S1224)。进而，在步骤S1225将该块的显示标志设定为OFF。

然后，从该水印信息中提取该块的其他的控制信息(可否打印、复制、发送等)(S1226)，并按照控制信息将该块的其他的控制标志设定为ON或者OFF(S1227)。接着，判定是否结束了所有的块的处理(步骤S1228)，如果没有结束，处理返回到步骤S1212，如果已经结束则按照控制标志进行各种控制(S1229)。这里，虽然存在打印、复制以及发送等依照控制信息的打印标志、复制标志以及发送标志等，但只有当它们是ON时才可以打印、复制以及发送该块的图像数据，如果它们是OFF，则不能打印、复制以及发送该块的图像数据。

下面，说明在步骤S1213被判定为没有水印信息时的“处理A”。

首先，判定该块是否是文本区域(S1241)，如果不是文本区域则因其不是控制对象块而使处理进入步骤S1228。此外，在是文本区域时，变成为水印埋入模式，由用户选择是埋入可读取文本的文本水印(显示模式)还是埋入背景水印屏蔽该块(非显示模式)(S1242)。在选择了显示模式时，进行各种口令的设定(S1246)，并作为文本水印埋入包含这些口令的水印信息(S1247)。此外，在选择了非显示模式时，进行各种口令的设定(S1243)，将该块的二值图像数据送往文件管理服务器106等保存(S1244)，埋入包含指针信息、各种口令、各种控制信息等的背景水印并屏蔽该块(S1245)。

进而，再次显示该块的图像(埋入水印信息后的图像或者背景)(S1248)，处理进入步骤S1228。

下面，说明在步骤S1215判定为非法的口令时的“处理B”。

首先，判定该块是否是文本区域(S1251)，如果不是文本区域(由于原本是被屏蔽了的区域，故关于显示的保全没有问题)，为了进行有关控制的保全而将所有的控制标志设定为OFF(S1225)，处理进入步骤S1228。此外，因为在文本区域时将之变成非显示，故将该块的二值图像数据送往文件管理服务器106等保存(S1252)，埋入包含保存目的地的指针信息、各种口令、各种控制信息等的背景水印并屏蔽该块(S1253)，再次显示该块(S1254)，将所有的控制设定为OFF(S1255)，处理进入步骤S1228。

作为各种控制的一例说明打印限制和发送限制。

·当存在打印指示时

打印标志OFF的块：打印埋入了背景水印的背景图像

打印标志ON的块：打印埋入了文本水印的图像或者原始数据的图像

·当存在发送指示时

发送标志OFF的块：发送埋入了背景水印的背景图像

发送标志ON的块：发送埋入了文本水印的图像或者原始的数据

通过进行这样的控制，可以自由自在地、逐个文件对象地管理其保密安全(例如阅览限制、复制限制、发送限制、打印限制等)。此外，在打印了文件时，由于在文本区域或图像区域分别埋入有文本水印或不可视水印，故可以进行从被打印的图像中读取的对象的保密管理，可以大幅度地提高文件的保密性。

下面，对主要的处理说明其详细的内容。

[块选择]

首先，说明步骤S1204以及S1205的块选择。

块选择是将图13所示的一页的图像识别为对象的集合体，将各个对象的属性判别为文字(TEXT)、图片(PICTURE)、照片(PHOTO)、线条(LINE)、表(TABLE)，并分割成具有不同的属性的区域(块)的处理。下面，说明块选择的具体例子。

首先，将要进行处理的图像二值化为黑白图像，通过轮廓追迹提取被黑像素包围起来的像素的块。关于面积大的黑像素的块，对其内部的白像素进行轮廓追迹，提取白像素的块。进而，提取超过预定面积的白像素的块的内部的黑像素的块。如此这般地反复进行黑像素以及白像素的块的提取。

按大小以及形状分类这样得到的像素块，分别将之分类成具有不同的属性的区域。例如，将纵横比接近于1，大小为预定范围的像素块作为文字属性的像素块，进而，排列接近的文字属性的像素块并在可以组合化时将它们作为文字区域。此外，还可以分别将纵横比小的扁平的像素块分类为线条区域、将超过预定的大小且具有接近于矩形的形状、内包有排列了的白像素块的黑像素块所占据的范围分类为表格区域、将散布有不定形状的像素块的区域分类为照片区域，将其他的任意形状的像素块分类为图片区域。

图14A以及图14B是表示块选择的结果的图，图14A是表示提取出来的各块的块信息。此外，图14B是输入文件信息，表示通过块选择提取出来的块的总数。可在水印信息的埋入、提取时利用这些信息。

[文本水印的埋入]

下面，说明文本水印的埋入。

图15所示的文本图像3001是通过块选择被作为文本区域分离出来的块。进而，对于文本区域，通过后述的文本图像分析3002提取每个文字要素的外接矩形3004。所谓文字要素是指使用射影提取的矩形区域，存在一个文字的情况和文字的构成要素(偏旁、部首等)的情况。

进而，根据所提取出来的外接矩形3004的信息，计算外接矩形间的空白长，通过基于后述的埋入规则左右地移动各外接矩形，在外接矩形间埋入1个比特的信息(埋入处理3003)，并生成埋入了水印信息3006的文本图像3005。

本来，文本图像分析3002是文字识别的要素技术，是将文本图像分割成文本区域或曲线等的图形区域等，使用射影按文字单位切出文本区域的文字的技术。例如，可以列举特开平6-68301号公报所记载的技术。

[文本水印的提取]

下面，说明文本水印的提取手法。

首先，与文本水印的埋入同样地，通过块选择以及文本图像分析3002，从图16所示的图像3005中提取文字的外接矩形3103，使用所提取的外接矩形3103的信息，计算出外接矩形间的空白长。此外，在各行中，特定用于埋入1比特的信息的文字，基于后述的埋入规则，提取所埋入的水印信息3105(提取处理3104)。

下面说明埋入规则。

如图17所示那样，设埋入了1比特的信息的文字的前后的空白长为P、S。埋入了1比特的信息的文字除了行的两端的文字外各为一个文字间隔。由空白长计算出(P-S)/(P+S)，并按适当的量化步长进行量化，如果计算出余量便可以复原出1比特的信息。式(1)给出该关系，可以提取所埋入的值V(‘0’或者‘1)。

V＝floor[(P-S)/{α(P+S))]mod 2         (1)

式中α为量化步长(0＜α＜1)

在埋入水印信息时，1个像素1个像素地左右移动外接矩形，并增加向左或者右的移动量(像素数)，直到成为要通过式(1)埋入的值(‘0’或者‘1’)为止。

图18是表示探索移动量的处理的流程图。图18中，变量i为移动量的候选值，变量Flag1以及2表示如果向右或者左地移动移动对象的文字距离i大小是否要接触到相邻的文字，在接触时为‘1’。

首先，设定变量的初始值(S3402)，按距离i大小向右移动移动对象的文字(或文字要素)，判定其是否接触到邻的文字(或者文字要素)(S3403)，在接触时置Flag1为‘1’(S3404)。接着，按距离i大小向左移动移动对象的文字，判定其是否接触到左邻的文字(S3405)，在接触时置Flag1为‘1’(S3406)。

然后，判定可否移动距离i(S3407)，如果两个标志均为‘1’则判定为不可能，置移动量为0(S3408)。此时，不可能进行利用移动对象的文字的移动的信息的埋入。

此外，如果Flag1是‘0’(S3409)，则在按距离i大小向右移动了移动对象的文字时，利用式(1)判定是否可以得到想要埋入的值V(S3410)，在得到了值V时使移动量为+i(S3411)。这里，移动量的编码为正表示向右的移动，负表示向左的移动。

另外，如果在Flag1是‘1’以及用右移动不能得到值V且Flag2是‘0’(S3412)，则在按距离i大小向左移动了移动对象的文字时，利用式(1)判定是否可以得到想要埋入的值V(S3413)，在可以得到值V时使移动量为-i(S3414)。

在右以及左移动的任何一种中均不能得到值V时，增量变量i(S3415)，处理返回到步骤S3403。

按照这样探索得到的移动量，移动文字并埋入1比特的信息。通过对各个文字进行以上的处理，可以在文本图像中埋入水印信息。

[电子水印的埋入处理部]

下面将要说明的电子水印(数字水印)也被称为“不可视电子水印”，是用人类的视觉几乎不能识别程度的、原始图像数据的变化本身。并且，其变化之一或者变化的组合表示某种的附加信息。

图19是表示埋入水印信息的埋入处理部(功能部)的构成的框图。

埋入处理部由图像输入部4001、埋入信息输入部4002、密钥信息输入部4003、电子水印生成部4004、电子水印埋入部4005以及图像输出部4006构成。这里，电子水印的埋入处理也可以通过具有上述这样的构成的软件来实现。

图像输入部4001输入埋入水印信息的图像的图像数据I。在下面的说明中，为了简化说明，设图像数据I表示黑白多值图像。当然，如果要在彩色图像数据等由多种彩色成分组成的图像数据中埋入水印信息，也可以与黑白多值图像同样地分别使用作为其多种彩色成分的、例如RGB成分、或者亮度、色差成分，在各种成分中埋入水印信息。此时，与黑白多值图像相比，将可以埋入约三倍信息量的水印信息。

埋入信息输入部4002将埋入图像数据I的水印信息作为二进制数据序列输入。虽然是将该二进制数据序列作为附加信息Inf，但附加信息Inf可以通过表示‘0’或者‘1’的某一个的比特的组合构成。附加信息Inf表示用于在图像数据I中控制当前区域的认证信息或原始数据的指针信息等。下面，说明埋入可以用n比特表现的附加信息Inf的例子。

这里，为了不使附加信息Inf被容易地用于不良用途，既可以加密附加信息Inf，也可以实施纠错编码，以便在被进行了变更(下面称之为“攻击”)而不能从图像数据I中提取附加信息Inf时能够准确地提取附加信息Inf。这里，也可能有不是故意的攻击。例如，一般的图像处理的非可逆压缩、亮度校正、几何变换、滤波等的结果都是有可能消除水印信息的情况。由于加密以及纠错编码等处理是众所周知的，故这里略去其详细说明。

密钥信息输入部4003输入附加信息Inf的埋入以及提取所必须的密钥信息k。密钥信息k可以用L比特表示，例如，如果L＝8则为“01010101”(按十进制表示为“85”)等。密钥信息k被作为后述的模拟随机数产生部4102执行的模拟随机数产生处理的初始值赋予。仅限于在埋入处理部以及后述的提取处理部使用共用的密钥信息k时才可以正确地提取所埋入的附加信息Inf。换言之，就是只有持有密钥信息k的使用者才能正确地提取附加信息Inf。

电子水印生成部4004输入来自埋入信息输入部4002的附加信息Inf和来自密钥信息输入部4003的密钥信息k，并基于附加信息Inf和密钥信息k生成电子水印w。图14是表示电子水印生成部4004的详细构成的框图。

基本矩阵生成部4101生成基本矩阵m。基本矩阵m用于使构成附加信息Inf的各比特的位置对应被埋入各比特的图像数据I的像素位置。基本矩阵生成部4101可以选择性地利用多个基本矩阵，至于使用哪一个基本矩阵需要对应于目的/状况进行变更，通过基本矩阵的切换，可以实现最佳的水印信息(附加信息Inf)的埋入。

图21是表示基本矩阵m的例子的图。矩阵4201是一例在埋入16比特的附加信息Inf时使用的基本矩阵m，在4×4的各要素上分配有从1到16的数字。使基本矩阵m的要素的值与附加信息Inf的比特位置相对应。即，使基本矩阵m的要素的值为“1”的位置对应附加信息Inf的比特位置“1”(最高位比特)，同样地，使要素的值为“2”的位置对应附加信息Inf的比特位置“2”(最高位比特的下一位比特)。

矩阵4202是一例在埋入8比特的附加信息Inf时使用的基本矩阵m。按照矩阵4202，将使附加信息Inf的8比特对应矩阵4202的要素中具有从“1”到“8”的值的要素，不具有值的要素不对应附加信息Inf。如矩阵4202所示的那样，通过分散对应附加信息Inf的各比特的位置，可以较使用矩阵4201的情况更难于识别通过附加信息Inf的埋入所导致的图像的变化(像质恶化)。

矩阵4203与矩阵4202同样，是一例在埋入8比特的附加信息Inf时使用的基本矩阵m。虽然按照矩阵4202一个像素被埋入1比特的信息，但根据矩阵4203，则是在2个像素中埋入1比特的信息。换言之，相对于矩阵4202在附加信息Inf的埋入中使用相当于全部像素的50％的像素，矩阵4203则是在附加信息Inf的埋入中使用全部像素(100％)。因而，如果使用矩阵4203，则可增加埋入附加信息Inf的次数，可以较矩阵4201或4202更正确地提取附加信息Inf(具有耐攻击性)。此后，规定将在水印信息的埋入中使用的像素的比例称为“填充率”。因此，矩阵4201的填充率是100％，矩阵4202的填充率是50％，矩阵4203的填充率是100％。

矩阵4204虽然填充率也是100％，但只埋入有4比特的附加信息Inf。因而，使用4个像素埋入1比特的信息，埋入附加信息Inf的次数将进一步增加，耐攻击性也将进一步提高，但相反的一面是可以埋入的信息量小于其他的矩阵。

这样，可以根据将基本矩阵m做成哪一种构成，选择性地设定填充率、在1比特的埋入中使用的像素数、可以埋入的信息量。填充率主要影响埋入了水印信息的图像的像质，1比特的埋入中使用的像素数主要影响耐攻击性。因而，如果加大填充率则像质的恶化变大，如果加大1比特的埋入中使用的像素数则可增强其耐攻击性，但可埋入的信息量变小。这样，像质、耐攻击性以及信息量之间存在着折衷的关系。

在第3实施形式中，通过适应性地选择多个种类的基本矩阵m，可以控制以及设定耐攻击性、像质、信息量。

模拟随机数产生部4102以输入的密钥信息k为基础生成模拟随机数序列r。模拟随机数序列r是遵从被包含在{-1，1}的范围的均匀分布的实数序列，密钥信息k被用于作为使之产生模拟随机数序列的初始值使用。即，使用密钥信息k1生成的模拟随机数序列r(kl)和使用密钥信息k2(≠k1)生成的模拟随机数序列r(k2)不同。由于生成模拟随机数序列r方法是众所周知的，故在此略去其详细的说明。

模拟随机数分配部4103输入水印信息Inf、基本矩阵m以及模拟随机数序列r，并基于基本矩阵m将水印信息Inf的各个比特分配给模拟随机数序列r的各个要素，生成电子水印w。具体地，就是按照光栅顺序扫描矩阵4204的各个要素，使具有值“1”的要素为最上位比特，具有值“2”的要素为下一位比特地将附加信息Inf的各个比特对应到基本矩阵m的各个要素上，当附加信息Inf的比特为“1”时，对应的模拟随机数序列r的要素原样不变，为“0”时对应的模拟随机数序列r的要素乘以-1。如果执行附加信息Inf的n比特程度的上述的处理，则可以得到图22所示的一例的电子水印w。这里，图22所示的电子水印w是基本矩阵m为图21所示的矩阵4204，模拟随机数序列为r＝{0.7、-0.6、-0.9、0.8}的实数序列，附加信息Inf(4比特)是“1001”的例子。

这里，上面我们说明了为了埋入16比特、8比特以及4比特的附加信息Inf而使用4×4的基本矩阵m的例子，但并非仅限于此，为了埋入1比特的信息也可以进一步利用更多的像素，使用更大尺寸的基本矩阵m。如果使用更大尺寸的基本矩阵m，则模拟随机数序列r也将使用更长的实数序列。实际上，在由说明中使用的这样的四要素构成的随机数序列中，存在不能准确地进行后述的提取处理的可能性。即，尽管埋入有附加信息Inf，但存在集成图像c和电子水印w1、w2、...、wn的相关系数变小的可能性。因此，例如，为了埋入64比特的附加信息Inf，在50％填充率中，将采用使用512×512的基本矩阵m这样的构成。此时，1比特的埋入可以使用512像素。

电子水印埋入部4005输入图像数据I以及电子水印w，输出埋入了电子水印w的图像数据I’。电子水印埋入部4005按照式(2)执行电子水印的埋入处理。

I’i，J＝Ii，J+awi，J                           (2)

这里，I’i，j是埋入了电子水印的图像数据

Ii，j是埋入电子水印前的图像数据

wi，j是电子水印

i以及j是图像或者电子水印的x、y坐标值

a是设定电子水印的强度的参数

作为a可以选择例如“10”左右的值。虽然加大a可以埋入耐攻击性大的电子水印，但其像质恶化也变大。另一方面，虽然减小a其耐攻击性变小，但却可以抑制像质恶化。与基本矩阵m的构成同样地，通过适当地设定a的值，可以调整耐攻击性和像质之间的平衡。

图23是具体表示式(2)所示的电子水印的埋入处理的图。其中标号4401对应埋入了电子水印的图像数据I’，标号4402对应埋入电子水印前的图像数据I，标号4403对应电子水印w。如图23所示那样，相对于矩阵内的各个要素进行式(2)的运算。

对图像数据I的整体反复执行式(2)以及图23所示的处理。在由图24所示的24×24像素构成图像数据I时，图像数据I被分割成由4×4像素构成的、相互不重复的块(宏块)，并相对于各个宏块执行式(2)的处理。

通过对所有的宏块反复执行电子水印的埋入处理，可以在结果上对图像全体埋入水印信息。由于在一个宏块上被埋入了由n比特构成的附加信息Inf，故只要至少有一个宏块就可以提取所埋入的附加信息Inf。换言之，就是附加信息Inf的提取不需要对图像全体进行，只要有图像数据I的一部分(至少一个宏块)就足够了。可以从图像数据I的一部分中完全地提取附加信息Inf的情况称之为“有切取稳固性”。

作为电子水印埋入了这样生成的附加信息Inf的图像数据I’通过图像输出部4006完成埋入处理部的最终的输出。

[电子水印的提取处理部]

图25是表示提取被埋入到图像中的水印信息的提取处理部(功能部)的构成的框图。

提取处理部由图像输入部4601、密钥信息输入部4602、电子水印生成部4603、电子水印提取部4604以及电子水印输出部4605构成。这里，电子水印的提取处理也可以通过具有上述这样的构成的软件来实现。

图像输入部4601输入存在埋入有水印信息可能性的图像数据I”。这里，输入到图像输入部4601的图像数据I”既可以是通过前述的埋入处理部埋入了水印信息的图像数据I’，也可以是被施加了攻击的图像数据I’或没有埋入水印信息的图像数据I。

密钥信息输入部4602输入用于提取水印信息的密钥信息k。在此，输入的密钥信息k必须是与由上述的埋入处理部的密钥信息输入部4003输入的密钥信息k相同的密钥信息。在输入了不同的密钥信息时，将不能正确地提取附加信息。换言之，就是只有持有正确的密钥信息k的使用者才能提取正确的附加信息Inf’。

提取图案生成部4603输入密钥信息k并基于密钥信息k生成提取图案。图26是表示提取图案生成部4603的处理的详细过程的图。提取图案生成部4603由基本矩阵生成部4701、模拟随机数产生部4702以及模拟随机数分配部4703构成。由于基本矩阵生成部4701与前述的基本矩阵生成部4101、模拟随机数产生部4702与前述的模拟随机数产生部4102进行同样的操作，故略去它们的详细说明。不过，相对于相同的密钥信息k，如果基本矩阵生成部4701生成的基本矩阵m和基本矩阵生成部4101生成的基本矩阵m不是相同的，则将不能正确地提取附加信息。

模拟随机数分配部4703输入基本矩阵m和模拟随机数序列r，并将模拟随机数序列r的各个要素分配给基本矩阵m的预定要素。与前述的埋入处理部的模拟随机数分配部4103的区别是，模拟随机数分配部4103输出一个电子水印w，从模拟随机数分配部4703输出的则是附加信息Inf的比特数(在此为n比特)程度的提取图案wn。

下面，示出使用了图15所示的矩阵4204的例子说明将模拟随机数序列r的各个要素分配给基本矩阵m的预定要素的详细过程。在使用矩阵4204时，由于可以埋入4比特的附加信息Inf，故可输出四个提取图案w1、w2、w3、w4。具体地，就是按照光栅顺序扫描矩阵4204的各个要素，对具有值“1”的要素分配模拟随机数序列r的各个要素，如果完成对具有值“1”的所有要素的模拟随机数序列r的各个要素的分配，则将分配了模拟随机数序列r的矩阵作为提取图案w 1生成。图21是表示提取图案的例子的图，是作为模拟随机数序列r使用了r＝{0.7、-0.6、-0.9、0.8}这样的实数序列的情况。对具有矩阵4204的值“2”“3”“4”的要素执行以上的处理，分别生成提取图案w2、w3、w4。如果使这样生成的提取图案w1、w2、w3以及w4相重合，则可以等同于用埋入处理部生成的电子水印w。

电子水印提取部4604输入图像数据I”以及提取图案w1、w2、...、wn，从图像数据I”中提取附加信息Inf’。虽然希望在此提取的附加信息Inf’等于被埋入的附加信息Inf，但在图像数据I’受到各种各样的攻击时，其未必就能一致。

电子水印提取部4604分别计算由图像数据I”生成的集成图像c与提取图案w 1、w2、...、wn的相关性。所谓集成图像c是指将图像数据I”分割成宏块，计算出各个宏块的要素之值的平均值的图像。图22是说明输入了4×4像素的提取图案和24×24像素的图像数据I”时的集成图像c的图。图22所示的图像数据I”被分割成了36个宏块，求出了这36个宏块的各要素之值的平均值的结果便是集成图像c。

可以分别计算这样生成的集成图像c和提取图案w1、w2、...、wn的相关性。相关系数是测量集成图像c和提取图案wn的近似度的统计量，可以用式(3)表示。

ρ＝c’T·w’n/|c’T ||w’n |                   (3)

这里，c’以及w’n是将各要素与要素的平均值之差作为要素的矩阵

c’T是c’的转置矩阵

相关系数ρ取从-1到+1的值。在集成图像c和提取图案wn的正的相关强时，ρ接近于+1，在负的相关强时，ρ接近于-1。“正的相关强”说的是“集成图像c越大则提取图案wn越大”的关系，“负的相关强”说的是“集成图像c越大则提取图案wn越小”的关系。此外，在集成图像c与提取图案wn不相关时，ρ为0。

利用这样计算出来的相关，可以判定是否在图像数据I”中埋入了附加信息Inf’，进而，在埋入了判定附加信息Inf’时，判定构成附加信息Inf’的各比特是‘1’还是‘0’。即，计算出集成图像c和提取图案w1、w2、...、wn的相关系数，在计算出来的相关系数接近于0时判断为“没有埋入附加信息”，在相关系数是离开了0的正数时，判断为埋入了“1”，在相关系数是离开了0的负数时，判断为埋入了“0”。

求相关的工作等同于评价集成图像c和提取图案w1、w2、...、wn各自的近似度。即，在图像数据I”(集成图像c)中利用前述的埋入处理部埋入了相当于提取图案w1、w2、...、wn的图案时，可以计算出表示高近似度的相关值。

图29是表示使用w1、w2、w3、w4从埋入了4比特的附加信息的图像数据I”(集成图像c)中提取电子水印的例的图。

分别计算出集成图像c和四个提取图案w1、w2、w3、w4的相关值。例如，在图像数据I”(集成图像c)中埋入了附加信息Inf’时，可以计算出相关值为0.9、-0.8、-0.85、0.7。根据该结果可以判定附加信息Inf’为“1001”，最终可以提取4比特的附加信息Inf’。

这样提取出来的n比特的附加信息Inf’通过电子水印输出部4605作为提取处理部的提取结果被输出。此时，在埋入处理部埋入附加信息Inf之际实施了纠错编码处理或加密处理时，将执行纠错解码处理或密码解码处理。所得到的信息最终被作为二进制数据序列(附加信息Inf’)输出。

第3实施形式的变形

在上述内容中，作为水印说明了分开使用文本水印和背景水印的例子，但并非仅限于此，可以对各个对象分开使用最佳的水印方式。

此外，我们还说明了使用口令实现认证控制的例子，但也并非仅限于此，也可以通过密码控制实现之。

第4实施形式

下面，说明本发明的第4实施形式的图像处理装置。这里，在第4实施形式中，对与第3实施形式大致相同的构成附加相同符号并略去其详细说明。

[构成]

图30是表示数字复印机的构成的外观图，由数字地读取原稿图像、实施预定的图像处理并生成数字图像数据的读取部51以及利用所生成的数字图像数据生成复印图像的打印机部52构成。

读取部51的原稿馈送装置5101从最终页开始顺序地、一页一页地向玻璃台板5102上供给原稿，在结束原稿图像的读取后，排出玻璃台板5102上的原稿。原稿一旦被输送到玻璃台板5102上，照明灯5103便点亮，进而开始扫描器单元5104的移动，扫描并曝光原稿。此时的来自原稿的反射光被反射镜5105、5106、5107以及透镜5108成像在CCD成像传感器(下面称之为“CCD”)5109上。这样，通过CCD5109可以读取被扫描的原稿图像，从CCD5109输出的图像信号经图像处理部5110实施了黑点校正、清晰度校正等图像处理后，被转送到打印机部52。

打印机部52的激光驱动器5221对应于从读取部51输入的图像数据驱动激光器发光部5201。从激光器发光部5201输出的激光光通过多边反射镜扫描感光鼓5202并在感光鼓5202上形成潜像。形成在感光鼓5202上的潜像被显像器5203附着上显影剂(调色剂)。

由纸架5204或者纸架5205提供的记录纸同步于激光光的开始照射被输送到转印部5206，转印附着在感光鼓5202上的显影剂。转印了显影剂的记录纸被输送到定影部5207，通过定影部5207的热和压力，显影剂被定影在记录纸上。通过了定影部5207的记录纸被排出滚筒5208排出。分类器5220将排出的记录纸收纳到各自的纸盘内并对记录纸进行分类。这里，在没有被设定为分类时，分类器5220将记录纸收纳在最上部的纸盘中。

在设定为双面记录时，记录纸在被输送到排出滚筒5208处后，由反向旋转的排出滚筒5208以及舌门5209引导到再供纸输送通道。此外，在被设定为多重记录时，记录纸不被输送到排出滚筒5208地由舌门5209引导到再供纸输送通道。被引导到再供纸输送通道的记录纸在上述的时序进给到转印部5206。

[处理]

图31是表示利用读出部51的图像处理部5110进行的、隐藏指定了区域的图像的处理的流程图。

当输入从原稿读取的图像信号时，图像处理部5110生成按通常8比特的精度量化了微细的像素单位的亮度信息的数字图像数据(S101)。像素的空间分辨率为42μm×42μm左右，这是相当于1英寸(25.4mm)约600像素(600dpi)的解像度。图像处理部5110在图32所示的操作部的画面上显示表示所生成的图像数据的图像。

通常，操作部由用触摸面板覆盖了表面的液晶显示器等构成，操作画面上所显示的按钮可以进行所希望的操作。图32中，按钮601是选择装置模式的按钮，“复制”模式为复制所读取的原稿图像(从打印机部52输出)，“发送”为经由网络作为电子文件远距离地发送所读取的原稿的图像数据，“存储”模式为在装置内藏的硬盘装置等辅助存储装置中作为电子文件存储所读取的原稿的图像数据。这里，作为选择了“复制”模式，用粗线示出了其按钮框。

显示部602显示依照所选择的模式的装置的基本的操作条件，在选择复制模式时，其显示输出记录纸尺寸和放大/缩小的倍率。预览显示部603缩小显示读取部51读取的图像的整体。显示在预览显示部603上的框604表示设定在被预览显示了的图像上的区域。由框604表示的区域(下面称之为“区域”)可以通过按钮605放大/缩小其大小，通过按钮606上下左右地进行移动。换言之，就是通过按钮605以及606的操作，可以变更预览显示部603上的区域604的尺寸以及位置。

方框607是输入后述的认证信息的文本方框，例如，可以使用没有图示的数字键输入四位左右的文字序列并显示相当于所输入的文字序列的个数的“*”等符号。这里，之所以不直接显示输入文字序列地显示“*”是为了提高安全保密性。

图像处理部5110接收使用了操作部的、用户的区域604的指定以及认证信息的输入(S102、S103)，当结束指定以及输入时，从输入图像数据中切出用区域604指定的图像数据(S104)，判别切出的图像数据的种类(S105)，选择依照判别结果的图像压缩方式(S106)，利用所选择的图像压缩方式数据压缩所切出的图像数据(S107)。然后，基于压缩图像数据、表示所使用的图像压缩方式的识别编码以及输入的认证信息，生成合成了它们的编码数据(S108)，并用后述的方法将所生成的编码数据变换成位图数据(S109)。进而，从输入图像数据中消去区域604内的图像数据(S111)，在消去后的空白区域合成嵌入了在步骤S109得到的位图化了的编码数据的图像数据(S112)，输出合成了的图像数据(S113)。

在此，因为作为装置模式选择了复制模式，故输出的图像数据被送往打印机部52，完成在记录纸上形成复印图像。同样地，如果作为装置模式选择了发送模式，则输出的图像数据被送往网络通信部，电子地将之转送到预定的目的地。此外，如果选择了存储模式，则输出的图像数据被存储在装置内的辅助存储装置中。

图33是详细说明从步骤S105到步骤S112的处理的流程图。

虽然进行切出的图像数据的种类的判别，但这里是判别指定了区域的图像是照片这样的连续灰阶图像还是文字/线图形这样的二值的图像(S203)。作为判别手法，提出有利用表示对象图像的亮度分布的直方图的方法、利用每种空间频率成分的发生频率的方法、或者利用通过图案匹配可作为“线”识别的概率是否高的方法等种种方法，可以使用这样的众所周知的手法。

在图像被判别为文字/线图形时，生成表示图像的亮度分布的直方图(S204)，根据该直方图，求用于分离背景和文字/线图形的最佳的阈值(S205)并使用该阈值二值化图像数据(S206)，压缩处理所得到的二值图像数据(S207)。在该压缩处理中，可以应用众所周知的二值图像压缩方式。通常，作为二值图像的压缩方式，可以使用不产生信息的丢失的无损压缩方式，例如MMR压缩、MR压缩、MH压缩、JBIG压缩等的某一种方式。当然，也可以适当地使用上述方式的某一种，以使压缩后的编码尺寸达到最小。

另一方面，在判断了图像为连续灰阶图像时，进行解像度变换(S208)。虽然例如是用600dpi读取了输入图像数据，但对于照片这样的灰阶图像，即便是300dpi程度通常也看不出其图像的恶化。因此，在削减最终的编码长度的目的下，将之变换成例如纵、横均缩小到了1/2尺寸的、相当于300dpi的图像数据。进而，压缩处理300dpi的多值图像数据(S209)。作为多值图像的最佳的压缩方式，可以利用众所周知的JPEG压缩方式、JPEG2000压缩方式等不过，相对于原图像，这些压缩方式通常是伴随有视觉上难以识别程度的恶化的有损压缩方式。

对所得到的压缩图像数据附加识别压缩方式的代码信息(S210)。这是为了指定在将输出图像复原到原始的图像时的展开方式所必需的信息。例如，对于各自的压缩方式，可以预先分配下面这样的识别代码。

JPEG压缩→BB

JPEG2000→CC

MMR压缩→DD

MH压缩→EE

JBIG压缩→FF

然后，附加认证信息的代码(S211)。认证信息是在将输出图像复原为原始的图像时为了判别想要复原的人是否具有其权限所需要的信息。在复原时，只有在正确地指定了在此附加了的认证信息的情况下才进行复原到原始的图像的复原处理。

将这样得到的编码数据的数字信号列作为二进制数变换成二值的位图数据(S212)，嵌入并合成到区域604。

图28示意地表示以上的操作。如果对于输入图像数据301指定区域604，则区域604内的图像数据将被消去，置换成被位图化了的编码数据。

图35是示意地说明图33所示的流的图。

切出区域604的Sx×Sy像素的图像，因为被判定为文字/线图形而进行二值化，进行无损压缩。并且，进行压缩后的编码序列的例如选择性地附加压缩方式的识别代码，进而在最前面附加认证信息，经二进制数以及位图化，生成与区域604相同尺寸的Sx×Sy像素的位图数据，用该位图数据置换区域604的图像。当然，识别代码或认证信息的附加位置可以不是最前面而是末尾或预定的比特数目等，只要是预先规定好的位置，可以是任意的。进而，为了能够切实地进行识别代码或认证信息的提取，也可以在多个位置上进行重复附加。

[编码数据的位图化]

图36到图38是说明将编码数据位图化的方法的图，表示出了三套不同的方法。分别用小矩形表示600dpi的一个像素。

图36所示的方法是位图化600dpi的像素，使得每2×2像素具有1比特的信息。在作为二进制数表现的编码数据(左侧)是‘1’时，取2×2像素的四个像素为‘1’(黑)，在编码数据是‘0’时，取2×2像素的四个像素为‘0’(白)。作为结果，可生成600dpi的1/2解像度(300dpi)的二值位图数据。这里之所以用2×2像素表示1比特的信息，是为了在利用读取部扫描通过实施形式打印在记录纸上的位图图像并复原原始的图像时，能够降低读取部的读取精度、位置偏离、倍率误差等造成的影响，正确地由位图图像复原出编码数据。

图37所示的方法并不是2×2像素全部取同值，而是在编码数据为‘1’时，取四个像素中左上的小像素(相当于600dpi)为‘1’(黑)，为‘0’时，取右下的小像素为‘1’(黑)。通过这样的构成，可以提高扫描所打印的位图图像复原原始的图像时的可靠性。

图38所示的方法是取表现1比特的像素为4×2像素，通过图示那样的黑白像素的配置表示‘1’和‘0’。这样做虽然减少了每单位面积上的可以记录的数据量，但却可以进一步改善原始图像的复原时的读取精度。

这里，位图化的方法并非仅限于上述的方式，可以适用其他的各种方式。

下面，对所生成的位图的尺寸和可以埋入于其中的信息量进行说明。

如果设区域604的大小(Sx×Sy像素)在原稿上是2英寸程度(纵横约5cm)，因原图像数据是600dpi，故Sx、Sy均为1200像素。就是说，区域604的图像数据的信息量作为每像素8比特达到如下这样，即

1200×1200×8＝11520000比特＝11M比特

在按照前述的方法位图化编码数据并与区域604的图像进行置换时，在图30以及图31的方式中，因为是按照每四个像素埋入1比特的信息，故可记录的信息量为1/4×1/8＝1/32，即，可埋入2英寸程度的区域604的数据量为以下这样。

11M/32＝0.34M

换言之，就是必须将11M比特的图像数据压缩到1/32的0.34M比特，这是非常不现实的。因此，需要如上述这样，判别区域604的图像属性并进行相应的二值化、解像度变换、压缩方法的切换。在区域604的图像是文字/线图形时，解像度600dpi不变地进行二值化。这样，图像的数据量达到1/8(11/8＝)的1.38M比特，虽然要进一步将其压缩到0.34M还需要进行1/4的压缩，但该压缩率是可以通过MMR或JBIG的压缩方法容易地实现的压缩率。当然，由于还需要埋入压缩方式的识别编码或认证信息等，实际上需要高于1/4的压缩率，但即便如此也是可以比较容易实现的。

另一方面，在是照片/灰阶图像时，通过灰阶数保持8比特不变地使解像度降到一半(300dpi)，可以将数据量削减到1/4、即(11/4＝)2.75M比特。虽然要进一步将其压缩到0.34M还需要进行1/8的压缩，但该压缩率是可以通过JPEG或JPEG2000压缩方法抑制像质恶化且极其容易地实现的压缩率。

此外，如果采用图38所示的位图化，则可埋入的信息量将进一步达到1/2，虽然这样需要将压缩率进一步提高到2倍，但作为上述的压缩方式，其也并非是不现实的值。

[原始图像的复原]

图39是说明利用读出部51的图像处理部5110进行的、根据位图复原原始图像的方法的流程图。

图像处理部5110输入图像(S801)。如果是打印输出的图像，则由读取部51读取其图像并生成数字图像即可，如果是电子地发送或者保存的图像，则可以作为数字图像原样不变地输入即可。

然后，图像处理部5110根据输入图像检测被隐藏起来的图像区域(S802)。在该检测中，适用检测包含在输入图像中的矩形区域，且如果检测出来的矩形区域中存在黑像素和白像素的周期性的切换则判定其为隐藏起来的图像区域这样的方式。

接着，从检测出来的、被隐藏了的图像区域的图像数据中读取像素的排列(S803)，判定其图像数据的位图化方法并复原出二进制数的编码序列(S804)，从编码序列中提取表示压缩方式的识别代码(S805)，提取认证信息(S806)。

而后，在操作部的画面等上显示输入图像中存在隐藏了的图像的示意，敦促进行用于复原图像的认证信息的输入(S807)。如果输入了认证信息，则判别所输入的认证信息是否与提取的认证信息一致(S808)，如果不一致便原样不变地输出输入图像(S813)。

此外，如果一致便复原原始的图像，即，从编码序列中提取除去了压缩方式的识别代码以及认证信息的压缩图像的编码数据(S809)，在提取的编码数据上实施对应提取了识别代码的压缩方式的展开处理(S810)，用展开了的图像置换检测出来的、被隐藏了的图像区域的图像(S811)，输出所得到的合成图像(S812)。这里所输出的图像即为复原了隐藏指定了区域的图像之前的原始图像后的图像。

这样，通过位图化高效地压缩指定了区域的部分图像得到的编码数据并合成原始图像，可以在视觉上不能识别的状态的图像中置换并隐藏指定了区域的图像。在存在这样的不能识别的图像(被隐藏起来的图像区域)时，可以作为编码数据识别(解读)其区域的图像，参照设定在其编码数据中的认证信息，基于设定在其编码数据中的压缩方式的识别代码，对具有阅览等权限的用户复原原始的图像。

因而，具有预定的权限的用户可以复原原始的图像，进行原始图像的显示、打印、复制、发送以及/或者存储。这里，既可以分别对显示、打印、复制、发送以及存储的图像操作单个地设定认证信息，也可以综合或者逐个地对将显示以及打印、或复制以及发送等图像操作组合化了的单位设定认证信息。

第4实施形式的变形

在上述内容中，如图34等所示的那样，说明了指定一个区域604并隐藏该区域的图像的例子，但所隐藏的区域并非仅限定于一个，可以隐藏指定的多个区域。此时，只要逐个指定区域地反复进行步骤S102到S112的处理即可。此外，在从具有多个被隐藏了的图像区域的图像复原原始的图像时，逐个地对检测出来的、被隐藏了的图像区域反复进行从步骤S803到S811的处理即可。

在上述内容中，以在数字复印机上读取的原稿图像为对象，说明了信息的隐藏、编码化方法、复原方法，这些内容也可以适用于PC(个人用计算机)上的文件或图片等。此时，如果指示文件或者图片的打印，则对应想要进行打印的打印机的器件驱动器激活并基于PC上的应用程序生成的打印代码生成打印输出用的图像数据。如图32所示的那样，器件驱动器在其用户接口画面上预览显示所生成的图像数据，并接受用户想要隐藏的区域604的指定以及认证信息的输入。此外，还检测被隐藏了的图像区域。以后的处理虽然同上面一样，但这些处理是利用PC上的器件驱动器(具体地，应该是运行器件驱动器软件的CPU)实现的。

在上述内容中，说明了位图化编码数据的例子，不过这是假定因打印图像的畸变或记录纸的脏污等而不能正确地进行原始图像的复原的情况。为了避免这样的障碍，如果在对编码数据追加了纠错编码后，进行位图化，则可以提高作为位图所记录的数据的可靠性。因纠错编码提出有种种众所周知的方法，故只要利用它们即可。不过，因为这可能会减少可埋入的有效信息量，故相应地需要将图像的压缩率设定得高。当然，不仅是纠错编码，为了提高对应于信息泄漏的坚固性，也可以考虑在加密了编码数据后再进行位图化。

这里，本发明既可以适用于由多个设备(例如，主计算机、接口设备、读取器、打印机等)构成的系统，也可以适用于由一台设备构成的装置(例如，复印机、传真机等)。

此外，不用说，本发明的目的当然也包括通过将记录有实现上述实施形式的功能的软件的程序代码的记录介质(或者存储媒体)提供给计算机系统或者装置，由其系统或者装置的计算机(或者CPU或者MPU)读出并运行保存在记录介质中的程序代码来实现本发明。此时，从记录介质读出的程序代码本身将实现实现上述实施形式的功能，则保存有其程序代码的记录介质也将构成本发明。另外，通过计算机运行所读出的程序代码，不但可以实现上述实施形式的功能，而且还可以根据其程序代码的指示，由在计算机上工作的操作系统(OS)等运行实际处理的一部分或者全部，不用说，当然也包括利用其处理实现上述实施形式的功能的情况。

进而，在从记录介质读出的程序代码被写入可以插入到计算机中的功能扩展卡或可连接在计算机上的功能扩展单元所具有的存储器中后，根据其程序代码的指示，其功能扩展卡或功能扩展单元所具有的CPU等可运行实际处理的一部分或者全部，二不用说，当然也包括通过其处理实现上述的实施形式的功能的情况。

本发明适用于上述记录介质的情况是在其记录介质中保存对应了先前说明过的流程图的程序代码。

Claims (24)

1.一种图像处理装置，包括：

用于输入数字化了的图像的输入装置；

用于识别包含在上述输入的数字图像中的预定的图像区域的识别装置；

生成用于控制对上述图像区域的处理的认证信息的生成装置；以及

用于将上述认证信息埋入上述图像区域的埋入装置；

其中，上述生成装置对每个上述预定的图像区域生成上述认证信息，并由上述埋入装置埋入上述认证信息。

2.一种图像处理方法，包括以下步骤：

输入数字化了的图像信息；

接受指定包含在输入图像信息中的预定的区域的信息；

压缩所指定的区域的图像信息；

将压缩了的图像信息变换成用于置换上述指定区域的图像信息的编码数据；

置换上述编码数据和上述指定区域的图像信息。

3.根据权利要求2所述的图像处理方法，其特征在于，进一步包括：

判定上述指定区域的图像信息的种类，基于其种类选择相应的压缩方法，将表示所选择的压缩方法的信息附加在上述编码数据中的步骤。

4.根据权利要求2所述的图像处理方法，其特征在于，进一步包括：

接受用于根据上述编码数据复原压缩前的图像信息的认证信息的输入，将输入的认证信息附加在上述编码数据中的步骤。

5.根据权利要求2所述的图像处理方法，其特征在于：

上述编码数据的生成，判别上述指定区域的图像信息的种类，并基于其种类进行相应的二值化以及解像度变换，使生成的编码数据的数据量为预定值以下。

6.根据权利要求2所述的图像处理方法，其特征在于：

上述编码数据为位图形式的图像数据。

7.一种图像处理方法，包括以下步骤：

输入被数字化了的图像信息；

检测包含在输入图像信息中的隐藏了的图像区域；

从检测出来图像区域中提取编码数据；

展开提取出来的编码数据并复原图像；

将复原出来的图像合成到上述检测出来的图像区域。

8.根据权利要求7所述的图像处理方法，其特征在于，进一步包括以下步骤：

从上述编码数据中提取认证信息；

接受认证信息的输入；

在提取以及输入的认证信息一致时进行上述展开。

9.一种图像处理装置，包括：

用于输入数字化了的图像信息的输入装置；

接受指定包含在输入图像信息中的预定的区域的信息的接受装置；

压缩所指定的区域的图像信息的压缩装置；

将压缩了的图像信息变换成用于置换上述指定区域的图像信息的编码数据的变换装置；以及

置换上述编码数据和上述指定区域的图像信息的置换装置。

10.一种图像处理装置，包括：

用于输入数字化了的图像信息的输入装置；

检测包含在输入图像信息中的隐藏了的图像区域的检测装置；

从检测出来的图像区域提取编码数据的提取装置；

展开提取出来的编码数据并复原图像的复原装置；

将复原了的图像合成到上述检测出来的图像区域的合成装置。

11.一种图像处理装置，包括：

将输入的图像分割成具有不同的特征的多个图像区域的分割装置；

利用依照各图像区域的特征的埋入方法，分别对上述多个图像区域埋入电子水印的埋入装置；以及

将埋入了上述电子水印的上述多个图像区域合并为一个图像的合并装置。

12.根据权利要求11所述的图像处理装置，其特征在于，进一步包括：

基于上述合并后的图像输出用于使图像输出装置形成图像的数据的输出装置。

13.根据权利要求11所述的图像处理装置，其特征在于：在上述图像区域中包含有多值图像区域以及二值图像区域，上述分割装置将上述图像区域分割成上述多值图像区域以及上述二值图像区域。

14.一种图像处理装置，包括：

将输入的图像分割成具有不同的特征的多个图像区域的分割装置；

提取利用依照图像区域的特征的埋入方法埋入到进行了区域分割的各个图像区域的电子水印的提取装置；

基于提取出来的电子水印判定可否利用上述输入图像的判定装置。

15.根据权利要求14所述的图像处理装置，其特征在于：上述判定装置逐个上述进行了区域分割的各个图像区域地判定可否进行图像处理。

16.根据权利要求14所述的图像处理装置，其特征在于：进一步包括：

控制从打印物中获取图像的图像输入装置的控制装置。

17.根据权利要求14所述的图像处理装置，其特征在于：上述图像区域中包含有多值图像区域以及二值图像区域，上述分割装置将上述图像区域分割成上述多值图像区域以及上述二值图像区域。

18.一种图像处理方法，包括以下步骤：

将输入的图像分割成具有不同的特征的多个图像区域；

利用依照图像区域的特征的埋入方法，分别对上述多个图像区域埋入电子水印；

将埋入了上述电子水印的上述多个图像区域合并为一个图像。

19.一种图像处理方法，包括以下步骤：

将输入的图像分割成具有不同的特征的多个图像区域；

提取利用依照图像区域的特征的埋入方法埋入到被进行了区域分割的各个图像区域的电子水印；

基于提取出来的电子水印判定可否利用上述输入图像。

20.根据权利要求19所述的图像处理方法，其特征在于：在上述判定步骤中，逐个进行了上述区域分割的图像区域地判定可否进行图像处理。

21.一种图像处理方法，包括：

输入数字化了的图像的输入步骤；

识别包含在上述输入的数字图像中的预定的图像区域的识别步骤；

生成用于控制对上述图像区域的处理的认证信息的生成步骤；

将上述认证信息埋入上述图像区域的埋入步骤；

其中，上述生成步骤对每个上述预定的图像区域生成上述认证信息，并由上述埋入步骤埋入上述认证信息。

22.根据权利要求21所述的图像处理方法，其特征在于：上述埋入是将上述认证信息作为电子水印埋入。

23.根据权利要求21所述的图像处理方法，其特征在于，一步包括以下步骤：

提取被埋入到上述预定的图像区域中的信息；

基于包含在被提取出来的信息中的认证信息控制对上述图像区域的处理。

24.根据权利要求21所述的图像处理方法，其特征在于：在对上述图像区域的处理中，至少包括显示、打印、复制以及发送的某一种处理。

Images